Thi công hệ thống điều khiển xe lăn điện cho người khuyết tật sử dụng điện não và camera
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (2.78 MB, 89 trang )
BỘ GIÁO DỤC & ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
---------------------------------
ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG
ĐỀ TÀI:
THIẾT KẾ VÀ THI CÔNG HỆ
THỐNG ĐIỀU KHIỂN XE LĂN ĐIỆN
CHO NGƯỜI KHUYẾT TẬT SỬ
DỤNG TÍN HIỆU ĐIỆN NÃO VÀ
CAMERA
GVHD: ThS. Ngơ Bá Việt
SVTH1: Vũ Hồng Thiên
MSSV1: 16141282
SVTH2: Đồn Lâm
MSSV2: 16141190
Tp. Hồ Chí Minh - 08/2020
BỘ GIÁO DỤC & ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
---------------------------------
ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG
ĐỀ TÀI:
THIẾT KẾ VÀ THI CÔNG HỆ
THỐNG ĐIỀU KHIỂN XE LĂN ĐIỆN
CHO NGƯỜI KHUYẾT TẬT SỬ
DỤNG TÍN HIỆU ĐIỆN NÃO VÀ
CAMERA
GVHD: ThS. Ngơ Bá Việt
SVTH1: Vũ Hồng Thiên
MSSV1: 16141282
SVTH2: Đồn Lâm
MSSV2: 16141190
Tp. Hồ Chí Minh - 08/2020
TRƯỜNG ĐH SPKT TP. HỒ CHÍ MINH
KHOA ĐIỆN-ĐIỆN TỬ
BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH
CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM
ĐỘC LẬP - TỰ DO - HẠNH PHÚC
----o0o----
Tp. HCM, ngày 6 tháng 5 năm 2020
NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên:
Chun ngành:
Hệ đào tạo:
Khóa:
Vũ Hồng Thiên
Đồn Lâm
Kỹ thuật Điện - Điện tử
Đại học chính quy
2016
MSSV: 16141282
MSSV: 16141190
Mã ngành: 141
Mã hệ:
1
Lớp:
161412
I. TÊN ĐỀ TÀI: THIẾT KẾ VÀ THI CÔNG HỆ THỐNG ĐIỀU KHIỂN XE LĂN
ĐIỆN CHO NGƯỜI KHUYẾT TẬT SỬ DỤNG TÍN HIỆU
ĐIỆN NÃO VÀ CAMERA
II. NHIỆM VỤ
1. Các số liệu ban đầu:
- Các tài liệu về Python và thư viện OpenCV, pyrealsense, Giáo trình Xử lý ảnh.
- Các tài liệu về Arduino và thư viện Arduino.
- Các ví dụ về nhận dạng hình học cơ bản, ví dụ về xử lý tín hiệu điện não.
- Phần mềm huấn luyện: EmotivBCI, Visual Studio Code, IDE Arduino
2. Nội dung thực hiện:
- Tìm hiểu phương pháp nhận dạng vật bằng thuật tốn xử lý ảnh.
- Tìm hiểu Camera 3D, tín hiệu điện não, thiết bị cơng suất và các Module
liên quan.
- Xây dựng tập huấn luyện chuẩn để phục vụ cho việc điều khiển thông qua
phần mềm EmotivBCI.
- Xây dựng thuật toán xử lý ảnh để nhận diện vật cản.
- Thi cơng mơ hình.
- Viết chương trình trên Python và Arduino IDE.
i
- Chạy thử nghiệm, chỉnh sửa và hoàn thiện hệ thống.
- Đánh giá kết quả thực hiện.
- Thực hiện viết báo cáo đề tài.
- Tiến hành báo cáo trước hội đồng.
III. NGÀY GIAO NHIỆM VỤ:
10/03/2020
IV. NGÀY HOÀN THÀNH NHIỆM VỤ:
03/08/2020
V. HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN:
ThS. Ngô Bá Việt
CÁN BỘ HƯỚNG DẪN
BM. ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
ii
TRƯỜNG ĐH SPKT TP. HỒ CHÍ MINH
KHOA ĐIỆN-ĐIỆN TỬ
CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM
ĐỘC LẬP - TỰ DO - HẠNH PHÚC
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
----o0o---Tp. HCM, ngày 15 tháng 07 năm 2020
LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên 1: Vũ Hoàng Thiên
Lớp: 16141DT1A
MSSV: 16141282
Họ tên sinh viên 1: Đoàn Lâm
Lớp: 16141DT2A
MSSV: 16141190
Tên đề tài:
Thiết kế và thi công hệ thống điều khiển xe lăn điện cho người khuyết tật
sử dụng tín hiệu điện não và camera
Tuần/ngày
Nội dung
02-9/03
- Chọn đề tài
10-17/03
- Viết đề cương chi tiết đồ án tốt nghiệp
18/03-25/03
Xác nhận
GVHD
- Tìm hiểu phương pháp nhận dạng hình cơ bản
- Tìm hiểu về tín hiệu điện não và cách xử lý tín
hiệu điện não.
26/03-01/04
- Tìm hiểu module cơng suất và động cơ
- Tìm hiểu sơ đồ ngun lí của hệ thống, giải
thích chức năng cách khối
02-09/04
- Tìm hiểu camera 3D
- Tìm hiểu Emotiv Epoc
iii
10-26/04
- Tìm hiểu thuật tốn tính khoảng cách
- Tìm hiểu cách huấn luyện tín hiệu điện não, lấy
tín hiệu từ Server gửi về máy tính
27/04-03/05
- Tìm hiểu về Arduino
- Tìm hiểu về python, Open CV và các thư viện
liên quan như release2,...
04/05-11/05
- Tiến hành tính tốn lựa chọn linh kiện, vẽ PCB
mạch điều khiển động cơ và thi công mạch
12/05-26/05
- Lập trình sử dụng camera nhận dạng được vật
cản bằng ngôn ngữ python trên Windows sử
dụng Visual Studio Code
- Lập trình cho hệ thống lấy tín hiệu điện não từ
server và kết hợp với camera để tránh vật cản,
bằng ngôn ngữ python sử dụng Visual Studio
Code
- Training tín hiệu điện não sử dụng phần mềm
EmotivBCI
27/05-11/06
- Lập trình Arduino cho khối điều khiển động cơ
- Lập trình Matlab sử dụng la bàn để mô phỏng
lại dữ liệu đường đi của xe lăn điện
12/06-19/06
- Thi cơng mơ hình và chạy thử tồn bộ mơ hình
- Sữa lỗi phần cứng và phần mềm
- Viết quyển luận văn
20/06-27/07
- Hoàn thành, cân chỉnh lại toàn bộ lại hệ thống
iv
- Viết hoàn chỉnh quyển luận văn
28/07-02/08
03-18/08
- Hoàn chỉnh hệ thống và quyển luận văn
- Báo cáo, bảo vệ đồ án tốt nghiệp
GV HƯỚNG DẪN
ThS. Ngô Bá Việt
v
LỜI CAM ĐOAN
Đề tài này là do nhóm tơi tự thực hiện dựa vào kiến thức được học, nghiên cứu
tìm hiểu một số tài liệu, đề tài trước đó và khơng sao chép từ tài liệu hay cơng trình đã
có trước đó.
Người thực hiện đề tài
Vũ Hồng Thiên – Đồn Lâm
vi
LỜI CẢM ƠN
Lời đầu tiên, nhóm thực hiện đề tài xin được cảm ơn chân thành tới Thầy Ngô
Bá Việt - Giảng viên bộ môn Điện Tử Công Nghiệp – Y Sinh, Thầy đã tận tình hướng
dẫn nhóm để có thể hồn thành tốt đề tài. Thầy ln hỗ trợ hết mình, giải đáp thắc
mắc, chỉ ra sai sót cũng như gợi ý những phương án thực hiện sao cho khả thi và dễ
tiếp cận nhất.
Nhóm xin gửi lời chân thành cảm ơn các thầy cô trong Khoa Điện-Điện Tử đã
tạo những điều kiện tốt nhất cho tơi hồn thành đề tài, đặc biệt là các Thầy trong
phòng lab C306 đã tận tình giúp đỡ, giải đáp thắc mắc trong q trình thực hiện đề tài
của nhóm. Những kiến thức bổ ích mà các Thầy Cơ dạy, nó được áp dụng vào đề tài
Đồ Án Tốt Nghiệp rất nhiều, từ những kiến thức nhỏ nhặt cho tới những bài học lớn.
Một lần nữa nhóm xin được gửi lời cảm ơn đến tất cả Thầy Cơ, nếu khơng có Thầy Cơ
thì chắc giờ này nhóm sẽ khó có thể hồn thành đề tài này.
Tiếp theo nhóm cũng xin cảm ơn tới các Anh, Chị khóa trên cùng các bạn sinh
viên đã tạo điều kiện giúp đỡ, từ những tài liệu liên quan tới đề tài cho tới những kinh
nghiệm sống thực tế. Nhờ họ mà nhóm mới có thể phát triển được.
Nhóm cũng gửi lời đồng cảm ơn đến các bạn lớp 16141DT2A đã chia sẻ trao
đổi kiến thức cũng như những kinh nghiệm quý báu trong thời gian thực hiện đề tài, và
cũng là lớp học có nhiều kí ức nhất thời sinh viên của nhóm.
Cuối cùng, nhóm xin cảm ơn chân thành và sâu sắc đến Cha, Mẹ - những người
ln bên cạnh hỗ trợ hết mình về tài chính cũng như tinh thần trong suốt những năm
tháng qua.
Thành cơng của đề tài ngày hơm nay chính là một phần đóng góp to lớn của
mọi người. Một lần nữa, nhóm xin gửi lời cảm ơn chân thành nhất đến quý thầy cô,
bạn bè và quý phụ huynh đã hỗ trợ nhóm thực hiện đề tài hồn chỉnh.
Xin chân thành cảm ơn!
Người thực hiện đề tài
Vũ Hoàng Thiên – Đoàn Lâm
vii
MỤC LỤC
NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP ............................................................................. i
LỊCH TRÌNH THỰC HIỆN ĐỒ ÁN TỐT NGHIỆP ............................................... iii
LỜI CAM ĐOAN ......................................................................................................... vi
LỜI CẢM ƠN .............................................................................................................. vii
MỤC LỤC ................................................................................................................... viii
LIỆT KÊ HÌNH VẼ ..................................................................................................... xi
LIỆT KÊ BẢNG ......................................................................................................... xiv
LIỆT KÊ CÁC TỪ VIẾT TẮT .................................................................................. xv
TÓM TẮT ................................................................................................................... xvi
Chương 1: TỔNG QUAN ............................................................................................. 1
1.1. ĐẶT VẤN ĐỀ ................................................................................................... 1
1.2. MỤC TIÊU ........................................................................................................ 1
1.3. NỘI DUNG NGHIÊN CỨU ............................................................................. 3
1.4. GIỚI HẠN ......................................................................................................... 4
1.5. BỐ CỤC ............................................................................................................ 4
CHƯƠNG 2: CƠ SỞ LÝ THUYẾT ............................................................................ 6
2.1. TÍN HIỆU ĐIỆN NÃO ...................................................................................... 6
2.1.1. Giới thiệu về EEG ....................................................................................... 6
2.1.2. Nguyên lý xử lí tín hiệu điện não ............................................................... 8
2.1.3. Phương pháp giao tiếp giữa não và máy tính ............................................. 9
2.2. CAMERA 3D VÀ CÁC PHƯƠNG PHÁP XỬ LÝ ẢNH ............................. 11
2.2.1. Camera 3D ................................................................................................ 11
2.2.2. Ảnh độ sâu và đám mây điểm ................................................................... 11
2.2.3. Các phương pháp xử lý ảnh ...................................................................... 11
2.3. NGÔN NGỮ PYTHON VÀ CÁC THƯ VIỆN LIÊN QUAN ........................ 13
2.4. GIỚI THIỆU PHẦN CỨNG ........................................................................... 14
2.4.1. Camera Intel RealSense D435 .................................................................. 14
viii
2.4.2.
2.4.3.
Emotiv Epoc ............................................................................................. 17
Nguồn LM2596......................................................................................... 18
2.4.4.
Kit Arduino Nano ..................................................................................... 18
2.4.5. Module Điều khiển động cơ BTS7960 ..................................................... 20
CHƯƠNG 3: TÍNH TOÁN VÀ THIẾT KẾ ............................................................. 22
3.1.
GIỚI THIỆU .................................................................................................... 22
3.2.
THIẾT KẾ PHẦN CỨNG CỦA HỆ THỐNG XE LĂN CHO NGƯỜI
KHUYẾT TẬT SỬ DỤNG ĐIỆN NÃO VÀ CAMERA TRÁNH VẬT CẢN ........ 22
3.2.1. Khối thu tín hiệu ....................................................................................... 23
3.2.2. Khối xử lý trung tâm và hiển thị ............................................................... 25
3.2.3.
Khối điều khiển ......................................................................................... 26
3.2.4.
Khối nguồn ............................................................................................... 27
3.3.
PHƯƠNG PHÁP TÍNH TỐN KHOẢNG TRỐNG VÀ PHÁT HIỆN VẬT
CẢN ......................................................................................................................... 28
3.3.1. Xây dựng bản đồ khoảng cách 2D từ bản đồ ảnh độ sâu ......................... 23
3.3.2. Xác định vật cản ....................................................................................... 25
3.3.3. Tính độ rộng khoảng trống ....................................................................... 29
3.3.4. So sánh các khoảng trống và tìm điểm giữa ............................................. 27
CHƯƠNG 4: THI CÔNG HỆ THỐNG .................................................................... 32
4.1.
GIỚI THIỆU .................................................................................................... 32
4.2.
THI CƠNG MƠ HÌNH .................................................................................... 32
4.2.1. Kết nối bộ phận điều khiển và động lực ................................................... 33
4.2.2. Kết nối bộ phận điều khiển và động lực với nguồn .................................. 33
4.2.3. Kết nối bộ phận Camera với máy tính ...................................................... 34
4.2.4. Kết nối bộ phận Emotiv Epoc với máy tính ............................................. 34
4.2.5. Mơ hình hồn chỉnh .................................................................................. 35
4.3.
LẬP TRÌNH HỆ THỐNG ĐIỀU KHIỂN XE LĂN SỬ DỤNG TÍN HIỆU
ĐIỆN NÃO VÀ CAMERA ....................................................................................... 36
4.3.1. Lưu đồ giải thuật ....................................................................................... 36
4.3.2. Công cụ sử dụng ....................................................................................... 40
4.4.
TÀI LIỆU HƯỚNG DẪN SỬ DỤNG, THAO TÁC .................................... 455
CHƯƠNG 5: KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ ............................................... 47
ix
5.1. KẾT QUẢ THI CÔNG BỘ ĐIỀU KHIỂN XE LĂN...................................... 47
5.2. KẾT QUẢ THÍ NGHIỆM.............................................................................. 47
5.2.1.
Kết quả phát hiện khoảng trống và vật cản dùng camera.........................47
5.2.2.
Kết quả điều khiển xe lăn dùng EEG....................................................... 53
5.2.3.
Kết quả điều khiển xe lăn bằng tín hiệu điện não kết hợp với camera.....57
5.2.4 . So sánh khả năng di chuyển của xe lăn ở cả 3 chế độ..............................59
CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN......................................... 61
6.1. KẾT LUẬN.................................................................................................... 61
6.2. HƯỚNG PHÁT TRIỂN.................................................................................. 61
TÀI LIỆU THAM KHẢO......................................................................................... 62
PHỤ LỤC................................................................................................................... 64
x
LIỆT KÊ HÌNH VẼ
Hình
Trang
Hình 2.1. Sơ đồ điện cực trên não người........................................................................................... 6
Hình 2.2. Phân loại các vec tơ đặc trưng sử dụng phương pháp phân tích phân biệt
tuyến tính....................................................................................................................................................... 8
Hình 2.3. Sơ đồ xử lý tín hiệu điện não............................................................................................. 9
Hình 2.4. Liên kết giữa não và máy tính theo phương pháp cấy ghép thiết bị trong não10
Hình 2.5. Liên kết giữa não và máy tính theo phương pháp đọc tín hiệu trên vỏ não .. 10
Hình 2.6. Ảnh trước và sau khi chuyển đổi sang ảnh độ sâu.................................................. 12
Hình 2.7. Ảnh đám mây điểm của 1 vùng núi nhô cao............................................................. 13
Hình 2.8. Ảnh độ sâu khi phân đoạn theo 2 màu xanh dương và xanh lá.......................... 13
Hình 2.9. Camera Intel RealSense D435 3D................................................................................. 14
Hình 2.10. Cấu tạo Camera Intel RealSense D435..................................................................... 15
Hình 2.11. Nguyên lý hoạt động Camera Intel RealSense D435 3D................................... 16
Hình 2.12. Sơ đồ phần cứng Camera Intel RealSense D435 3D........................................... 16
Hình 2.13. Headset Emotiv Epoc 14 Channel EEG.................................................................... 17
Hình 2.14. Module LM2596................................................................................................................ 18
Hình 2.15. Kit Arduino Nano.............................................................................................................. 19
Hình 2.16. Module điều khiển động cơ BTS7960....................................................................... 20
Hình 3.1. Sơ đồ khối hệ thống điều khiển xe lăn điện cho người khuyết tật....................22
Hình 3.2. Sơ đồ thu tín hiệu hình ảnh từ camera......................................................................... 23
Hình 3.3. Sơ đồ thu tín hiệu từ điện não......................................................................................... 24
Hình 3.4. Một số tín hiệu điện não thu được khi người dùng nhắm mắt............................25
Hình 3.5. Khối xử lý và hiển thị......................................................................................................... 25
Hình 3.6. Sơ đồ nguyên lý của khối điều khiển........................................................................... 26
xi
Hình 3.7. Acquy sử dụng cho xe lăn điện....................................................................................... 27
Hình 3.8. Mô tả việc chuyển đổi bản đồ đám mây điểm sang bản đồ khoảng cách 2D 29
Hình 3.9. Ảnh mơi trường có một vật cản là hộp vng nằm lệch phải............................. 30
Hình 3.10. Kết quả phương pháp tính tốn khoảng trống và xác định vật cản................31
Hình 4.1. Bộ phận điều khiển.............................................................................................................. 33
Hình 4.2. Kết nối bộ phận điều khiển và động lực với nguồn............................................... 33
Hình 4.3. kết nối bộ phận camera với máy tính........................................................................... 34
Hình 4.4. Kết nối Emotiv Epoc với máy tính................................................................................ 34
Hình 4.5. Giao diện kiểm tra kết nối của phần mềm EmotivBCI.......................................... 35
Hình 4.6. Mơ hình xe lăn điện hồn chỉnh..................................................................................... 35
Hình 4.7. Người sử dụng và bộ Emotiv........................................................................................... 36
Hình 4.8. Lưu đồ giải thuật cho chương trình chính.................................................................. 37
Hình 4.9. Lưu đồ chương trình con xử lý tín hiệu điều khiển EEG...................................... 38
Hình 4.10. Lưu đồ chương trình con xử lý ảnh 2D tránh vật cản.......................................... 39
Hình 4.11. Giao diện của Visual Studio Code............................................................................... 40
Hình 4.12. Cách chọn cổng Com để tiến hành nạp cho Arduino Nano............................... 41
Hình 4.13. Giao diện kết nối giữa thiết bị với phần mềm........................................................ 41
Hình 4.14. Giao diện kiểm tra độ kết nối với Emotiv................................................................ 42
Hình 4.15. Tạo một tập huấn luyện mới trên phần mềm EmotivBCI.................................. 42
Hình 4.16. Kiểm tra kết quả các lệnh của tập huấn luyện........................................................ 43
Hình 4.17. Giao diện thử nghiệm độ chính xác của lệnh.......................................................... 43
Hình 4.18. Kiểm tra lại tín hiệu left sau khi training.................................................................. 44
Hình 4.19. Hình ảnh của 1 tập dữ liệu hồn chỉnh với 4 lệnh cơ bản................................. 44
Hình 4.20. Tạo một cortex apps để kết nối với server............................................................... 44
Hình 4.21. Kiểm tra các thư viện cần thiết..................................................................................... 45
Hình 5.1. Bộ điều khiển xe lăn........................................................................................................... 47
xii
Hình 5.2. Ảnh mơi trường và ảnh độ sâu từ camera................................................................... 47
Hình 5.3. Vùng khoảng trống phía trước Camera....................................................................... 48
Hình 5.4. Vùng có vật cản phía bên trái Camera......................................................................... 49
Hình 5.5. Quá trình di chuyển và xử lý ảnh tránh vật cản của xe lăn khi phía trước là
khoảng trống.............................................................................................................................................. 50
Hình 5.6. Quá trình di chuyển và xử lý ảnh tránh vật cản của xe lăn khi phía trước có
vật cản.......................................................................................................................................................... 51
Hình 5.7. Đường đi camera trong 2 lần thí nghiệm.................................................................... 52
Hình 5.8. Tập huấn luyện hồn chỉnh với 4 cử chỉ..................................................................... 53
Hình 5.9. Lấy dữ liệu từ server và hiển thị ở khung terminal................................................. 53
Hình 5.10. Quá trình di chuyển của xe lăn khi sử dụng tín hiệu điện não điều khiển .. 56
Hình 5.11. Đường đi EEG trong 2 lần thí nghiệm....................................................................... 57
Hình 5.12. Q trình di chuyển hết một vòng của xe lăn điện khi kết hợp sử dụng 2 chế
độ camera và EEG................................................................................................................................... 58
Hình 5.13. Dạng đường đi của xe lăn khi kết hợp 2 chế độ..................................................... 59
Hình 5.14. Biểu đồ đường đi theo 3 chế độ: Camera, EEG, EEG + Camera trong bản
đồ thứ nhất.................................................................................................................................................. 60
Hình 5.15. Biểu đồ đường đi theo 3 chế độ: Camera, EEG, EEG + Camera trong bản
đồ thứ hai..................................................................................................................................................... 60
xiii
LIỆT KÊ BẢNG
Bảng 2.1: Biểu đồ hoạt động của 5 dạng sóng EEG cơ bản...................................................... 7
Bảng 2.2: Đặc điểm kỹ thuật của Arduino Nano......................................................................... 19
Bảng 3.1: Thống kê dòng tải của bộ điều khiển động cơ xe lăn điện.................................. 26
Bảng 4.1: Danh sách các module và linh kiện liên quan.......................................................... 32
Bảng 4.2: Bảng hướng dẫn sử dụng xe lăn.................................................................................... 46
Bảng 5.1: Thống kê kết quả xác định khoảng cách tối đa camera nhìn thấy vật cản .. 48
Bảng 5.2: Tổng hợp tín hiệu điều khiển cho rẽ trái..................................................................... 54
Bảng 5.3: Tổng hợp tín hiệu điều khiển cho rẽ phải................................................................... 55
Bảng 5.4: Tổng hợp tín hiệu điều khiển cho đi thẳng................................................................ 55
xiv
LIỆT KÊ CÁC TỪ VIẾT TẮT
BCI
Brain Computer Interface
ANN
Artificial Neural Network
EEG
Electroencephalogram
LDA
Linear Discriminant Analysis
EOG
Electrooculography
CAR
Common Average Referencing
ICA
Independent Component Analysis
PCA
Principal Component Analysis
OpenCV
Open Computer Vision
TP
True Position
FP
False Position
FN
False Position
TN
True Position
xv
TĨM TẮT
Theo cơng bố của Tổng cục thống kê và UNICEF ngày 11-1-2019, hơn 7% dân
số Việt Nam từ 2 tuổi trở lên – khoảng 6,2 triệu người là người khuyết tật. Từ con số
thực tế trên có thể nhận thấy số lượng người khuyết tật chiếm một phần không nhỏ
trong dân số Việt Nam. Vì thế nhu cầu di chuyển của họ là một vấn đề cần đặc biệt
được quan tâm, để có thể dễ dàng di chuyển thì phương tiện ln đi liền với cuộc sống
của họ chính là xe lăn. Đề tài “Thiết kế và thi công hệ thống điều khiển xe lăn điện cho
người khuyết tật sử dụng tín hiệu điện não và camera” là mơ hình với mục đích đáp
ứng như cầu di chuyển tự động nhưng không tốn nhiều công sức, tiện lợi trong việc sử
dụng.
Hệ thống xe lăn điện trong đề tài này tập trung nghiên cứu và phát triển mơ hình
kết hợp giữa việc điều khiển xe thơng qua tín hiệu điện não, đồng thời hỗ trợ thêm
camera tránh vật cản giúp người sử dụng tránh được những va chạm không cần thiết
xảy ra.
Hệ thống sau khi hoàn thiện đạt những yêu cầu ban đầu đề ra như cấu trúc bên
ngoài đơn giản, bộ điều khiển được đặt gọn nhẹ phù hợp tương thích với mọi loại xe
lăn điện, phần camera đặt được phía trước xe lăn, bộ Emotiv Epoc điều khiển xe được
đội lên đầu người dùng để điều khiển.
Trải qua quá trình nghiên cứu và thực nghiệm, kết quả cho thấy được hệ thống xe
lăn điện có khả năng xác định được vật cản nhờ vào camera, điều khiển xe lăn điện
theo tín hiệu điện não, điều hướng xe lăn di chuyển khi có vật cản, tối ưu được quãng
đường đi khi kết hợp camera với tín hiệu điện não. Với kết quả đạt được xe lăn có thể
chạy theo đúng với yêu cầu của người điều khiển trong điều kiện thực tế, có thể ứng
dụng vào trong y tế.
xvi
CHƯƠNG 1. TỔNG QUAN
CHƯƠNG 1: TỔNG QUAN
1.1.
ĐẶT VẤN ĐỀ
Theo công bố của Tổng cục thống kê và UNICEF ngày 11-1-2019, hơn 7% dân
số Việt Nam từ 2 tuổi trở lên – khoảng 6,2 triệu người là người khuyết tật [1]. Bên
cạnh đó, có 13% dân số - gần 12 triệu người, sống chung trong hộ gia đình có người
khuyết tật. Người khuyết tật được phân thành 6 loại dạng tật, đó là: Khuyết tật vận
động (chân, tay); khuyết tật nghe, nói (câm, điếc); khuyết tật nhìn (khuyết tật về mắt,
khiếm thị); khuyết tật thần kinh, tâm thần (người rối loạn thần kinh, người điên);
khuyết tật trí tuệ (bại não, động kinh, tự kỷ); khuyết tật khác (nạn nhân chất độc da
cam, người nhiễm vi rút độc hủy hoại cơ thể). Cơ sở hạ tầng hiện nay ở nước ta vẫn
chưa phát triển các hạng mục dành cho người khuyết tật [1].
Trong lĩnh vực y tế, loại bệnh nhân được phân ra thành nhiều đối tượng khác
nhau, các đối tượng bị ảnh hưởng bởi các cơ quan nội tạng bên trong và cơ quan bên
ngoài. Người khuyết tật phần lớn thuộc vào nhóm đối tượng thứ 2, khi chịu tác động
bởi các yếu tố vật lý làm tổn hại nặng nề, có thể hồi phục hoặc khơng thể hồi phục các
chi. Trong khi một trong những nhu cầu thiết của một người là vấn đề di chuyển, tự
chủ trong cuộc sống thì đối với người khuyết tật những điều đó gần như khơng tồn tại
trong cuộc sống của họ. Vì vậy sự ra đời của xe lăn đã đóng góp 1 phần lớn trong việc
giải quyết vấn đề tự chủ di chuyển trong cuộc sống, so với ngày trước việc sử dụng các
mơ hình xe lăn truyền thống làm cho người dùng tốn nhiều sức lực hơn, khá bất tiện.
Tương tự như việc ra đời xe máy chạy bằng động cơ đốt trong thì xe lăn dành cho
người khuyết tật cũng được cải tiến thành xe lăn điện [2].
Một số phương pháp điều khiển xe lăn điện hiện nay như bộ điều khiển thường là
một bên tay vịn của xe lăn có gắn thêm một số các nút điều khiển hướng cho phép cho
phép người dùng tinh chỉnh và điều khiển ở nhiều chế độ khác nhau [2]. Đối với
phương pháp này, yêu cầu tay của người dùng di chuyển cần điều khiển hoặc nhấn nút
để điều khiển chuyển động của xe lăn điện. Một số người dùng bị khiếm khuyết tay
hồn tồn hoặc những người gặp khó khăn trong việc kiểm sốt bàn tay như bệnh nhân
viêm Poliomyel khơng thể điều hướng chuyển động của xe lăn. Do đó, họ khơng thể tự
di chuyển. Vì thế để giải quyết vấn đề trên cách xây dựng là sử dụng bộ não để điều
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
1
CHƯƠNG 1. TỔNG QUAN
khiển trực tiếp chuyển động của xe lăn. Phương pháp này sẽ cho phép hầu hết mọi
người tự chủ động trong việc điều khiển xe lăn. Do đó, điều này sẽ mang lại tác động
cực kỳ cao, đặc biệt đối với những người khuyết tật khơng có khả năng để giao tiếp vật
lý. Các hoạt động của não bắt buộc phải được phân tích để thực hiện giao tiếp Braincomputer (BCI) cho xe lăn [3]. Theo công nghệ hiện nay, có một số phương pháp được
sử dụng để thu được tín hiệu điện não như chụp cắt lớp phát xạ đơn Photon, chụp cắt
lớp phát xạ Positron, chụp cộng hưởng từ chức năng và điện não đồ (EEG). Tuy nhiên,
EEG là phương pháp phù hợp nhất được sử dụng để lấy tín hiệu của hoạt động não
theo thứ tự để thực hiện trong hệ thống giao tiếp giữa não và máy tính. EEG là phương
pháp dẫn nhập điện cực thông qua da đầu. Sau khi đặt các điện cực này lên da đầu một
cách thích hợp, sự dao động điện áp do dòng ion trong các tế bào thần kinh của não
được đo và từ đó các tín hiệu dạng sóng điện của não được ghi lại theo phương pháp
này. Theo suy nghĩ của con người, các sóng điện khác nhau được tạo ra. Ngay cả khi
co cơ, cũng sẽ tạo ra tín hiệu điện duy nhất. Bằng cách sử dụng thiết bị EEG, những tín
hiệu này được thu lại và truyền đến máy tính để xử lý [4].
Trong quá khứ, trọng tâm chính là phát triển các ứng dụng trong y tế giúp bệnh
nhân bị liệt hoặc tàn tật để tương tác với thế giới bên ngồi bởi ánh xạ tín hiệu não đến
các chức năng nhận thức hoặc cảm giác của con người [5]. Tuy nhiên, sự phát triển
BCI khơng cịn bị hạn chế chỉ đối với bệnh nhân hoặc để điều trị, có sự thay đổi tập
trung vào những người có sức khỏe bình thường. Đặc biệt các game thủ đang trở thành
một nhóm mục tiêu có khả năng thích nghi để sử dụng EEG [5]. Trong những năm gần
đây, kỹ thuật EEG đã nhanh chóng phát triển và thu hút được nhiều nhà nghiên cứu
tìm hiểu những vấn đề liên quan đến não bộ con người. Nhiều ứng dụng giao tiếp máy
tính – não (BCI) cũng như chẩn đoán dựa trên não đã được nghiên cứu thành cơng,
trong đó vấn đề BCI đã được nghiên cứu để thực hiện trên con người trong những năm
gần đây. Đặc biệt, một hệ thống BCI có thể cho phép con người giao tiếp và điều khiển
các thiết bị bên ngồi. Điều này có nghĩa là con người có thể chuyển các hoạt động não
thành các thơng điệp hoặc các lệnh để điều khiển các thiết bị [6].
Đồng thời bên cạnh sự phát triển vượt bậc về kỹ thuật EEG thì vai trị của các kỹ
thuật về xử lý ảnh cũng đang ngày càng ứng dụng một cách rộng rãi. Trong những năm
gần đây, các phương pháp về xử lý ảnh ngày càng được ứng dụng nhầm nâng cao
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
2
CHƯƠNG 1. TỔNG QUAN
chất lượng bằng những phương pháp phân tích và nghiên cứu, chẳng hạn như nâng cao
độ sáng hay độ phân giải hình ảnh. Về sau, sự xuất hiện và phát triển mạnh của máy
tính đã tạo điều kiện hơn nữa cho quá trình thực hiện các thuật toán xử lý ảnh. Ứng
dụng của xử lý ảnh ngày càng được mở rộng sang các lĩnh vực khác, chẳng hạn như
viễn thông, điều khiển tự động, giao thông thông minh, kỹ thuật y sinh [6].
Từ những khảo sát trên, cùng với các kiến thức đã được trang bị, nhóm làm đề tài
kiến nghị thực hiện thiết kế và thi cơng một hệ thống áp dụng tín hiệu điện não của con
người, từ đó tương tác với những thiết bị bên ngồi và đồng thời sử dụng thêm một
camera thơng qua kỹ thuật xử lý ảnh sẽ giúp cho người sử dụng tránh được những
nguy hiểm hoặc va chạm trước mặt. Đề tài “Thiết kế và thi công hệ thống điều khiển
xe lăn điện cho người khuyết tật sử dụng tín hiệu điện não và camera” có chức năng
giúp những người khuyết tật, người khơng cịn sức lao động có thể dễ dàng tự chủ
trong việc di chuyển.
1.2.
MỤC TIÊU
Mục tiêu nghiên cứu của đề tài “ Thiết kế và thi công hệ thống điều khiển xe lăn
điện cho người khuyết tật sử dụng tín hiệu điện não và camera ” để hỗ trợ phương tiện
di chuyển cho cả người khuyết tật, người khơng cịn sức lao động và người già có thể
dễ dàng sử dụng khơng cần những thao tác mà chỉ cần dùng những cử chỉ khuôn mặt.
Cụ thể là:
- Áp dụng các kĩ thuật xử lý ảnh trên vùng ảnh độ sâu, đám mây điểm để xác
định vị trí vật cản, khoảng trống.
- Tìm hiểu cách sử dụng tín hiệu điện não để giao tiếp với máy tính.
- Giao tiếp với Arduino Nano để điều khiển động cơ đặt dưới xe lăn điện.
1.3.
NỘI DUNG NGHIÊN CỨU
Trong quá trình thực hiện Đồ án tốt nghiệp với đề tài “ Thiết kế và thi công hệ
thống điều khiển xe lăn điện cho người khuyết tật sử dụng tín hiệu điện não và
camera” đã tập trung giải quyết và hoàn thành được những nội dung sau:
• NỘI DUNG 1: Nghiên cứu và xây dựng cách giao tiếp từ não tới máy tính.
• NỘI DUNG 2: Nghiên cứu và xử lý tín hiệu điện não.
• NỘI DUNG 3: Nghiên cứu và xử lý hình ảnh từ camera.
BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP – Y SINH
3
CHƯƠNG 1. TỔNG QUAN
• NỘI DUNG 4: Nghiên cứu xây dựng ứng dụng biểu diễn cho việc di chuyển
của xe.
• NỘI DUNG 5: Thiết kế mơ hình hệ thống.
• NỘI DUNG 6: Nghiên cứu lập trình để xe lăn điện tự động di chuyển.
• NỘI DUNG 7: Thi cơng phần cứng, chạy thử nghiệm và hiệu chỉnh hệ thống.
• NỘI DUNG 8: Viết báo cáo thực hiện.
1.4.
GIỚI HẠN
Ngoài những nội dung nghiên cứu trên, đề tài “ Thiết kế và thi công hệ thống
điều khiển xe lăn điện cho người khuyết tật sử dụng tín hiệu điện não và camera ” vẫn
còn một số giới hạn như sau:
- Còn hạn chế trong nghiên cứu sâu về cách xử lý, khử nhiễu cho tín hiệu điện
não thơ.
- Cịn hạn chế trong việc giải quyết vấn đề khử nhiễu cho camera ở những vị trí
với bức xạ hồng ngoại cao.
- Chưa tích hợp khả năng tăng giảm tốc độ cho xe lăn điện.
1.5.
BỐ CỤC
Với đề tài “Thiết kế và thi công hệ thống điều khiển xe lăn điện cho người khuyết
tật sử dụng tín hiệu điện não và camera ” có bố cục đồ án như sau:
• Chương 1: Tổng quan
Chương này trình bày đặt vấn đề dẫn nhập lý do chọn đề tài, mục tiêu, nội dung
nghiên cứu, các giới hạn thơng số và bố cục đồ án.
• Chương 2: Cơ sở lý thuyết
Chương này sẽ trình bày cơ bản về xử lý ảnh, phương pháp cơ bản xử lý để nhận
dạng tránh vật cản, giới thiệu cơ bản về camera 3D Intel RealSense D435 và thư viện
liên quan, cách giao tiếp từ não tới máy tính, xử lí tín hiệu điện não.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
4
CHƯƠNG 1. TỔNG QUAN
• Chương 3: Thiết kế và tính tốn
Chương này sẽ đi tính tốn để lựa chọn các linh kiện phù hợp với hệ thống. Thiết
kế sơ đồ khối, giải thích sơ đồ khối, sơ đồ nguyên lí của hệ thống điều khiển, tìm hiểu
kỹ các thuật tốn nhận dạng để camera tránh vật cản.
• Chương 4: Thi cơng hệ thống
Nội dung chương này là q trình thiết kế phần cứng cho các phần của hệ thống.
Viết chương trình điều khiển cho Arduino, chương trình điều khiển EEG kết hợp
camera để điều khiển xe lăn.
• Chương 5: Kết quả nhận xét và đánh giá
Nội dung chương này là đưa ra kết quả đạt được sau một thời gian nguyên cứu,
thiết kế, một số hình ảnh của bộ điều khiển xe lăn, hình ảnh đạt được trong quá trình
điều khiển xe lăn. Đưa ra những nhận xét, đánh giá toàn bộ hệ thống điều khiển xe lăn
bằng EEG kết hợp với camera.
• Chương 6: Kết luận và hướng phát triển
Trình bày những kết luận về hệ thống, những kết quả đạt được và những hạn chế,
kết luận hiệu quả của hệ thống điều khiển xe lăn trong thực tế, đồng thời nêu ra hướng
phát triển cho hệ thống.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP – Y SINH
5
