(Đồ án tốt nghiệp) nghiên cứu phân tích chuyển động của mắt để xuất ra tín hiệu điều khiển xe lăn

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
TP.HCM KHOA CƠ KHÍ CHẾ TẠO MÁY

ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT CƠ ĐIỆN TỬ

NGHIÊN CỨU PHÂN TÍCH CHUYỂN ĐỘNG CỦA MẮT
ĐỂ XUẤT RA TÍN HIỆU ĐIỀU KHIỂN XE LĂN

GVHD: TS.VŨ QUANG HUY
SVTH: NGÔ TUẤN ANH
MSSV: 10911014
SVTH: NGUYỄN ĐĂNG TIẾN
MSSV: 10911058

SKL003864

Tp. Hồ Chí Minh, tháng 7/2015


TRƢỜNG ĐH SƢ PHẠM KỸ THUẬT TP.HCM

CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM

KHOA CƠ KHÍ CHẾ TẠO MÁY

Độc lập - Tự do – Hạnh phúc

Bộ môn CƠ ĐIỆN TỬ

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP

Giảng viên hƣớng dẫn: TS.VŨ QUANG HUY
Sinh viên thực hiện: NGÔ TUẤN ANH
NGUYỄN ĐĂNG TIẾN
1.

Tên đề tài:

“Nghiên cứu phân tích chuyển động của mắt để xuất ra tín hiệu điều khiển xe lăn
“ 2.Các số liệu,tài liệu ban đầu:
3.Nội dung chính của đồ án:
a.

Nguyên cứu phân tích chuyển động của mắt xuất tín hiệu điều khiển



Nguyên cứu ,lập trình phần mềm phân tích chuyển động của mắt bằng C++.



Xuất ra tín hiệu điều khiển.

b.

Thiết kế chế tạo mơ hình xe lăn



Vẽ bản vẽ chi tiết mơ hình hình xe lăn



Tính tốn chọn động cơ cho mơ hình



Kết nói mạch điều khiển động cơ(sử dụng modul arduino)



Sử dụng phần mềm xử lý ảnh điều khiển mơ hình xe lăn

4.

Các sản phẩm dự kiến



Mơ hình xe lăn hồn thiện



Phần mềm sử lý ảnh phân tích chuyển động của mắt

5.

Ngày giao đồ án: 23/3/2015

6.

Ngày nộp đồ án: 28/7/2015
TRƢỞNG BỘ MÔN
(Ký,ghi rõ họ tên)



GIẢNG VIÊN HƢỚNG DẪN
(Ký,ghi rõ họ tên)

Đƣợc phép bảo vệ …………………………………………
(GVHD ký,ghi rõ họ tên)

i


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

LỜI CAM KẾT

- Tên đề tài: Nghiên cứu phân tích chuyển động của mắt để xuất ra tín hiệu điều
khiển xe lăn
- GVHD: TS.Vũ Quang Huy
- Họ tên sinh viên: Ngô Tuấn Anh
- Địa chỉ sinh viên: Kp VII-TT Chơn Thành-Huyện Chơn Thành-Tỉnh Bình Phƣớc
- Số điện thoại liên lạc: 0979508082
- Email:
- Ngày nộp khố luận tốt nghiệp (ĐATN): 28/7/2015
- Lời cam kết:

“Tơi xin cam đoan khố luận tốt nghiệp (ĐATN) này là cơng trình do chính tơi nghiên
cứu và thực hiện.Tơi khơng sao chép từ bất kỳ một bài viết nào đã được cơng bố mà
khơng trích dẫn nguồn gốc.Nếu có bất kỳ một sự vi phạm nào,tơi xin chịu hồn tồn
trách nhiệm”.
Tp.Hồ Chí Minh,ngày ….tháng ….năm 20…..
Ký tên
Ngơ Tuấn Anh

ii


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

LỜI CẢM ƠN
Lời đầu tiên,chúng em xin gửi đến Thầy TS Vũ Quang Huy lời cảm ơn chân
thành và sâu sắc nhất.Nhờ có sự hƣớng dẫn và giúp đỡ tận tình của Thầy trong suốt
thời gian qua,chúng em đã có thể thực hiện và hồn thành Đồ Án Cơ Điện Tử và Đồ
Án Tốt Nghiệp.Những lời nhận xét,góp ý và chỉ dẫn tận tình của Thầy đã giúp chúng
em có một định hƣớng đúng đắn trong suốt quá trình thực hiện Đề tài,giúp chúng em
nhìn ra đƣợc những ƣu khuyết điểm của Đề tài và từng bƣớc hoàn thiện hơn.
Đồng thời,chúng em xin trân trọng cảm ơn các Thầy Cô của Trƣờng Đại Sƣ Phạm
Kỹ Thuật Tp.HCM,các Thầy Cơ của khoa Cơ Khí Chế Tạo Máy nói chung và của Bộ
Mơn Cơ Điện Tử nói riêng đã dạy dỗ chúng em suốt quãng thời gian ngồi trên ghế
giảng đƣờng Đại học.Những lời giảng của Thầy Cô trên bục giảng đã trang bị cho
chúng em những kiến thức và giúp chúng em tích lũy thêm những kinh nghiệm.
Bên cạnh đó,chúng tơi xin cảm ơn sự hỗ trợ và giúp đỡ của bạn bè trong thời gian
học tập tại Trƣờng Đại Học Sƣ Phạm Kỹ Thuật Tp.HCM và trong q trình hành trình
hồn thành Đồ Án Tốt Nghiệp này.

Cuối cùng,chúng con cũng chân thành cảm ơn sự động viên và sự hỗ trợ của cha
mẹ và gia đình trong suốt thời gian học tập.Đặc biệt,chúng con xin gửi lời cảm ơn trân
trọng nhất đến cha mẹ,ngƣời đã sinh ra và nuôi dƣỡng chúng con nên ngƣời.Sự quan
tâm,lo lắng và hy sinh lớn lao của cha mẹ luôn là động lực cho chúng con cố gắng
phấn đấu trên con đƣờng học tập của mình.Một lần nữa,chúng con xin gửi đến cha mẹ
sự biết ơn sâu sắc nhất.
Tp.Hồ Chí Minh,ngày 15 tháng 07 năm 2015.
Ngô Tuấn Anh
Nguyễn Đăng Tiến

iii


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

TÓM TẮT ĐỒ ÁN
TÊN ĐỀ TÀI
Nghiên cứu phân tích chuyển động của mắt để xuất ra tín hiệu điều khiển xe lăn
Nhằm cải thiện khả năng di chuyển của ngƣời khuyết tật,đề tài: ” Nghiên cứu phân
tích chuyển động của mắt để xuất ratín hiệu điều khiển xe lăn” ra đời.Đề tài tập trung
vào nghiên cứu phƣơng pháp điều khiển xe lăn bằng ánh mắt bao gồm các yếu tố:

 Nghiên cứu phân tích chuyển động của mắt bằng xửlý ảnh.
 Chuyển tín hiệu ảnh đã xử lý sang tín hiệu điều khiển động cơ xe lăn.
 Thiết kế chế tạo mơ hình xe lăn và điều khiển mơ hình bằng tín hiệu mắt.
Yếu tố phân tích chuyển động của mắt đƣợc nhóm nghiên cứu giải quyết bằng việc
thiết kế và lập trình giao diện điều khiển bằng ngôn ngữ C++ của Micorosoft kết hợp
với thƣ viện ảnh nguồn mở OpenCV và Webcam thu tín hiệu chuyển động của mắt.

Một điểm đặc biệt của công trình là việc tích hợp module thu phát tín hiệu khơng
dây(HC-11 Bluetooth Module).Để kết nối Pc với mơ hình xe lăn giúp tăng khả năng
hoạt động của mơ hình và giảm cả trở khi xe di chuyển.
Để điều khiển tối ƣu cho mơ hình xe lăn,nhóm nghiên cứu đã ứng dụng và lập trình
mạch điều khiển với Adruino và cách thiết bị điện tử khác để tạo ra bộ điều khiển động
cơ tối ƣu.
Sản phẩm giao diện phần mềm xử lý ảnh và mơ hình xe đã đƣợc nhóm lập trình và chế
tạo thành cơng,kết quả thực nghiệm và vận hành,đáp ứng đƣợc mục tiêu đề ra.Bên
cạnh đó sản phẩm vẫn còn một số hạn chế về thời gian vận hành và các tính năng phục
vụ cho ngƣời dùng vẫn cịn hạn chế.
Sinh viên
Ngơ Tuấn Anh
Nguyễn Đăng Tiến

iv


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

ABSTRACT
Analysis of Eye Movement to Control Wheelchair
In

daily

life,the

disabled

people

need

the

help

of

autonomous

wheelchair.Requirements of autonomous wheelchair is capable of support the move for
disabled people.There are many methods for autonomous wheelchair.One of the many
advantages the technology used is Image Processing
This project presented a research of eye movements using image processing
methods.This system has ability to identify,locate the coordinate position of eye in an
image based on color feature in an image based on color features,then calculate the
distance,the replacement of the eye position.After processing,the computer will
transmit control signal to wheelchairs via Bluetooth Transceiver.Wheelchairs will
process those signal to move to the destination.

v


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

MỤC LỤC
NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP...............................................................................i
LỜI CAM KẾT............................................................................................................. ii
LỜI CẢM ƠN..............................................................................................................iii
TÓM TẮT ĐỒ ÁN....................................................................................................... iv
ABSTRACT.................................................................................................................. v
MỤC LỤC.................................................................................................................... vi
DANH MỤC BẢNG BIỂU........................................................................................ viii
DANH MỤC SƠ ĐỒ,HÌNH VẼ................................................................................... ix
DANH MỤC TỪ VIẾT TẮT........................................................................................ xi
CHƢƠNG 1: TỔNG QUAN.........................................................................................1
1.1.Giới thiệu chung....................................................................................................1
1.2.Ý nghĩa của đề tài..................................................................................................4
1.3 Mục tiêu nghiên cứu của đề tài................................................................................4
1.4 Đối tƣợng và phạm vi nguyên cứu..........................................................................5
1.4.1 Đối tƣợng nghiên cứu...........................................................................................5
1.4.2 Phạm vi nghiên cứu..............................................................................................5
1.5 Phƣơng pháp thực hiện...........................................................................................5
1.6 Kết cấu đề tài...........................................................................................................6
CHƢƠNG 2: CƠ SỞ LÝ THUYẾT..............................................................................7
2.1 Lý thuyết về xử lý ảnh.............................................................................................7
2.1.1 Cấu trúc một file ảnh........................................................................................... 10
2.1.2Ảnh màu.............................................................................................................. 10
2.1.3 Không gian màu (Color Space)........................................................................... 10
2.1.4 Không gian màu RGB (RGB Color Space) [6]................................................... 11
2.1.5 Không gian màu xám (Gray-scale Color Space)................................................. 12
2.1.6 Không gian màu HSV......................................................................................... 13
2.1.7 Không gian màu nhị phân................................................................................... 13

vi

Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

2.1.8

Chuyển đổi ảnh màu sang ảnh xám ......................................

2.1.9

Chuyển đổi ảnh xám sang ảnh nhị phân ................................

2.1.10 Giải thuật CAMSHIFT (Continuously Adaptive Mean Shift) ...........................
2.1.11Kỹ thuật lọc số - làm trơn nhiễu ..........................................................................
2.2
2.2.1
2.3

Lý thuyêt về Open CV: ................................................................................

Cách tổ chức ...........................................................................

Thiết bị điều khiển Arduino ........................................................................

2.3.1

Khả năng của mạch Arduino ..................................................

2.3.2

Đọc tín hiệu cảm biến ngõ vào ..............................................

2.3.3

Xuất tín hiệu điều khiển ngõ ra ..............................................

2.3.4

Chuẩn giao tiếp ......................................................................

2.3.5

Mơi trƣờng lập trình mạch Arduino ......................................

2.3.6

Các loại bo mạch Arduino ......................................................

CHƢƠNG 3: THIẾT KẾ CƠ KHÍ VÀ MẠCH ĐIỀU KHIỂN ...................................
3.1
3.1.1

Thiết kế mơ hình xe lăn ................................................................................

Thi cơng mơ hình. ..................................................................

3.2

Lựa chọn động cơ. ........................................................................................

3.3

Lựa chọn thiết bị tâm xử lý ảnh. ...................................................................

3.3.1

Máy tính PC,Laptop ...............................................................

3.3.2

Main cơng nghiệp,máy tính nhúng PC 104 ...........................

3.3.3

Single Board Computer (SBC) sử dụng Single on Chip (SoC

3.3.4

Kết luận: ................................................................................

3.4

Thiết bị trung tâm điều khiển động cơ .........................................................

3.5

Thiết bị kết nối và giao tiếp. ........................................................................

3.6

Mạch công suất ...........................................................................................

3.7

Kết luận: ......................................................................................................
vii


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

CHƢƠNG 4: THIẾT KẾ CHƢƠNG TRÌNH XỬ LÝ ẢNH.....................................39
4.1 Phát triển chƣơng trình xử lý tín hiệu mắt và điều khiển xe lăn............................39
4.1.1 Xử lý ngầm......................................................................................................... 40
4.1.2 Xử lý chính......................................................................................................... 41
4.2 Ứng dụng thƣ viện Open CV thiết kế chƣơng trình xử lý ảnh..............................44
4.2.1 Thiết kế quy trình phân tích chuyển động ,vị trí của mắt....................................45
CHƢƠNG 5: KẾT QUẢ VÀ THỰC NGHIỆM.......................................................... 53
5.1 Chế tạo mơ hình xe lăn.......................................................................................... 53
5.2 Giao diện điều khiển.............................................................................................. 53
5.3 Xử lý hiển thị tọa độ mắt và hƣớng di chuyển....................................................... 54
CHƢƠNG 6: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN........................................... 57
6.1 Kết luận................................................................................................................. 57
6.2 Đề nghị.................................................................................................................. 57
6.3 Hƣớng phát triển đề tài.......................................................................................... 57
TÀI LIỆU THAM KHẢO........................................................................................... 58
PHỤ LỤC.................................................................................................................... 59

A:Một số hàm trong Opencv đƣợc sử dụng để xử lý trong chƣơng trinh sử lý ảnh.........59
B: Code chƣơng trình sử lí ảnh...................................................................................................... 61
C: Code chƣơng trình điều khiển động cơ.................................................................................. 63

DANH MỤC BẢNG BIỂU,BIỂU ĐỒ

Biểu đồ 2.1: Kết quả tìm kiếm với giải thuật CAMSHIFT.......................................... 18
Biểu đồ 2.2: Tìm pixel trung vị trong cửa sổ lọc.......................................................... 19
viii


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

Bảng 4.1: Ma trận pixel trƣớc và sau khi qua bộ lọc trung bình,kích thƣớc 3x3........48
Bảng 4.2: Ma trận pixel trƣớc và sau khi qua bộ lọc trung vị,kích thƣớc 3x3...........49
Bảng 4.3: Mảng các giá trị pixel của ma trận lọc trung vị đã qua sắp xếp..................49

DANH MỤC SƠ ĐỒ,HÌNH ẢNH
Hình 1.1: Ngƣời khuyết tật gặp khó khăn trong việc di chuyển...................................1
Hình 1.2: Điều khiển bằng tay

Hình 1.3: Điều khiển bằng Joystick.....................2

Hình 1.4: Xe lăn điều khiển bằng hơi thở đối với ngƣời liệt một phần hoặc tồn thân . 3

Hình 1.5: Điều khiển xe lăn bằng điện mắt...................................................................3

ix

Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

Sơ đồ 2.1: Các bƣớc cơ bản trong xử lý ảnh.................................................................7
Sơ đồ 2.2: Lƣu đồ thơng tin giữa các khối xử lý ảnh....................................................9
Hình 2.1: Mảng hai chiều của một file ảnh................................................................. 10
Hình 2.2: Các kiểu khơng gian màu............................................................................ 11
Hình 2.3: Khơng gian màu RGB................................................................................. 12
Hình 2.4: Khơng gian màu HSV................................................................................. 13
Hình 2.5: (a) Ảnh xám ; (b),(c) Ảnh nhị phân............................................................. 15
Biểu đồ 2.1: Kết quả tìm kiếm với giải thuật CAMSHIFT.......................................... 18
Biểu đồ 2.2: Tìm pixel trung vị trong cửa sổ lọc.......................................................... 19
Sơ đồ 2.3: Tổ chức thƣ viện OpenCV......................................................................... 22
Hình 2.6: Giao diện IDE của Arduino......................................................................... 26
Hình 3.1: Hình thiết kế 3D.......................................................................................... 28
Hình 3.4: Mơ hình bằng inox kết hợp mica................................................................ 30
Hình 3.5: Cách đọc ký hiệu của step motor................................................................ 31
Hình 3.6: Thơng số chung của của motor 23LK-C047V............................................. 32
Sơ đồ: 3.1: Thông số kích thƣớc động cơ.................................................................... 32
Sơ đồ: 3.2: Sơ đồ điều khiển tổng quát........................................................................ 33
Hình 3.8: SBC sử dụng SoC....................................................................................... 35
Hình 3.9: Adruino Uno R3.......................................................................................... 36
Hình 3.10: HC-11 Bluetooth modue........................................................................... 37
Hình 3.11: Mạch cầu H L298 và thông số cơ bản....................................................... 37
Hình 3.12: Sơ đồ chi tiết thiết bị điều khiển............................................................... 38
Sơ đồ 4.1: Giải thuật xử lý ảnh.................................................................................... 40
Sơ đồ 4.2: Lƣu đồ xử lý chính................................................ Error! Bookmark not defined.

Hình 4.1: Giao diện điều khiển 2 chế độ Auto& Manual hiển thị hƣớng di chuyển .. 41

Hình 4.2: Giao diện 2 chế độ Auto& Manual hiển thị hƣớng di chuyển thông lúc hoạt
động ở chế độ Auto...................................................................................................... 42
x


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

Hình 4.3: Giao diện gồm 2 chế độ phần Auto & Manual hiển thị hƣớng di chuyển lên
đèn tín hiệu lúc hoạt động ở chế độ Manual. ................................................................
Hình 4.4: Giao diện gồm 2 chế độ phần Auto & Manual hiển thị hƣớng di chuyển lên
đèn tín hiệu lúc hoạt động ở chế độ Auto. .....................................................................
Hình 4.5: Giao diện Manual .........................................................................................
Bảng 4.1: Ma trận pixel trƣớc và sau khi qua bộ lọc trung bình,kích thƣớc 3x3. ........
Bảng 4.2: Ma trận pixel trƣớc và sau khi qua bộ lọc trung vị,kích thƣớc 3x3. ............
Bảng 4.3: Mảng các giá trị pixel của ma trận lọc trung vị đã qua sắp xếp. .................
Hình 4.7: Trƣớc khi làm mƣợt ảnh ...............................................................................
Hình 4.8: Sau khi làm mƣợt ảnh ...................................................................................
Hình 4.9: Trƣớc khi Điều chỉnh Brightness và Contrast ..............................................
Hình 4.10: Sau khi Điều chỉnh Brightness và Contrast ...............................................
Hình 4.11: Điều chỉnh Brightness và Contrast .............................................................
Hình 4.12: Dán nhãn đối tƣợng đƣợc chọn ..................................................................
Hình 4.13: Hình tọa độ của đối tƣợng đã đƣợc xuất ....................................................
Hình 5.1: Mơ hình đƣợc thiết kế a) và mơ hình thực tế b) ...........................................
Hình 5.2: Giao diện điều khiển .....................................................................................
Hình 5.3: Hiển thị tọa độ và hƣớng di chuyển. .............................................................
Hình 5.4: Xác định độ lệch tâm

CCD
SBC
SoC
CNC
ISP:


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GPS:
GNU:
CAD:
RAM:
ROM:
PWM:
SPI:
TWI:
EEPROM:
SRAM:
ISP:

xii

GVHD: TS. Vũ Quang Huy


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

CHƢƠNG 1: TỔNG QUAN
Trong chƣơng này sẽ giới thiệu chung về tình hình thiết bị xe lăn hỗ trợ ngƣời khuyết
tật hiện nay tại Việt Nam.Từ đó,đƣa ra đƣợc lý do chọn đề tài và mục tiêu mà nhóm
nghiên cứu hƣớng đến.
1.1. Giới thiệu chung
Ƣớc tính,trên thế giới có hơn 70 triệu ngƣời có nhu cầu xe lăn,nhƣng chỉ có 5-15%
số ngƣời có thểtiếp câṇ đƣơcc̣ .Ngƣời bênḥ ở các nƣớc đang phát triển thƣờng phụ
thuộc vào sự tài trợ của các tổ chƣƣ́c xe lăn ,và thƣờng khôngphù hợp với ngƣời sử
dụng hoặc môi trƣờng của họ.
Hơn nữa,đất nƣớc ta đã trải qua hai cuộc kháng chiến,chống thực dân Pháp và đế
quốc Mỹ,có rất nhiều cựu chiến binh đã mất một phần cơ thể nơi chiến trƣờng cùng
với hàng ngàn các số phận thiếu may mắntrong cuộc sống do gặp phải những tai nạn
hay bệnh tật trong đời sống khơng có một cơ thể lành lặn nhƣ những ngƣời bình
thƣờng khác trong xã hội.Họ gặp phải rất nhiều khó khăn với việc di chuyển trong
cuộc sống hằng ngày.

Hình 1.1: Ngƣời khuyết tật gặp khó khăn trong việc di chuyển
Nhằm tạo điều kiện thuận lợi cho những ngƣời khuyết tật khơng có đơi chân
ngun vẹn,những chiếc xe lăn thô sơ ra đời giúp những ngƣời khuyết tật có thể tự di
chuyển.Tuy nhiên.viẹc di chuyển những chiếc xe lăn địi hỏi ngƣời khuyết tật cần có
một đôi tay khỏe mạnh đủ sức để điều khiển xe,mặt khác tốc độ của xe hoàn toàn phụ
thuộc vào lực tay và sức của ngƣời sử dụng,còn những ngƣời già yếu,nhƣng ngƣời có
vấn đề về sức khỏe lại khơng đủ sức khỏe để điều khiển chiếc xe.
1


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

Hiện nay,thị trƣờng thiết bị xe điện lăn giành cho ngƣời gặp khó khăn trong di
chuyển rất đa dạng và phong phú tập trung và tập trung và các dòng sản điều khiển
bằng tay ( Hình 1.2),hoặc Joystick(Hình 1.3).

Hình 1.2: Điều khiển bằng tay

Hình 1.3: Điều khiển bằng Joystick

Tuy nhiên,những thiết bị dành cho những liệt tồn thân cịn rất ít ở Việt Nam.Trên
thế giới đã có những nghiên cứu ứng dụng cơng nghệ cao để tạo ra những thiết bị xe
lăn tiên tiến phục vụ cho những ngƣời kém may mắn này.



Xe lăn điều khiển bằng hơi thở.

Các chuyên gia tại Viện Khoa học Weizmann,Israel phát minh một thiết bị điều
khiển bằng động tác hít.Thiết bị thổi nhẹ khơng khí qua một ống đặt ngang mũi ngƣời
liệt.Khi ngƣời sử dụng hít thở,luồng khơng khí bị chặn.Thiết bị xác định chính xác
động tác đƣợc thực hiện vào thời điểm nào,diễn ra trong bao lâu và mạnh tới mức
nào.Những thơng số đó sẽ đƣợc chuyển đổi thành tín hiệu điện và truyền xuống nhiều
thiết bị xe lăn,máy tính.

2


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

Hình 1.4: Xe lăn điều khiển bằng hơi thở đối với ngƣời liệt một phần hoặc toàn
thân



Điều khiển xe lăn bằng điện mắt.

Hệ thống do trƣờng Đại học Imperial College London (Anh) phát triển,dựa trên
một phần mềm nhận dạng chuyển động của mắt.Phần mềm này có thể phân biệt giữa
việc ngƣời dùng quan sát với việc họ muốn di chuyển tới một hƣớng nhất định

Hình 1.5: Điều khiển xe lăn bằng điện mắt

3


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

Điểm mấu chốt của công nghệ này dựa trên sự theo dõi đồng tử mắt.Điều này vô
cùng quan trọng đối với những bệnh nhân mắc hội chứng rối loạn vận động cấp
cao,bởi ngay cả khi họ không cử động đƣợc bất cứ bộ phận nào từ dƣới cổ,họ vẫn có
thể sử dụng đơi mắt của mình
Trƣớc thực trạng đó,nhóm sinh viên chúng em đã đƣa ra vấn đề cần nguyên cứu
phƣơng pháp điều khiển xe lăn có thể giúp ngƣời khuyết tật đặc biệt những ngƣời bị
liệt tồn thân(nữa thân)gặp khó khăn trong cuộc sống có thể sử dụng và trong việc di
chuyển.
Đƣợc sự đồng ý và hƣớng dẫn nhiệt tình của giảng viên hƣớng dẫn Thầy TS.Vũ

Quang Huy nhóm nguyên cứu quyết định chọn đề tài: ”Nghiên cứu phân tích chuyển
động của mắt xuất tiến hiệu điều khiển xe lăn”là đề tài nguyên cứu cho đồ án tốt
nghiệp của nhóm.
1.2.Ý nghĩa của đề tài
Ứng dụng những kiến thức khoa học kĩ thuật đã đƣợc học trên giảng đƣờng đại học
vào đời sống con ngƣời
Nghiên cứu và tạo tiền đề cho phƣơng pháp mới ứng dụng khoa học cơng nghệ mới
có thể thay thế sức ngƣời,phục vụ cho việc tạo ra các sản phẩm phục vụ tốt cho những
ngƣời khuyết tật kém may mắn.
Hƣởng ứng lời phát độngvề”nghiên cứu ứng dụng các thành tựu khoa học vào sản
phẩm hỗ trợ ngƣời khuyếttật” của Bộ trƣởng Bộ Khoa học và Công nghệ và Bộ
trƣởng Bộ Lao động,Thƣơng binh và Xã hội ban hành 20 tháng 12 năm 2012.
1.3 Mục tiêu nghiên cứu của đề tài
o Thiết kế,hồn thiện phần cơ khí mơ hình của xe lăn và phần mạch điện để điều khiển
xe lăn,giao tiếp xe lăn - máy tính
o Nghiên cứu,xây dựng chƣơng trình nhận dạng đối tƣợng dựa vào màu sắc dùng thị
giác máy tính và chƣơng trình điều khiển xe lăn.Chƣơng trình phải có khả năng thực
hiện:
oThu nhận hình ảnh động của mắt từ camera (webcam) và xử lý.

4


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

o Nhận dạng màu sắc,xác định vị trí sai lệch khi chuyển động của mắt, và xuất tín
hiệu điều khiển động cơ
1.4 Đối tƣợng và phạm vi nguyên cứu

1.4.1 Đối tƣợng nghiên cứu
Nghiên cứu phƣơng pháp điều khiển động cơ xe lăn bằng việc ứng dụng chƣơng
trình xử lýảnh phân tích chuyển động của mắt,xử lý và xuất tín hiệu điều khiển động
cơ có thể di chuyển theo ánh mắt của ngƣời điều khiển.
1.4.2 Phạm vi nghiên cứu
Đề tài: ”Nghiên cứu phân tích chuyển động của mắt xuất ra tín hiệu điều khiển xe
lăn”nhóm nghiên cứu tập trung vào nguyên cứu các vấn đề:
o Nghiên cứu về mạch điều khiển Adruino,bộ nhậnthu nhận sóng Bluetooth,động cơ
bƣớc và các IC liên quan.
o
Nghiên cứu về lĩnh vực thị giác máy tính,cơng nghệ xử lý ảnh (Image
Procesing).
Tìm hiểu về lập trình ứng dụng với ngơn ngữ C

o

++

kết hợp thƣ viện xử lý ảnh mã

nguồn mở OpenCV của Intel.Lập trình mạch điều khiển PIC với ngơn ngữ C.
Thiết kế hồn chỉnh mơ hình xe lăn.Thiết kế board mạch cho xe dùng bộ điều

o

khiển,Adruino.
o
giác

Lập trình giao diện điều khiển xe lăn điều khiển bằng ánh mắt ứng dụng thị

máy tính.
1.5Phƣơng pháp thực hiện
Thiết kế và gia cơng cơ khí phần mơ hình xe lăn.
- Mơ hình xe lăn với hình thức di chuyển bằng bánh xe và hai bánh tự lựa,Động cơ
đƣợc chọn là động Step motor có cơng suất và kích thƣớc phù hợp với thiết kế ban
đầu.
- Camera đƣợc gắn trên xe một cách hợp lý để phát huy hết tác dụng và không bị cản
trở trong quá trình chuyển động.
Xây dựng các thuật tốn điều khiển cho xe lăn,thiết kế giao diện điều khiển.

5


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

1.6 Kết cấu đề tài



Chƣơng 1: Giới thiệu

Nêu lên tính cấp thiết của đề tài.Đối tƣợng ,mục tiêu và phƣơng pháp nghiên cứu
của đề tài



Chƣơng 2: Cơ sở lý thuyết

.Trong chƣơng này trình bày cơ sở lý thuyết đƣợc sử dụng trong đề tàivề xử lý
ảnh,Open CV,Adruino.



Chƣơng 3: Thiết kế cơ khí và mạch điều khiển

Đƣa ra thiết kế cơ khí,phƣơng án thiết kế cơ khí và mạch điều khiển





Chƣơng 4: Thiết kế chƣơng trình điều khiển
Chƣơng5: Kết quả và thực nghiệm
Chƣơng 6: Kết luận và hƣớng phát triển

Những thuận lợi và hạn chế của đề tài,hƣớng phát triển của đề tài trong tƣơng lai.

6


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

CHƢƠNG 2: CƠ SỞ LÝ THUYẾT
2.1 Lý thuyết về xử lý ảnh
Để hiểu một cách cụ thể hơn về xử lý ảnh,ta xét các bƣớc cần thiết trong xử lý

ảnh.Đầu tiên,ảnh tự nhiên từ thế giới ngoài đƣợc thu nhận qua các thiết bị thu (nhƣ
Camera,máy chụp ảnh).Trƣớc đây,ảnh thu qua Camera là cácảnh tƣơng tự (loại
Camera ống kiểu CCIR).Gần đây,với sự phát triển của công nghệ,ảnh màu hoặc đen
trắng đƣợc lấy ra từ Camera,sau đó nó đƣợc chuyển trực tiếp thành ảnh số,tạo thuận
lợi cho xử lý tiếp theo.Mặt khác,ảnh cũng có thể tiếp nhận từ vệ tinh,có thể quét từ
ảnh chụp bằng máy qt ảnh.Hình dƣới đây mơ tả các bƣớc cơ bản trong xử lý ảnh.

Sơ đồ 2.1: Các bƣớc cơ bản trong xử lý ảnh
Sơ đồ này bao gồm các thành phần sau:
oPhần thu nhận ảnh (Image Acquisition)
Ảnh có thể nhận qua camera màu hoặc đen trắng.Thƣờng ảnh nhận qua camera là
ảnh tƣơng tự (loại camera ống chuẩn CCIR với tần số 1/25,mỗi ảnh 25 dịng),cũng có
loại camera đã số hố (nhƣ loại CCD – Change Coupled Device) là loại photodiot tạo
cƣờng độ sáng tại mỗi điểm ảnh.Camera thƣờng dùng là loại qt dịng;ảnh tạo ra có
dạng hai chiều.Chất lƣợng một ảnh thu nhận đƣợc phụ thuộc vào thiết bị thu,vào môi
trƣờng (ánh sáng,phong cảnh).
oTiền xử lý (Image Processing)
Sau bộ thu nhận,ảnh có thể nhiễu độ tƣơng phản thấp nên cần đƣa vào bộ tiền xử lý
để nâng cao chất lƣợng.Chức năng chính của bộ tiền xử lý là lọc nhiễu,nâng độ tƣơng
7


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

phản để làm ảnh rõ hơn,nét hơn.
oPhân đoạn (Segmentation) hay phân vùng ảnh
Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để biểu diễn
phân tích,nhận dạng ảnh.Ví dụ: để nhận dạng chữ (hoặc mã vạch) trên phong bì thƣ

cho mục đích phân loại bƣu phẩm,cần chia các câu,chữ về địa chỉ hoặc tên ngƣời
thành các từ,các chữ,các số (hoặc các vạch) riêng biệt để nhận dạng.Đây là phần phức
tạp khó khăn nhất trong xử lý ảnh và cũng dễ gây lỗi,làm mất độ chính xác của
ảnh.Kết quả nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này.
oBiểu diễn ảnh (Image Representation)
Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn)
cộng với mã liên kết với các vùng lân cận.Việc biến đổi các số liệu này thành dạng
thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính.Việc chọn các tính chất để thể
hiện ảnh gọi là trích chọn đặc trƣng (Feature Selection) gắn với việc tách các đặc tính
của ảnh dƣới dạng các thông tin định lƣợng hoặc làm cơ sở để phận biệt lớp đối
tƣợng này với đối tƣợng khác trong phạm vi ảnh nhận đƣợc.Ví dụ: trong nhận dạng
ký tự trên phong bì thƣ,chúng ta miêu tả các đặc trƣng của từng ký tự giúp phân biệt
ký tự này với ký tự khác.
oNhận dạng và nội suy ảnh (ImageRecognition& Interpretation)
Nhận dạng ảnh là quá trình xác định ảnh.Quá trình này thƣờng thu đƣợc bằng cách
so sánh với mẫu chuẩn đã đƣợc học (hoặc lƣu) từ trƣớc.Nội suy là phán đốn theo ý
nghĩa trên cơ sở nhận dạng.Ví dụ: một loạt chữ số và nét gạch ngang trên phong bì
thƣ có thể đƣợc nội suy thành mã điện thoại.Có nhiều cách phân loai ảnh khác nhau
về ảnh.Theo lý thuyết về nhận dạng,các mơ hình tốn học về ảnh đƣợc phân theo hai
loại nhận dạng ảnh cơ bản:
- Nhận dạng theo tham số.
- Nhận dạng theo cấu trúc.
Một số đối tƣợng nhận dạng khá phổ biến hiện nay đang đƣợc áp dụng trong khoa
học và công nghệ là: nhận dạng ký tự (chữ in,chữ viết tay,chữ ký điện tử),nhận dạng
văn bản (Text),nhận dạng vân tay,nhận dạng mã vạch,nhận dạng mặt ngƣời…
8


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

oCơ sở tri thức (Knowledge Base)
Nhƣ đã nói ở trên,ảnh là một đối tƣợng khá phức tạp về đƣờng nét,độ sáng
tối,dung lƣợng điểm ảnh,môi trƣờng để thu ảnh phong phú kéo theo nhiễu.Trong
nhiều khâu xử lý và phân tích ảnh ngồi việc đơn giản hóa các phƣơng pháp toán học
đảm bảo tiện lợi cho xử lý,ngƣời ta mong muốn bắt chƣớc quy trình tiếp nhận và xử
lý ảnh theo cách của con ngƣời.Trong các bƣớc xử lý đó,nhiều khâu hiện nay đã xử lý
theo các phƣơng pháp trí tuệ con ngƣời.
Vì vậy,ở đây các cơ sở tri thức đƣợc phát huy.Trên đây là các thành phần cơ bản
trong các khâu xử lý ảnh.Trong thực tế,các q trình sử dụng ảnh số khơng nhất thiết
phải qua hết các khâu đó tùy theo đặc điểm ứng dụng.
Hình dƣới đây cho sơ đồ phân tích và xử lý ảnh và lƣu đồ thông tin giữa các khối
một cách khá đầy đủ.Anh sau khi đƣợc số hóa đƣợc nén,lƣu lại để truyền cho các hệ
thống khác sử dụng hoặc để xử lý tiếp theo.Mặt khác,ảnh sau khi số hóa có thể bỏ qua
cơng đoạn nâng cao chất lƣợng (khi ảnh đủ chất lƣợng theo một yêu cầu nào đó) để
chuyển tới khâu phân đoạn hoặc bỏ tiếp khâu phân đoạn chuyển trực tiếp tới khâu
trích chọn đặc trƣng.Hình dƣới đây cũng chia các nhánh song song nhƣ: nâng cao
chất lƣợng ảnh có hai nhánh phân biệt: nâng cao chất lƣợng ảnh (tăng độ sáng,độ
tƣơng phản,lọc nhiễu) hoặc khôi phục ảnh (hồi phục lại ảnh thật khi ảnh nhận đƣợc bị
méo)…

Sơ đồ 2.2: Lƣu đồ thông tin giữa các khối xử lý ảnh
9


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

2.1.1Cấu trúc một file ảnh
Tổng quát,một file ảnh là một tập hợp nhiều điểm ảnh,mỗi điểm ảnh đƣợc biểu nhƣ
thế nào tùy vào file ảnh đó là màu hay xám,nhƣng cơ bản ảnh vẫn là mảng hai chiều.

Hình 2.1: Mảng hai chiều của một file ảnh
2.1.2 Ảnh màu
Ảnh màu là một ảnh kỹ thuật số mà trong đó mỗi pixel có chứa các thơng tin về
màu sắc.Cụ thể,mỗi pixel sẽ bao gồm 3 kênh màu (color channels) trực giao với nhau
trong không gian màu (color space).Không gian màu thƣờng đƣợc sử dụng để hiển thị
trên máy vi tính là khơng gian màu RBG,ngồi ra một số kênh màu khác nhƣ YcbCr
và HSV cũng thƣờng đƣợc sử dụng.
Ảnh màu thƣờng đƣợc lƣu trữ trong bộ nhớ dƣới dạng một biểu đồ các vạch
quét,hay ba biểu đồ vạch quét,trong đó mỗi biểu đồ đƣợc sử dụng cho một kênh
màu.Một biểu đồ vạch quét là một mảng hai chiều chứa các số nguyên nhỏ.
Thông thƣờng,mỗi mẫu bao gồm 8 bits (mỗi pixel là 24 bits).Tuy nhiên,trong một
số ứng dụng đặc biệt yêu cầu chất lƣợng hình ảnh cao,mỗi mẫu có thể bao gồm 10 bits
hoặc cao hơn.Một ảnh 24 bits màu (24 bits cho mỗi pixel) sẽ có tổng cộng 2

24

=

16.777.216 màu sắc khác nhau.
2.1.3Không gian màu (Color Space)
Màu sắc có thể đƣợc phân tích theo hai thành phần: thành phần màu và độ sáng.Giá
trị thành phần màu của một vật thể xác định đặc tính màu của vật thể đó trong khi giá
trị độ sáng là một đặc tính của mơi trƣờng xung quanh tác động lên vật thể.Đối với
một ảnh màu,ta có thể xác định đƣợc cả hai giá trị thành phần màu và độ chói.Một
10

Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

không gian màu [8] là một mơ hình tốn học mơ tả cách biểu diễn màu sắc bằng các
con số,thông thƣờng là 3 hay 4 thành phần.Xác định vật thể dựa trên đặc tính màu có
thể gặp vấn đề khi thay đổi điều kiện ánh sáng xung quanh sẽ làm thay đổi màu sắc
bên ngoài của vật thể.

Hình 2.2: Các kiểu khơng gian màu
2.1.4 Khơng gian màu RGB (RGB Color Space) [6]
Không gian màu RGB là không gian màu đƣợc xây dựng dựa trên mô hình màu
RGB (RGB color model).Ánh sáng trắng đƣợc hình thành từ bảy màu khác nhau:
đỏ,cam,vàng,lục,lam,chàm,tím.Các màu này tạo nên một dãy màu liên tục mà ta không
thấy đƣợc ranh giới giữa chúng.Nhƣng xét về cấu tạo của mắt và việc nhìn thì tất cả
các màu đều đƣợc liên kết bởi các màu cơ bản sau:
 Red : (R) = 700nm
 Green:(G) = 546.1 nm
 Blue:

(B) = 435.8 nm

Trong mơ hình RGB,mỗi màu xuất hiện trong các thành phần phổ sơ cấp R,G và
B.Mơ hình dựa trên cơ sở hệ thống toạ độ Cartesian (toạ độ Decca).

11


Nghiên cứu phân tích chuyển động của mắt điều khiển xe lăn

GVHD: TS. Vũ Quang Huy

Hình 2.3: Khơng gian màu RGB
Các màu R,G,B nằm ở đỉnh của khối lập phƣơng.Màu lam-lục,đỏ-lam,vàng nằm ở
ba đỉnh bên kia của khối lập phƣơng.Màu đen nằm ở gốc toạ độ.Màu trắng nằm ở đỉnh
xa gốc toạ độ nhất.Thang mức xám kéo dài từ đen đến trắng(đƣờng nối gốc toạ độ và
đỉnh màu trắng).Mỗi màu cơ bản đƣợc mã hoá bởi 8bit,vậy với ba màu phối hợp nhau
tạo thành 255x255x255=16.581.375 màu thứ cấp mà mắt ngƣời có thể cảm nhận
đƣợc.Thƣờng ta giả thiết là tất cả các giá trị màu đƣợc chuẩn hố (khối hình lập
phƣơng là hình khối đơn vị).Tất cả các giá trị màu R,G,B nằm trong đoạn [0 1].Mơ
hình màu R,G,B bao gồm ba mặt phẳng độc lập (một mặt phẳng dùng cho một màu
độc lập).Nếu đƣa mơ hình RGB vào monitor RGB thì ba màu này phối hợp nhau tạo
thành ảnh màu hồn chỉnh.Vì vậy,để sử dụng mơ hình RGB cho xử lý ảnh có ý nghĩa
thì các ảnh phải đƣợc biểu diễn theo một mặt phẳng màu.
Nhƣng sự biến thiên của ánh sáng môi trƣờng xung quanh cũng làm thay đổi rất
lớn giá trị RBG của pixel ảnh.Vì thế những không gian màu khác bền vững hơn với sự
thay đổi của điều kiện ánh sáng của môi trƣờng đƣợc sử dụng.
2.1.5Không gian màu xám (Gray-scale Color Space)
Một ảnh xám là một ảnh đơn giản chỉ có một màu duy nhất là màu xám.Lý do của
việc chuyển từ ảnh màu sang ảnh xám là thơng tin cho mỗi pixel sẽ ít hơn.Trong ảnh
xám,các thành phần RGB đều có cƣờng độ bằng nhau,do đó chỉ cần xác định một giá
trị cƣờng độ cho mỗi pixel,trong khi đối với ảnh màu ta phải cần đến 3 giá trị.Một
công thức đơn giản để chuyển một ảnh màu sang ảnh trắng đen là:
R


[Gray] [0.212

0.715



0.072] G

B