(Đồ án hcmute) điều khiển thiết bị bằng cử chỉ tay thông qua xử lý ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP.HCM
KHOA ĐIỆN - ĐIỆN TỬ

ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ - TRUYỀN THÔNG

ĐIỀU KHIỂN THIẾT BỊ BẰNG
CỬ CHỈ TAY THÔNG QUA XỬ LÝ ẢNH

GVHD: TS. NGUYỄN THANH HẢI
SVTH: NGUYỄN HỮU SÁNG
MSSV: 12141191
SVTH: TỪ THỊ KIM CHI
MSSV: 12141022

SKL 0 0 4 5 1 7

Tp. Hồ Chí Minh, tháng 07/2016

do an


BỘ GIÁO DỤC & ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ-CÔNG NGHIỆP
---------------------------------

ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG

ĐỀ TÀI:

ĐIỀU KHIỂN THIẾT BỊ BẰNG CỬ CHỈ
TAY THÔNG QUA XỬ LÝ ẢNH

GVHD: TS. NGUYỄN THANH HẢI
SVTH: NGUYỄN HỮU SÁNG 12141191
TỪ THỊ KIM CHI

Tp. Hồ Chí Minh – 7/2016

do an

12141022


BỘ GIÁO DỤC & ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MÔN ĐIỆN TỬ-CÔNG NGHIỆP
---------------------------------

ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ
TRUYỀN THÔNG
ĐỀ TÀI:

ĐIỀU KHIỂN THIẾT BỊ BẰNG CỬ
CHỈ TAY THÔNG QUA XỬ LÝ ẢNH

GVHD: TS. NGUYỄN THANH HẢI
SVTH: NGUYỄN HỮU SÁNG 12141191
TỪ THỊ KIM CHI
Lớp:

12141, hệ chính quy

Tp. Hồ Chí Minh - 7/2016

do an

12141022


TRƯỜNG ĐH. SƯ PHẠM KỸ THUẬT
TP. HỒ CHÍ MINH
KHOA ĐIỆN-ĐIỆN TỬ
BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP

CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM
ĐỘC LẬP - TỰ DO - HẠNH PHÚC

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên:
Chuyên ngành:
Hệ đào tạo:
Khóa:

Nguyễn Hữu Sáng
Từ Thị Kim Chi

Điện tử cơng nghiệp
Đại học chính quy
2012

MSSV: 12141191
MSSV: 12141022
Mã ngành: D510302
Mã hệ:
1
Lớp:
12141DT

I. TÊN ĐỀ TÀI: ĐIỀU KHIỂN THIẾT BỊ BẰNG CỬ CHỈ TAY

THÔNG QUA XỬ LÝ ẢNH
II. NHIỆM VỤ
1. Các số liệu ban đầu:
 Phạm Ngọc Hương Trà, Đồ án tốt nghiệp “Ứng dụng kỹ thuật nhận dạng ảnh để
điều khiển thiết bị”, trường ĐH Sư Phạm Kỹ Thuật TpHCM, 2012.
 Trần Ngọc Thăng, Trần Thành Trung, Đồ án tốt nghiệp “HandGesture”, trường
ĐH Sư Phạm Kỹ Thuật TpHCM, 2013.
 Nguyễn Quang Hoa, Giáo Trình “Xử Lý Ảnh”, Học Viện Cơng Nghệ Bưu Chính
Viễn Thơng, 2006.
2. Nội dung thực hiện:
 Thu ảnh từ webcam.
 Trích xuất màu da của con người dựa vào đặc trưng màu da trong không gian màu
YCbCr.
 Xử lý ảnh dùng bộ lọc trung vị và thuật tốn tìm trọng tâm của ảnh.
 Kết nối và giao tiếp thiết bị ngoại vi.
 Thiết kế mạch điều khiển thông qua chuẩn giao tiếp UART.

 Chạy thử và chỉnh sửa.
 Viết báo cáo.
III. NGÀY GIAO NHIỆM VỤ:
10/04/2016
IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 01/07/2016
V. HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN:
TS. Nguyễn Thanh Hải
Tp. HCM, ngày 5 tháng 7 năm 2016
CÁN BỘ HƯỚNG DẪN

BM. ĐIỆN TỬ CÔNG NGHIỆP

ii

do an


LỜI CAM ĐOAN
Đề tài này là do tôi tự thực hiện dựa vào một số tài liệu trước đó và khơng sao chép từ
tài liệu hay cơng trình đã có trước đó.

TP.HCM, ngày…tháng…năm 2016

Nhóm thực hiện
Nguyễn Hữu Sáng
Từ Thị Kim Chi

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

do an

iv


LỜI CẢM ƠN
Để hồn thành khóa luận này, chúng em xin gởi lời cảm ơn sâu sắc đến Thầy
Nguyễn Thanh Hải_Trưởng bộ mơn Điện Tử Cơng Nghiệp đã tận tình chỉ bảo, hướng
dẫn chúng em trong suốt quá trình thực hiện đề tài.
Chúng em cũng chân thành cảm ơn đến quý thầy cô trong khoa Điện – Điện Tử
đã tận tình giảng dạy, truyền đạt cho chúng em những kiến thức, góp ý và chia sẻ
nhiều kinh nghiệm quý báu cho chúng em hoàn thành tốt đề tài.
Chúng em cũng xin gửi lời cảm ơn đến những anh chị, bạn bè đã tận tình giúp
đỡ trong thời gian học tập tại trường và suốt quá trình thực hiện đồ án này.
Cuối cùng, chúng con cũng trân trọng gửi lời cảm ơn đến gia đình và cha mẹ
ln là người lo lắng, động viên, quan tâm, hy sinh tất cả vì chúng con, luôn là chỗ
dựa vững chắc và là động lực để chúng con cố gắng phấn đấu trên con đường học tập
của mình.
Xin chân thành cảm ơn!

TP.HCM, ngày … tháng … năm 2016
Nhóm thực hiện đề tài
Nguyễn Hữu Sáng
Từ Thị Kim Chi

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

do an

v

LIỆT KÊ HÌNH VẼ
Hình

Trang

Hình 2.1. Biểu diễn hình học khơng gian màu RGB .................................................... 4
Hình 2.2. Ví dụ về ảnh màu .......................................................................................... 6
Hình 2.3. Ví dụ về ảnh xám .......................................................................................... 6
Hình 2.4. Ví dụ về ảnh nhị phân ................................................................................... 7
Hình 2.5. Đặt mặt nạ vào ảnh và tính giá trị điểm ảnh ngõ ra ...................................... 8
Hình 2.6. Tính giá trị điểm ảnh ngõ ra .......................................................................... 8
Hình 2.7. Cách sắp xếp các phần tử trung vị ................................................................ 9
Hình 2.8. Ảnh bị nhiễu muối tiêu trước và sau khi lọc trung vị ................................... 10
Hình 2.9. Bộ lọc 3x3 thường dùng ................................................................................ 10
Hình 2.10. Xác định tâm của phần tử cấu trúc .............................................................. 11
Hình 2.11. Đặt phần tử cấu trúc vào tâm ảnh cần xử lý ................................................ 11
Hình 2.12. Ví dụ về tính tốn co ảnh ............................................................................ 12
Hình 2.13. Kết quả sau khi co ảnh ................................................................................ 12
Hình 2.14. Xác định tâm của phần tử cấu trúc .............................................................. 13
Hình 2.15. Ví dụ về tính tốn giãn ảnh ......................................................................... 13
Hình 2.16. Kết quả sau khi giãn ảnh ............................................................................. 14
Hình 2.17. Sơ đồ khối hệ thống nhận dạng điều khiển thiết bị ..................................... 15
Hình 2.18. Kết nối webcam với máy tính ..................................................................... 16
Hình 2.19. Ảnh được loại bỏ khn mặt ....................................................................... 17
Hình 2.20. Kết quả lọc màu da ...................................................................................... 17
Hình 2.21. Kết quả cắt lấy bàn tay ................................................................................ 18
Hình 2.22. Tính khoảng cách từ trọng tâm đến biên bàn tay ........................................ 18

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

do an

ix


Hình 2.23. Thực hiện phép giãn ảnh và kết quả ........................................................... 19
Hình 2.24. Kết quả sau cùng của xử lý ảnh .................................................................. 20
Hình 2.25. Giao diện hiển thị ảnh và giao tiếp với người dùng .................................... 20
Hình 2.26: Cổng COM DB-09 ...................................................................................... 21
Hình 3.1. Sơ đồ khối mạch giao tiếp điều khiển led ..................................................... 22
Hình 3.2. Sơ đồ chân cổng COM DB-09 ...................................................................... 24
Hình 3.3. Dạng sóng truyền dữ liệu theo chuẩn RS232 ................................................ 25
Hình 3.4. IC Max232 .................................................................................................... 27
Hình 3.5. Sơ đồ kết nối giữa cổng COM và IC Max232 .............................................. 27
Hình 3.6. Sơ đồ chân vi điều khiển PIC16F887 ........................................................... 28
Hình 3.7. Thanh ghi Port A ........................................................................................... 29
Hình 3.8. Thanh ghi Tris A ........................................................................................... 29
Hình 3.9. Sơ đồ kết nối vi điều khiển với led đơn ........................................................ 29
Hình 3.10. IC ổn áp 7805 .............................................................................................. 30
Hình 3.11. Sơ đồ nguyên lý mạch nguồn ...................................................................... 31
Hình 3.12. Sơ đồ nút nhất Reset giao tiếp với PIC16F887 ........................................... 31
Hình 3.13. Sơ đồ ngun lý tồn mạch điều khiển ....................................................... 32
Hình 4.1. Mạch in lớp dưới ........................................................................................... 34
Hình 4.2. Sơ đồ bố trí linh kiện ..................................................................................... 34
Hình 4.3. Mơ hình trong khơng gian 3 chiều của mạch điều khiển .............................. 35
Hình 4.4. Mạch thi cơng thực tế .................................................................................... 35
Hình 4.5. Mạch điều khiển được đóng hộp bảo vệ ....................................................... 36
Hình 4.6. Hệ thống điều khiển thiết bị bằng cử chỉ tay thông qua xử lý ảnh ............... 36
Hình 4.7. Lưu đồ cho tồn hệ thống.............................................................................. 37

BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP

do an

x


Hình 4.8. Lưu đồ giải thuật khối xử lý ảnh ................................................................... 37
Hình 4.9. Lưu đồ chương trình chính mạch điều khiển ................................................ 38
Hình 4.10. Lưu đồ ngắt truyền thơng nhận dữ liệu ....................................................... 38
Hình 4.11. Biểu tượng Matlab trên màn hình làm việc ................................................ 39
Hình 4.12. Cửa sổ làm việc của Matlab ........................................................................ 39
Hình 4.13. Cửa sổ soạn thảo code ................................................................................. 40
Hình 4.14. Xuất hiện thơng báo lỗi khi code bị sai ....................................................... 41
Hình 4.15. Khởi chạy, liên kết các thành phần trong hệ thống ..................................... 41
Hình 4.16. Chạy mơ phỏng hệ thống với ảnh chứa 1 ngón tay..................................... 42
Hình 4.17. Chạy mô phỏng hệ thống với ảnh chứa 4 ngón tay..................................... 42
Hình 4.18. Chạy thực tế với ảnh tĩnh ............................................................................ 43
Hình 4.19. Chạy thực tế với ảnh thu từ webcam........................................................... 43
Hình 4.20. Kết nối webcam với máy tính qua cổng USB ............................................. 44
Hình 4.21. Kết nối mạch điều khiển với máy tính ........................................................ 44
Hình 4.22. Cửa sổ chọn ảnh cần xử lý .......................................................................... 46
Hình 4.23. Ảnh đang chờ xử lý ..................................................................................... 46
Hình 4.24. Kết quả xử lý ảnh đã chọn........................................................................... 46
Hình 4.25. Thu ảnh từ webcam ..................................................................................... 47
Hình 4.26. Lưu đồ vận hành hệ thống nhận dạng cử chỉ tay, điều khiển thiết bị ......... 49
Hình 5.1. Ảnh trước và sau khi lọc trung vị .................................................................. 57
Hình 5.2. Hình ảnh thu từ webcam ............................................................................... 57
Hình 5.3. Ảnh sau khi được loại bỏ khn mặt ............................................................ 58

Hình 5.4. Ảnh sau khi lọc màu da ................................................................................. 58
Hình 5.5. Ảnh chỉ chứa vùng da tay.............................................................................. 58

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

do an

xi


Hình 5.6. Kết quả sau khi cắt lấy bàn tay ..................................................................... 59
Hình 5.7. Tính khoảng cách từ trọng tâm đến biên bàn tay .......................................... 59
Hình 5.8. Kết quả thu đực sau hai phép giãn ảnh và co ảnh ......................................... 60
Hình 5.9. Kết quả cuối cùng sau khi nhận dạng ........................................................... 60
Hình 5.10. Minh họa về khoảng cách giữa tay và webcam .......................................... 61
Hình 5.11. Kết quả nhận dạng ở khoảng cách xa và gần .............................................. 61
Hình 5.12. Minh họa về điều kiện chiếu sáng khác nhau ............................................. 61
Hình 5.13. Kết quả nhận dạng ảnh trong điều kiện chiếu sáng khác nhau ................... 62
Hình 5.14. minh họa về độ mở giữa các ngón tay ........................................................ 63
Hình 5.15. Minh họa về góc chụp của bàn tay .............................................................. 63
Hình 5.16. Kết quả nhận dạng ảnh về độ mở giữa các ngón tay .................................. 63
Hình 5.17. Kết quả nhận dạng các trường hợp góc chụp khác nhau ............................ 64
Hình 5.18. Minh họa về ảnh mờ, ảnh có bàn tay bị che khuất bởi khn mặt ............. 65
Hình 5.19. Kết quả nhận dạng khi bàn tay bị nhịe và bàn tay chạm khn mặt .......... 65
Hình 5.20. Minh họa về độ nhấp nhơ của các ngón tay khi co lại ................................ 66
Hình 5.21. Kết quả nhận dạng khi hạn chế nhấp nhơ của ngón tay .............................. 66

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

do an

xii


LIỆT KÊ BẢNG
Bảng

Trang

Bảng 2.1. Thông số kỹ thuật của webcam .................................................................... 16
Bảng 4.1. Danh sách linh kiện sử dụng trong mạch điều khiển .................................... 33
Bảng 4.2. Mơ tả các phím chức năng trong giao diện điều khiển ................................. 45
Bảng 4.3. Bảng tra cứu lỗi nhanh của hệ thống ............................................................ 48
Bảng 5.1. Kết quả chạy chương trình trong nhận dạng ảnh .......................................... 61

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

do an

xiii


TÓM TẮT
Đề tài này sẽ thực hiện điều khiển sáng hoặc tắt 5 đèn LED đơn (Light Emitting
Diode, có nghĩa là đi-ốt phát quang) thông qua 5 cử chỉ tay của con người thông qua
xử lý ảnh. Hệ thống gồm có 1 webcam để thu nhận ảnh màu có chứa tay của người
dùng được kết nối với một máy tính chạy chương trình xử lý. Chương trình xử lý này
có nhiệm vụ tìm, xác định nơi chứa bàn tay có trong ảnh bằng phương pháp lọc màu
da và loại trừ các vùng có diện tích nhỏ. Sau đó thực hiện việc khoanh vùng và cắt
chọn vùng thực sự chứa bàn tay. Tiếp theo, thực hiện lần lượt các phương pháp co ảnh,

giãn ảnh, trừ ảnh để tìm và gắn nhãn cho các vùng ngón tay. Thơng qua việc đếm số
vùng đã gắn nhãn chương trình sẽ đưa ra kết luận số ngón tay có trong ảnh. Kết quả
được hiển thị lên màn hình máy tính dạng hình ảnh thơng qua giao diện người dùng và
xuất ra tín hiệu điều khiển để bật/tắt 5 đèn LED trên phần cứng bên ngoài được kết nối
với chương trình.

BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP

do an

xiv


MỤC LỤC
Trang bìa ............................................................................................................ i
Nhiệm vụ đồ án ................................................................................................. ii
Lịch trình ......................................................................................................... iii
Cam đoan ......................................................................................................... iv
Lời cảm ơn ........................................................................................................ v
Mục lục ............................................................................................................. vi
Liệt kê hình vẽ .................................................................................................. ix
Liệt kê bảng .................................................................................................... xiii
Tóm tắt .......................................................................................................... xiv
Chương 1. TỔNG QUAN ............................................................................... 1
1.1. ĐẶT VẤN ĐỀ ........................................................................................... 1
1.2. MỤC TIÊU ................................................................................................ 1
1.3. NỘI DUNG NGHIÊN CỨU ..................................................................... 2
1.4. GIỚI HẠN ................................................................................................. 2
1.5. BỐ CỤC .................................................................................................... 2
Chương 2. CƠ SỞ LÝ THUYẾT ................................................................... 4

2.1. NHỮNG VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH .............................. 4
2.1.1. Không gian màu RGB, YCbCr ........................................................... 4
2.1.2. Ảnh màu, ảnh xám và ảnh nhị phân.................................................... 5
2.1.3. Mặt nạ ................................................................................................. 7
2.1.4. Bộ lọc trung vị .................................................................................... 9
2.1.5. Kỹ thuật làm mờ, co và giãn ảnh ...................................................... 10
2.1.6. Kỹ thuật phân tách màu da................................................................ 14
2.2. THUẬT TOÁN NHẬN DẠNG CỬ CHỈ BÀN TAY ............................ 14
2.3. SƠ ĐỒ KHỐI HỆ THỐNG NHẬN DẠNG CỬ CHỈ BÀN TAY.......... 15
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

do an

vi


2.3.1. Khối thu ảnh .................................................................................... 16
2.3.2. Khối xử lý ......................................................................................... 16
2.3.3. Khối hiển thị ảnh ............................................................................... 20
2.3.4. Giao tiếp cổng COM-DB9 ............................................................... 21
Chương 3. TÍNH TỐN VÀ THIẾT KẾ.................................................... 22
3.1. GIỚI THIỆU ........................................................................................... 22
3.2. TÍNH TỐN VÀ THIẾT KẾ HỆ THỐNG ............................................ 22
3.3.1. Thiết kế sơ đồ khối hệ thống............................................................. 22
3.3.2. Tính tốn và thiết kế mạch giao tiếp ................................................. 22
3.3.3. Sơ đồ nguyên lý của toàn mạch ........................................................ 32
Chương 4. THI CÔNG HỆ THỐNG ........................................................... 33
4.1. GIỚI THIỆU. .......................................................................................... 33
4.2. THI CƠNG HỆ THỐNG ........................................................................ 33
4.2.1. Thi cơng bo mạch.............................................................................. 33

4.2.2. Lắp ráp và kiểm tra ........................................................................... 34
4.3. ĐÓNG GĨI VÀ THI CƠNG MƠ HÌNH................................................ 36
4.3.1. Đóng gói bộ điều khiển ..................................................................... 36
4.3.2. Kết nối các thành phần thành một hệ thống hồn chỉnh ................... 36
4.4. LẬP TRÌNH HỆ THỐNG ...................................................................... 37
4.4.1. Lưu đồ giải thuật ............................................................................... 37
4.4.2. Phần mềm lập trình cho máy tính ..................................................... 39
4.5. LẬP TRÌNH MƠ PHỎNG...................................................................... 41
4.5.1. Mơ phỏng hệ thống trên máy tính..................................................... 41
4.5.2. Kết quả chạy thực tế ......................................................................... 43
4.6. VIẾT TÀI LIỆU HƯỚNG DẪN SỬ DỤNG, THAO TÁC ................... 43
4.6.1. Hướng dẫn sử dụng ........................................................................... 43
4.6.2. Quy trình vận hành hệ thống............................................................. 48
Chương 5. KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ ...................................... 51
5.1. KẾT QUẢ XỬ LÝ ẢNH ........................................................................ 51
5.2. ĐÁNH GIÁ HỆ THỐNG........................................................................ 54
5.3. KẾT QUẢ THỐNG KÊ .......................................................................... 61
Chương 6. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ................................ 63
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

do an

vii


6.1. KẾT LUẬN ............................................................................................. 63
6.2. HƯỚNG PHÁT TRIỂN .......................................................................... 63
TÀI LIỆU THAM KHẢO ............................................................................ 64
PHỤ LỤC ....................................................................................................... 65

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

do an

viii


CHƯƠNG 1: TỔNG QUAN

Chương 1. TỔNG QUAN
1.1. ĐẶT VẤN ĐỀ
Trong thời đại công nghệ thông tin hiện nay, các hệ thống máy móc tự động đã dần
thay thế con người trong nhiều cơng đoạn của cơng việc. Máy móc có khả năng làm việc
hiệu quả, độ chính xác cao và hữu dụng trong môi trường nguy hại đối với con người,
tốc độ xử lý của máy tính, thiết bị ngày càng nhanh. Đến nay, việc giao tiếp giữa con
người và máy móc cịn khá thủ cơng như thơng qua bàn phím và các thiết bị nhập dữ
liệu.
Trong bài báo “Human Computer Interaction using Hand Gesture” của nhóm tác
giả Ram Pratap Sharma và Gyanendra K. Verme [1]. Con người mong muốn máy móc
càng thơng minh hơn, tốc độ xử lý nhanh hơn và có thể tương tác với người dùng bằng
giọng nói là yêu cầu của các thiết bị trong tương lai. Hiện nay trên thế giới các công
nghệ nhận dạng cử chỉ đã phát triển, các hệ thống ứng dụng nhận dạng cử chỉ đã được
ứng dụng ở nhiều nơi và độ chính xác của các hệ thống ngày càng được cải thiện.
Trong bài viết “Novel Algorithm for Image Processing Based Hand Gesture
Recognition and Its Application in Security” của nhóm nghiên cứu N. Dhruva, Sudhir
Rao Rupanagudi, H. N. Neelkant Kashyap [2]. Mục đích của bài viết này là nghiên về
lĩnh vực thị giác máy tính, lĩnh vực hiện đang thu hút rất nhiều sự quan tâm của các nhà
nghiên cứu xử lý ảnh với mục tiêu xây dựng nên một thế giới trong đó hệ thống thị giác
kỳ diệu của con người có thể được mơ phỏng bởi các hệ thống máy tính, đem lại khả
năng cảm nhận bằng thị giác cho các hệ thống về môi trường xung quanh. Mơ ước về

một hệ thống máy tính có thể hồ nhập vào thế giới con người với đầy đủ các giác quan
trong đó thị giác đóng vai trị quan trọng đang dần dần được hiện thực hố với những
đóng góp nghiên cứu của các nhà khoa học trên phạm vi tồn thế giới.
Hệ thống nhận dạng cử chỉ sẽ có những ứng dụng tuyệt vời trong tất cả các lĩnh
vực của đời sống. Nếu được áp dụng thành cơng thì nó sẽ trở thành một cuộc cách mạng
trong giao tiếp với máy móc, các ứng dụng của nó sẽ bao trùm lên nhiều lĩnh vực như
giúp đỡ người khuyết tật, cơng nghiệp, an ninh và giải trí.

1.2. MỤC TIÊU
Mục tiêu của đề tài là hoàn thành việc thiết kế và thi cơng một hệ thống có thể điều
khiển các thiết bị bằng cách nhận dạng cử chỉ của những ngón tay thơng qua xử lý ảnh.

BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP

do an

1


CHƯƠNG 1: TỔNG QUAN
Để nhận dạng được cử chỉ bàn tay trước hết ta phải trích lọc màu da dựa vào khơng gian
màu YCbCr, sau đó đem đi xử lý và đếm những ngón tay, rồi đưa kết quả sau khi đếm
ngón tay xuống để điều khiển thiết bị ngoại vi thông qua cổng COM DB-09.

1.3. NỘI DUNG NGHIÊN CỨU
Đề tài “Điều khiển thiết bị bằng cử chỉ tay thông qua xử lý ảnh” được thực hiện và
nghiên cứu với những nội dung sau:
-

Thu ảnh màu từ webcam.

-

Trích xuất màu da của con người dựa vào đặc trưng màu da trong không gian
màu YCbCr.

-

Xử lý ảnh dùng bộ lọc trung vị và thuật tốn tìm trọng tâm của ảnh.

-

Kết nối và giao tiếp thiết bị ngoại vi.

-

Thiết kế mạch điều khiển thông qua chuẩn giao tiếp UART.

-

Chạy thử và chỉnh sửa.

-

Viết báo cáo.

1.4. GIỚI HẠN
Nhóm thực hiện nhận dạng 5 cử chỉ bàn tay trên nền màu nhất định (màu xanh).
Nhận dạng thông qua ảnh tĩnh và ảnh thu vào từ video thông qua Webcam với độ phân
giải 0.2M. Ảnh xử lý phải đảm bảo các yêu cầu sau: Điều kiện chiếu sáng, khoảng cách,

góc chụp và độ mở của các ngón tay phải thích hợp, nếu có khn mặt thì bàn tay phải
được tách rời khn mặt.
Nhận dạng 5 cử chỉ bàn tay, xuất tín hiệu điều khiển ứng với mỗi cử chỉ tay và
dùng tín hiệu đó để điều khiển sáng tắt đèn Led.

1.5. BỐ CỤC
Chương 1: Tổng quan.
Cung cấp cái nhìn tổng quan về đề tài đang thực hiện, những lý do, tính chất và
hiệu quả mà đề tài này mang lại. Định hướng ban đầu cho q trình nghiên cứu, thực
hiện được chính xác, có hiệu quả.
Chương 2: Cơ sở lý thuyết.
Trình bày các lý thuyết có liên quan đến xử lý ảnh: bộ lọc thơng thấp, bộ lọc trung
vị, phương pháp co và giãn ảnh, thuật tìm trọng tâm của vùng ảnh được chọn.

BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP

do an

2


CHƯƠNG 1: TỔNG QUAN
Chương 3: Tính tốn thiết kế.
Đưa ra sơ đồ khối cho tồn mạch, tính tốn thiết kế và lựa chọn linh kiện phù hợp
cho từng khối, sau đó ghép các khối lại và thiết kế sơ đồ nguyên lý, dơ đồ mạch in cho
toàn mạch.
Chương 4: Thi công hệ thống.
Thi công bo mạch điều khiển, lắp ráp và kiểm tra sau đó lập trình hệ thống, đưa
ra kết quả sau khi mô phỏng.
Chương 5: Kết quả_Nhận xét_Đánh giá.

Đánh giá kết quả từng phần thực hiện. Đưa ra hình ảnh kết quả sau từng phần xử
lý, rút ra nhận xét ưu và nhược điểm của hệ thống.
Chương 6: Kết luận và hướng phát triển.
Đưa ra đánh giá khách quan về đề tài: những gì đã đạt được, những gì cịn hạn
chế. Song song với đó đề xuất tính ứng dụng của đề tài vào một ứng dụng có tính khả
thi trong thực tế.

BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP

do an

3


CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

Chương 2. CƠ SỞ LÝ THUYẾT
2.1. NHỮNG VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH
2.1.1. Không gian màu RGB, YCbCr
Không gian màu là những phương pháp định lượng màu sắc được thiết lập công
thức một cách khoa học. Hệ thống không gian màu cho phép mỗi màu được xác định
theo số học, bằng cách đó ta có thể chọn và lặp lại những màu nào đó thật chính xác [3].
Trên thực tế có rất niều khơng gian màu khác nhau được mơ hình để sử dụng vào những
mục đích khác nhau. Trong phạm vi của đồ án này, chỉ thực hiện xử lý, chuyển đổi ảnh
qua lại giữa 2 không gian màu RGB và YCbCr. Do đó các khơng gian màu khác sẽ
khơng được đề cập đến trong đồ án này.
a. Không gian màu RGB (Red – Green – Blue).
RGB là không gian màu rất phổ biến được dùng trong đồ họa máy tính và nhiều
thiết bị kĩ thuật số khác. Ý tưởng chính của không gian màu này là sự kết hợp của 3 màu
sắc cơ bản: màu đỏ (R, Red), xanh lục (G, Green) và xanh lơ (B, Blue) để mô tả tất cả

các màu sắc khác.

Hình 2.1. Biểu diễn hình học khơng gian màu RGB
Nếu như một ảnh số được mã hóa bằng 24bit, nghĩa là 8bit cho kênh R, 8bit cho
kênh G, 8bit cho kênh B, thì mỗ kênh này màu này sẽ nhận giá trị từ 0 - 255. Với mỗi

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

do an

4


CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
giá trị khác nhau của các kênh màu kết hợp với nhau ta sẽ được một màu khác nhau,
như vậy ta sẽ có tổng cộng 255x255x255 = 16.581.375 màu sắc.
Ví dụ: màu đen là sự kết hợp của các kênh màu (R, G, B) với giá trị tương ứng
(0, 0, 0) màu trắng có giá trị (255, 255, 255), màu vàng có giá trị (255, 255, 0), màu tím
đậm có giá trị (64, 0, 128).
b. Không gian màu YCbCr
Không gian màu YCbCr được định nghĩa và thường được sử dụng vào mục đích
nén ảnh màu, xử lý video số. Không gian màu này sẽ phân tách khơng gian màu RGB
thành các thành phần độ chói và thành phần màu sắc theo công thức chuyển đổi:
0.587
0.114   R 
 Y   0.299
Cb   0.147  0.289 0.436  G 
  
 
Cr   0.615  0.515  0.100   B 

(2.1)

Công thức (2.1) là biểu diễn kiểu ma trận hoặc cũng có thể biểu diễn theo kiểu
tường minh như cơng thức (2.2) dưới đây:
Y = 0.299*R + 0.587*G + 0.114*B
Cb = - 0.147*R – 0.289*G + 0.436*B

(2.2)

Cr = 0.615*R – 0.515*G – 0.100*B

2.1.2. Ảnh màu, ảnh xám và ảnh nhị phân
a. Ảnh màu
Ảnh màu là ảnh tổ hợp 3 màu cơ bản: đỏ, lục, lơ như hình 2.2 và thường thu nhận
trên các dải băng tần khác nhau. Với ảnh màu cách biểu diễn cũng tương tự như ảnh đen
trắng, chỉ khác là các số tại mỗi phần tử của ma trận biểu diễn cho 3 màu riêng rẽ. Để
biểu diễn cho một ảnh màu cần 24 bit, 24 bit này được chia thành ba khoảng 8 bit. Mỗi
màu cũng phân thành L cấp khác nhau (thường L=256). Mỗi khoảng này biểu diễn cho
cường độ sáng của một trong các màu chính.

BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP

do an

5


CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
Mỗi pixel ảnh màu ký hiệu 𝑃𝑥 :

𝑃𝑥 =[𝑟𝑒𝑑, 𝑔𝑟𝑒𝑒𝑛, 𝑏𝑙𝑢𝑒]𝑇 , T: chuyển vị

(2.3)

Hình 2.2. Ví dụ về ảnh màu
b. Ảnh xám
Giá trị xám nằm trong khoảng 0…255. Như vậy mỗi điểm ảnh trong ảnh xám
được biểu diễn bởi 1 byte.

Hình 2.3. Ví dụ về ảnh xám

c. Ảnh nhị phân
Giá trị xám của tất cả các điểm trong ảnh chỉ nhận giá trị 1 hoặc 0. Như vậy mỗi
điểm ảnh trong ảnh nhị phân được biểu diễn bởi 1 bit, xem hình 2.4 bên dưới.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

do an

6


CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

Hình 2.4. Ví dụ về ảnh nhị phân

2.1.3. Mặt nạ
a. Khái niệm
Một vài toán tử dùng trong xử lý ảnh được thực hiện trên giá trị của điểm ảnh và
các điểm trong vùng lân cận của nó, cùng với một vùng ảnh con cùng kích thước với

vùng lân cận.Vùng ảnh con này được gọi là mặt nạ. Các giá trị của mặt nạ được gọi là
hệ số. Kích thước của mặt nạ được ghi như sau (2*M-1, 2*N-1), với cặp M, N là các số
nguyên dương bất kì ta được một kích thước của mặt nạ. Ví dụ: 3x3, 5x5.
b. Cách sử dụng
Đặt tâm của mặt nạ lên trên điểm ảnh cần xử lý, dịch chuyển mặt nạ từ trái qua
phải, từ trên xuống dưới.Thông qua bộ lọc, trích rút ra các điểm lân cận với điểm ảnh
cần xử lý, áp dụng hàm của mặt nạ lên giá trị của các điểm ảnh trong vùng lân cận. Đặt
giá trị điểm ảnh tương ứng trên ảnh đầu ra bằng giá trị trả về bởi hàm của mặt nạ. Lặp
lại các bước trên lần lượt cho hết các điểm ảnh, những điểm nằm trên biên thì khơng áp
dụng. Đối với lọc tuyến tính, kết quả được tính bằng tổng tất cả các phép nhân hệ số của
mặt nạ với giá trị điểm ảnh tương ứng trong vùng tác động bởi mặt nạ:
G( x, y)  

 a(i, j) * I ( x  i, y  j)

i , jSize

(2.4)

Với: I(x, y) là ảnh đầu vào.
G(x, y) là ảnh đầu ra.
a(i, j) là mặt nạ lọc.
Size = m x n là số phần tử của mặt nạ.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

do an

7

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
4
5

Giả sử cho một ảnh đầu vào được biểu diễn bởi ma trận I: I  6

5
5
1 1 1
1
Mặt nạ lọc có dạng a: a  1 1 1
9
1 1 1

7 3 7 1
7 1 7 1 
6 1 8 3

7 5 7 1
7 6 1 2

Đầu tiên, tiến hành xác định kích thước mặt nạ đã cho (ở đây sử dụng mặt nạ
3x3). Sau đó đặt mặt nạ lên ảnh cần xử lý sao cho trọng tâm – điểm chính giữa của mặt
nạ trùng với điểm ảnh đang xét.

41

71

3

7

1

51

71

1

7

1

6

6

1

8

3

5

7

5

7

1

5

7

6

1

2

Hình 2.5. Đặt mặt nạ vào ảnh và tính giá trị điểm ảnh ngõ ra
Tính giá trị tại G(1,1) theo công thức 2.4:
G (1,1) 

1
23
(4 *1  7 *1  5 *1  7 *1) 
9
9

41

71

31

7

1

51

71

11

7

1

6

6

1

8

3

5

7

5

7

1

5

7

6

1

2

(2.5)

Hình 2.6. Tính giá trị điểm ảnh ngõ ra

BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP

do an

8


CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
Tính giá trị tại điểm G(1,2):
G (1,2) 

1
26
(4 *1  7 *1  3 *1  5 *1  7 *1  1 *1) 
9
9

(2.6)

Tương tự như vậy ta tính lần lượt từ trái qua phải, từ trên xuống dưới. Kết quả
thu được ảnh G:
 23
35
1
G  36
9
36
24

26 31 19 16 
39 46 31 27 
43 49 34 27 

48 48 34 22 
35 33 22 11 

2.1.4. Bộ lọc trung vị
a. Giới thiệu
Bộ lọc trung vị là bộ lọc làm mượt phi tuyến trong miền khơng gian, lọc theo
thống kê thứ tự, nó khá hiệu quả đối với hai loại nhiễu: nhiễu muối tiêu và nhiễu đốm,

kỹ thuật này là một bước rất phổ biến trong xử lý ảnh.
Ý nghĩa của thuật toán lọc trung vị như sau: Ta sử dụng một cửa sổ lọc (ma trận
3x3) quét qua lần lượt các điểm ảnh của ảnh đầu vào. Tại vị trí mỗi điểm ảnh lấy giá trị
của các điểm ảnh tương ứng trong vùng 3x3 của ảnh gốc lấp vào ma trận lọc. Sau đó
sắp xếp các điểm ảnh trong của sổ này theo thứ tự (tăng dần hoặc giảm dần tùy ý). Cuối
cùng gán điểm ảnh nằm chính giữa của dãy giá trị điểm ảnh đã được sắp xếp ở trên cho
giá trị đang xét của ảnh đầu ra. Trong hình 2.7 là một ví dụ, sau khi sắp xếp các phần tử
chọn phần tử ở chính giữa mang giá trị là 3 để gán cho ảnh đầu ra.
Chọn giá trị 3

Phần tử trung vị
trước sắp xếp

Phần tử trung vị
sau sắp xếp

Hình 2.7. Cách sắp xếp các phần tử trung vị

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

do an

9


CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
Các bước của giải thuật:
 Quét của sổ lọc lên các thành phần của ảnh gốc, điền các giá trị được quét vào
cửa sổ lọc.
 Lấy các thành phần trong của sổ lọc để xử lý.

 Sắp xếp theo thứ tự các thành phần trong của sổ lọc.
 Lưu lại thành phần trung vị, gán cho ảnh đầu ra.

Hình 2.8. Ảnh bị nhiễu muối tiêu trước và sau khi lọc trung vị
Kỹ thuật làm mờ, co và giãn ảnh

2.1.5.

a. Kỹ thuật làm mờ ảnh.
Loại bỏ những điểm ảnh có giá trị mức xám cao.
Sử dụng bộ lọc với các hệ số đối xứng nhau qua tâm của bộ lọc, các hệ số ở vị trí
có khoảng cách gần tâm có giá trị lớn hơn hoặc bằng các hệ số ở vị trí có khoảng cách
xa tâm.
Một số bộ lọc thường dùng:

Hình 2.9. Bộ lọc 3x3 thường dùng

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

do an

10