(Đồ án tốt nghiệp) ứng dụng xử lý ảnh trong điều khiển thiết bị bằng cử chỉ tay sử dụng kit raspberry pi

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ
THUẬT TP.HCM KHOA ĐIỆN - ĐIỆN TỬ

ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ - TRUYỀN THÔNG

ỨNG DỤNG XỬ LÝ ẢNH
TRONG ĐIỀU KHIỂN THIẾT BỊ BẰNG CỬ CHỈ TAY
SỬ DỤNG KID RASPBERRY PI

GVHD: ThS. NGÔ QUỐC CƯỜNG
SVTH: NGƠ HỒI BẢO
MSSV: 12141476
SVTH: NGUYỄN TRUNG ĐẠT
MSSV: 12141049

SKL004344

Tp. Hồ Chí Minh, tháng 7/2016


BỘ

GIÁO DỤC & ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MƠN ĐIỆN TỬ-CÔNG NGHIỆP
---------------------------------

ĐỒ ÁN TỐT NGHIỆP
NGÀNH CÔNG NGHỆ KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG

ĐỀ TÀI:

ỨNG DỤNG XỬ LÝ ẢNH TRONG ĐIỀU
KHIỂN THIẾT BỊ BẰNG CỬ CHỈ TAY SỬ

DỤNG KIT RASPBERRY PI
GVHD: ThS.Ngơ Quốc Cường
SVTH: Ngơ Hồi Bảo
Nguyễn Trung Đạt

Tp. Hồ Chí Minh – 7/2016


BỘ

GIÁO DỤC & ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐIỆN – ĐIỆN TỬ
BỘ MƠN ĐIỆN TỬ-CÔNG NGHIỆP
---------------------------------

ĐỒ ÁN TỐT NGHIỆP
NGÀNH KỸ THUẬT ĐIỆN TỬ TRUYỀN THÔNG
ĐỀ TÀI:

ỨNG DỤNG XỬ LÝ ẢNH TRONG
ĐIỀU KHIỂN THIẾT BỊ BẰNG CỬ
CHỈ TAY SỬ DỤNG KIT RASPBERRY
PI

GVHD: ThS.Ngô Quốc Cường
SVTH: Ngơ Hồi Bảo
Nguyễn Trung Đạt


Tp. Hồ Chí Minh – 7/2016


LỜI CAM ĐOAN
Đề tài này là do nhóm tự thực hiện dựa vào một số tài liệu trước đó và khơng sao chép từ
tài liệu hay cơng trình đã có trước đó.

Người thực hiện đề tài
Nguyễn Trung Đạt
Ngơ Hồi Bảo


LỜI CẢM ƠN
Em xin gởi lời cảm ơn sâu sắc đến thầy Ngô Quốc Cường đã trực tiếp hướng dẫn
và tận tình giúp đỡ tạo điều kiện để hồn thành tốt đề tài.
Em xin gởi lời chân thành cảm ơn các thầy cô trong Khoa Điện-Điện Tử đã tạo
những điều kiện tốt nhất cho em hoàn thành đề tài.
Em cũng gửi lời đồng cảm ơn đến các bạn lớp 12141DT2 đã chia sẻ trao đổi kiến
thức cũng như những kinh nghiệm quý báu trong thời gian thực hiện đề tài.
Xin chân thành cảm ơn!

Người thực hiện đề tài
Ngơ Hồi Bảo
Nguyễn Trung Đạt

MỤC LỤC
Trang bìa............................................................................................................................................................ I
Nhiệm vụ đồ án............................................................................................................................................. II
Lịch trình........................................................................................................................................................ III
Cam đoan....................................................................................................................................................... IV
Lời cảm ơn...................................................................................................................................................... V
Mục lục........................................................................................................................................................... VI
Liệt kê hình vẽ............................................................................................................................................. IX
Liệt kê bảng vẽ............................................................................................................................................ XI
Tóm tắt.......................................................................................................................................................... XII
Chương 1. TỔNG QUAN...................................................................................................................... 1
1.1 ĐẶT VẤN ĐỀ................................................................................................................................ 1
1.2 MỤC TIÊU....................................................................................................................................... 3
1.3 NỘI DUNG NGHIÊN CỨU..................................................................................................... 3
1.4 GIỚI HẠN........................................................................................................................................ 3
1.5 BỐ CỤC ĐỀ TÀI........................................................................................................................... 5
Chương 2. CƠ SỞ LÝ THUYẾT......................................................................................................... 6
2.1 TÌM HIỂU KIT RASPBERRY PI 2(RPI2).......................................................................... 6
2.2 NGƠN NGỮ KÝ HIỆU.............................................................................................................. 7
2.3 TÌM HIỂU XỬ LÝ ẢNH............................................................................................................ 8
2.3.1 GIỚI THIỆU........................................................................................................................... 8
2.3.1.1 Phần thu nhận ảnh (Image Acquisition)............................................................... 9
2.3.1.2 Tiền xử lý (Image Processing)................................................................................. 9
2.3.1.3 Phân đoạn (Segmentation) hay phân vùng ảnh................................................. 9
2.3.1.4 Biểu diễn ảnh (Image Representation)................................................................. 9
2.3.1.5 Nhận dạng và nội suy ảnh (Image Recognition and Interpretation).........9
2.3.1.6 Cơ sở tri thức (Knowledge Base)........................................................................ 10
2.3.2 NHỮNG VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH.......................................... 10

2.3.2.1 Điểm ảnh ( Picture Element)................................................................................. 10
2.3.2.2 Ảnh.................................................................................................................................. 10
2.3.2.3 Độ phân giải của ảnh................................................................................................ 11
2.3.2.4 Mức xám của ảnh...................................................................................................... 11
2.3.2.5 Ảnh nhị phân............................................................................................................... 12
2.3.2.6 Ảnh màu........................................................................................................................ 12
2.3.2.7 Khử nhiễu..................................................................................................................... 12
2.3.2.8 Chỉnh mức xám.......................................................................................................... 12
2.3.2.9 Nhận dạng ảnh............................................................................................................ 12


2.4 PHÁT HIỆN MÀU DA DỰA VÀO KHÔNG GIAN MÀU....................................... 13
2.4.1 GIỚI THIỆU........................................................................................................................ 13
2.4.2 CHUYỂN ẢNH MÀU THÀNH ẢNH XÁM.......................................................... 13
2.4.3 KHƠNG GIAN MÀU...................................................................................................... 14
2.4.3.1 Khơng gian màu RGB............................................................................................. 15
2.4.3.2 Khơng gian màu HSV.............................................................................................. 16
2.5 THUẬT TỐN ADABOOST VÀ MƠ HÌNH CASCADE........................................ 16
2.5.1 ĐẶC TRƯNG HAAR-LIKE......................................................................................... 16
2.5.2 ĐẶC TRƯNG HISTOGRAM OF ORIENTED GRADIENTS (HOG) ........18
2.5.2.1 Rút trích đặc trưng HOG trong ảnh.................................................................... 19
2.5.2.2 Chuẩn hóa vector đặc trưng cho từng block.................................................... 22
2.5.3 THUẬT TỐN TĂNG TỐC ADABOOST............................................................. 23
2.5.4 MƠ HÌNH CASCADE..................................................................................................... 26
2.5.4.1 Giai đoạn huấn luyện của bộ phân loại (stage).............................................. 28
2.5.4.2 Tầng phân loại (Cascade)....................................................................................... 28
Chương 3. TÍNH TỐN THIẾT KẾ............................................................................................. 31
3.1 GIỚI THIỆU................................................................................................................................. 31
3.2 TÍNH TỐN VÀ THIẾT KẾ HỆ THỐNG....................................................................... 31
3.2.1 THIIẾT KẾ SƠ ĐỒ KHỐI HỆ THỐNG................................................................... 31

3.2.2 TÍNH TỐN VÀ THIẾT KẾ MẠCH........................................................................ 31
3.2.2.1 Khối nhận dạng cử chỉ............................................................................................. 31
3.2.2.2 Khối công suất............................................................................................................ 33
3.3 SƠ ĐỒ NGUN LÝ TỒN MẠCH................................................................................ 34
Chương 4. THI CƠNG HỆ THỐNG............................................................................................. 35
4.1 GIỚI THIỆU................................................................................................................................. 35
4.2 THI CÔNG.................................................................................................................................... 35
4.2.1 DANH SÁCH LINH KIỆN............................................................................................ 35
4.2.2 SƠ ĐỒ SẮP XẾP LINH KIỆN..................................................................................... 35
4.2.3 SƠ ĐỒ MẠCH IN............................................................................................................. 36
4.3 LẬP TRÌNH HỆ THỐNG NHẬN DẠNG CỬ CHỈ TAY........................................... 37
4.3.1 LƯU ĐỒ GIẢI THUẬT NHẬN DIỆN CỬ CHỈ TAY BẰNG NGƯỠNG
MÀU DA.......................................................................................................................................... 37
4.3.2 QUY TRÌNH HUẤN LUYỆN PHÁT HIỆN BÀN TAY TRÊN MÁY TÍNH
39
4.4 KẾT QUẢ MÔ PHỎNG.......................................................................................................... 44
Chương 5. KẾT QUẢ_NHẬN XÉT_ĐÁNH GIÁ.................................................................... 47
5.1 NHỮNG MẶT ĐÃ LÀM ĐƯỢC......................................................................................... 47
5.2 NHỮNG MẶT CHƯA LÀM ĐƯỢC.................................................................................. 47


5.3 NHỮNG KẾT QUẢ BẰNG HÌNH ẢNH CỦA ĐỀ TÀI THU ĐƯỢC.................47
Chương 6. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN.............................................................. 50
6.1 KẾT LUẬN................................................................................................................................... 50
6.2 HƯỚNG PHÁT TRIỂN........................................................................................................... 50
TÀI LIỆU THAM KHẢO ................................................................................................
PHỤ LỤC .........................................................................................................................
A. HƯỚNG DẪN SỬ DỤNG
B. CODE CHƯƠNG TRÌNH ...............................................................................................................................................................................

LIỆT KÊ HÌNH VẼ
Hình

Trang

Hình 2.1. Kit Raspberry Pi 2 Model B v1.1..................................................................................... 6
Hình 2.2. Cử chỉ bàn tay số từ 1-10 của ASL.................................................................................. 8
Hình 2.3. Mơ tả các bước cơ bản trong xử lý ảnh.......................................................................... 8
Hình 2.4. Ảnh RGB................................................................................................................................ 14
Hình 2.5. Chuyển ảnh màu thành ảnh xám.................................................................................... 14
Hình 2.6. Các màu cơ sở....................................................................................................................... 15
Hình 2.7. Khơng gian màu RGB....................................................................................................... 15
Hình 2.8. Khơng gian màu HSV........................................................................................................ 16
Hình 2.9. Đặc trưng theo cạnh............................................................................................................ 16
Hình 2.10. Đặc trưng theo đường...................................................................................................... 17
Hình 2.11. Đặc trưng xung quanh tâm............................................................................................. 17
Hình 2.12. Đặc trưng theo đường chéo........................................................................................... 17
Hình 2.13. Ảnh chia nhỏ tại vị trí (x,y)........................................................................................... 18
Hình 2.14. Tổng giá trị pixel nằm trong vùng A.......................................................................... 18
Hình 2.15. R-HOG và C-HOG........................................................................................................... 19
Hình 2.16. Mỗi khối (block) gồm 9 ơ.............................................................................................. 20
Hình 2.17. Các khối được xếp chồng lên nhau............................................................................ 20
Hình 2.18. Tính góc và biên độ theo X-Gradient và Y-Gradient........................................... 21
Hình 2.19. Các bước rút trích đặc trưng trong HOG................................................................. 22
Hình 2.20. Lược đồ cơ bản của AdaBoost..................................................................................... 23
Hình 2.21. Thuật tốn học AdaBoost............................................................................................... 24
Hình 2.22. Dùng chuỗi Cascade để phát hiện cửa sổ con phù hợp....................................... 27
Hình 2.23. Cấu trúc chuỗi Cascade song song............................................................................. 28
Hình 2.24. Cấu trúc của chuỗi cascade nối tiếp, với N giai đoạn học huấn luyện..........29

Hình 3.1. Sơ đồ khối hệ thống............................................................................................................ 31
Hình 3.2. Sơ đồ chân kit raspberry Pi 2.......................................................................................... 32
Hình 3.3. Camera pi kết nối với kit Raspberry pi....................................................................... 33
Hình 3.4. Sơ đồ ngun lý khối cơng suất..................................................................................... 33
Hình 3.5. Sơ đồ kết nối khối công suất với kit Raspberry pi.................................................. 34
Hình 4.1. Sơ đồ sắp xếp linh kiện trên phần mềm...................................................................... 36
Hình 4.2. Sơ đồ sắp xếp linh kiện thực tế...................................................................................... 36
Hình 4.3. Sơ đồ mạch in khối cơng suất......................................................................................... 37
Hình 4.4. Lưu đồ giải thuật nhận diện cử chỉ tay bằng ngưỡng màu da............................. 38
Hình 4.5. Một số ảnh positive trong tập huấn luyện.................................................................. 40
Hình 4.6. Một số ảnh negative trong tập huấn luyện................................................................. 40


Hình 4.7. Giao diện Training Image Labeler................................................................................ 41
Hình 4.8. Giao diện Training Image Labeler sau khi thêm hình ảnh tích cực..................41
Hình 4.9. Ảnh sau khi xác định ROI................................................................................................ 42
Hình 4.10. Tên ROI cần xuất.............................................................................................................. 42
Hình 4.11. Thư mục chứa file L305_GOP .MAT, thư mục “po”, “ne”............................... 43
Hình 5.1. Hộp sản phẩm....................................................................................................................... 47
Hình 5.2. Mặt trước hộp sản phẩm................................................................................................... 48
Hình 5.3. Kết nối mạch công suất với raspberry pi.................................................................... 49


LIỆT KÊ BẢNG
Bảng

Trang

Bảng 1.1. Nội dung nghiên cứu............................................................................................................ 3
Bảng 1.2. Tập cử chỉ đề xuất................................................................................................................. 4

Bảng 2.1. Cấu hình Raspberry Pi 2 model B v1.1......................................................................... 7
Bảng 3.1. Bảng linh kiện và dòng điện tiêu thụ........................................................................... 34
Bảng 4.1. Danh sách linh kiện............................................................................................................ 35
Bảng 4.2. Kết quả mô phỏng............................................................................................................... 44
Bảng 6.1. Kết luận................................................................................................................................... 50


TĨM TẮT
Cùng với sự phát triển của khoa học cơng nghệ, các thiết bị điện tử đều dần phát
triển theo hướng tự động hóa, thơng minh, càng hiểu ý con người. Trong những năm
gần đây, nhiều loại hệ thống nhận dạng cử chỉ bàn tay đã được đề xuất và phát triển
theo hướng ứng dụng thực tế có nhiều thành tựu đáng kể.
Đề tài thực hiện nhận dạng cử chỉ tay sử dụng phương pháp nhận diện màu da kết
hợp với file huấn luyện phát hiện bàn tay được tạo ra từ thuật toán huấn luyện HOG,
thuật toán tăng tốc ADABOOST. Hệ thống đưa ra gồm có 5 cử chỉ, được thiết kế sao
cho khi phát hiện cử chỉ tay từ camera thời gian thực đưa ra lệnh điều khiển 4 thiết bị.
Mơ hình nhận dạng chạy trên nền kit Raspberry Pi 2 model B v1.1, sử dụng ngôn
ngữ Python và thư viện có sẵn OpenCV.
Trong điều kiện mơi trường thích hợp (ánh sáng, màu nền đơn giản, khơng có
màu trùng ngưỡng với màu da) kết quả nhận diện khoảng 85%.


CHƯƠNG 1. TỔNG QUAN

Chương 1. TỔNG QUAN
1.1 ĐẶT VẤN ĐỀ
Ngày nay với những tiến bộ vượt bậc của khoa học kỹ thuật, cùng với bộ môn
khoa học xử lý ảnh đã và đang thu được những thành tựu lớn lao. Các thiết bị điện tử
đều dần phát triển theo hướng tự động hóa, thơng minh, càng hiểu ý con người, chúng
giao tiếp với con người mà không cần thiết bị trung gian nào, để làm được điều đó các

thiết bị cảm biến, thuật toán nhận dạng ra đời ngày càng hiện đại hơn, càng chính xác
hơn, dễ sử dụng hơn, chúng có thể nhận biết các hoạt động của con người, cảm xúc
của con người và hoạt động theo đúng ý muốn của họ. Bài toán “Nhận dạng cử chỉ
điều khiển thiết bị” là một trong số đó. Ngơn ngữ cơ thể, đặc biệt là ngôn ngữ bằng tay
ngày càng được xem là một trong những phương pháp tương tác rất tự nhiên và trực
quan.
Trong những năm gần đây, nhiều loại hệ thống nhận dạng cử chỉ bàn tay đã
được đề xuất và phát triển theo hướng thực hành sử dụng vào trong cuộc sống thực
cũng như việc nghiên cứu các giải thuật nhận dạng một cách chính xác hơn:
 Nghiên cứu của Chen Chiung Hsieh và Dung Hua Liou về nhận dạng cử chỉ

bằng lịch sử chuyển động ảnh [1]. Các khung hình được tích lũy trong các hình
ảnh lịch sử chuyển động. Sử dụng các báo động sai lọc ra nếu số lượng điểm
ảnh da phát hiện nhỏ hơn một ngưỡng nhất định. Hệ thống được xây dựng trên
các khối: Digital Zoom, phát hiện màu da, nhận dạng cử chỉ.
 Nghiên cứu của Dharani Mazumdar, Anjan Kumar Talukda và Kandapar Kumar

Sarma nghiên cứu nhận dạng cử chỉ bằng găng tay cảm biến Data Glove [2].
Bằng việc sử dụng lối ra số của serson gia tốc MEMS gắn liền với các ngón tay
và sử dụng vi điều khiển. Máy tính phân tích và xử lý thơng tin dữ liệu và thực
hiện các thuật tốn.
 Trong nước có đề tài: “Nghiên cứu phát triển kỹ thuật nhận dạng cử động của

bàn tay người theo thời gian thực” của nhóm nghiên cứu trẻ thuộc Khoa Công
nghệ Thông tin, Học viện Kỹ thuật Quân sự do tiến sỹ Trần Nguyên Ngọc làm
chủ nhiệm đã mở ra nhiều hướng ứng dụng hiệu quả trong thực tế [3]. Những
hiệu quả trong ứng dụng của đề tài như phát triển hệ thống hỗ trợ tra cứu thơng

BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP

1


CHƯƠNG 1. TỔNG QUAN
tin và điều khiển thiết bị từ xa, điều khiển robot trợ giúp người khuyết tật, tích
hợp điều khiển tivi, máy nghe nhạc…
 Trường Đại học sư phạm kĩ thuật thành phố Hồ Chí Minh có đề tài: “Nhận diện

cử chỉ bàn tay sử dụng phân cụm K-MEANS và mạng NƠ-RON” do 2 sinh
viên Võ Đắc Thọ và Trần Quang Tráng thực hiện vào năm 2014 [4]. Giúp tìm
hiểu được tổng quát về xử lý ảnh, tìm hiểu được các phương pháp nhận dạng cử
chỉ tay, mô phỏng các tập lệnh liên quan đến đề tài bằng matlab. Tuy nhiên đề
tài chỉ dừng lại nhiều ở mức lý thuyết và sử dụng mô phỏng để kiểm chứng kết
quả nên còn nhiều hạn chế trong thực tế.
 Bên cạnh đó cịn có các đề tài ứng dụng xử lý ảnh về nhận dạng khn mặt,

điển hình như: “Nhận diện khuôn mặt ứng dụng trong bảo mật và chấm cơng
dùng kít raspberry pi” do 2 sinh viên Duy và Tâm thực hiện năm 2015 [5]. Đạt
được kết quả nhận diện thành công 95% trong khoảng cách 0.5m, tuy nhiên
°

phải lấy mẫu từng người một, ảnh người chụp thẳng nghiêng không quá 10 và
ảnh chỉ chụp trong điều kiện ánh sáng bình thường , tốc độ xử lý chậm 5 phút.
 Đề tài : “Ứng dụng xử lý ảnh cảnh báo tài xế ngủ gật” do sinh viên Phương và

Tâm thực hiện năm 2014 [6], đã phát hiện được đúng trên 90% với khoảng cách
từ 0.2-1.2 m, nhưng còn tồn tại nhược điểm: Khơng thể quay trái phải với góc >
°

°

40 trên windown và 20 trên kit, chưa đáp ứng được tốc độ hay xử lý có phần
hạn chế với người đeo kính,…
Đề tài “Ứng dụng xử lý ảnh trong điều khiển thiết bị bằng cử chỉ tay sử
dụng kit raspberry pi” của nhóm xây dựng với mong muốn góp một phần thúc
đẩy sự phát triển trong nhận dạng cử chỉ, thơng qua việc tìm hiểu và kế thừa các
thành tựu đã có từ các cơng trình nghiên cứu trước. Về mặt kỹ thuật, đề tài giúp
con người tương tác với hệ thống thiết bị, khơng cịn bó buộc trong những cách
tương tác truyền thống (như thơng qua bàn phím máy tính, con chuột hoặc điện
thoại…) mà chuyển sang tương tác trực tiếp bằng cử chỉ. Ngồi ra có thể giúp
người khiếm thính nhận biết ngơn ngữ qua cử chỉ bàn tay, người có vấn đề về cơ
bắp điều khiển một số thiết bị gia dụng,...Về mặt nghiên cứu khoa học, hệ thống
nhận dạng cử chỉ của nhóm ứng dụng phương pháp tối ưu nhất có đầy đủ tri thức
về nhận dạng và dữ liệu huấn luyện giúp nhận biết được chính xác các dạng cử chỉ,
có khả năng đưa ra kết quả chính xác cao.
BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP


CHƯƠNG 1. TỔNG QUAN

1.2 MỤC TIÊU
Tách được bàn tay một cách nhanh chóng, chính xác, nhận dạng được một số cử
chỉ với nền đơn giản. Thiết kế và thi công mơ hình, giao diện điều khiển 4 thiết bị bằng
cách chụp ảnh bằng camera qua kit raspberry pi 2.

1.3 NỘI DUNG NGHIÊN CỨU
Bảng 1.1. Nội dung nghiên cứu
Tuần
Tuần 1
Tuần 2

Tuần 3
Tuần 4
Tuần 5
Tuần 6
Tuần 7
Tuần 8
Tuần 9
Tuần 10
Tuần 11
Tuần 12
Tuần 13
Tuần 14


1.4 GIỚI HẠN
Sử dụng thư viện OpenCV và ngôn ngữ python lập trình trên nền kit Raspberry
Pi 2. Nhận dạng cử chỉ tĩnh của bàn tay thông qua camera Pi.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP


CHƯƠNG 1. TỔNG QUAN
Nhóm thực hiện được nhận diện 4 cử chỉ bàn tay với thời gian thực. Được mô
tả như bảng 1.2.
Bảng 1.2. Tập cử chỉ đề xuất
Tên cử chỉ

“Bật thiết bị 1”

“Bật thiết bị 2”

“Bật thiết bị 3”

“Bật thiết bị 4”

“Tắt toàn bộ”

Xử lý cử chỉ nhận dạng trong 1 đến 4s.
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP


CHƯƠNG 1. TỔNG QUAN
Môi trường nhận dạng không phức tạp: Đầy đủ ánh sáng (ánh sáng mặt trời
sáng, trưa hoặc đèn chiếu sáng đầy đủ), mơi trường ít nhiễu(khơng có màu tương tự
ngưỡng màu da, nền không quá nhiều đồ vật ảnh hưởng đến loại trừ nền trong nhận
diện)
Khoảng cách nhận dạng từ 0.5 đến 1.2 mét.

1.5 BỐ CỤC ĐỀ TÀI
Với đề tài “Ứng dụng xử lý ảnh trong điều khiển thiết bị bằng cử chỉ tay sử dụng
kit raspberry pi” nhóm tập trung nghiên cứu các vấn đề cụ thể sau:
 Chương 1: Tổng quan.

Trong chương này trình bày đặt vấn đề dẫn nhập về lý do chọn đề tài, mục tiêu,
cùng với nội dung thực hiện, những vấn đề đề tài có thể làm được và bố cục mẫu báo
cáo.
 Chương 2: Cơ sở lý thuyết.

Trong chương này trình bày về kiến thức tổng quát các vấn đề liên quan đến đề tài:
Ngôn ngữ ký hiệu, cử chỉ bàn tay, các vấn đề về xử lý ảnh, màu da, thuật tốn huấn
luyện và đặc tính kĩ thuật của kit Raspberry Pi 2.

 Chương 3: Tính tốn thiết kế.

Trong chương này trình bày sơ đồ khối của hệ thống, sơ đồ ngun lý của tồn
mạch và tính tốn chi tiết các linh kiện cần sử dụng.
 Chương 4: Thi cơng hệ thống.

Trong chương này trình bày tổng thể phần cứng, thi cơng mạch điều khiển, hướng
lập trình và kết quả mơ phỏng.
 Chương 5: Kết quả-nhận xét-đánh giá.

Trình bày về các mặt làm được cũng như chưa làm được, kết quả thực tế của hệ
thống nhận dạng đã làm được.
 Chương 6: Kết luận và hướng phát triển.

Nhận xét tổng quát về đề tài, mở ra hướng phát triển, ứng dụng thực tiễn
trong cuộc sống.

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

5


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT

Chương 2. CƠ SỞ LÝ THUYẾT
Ý tưởng để làm cho máy móc hiểu ngơn ngữ con người, cụ thể trong đề tài là

cử chỉ bàn tay, cần phải tìm hiểu đầy đủ tri thức về cách truyền nhận, xử lý hình ảnh
cũng như cơng cụ để xử lý những tín hiệu đưa về, đưa ra các tín hiệu phù hợp. Trong
chương này, nhóm sẽ trình bày chi tiết và đầy đủ nhất cách tiếp cận và xử lý của đề tài.

2.1 TÌM HIỂU KIT RASPBERRY PI 2(RPI2)

Hình 2.1. Kit Raspberry Pi 2 Model B v1.1 [7]
Raspberry Pi được phát triển bởi Raspberry Pi Foundation (Anh) nhằm sử dụng
trong giảng dạy kiến thức cơ bản về khoa học máy tính. RPI 2 là máy tính siêu nhỏ (to
bằng thẻ tín dụng) giá rẻ (khoảng dưới 1 triệu đồng) và tiêu thụ điện năng cực ít
(khoảng 3Wh, chỉ bằng 1/13 lần so với bóng điện tuýp 1,2m). Raspberry Pi được phát
triển lần đầu vào năm 2009, cho đến năm 2015 là bản Raspberry Pi 2 Model B v1.1.
RPI có thể chạy các hệ điều hành nền Linux như Raspbian, OpenELEC,
archLinux,…và đặc biệt là Microsoft đã tuyên bố RPI có thể chạy Windows 10. Với
vai trị như một máy tính cá nhân, RPI 2 có thể dùng làm những server không yêu cầu
năng lực xử lý cao như NAS, Media Server, Firewall,…

BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP

6


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT
RPI 2 cũng có thể dùng với webcam, IP cam,…như một hệ thống giám sát với
các tính năng phát hiện chuyển động, phát hiện âm thanh,…
Bảng 2.1. Cấu hình Raspberry Pi 2 model B v1.1 [8]
Thành phần
CPU
RAM
Cổng USB
GPIO
HDMI
Ethernet(LAN)

Jack âm thanh ra, micro vào và video ra
Khe giao tiếp camera(CSI)
Khe giao tiếp màn hình(DSI)
Khe cắm thẻ nhớ Micro SD
Card màn hình

2.2 NGƠN NGỮ KÝ HIỆU
Ngơn ngữ ký hiệu hay ngôn ngữ dấu hiệu, thủ ngữ là ngôn ngữ dùng những
biểu hiện của bàn tay thay cho âm thanh của tiếng nói. Ngơn ngữ ký hiệu do người
điếc tạo ra nhằm giúp họ có thể giao tiếp với nhau trong cộng đồng của mình và tiếp
thu tri thức của xã hội.
Ngôn ngữ ký hiệu Mỹ (American Sign Language- gọi tắt ASL) là ngôn ngữ dấu
hiệu chiếm ưu thế của cộng đồng người khiếm thính tại Hoa Kỳ và trên cả thế giới.
ASL có nguồn gốc từ những năm đầu thế kỷ 19 trong các trường học dành cho người
khiếm thính ở Hartford, Connecticut từ một tình huống tiếp xúc ngơn ngữ [9].

BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP

7


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT

Hình 2.2. Cử chỉ bàn tay số từ 1-10 của ASL [10]

2.3 TÌM HIỂU XỬ LÝ ẢNH
2.3.1 GIỚI THIỆU
Xử lý ảnh là một lĩnh vực mang tính khoa học và cơng nghệ. Nó là một ngành
khoa học mới mẻ so với nhiều ngành khoa học khác nhưng tốc độ phát triển của nó rất
nhanh, kích thích các trung tâm nghiên cứu, ứng dụng, đặc biệt là máy tính chun

dụng riêng cho nó. Các phương pháp xử lý ảnh bắt đầu từ các ứng dụng chính: nâng
cao chất lượng ảnh và phân tích ảnh. Từ năm 1964 đến nay, các phương tiện xử lý,
nâng cao chất lượng, nhận dạng ảnh phát triển không ngừng [11].
Trong xử lý ảnh có các bước cơ bản cần thiết sau: Đầu tiên, ảnh tự nhiên từ thế
giới ngoài được thu nhận qua các thiết bị thu (như camera, máy chụp ảnh). Trước đây,
ảnh thu qua camera là các ảnh tương tự (loại camera ống kiểu CCIR). Gần đây, với sự
phát triển của công nghệ, ảnh màu hoặc đen trắng được lấy ra từ camera, sau đó nó
được chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử lý tiếp theo. Mặt khác, ảnh
cũng có thể tiếp nhận từ vệ tinh; có thể quét từ ảnh chụp bằng máy quét ảnh.

Hình 2.3. Mơ tả các bước cơ bản trong xử lý ảnh
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT
Sơ đồ này bao gồm các thành phần sau:

2.3.1.1 Phần thu nhận ảnh (Image Acquisition)
Ảnh có thể nhận qua camera màu hoặc đen trắng. Thường ảnh nhận qua camera
là ảnh tương tự (loại camera ống chuẩn CCIR với tần số 1/25, mỗi ảnh 25 dòng), cũng
có loại camera đã số hố (như loại CCD – Change Coupled Device) là loại photodiot
tạo cường độ sáng tại mỗi điểm ảnh. Camera thường dùng là loại quét dòng; ảnh tạo ra
có dạng hai chiều. Chất lượng một ảnh thu nhận được phụ thuộc vào thiết bị thu, vào
môi trường (ánh sáng, phong cảnh).

2.3.1.2 Tiền xử lý (Image Processing)
Sau bộ thu nhận, ảnh có thể nhiễu độ tương phản thấp nên cần đưa vào bộ tiền
xử lý để nâng cao chất lượng. Chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ
tương phản để làm ảnh rõ hơn, nét hơn.

2.3.1.3 Phân đoạn (Segmentation) hay phân vùng ảnh
Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để biểu diễn
phân tích, nhận dạng ảnh. Ví dụ: Để nhận dạng chữ (hoặc mã vạch) trên phong bì thư
cho mục đích phân loại bưu phẩm, cần chia các câu, chữ về địa chỉ hoặc tên người
thành các từ, các chữ, các số (hoặc các vạch) riêng biệt để nhận dạng. Đây là phần
phức tạp khó khăn nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của
ảnh. Kết quả nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này.

2.3.1.4 Biểu diễn ảnh (Image Representation)
Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn)
cộng với mã liên kết với các vùng lận cận. Việc biến đổi các số liệu này thành dạng
thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính. Việc chọn các tính chất để thể
hiện ảnh gọi là trích chọn đặc trưng (Feature Selection) gắn với việc tách các đặc tính
của ảnh dưới dạng các thơng tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng
này với đối tượng khác trong phạm vi ảnh nhận được. Ví dụ: Trong nhận dạng ký tự
trên phong bì thư, chúng ta miêu tả các đặc trưng của từng ký tự giúp phân biệt ký tự
này với ký tự khác.

2.3.1.5 Nhận dạng và nội suy ảnh (Image Recognition and Interpretation)
Nhận dạng ảnh là quá trình xác định ảnh. Quá trình này thường thu được bằng
cách so sánh với mẫu chuẩn đã được học (hoặc lưu) từ trước. Nội suy là phán đốn

BỘ MƠN ĐIỆN TỬ CƠNG NGHIỆP

9


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT
theo ý nghĩa trên cơ sở nhận dạng. Ví dụ: Một loạt chữ số và nét gạch ngang trên
phong bì thư có thể được nội suy thành mã điện thoại. Có nhiều cách phân loại ảnh

khác nhau về ảnh. Theo lý thuyết về nhận dạng, các mơ hình tốn học về ảnh được
phân theo hai loại nhận dạng ảnh cơ bản: - Nhận dạng theo tham số. - Nhận dạng theo
cấu trúc. Một số đối tượng nhận dạng khá phổ biến hiện nay đang được áp dụng trong
khoa học và công nghệ là: Nhận dạng ký tự (chữ in, chữ viết tay, chữ ký điện tử), nhận
dạng văn bản (Text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người…

2.3.1.6 Cơ sở tri thức (Knowledge Base)
Ảnh là một đối tượng khá phức tạp về đường nét, độ sáng tối, dung lượng điểm
ảnh, môi trường để thu ảnh phong phú kéo theo nhiễu. Trong nhiều khâu xử lý và phân
tích ảnh ngồi việc đơn giản hóa các phương pháp tốn học đảm bảo tiện lợi cho xử lý,
người ta mong muốn bắt chước quy trình tiếp nhận và xử lý ảnh theo cách của con
người. Trong các bước xử lý đó, nhiều khâu hiện nay đã xử lý theo các phương pháp
trí tuệ con người. Vì vậy, ở đây các cơ sở tri thức được phát huy.

2.3.2 NHỮNG VẤN ĐỀ CƠ BẢN TRONG XỬ LÝ ẢNH
2.3.2.1 Điểm ảnh ( Picture Element)
Gốc của ảnh (ảnh tự nhiên) là ảnh liên tục về không gian và độ sáng. Để xử lý
bằng máy tính (số), ảnh cần phải được số hoá. Số hoá ảnh là sự biến đổi gần đúng một
ảnh liên tục thành một tập điểm phù hợp với ảnh thật về vị trí (khơng gian) và độ sáng
(mức xám). Khoảng cách giữa các điểm ảnh đó được thiết lập sao cho mắt người
khơng phân biệt được ranh giới giữa chúng. Mỗi một điểm như vậy gọi là điểm ảnh
(PEL: Picture Element) hay gọi tắt là Pixel. Trong khuôn khổ ảnh hai chiều, mỗi pixel
ứng với cặp tọa độ (x, y).

2.3.2.2 Ảnh
Ảnh được xem như là một tập hợp các điểm ảnh.
Bất kỳ hình ảnh từ một máy quét hoặc từ một Camera số hay trong máy tính là
một hình ảnh kỹ thuật số. Hình ảnh máy tính đã được “số hóa”, đây là q trình
chuyển đổi từ hình ảnh màu sắc thực tế thành các dữ liệu số bao gồm các hàng và cột
của hàng triệu mẫu màu được đo từ hình ảnh ban đầu.

Một máy ảnh kỹ thuật số dùng chip CCD (Change Coupled Device) đằng sau
ống kính, CCD bao gồm một mạng lưới các điểm bắt sáng được phủ bằng lớp bọc màu
(đỏ - Red, xanh lục – Green, xanh dương – Blue), mỗi điểm ảnh chỉ bắt một màu. Do
BỘ MÔN ĐIỆN TỬ CÔNG NGHIỆP


CHƯƠNG 2. CƠ SỞ LÝ THUYẾT
đó khi chụp ảnh (cửa sập mở), ánh sáng qua ống kính và được lưu lại trên bề mặt chip
cảm biến dưới dạng điểm ảnh. Mỗi điểm ảnh có một mức điện áp khác nhau sẽ được
chuyển đến bộ phận đọc giá trị theo từng hàng. Giá trị mỗi điểm ảnh sẽ được khuếch
đại và được đưa vào bộ chuyển đổi tín hiệu tương tự sang tín hiệu số, cuối cùng đổ vào
bộ xử lý để tái hiện lại hình ảnh đã chụp. Chính q trình đọc thơng tin thực hiện theo
từng hàng đã làm cho tốc độ xử lý ảnh chậm, thiếu hoặc thừa sáng. Đối với máy ảnh
kỹ thuật số dùng chip CMOS tại các điểm bắt sáng có sẵn mạch điện hỗ trợ dễ dàng
tích hợp ngay q trình xử lý điểm ảnh. Với cấu trúc này, mỗi điểm ảnh sẽ được xử lý
ngay tại chỗ và đồng loạt truyền tín hiệu số về bộ xử lý để tái hiện hình ảnh đã chụp
nên tốc độ xử lý nhanh hơn rất nhiều.
Cảm biến nhìn thấy màu sắc và độ sáng của từng khu vực nhỏ là lấy mẫu. Đó là
giá trị màu sắc của từng khu vực được đo và ghi thành giá trị số đại diện cho màu sắc.
Quá trình này được gọi là số hóa hình ảnh. Dữ liệu được tổ hợp thành các hàng và cột
để giữ lại vị trí của từng khu vực hình ảnh. Mỗi giá trị dữ liệu đó chính là điểm ảnh.
Các dữ liệu hình ảnh là bao gồm các giá trị màu RGB số trong một mạng lưới các hàng
và cột. Khi tất cả các dữ liệu ảnh được kết hợp lại và sao chép liên tiếp, chính xác trật
tự cột trên giấy in hoặc hoặc màn hình máy tính, não bộ con người nhận ra hình ảnh
ban đầu.

2.3.2.3 Độ phân giải của ảnh
Độ phân giải của ảnh là mật độ điểm ảnh được ấn định trên một ảnh số được
hiển thị. Theo định nghĩa, khoảng cách giữa các điểm ảnh phải được chọn sao cho mắt
người vẫn thấy được sự liên tục của ảnh. Việc lựa chọn khoảng cách thích hợp tạo nên

một mật độ phân bổ, đó chính là độ phân giải và được phân bố theo trục x và y trong
không gian hai chiều.
Ví dụ: Độ phân giải của ảnh trên màn hình CGA (Color Graphic Adaptor) là
một lưới điểm theo chiều ngang màn hình: 320 điểm chiều dọc * 200 điểm ảnh
(320*200). Rõ ràng, cùng màn hình CGA 12” ta nhận thấy mịn hơn màn hình CGA
17” độ phân giải 320*200. Lý do: cùng một mật độ (độ phân giải) nhưng diện tích màn
hình rộng hơn thì độ mịn (liên tục của các điểm) kém hơn.

2.3.2.4 Mức xám của ảnh
Mức xám của điểm ảnh là cường độ sáng của nó được gán bằng giá trị số tại
điểm đó.
BỘ MƠN ĐIỆN TỬ CÔNG NGHIỆP