Nghiên cứu phương pháp tính toán độ sâu ảnh stereo ứng dụng trong rô bốt di động

BỘ GIÁO DỤC VÀ ĐÀO TẠO
VIỆN ĐẠI HỌC MỞ HÀ NỘI


LUẬN VĂN THẠC SĨ
Chuyên ngành: Kỹ thuật ñiện tử
Mã ngành: 60520203

Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo
ứng dụng trong rô bốt di ñộng

HỌC VIÊN THỰC HIỆN: Bạch Ngọc Minh
HƯỚNG DẪN KHOA HỌC: TS. Nguyễn Vĩnh An



Hà Nội, 9/2013



Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh i

LỜI MỞ ĐẦU
Với mục ñích thay thế cho con người ñối với những công việc ở những môi
trường khắc nghiệt, nhiễm ñộc hay phóng xạ… ảnh hưởng tới sức khỏe cũng như
tính mạng của con người thì việc sử dụng Robot là một việc rất cần thiết. Trên thế
giới việc phát triển công nghệ robot ñã phát triển từ lâu và ñã có những thành công
nhất ñịnh. Nhưng ở Việt Nam thì công nghệ này vẫn còn ñang trong thời gian

nghiên cứu và phát triển, tuy có những thành công nhưng vẫn chưa có những thành
tựu ñáng kể. Hệ thống Robot dựa trên công nghệ dẫn ñường và hệ thống thị giác có
thể ñáp ứng ñược những tác vụ phức tạp trong lĩnh vực giám sát, tìm kiếm và cứu
hộ cứu nạn. Với các hệ thống thu thập dữ liệu ña dạng, hệ thống robot có thể tìm
kiếm, hiển thị, truyền ñi tới trung tâm vị trí, tình trạng nạn nhân, môi trường xung
quanh ñể cho các nhân viên cứu hộ hay người quản lý biết ñể có biện pháp xử lý kịp
thời và ñạt hiệu quả cao nhất. Với ñặc ñiểm của mình thì hệ thống này có thể hoạt
ñộng ñộc lập hay ñược lập trình sẵn theo từng yêu cầu cụ thể.

Để xây dựng ñược một hệ thống hoàn chỉnh như vậy thì cần phải có thời gian nghiên
cứu, thử nghiệm và phát triển các module trong hệ thống. Với mục ñích như vậy dưới sự hướng
dẫn của thầy TS. Nguyễn Vĩnh An em ñã phát triển sản phẩm “ Nghiên cứu phương pháp
tính toán ñộ sâu ảnh stereo
ứng dụng trong rô bốt di ñộng
”

Hà Nội, Ngày 25 Tháng 9 Năm 2013
Sinh Viên



Bạch Ngọc Minh

Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh ii


MỤC LỤC
LỜI MỞ ĐẦU i

MỤC LỤC ii

DANH MỤC HÌNH VẼ v

DANH MỤC BẢNG vii

DANH MỤC TỪ VIẾT TẮT viii

Giới thiệu chung 1

1. Tính cấp thiết của ñề tài: 1

2. Mục tiêu nghiên cứu 2

2.1 Mục tiêu nghiên cứu tổng quát 2

2.2 Mục tiêu cụ thể 2

3. Đối tượng và phạm vi nghiên cứu 3

4. Tổng quan tài liệu 3

5. Nội dung, vật liệu và phương pháp nghiên cứu 5

5.1. Nội dung nghiên cứu: 5

5.2. Phương pháp nghiên cứu: 5

6. Dự kiến kết quả (viết theo từng nội dung nghiên cứu, dự kiến logíc và khoa học,
tính khả thi ) 7

Chương 1: TỔNG QUAN VỀ ROBOT CỨU HỘ ỨNG DỤNG HỆ THỐNG
CAMERA THỊ GIÁC 8

1.1.

Rôbốt cứu hộ 8

1.2.

Kiến trúc hệ thống rôbốt 10

1.3.

Hệ thống dẫn ñường cho robot 13

1.3.1.

Tầm quan trọng của hệ thống dẫn ñường cho robot cứu hộ: 14

1.3.2.

Các hệ thống dẫn ñường thường gặp 15

1.4.

Hệ thống thị giác 15

1.4.1.

Thị giác máy tính 15

1.4.2.

Hệ thống dẫn ñường cho robot cứu hộ sử dụng thị giác máy tính 16

Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh iii

1.5.

Cơ sở tính toán ảnh stereo 18

1.5.1.

Ảnh 3D và ứng dụng 19

1.5.2.

Stereo camera 20

1.5.3.

Bản ñồ chênh lệch và bản ñồ ñộ sâu 21

1.5.4.

Mối quan hệ giữa ảnh ñộ sâu và tọa ñộ thực: 23

1.5.5.

Phương pháp tính bản ñồ chênh lệch 23

1.6.

Phương pháp trích chọn ñường biên 29

1.6.1.

Đường biên và ý nghĩa 29

1.6.2.

Toán tử Prewitt 30

1.6.3.

Toán tử Sobel 31

1.7.

Phát hiện mặt phẳng bằng biến ñổi Hough 31

1.7.1.

Biến ñổi Hough 31

1.7.2.

Biến ñổi Hough trong không gian 3D 32

1.7.3.

Phát hiện mặt phẳng bằng biến ñổi Hough: 33

Chương 2 : NGHIÊN CỨU THUẬT TOÁN BẢN ĐỒ CHÊNH LỆCH 34

2.1.

Giới thiệu 34

2.2.

Phương pháp SAD truyền thống 36

2.3.

Phương pháp SAD ñiều chỉnh 39

2.3.1.

Phương pháp SAD ñối với ñường biên 39

2.3.2.

Phương pháp trích chọn ñường biên màu 41

2.4.

Bộ lọc logic: 44

2.4.1.

Sự che khuất trong hai tấm ảnh 44

2.4.2.

Bộ lọc logic trong trường hợp này 45

2.5.

Bộ lọc kích thước: 45

2.5.1.

Kích thước lỗi sai 45

2.5.2.

Cách lọc bằng kích thước: 46

2.6.

Phương pháp SAD phân vùng 47

2.7.

Hoàn thành disparity map 55

2.8.

Kết luận về phương pháp SAD ñiều chỉnh 58

Chương 3: PHÁT HIỆN MẶT PHẲNG VÀ CHƯỚNG NGẠI VẬT 59

Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh iv

2.1.

Phát hiện mặt phẳng: 59

2.1.1.

Ưu nhược ñiểm của biến ñổi Hough 59

2.1.2.

Tổng quan phương pháp ñoán vector không gian: 60

2.1.3.

Các ñặc ñiểm của mặt phẳng: 61

2.1.4.

Dự ñoán hướng của mặt phẳng: 62

2.1.5.

Đường ñồng mức: 63

2.1.6.

Phương pháp Hough dựa trên ñường ñồng mức: 64

2.2.

Phát hiện chướng ngại vật 65

2.2.1.

Yêu cầu phát hiện chướng ngại vật: 65

2.2.2.

Sự thể hiện của chướng ngại vật: 65

2.2.3.

Các vấn ñề trong phát hiện chướng ngại vật 66

2.2.4.

Phát hiện chướng ngại vật: 67

Chương 4: KẾT QUẢ VÀ ĐÁNH GIÁ 68

2.1.

Kết quả thực hiện chương trình: 68

2.1.1.

Thuật toán phát hiện ñộ sâu dựa trên phương pháp SAD ñiều
chỉnh 68

2.1.2.

Thuật toán phát hiện ñộ sâu dựa trên phương pháp SAD lai. 69

2.1.3.

Thuật toán phát hiện mặt phẳng và chướng ngại vật 71

2.2.

Hướng phát triển thêm về ñề tài: 72

2.2.1.

Phần lý thuyết: 72

2.2.2.

Hệ thống thị giác robot: 72

2.2.3.

Hệ thống robot cứu hộ: 73

KẾT LUẬN 76

PHỤ LỤC 1 77

TÀI LIỆU THAM KHẢO 79




Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh v

DANH MỤC HÌNH VẼ
Hình 1.1 : Robot cứu hộ 9

Hình 1.2 : Một thí nghiệm với robot cứu hộ 10

Hình 1.3: Sơ ñồ khối hệ thống 11

Hình 1.4 : Một ñường ñi ñược tính toán 14

Hình 1.6: Một cảnh trong phim 3D 19

Hình 1.7 : Ảnh 3D sau khi tách ra 20

Hình 1.8 : Stereo camera 20

Hình 1.9: Hoạt ñộng của stereo camera 21

Hình 1.10: Bản ñồ chênh lệch 22

Hình 1.11: Bản ñồ ñộ sâu 22

Hình 1.12 :Quan hệ ñộ sâu và tọa ñộ thực 23

Hình 1.13: Sơ ñồ khối tổng quát của một thuật toán tương ứng stereo 26

Hình 1.14: Chip ASIC (a) board FPGA (b). 27

Hình 1.15: Phân loại các giải thuật thị giác stereo 28

Hình 1.17: Đường biên làm rõ nội dung ảnh 29

Hình 1.16: Đường biên 29

Hình 1.18: Đồng xu với hai màu khác nhau 30

Hình 1.19 : Toán tử Prewitt 30

Hình 1.20 : Ảnh kết quả của toán tử Prewitt 31

Hình 1.21: Toán tử Sobel 31

Hình 1.22 : Biến ñổi Hough 31

Hình 1.23: Biến ñổi Hough trong không gian 3D 32

Hình 2.1: Ảnh kiểm tra Tsukuba (trái) và groundtruth (bên phải) 34

Hình 2.2: Bản ñồ ñộ sâu của việc thực hiện SAD với kích thước cửa sổ của .35

Hình 2.3: Bản ñồ ñộ sâu của việc thực hiện SSD với kích thước cửa sổ của
5x5 (trái), 7x7 (giữa) và 11x11 (bên phải) 36

Hình 2.4: Các kết quả tính SAD thông thường 37

Hình 2.5 : Tốc ñộ phép toán SAD với các kích thước cửa sổ khác nhau 38

Hình 2.6: Phương pháp SAD ñiều chỉnh 39

Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh vi

Hình 2.7: Đường biên cũng là ñường bao ñối tượng 40

Hình 2.8: Đánh giá kết quả của phương pháp SAD dựa trên ñường biên 41

Hình 2.9: Đường biên 20% số ñiểm bằng phương pháp Sobel màu và xám 42

Hình 2.10 : Các mảng màu của hình gốc 43

Hình 2.11: Sự che khuất ở 2 tấm ảnh 44

Hình 2.12: Lọc kích thước vùng 46

Hình 2.13: Thuật toán SAD phân vùng 49

Hình 2.14: Ảnh stereo trước khi chỉnh sửa 50

Hình 2.15: Ảnh stereo sau khi chỉnh sửa 50

Hình 2.16: Mô hình cơ bản cho phân vùng ảnh 52

Hình 2.17: Thuật toán SAD lai 55

Hình 2.18: Nội suy bên trong ñường biên 56

Hình 2.19: Tách riêng chi tiết dựa vào ñộ sâu 57

Hình 2.20: Nội suy một ñối tượng 57

Hình 2.21: Đối tượng nội suy bị tách ra 58

Hình 3.1: Khoảng giao nhau của các mặt phẳng 60

Hình 3.2: Mặt phẳng 61

Hình 3.3: Vector pháp tuyến 62

Hình 3.4: Đường ñồng mức 63

Hình 3.5 : Điểm gẫy khúc 64

Hình 3.6: Chướng ngại vật trong ảnh ñộ sâu 66

Hình 4.1: Một số kết quả thực hiện tìm SAD trên ñường biên 68

Hình 4.2: Nội suy bản ñồ chênh lệch với ảnh Cones 69

Hình 4.3: Kết quả thực nghiệm trên bốn ảnh thử nghiệm màu xám 70

Hình 4.5: Mặt phẳng thu ñược 72



Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh vii

DANH MỤC BẢNG
Bảng 4.1: So sánh kết quả của các giải thuật tính bản ñồ chênh lệch 71




Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh viii

DANH MỤC TỪ VIẾT TẮT

Thuật ngữ/từ viết tắt Tên tiếng Anh Tên tiếng Việt
GPS Global Positioning System Hệ thống ñịnh vị toàn cầu
NCC Normal Cross Correlation Tương quan chéo chuẩn
SAD Sum of Absolute Differences Tổng sai lệch tuyệt ñối
SSD Sum of Squared Differences Tổng sai lệch bình phương
HSAD Hybrid Sum of Absolute
Differences
Tổng sai lệch tuyệt ñối lai
RNV Robot vision system
nevigation

Hệ thống robot thị giác dẫn
ñường
VR Virtual reality system Hệ thống thực tế ảo
FPGA Field programvnable gate
arrays
Các mảng cổng trường khả
trình
ASIC Application-specific
integrated circuits
Mạch tích hợp ứng dụng
Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh 1

Giới thiệu chung
1. Tính cấp thiết của ñề tài:
Trong bối cảnh khoa học công nghệ phát triển mạnh mẽ, theo chủ trương của
Đảng và Nhà nước thì nhiệm vụ nghiên cứu phát triển khoa học công nghệ trở nên
bức thiết hơn bao giờ hết. Có ñặt vai trò làm chủ khoa học và công nghệ lên vị trí
quan trọng hàng ñầu thì mới ñảm bảo mục tiêu hiện ñại hóa công nghiệp hóa ñất
nước.
Nằm một trong những ngành khoa học công nghệ hiện ñại, ngành Rô bốt
ñang trở thành lĩnh vực phát triển hấp dẫn ñầy tiềm năng. Rô bốt có mặt trong nhiều
lĩnh vực thiết yếu và năng ñộng như y tế ñể theo dõi, giúp ñỡ bệnh nhân, trong cứu
hộ cứu nạn, tham gia vào các khâu trong dây truyền sản xuất, lĩnh vực giải trí như
các trò chơi tương tác hình ảnh…
Một xu hướng phát triển mới là rô bốt sử dụng camera thị giác ñể quan sát
như mắt người. Mặc dù việc chiết xuất dữ liệu từ ảnh thị giác là khó khăn hơn là
dùng cảm biến nhưng bù lại thì cách thức này cung cấp cho rô bốt và con người
những dữ liệu trực quan sinh ñộng và ñầy ñủ.
Robot cũng có thể ñược trang bị nhiều cảm biến hình ảnh ñể có thể tính toán

chiều sâu của thị giác trong môi trường ñược tốt hơn. Giống như ñôi mắt của con
người, "ñôi mắt "robot" cũng phải có khả năng tập trung vào một khu vực ñặc biệt,
và cũng có thể ñiều tiết ñể thích nghi với sự thay ñổi cường ñộ ánh sáng
Tình hình nghiên cứu thuật toán xử lý tín hiệu camera chưa ñược sự
quan tâm xứng ñáng với vai trò quan trọng của nó. Nguyên nhân chủ yếu là việc
ñịnh hướng nghiên cứu chưa ñược hoạch ñịnh ở tầm vỹ mô. Nếu ñiều này ñược xây
dựng một cách bài bản thì sẽ khuyến khích có nhiều nhà khoa học, các nghiên cứu
sinh, kỹ sư … tham gia bởi tính ứng dụng thiết thực ñến nhiều lĩnh vực trong ñời
sống xã hội. Mặc dù xử lý tín hiệu camera là một khoa học ứng dụng ñóng vai trò
ñặc biệt cho sự phát triển của các hệ thống giám sát, cứu hộ, hỗ trợ bệnh nhân …
Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh 2

nhưng do ñặc thù của lĩnh vực nghiên cứu là ñòi hỏi có những kiến thức cơ bản về
toán học và logic vững vàng, nên dẫn ñến nhiều khó khăn trong nghiên cứu ñối với
nhiều người. Cho nên không có nhiều các bài báo, các công trình khoa học có giá trị
ñược công bố trên các tạp chí khoa học, báo khoa học ở trong nước. Tuy nhiên
ngoài nhóm nghiên cứu của Viện Điện tử - Viễn thông, Trường Đại học Bách Khoa
Hà Nội, ở trong các trường ñại học các viện khoa học vẫn có những nhóm nghiên
cứu mang tính chất tự phát thực hiện các ñề tài, dự án NCKH như: Khoa Điện tử -
Viễn thông, Trường ĐH Công nghệ ĐHQG Hà Nội; Học viện kỹ thuật quân sự;
Khoa Điện tử - Viễn thông, Trường ĐHBK TP. HCM, ĐHQG TP. HCM, và một số
trường ñại học, viện nghiên cứu khác.
Riêng ñối với những nghiên cứu phát triển thuật toán xử lý tín hiệu camers
ứng dụng trong hệ thống thị giác rô-bốt dẫn ñường và cứu hộ, mặc dù hứa hẹn sẽ
giải quyết ñược vấn ñề hiệu năng và tính chính xác hệ thống, có tính ứng dụng cao
trong tương lai, nhưng do ñiều kiện nghiên cứu thực nghiệm còn nhiều hạn chế nên
cho ñến nay chưa có một công trình nghiên cứu nào ñược công bố trong các tạp chí,
hội thảo khoa học trong nước (theo sự tìm hiểu của cá nhân).
Với nhận ñịnh tình hình như trên tác giả mong muốn thực hiện ñề tài:

“Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di
ñộng”.
2. Mục tiêu nghiên cứu
2.1 Mục tiêu nghiên cứu tổng quát
Nghiên cứu và triển khai một số thuật toán xử lý ảnh stereo.
Kết quả của ñề tài có thể ứng dụng trên các hệ thống quan sát stereo nói
chung và rôbốt thị giác stereo nói riêng.
2.2 Mục tiêu cụ thể
- Nghiên cứu về hệ thống rôbốt sử dụng ña cảm biến và hệ thống
camera stereo.
Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh 3

- Nghiên cứu tổng quát về lý thuyết ảnh, ảnh số, ảnh stereo thị giác.
- Nghiên cứu các kỹ thuật xử lý ảnh cơ bản.
- Nghiên cứu một số thuật toán xử lý ảnh thị giác stereo.
- Triển khai thành công một số thuật toán xử lý ảnh thị giác stereo.
3. Đối tượng và phạm vi nghiên cứu
• Nghiên cứu ñược tiến hành trên ñối tượng
Đối tượng nghiên cứu của ñề tài là các thuật toán xử lý tín hiệu ảnh stereo thị
giác nằm trong khâu tiền xử lý.
• Phạm vi nghiên cứu
Nghiên cứu ñược thực hiện chủ yếu tại Viện ñại học Mở Hà Nội. Ngoài ra,
nghiên cứu cũng có sự hợp tác với một số phòng LAB của Viện Điện tử Viễn
thông, trường Đại học Bách Khoa Hà Nội.
Thời gian thực hiện ñề tài ñược dự kiến tiến hành trong 06 tháng gồm có hai
phần nghiên cứu lý thuyết và tiến hành thực nghiệm.
4. Tổng quan tài liệu
Hệ thống stereo thị giác là hệ thống dùng ñể quan sát môi trường bằng hai
camera thị giác. Bản thân thuật ngữ “stereo” có nguồn gốc từ tiếng Latin có nghĩa là

rắn, chắc chắn. Vậy ta hiểu vấn ñề là ñể thu thập thông tin từ môi trường một cách
chính xác, ñầy ñủ thì hệ thống quan sát cần phải có nhiều camera ñặt ở các góc ñộ
khác nhau. Hệ thống camera thị giác stereo thường ñặt hai camera theo phương nằm
ngang giống như mắt người và mắt của hầu hết các ñộng vật. Các ñối tượng trong
phạm vi quan sát ñược phản chiếu hình ảnh qua thấu kính của mỗi camera lên màn
chắn. Hệ thống thu ñược dữ liệu này gọi là cảnh. Tất nhiên mỗi cảnh gồm có hai
ảnh, tương ứng camera bên trái thì cho ảnh trái và camera bên phải thì cho ảnh phải.
Lúc này các ñối tượng trong cảnh lại ñược hiện thị trong không gian hai chiều. Vấn
ñề là nhờ có quá trình và phương pháp xử lý thích hợp của hệ thống stereo thị giác
Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh 4

này mà các ñối tượng trong môi trường ñược tái tạo trong một phối cảnh không gian
ba chiều. Quá trình này gọi là chuyển ñổi ngược phối cảnh. Quá trình này diễn ra
càng nhanh và chính xác thì càng thuận lợi cho sự di chuyển tới ñích, nhận dạng ñối
tượng… của hệ thống. Đối với bộ óc của con người thì vấn ñề chuyển ñổi phối cảnh
ngược không có gì khó khăn. Tuy nhiên ñối với các máy tính thị giác thì cần phải
giải quyết nhiều vấn ñề phức tạp nhằm ñạt ñược mục ñích khai thác tối ña thông tin
nằm trong cảnh thu nhận ñược.
Trong quá trình hoạt ñộng, rô bốt cần thực hiện các thao tác chủ yếu là quan
sát, thu thập dữ liệu về môi trường xung quanh, ñồng thời di chuyển hợp lý tới mục
tiêu. Hầu hết các hoạt ñộng trên ñều diễn ra trong thời gian thực tức là ñòi hỏi việc
xử lý dữ liệu thu thập ñược một cách nhanh chóng với sự ñảm bảo về tính chính
xác.
Khi xử lý tín hiệu ảnh stereo thị giác thường có hai khâu (hình 1).
- Khâu ñầu tiên là khâu tiền xử lý có nhiệm vụ lấy ra các dữ liệu có chứa
thông tin hữu ích cho việc phát triển các ứng dụng thị giác stereo thời gian
thực.
Khâu thứ hai các ứng dụng thị giác như ứng dụng tái tạo môi trường 3D, tìm
ñường, phát hiện ñối tượng…

Hình 1: Quá trình xử lý dữ liệu ảnh stereo thị giác
Trong khâu tiền xử lý, có một ñặc ñiểm chính là khối lượng dữ liệu thu thập
bằng camera rất lớn (lớn hơn nhiều lần so với dữ liệu thu thập bằng cảm biến) nên
việc xử lý chúng ngay từ ñầu là một nhiệm vụ khó khăn ñòi hỏi nhiều tài nguyên
máy tính và tốn nhiều thời gian. Khi di chuyển, rô bốt cần phát hiện nhiều ñối tượng
Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh 5

trong ñó ñối tượng quan trọng là ñường ñi. Đường ñi ñược xây dựng bằng các mặt
phẳng cơ bản trong không gian gồm mặt phẳng của mặt ñất, mặt phẳng tường hai
bên. Vì vậy việc phát hiện các mặt phẳng là khâu rất quan trọng.
Do ñó tác giả nhận thấy khâu tiền xử lý là rất quan trọng, cần ñược nghiên
cứu một cách nghiêm túc. Với mong muốn thử sức mình trong một lĩnh vực hiện
ñại, với hy vọng sẽ thu nhận ñược những kiến thức bổ ích, ñóng góp cho ngành
rôbốt của Việt Nam, tác giả mong muốn thực hiện ñề tài: “Nghiên cứu thuật toán
tiền xử lý tín hiệu ảnh thị giác ứng dụng trong rô bốt di ñộng”.
Trong ñề tài tác giả mong muốn giải quyết vấn ñề cải thiện về thời gian và
tài nguyên máy tính khi thực hiện các thuật toán xử lý tín hiệu stereo camera trong
khâu tiền xử lý, trong ñó tập trung vào giai ñoạn tính toán bản ñồ chênh lệch,
phát hiện mặt phẳng và chướng ngại vật.
5. Nội dung, vật liệu và phương pháp nghiên cứu
5.1. Nội dung nghiên cứu:
Luận văn bao gồm 4 chương:
- Chương 1: Nghiên cứu tổng quan về rôbốt cứu hộ và ứng dụng hệ thống
camera stereo thị giác.
- Chương 2: Nghiên cứu thuật toán tìm bản ñồ chênh lệch của cặp ảnh stereo
- Chương 3: Nghiên cứu phương pháp phát hiện mặt phẳng và chướng ngại vật.
- Chương 4: Kết quả thu ñược và ñánh giá, kết luận.
5.2. Phương pháp nghiên cứu:

Các nội dung nghiên cứu lý thuyết ñược thực hiện thông qua việc tìm hiểu
các giáo trình, tài liệu thao khảo chuyên ngành xử lý ảnh. Cụ thể như sau:
- Nghiên cứu về hệ thống rôbốt sử dụng ña cảm biến và hệ thống camera
stereo: ñọc tài liệu, các bài báo về thiết kế, mô hình hóa hệ thống rô bốt ñể tổng hợp
kiến thức và ñề xuất mô hình.
Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh 6

- Nghiên cứu về các chuẩn ảnh số: phạm vi nghiên cứu là các chuẩn ảnh số
ñược sử dụng phổ biến có ưu ñiểm là dung lượng ảnh nhỏ, chất lượng ảnh ñảm bảo
tốt cho việc trích chọn dữ liệu; ñịa ñiểm nghiên cứu tại thư viện như thư viện của
Viện Đại học Mở Hà Nội, thư viện Quốc gia. Phương pháp nghiên cứu chủ yếu dựa
vào việc ñọc, thu thập kiến thức từ các tài liệu, các sách ñiện tử, các trang web trên
Internet.
- Nghiên cứu các kỹ thuật xử lý ảnh số cơ bản: Phương pháp nghiên cứu chủ
yếu dựa vào việc ñọc, thu thập kiến thức từ các tài liệu, các sách ñiện tử, các trang
web trên Internet.
- Nghiên cứu thuật toán Tổng sai lệch tuyệt ñối ứng dụng trong bài toán tìm
bản ñồ chênh lệch của cặp ảnh stereo: phạm vi nghiên cứu là nhằm tới ứng dụng
của thuật toán trong việc tính toán bản ñồ chênh lệch ; ñịa ñiểm nghiên cứu tại thư
viện như thư viện của Viện Đại học Mở Hà Nội, thư viện Quốc gia. Phương pháp
nghiên cứu chủ yếu dựa vào việc ñọc, thu thập kiến thức từ các tài liệu, các sách
ñiện tử, các trang web trên Internet.
- Xây dựng công cụ tính toán bản ñồ chênh lệch có khả năng tính toán bản ñồ
chênh lệch. Công cụ này cho phép thực hiện giải thuật với các tập tham số khác
nhau nhằm mục ñích khảo sát ñánh giá giải thuật trong các trường hợp ña dạng
nhằm hướng tới bài toán tối ưu trong môi trường thực tế.; ñịa ñiểm nghiên cứu tại
phòng thí nghiệm của Viện Đại học Mở Hà Nội, liên hệ hợp tác với phòng thí
nghiệm tại Viện Điện tử - Viễn thông, Đại học Bách Khoa Hà Nội. Phương pháp
nghiên cứu cũng tham khảo việc ñọc, thu thập kiến thức từ các tài liệu, các sách

ñiện tử, các trang web trên Internet.
- Phương pháp xử lý số liệu dựa trên phần mềm bảng tính. Số liệu ñược công
cụ tính toán trích dẫn sang tệp bảng tính ñể thuận tiện cho việc tổng và phân tích.
Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh 7

6. Dự kiến kết quả (viết theo từng nội dung nghiên
cứu, dự kiến logíc và khoa học, tính khả thi )
- Nghiên cứu về hệ thống rôbốt sử dụng ña cảm biến và hệ thống camera
stereo.
- Nghiên cứu về các chuẩn ảnh số: nắm bắt ñặc ñiểm từng loại ảnh chuẩn.
- Nghiên cứu các kỹ thuật xử lý ảnh số cơ bản gồm các phép xử lý tiền kỳ và
phép xử lý ảnh hậu kỳ: hiểu các thuật toán xử lý ảnh, thực hiện ñược mã nguồn.
- Nghiên cứu thuật toán Tổng sai lệch tuyệt ñối ứng dụng trong bài toán tìm
bản ñồ chênh lệch của cặp ảnh stereo: hiểu các thuật toán xử lý ảnh, thực hiện ñược
mã nguồn. Phân tích ñược ưu nhược ñiểm. Đưa ra một số giải pháp thực hiện hiệu
quả hơn.
- Xây dựng công cụ tính toán bản ñồ chênh lệch: công cụ cho phép tiến hành
thực nghiệm tiện lợi, nhanh chóng.



Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh 8

Chương 1: TỔNG QUAN VỀ ROBOT CỨU HỘ ỨNG
DỤNG HỆ THỐNG CAMERA THỊ GIÁC
1.1. Rôbốt cứu hộ
Robot cứu hộ trước hết là một robot có nhiệm vụ giúp ñỡ các nhân viên cứu
hộ cấp cứu người trong việc khắc phục hậu quả của các thảm họa. Cũng giống

những người bình thường khác, nhân viên cứu hộ sau một thời gian thực hiện nhiệm
vụ thì thường gặp phải tình trạng mệt mỏi và không thể chịu ñược những ñiều kiện
quá khắc nghiệt. Hiệu quả công việc khó có thể ñảm bảo duy trì. Những lợi ích sinh
ra từ việc áp dụng robot cứu hộ là giảm số lượng nhân viên cứu hộ, tăng năng suất
làm việc, tránh mệt mỏi và tăng cường khả năng tiếp cận những khu vực nằm ngoài
khả năng của người thường.
Công nghệ về robot cứu hộ ñã ñược thử nghiệm lần ñầu tiên trong vụ thảm
họa 11 tháng 9 ở Mỹ. Những robot có nhiệm vụ tìm kiếm những người còn sống sót
trong ñống ñổ nát sau thảm họa. Kể từ sau ñó, các ý tưởng về robot cứu hộ ñã ñược
những nhà khoa học từ khắp nơi trên thế giới quan tâm và phát triển.
Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh 9



Hình 0.1 : Robot cứu hộ
Những robot cứu hộ ñược phát triển với những khả năng tìm kiếm, trinh sát,
lập bản ñồ, loại bỏ hoặc gia cố các ñống ñổ nát, cung cấp vật tư, chăm sóc y tế…
Với tất cả các nhu cầu trên, robot cứu hộ vẫn còn là thách thức cho các nhà khoa
học cho ñến hiện nay.

Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh 10


Hình 0.2 : Một thí nghiệm với robot cứu hộ
Khó khăn nhất trong việc phát triển một robot cứu hộ ñó là các thảm họa thì
hiếm khi xảy ra, và mỗi khi chúng xảy ra thì lại diễn biến khác nhau. Những robot
cứu hộ không bao giờ có thể ñược sử dụng một cách chính xác so với kịch bản ñưa
ra từ trước. Cho nên, mỗi khi thảm họa xảy ra thì lại có những tắc nghẽn xảy ra với

hệ thống robot cứu hộ hiện thời. Chính vì vậy, công nghệ về robot cứu hộ là một
công nghệ luôn phát triển.
1.2. Kiến trúc hệ thống rôbốt
Với yêu cầu về tính năng như trên, một hệ thống rô bốt thị giác dẫn ñường
(RNV) tổng quát có thể ñược minh họa trong sơ ñồ khối Hình 0.3:
Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh 11


Hình 0.3: Sơ ñồ khối hệ thống
Với mỗi khối riêng biệt thì thực hiện các chức năng khác nhau. Các chức
năng này bổ sung các tính năng riêng biệt cho Robot.
a. Khối xử lý trung tâm:
Đối với mỗi hệ thống thì khối xử lý trung tâm là một bộ não quyết ñịnh xem
hệ thống ñó hoạt ñộng như thế nào? Đối với mỗi ứng dụng thì cần yêu cầu khác
nhau về tốc ñộ, khả năng xử lý, hỗ trợ các giao tiếp với bên ngoài thông qua các
cảm biến khác nhau.
b. Hệ thống ñịnh vị dẫn ñường:
Để hệ thống có thể hoạt ñộng ñộc lập thì ngoài các nhân tố ảnh hưởng tới hệ
thống RNV như chương trình ñiều khiển, các nhân tố ngoại cảnh,… thì việc có
thông tin chính xác về vị trí hiện tại của robot hướng di chuyển, ñích ñến là một
ñiều rất quan trọng ñể hệ thông RNV hoạt ñộng ñược. Hệ thống này sẽ cung cấp
cho robot các thông tin hữu ích về trạng thái của robot thông qua hệ thống ñịnh vị
GPS và các thông tin này ñược giao tiếp với người sử dụng qua màn hình.
c. Hệ thống Stereo Camera:
Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh 12

Để hệ thống hoạt ñộng hiệu quả thì cần phải có những cảm biến thông minh,
và ñây là một trong số ñó. Với hệ thống này thì các tín hiệu hình ảnh về môi trường

xung quang ñược thu nhận và xử lý tại khối xử lý trung tâm thông qua các thuật
toán và phương pháp khác nhau giúp cho hệ thống có thể nhận biết, phán ñoán các
tình huống có thể xảy ra tại vị trí theo dõi ñễ có những “quyết ñịnh” chính xác.
d. Hệ thống cảm biến:
Tùy vào mục ñích khác nhau mà các hệ thống robot ñược trang bị các cảm
biến khác nhau ví dụ cảm biến nhiệt ñộ, ñộ ẩm, khí gas, cảm biến va chạm, cảm
biến gia tốc… Chính có các cảm biến này mà hệ thống nhận biết ñược môi trường
xung quanh.
e. Cơ cấu chấp hành
Sau khi thu thập ñược các tín hiệu của môi trường xung quanh thì qua quá
trình xử lý thông tin mà bộ xử lý trung tâm sẽ ñiều khiển robot làm nhiệm vụ ñã
ñược lập trình sẵn. Với hệ thống cứu nạn bằng robot, sau khi phát hiện nạn nhân thì
cơ cấu chấp hành sẽ lấy vật cản ra ñể có thể tiếp cận nạn nhân. Một cơ cấu chấp
hành ñơn giản mà hệ thống robot nào cũng có ñó là cơ cấu di chuyển của robot. Sau
khi xác ñịnh ñược hướng ñi robot sẽ ñiều khiển ñộng cơ chuyển ñộng theo yêu cầu.
f. Khối nguồn
Đối với mỗi hệ thống thì năng lượng là một vấn ñề sống còn của hệ thống.
Với hệ thống robot có tính cơ ñộng cao thì năng lượng cấp cho hệ thống chủ yếu là
từ nguồn năng lượng dự trữ như Pin, Acquy,… Các nguồn này có dung lượng nhất
ñịnh nên hệ thống cần phải thiết kế, tính toán làm sao mà ñạt hiệu suất cao, thời
gian sử dụng tối ưu.
g. Hệ thống giám sát từ xa
Sau khi lập trình cho robot, robot không thể có những “quyết ñịnh” ñối với
những tình huống nhạy cảm, do ñó cần phải có sự giám sát ñiều khiển từ trung tâm.
Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh 13

Thông qua hệ thống giám thì robot có thể ñược kiểm soát và ñiều khiển an toàn và
hiệu quả nhất.
Chương ñầu tiên của ñồ án sẽ giới thiệu tổng quan về hệ thống dẫn ñường cho

robot cứu hộ sử dụng thị giác máy tính. Trong chương này, chúng ta sẽ làm rõ thế
nào là robot cứu hộ, thế nào là dẫn ñường, các phương pháp dẫn ñường và tầm quan
trọng của dẫn ñường ñối với robot cứu hộ. Tiếp theo ñó, hệ thống thị giác máy tính
áp dụng cho việc dẫn ñường sẽ ñược mô tả sơ lược, làm cơ sở cho các phần tiếp
theo của ñồ án.
1.3. Hệ thống dẫn ñường cho robot
Hệ thống dẫn ñường cho robot là một hệ thống kết hợp phần cứng và phần mềm
nhằm tính toán ñường ñi cho robot một cách hợp lý. Có rất nhiều hệ thống dẫn hướng
từng ñược nghiên cứu và ứng dụng rộng rãi sử dụng trong các robot công nghiệp, vệ
tinh, ô tô và nhiều hệ thống tự ñộng khác. Trong những hệ thống ñó, có những hệ thống
khá ñơn giản và cũng có những hệ thống rất phức tạp. Các hệ thống dẫn hướng khác
nhau ñều có những ñặc trưng riêng và có những ứng dụng riêng biệt.
Ngày nay ñã xuất hiện những hệ thống dẫn hướng tổng hợp ñược tạo ra từ
nhiều hệ thống khác nhau. Các hệ thống con trong một hệ thống tổng hợp sẽ bổ
xung thông tin cho nhau, qua ñó có ñược thông tin ñịnh hướng cho robot một cách
chính xác nhất có thể. Các hệ thống tổng hợp thường có chi phí lớn hơn nhưng có
ñộ chính xác cao hơn các hệ thống ñơn lẻ.

Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh 14


Hình 0.4 : Một ñường ñi ñược tính toán
1.3.1. Tầm quan trọng của hệ thống dẫn ñường cho robot cứu hộ:
Hệ thống dẫn ñường rất quan trọng ñối với một robot cứu hộ. Nó giúp robot di
chuyển nhanh hơn ñến mục tiêu với những nguy cơ tối thiểu.
Vấn ñề cứu hộ là vấn ñề sống còn. Trong khi các nhân viên cứu hộ ñang tính
ñường ñi ñến nơi nạn nhân mắc kẹt thì mạng sống của nạn nhân ñang bị ñe dọa.
Như vậy, thời gian cứu hộ sẽ ảnh hưởng trực tiếp ñến khả năng sống sót của các nạn
nhân.

Đối với một robot cứu hộ, việc dẫn ñường tốt sẽ dẫn ñến khả năng tiếp cận
nạn nhân nhanh chóng. Nếu robot bị lạc ñường nhiều, thời gian tiếp cận nạn nhân sẽ
dài thêm, ảnh hưởng ñến tính mạng của nạn nhân. Robot tìm ñường tốt sẽ giúp việc
cứu hộ gặp thuận lợi.
Việc dẫn ñường tốt cũng góp phần làm giảm thiệt hại cho robot, ñội cứu hộ và
cho nạn nhân. Trong thiên tai, thảm họa, việc gặp phải những môi trường nguy
hiểm cục bộ là khó tránh khỏi. Những nơi ñó có thể là nơi nhiệt ñộ quá cao, nhiễm
phóng xạ hoặc ñộc hại… Đặc biệt trong tình hình robot ñang mang những nạn nhân
ñi kèm thì thiệt hại sẽ lớn hơn khi di chuyển nhầm vào khu vực nguy hiểm. Chính
vì thế, việc dẫn ñường ñể tránh nguy hiểm là rất cần thiết cho robot cứu hộ.
Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh 15

1.3.2. Các hệ thống dẫn ñường thường gặp
Hệ thống dẫn ñường có rất nhiều thể loại, nhưng chúng ñều thực hiện theo một
trong ba nguyên tắc sau:
• Dẫn ñường toàn cục: Là khả năng nhận biết vị trí của ñối tượng thông qua
một bản ñồ quy chiếu, sau ñó ñối tượng tìm ñường ñến mục tiêu của nó.
• Dẫn ñường cục bộ: Là khả năng xác ñịnh vị trí của các ñối tượng bên
ngoài môi trường liên quan ñến ñối tượng chủ thể ñể thực hiện tương tác
chính xác.
• Dẫn ñường riêng: Là khả năng xác ñịnh vị trí của các bộ phận cấu thành
nên robot nhằm khiến cho việc tương tác với các ñối tượng ngoài tốt hơn.
3 nguyên tắc dẫn ñường trên có thể ñược ứng dụng một cách ñộc lập riêng
phần hoặc sử dụng kết hợp với nhau ñể bổ xung thông tin cho nhau. Đối với mỗi
một nguyên tắc ñều có những ưu nhược ñiểm nhất ñịnh.
1.4. Hệ thống thị giác
1.4.1. Thị giác máy tính
Thị giác máy tính là các công nghệ lõi của phân tích hình ảnh và ñược sử dụng
trong nhiều lĩnh vực bao gồm robot cứu hộ. Thị giác máy tính không ñơn giản là

những cỗ máy thu thập thông tin hình ảnh giống những cảm biến thông thường, nó
là công nghệ xử lý và lấy thông tin từ các hình ảnh. Lĩnh vực này bao gồm các
phương pháp thu thập, xử lý, phân tích và sự nhận biết hình ảnh. Thông tin xuất ra
từ ñây có thể biểu diễn ở dạng số, biểu tượng…
Một trong những ứng dụng của thị giác máy tính là dẫn ñường cục bộ. Hệ
thống thị giác máy tính sẽ ñưa ra các thông tin hỗ trợ robot tìm ñường hoặc tương
tác với thế giới ngoài. Các thông tin mà hệ thống cung cấp cho robot có thể là thông
tin về bối cảnh 3D, về ñối tượng cụ thể, về chướng ngại vật…
Nghiên cứu phương pháp tính toán ñộ sâu ảnh stereo ứng dụng trong rô bốt di ñộng
Bạch Ngọc Minh 16

1.4.2. Hệ thống dẫn ñường cho robot cứu hộ sử dụng thị giác máy tính
Hệ thống stereo thị giác là hệ thống dùng ñể quan sát môi trường bằng hai
camera thị giác. Bản thân thuật ngữ “stereo” có nguồn gốc từ tiếng Latin có nghĩa là
rắn, chắc chắn. Vậy ta hiểu vấn ñề là ñể thu thập thông tin từ môi trường một cách
chính xác, ñầy ñủ thì hệ thống quan sát cần phải có nhiều camera ñặt ở các góc ñộ
khác nhau. Hệ thống camera thị giác stereo thường ñặt hai camera theo phương nằm
ngang giống như mắt người và mắt của hầu hết các ñộng vật. Các ñối tượng trong
phạm vi quan sát ñược phản chiếu hình ảnh qua thấu kính của mỗi camera lên màn
chắn. Hệ thống thu ñược dữ liệu này gọi là cảnh. Tất nhiên mỗi cảnh gồm có hai
ảnh, tương ứng camera bên trái thì cho ảnh trái và camera bên phải thì cho ảnh phải.
Lúc này các ñối tượng trong cảnh lại ñược hiện thị trong không gian hai chiều. Vấn
ñề là nhờ có quá trình và phương pháp xử lý thích hợp của hệ thống stereo thị giác
này mà các ñối tượng trong môi trường ñược tái tạo trong một phối cảnh không gian
ba chiều. Quá trình này gọi là chuyển ñổi ngược phối cảnh. Quá trình này diễn ra
càng nhanh và chính xác thì càng thuận lợi cho sự di chuyển tới ñích, nhận dạng ñối
tượng… của hệ thống. Đối với bộ óc của con người thì vấn ñề chuyển ñổi phối cảnh
ngược không có gì khó khăn. Tuy nhiên ñối với các máy tính thị giác thì cần phải
giải quyết nhiều vấn ñề phức tạp nhằm ñạt ñược mục ñích khai thác tối ña thông tin
nằm trong cảnh thu nhận ñược.

Hệ thống dẫn ñường sử dụng thị giác máy tính vẫn còn là một lĩnh vực mới
mẻ ở Việt Nam và vẫn ñang trong giai ñoạn phát triển trên thế giới. Áp dụng kỹ
thuật này cho robot, chi phí tính toán sẽ lớn nhưng ñổi lại có ñược nhiều thông tin
từ một hệ thống ñầu vào duy nhất.
Hệ thống dẫn ñường cho robot có quy trình làm việc như 1-5: