Luận án tiến sĩ nghiên cứu và phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

NGUYỄN QUỐC HÙNG

NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT
ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG
TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ

LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

Hà Nội − 2016


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

NGUYỄN QUỐC HÙNG

NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT
ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG
TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ

Chuyên ngành: Khoa học Máy tính
Mã số chuyên ngành: 62480101

LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC:
1. TS. Trần Thị Thanh Hải
2. PGS.TS. Nguyễn Quang Hoan

Hà Nội −2016


LỜI CAM ĐOAN
Tôi xin cam đoan luận án: “Nghiên cứu phát triển một số kỹ thuật định vị dựa
trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị” là công trình nghiên
cứu của riêng tôi.
Một phần các số liệu, kết quả trình bày trong luận án là trung thực, đã được công
bố trên các tạp chí khoa học chuyên ngành, kỷ yếu hội nghị khoa học trong nước và
quốc tế.
Phần còn lại của luận án chưa được công bố trong bất kỳ công trình nghiên cứu
trong và ngoài nước.
Hà Nội, ngày 20 tháng 7 năm 2016
NGHIÊN CỨU SINH

Nguyễn Quốc Hùng

TẬP THỂ HƯỚNG DẪN KHOA HỌC

TS. Trần Thị Thanh Hải

PGS.TS. Nguyễn Quang Hoan

i


LỜI CẢM ƠN
Luận án tiến sĩ được thực hiện tại Viện Nghiên cứu Quốc tế MICA, trường Đại
học Bách khoa Hà Nội dưới sự hướng dẫn khoa học của TS. Trần Thị Thanh Hải và

PGS.TS. Nguyễn Quang Hoan. Nghiên cứu sinh xin bày tỏ lòng biết ơn sâu sắc tới các
thầy, cô về định hướng khoa học trong suốt quá trình nghiên cứu. Nghiên cứu sinh xin
được trân trọng cảm ơn các nhà khoa học, tác giả các công trình công bố đã được trích
dẫn và cung cấp nguồn tư liệu quý báu trong quá trình hoàn thành luận án.
Nghiên cứu sinh xin trân trọng cảm ơn Viện Nghiên cứu Quốc tế đa phương tiện
MICA; Viện Đào tạo sau Đại học Trường Đại học Bách Khoa Hà Nội; GS.TS. Phạm Thị
Ngọc Yến; GS.TS. Eric Castelli; đề tài KHCN tiềm năng mã số: KC.01.TN19/11-15,
đề tài VLIR mã số: ZEIN2012RIP19; đề tài hợp tác Việt - Bỉ mã số: FWO.102.2013.08;
Quỹ phát triển KH&CN quốc gia Việt Nam; Trường THCS Nguyễn Đình Chiểu Hà
Nội; nhóm nghiên cứu IPI Đại học GENT Vương quốc Bỉ...đã tạo điều kiện thuận lợi
về thời gian, địa điểm thực tập, trang thiết bị, hỗ trợ về mặt nhân lực để NCS thực
hiện việc thu thập dữ liệu, thực nghiệm các kết quả nghiên cứu.
Cuối cùng nghiên cứu sinh xin bày tỏ sự biết ơn tới Ban giám hiệu Trường Cao
đẳng Y tế Thái Nguyên; gia đình và đồng nghiệp đã động viên khích lệ, tạo mọi điều
kiện thuận lợi để NCS yên tâm công tác và học tập.
Hà Nội, ngày 20 tháng 7 năm 2016
NGHIÊN CỨU SINH

Nguyễn Quốc Hùng

ii


MỤC LỤC
LỜI CAM ĐOAN

i

LỜI CẢM ƠN

ii

MỤC LỤC

vi

DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

vii

DANH MỤC CÁC BẢNG

ix

DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ

xv

MỞ ĐẦU

1

1 TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP NGƯỜI KHIẾM THỊ
1.1 Đặt vấn đề . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Các nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . . . . . .

4
4
4

1.2.1

Các nghiên cứu trên thế giới . . . . . . . . . . . . . . . . . . . .
1.2.1.1 Siêu âm . . . . . . . . . . . . . . . . . . . . . . . . . .

4
5

1.2.1.2
1.2.1.3
1.2.1.4

Hồng ngoại . . . . . . . . . . . . . . . . . . . . . . . .
Laser . . . . . . . . . . . . . . . . . . . . . . . . . . .
Camera . . . . . . . . . . . . . . . . . . . . . . . . . .

7
7
7

1.2.1.5 Đa cảm biến . . . . . . . . . . . . . . . . . . . . . . .
Các nghiên cứu trong nước . . . . . . . . . . . . . . . . . . . . .

9
10

1.2.3 Thảo luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3 Mục tiêu nghiên cứu và phương pháp đề xuất . . . . . . . . . . . . . .
1.3.1 Mục tiêu và phạm vi nghiên cứu . . . . . . . . . . . . . . . . . .

11
12
12

1.3.2 Phương pháp đề xuất . . . . . . . . . . . . . . . . . . . . . . . .
1.4 Kết luận chương 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12
13

2 BIỂU DIỄN MÔI TRƯỜNG VÀ ĐỊNH VỊ
2.1 Giới thiệu chung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14
14

2.2 Những nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . . . .
2.2.1 Hướng tiếp cận sử dụng bản đồ số liệu . . . . . . . . . . . . . .

15
15

1.2.2

2.2.2
2.2.3
2.2.4

Hướng tiếp cận sử dụng bản đồ topo . . . . . . . . . . . . . . .
Hướng tiếp cận lai . . . . . . . . . . . . . . . . . . . . . . . . .

Thảo luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

iii

17
19
21


2.3 Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường . . . . . . .

22

2.4 Phương pháp xây dựng bản đồ môi trường . . . . . . . . . . . . . . . .
2.4.1 Xây dựng bản đồ số liệu . . . . . . . . . . . . . . . . . . . . . .
2.4.1.1 Phương pháp đo hành trình bằng hình ảnh sử dụng mô

23
23

hình không chắc chắn . . . . . . . . . . . . . . . . . .
Thích nghi VO cho môi trường trong nhà . . . . . . .

24
27

2.4.1.2
2.4.2

Xây dựng bản đồ topo . . . . . . . . . . . . . . . . . . . . . . . 29

2.4.2.1 Giải thuật FAB-MAP . . . . . . . . . . . . . . . . . . 30
2.4.2.2 Thích nghi và cải thiện FAB-MAP xây dựng bản đồ topo 39

2.4.3 Bổ sung thông tin đối tượng vật cản tĩnh trên bản đồ . . . . . .
2.5 Phương pháp định vị . . . . . . . . . . . . . . . . . . . . . . . . . . . .

44
44

2.6 Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.6.1 Môi trường đánh giá . . . . . . . . . . . . . . . . . . . . . . . .
2.6.2 Thu thập dữ liệu đánh giá . . . . . . . . . . . . . . . . . . . . .

45
45
46

2.6.2.1 Hệ thống thu thập dữ liệu . . . . . . . . . . . . . . . .
2.6.2.2 Thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . .
Kết quả đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . .

46
47
48

2.6.3.1
2.6.3.2

Đánh giá phương pháp xây dựng bản đồ số liệu . . . .
Đánh giá phương pháp định vị hình ảnh . . . . . . . .

48
53

2.7 Kết luận chương 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

59

3 PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN
3.1 Định nghĩa bài toán và các thách thức . . . . . . . . . . . . . . . . . .
3.2 Những nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . . . .

60
60
61

2.6.3

3.2.1

Các phương pháp sử dụng 01 camera . . . . . . . . . . . . . . .
3.2.1.1 Hướng nghiên cứu sử dụng stereo camera . . . . . . .

61
62

3.2.1.2 Hướng nghiên cứu sử dụng cảm biến Kinect . . . . . .
3.2.1.3 Phân tích và đánh giá các phương pháp . . . . . . . .
3.3 Đề xuất phương pháp phát hiện và ước lượng khoảng cách . . . . . . .

64
65
66

3.4 Phát hiện vật cản . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.4.1 Phát hiện vật cản cố định . . . . . . . . . . . . . . . . . . . . .

67
67

3.4.1.1
3.4.1.2
3.4.1.3

Đối sánh các điểm đặc trưng . . . . . . . . . . . . . .
Phát hiện vật cản từ kết quả đối sánh . . . . . . . . .
Xác định vùng chứa đối tượng . . . . . . . . . . . . . .

68
71
74

Phát hiện vật cản động . . . . . . . . . . . . . . . . . . . . . . .
3.4.2.1 Trích chọn đặc trưng HoG . . . . . . . . . . . . . . . .
3.4.2.2 Bộ phân loại SVM . . . . . . . . . . . . . . . . . . . .

75
75
76

3.5 Uớc lượng khoảng cách vật cản . . . . . . . . . . . . . . . . . . . . . .
3.5.1 Nguyên lý ước lượng khoảng cách . . . . . . . . . . . . . . . . .

77
77

3.4.2

iv


3.5.2

Xây dựng bản đồ chênh lệch . . . . . . . . . . . . . . . . . . . .

79

3.5.2.1
3.5.2.2
3.5.2.3

Thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . .
Hiệu chỉnh hình ảnh . . . . . . . . . . . . . . . . . . .
Đối sánh hình ảnh . . . . . . . . . . . . . . . . . . . .

80
80
84

3.5.2.4 Tính toán độ sâu . . . . . . . . . . . . . . . . . . . . .

3.6 Kết quả đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

86
88

3.6.1
3.6.2
3.6.3

Xây dựng cơ sở dữ liệu vật cản . . . . . . . . . . . . . . . . . .
Đánh giá giải thuật phát hiện đối tượng . . . . . . . . . . . . .
Đánh giá giải thuật ước lượng khoảng cách vật cản . . . . . . .

88
90
93

3.7 Kết luận chương 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

98

4 PHÁT TRIỂN VÀ THỬ NGHIỆM HỆ THỐNG DẪN ĐƯỜNG
4.1 Hệ thống tích hợp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.1.1 Tích hợp phần cứng . . . . . . . . . . . . . . . . . . . . . . . .

99
99
99

4.1.2 Kiến trúc tổng thể . . . . . . . . . . . . . . . . . . . . . . . . . 101

4.2 Phát triển hệ thống dẫn đường sử dụng robot . . . . . . . . . . . . . . 102
4.2.1
4.2.2

Tìm đường cho robot . . . . . . . . . . . . . . . . . . . . . . . . 102
Điều khiển robot . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.2.2.1 Điều khiển trực tiếp dựa trên đường đi xác định . . . . 103
4.2.2.2

Điều khiển theo dự báo và hiệu chỉnh vị trí của bộ lọc
Kalman . . . . . . . . . . . . . . . . . . . . . . . . . . 105

4.2.3 Tương tác người-robot . . . . . . . . . . . . . . . . . . . . . . . 111
4.3 Thử nghiệm và đánh giá hệ thống dẫn đường . . . . . . . . . . . . . . 112
4.3.1 Môi trường và quy trình thử nghiệm . . . . . . . . . . . . . . . 112
4.3.1.1
4.3.1.2
4.3.2

Môi trường thử nghiệm . . . . . . . . . . . . . . . . . 112
Quy trình thử nghiệm . . . . . . . . . . . . . . . . . . 115

Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . 116
4.3.2.1 Đánh giá khả năng xác định vị trí xuất phát của robot 116
4.3.2.2 Đánh giá khả năng điều khiển robot . . . . . . . . . . 117
4.3.2.3
4.3.2.4

Đánh giá khả năng tương tác người-robot . . . . . . . 119
Đánh giá hệ thống dẫn đường trợ giúp NKT bằng robot 121

4.3.3 Bàn luận hệ thống robot dẫn đường . . . . . . . . . . . . . . . . 130
4.4 Kết luận chương 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

133

TÀI LIỆU THAM KHẢO

136

DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN

148

PHỤ LỤC

151
v


A MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG

151

A.1 Đặc trưng Harris Corner . . . . . . . . . . . . . . . . . . . . . . . . . . 151
A.2 Đặc trưng SIFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
A.3 Đặc trưng SURF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
A.4 Đặc trưng GIST . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
A.5 Đặc trưng HoG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165

A.6 Đặc trưng Haar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
B ĐÁNH GIÁ HIỆU NĂNG NHẬN DẠNG TRÊN MỘT SỐ CSDL 173
B.1 Giới thiệu 3 CSDL thử nghiệm . . . . . . . . . . . . . . . . . . . . . . 173
B.2 Khung nhận dạng đối tượng tổng quát . . . . . . . . . . . . . . . . . . 177
B.3 Độ đo đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
B.4 Kết quả đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
C THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU

188

C.1 Xe camera thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . 188
C.2 Hiệu chỉnh camera góc rộng . . . . . . . . . . . . . . . . . . . . . . . . 191
C.3 Robot PC-Bot914 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193

vi


DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
TT
1
2
3
4
5
6
7
8
9
10
11

12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

Viết tắt
AM
AP

BOW
CSDL
ED
FAB-MAP
FLANN
FN
FP
GPS
HOG
HSI
KF
KH&CN
k-NN
LASER
LATS
LIDAR
MICA
MUT
NCS
NĐC
NKT
PUT
RANSAC
RFID
RGB
RMSE
SAD
SIFT
SLAM
SURF

SVM
TP
TQB
VO
WIFI

Nghĩa đầy đủ (tiếng Việt/tiếng Anh)
Appearance based Mapping
Average Precision
Bag of Words
Cơ sở dữ liệu
Euclidean Distance
Fast Appearance Based Mapping
Fast Library for Approximate Nearest Neighbors
False Negative
False Positive
Global Positioning System
Histogram of Oriented Gradients
Hue Saturation and Intensity
Kalman Filter
Khoa học và Công nghệ
K-Nearest Neighbors
Light Amplification by Stimulated Emission of Radiation
Luận án tiến sĩ
Light Detection And Ranging
Multimedia, Information, Communication & Applications
Motion Uncertainty Tetragon
Nghiên cứu sinh
Nguyễn Đình Chiểu
Người khiếm thị

Perspective Uncertainty Tetragons
RANdom SAmple Consensus
Radio Frequency Identification
Red Green and Blue
Root Mean Square Error
Sum of Absolute Differences
Scale Invariant Feature Transforms
Simultaneous Localization and Mapping
Speeded Up Robust Features
Support Vector Machine
True Positive
Tạ Quang Bửu
Visual Odometry
Wireless Fidelity
vii


DANH MỤC CÁC BẢNG
Bảng 2.1

Bảng tổng hợp thông tin về 03 môi trường thử nghiệm . . . . . .

46

Bảng 2.2 Tốc độ lấy mẫu (fps) của các camera tại các môi trường thử nghiệm 47
Bảng 2.3

Dữ liệu thu thập tại E1:NĐC . . . . . . . . . . . . . . . . . . . .

47

Bảng 2.4

Dữ liệu thu thập tại E2:TQB . . . . . . . . . . . . . . . . . . . .

47

Bảng 2.5

Dữ liệu thu thập tại E3:MICA . . . . . . . . . . . . . . . . . . .

47

Bảng 2.6

Kết quả đánh giá RMSE tại E1:NĐC . . . . . . . . . . . . . . . .

48

Bảng 2.7

Kết quả đánh giá độ sai số tiêu chuẩn RMSE tại E2:TQB . . . .

50

Bảng 2.8

Kết quả đánh giá độ sai số tiêu chuẩn RMSE tại E3:MICA . . . .

52

Bảng 2.9

So sánh khả năng định vị của giải thuật FAB-MAP* tại E1:NĐC

54

Bảng 2.10 Kết quả đánh giá so sánh giải thuật định vị FAB-MAP* tại E2:TQB 56
Bảng 2.11 Kết quả đánh giá so sánh giải thuật định vị FAB-MAP* tại E3:MICA 57
Bảng 3.1

Kết quả thu nhận dữ liệu khung cảnh/đường đi phục vụ đánh giá

88

Bảng 3.2 Thu thập dữ liệu đánh giá phát hiện và ước lượng khoảng cách
vật cản . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

90

Bảng 3.3

Kết quả phát hiện đối tượng theo phương pháp đề xuất . . . . .

91

Bảng 3.4

Kết quả phát đánh giá so sánh với phương pháp Haar-AdaBoost

91

Bảng 3.5

Kết quả dự đoán độ sai số ước lượng khoảng cách vật cản . . . .

93

Bảng 4.1

Danh sách tham gia thử nghiệm dẫn đường tại E1:NĐC . . . . . 112

Bảng 4.2

Danh sách tham gia đánh giá hệ thống dẫn đường tại E2:TQB

Bảng 4.3

Danh sách tham gia đánh giá hệ thống dẫn đường tại E3:MICA . 114

Bảng 4.4

Kết quả đánh giá điểm xuất phát của robot . . . . . . . . . . . . 117

Bảng 4.5

Kết quả đánh giá vai trò lọc Kalman trong điều khiển robot . . . 118

Bảng 4.6

Kết quả sai số định vị sử dụng sai số trung vị . . . . . . . . . . . 118
viii

. 113


Bảng 4.7

Kết quả sai số định vị sử dụng sai số trung bình . . . . . . . . . . 119

Bảng 4.8

Bảng câu hỏi phỏng vấn trước và sau khi sử dụng hệ thống . . . 119

Bảng 4.9

Tổng hợp kết quả tần số rung (Hz) phản hồi thông tin môi trường 121

Bảng 4.10 Kết quả đánh giá độ sai số RMSE khi robot chuyển động tịnh tiến 122
Bảng 4.11 Kết quả đánh giá hiệu năng robot dẫn đường chuyển động tịnh tiến122
Bảng 4.12 Kết quả đánh giá robot dẫn đường chuyển động tịnh tiến

. . . . 123

Bảng 4.13 Kết quả đánh giá độ sai số RMSE với kịch bản robot chuyển động
tịnh tiến và quay tại E1:NĐC . . . . . . . . . . . . . . . . . . . . . . . 123
Bảng 4.14 Kết quả robot dẫn đường chuyển động quay và tịnh tiến tại E1:NĐC124
Bảng 4.15 Đánh giá các lần thử nghiệm hệ thống dẫn đường tại E1:NĐC . . 125
Bảng 4.16 Kết quả sai số RMSE robot phát hiện vật cản xuất hiện bất ngờ
tại E1:NĐC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

Bảng 4.17 Kết quả đánh giá hiệu năng dẫn đường robot phát hiện vật cản . 126
Bảng 4.18 Kết quả đánh giá robot dẫn đường chuyển động quay và tịnh tiến 127
Bảng 4.19 Kết quả đánh giá độ sai số RMSE tại E2:TQB . . . . . . . . . . 127
Bảng 4.20 Kết quả đánh giá hiệu năng dẫn đường robot tại E2:TQB . . . . 128
Bảng 4.21 Tổng hợp kết quả robot dẫn đường tại E2:TQB . . . . . . . . . . 129
Bảng 4.22 Kết quả đánh giá độ sai số RMSE tại E3:MICA . . . . . . . . . . 129
Bảng 4.23 Kết quả đánh giá hiệu năng dẫn đường của robot tại E3:MICA . 129
Bảng 4.24 Tổng hợp kết quả robot dẫn đường tại E3:MICA . . . . . . . . . 130
Bảng 4.25 Bảng tổng hợp thông số kỹ thuật . . . . . . . . . . . . . . . . . . 131
Bảng B.1 Quy định thang tính điểm phần thi nhận dạng RobotVision2013

182

Bảng B.2 Kết quả nhận dạng tượng CSDL Naiscorp 2012 . . . . . . . . . . 183
Bảng B.3 Kết quả điểm nhận dạng đối tượng CSDL Robot Vision 2013 . . 185

ix


DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ
Hình 1.1 Các thành phần chính của hệ thống đề xuất Robot trợ giúp NKT

13

Hình 2.1 Mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa .

22

Hình 2.2 Minh họa di chuyển của robot với vận tốc v và góc lái α . . . . .

24

Hình 2.3 Các bước giải thuật đo hành trình bằng thông tin hình ảnh VO .

25

Hình 2.4 Một số trường hợp lỗi tích lũy khi xây dựng bản đồ . . . . . . . .

26

Hình 2.5 Một số cấu trúc mặt nền thử nghiệm thuật toán VO . . . . . . .

27

Hình 2.6 Tạo các điểm đánh dấu dọc hành trình . . . . . . . . . . . . . . .

28

Hình 2.7 Minh họa số điểm đặc trưng phát hiện trên mặt sàn . . . . . . . .

28

Hình 2.8 Minh họa phương pháp thử nghiệm khi tạo các mẫu đánh dấu . .

29

Hình 2.9 Các bước của giải thuật FAB-MAP [29]

. . . . . . . . . . . . . .

30

Hình 2.10 Xây dựng từ điển và biểu diễn quan sát theo mô hình túi từ . . .

32

Hình 2.11 Một số những thách thức khi nhận dạng vị trí trong môi trường .

33

Hình 2.12 Cây nhị phân Chow liu theo hướng đồ thị có hướng . . . . . . . .

34

Hình 2.13 Biểu diễn các quan sát cùng xuất hiện tại một thời điểm . . . . .

34

Hình 2.14 Biểu diễn vị trí Li thành phần quan sát eq và quan sát có nhiễu zq

35

Hình 2.15 Xác định khung cảnh phân biệt: (a) Chuỗi hình ảnh khung cảnh;
(b) Khung cảnh đại diện . . . . . . . . . . . . . . . . . . . . . . . . . .

40

Hình 2.16 Xác định các khung cảnh có cấu trúc giống nhau . . . . . . . . .

41

Hình 2.17 Minh họa các bước trích chọn đặc trưng GIST . . . . . . . . . . .

42

Hình 2.18 Minh họa kết quả loại bỏ khung cảnh có cấu trúc giống nhau

. .

42

Hình 2.19 Minh họa các bước thực hiện giải thuật FAB-MAP* . . . . . . . .

43

Hình 2.20 Minh họa bước thực hiện cập nhật điểm mốc quan trọng . . . . .

44

Hình 2.21 Mô hình định vị sử dụng thông tin hình ảnh sử dụng robot . . . .

45

x


Hình 2.22 Hệ thống thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . . .

46

Hình 2.23 Biểu đồ so sánh RMSE giữa VO và VO* tại E1:NĐC . . . . . . .

49

Hình 2.24 Minh họa giá trị ngưỡng θV O quyết định số điểm đặc trưng . . . .

49

Hình 2.25 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E1:NĐC . . . .

50

Hình 2.26 Biểu đồ so sánh RMSE giữa VO và VO* tại E2:TQB . . . . . . .

51

Hình 2.27 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E2:TQB . . . .

51

Hình 2.28 Biểu đồ so sánh sai số RMSE giữa VO và VO* tại E3:MICA . . .

52

Hình 2.29 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E3:MICA . . .

53

Hình 2.30 Biểu đồ so sánh giải thuật định vị FAB-MAP* tại E1:NĐC . . . .

55

Hình 2.31 Minh họa kết quả định vị FAB-MAP* tại E1:NĐC . . . . . . . .

55

Hình 2.32 Biểu đồ so sánh giải thuật định vị FAB-MAP* tại E2:TQB . . . .

56

Hình 2.33 Minh họa kết quả định vị FAB-MAP* tại E2:TQB . . . . . . . .

57

Hình 2.34 Biểu đồ so sánh hai phương pháp định vị FAB-MAP* tại E3:MICA 58
Hình 2.35 Minh họa kết quả định vị giải thuật FAB-MAP* tại E3:MICA . .

58

Hình 3.1 Định nghĩa bài toán phát hiện và ước lượng khoảng cách . . . . .

61

Hình 3.2 Mô hình phát hiện và ước lượng khoảng cách vật cản . . . . . . .

66

Hình 3.3 Sơ đồ các bước thực hiện phát hiện vật cản cố định . . . . . . . .

68

Hình 3.4 Kết quả trích chọn đặc trưng SIFT . . . . . . . . . . . . . . . . .

69

Hình 3.5 Minh họa giải thuật đối sánh các điểm đặc trưng . . . . . . . . .

70

Hình 3.6 Kết quả đối sánh các điểm đặc trưng phát hiện . . . . . . . . . .

70

Hình 3.7 Kết quả loại bỏ một số cặp điểm đối sánh (matching) yếu . . . .

71

Hình 3.8 Lưu đồ giải thuật tính ma trận H . . . . . . . . . . . . . . . . . .

72

Hình 3.9 Minh họa kết quả xác định vùng chứa đối tượng . . . . . . . . . .

74

Hình 3.10 Sơ đồ các bước phát hiện người sử dụng HoG-SVM . . . . . . . .

75

Hình 3.11 Mô hình ước lượng khoảng cách vật cản từ hai quan sát . . . . .

77

Hình 3.12 Hình ảnh của đối tượng (cây) quan sát từ hai góc thu nhận . . .

78

xi


Hình 3.13 Sơ đồ các bước tính bản đồ chênh lệch và ước lượng khoảng cách

80

Hình 3.14 Minh họa hai quan sát khi camera chuyển động . . . . . . . . . .

81

Hình 3.15 Kết quả tìm đường eplipolar trên mô hình camera chuyển động .

82

Hình 3.16 Minh họa hiệu chỉnh hình ảnh trên cùng mặt phẳng ngang . . . .

82

Hình 3.17 Kết quả hiệu chỉnh hình ảnh . . . . . . . . . . . . . . . . . . . . .

84

Hình 3.18 Dò tìm khối dữ liệu trên hai ảnh được hiệu chỉnh . . . . . . . . .

85

Hình 3.19 Kết quả đối sánh ảnh sử dụng giải thuật SAD . . . . . . . . . . .

85

Hình 3.20 Minh họa phương pháp tính bản độ chênh lệch . . . . . . . . . .

86

Hình 3.21 Kết quả phát hiện & ước lượng khoảng cách vật cản trên ảnh độ sâu 87
Hình 3.22 Minh họa hình ảnh thu nhận dữ liệu tại khung hình 289 . . . . .

88

Hình 3.23 Minh họa chuẩn bị dữ liệu đánh giá phát hiện đối tượng . . . . .

89

Hình 3.24 Minh họa phương pháp đo khoảng cách vị trí vật cản trên thực địa 89
Hình 3.25 Biểu đồ đánh giá so sánh hai phương pháp phát hiện đối tượng .

92

Hình 3.26 Một số hình ảnh phát hiện đối tượng của hai phương pháp. Hình
chữ nhật màu xanh là kết quả phát hiện bằng tay, màu đỏ là kết quả
phát hiện tự động . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

92

Hình 3.27 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp Chậu hoa

94

Hình 3.28 Minh họa dự đoán khoảng cách lớp đối tượng chậu hoa . . . . . .

94

Hình 3.29 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp Bình cứu hỏa 95
Hình 3.30 Minh họa dự đoán khoảng cách lớp đối tượng bình cứu hỏa . . . .

95

Hình 3.31 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp thùng rác

96

Hình 3.32 Minh họa dự đoán khoảng cách lớp đối tượng thùng rác

. . . . .

96

Hình 3.33 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp người . . .

97

Hình 3.34 Minh họa dự đoán khoảng cách lớp đối tượng người . . . . . . . .

97

Hình 4.1 Tích hợp các thiết bị phần cứng lên robot . . . . . . . . . . . . . 100
Hình 4.2 Mô hình tổng quát của hệ thống đề xuất . . . . . . . . . . . . . . 101
Hình 4.3 Minh họa đường đi từ hai điểm biết trước trên bản đồ môi trường 103
xii


Hình 4.4 Lược đồ điều khiển robot . . . . . . . . . . . . . . . . . . . . . . 104
Hình 4.5 Các bước tính toán chính của giải thuật của lọc Kalman . . . . . 106
Hình 4.6 Minh họa các bước điều khiển sử dụng lọc Kalman . . . . . . . . 107
Hình 4.7 Lược đồ điều khiển robot sử dụng lọc Kalman . . . . . . . . . . . 109
Hình 4.8 Minh họa tương tác giữa người-robot

. . . . . . . . . . . . . . . 111

Hình 4.9 Bản đồ tầng 2 khu nội trú Trường THCS Nguyễn Đình Chiểu . . 112
Hình 4.10 Bản đồ thử nghiệm robot dẫn đường hành lang tầng 5 tại E2:TQB 113
Hình 4.11 Kịch bản thử nghiệm robot dẫn đường tại E3:MICA . . . . . . . 114
Hình 4.12 Kết quả đánh giá việc xác định vị trí xuất phát của robot . . . . 116
Hình 4.13 Vai trò của lọc Kalman trong điều khiển robot . . . . . . . . . . . 117
Hình 4.14 Một số học sinh khiếm thị tham gia đánh giá tương tác người-robot120
Hình 4.15 Thử nghiệm các tần số rung trên điện thoại di động với NKT . . 121
Hình 4.16 Một số hình ảnh robot chuyển động tịnh tiến tại E1-NĐC . . . . 122
Hình 4.17 Hình ảnh thử nghiệm robot dẫn đường gặp sự cố tại E1-NĐC . . 123
Hình 4.18 Minh họa robot chuyển động quay và tịnh tiến tại E1:NĐC . . . . 124
Hình 4.19 Một số hình ảnh robot chuyển động quay và tịnh tiến tại E1-NĐC 125
Hình 4.20 Kịch bản robot phát hiện vật cản tại E1:NĐC . . . . . . . . . . . 126
Hình 4.21 Minh họa trường hợp vật cản xuất hiện bất ngờ E1:NĐC . . . . . 127

Hình 4.22 Minh họa hình ảnh robot dẫn đường tại E2:TQB . . . . . . . . . 128
Hình 4.23 Minh họa hình ảnh robot dẫn đường tại E3:MICA . . . . . . . . . 130
Hình 4.24 Lược đồ thời gian trung bình vận hành điều khiển robot dẫn đường 131
Hình 4.25 Một số hình ảnh trong phóng sự “cuộc sống tươi” đẹp phát trên
kênh VTV4 - Đài truyền hình Việt Nam . . . . . . . . . . . . . . . . . 149
Hình A.1 Minh họa phát hiện các điểm đặc trưng Harris-Corner . . . . . . 151
Hình A.2 Một số trường hợp phát hiện đặc trưng Harris-Corner . . . . . . . 152
Hình A.3 Một số trường hợp phát hiện đặc trưng Harris-Corner . . . . . . . 152

xiii


Hình A.4 Minh họa đặc trưng biểu diễn các điểm đặc biệt trong ảnh . . . . 154
Hình A.5 Mô tả tạo bộ mô tả các điểm đặc trưng (nguồn [87]) . . . . . . . 157
Hình A.6 Minh họa đặc trưng SURF biểu diễn các điểm đặc biệt trong ảnh

158

Hình A.7 Minh họa xấp xỉ đạo hàm cấp 2 hàm Gaussian [5] . . . . . . . . . 158
Hình A.8 Minh họa giảm không gian không gian trong biểu diễn đặc trưng

159

Hình A.9 Minh họa các điểm quan tâm được phát hiện quanh tâm . . . . . 160
Hình A.10 Phép lọc Haar wavelet: x (trái) và y hướng (phải). Vùng đen trọng
số -1 và vùng trắng trọng số +1 . . . . . . . . . . . . . . . . . . . . . . 161
Hình A.11 Gán hướng: một cửa sổ kích thước

π
3

. . . . . . . . . . . . . . . . 161

Hình A.12 Xác định ô 4 × 4 hình vuông con xung quanh điểm đặc trưng . . 162
Hình A.13 Các mô tả của miền đại diện cho tính chất của mẫu . . . . . . . . 163
Hình A.14 Một số trường hợp so khớp giữa các đặc trưng . . . . . . . . . . . 163
Hình A.15 Minh họa các tính chất của khung cảnh . . . . . . . . . . . . . . 164
Hình A.16 Bộ lọc Gabor 4 tỉ lệ, 8 hướng . . . . . . . . . . . . . . . . . . . . 165
Hình A.17 Minh họa quá trình trích chọn đặc trưng HoG . . . . . . . . . . . 166
Hình A.18 Thứ tự các Histogram với các góc khác nhau (0o đến 180o) . . . . 167
Hình A.19 Hai loại hình học khối chính của đặc trưng HoG . . . . . . . . . . 168
Hình A.20 Ví dụ minh họa các bước trích chọn đặc trưng HoG . . . . . . . . 169
Hình A.21 Tính góc và biên độ theo Gradient-X và Gradient-Y . . . . . . . . 169
Hình A.22 Một số ứng dụng phát hiện đối tượng sử dụng đặc trưng Haar . . 170
Hình A.23 Các kiểu cơ bản của đặc trưng Haar . . . . . . . . . . . . . . . . 171
Hình A.24 Cách tính tổng các điểm ảnh trong một hình chữ nhật bất kì . . . 171
Hình B.1 Minh họa cơ sở dữ liệu Robot Vision 2013 . . . . . . . . . . . . . 173
Hình B.2 Minh họa 20 lớp đối tượng trong Pascal VOC . . . . . . . . . . . 174
Hình B.3 Những khó khăn thách thưc trên 3 CSDL đề xuất . . . . . . . . . 175
Hình B.4 Các lớp đối tượng trong CSDL Naicorp 2012 . . . . . . . . . . . . 176

xiv


Hình B.5 Khung làm việc tổng quát phát hiện và nhận dạng đối tượng . . . 177
Hình B.6 Minh họa giải thuật Adaboost . . . . . . . . . . . . . . . . . . . . 178
Hình B.7 Mô hình phân tầng CascadeAdaboost . . . . . . . . . . . . . . . . 179
Hình B.8 Siêu phẳng tách với khoảng cách lề cực đại SVM . . . . . . . . . 180
Hình B.9 Phân tách theo siêu phẳng (w,b) trong không gian 2 chiều tập mẫu 181
Hình B.10 Minh họa các bước tính toán k-NN . . . . . . . . . . . . . . . . . 181

Hình B.11 Một số kết quả nhận dạng đúng/sai CSDL Naicorp 2012 . . . . . 184
Hình B.12 Một số kết quả nhận dạng đúng/sai CSDL RobotVision2013 . . . 184
Hình B.13 Đồ thị AP của 20 lớp đối tượng CSDL PascalVOC 2007 . . . . . 186
Hình B.14 Đồ thị AP từng lớp đối tượng CSDL PascalVOC 2007 . . . . . . 186
Hình B.15 Kết quả nhận dạng đối tượng trong CSDL Pascal VOC 2007 . . . 187
Hình B.16 Kết quả nhận dạng đối tượng trong CSDL Pascal VOC 2007 . . . 187
Hình C.1 Một số giải pháp thu thập dữ liệu từ 2 camera . . . . . . . . . . . 188
Hình C.2 Một số lỗi khi xây dựng bản đồ tại môi trường trong nhà . . . . . 189
Hình C.3 Một số lỗi khi xây dựng bản đồ tại môi trường ngoài trời . . . . . 189
Hình C.4 Thiết kế xe camera thu thập dữ liệu . . . . . . . . . . . . . . . . 190
Hình C.5 Mô hình thu nhận ảnh của camera . . . . . . . . . . . . . . . . . 191
Hình C.6 Các loại biến dạng khi thu nhận ảnh . . . . . . . . . . . . . . . . 192
Hình C.7 Quá trình hiệu chỉnh méo hình ảnh từ camera góc nhìn rộng . . . 193
Hình C.8 Các phiên bản của robot PC-Bot 914 . . . . . . . . . . . . . . . . 194
Hình C.9 Vị trí lắp các cảm biển hồng ngoại IR . . . . . . . . . . . . . . . 195
Hình C.10 Cơ cấu bánh xe điều khiển của robot PC-Bot 914 . . . . . . . . . 195

xv


MỞ ĐẦU
Tính cấp thiết, ý nghĩa khoa học của luận án
Năm 2013, theo công bố của Tổ chức Y tế thế giới (WHO) trên thế giới có khoảng
285 triệu người suy giảm thị lực, trong đó 246 triệu người có thị lực kém ở mức độ vừa
phải đến mức độ nặng và 39 triệu người mù [107]. Tại Việt Nam, theo số liệu của Viện
mắt Trung ương cung cấp, có khoảng 1.2 triệu NKT, trong đó 820.503 người không
còn khả năng nhìn thấy ánh sáng. Nếu tính cả những người bị các tật về mắt như cận
hoặc viễn thì con số này còn lớn hơn rất nhiều.
Số lượng NKT lớn, bản thân NKT gặp nhiều khó khăn trong cuộc sống cũng như
nắm bắt các cơ hội việc làm. Chính vì vậy, trợ giúp NKT là vấn đề thu hút sự quan

tâm của nhiều nhà khoa học trong thời gian gần đây. Trong số các yêu cầu trợ giúp,
trợ giúp định hướng là cần thiết và chỉ dẫn để giúp họ tránh các vật cản trên đường
đi hay đưa ra các thông báo về môi trường xung quanh.
Trên thực tế, nhiều phương pháp đã được nghiên cứu và triển khai nhằm hỗ trợ
định hướng cho NKT, như sử dụng gậy [32], chó dẫn đường [32], hay thiết bị điện tử
[14]. Mỗi phương pháp có những ưu nhược điểm riêng: gậy dẫn đường bị hạn chế phạm
vi phát hiện vật cản theo kích thước của gậy; chó dẫn đường thường có chi phí cao và
gây trở ngại về tâm sinh lý đối với người dùng; thiết bị điện tử như các điện cực đặt
trên lưỡi có thể gây tâm lý ngại ngần khi sử dụng.
Trong bối cảnh này, nghiên cứu và phát triển một hệ thống trợ giúp dẫn đường
hiệu quả và thân thiện trợ giúp NKT vẫn là chủ đề đầy thách thức, động lực để NCS
thực hiện đề tài: “Nghiên cứu phát triển một số kỹ thuật định vị dựa trên hình ảnh,
ứng dụng trợ giúp dẫn đường cho người khiếm thị”.

Mục tiêu và những thách thức
Xuất phát từ ý tưởng tạo ra một hệ thống hỗ trợ giống như một người bạn đồng
hành có khả năng giao tiếp thân thiện và hiệu quả. Luận án hướng đến phát triển một
hệ thống trợ giúp định hướng và cảnh báo vật cản cho NKT sử dụng robot di động.
Để đạt được mục tiêu này, robot cần có khả năng nhận biết và di chuyển giữa các
vị trí trong môi trường và nhận dạng được các vật cản trên đường đi. Do vậy, chúng
tôi chia các mục tiêu đạt được thành ba bài toán cụ thể:

1


1. Biểu diễn môi trường và định vị: Với mục tiêu dẫn đường cho NKT đi từ vị
trí hiện tại đến vị trí mong muốn trong môi trường, robot phải biết mình đang
ở đâu trong môi trường và đường đi đến vị trí đích như thế nào.
Để giải quyết vấn đề này, bản đồ môi trường phải được xây dựng từ trước và
robot phải có khả năng định vị từ một vị trí bất kỳ trên bản đồ. Mặc dù có nhiều

phương pháp đã được đề xuất, hướng tiếp cận tổng quát và bền vững với các yếu
tố môi trường đang là những mục tiêu mà các nhà khoa học theo đuổi.
2. Phát hiện và ước lượng khoảng cách vật cản: Trong quá trình di chuyển,
để đảm bảo an toàn cho NKT cũng như cho sự di chuyển của robot, các vật cản
trong môi trường bao gồm vật cản tĩnh và động cần phải được phát hiện và cảnh
báo về mức độ nguy hiểm có thể gây ra.
Ngoài các thách thức chung của bài toán phát hiện đối tượng trong lĩnh vực thị
giác máy tính như điều kiện chiếu sáng thay đổi, che khuất, bóng, luận án còn
phải giải quyết với chất lượng ảnh không tốt do rung lắc của thiết bị, camera di
chuyển và ước lượng khoảng cách giữa NKT và vật cản trong thời gian thực.
3. Dẫn đường, điều khiển và tương tác người robot: Trong ngữ cảnh của bài
toán robot dẫn đường thì việc tìm đường tối ưu là một phần quan trọng, đặc biệt
với việc dẫn đường cần phải thực hiện với độ chính xác cao trong khi vẫn đảm
bảo an toàn cho NKT.
Bên cạnh đó, điều khiển robot di chuyển đúng hành trình, giảm sai số định vị là
một thách thức trong lĩnh vực điều khiển động học. Tương tác người-robot phải
thân thiện, tự nhiên và hiệu quả để NKT cảm nhận được các trạng thái hệ thống
đang hoạt động và đưa ra các phản hồi kịp thời mà không mất đi các giác quan
tự nhiên là một bài toán đòi hỏi nhiều thời gian thử nghiệm trên người dùng
khiếm thị.

Những điểm mới của luận án
Để giải quyết 03 bài toán nêu trên, chúng tôi đã đề xuất và cải tiến một số phương
pháp với những đóng góp chính sau đây:
1. Đề xuất mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa trong
đó bản đồ số liệu và bản đồ topo được tích hợp cùng với các thông tin về vật cản
tĩnh trong môi trường.
2. Nâng cao độ chính xác của giải thuật xây dựng bản đồ và định vị sử dụng hình
ảnh, vốn thường được thiết kế cho môi trường ngoài trời nhưng gặp phải các khó
khăn khi hoạt động trong môi trường trong nhà.

2


3. Đề xuất phương pháp phát hiện một số vật cản phù hợp với ngữ cảnh của bài
toán robot dẫn đường.
4. Chứng minh bằng thực nghiệm tính khả thi của giải pháp đề xuất thông qua việc
phát triển ứng dụng trợ giúp định hướng NKT sử dụng robot.

Cấu trúc của luận án
Luận án gồm 4 chương với nội dung tóm tắt như sau:
◦ Chương 1: Tổng quan về thống trợ giúp người khiếm thị giới thiệu một
số nghiên cứu trong và ngoài nước về trợ giúp định hướng NKT, phân tích ưu
nhược điểm của các phương pháp và đề xuất hệ thống “Trợ giúp dẫn đường cho
NKT di chuyển trong môi trường diện hẹp sử dung robot”.
◦ Chương 2: Biểu diễn môi trường và định vị đề xuất mô hình biểu diễn
môi trường và định vị dựa trên hình ảnh. Hai giải thuật với những cải tiến sẽ
được giới thiệu là giải thuật đo hành trình VO nhằm xây dựng bản đồ số liệu,
giải thuật xây dựng bản đồ topo và định vị FAB-MAP sử dụng hình ảnh.
◦ Chương 3: Phát hiện và ước lượng khoảng cách vật cản trình bày một
phương pháp đề xuất cho việc phát hiện vật cản dựa trên kỹ thuật đối sánh ảnh
và ước lượng khoảng cách vật cản dựa trên tính toán ảnh sai khác từ các quan
sát khác nhau trên 01 camera.
◦ Chương 4: Thử nghiệm và đánh giá hệ thống dẫn đường, trình bày hệ
thống dẫn đường hoàn chỉnh tích hợp các thiết bị phần cứng và phát triển thêm
một số chức năng khác như tìm đường, điều khiển, tương tác người robot sử dụng
các kỹ thuật cơ bản sẵn có. Phần thử nghiệm và đánh giá trên người dùng khiếm
thị 100% không nhìn thấy ánh sáng tại 03 môi trường khác nhau.

3

CHƯƠNG 1

TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP
NGƯỜI KHIẾM THỊ
1.1

Đặt vấn đề

Để nhận biết được thế giới xung quanh, con người sử dụng hệ giác quan gồm thị
giác, thính giác, khứu giác, vị giác và xúc giác. Mỗi giác quan đều có vai trò quan trọng
và hỗ trợ mật thiết cho nhau trong quá trình định hình không gian và thời gian cho
con người. Đối với người khiếm thị, khiếm khuyết thị giác làm cho họ rất khó khăn khi
hòa nhập vào xã hội. Việc cảm nhận thế giới xung quanh của họ lúc đầu thông qua
các giác quan còn lại như xúc giác (lần, sờ ), thính giác (nghe phản xạ âm thanh gần
và xa), khứu giác (ngửi ) hay vị giác (nếm) và dần dần hình thành thói quen.
Ngày nay, với sự phát triển vượt bậc của khoa học kỹ thuật, nhiều công nghệ đã
được nghiên cứu và triển khai trợ giúp NKT được hòa nhập nhiều hơn trong xã hội
trong nhiều hoạt động khác nhau. Trong khuôn khổ của luận án, chúng tôi tập trung
giải quyết bài toán trợ giúp dẫn đường cho NKT, cụ thể là dẫn NKT đi giữa hai vị
trí trong môi trường. Phần 1.2 của chương này trình bày các nghiên cứu trợ giúp dẫn
đường, dẫn hướng, tránh vật cản cho NKT. Các trợ giúp khác như đọc sách, đi chợ,
v.v nằm ngoài phạm vi nghiên cứu của luận án. Phần 1.3 trình bày hệ thống đề xuất
với các chức năng chính.

1.2

Các nghiên cứu liên quan

1.2.1

Các nghiên cứu trên thế giới

Trên thế giới, chủ đề trợ giúp NKT đã thu hút đông đảo các nhà nghiên cứu phát
triển từ những năm 70 của thế kỷ trước. Cho đến nay, nhiều công trình nghiên cứu
và sản phẩm ứng dụng đã được đưa vào thực tế. Chúng tôi chia các phương pháp này
thành 05 nhóm chính dựa trên công nghệ sử dụng để thu nhận tín hiệu môi trường
phục vụ cho việc phân tích và cảnh báo cho NKT: Siêu âm, Hồng ngoại, Laser, Camera,
Đa cảm biến.

4


1.2.1.1 Siêu âm
Các phương pháp trợ giúp NKT sử dụng công nghệ siêu âm dựa trên nguyên lý
phản xạ của sóng siêu âm để đo khoảng cách từ nguồn phát sóng đến vật cản, các
nghiên cứu được phát triển trong thời gian dài của thập kỷ trước.
Nghiên cứu đầu tiên của Kay 1974 đề xuất kính siêu âm SonicGuide [72] dựa trên
ý tưởng định vị không gian sóng phản xạ của loài dơi. Với thiết kế đến dưới hình thức
của một cặp gọng kính trên đó có gắn cảm biến siêu âm và bộ thu tín hiệu. Cảm biết
siêu âm phát ra chùm tia siêu âm một góc hình nón (α = 5500 ). Bộ thu tín hiệu có
nhiệm vụ chuyển đổi tín hiệu phản xạ từ các đối tượng thành tín hiệu âm thanh phát
ra bên tai trái và phải người đeo kính. Sự chênh lệch biên độ từ nguồn âm thanh ở hai
tai cho phép NKT xác định hướng của tiếng vọng phản xạ của đối tượng. Kích thước
của một đối tượng được mã hóa bởi tiếng vang tỉ lệ nghịch với tần số của nguồn âm
thanh. Vùng âm thấp thể hiện đối tượng ở gần. Các tín hiệu từ hai nguồn thu nhận
được chuyển tới mỗi tai một cách độc lập. Sự khác biệt biên độ dao động âm cho phép
phân biệt hướng của vật cản. Kính siêu âm SonicGuide có thể hoạt động độc lập hoặc
có thể dùng như một thiết bị thứ cấp, kết hợp với một thiết bị cầm tay khác như gậy
hoặc chó dẫn đường để tăng hiệu quả dẫn đường cho NKT.

Leslie Kay 1984 đề xuất thiết bị tên Sonic torch [71] có khả năng hỗ trợ di chuyển
cho NKT thiết bị này có thiết kế nhỏ gọn dạng cầm tay giống như một chiếc đèn pin
bao gồm 2 phần, phần thứ nhất là các cảm biến siêu âm phát ta chùm sóng siêu âm
hướng phía trước và nhận được chùm tia phản xạ từ vật cản gần nhất, phần thứ hai
là hệ thống truyền âm thanh tới tai NKT.
Pressey 1977 đề xuất thiết bị cầm tay Mowat sensor [113] cho phép xác định vật
cản cầm tay. Thiết bị này có thiết kế nhỏ gọn, có thể bỏ túi khi không sử dụng. Thiết
bị này phát hiện vật cản phía trước bằng cách gửi một chùm sóng siêu âm tần số ngắn
và nhận được chùm tia phản xạ. Nếu có vật cản phía trước, hệ thống sẽ phát ra một
âm báo và rung lắc cho biết phía trước có vật cản. Phạm vị mà thiết bị phát hiện
được vật cản là 4m. Chùm tia phát ra hình elip với góc phương vị là (β = 1500) và
góc ngẩng (α = 3000). Tần số rung của thiết bị tỷ lệ với khoảng cách tới vật cản. Một
rung động ở tần số 4hz tương ứng với khoảng cách tới vật cản là 4m ngược lại nếu ở
khoảng cách 1m thì tín hiệu rung lắc có tần số f = 40hz. Về ưu điểm, thiết bị này sản
xuất với chi phí thấp, thuận tiện cho người dùng khi di chuyển để xác định vật cản
phía trước. Tuy nhiên, để sử dụng thiết bị một cách hữu thì cần thêm một chiếc gậy
thông thường trong một số tình huống di chuyển trong nhà hoặc người trời với phạm
vi nhỏ.
Dodds và Allan 1984 đề xuất thiết bị siêu âm tìm đường có tên The Sonic

5


Pathfinder [36] hoạt động theo nguyên lý phản hồi âm thanh. Thiết bị này được kế
thừa các mặt tối ưu của các nghiên cứu trước như Mowat sensor [113] và Sonic torch
[71]. Hệ thống gồm có 5 đầu dò siêu âm gắn lên mũ trong đó 3 cảm biến siêu âm thu
nhận tín hiệu sóng siêu âm phản xạ, được chia làm 3 vùng: trái, phải, giữa và 2 bộ
phát tín hiệu siêu âm về hướng phía trước. Tín hiệu sóng siêu âm phản xạ từ các vật
cản trên đường đi nhận lại từ 3 bộ cảm biến này được truyền về bộ xử lý trung tâm.
Đầu ra là tín hiệu âm thanh được truyền vào một tai nghe hoặc cả hai. Tùy thuộc vào

vật cản nằm ở vùng trái hoặc vùng phải, nếu âm thanh có cả 2 tai nghe thì vật cản
nằm vùng trung tâm. Cứ 30cm thiết bị lại cảnh báo thông tin về vật cản cho NKT
một lần, phạm vi xác định là 0-2.5m.
Một số sản phẩm thương mại tiêu biểu có thể kể đến là iNavBelt [11] [124], gắn
trên đầu NKT sử dụng cảm biến siêu âm quét một góc α = 1200 phía trước NKT cho
phép phát hiện các vật cản phía trước họ. Sản phẩm có tên GuideCane [13] là một
chiếc gậy có gắn cảm ứng siêu âm ở đầu có khả năng phát hiện các chướng ngại vật và
đồ vật xung quanh người sử dụng thông qua một lực tương tác nhỏ ở phần đầu của gậy
chỉ đường. Thiết bị EyeRing[101] là một thiết bị kích thước nhỏ bằng một đốt ngón
tay, có khả năng truyền tải thông tin hình ảnh sang một dạng tín hiệu dưới vành tai.
Hiện nay, thiết bị này đã có thể truyền tải các thông tin về màu sắc, văn bản, nhận
dạng chữ số của giá cả trên một miếng tag gắn trên hàng hóa. Mặc dù những thông
tin này là hữu ích trong một số môi trường, hạn chế chính là chỉ có khả năng hỗ trợ
một lượng giới hạn thông tin đồng thời yêu cầu NKT phải điều khiển với sự tập trung
cao độ. Các nhà nghiên cứu tại MIT gần đây cũng đã phát minh việc sử dụng thêm
một số cảm biến cho thiết bị này, ví dụ: cảm biến độ sâu, cảm biến quán tính, gia tốc.
Tại Châu Âu, nghiên cứu có tên GuideCane được đề xuất bởi Ulrich 2001 [133] là
gậy thông minh có khả năng tránh vật cản. Thiết kế phần cứng giống như một cây gậy
có gắn bánh xe, phía đầu dưới có gắn 10 cảm biến siêu âm, trong đó 8 cảm biến được
gắn hình vòng cung, mỗi cái cách nhau một góc α = 150 , 2 cảm biến được gắn 2 bên.
Các cảm biến có nhiệm vụ phát hiện vật cản trong phạm vi góc α = 1200 trước NKT.
Một nghiên cứu trợ giúp NKT khi mua hàng tại siêu thị có tên RoboCart [79] [54] [81]
[52] [53] [80] được đề xuất bởi Vladimir Kulyukin và các cộng sự trong khoảng thời
gian 2005-2009. Robot có khả năng trợ giúp chọn lựa sản phẩm mong muốn từ một
kho lưu trữ của hàng ngàn sản phẩm. Để làm được điều này công nghệ RFID đã được
áp dụng để định vị. Các thẻ RF được dán dưới thảm tại các vị trí quan trọng trong
siêu thị. Robot được trang bị 01 máy tính kết nối với một đầu đọc thẻ RFID reader,
01 ăng ten thu tín hiệu, 01 cảm biến laser LRF truyền tín hiệu về máy tính giúp cho
robot có thể phát hiện được vật cản phía trước, 01 bộ động cơ gồm cơ cấu 2 bánh giúp
cho robot di chuyển một cách dễ dàng nhờ phần mềm điều khiển được cài đặt trong

máy tính. Mặc dù có nhiều nỗ lực trong cải tiến phương thức giao tiếp, những sản
6


phẩm này vẫn có những hạn chế cố hữu như giới hạn nguồn thông tin, không có tính
tương tác với người dùng.
1.2.1.2 Hồng ngoại
Loughborough 1979 phát triển một thiết bị có tên Talking Signs [86] sử dụng bộ
phát hồng ngoại lưu giữ bộ tiếng nói tổng hợp các vị trí cần trợ giúp được lắp đặt trên
các điểm quan trọng trên toàn hộ hành trình. NKT được trang bị bộ thu tín hiệu hồng
ngoại có khả năng chuyển đổi tín hiệu hồng ngoại thành tín hiệu âm thanh. Ứng dụng
này cho phép NKT biết được vị trí hiện tại của mình như trước cửa phòng, phía trước
con đường. Tuy nhiên, nghiên cứu này cũng có những nhược điểm như khả năng lưu
trữ thông tin không nhiều, chi phí lắp đặt nhiều nguồn phát hồng ngoại.
1.2.1.3 Laser
Từ những năm 70 của thế kỷ trước, nhiều công trình khoa học công bố sử dụng
công nghệ laser gắn trên gậy để trợ giúp di chuyển cho NKT đã được đề xuất. Năm
1970, Benjamin và các đồng nghiệp đã dựa trên ý tưởng xác định và tránh vật cản được
đề xuất bởi [10] để thiết kế chế tạo gậy dẫn đường có gắn cảm biến quang. Năm 1973
ông phát triển gậy dẫn đường gắn cảm biến laser [7] nhằm phát các hiện vật cản nhô
ra trên mặt đường. Khi hoạt động, chùm tia laser được phát ra ở tần số f = 200Hz
phía trước khoảng 50cm trên mặt đất. Độ cao mà chùm tia có thể phát hiện vật cản
từ điểm gắn cảm biến laser trên gậy là 40cm đến 60cm. Khi phát hiện ra vật cản phía
trước, thiết bị phát ra tiếng bíp ở tần số f = 2600Hz đủ để người khiếm thị có thể
nghe thấy. Gậy hoạt động liên tục được 3 tiếng với nguồn pin 6 vôn. Nghiên cứu này
có ưu điểm bởi tính gần gũi như gậy truyền thống của NKT. Tuy nhiên, do gắn các
thiết bị nên gậy có trọng lượng lớn việc cầm nắm di chuyển kém linh động hơn. Cho
nên thiết bị này là một bước đột phá trong lĩnh vực trợ giúp NKT thập kỷ 70.
1.2.1.4 Camera
Sử dụng camera để thay thế đôi mắt thu nhận thông tin hình ảnh về môi trường

là một hướng tiếp cận tự nhiên. Có nhiều nghiên cứu đã được đề xuất và triển khai
theo hướng tiếp cận, như:
Năm 1992, Meijer và đồng nghiệp đã thiết kế và phát triển một hệ thống vOICe
biến đổi trực tiếp hình ảnh thu nhận được từ môi trường bởi 01 camera thành một
bản đồ âm thanh để giúp cho NKT có thể nhận biết về môi trường [91]. Cường độ của
âm thanh sẽ tỷ lệ với cường độ sáng của điểm ảnh tương ứng. Việc ánh xạ thông tin
ảnh sang âm thanh sẽ tạo ra một bản đồ âm rất phức tạp. Nhất là trong môi trường
7


có nhiều đối tượng, bản đồ âm sẽ rất nhiễu gây khó khăn cho NKT khi sử dụng. Việc
người dùng hiểu được bản đồ âm thanh đòi hỏi phải trải qua một quá trình huấn luyện
lâu dài. Hơn nữa, với phương pháp này, bản đồ âm được sinh ra liên tiếp đòi hỏi cơ
quan thính giác của NKT liên tục phải hoạt động, từ đó dễ gây mệt mỏi cũng như
đánh mất khả năng nhận biết thông qua thính giác của NKT.
Trong [67], các nhà nghiên cứu thuộc đại học Stuttgart, Đức đã thiết kế một hệ
thống gồm một gậy có gắn 02 camera, la bàn số, một máy tính xách xử lý các tín
hiệu thu thập được từ cảm biến nhằmtrợ giúp di chuyển cho NKT trong môi trường
trong nhà. Các cảm biến hình ảnh sẽ thu nhận thông tin môi trường, các giải thuật
xử lý hình ảnh được áp dụng để phát hiện vật cản. Thông tin vật cản sẽ được gửi đến
người dùng thông qua bộ tổng hợp tiếng nói và truyền đến tai của người. So với thiết
bị vOICe, với sự trợ giúp của các giải thuật xử lý hình ảnh, lượng thông tin truyền
tải đến tai người đã được phân tích, chọn lọc nên thông tin cô đọng hơn. Nhất là cách
thức truyền tải thông qua tiếng nói tổng hợp nên không đòi hỏi phải huấn luyện NKT
trước khi dùng. Năm 2012, Rodrguez và các đồng nghiệp đã phát triển một hệ thống
trợ giúp NKT di chuyển tránh vật cản sử dụng camera kép [118]. Với việc sử dụng
camera kép, bản đồ độ sâu trước camera được tính toán một cách dễ dàng. Từ đó, mặt
đường được xác định, cho phép phát hiện các đối tượng vật cản nằm trên mặt đường.
Phản hồi âm thanh được sử dụng để thông báo với NKT về vật cản trên đường đi.
Các hệ thống sử dụng camera kép dễ dàng xác định được bản đồ độ sâu nhưng

giá thành tương đối đắt và đòi hỏi quá trình hiệu chỉnh phức tạp. Trong [8], các tác
giả giới thiệu một hệ thống sử dụng cảm biến Kinect phát triển bởi Microsoft. Cảm
biến này được gắn vào một đai thắt lưng của NKT. Các thông tin thu được từ Kinect
sẽ được xử lý bằng cách chuyển thông tin độ sâu và hình ảnh sang biểu diễn dạng đám
mây điểm, phát hiện vật cản trên đám mây điểm, phân tích thông tin gia tốc để xác
định tốc độ chuyển động của người. Cuối cùng các phản hồi sẽ được truyền đến tai
người bằng tín hiệu âm thanh. Những phương pháp trình bày phía trên đều sử dụng
âm thanh để phản hồi đến người dùng. Như đã phân tích, việc sử dụng tín hiệu âm
thanh làm cho hạn chế hoạt động của thính giác, là một trong những giác quan quan
trọng để NKT cảm nhận và di chuyển. Để không chiếm hữu giác quan này, một số
hướng tiếp cận sử dụng xúc giác trên một số bộ phận của cơ thể người như trên lưỡi,
đầu ngón tay.
[68] thiết kế một thiết bị chuyển đổi thông tin hình ảnh thành các tín hiệu tiếp
xúc. Thiết bị gồm một đai đeo với 14 bộ rung đặt cách nhau, hai camera quan sát môi
trường. Tín hiệu hình ảnh thu được từ hai camera cho phép tái tạo bản đồ độ sâu phía
trước NKT. Bản đồ này sau đó được chia thành 14 vùng theo chiều dọc. Khi có vật
cản xuất hiện ở trong một vùng, cảm biến rung tương ứng với vùng đó được kích hoạt.
Tần số của tín hiệu thể hiện khoảng cách của vật cản.
8