Nghiên cứu và phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

NGUYỄN QUỐC HÙNG

NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT
ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG
TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ

LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

Hà Nội − 2017


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

NGUYỄN QUỐC HÙNG

NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT
ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG
TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ

Chuyên ngành: Khoa học Máy tính
Mã số chuyên ngành: 62480101

LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC:
1. TS. Trần Thị Thanh Hải
2. PGS.TS. Nguyễn Quang Hoan

Hà Nội −2017


LỜI CAM ĐOAN
Tôi xin cam đoan luận án: “Nghiên cứu phát triển một số kỹ thuật định vị dựa
trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị” là công trình nghiên
cứu của riêng tôi.
Một phần các số liệu, kết quả trình bày trong luận án là trung thực, đã được công
bố trên các tạp chí khoa học chuyên ngành Kỷ yếu Hội nghị khoa học trong nước và
quốc tế. Phần còn lại của luận án chưa được công bố trong bất kỳ công trình nghiên
cứu nào.
Hà Nội, ngày 20 tháng 3 năm 2017
TẬP THỂ HƯỚNG DẪN KHOA HỌC

TS. Trần Thị Thanh Hải

NGHIÊN CỨU SINH

PGS.TS. Nguyễn Quang Hoan

i

Nguyễn Quốc Hùng


LỜI CẢM ƠN
Luận án tiến sĩ được thực hiện tại Viện Nghiên cứu Quốc tế MICA, trường Đại
học Bách khoa Hà Nội dưới sự hướng dẫn khoa học của TS. Trần Thị Thanh Hải và
PGS.TS. Nguyễn Quang Hoan. Nghiên cứu sinh xin bày tỏ lòng biết ơn sâu sắc tới các

thầy, cô về định hướng khoa học; các nhà khoa học, tác giả của các công trình đã được
trích dẫn; cung cấp nguồn tư liệu quý báu trong quá trình nghiên cứu và hoàn thành
luận án.
Nghiên cứu sinh trân trọng cảm ơn Viện Nghiên cứu Quốc tế đa phương tiện
MICA; Viện Đào tạo sau Đại học Trường Đại học Bách Khoa Hà Nội; GS.TS. Phạm
Thị Ngọc Yến; GS.TS. Eric Castelli; đề tài KHCN tiềm năng mã số: KC.01.TN19/11-15,
đề tài VLIR mã số: ZEIN2012RIP19; đề tài hợp tác Việt - Bỉ mã số: FWO.102.2013.08;
Quỹ phát triển KH&CN quốc gia Việt Nam; Trường THCS Nguyễn Đình Chiểu Hà
Nội; nhóm nghiên cứu IPI Đại học GENT Vương quốc Bỉ...đã tạo điều kiện thuận lợi
về thời gian, địa điểm thực tập, trang thiết bị, hỗ trợ về mặt nhân lực để NCS thực
hiện việc thu thập dữ liệu, thực nghiệm các kết quả nghiên cứu.
Nghiên cứu sinh xin bày tỏ sự biết ơn tới Ban giám hiệu Trường Cao đẳng Y tế
Thái Nguyên; gia đình và đồng nghiệp đã động viên khích lệ, tạo mọi điều kiện thuận
lợi để NCS yên tâm công tác và học tập.
Hà Nội, ngày 20 tháng 3 năm 2017
NGHIÊN CỨU SINH

Nguyễn Quốc Hùng

ii


MỤC LỤC
LỜI CAM ĐOAN

i

LỜI CẢM ƠN

ii

MỤC LỤC

vi

DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

vii

DANH MỤC CÁC BẢNG

ix

DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ

xv

MỞ ĐẦU

1

1 TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP NGƯỜI KHIẾM THỊ
1.1 Đặt vấn đề . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2 Các nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . . . . . .

4
4
4

1.2.1

Các nghiên cứu trên thế giới . . . . . . . . . . . . . . . . . . . .
1.2.1.1 Siêu âm . . . . . . . . . . . . . . . . . . . . . . . . . .

4
5

1.2.1.2
1.2.1.3
1.2.1.4

Hồng ngoại . . . . . . . . . . . . . . . . . . . . . . . .
Laser . . . . . . . . . . . . . . . . . . . . . . . . . . .
Camera . . . . . . . . . . . . . . . . . . . . . . . . . .

7
7
7

1.2.1.5 Đa cảm biến . . . . . . . . . . . . . . . . . . . . . . .
Các nghiên cứu trong nước . . . . . . . . . . . . . . . . . . . . .

9
11

1.2.3 Thảo luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3 Mục tiêu nghiên cứu và phương pháp đề xuất . . . . . . . . . . . . . .
1.3.1 Mục tiêu và phạm vi nghiên cứu . . . . . . . . . . . . . . . . . .

12

13
13

1.3.2 Phương pháp đề xuất . . . . . . . . . . . . . . . . . . . . . . . .
1.4 Kết luận chương 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13
14

2 BIỂU DIỄN MÔI TRƯỜNG VÀ ĐỊNH VỊ
2.1 Giới thiệu chung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15
15

2.2 Những nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . . . .
2.2.1 Hướng tiếp cận sử dụng bản đồ số liệu . . . . . . . . . . . . . .

16
16

1.2.2

2.2.2
2.2.3
2.2.4

Hướng tiếp cận sử dụng bản đồ topo . . . . . . . . . . . . . . .
Hướng tiếp cận lai . . . . . . . . . . . . . . . . . . . . . . . . .
Thảo luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

iii

18
20
21


2.3 Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường . . . . . . .

23

2.4 Phương pháp xây dựng bản đồ môi trường . . . . . . . . . . . . . . . .
2.4.1 Xây dựng bản đồ số liệu . . . . . . . . . . . . . . . . . . . . . .
2.4.1.1 Phương pháp đo hành trình bằng hình ảnh sử dụng mô

24
24

hình không chắc chắn . . . . . . . . . . . . . . . . . .
Thích nghi VO cho môi trường trong nhà . . . . . . .

25
28

2.4.1.2
2.4.2

Xây dựng bản đồ topo . . . . . . . . . . . . . . . . . . . . . . . 30
2.4.2.1 Giải thuật FAB-MAP . . . . . . . . . . . . . . . . . . 31

2.4.2.2 Thích nghi và cải thiện FAB-MAP xây dựng bản đồ topo 40

2.4.3 Bổ sung thông tin đối tượng vật cản tĩnh trên bản đồ . . . . . .
2.5 Phương pháp định vị . . . . . . . . . . . . . . . . . . . . . . . . . . . .

45
45

2.6 Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.6.1 Môi trường đánh giá . . . . . . . . . . . . . . . . . . . . . . . .
2.6.2 Thu thập dữ liệu đánh giá . . . . . . . . . . . . . . . . . . . . .

46
46
47

2.6.2.1 Hệ thống thu thập dữ liệu . . . . . . . . . . . . . . . .
2.6.2.2 Thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . .
Kết quả đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . .

47
48
49

2.6.3.1
2.6.3.2

Đánh giá phương pháp xây dựng bản đồ số liệu . . . .
Đánh giá phương pháp định vị hình ảnh . . . . . . . .

49
54

2.7 Kết luận chương 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

60

3 PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN
3.1 Định nghĩa bài toán và các thách thức . . . . . . . . . . . . . . . . . .
3.2 Những nghiên cứu liên quan . . . . . . . . . . . . . . . . . . . . . . . .

61
61
62

2.6.3

3.2.1

Các phương pháp sử dụng 01 camera . . . . . . . . . . . . . . .
3.2.1.1 Hướng nghiên cứu sử dụng stereo camera . . . . . . .

62
63

3.2.1.2 Hướng nghiên cứu sử dụng cảm biến Kinect . . . . . .
3.2.1.3 Phân tích và đánh giá các phương pháp . . . . . . . .
3.3 Đề xuất phương pháp phát hiện và ước lượng khoảng cách . . . . . . .

65

66
67

3.4 Phát hiện vật cản . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3.4.1 Phát hiện vật cản cố định . . . . . . . . . . . . . . . . . . . . .

68
68

3.4.1.1
3.4.1.2
3.4.1.3

Đối sánh các điểm đặc trưng . . . . . . . . . . . . . .
Phát hiện vật cản từ kết quả đối sánh . . . . . . . . .
Xác định vùng chứa đối tượng . . . . . . . . . . . . . .

69
72
75

Phát hiện vật cản động . . . . . . . . . . . . . . . . . . . . . . .
3.4.2.1 Trích chọn đặc trưng HoG . . . . . . . . . . . . . . . .
3.4.2.2 Bộ phân loại SVM . . . . . . . . . . . . . . . . . . . .

76
76
77

3.5 Ước lượng khoảng cách vật cản . . . . . . . . . . . . . . . . . . . . . .

3.5.1 Nguyên lý ước lượng khoảng cách . . . . . . . . . . . . . . . . .

78
78

3.4.2

iv


3.5.2

Xây dựng bản đồ chênh lệch . . . . . . . . . . . . . . . . . . . .

80

3.5.2.1
3.5.2.2
3.5.2.3

Thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . .
Hiệu chỉnh hình ảnh . . . . . . . . . . . . . . . . . . .
Đối sánh hình ảnh . . . . . . . . . . . . . . . . . . . .

81
81
85

3.5.2.4 Tính toán độ sâu . . . . . . . . . . . . . . . . . . . . .
3.6 Kết quả đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

85
89

3.6.1
3.6.2
3.6.3

Xây dựng cơ sở dữ liệu vật cản . . . . . . . . . . . . . . . . . .
Đánh giá giải thuật phát hiện đối tượng . . . . . . . . . . . . .
Đánh giá giải thuật ước lượng khoảng cách vật cản . . . . . . .

89
91
94

3.7 Kết luận chương 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

99

4 PHÁT TRIỂN VÀ THỬ NGHIỆM HỆ THỐNG DẪN ĐƯỜNG
100
4.1 Hệ thống tích hợp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.1.1 Tích hợp phần cứng . . . . . . . . . . . . . . . . . . . . . . . . 100
4.1.2 Kiến trúc tổng thể . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.2 Phát triển hệ thống dẫn đường sử dụng robot . . . . . . . . . . . . . . 103
4.2.1
4.2.2

Tìm đường cho robot . . . . . . . . . . . . . . . . . . . . . . . . 103

Điều khiển robot . . . . . . . . . . . . . . . . . . . . . . . . . . 104
4.2.2.1 Điều khiển trực tiếp dựa trên đường đi xác định . . . . 104
4.2.2.2

Điều khiển theo dự báo và hiệu chỉnh vị trí của bộ lọc
Kalman . . . . . . . . . . . . . . . . . . . . . . . . . . 106

4.2.3 Tương tác người - robot . . . . . . . . . . . . . . . . . . . . . . 112
4.3 Thử nghiệm và đánh giá hệ thống dẫn đường . . . . . . . . . . . . . . 113
4.3.1 Môi trường và quy trình thử nghiệm . . . . . . . . . . . . . . . 113
4.3.1.1
4.3.1.2
4.3.2

Môi trường thử nghiệm . . . . . . . . . . . . . . . . . 113
Quy trình thử nghiệm . . . . . . . . . . . . . . . . . . 116

Kết quả thực nghiệm . . . . . . . . . . . . . . . . . . . . . . . . 117
4.3.2.1 Đánh giá khả năng xác định vị trí xuất phát của robot 117
4.3.2.2 Đánh giá khả năng điều khiển robot . . . . . . . . . . 118
4.3.2.3
4.3.2.4

Đánh giá khả năng tương tác người - robot . . . . . . 120
Đánh giá hệ thống dẫn đường trợ giúp NKT bằng robot 122

4.3.3 Bàn luận hệ thống robot dẫn đường . . . . . . . . . . . . . . . . 131
4.4 Kết luận chương 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

134

TÀI LIỆU THAM KHẢO

137

DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN

150

PHỤ LỤC

153
v


A MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG

153

A.1 Đặc trưng Harris Corner . . . . . . . . . . . . . . . . . . . . . . . . . . 153
A.2 Đặc trưng SIFT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
A.3 Đặc trưng SURF . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
A.4 Đặc trưng GIST . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
A.5 Đặc trưng HoG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
A.6 Đặc trưng Haar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
B ĐÁNH GIÁ HIỆU NĂNG NHẬN DẠNG TRÊN MỘT SỐ CSDL 175
B.1 Giới thiệu 3 CSDL thử nghiệm . . . . . . . . . . . . . . . . . . . . . . 175
B.2 Khung nhận dạng đối tượng tổng quát . . . . . . . . . . . . . . . . . . 179
B.3 Độ đo đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184

B.4 Kết quả đánh giá . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
C THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU

190

C.1 Xe camera thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . 190
C.2 Hiệu chỉnh camera góc rộng . . . . . . . . . . . . . . . . . . . . . . . . 193
C.3 Robot PC-Bot914 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195

vi


DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
TT
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37

Viết tắt
AM
AP
BOW
CSDL
ED
FAB-MAP
FLANN

FN
FP
GPS
HOG
HSI
KF
KH&CN
k-NN
LASER
LATS
LIDAR
MICA
MUT
NCS
NĐC
NKT
PUT
RANSAC
RFID
RGB
RMSE
SAD
SIFT
SLAM
SURF
SVM
TP
TQB
VO
WIFI

Nghĩa đầy đủ (tiếng Việt/tiếng Anh)
Appearance based Mapping
Average Precision
Bag of Words
Cơ sở dữ liệu
Euclidean Distance
Fast Appearance Based Mapping
Fast Library for Approximate Nearest Neighbors
False Negative
False Positive
Global Positioning System
Histogram of Oriented Gradients
Hue Saturation and Intensity
Kalman Filter
Khoa học và Công nghệ
K-Nearest Neighbors
Light Amplification by Stimulated Emission of Radiation
Luận án tiến sĩ
Light Detection And Ranging
Multimedia, Information, Communication & Applications
Motion Uncertainty Tetragon
Nghiên cứu sinh
Nguyễn Đình Chiểu
Người khiếm thị
Perspective Uncertainty Tetragons
RANdom SAmple Consensus
Radio Frequency Identification
Red Green and Blue
Root Mean Square Error

Sum of Absolute Differences
Scale Invariant Feature Transforms
Simultaneous Localization and Mapping
Speeded Up Robust Features
Support Vector Machine
True Positive
Tạ Quang Bửu
Visual Odometry
Wireless Fidelity
vii


DANH MỤC CÁC BẢNG
Bảng 2.1

Bảng tổng hợp thông tin về 03 môi trường thử nghiệm . . . . . .

47

Bảng 2.2 Tốc độ lấy mẫu (fps) của các camera tại các môi trường thử nghiệm 48
Bảng 2.3

Dữ liệu thu thập tại E1:NĐC . . . . . . . . . . . . . . . . . . . .

48

Bảng 2.4

Dữ liệu thu thập tại E2:TQB . . . . . . . . . . . . . . . . . . . .

48

Bảng 2.5

Dữ liệu thu thập tại E3:MICA . . . . . . . . . . . . . . . . . . .

48

Bảng 2.6

Kết quả đánh giá RMSE tại E1:NĐC . . . . . . . . . . . . . . . .

49

Bảng 2.7

Kết quả đánh giá độ sai số tiêu chuẩn RMSE tại E2:TQB . . . .

51

Bảng 2.8

Kết quả đánh giá độ sai số tiêu chuẩn RMSE tại E3:MICA . . . .

53

Bảng 2.9

So sánh khả năng định vị của giải thuật FAB-MAP* tại E1:NĐC

55

Bảng 2.10 Kết quả đánh giá so sánh giải thuật định vị FAB-MAP* tại E2:TQB 57
Bảng 2.11 Kết quả đánh giá so sánh giải thuật định vị FAB-MAP* tại E3:MICA 58
Bảng 3.1

Kết quả thu nhận dữ liệu khung cảnh/đường đi phục vụ đánh giá

89

Bảng 3.2 Thu thập dữ liệu đánh giá phát hiện và ước lượng khoảng cách
vật cản . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

91

Bảng 3.3

Kết quả phát hiện đối tượng theo phương pháp đề xuất . . . . .

92

Bảng 3.4

Kết quả phát đánh giá so sánh với phương pháp Haar-AdaBoost

92

Bảng 3.5

Kết quả dự đoán độ sai số ước lượng khoảng cách vật cản . . . .

95

Bảng 4.1

Danh sách tham gia thử nghiệm dẫn đường tại E1:NĐC . . . . . 113

Bảng 4.2

Danh sách tham gia đánh giá hệ thống dẫn đường tại E2:TQB

Bảng 4.3

Danh sách tham gia đánh giá hệ thống dẫn đường tại E3:MICA . 115

Bảng 4.4

Kết quả đánh giá điểm xuất phát của robot . . . . . . . . . . . . 118

Bảng 4.5

Kết quả đánh giá vai trò lọc Kalman trong điều khiển robot . . . 119

Bảng 4.6

Kết quả sai số định vị sử dụng sai số trung vị . . . . . . . . . . . 119
viii

. 114

Bảng 4.7

Kết quả sai số định vị sử dụng sai số trung bình . . . . . . . . . . 120

Bảng 4.8

Bảng câu hỏi phỏng vấn trước và sau khi sử dụng hệ thống . . . 120

Bảng 4.9

Tổng hợp kết quả tần số rung (Hz) phản hồi thông tin môi trường 122

Bảng 4.10 Kết quả đánh giá độ sai số RMSE khi robot chuyển động tịnh tiến 123
Bảng 4.11 Kết quả đánh giá hiệu năng robot dẫn đường chuyển động tịnh tiến123
Bảng 4.12 Kết quả đánh giá robot dẫn đường chuyển động tịnh tiến

. . . . 124

Bảng 4.13 Kết quả đánh giá độ sai số RMSE với kịch bản robot chuyển động
tịnh tiến và quay tại E1:NĐC . . . . . . . . . . . . . . . . . . . . . . . 124
Bảng 4.14 Kết quả robot dẫn đường chuyển động quay và tịnh tiến tại E1:NĐC125
Bảng 4.15 Đánh giá các lần thử nghiệm hệ thống dẫn đường tại E1:NĐC . . 126
Bảng 4.16 Kết quả sai số RMSE robot phát hiện vật cản xuất hiện bất ngờ
tại E1:NĐC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
Bảng 4.17 Kết quả đánh giá hiệu năng dẫn đường robot phát hiện vật cản . 127
Bảng 4.18 Kết quả đánh giá robot dẫn đường chuyển động quay và tịnh tiến 128
Bảng 4.19 Kết quả đánh giá độ sai số RMSE tại E2:TQB . . . . . . . . . . 128
Bảng 4.20 Kết quả đánh giá hiệu năng dẫn đường robot tại E2:TQB . . . . 129
Bảng 4.21 Tổng hợp kết quả robot dẫn đường tại E2:TQB . . . . . . . . . . 130

Bảng 4.22 Kết quả đánh giá độ sai số RMSE tại E3:MICA . . . . . . . . . . 130
Bảng 4.23 Kết quả đánh giá hiệu năng dẫn đường của robot tại E3:MICA . 130
Bảng 4.24 Tổng hợp kết quả robot dẫn đường tại E3:MICA . . . . . . . . . 131
Bảng 4.25 Bảng tổng hợp thông số kỹ thuật . . . . . . . . . . . . . . . . . . 132
Bảng B.1 Quy định thang tính điểm phần thi nhận dạng RobotVision2013

184

Bảng B.2 Kết quả nhận dạng tượng CSDL Naiscorp 2012 . . . . . . . . . . 185
Bảng B.3 Kết quả điểm nhận dạng đối tượng CSDL Robot Vision 2013 . . 187

ix


DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ
Hình 1.1 Các thành phần chính của hệ thống đề xuất Robot trợ giúp NKT

14

Hình 2.1 Mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa .

23

Hình 2.2 Minh họa di chuyển của robot với vận tốc v và góc lái α . . . . .

25

Hình 2.3 Các bước giải thuật đo hành trình bằng thông tin hình ảnh VO .

26

Hình 2.4 Một số trường hợp lỗi tích lũy khi xây dựng bản đồ . . . . . . . .

27

Hình 2.5 Một số cấu trúc mặt nền thử nghiệm thuật toán VO . . . . . . .

28

Hình 2.6 Tạo các điểm đánh dấu dọc hành trình . . . . . . . . . . . . . . .

29

Hình 2.7 Minh họa số điểm đặc trưng phát hiện trên mặt sàn . . . . . . . .

29

Hình 2.8 Minh họa phương pháp thử nghiệm khi tạo các mẫu đánh dấu . .

30

Hình 2.9 Các bước của giải thuật FAB-MAP [32]

. . . . . . . . . . . . . .

31

Hình 2.10 Xây dựng từ điển và biểu diễn quan sát theo mô hình túi từ . . .

33

Hình 2.11 Một số những thách thức khi nhận dạng vị trí trong môi trường .

34

Hình 2.12 Cây nhị phân Chow liu theo hướng đồ thị có hướng . . . . . . . .

35

Hình 2.13 Biểu diễn các quan sát cùng xuất hiện tại một thời điểm . . . . .

35

Hình 2.14 Biểu diễn vị trí Li thành phần quan sát eq và quan sát có nhiễu zq

36

Hình 2.15 Xác định khung cảnh phân biệt: (a) Chuỗi hình ảnh khung cảnh;
(b) Khung cảnh đại diện . . . . . . . . . . . . . . . . . . . . . . . . . .

41

Hình 2.16 Xác định các khung cảnh có cấu trúc giống nhau . . . . . . . . .

42

Hình 2.17 Minh họa các bước trích chọn đặc trưng GIST . . . . . . . . . . .

43

Hình 2.18 Minh họa kết quả loại bỏ khung cảnh có cấu trúc giống nhau

. .

43

Hình 2.19 Minh họa các bước thực hiện giải thuật FAB-MAP* . . . . . . . .

44

Hình 2.20 Minh họa bước thực hiện cập nhật điểm mốc quan trọng . . . . .

45

Hình 2.21 Mô hình định vị sử dụng thông tin hình ảnh sử dụng robot . . . .

46

x


Hình 2.22 Hệ thống thu thập dữ liệu . . . . . . . . . . . . . . . . . . . . . .

47

Hình 2.23 Biểu đồ so sánh RMSE giữa VO và VO* tại E1:NĐC . . . . . . .

50

Hình 2.24 Minh họa giá trị ngưỡng θV O quyết định số điểm đặc trưng . . . .

50

Hình 2.25 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E1:NĐC . . . .

51

Hình 2.26 Biểu đồ so sánh RMSE giữa VO và VO* tại E2:TQB . . . . . . .

52

Hình 2.27 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E2:TQB . . . .

52

Hình 2.28 Biểu đồ so sánh sai số RMSE giữa VO và VO* tại E3:MICA . . .

53

Hình 2.29 Kết quả xây dựng bản đồ sử dụng VO và VO* tại E3:MICA . . .

54

Hình 2.30 Biểu đồ so sánh giải thuật định vị FAB-MAP* tại E1:NĐC . . . .

56

Hình 2.31 Minh họa kết quả định vị FAB-MAP* tại E1:NĐC . . . . . . . .

56

Hình 2.32 Biểu đồ so sánh giải thuật định vị FAB-MAP* tại E2:TQB . . . .

57

Hình 2.33 Minh họa kết quả định vị FAB-MAP* tại E2:TQB . . . . . . . .

58

Hình 2.34 Biểu đồ so sánh hai phương pháp định vị FAB-MAP* tại E3:MICA 59
Hình 2.35 Minh họa kết quả định vị giải thuật FAB-MAP* tại E3:MICA . .

59

Hình 3.1 Định nghĩa bài toán phát hiện và ước lượng khoảng cách . . . . .

62

Hình 3.2 Mô hình phát hiện và ước lượng khoảng cách vật cản . . . . . . .

67

Hình 3.3 Sơ đồ các bước thực hiện phát hiện vật cản cố định . . . . . . . .

69

Hình 3.4 Kết quả trích chọn đặc trưng SIFT . . . . . . . . . . . . . . . . .

70

Hình 3.5 Minh họa giải thuật đối sánh các điểm đặc trưng . . . . . . . . .

71

Hình 3.6 Kết quả đối sánh các điểm đặc trưng phát hiện . . . . . . . . . .

71

Hình 3.7 Kết quả loại bỏ một số cặp điểm đối sánh (matching) yếu . . . .

72

Hình 3.8 Lưu đồ giải thuật tính ma trận H . . . . . . . . . . . . . . . . . .

73

Hình 3.9 Minh họa kết quả xác định vùng chứa đối tượng . . . . . . . . . .

75

Hình 3.10 Sơ đồ các bước phát hiện người sử dụng HoG-SVM . . . . . . . .

76

Hình 3.11 Mô hình ước lượng khoảng cách vật cản từ hai quan sát . . . . .

78

Hình 3.12 Hình ảnh của đối tượng (cây) quan sát từ hai góc thu nhận . . .

79

xi


Hình 3.13 Sơ đồ các bước tính bản đồ chênh lệch và ước lượng khoảng cách

81

Hình 3.14 Minh họa hai quan sát khi camera chuyển động . . . . . . . . . .

82

Hình 3.15 Kết quả tìm đường eplipolar trên mô hình camera chuyển động .

83

Hình 3.16 Minh họa hiệu chỉnh hình ảnh trên cùng mặt phẳng ngang . . . .

83

Hình 3.17 Kết quả hiệu chỉnh hình ảnh . . . . . . . . . . . . . . . . . . . . .

85

Hình 3.18 Dò tìm khối dữ liệu trên hai ảnh được hiệu chỉnh . . . . . . . . .

86

Hình 3.19 Kết quả đối sánh ảnh sử dụng giải thuật SAD . . . . . . . . . . .

86

Hình 3.20 Minh họa phương pháp tính bản độ chênh lệch . . . . . . . . . .

87

Hình 3.21 Kết quả phát hiện & ước lượng khoảng cách vật cản trên ảnh độ sâu 88
Hình 3.22 Minh họa hình ảnh thu nhận dữ liệu tại khung hình 289 . . . . .

89

Hình 3.23 Minh họa chuẩn bị dữ liệu đánh giá phát hiện đối tượng . . . . .

90

Hình 3.24 Minh họa phương pháp đo khoảng cách vị trí vật cản trên thực địa 90
Hình 3.25 Biểu đồ đánh giá so sánh hai phương pháp phát hiện đối tượng .

93

Hình 3.26 Một số hình ảnh phát hiện đối tượng của hai phương pháp. Hình
chữ nhật màu xanh là kết quả phát hiện bằng tay, màu đỏ là kết quả
phát hiện tự động . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

93

Hình 3.27 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp Chậu hoa

95

Hình 3.28 Minh họa dự đoán khoảng cách lớp đối tượng chậu hoa . . . . . .

96

Hình 3.29 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp Bình cứu hỏa 96
Hình 3.30 Minh họa dự đoán khoảng cách lớp đối tượng bình cứu hỏa . . . .

97

Hình 3.31 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp thùng rác

97

Hình 3.32 Minh họa dự đoán khoảng cách lớp đối tượng thùng rác

. . . . .

98

Hình 3.33 Các vị trí phát hiện và dự đoán khoảng cách thuộc lớp người . . .

98

Hình 3.34 Minh họa dự đoán khoảng cách lớp đối tượng người . . . . . . . .

99

Hình 4.1 Tích hợp các thiết bị phần cứng lên robot . . . . . . . . . . . . . 101
Hình 4.2 Mô hình tổng quát của hệ thống đề xuất . . . . . . . . . . . . . . 102

Hình 4.3 Minh họa đường đi từ hai điểm biết trước trên bản đồ môi trường 104
xii


Hình 4.4 Lược đồ điều khiển robot . . . . . . . . . . . . . . . . . . . . . . 105
Hình 4.5 Các bước tính toán chính của giải thuật của lọc Kalman . . . . . 107
Hình 4.6 Minh họa các bước điều khiển sử dụng lọc Kalman . . . . . . . . 108
Hình 4.7 Lược đồ điều khiển robot sử dụng lọc Kalman . . . . . . . . . . . 111
Hình 4.8 Minh họa tương tác giữa người-robot

. . . . . . . . . . . . . . . 112

Hình 4.9 Bản đồ tầng 2 khu nội trú Trường THCS Nguyễn Đình Chiểu . . 113
Hình 4.10 Bản đồ thử nghiệm robot dẫn đường hành lang tầng 5 tại E2:TQB 114
Hình 4.11 Kịch bản thử nghiệm robot dẫn đường tại E3:MICA . . . . . . . 115
Hình 4.12 Kết quả đánh giá việc xác định vị trí xuất phát của robot . . . . 117
Hình 4.13 Vai trò của lọc Kalman trong điều khiển robot . . . . . . . . . . . 118
Hình 4.14 Một số học sinh khiếm thị tham gia đánh giá tương tác người-robot121
Hình 4.15 Thử nghiệm các tần số rung trên điện thoại di động với NKT . . 122
Hình 4.16 Một số hình ảnh robot chuyển động tịnh tiến tại E1-NĐC . . . . 123
Hình 4.17 Hình ảnh thử nghiệm robot dẫn đường gặp sự cố tại E1-NĐC . . 124
Hình 4.18 Minh họa robot chuyển động quay và tịnh tiến tại E1:NĐC . . . . 125
Hình 4.19 Một số hình ảnh robot chuyển động quay và tịnh tiến tại E1-NĐC 126
Hình 4.20 Kịch bản robot phát hiện vật cản tại E1:NĐC . . . . . . . . . . . 127
Hình 4.21 Minh họa trường hợp vật cản xuất hiện bất ngờ E1:NĐC . . . . . 128
Hình 4.22 Minh họa hình ảnh robot dẫn đường tại E2:TQB . . . . . . . . . 129
Hình 4.23 Minh họa hình ảnh robot dẫn đường tại E3:MICA . . . . . . . . . 131
Hình 4.24 Lược đồ thời gian trung bình vận hành điều khiển robot dẫn đường 132
Hình 4.25 Một số hình ảnh trong phóng sự “cuộc sống tươi” đẹp phát trên
kênh VTV4 - Đài truyền hình Việt Nam . . . . . . . . . . . . . . . . . 151

Hình A.1 Minh họa phát hiện các điểm đặc trưng Harris-Corner . . . . . . 153
Hình A.2 Một số trường hợp phát hiện đặc trưng Harris-Corner . . . . . . . 154
Hình A.3 Một số trường hợp phát hiện đặc trưng Harris-Corner . . . . . . . 154

xiii


Hình A.4 Minh họa đặc trưng biểu diễn các điểm đặc biệt trong ảnh . . . . 156
Hình A.5 Mô tả tạo bộ mô tả các điểm đặc trưng (nguồn [91]) . . . . . . . 159
Hình A.6 Minh họa đặc trưng SURF biểu diễn các điểm đặc biệt trong ảnh

160

Hình A.7 Minh họa xấp xỉ đạo hàm cấp 2 hàm Gaussian [6] . . . . . . . . . 160
Hình A.8 Minh họa giảm không gian không gian trong biểu diễn đặc trưng

161

Hình A.9 Minh họa các điểm quan tâm được phát hiện quanh tâm . . . . . 162
Hình A.10 Phép lọc Haar wavelet: x (trái) và y hướng (phải). Vùng đen trọng
số -1 và vùng trắng trọng số +1 . . . . . . . . . . . . . . . . . . . . . . 163
Hình A.11 Gán hướng: một cửa sổ kích thước

π
3

. . . . . . . . . . . . . . . . 163

Hình A.12 Xác định ô 4 × 4 hình vuông con xung quanh điểm đặc trưng . . 164
Hình A.13 Các mô tả của miền đại diện cho tính chất của mẫu . . . . . . . . 165

Hình A.14 Một số trường hợp so khớp giữa các đặc trưng . . . . . . . . . . . 165
Hình A.15 Minh họa các tính chất của khung cảnh . . . . . . . . . . . . . . 166
Hình A.16 Bộ lọc Gabor 4 tỉ lệ, 8 hướng . . . . . . . . . . . . . . . . . . . . 167
Hình A.17 Minh họa quá trình trích chọn đặc trưng HoG . . . . . . . . . . . 168
Hình A.18 Thứ tự các Histogram với các góc khác nhau (0o đến 180o) . . . . 169
Hình A.19 Hai loại hình học khối chính của đặc trưng HoG . . . . . . . . . . 170
Hình A.20 Ví dụ minh họa các bước trích chọn đặc trưng HoG . . . . . . . . 171
Hình A.21 Tính góc và biên độ theo Gradient-X và Gradient-Y . . . . . . . . 171
Hình A.22 Một số ứng dụng phát hiện đối tượng sử dụng đặc trưng Haar . . 172
Hình A.23 Các kiểu cơ bản của đặc trưng Haar . . . . . . . . . . . . . . . . 173
Hình A.24 Cách tính tổng các điểm ảnh trong một hình chữ nhật bất kì . . . 173
Hình B.1 Minh họa cơ sở dữ liệu Robot Vision 2013 . . . . . . . . . . . . . 175
Hình B.2 Minh họa 20 lớp đối tượng trong Pascal VOC . . . . . . . . . . . 176
Hình B.3 Những khó khăn thách thưc trên 3 CSDL đề xuất . . . . . . . . . 177
Hình B.4 Các lớp đối tượng trong CSDL Naicorp 2012 . . . . . . . . . . . . 178

xiv


Hình B.5 Khung làm việc tổng quát phát hiện và nhận dạng đối tượng . . . 179
Hình B.6 Minh họa giải thuật Adaboost . . . . . . . . . . . . . . . . . . . . 180
Hình B.7 Mô hình phân tầng CascadeAdaboost . . . . . . . . . . . . . . . . 181
Hình B.8 Siêu phẳng tách với khoảng cách lề cực đại SVM . . . . . . . . . 182
Hình B.9 Phân tách theo siêu phẳng (w,b) trong không gian 2 chiều tập mẫu 183
Hình B.10 Minh họa các bước tính toán k-NN . . . . . . . . . . . . . . . . . 183
Hình B.11 Một số kết quả nhận dạng đúng/sai CSDL Naicorp 2012 . . . . . 186
Hình B.12 Một số kết quả nhận dạng đúng/sai CSDL RobotVision2013 . . . 186
Hình B.13 Đồ thị AP của 20 lớp đối tượng CSDL PascalVOC 2007 . . . . . 188
Hình B.14 Đồ thị AP từng lớp đối tượng CSDL PascalVOC 2007 . . . . . . 188
Hình B.15 Kết quả nhận dạng đối tượng trong CSDL Pascal VOC 2007 . . . 189

Hình B.16 Kết quả nhận dạng đối tượng trong CSDL Pascal VOC 2007 . . . 189
Hình C.1 Một số giải pháp thu thập dữ liệu từ 2 camera . . . . . . . . . . . 190
Hình C.2 Một số lỗi khi xây dựng bản đồ tại môi trường trong nhà . . . . . 191
Hình C.3 Một số lỗi khi xây dựng bản đồ tại môi trường ngoài trời . . . . . 191
Hình C.4 Thiết kế xe camera thu thập dữ liệu . . . . . . . . . . . . . . . . 192
Hình C.5 Mô hình thu nhận ảnh của camera . . . . . . . . . . . . . . . . . 193
Hình C.6 Các loại biến dạng khi thu nhận ảnh . . . . . . . . . . . . . . . . 194
Hình C.7 Quá trình hiệu chỉnh méo hình ảnh từ camera góc nhìn rộng . . . 195
Hình C.8 Các phiên bản của robot PC-Bot 914 . . . . . . . . . . . . . . . . 196
Hình C.9 Vị trí lắp các cảm biển hồng ngoại IR . . . . . . . . . . . . . . . 197
Hình C.10 Cơ cấu bánh xe điều khiển của robot PC-Bot 914 . . . . . . . . . 197

xv


MỞ ĐẦU
Tính cấp thiết, ý nghĩa khoa học của luận án
Năm 2013, theo công bố của Tổ chức Y tế thế giới (WHO) trên thế giới có khoảng
285 triệu người suy giảm thị lực, trong đó 246 triệu người có thị lực kém ở mức độ vừa
phải đến mức độ nặng và 39 triệu người mù [112]. Tại Việt Nam, theo số liệu của Viện
mắt Trung ương cung cấp, có khoảng 1.2 triệu NKT, trong đó 820.503 người không
còn khả năng nhìn thấy ánh sáng. Nếu tính cả những người bị các tật về mắt như cận
hoặc viễn thì con số này còn lớn hơn rất nhiều.
Số lượng NKT lớn, bản thân NKT gặp nhiều khó khăn trong cuộc sống cũng như
nắm bắt các cơ hội việc làm. Chính vì vậy, trợ giúp NKT là vấn đề thu hút sự quan
tâm của nhiều nhà khoa học trong thời gian gần đây. Trong số các yêu cầu trợ giúp,
trợ giúp định hướng là cần thiết và chỉ dẫn để giúp họ tránh các vật cản trên đường
đi hay đưa ra các thông báo về môi trường xung quanh.
Trên thực tế, nhiều phương pháp đã được nghiên cứu và triển khai nhằm hỗ trợ
định hướng cho NKT, như sử dụng gậy [35], chó dẫn đường [35], hay thiết bị điện tử

[15]. Mỗi phương pháp có những ưu nhược điểm riêng: gậy dẫn đường bị hạn chế phạm
vi phát hiện vật cản theo kích thước của gậy; chó dẫn đường thường có chi phí cao và
gây trở ngại về tâm sinh lý đối với người dùng; thiết bị điện tử như các điện cực đặt
trên lưỡi có thể gây tâm lý ngại ngần khi sử dụng.
Trong bối cảnh này, nghiên cứu và phát triển một hệ thống trợ giúp dẫn đường
hiệu quả và thân thiện trợ giúp NKT vẫn là chủ đề đầy thách thức, động lực để NCS
thực hiện đề tài: “Nghiên cứu phát triển một số kỹ thuật định vị dựa trên hình ảnh,
ứng dụng trợ giúp dẫn đường cho người khiếm thị”.

Mục tiêu và những thách thức
Xuất phát từ ý tưởng tạo ra một hệ thống hỗ trợ giống như người bạn đồng hành
có khả năng giao tiếp thân thiện và hiệu quả, luận án hướng đến nghiên cứu và phát
triển một số kỹ thuật định vị sử dụng thông tin hình ảnh ứng dụng trợ giúp dẫn đường
cho NKT.
Trong luận án, chúng tôi nghiên cứu và phát triển ứng dụng thực hiện tại môi
trường trong nhà, sử dụng robot dẫn đường. Ở đây, môi trường định nghĩa là môi
trường cảm thụ diện dẹp (như hành lang của tòa nhà) có độ rộng đủ lớn, được trang
1


bị các thiết bị công nghệ đảm bảo kết nối giữa các thành phần trong hệ thống. Đặc
điểm cơ bản của môi trường là tĩnh, ít thay đổi và đối tượng di chuyển là người chỉ
hoạt động trên mặt sàn không dốc, trong mỗi phiên làm việc chỉ trợ giúp 01 người.
Để đạt được mục tiêu này, robot cần có khả năng nhận biết và di chuyển giữa các
vị trí trong môi trường và nhận dạng được các vật cản trên đường đi. Do vậy, chúng
tôi chia các mục tiêu đạt được thành ba bài toán cụ thể:
1. Biểu diễn môi trường và định vị: Với mục tiêu dẫn đường cho NKT đi từ vị
trí hiện tại đến vị trí mong muốn trong môi trường, robot phải biết mình đang ở
đâu trong môi trường và đường đi đến vị trí đích như thế nào? để giải quyết vấn
đề này, bản đồ môi trường phải được xây dựng từ trước và robot có khả năng

định vị từ một vị trí bất kỳ trên bản đồ. Mặc dù có nhiều phương pháp đã được
đề xuất, hướng tiếp cận tổng quát và bền vững với các yếu tố môi trường đang là
những mục tiêu mà các nhà khoa học theo đuổi.
2. Phát hiện và ước lượng khoảng cách vật cản: Trong quá trình di chuyển,
để đảm bảo an toàn cho NKT cũng như cho sự di chuyển của robot, các vật cản
trong môi trường bao gồm vật cản tĩnh và động được phát hiện và cảnh báo về
mức độ nguy hiểm có thể gây ra.
Ngoài các thách thức chung của bài toán phát hiện đối tượng trong lĩnh vực thị
giác máy tính, như điều kiện chiếu sáng thay đổi: che khuất, bóng... luận án còn
giải quyết với chất lượng ảnh không tốt do rung lắc, camera di chuyển, ước lượng
khoảng cách từ NKT tới vật cản trong thời gian thực.
3. Dẫn đường, điều khiển và tương tác người robot: Trong ngữ cảnh của bài
toán robot dẫn đường thì việc tìm đường tối ưu là một phần quan trọng, đặc biệt
với việc dẫn đường cần phải thực hiện với độ chính xác cao trong khi vẫn đảm
bảo an toàn cho NKT.
Bên cạnh đó, điều khiển robot di chuyển đúng hành trình, giảm sai số định vị
là một thách thức trong lĩnh vực điều khiển động học. Tương tác người - robot
phải thân thiện, tự nhiên và hiệu quả để NKT cảm nhận được các trạng thái hệ
thống đang hoạt động và đưa ra các phản hồi kịp thời mà không mất đi các giác
quan tự nhiên là một bài toán đòi hỏi nhiều thời gian thử nghiệm trên NKT.

Những điểm mới của luận án
Để giải quyết 03 bài toán nêu trên, chúng tôi đã đề xuất và cải tiến một số phương
pháp với những đóng góp chính sau đây:

2


1. Mô hình biểu diễn môi trường theo hướng tiếp cận kết hợp bản đồ số liệu và bản
đồ topo cùng với các thông tin về vật cản của môi trường.

2. Đề xuất một kỹ thuật định vị dựa trên hình ảnh trong đó kỹ thuật VO* cho
phép làm giàu hơn thông tin về môi trường và giải thuật FAB-MAP* cho phép
nâng cao độ chính xác định vị.
3. Đề xuất phương pháp phát hiện nhanh và chính xác một số vật cản trong môi
trường.

Cấu trúc của luận án
Luận án gồm 4 chương với nội dung tóm tắt như sau:
◦ Chương 1: Tổng quan về hệ thống trợ giúp người khiếm thị giới thiệu
một số nghiên cứu trong và ngoài nước về trợ giúp định hướng NKT, phân tích
ưu nhược điểm của các phương pháp và đề xuất hệ thống “Trợ giúp dẫn đường
cho NKT di chuyển trong môi trường diện hẹp sử dung robot”.
◦ Chương 2: Biểu diễn môi trường và định vị đề xuất mô hình biểu diễn
môi trường và định vị dựa trên hình ảnh. Hai giải thuật với những cải tiến sẽ
được giới thiệu là giải thuật đo hành trình VO nhằm xây dựng bản đồ số liệu,
giải thuật xây dựng bản đồ topo và định vị FAB-MAP sử dụng hình ảnh.
◦ Chương 3: Phát hiện và ước lượng khoảng cách vật cản trình bày một
phương pháp đề xuất cho việc phát hiện vật cản dựa trên kỹ thuật đối sánh ảnh
và ước lượng khoảng cách vật cản dựa trên tính toán ảnh sai khác từ các quan
sát khác nhau trên 01 camera.
◦ Chương 4: Thử nghiệm và đánh giá hệ thống dẫn đường, trình bày hệ
thống dẫn đường hoàn chỉnh tích hợp các thiết bị phần cứng và phát triển thêm
một số chức năng khác như tìm đường, điều khiển, tương tác người robot sử dụng
các kỹ thuật cơ bản sẵn có. Phần thử nghiệm và đánh giá trên người dùng khiếm
thị 100% không nhìn thấy ánh sáng tại 03 môi trường khác nhau.

3


CHƯƠNG 1

TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP
NGƯỜI KHIẾM THỊ
1.1

Đặt vấn đề

Để nhận biết được thế giới xung quanh, con người sử dụng hệ giác quan gồm thị
giác, thính giác, khứu giác, vị giác và xúc giác. Mỗi giác quan đều có vai trò quan trọng
và hỗ trợ mật thiết cho nhau trong quá trình định hình không gian và thời gian cho
con người. Đối với người khiếm thị, khiếm khuyết thị giác làm cho họ rất khó khăn khi
hòa nhập vào xã hội. Việc cảm nhận thế giới xung quanh của họ lúc đầu thông qua
các giác quan còn lại như xúc giác (lần, sờ ), thính giác (nghe phản xạ âm thanh gần
và xa), khứu giác (ngửi ) hay vị giác (nếm) và dần dần hình thành thói quen.
Ngày nay, với sự phát triển vượt bậc của khoa học kỹ thuật, nhiều công nghệ đã
được nghiên cứu và triển khai trợ giúp NKT được hòa nhập nhiều hơn trong xã hội
trong nhiều hoạt động khác nhau. Trong khuôn khổ của luận án, chúng tôi tập trung
giải quyết bài toán trợ giúp dẫn đường cho NKT, cụ thể là dẫn NKT đi giữa hai vị
trí trong môi trường. Phần 1.2 của chương này trình bày các nghiên cứu trợ giúp dẫn
đường, dẫn hướng, tránh vật cản cho NKT. Các trợ giúp khác như đọc sách, đi mua
sắm trong siêu thị, v.v nằm ngoài phạm vi nghiên cứu của luận án. Phần 1.3 trình bày
hệ thống đề xuất với các chức năng chính.

1.2

Các nghiên cứu liên quan

1.2.1

Các nghiên cứu trên thế giới

Trên thế giới, chủ đề trợ giúp NKT đã thu hút đông đảo các nhà nghiên cứu phát
triển từ những năm 70 của thế kỷ trước. Cho đến nay, nhiều công trình nghiên cứu
và sản phẩm ứng dụng đã được đưa vào thực tế. Chúng tôi chia các phương pháp này
thành 05 nhóm chính dựa trên công nghệ sử dụng để thu nhận tín hiệu môi trường
phục vụ cho việc phân tích và cảnh báo cho NKT: Siêu âm, Hồng ngoại, Laser, Camera,
Đa cảm biến.

4


1.2.1.1 Siêu âm
Các phương pháp trợ giúp NKT sử dụng công nghệ siêu âm dựa trên nguyên lý
phản xạ của sóng siêu âm để đo khoảng cách từ nguồn phát sóng đến vật cản, các
nghiên cứu được phát triển trong thời gian dài của thập kỷ trước.
Nghiên cứu đầu tiên của Kay 1974 đề xuất kính siêu âm SonicGuide [76] dựa trên
ý tưởng định vị không gian sóng phản xạ của loài dơi. Với thiết kế đến dưới hình thức
của một cặp gọng kính trên đó có gắn cảm biến siêu âm và bộ thu tín hiệu. Cảm biết
siêu âm phát ra chùm tia siêu âm một góc hình nón (α = 5500 ). Bộ thu tín hiệu có
nhiệm vụ chuyển đổi tín hiệu phản xạ từ các đối tượng thành tín hiệu âm thanh phát
ra bên tai trái và phải người đeo kính. Sự chênh lệch biên độ từ nguồn âm thanh ở
hai tai cho phép NKT xác định hướng của tiếng vọng phản xạ của đối tượng. Kích
thước của đối tượng được mã hóa bởi tiếng vang tỉ lệ nghịch với tần số của nguồn âm
thanh. Vùng âm thấp thể hiện đối tượng ở gần. Các tín hiệu từ hai nguồn thu nhận
được chuyển tới mỗi tai một cách độc lập. Sự khác biệt biên độ dao động âm cho phép
phân biệt hướng của vật cản. Kính siêu âm Sonic Guide có thể hoạt động độc lập hoặc
có thể dùng như thiết bị thứ cấp, kết hợp với thiết bị cầm tay khác như gậy hoặc chó
dẫn đường để tăng hiệu quả dẫn đường cho NKT.
Leslie Kay 1984 đề xuất thiết bị tên Sonic torch [75] có khả năng hỗ trợ di chuyển
cho NKT thiết bị này có thiết kế nhỏ gọn dạng cầm tay giống như một chiếc đèn pin

bao gồm 2 phần, phần thứ nhất là các cảm biến siêu âm phát ta chùm sóng siêu âm
hướng phía trước và nhận được chùm tia phản xạ từ vật cản gần nhất, phần thứ hai
là hệ thống truyền âm thanh tới tai NKT.
Pressey 1977 đề xuất thiết bị cầm tay Mowat sensor [119] cho phép xác định vật
cản cầm tay. Thiết bị này có thiết kế nhỏ gọn, có thể bỏ túi khi không sử dụng. Thiết
bị này phát hiện vật cản phía trước bằng cách gửi chùm sóng siêu âm tần số ngắn và
nhận được chùm tia phản xạ. Nếu có vật cản phía trước, hệ thống sẽ phát ra âm báo
và rung lắc cho biết phía trước có vật cản. Phạm vị mà thiết bị phát hiện được vật
cản là 4m. Chùm tia phát ra hình elip với góc phương vị là (β = 1500 ) và góc ngẩng
(α = 3000 ). Tần số rung của thiết bị tỷ lệ với khoảng cách tới vật cản. Một rung động
ở tần số 4hz tương ứng với khoảng cách tới vật cản là 4m ngược lại nếu ở khoảng cách
1m thì tín hiệu rung lắc có tần số f = 40hz. Về ưu điểm, thiết bị này sản xuất với
chi phí thấp, thuận tiện cho người dùng khi di chuyển để xác định vật cản phía trước.
Tuy nhiên, để sử dụng thiết bị một cách hữu ích thì cần thêm chiếc gậy thông thường
trong một số tình huống di chuyển trong nhà hoặc người trời với phạm vi nhỏ.
Dodds và Allan 1984 đề xuất thiết bị siêu âm tìm đường có tên The Sonic
Pathfinder [39] hoạt động theo nguyên lý phản hồi âm thanh. Thiết bị này được kế

5


thừa các mặt tối ưu của các nghiên cứu trước như Mowat sensor [119] và Sonic torch
[75]. Hệ thống gồm có 5 đầu dò siêu âm gắn lên mũ trong đó 3 cảm biến siêu âm thu
nhận tín hiệu sóng siêu âm phản xạ, được chia làm 3 vùng: trái, phải, giữa và 2 bộ
phát tín hiệu siêu âm về hướng phía trước. Tín hiệu sóng siêu âm phản xạ từ các vật
cản trên đường đi nhận lại từ 3 bộ cảm biến này được truyền về bộ xử lý trung tâm.
Đầu ra là tín hiệu âm thanh được truyền vào một tai nghe hoặc cả hai. Tùy thuộc vào
vật cản nằm ở vùng trái hoặc vùng phải, nếu âm thanh có cả 2 tai nghe thì vật cản
nằm vùng trung tâm. Cứ 30cm thiết bị lại cảnh báo thông tin về vật cản cho NKT
một lần, phạm vi xác định là 0-2.5m.

Một số sản phẩm thương mại tiêu biểu có thể kể đến là iNavBelt [12] [132], gắn
trên đầu NKT sử dụng cảm biến siêu âm quét một góc α = 1200 phía trước NKT cho
phép phát hiện các vật cản phía trước họ. Sản phẩm có tên GuideCane [14] là chiếc
gậy có gắn cảm ứng siêu âm ở đầu có khả năng phát hiện các chướng ngại vật và đồ
vật xung quanh người sử dụng thông qua lực tương tác nhỏ ở phần đầu của gậy chỉ
đường. Thiết bị EyeRing[105] là thiết bị kích thước nhỏ bằng đốt ngón tay, có khả
năng truyền tải thông tin hình ảnh sang dạng tín hiệu dưới vành tai. Hiện nay, thiết
bị này đã có thể truyền tải các thông tin về màu sắc, văn bản, nhận dạng chữ số được
gắn trên sản phẩm. Mặc dù những thông tin này là hữu ích trong một số môi trường
tuy nhiên nó còn hạn chế: khả năng hỗ trợ một lượng giới hạn thông tin, NKT phải
điều khiển với sự tập trung cao độ. Các nhà nghiên cứu tại MIT gần đây cũng đã phát
minh việc sử dụng thêm một số cảm biến cho thiết bị này, ví dụ: cảm biến độ sâu, cảm
biến quán tính, gia tốc.
Tại Châu Âu, nghiên cứu có tên GuideCane được đề xuất bởi Ulrich 2001 [141] là
gậy thông minh có khả năng tránh vật cản. Thiết kế phần cứng giống như một cây gậy
có gắn bánh xe, phía đầu dưới có gắn 10 cảm biến siêu âm, trong đó 8 cảm biến được
gắn hình vòng cung, mỗi cái cách nhau một góc α = 150 , 2 cảm biến được gắn 2 bên.
Các cảm biến có nhiệm vụ phát hiện vật cản trong phạm vi góc α = 1200 trước NKT.
Nghiên cứu trợ giúp NKT khi mua hàng tại siêu thị có tên RoboCart [83] [58] [85] [56]
[57] [84] được đề xuất bởi Vladimir Kulyukin và các cộng sự trong khoảng thời gian
2005 - 2009. Robot có khả năng trợ giúp chọn lựa sản phẩm mong muốn từ kho lưu
trữ của hàng ngàn sản phẩm. Để làm được điều này công nghệ RFID đã được áp dụng
để định vị. Các thẻ RF được dán dưới thảm tại các vị trí quan trọng trong siêu thị.
Robot được trang bị 01 máy tính kết nối với một đầu đọc thẻ RFID reader, 01 ăng ten
thu tín hiệu, 01 cảm biến laser LRF truyền tín hiệu về máy tính giúp cho robot có thể
phát hiện được vật cản phía trước, 01 bộ động cơ gồm cơ cấu 2 bánh giúp cho robot
di chuyển dễ dàng nhờ phần mềm điều khiển được cài đặt trong máy tính. Mặc dù có
nhiều nỗ lực trong cải tiến phương thức giao tiếp, những sản phẩm này vẫn có những
hạn chế cố hữu như giới hạn nguồn thông tin, không có tính tương tác với người dùng.
6

1.2.1.2 Hồng ngoại
Loughborough 1979 phát triển thiết bị có tên Talking Signs [90], sử dụng bộ phát
hồng ngoại lưu giữ bộ tiếng nói tổng hợp của vị trí cần trợ giúp được lắp đặt trên các
điểm quan trọng trên toàn hộ hành trình. NKT được trang bị bộ thu tín hiệu hồng
ngoại có khả năng chuyển đổi tín hiệu hồng ngoại thành tín hiệu âm thanh. Ứng dụng
này cho phép NKT biết được vị trí hiện tại của mình, như trước cửa phòng, phía trước
con đường. Tuy nhiên, nghiên cứu này cũng có những nhược điểm như khả năng lưu
trữ thông tin, chi phí lắp đặt nhiều nguồn phát.
1.2.1.3 Laser
Từ những năm 70 của thế kỷ trước, nhiều công trình khoa học công bố sử dụng
công nghệ laser gắn trên gậy để trợ giúp di chuyển cho NKT đã được đề xuất. Năm
1970, Benjamin và các đồng nghiệp đã dựa trên ý tưởng xác định và tránh vật cản được
đề xuất bởi [11] để thiết kế chế tạo gậy dẫn đường có gắn cảm biến quang. Năm 1973
ông phát triển gậy dẫn đường gắn cảm biến laser [8] nhằm phát các hiện vật cản nhô
ra trên mặt đường. Khi hoạt động, chùm tia laser được phát ra ở tần số f = 200Hz
phía trước khoảng 50cm trên mặt đất. Độ cao mà chùm tia có thể phát hiện vật cản
từ điểm gắn cảm biến laser trên gậy là 40cm đến 60cm. Khi phát hiện ra vật cản phía
trước, thiết bị phát ra tiếng bíp ở tần số f = 2600Hz đủ để người khiếm thị có thể
nghe thấy. Gậy hoạt động liên tục được 3 tiếng với nguồn pin 6 vôn. Nghiên cứu này
có ưu điểm bởi tính gần gũi như gậy truyền thống của NKT. Tuy nhiên, do gắn các
thiết bị nên gậy có trọng lượng lớn, việc cầm nắm di chuyển kém linh động hơn. Do
đó thiết bị này là một bước đột phá trong lĩnh vực trợ giúp NKT thập kỷ 70.
1.2.1.4 Camera
Sử dụng camera để thay thế đôi mắt thu nhận thông tin hình ảnh về môi trường
là một hướng tiếp cận tự nhiên. Có nhiều nghiên cứu đã được đề xuất và triển khai
theo hướng tiếp cận, như:
Năm 1992, Meijer và đồng nghiệp đã thiết kế và phát triển một hệ thống vOICe
biến đổi trực tiếp hình ảnh thu nhận được từ môi trường bởi 01 camera thành một bản

đồ âm thanh để giúp cho NKT có thể nhận biết về môi trường [95]. Cường độ của âm
thanh sẽ tỷ lệ với cường độ sáng của điểm ảnh tương ứng. Việc ánh xạ thông tin ảnh
sang âm thanh sẽ tạo ra bản đồ âm rất phức tạp, nhất là trong môi trường có nhiều
đối tượng, bản đồ âm sẽ rất nhiễu gây khó khăn cho NKT khi sử dụng. Việc người
dùng hiểu được bản đồ âm thanh đòi hỏi phải trải qua quá trình huấn luyện lâu dài.
Hơn nữa, với phương pháp này, bản đồ âm được sinh ra liên tiếp đòi hỏi cơ quan thính
7


giác của NKT liên tục phải hoạt động, từ đó dễ gây mệt mỏi cũng như đánh mất khả
năng nhận biết thông qua thính giác của NKT.
Trong [71], các nhà nghiên cứu thuộc đại học Stuttgart - Đức đã thiết kế hệ thống
gồm gậy có gắn 02 camera, la bàn số, máy tính xách tay xử lý các tín hiệu thu thập
được từ cảm biến nhằm trợ giúp di chuyển cho NKT trong môi trường trong nhà. Các
cảm biến hình ảnh thu nhận thông tin môi trường, các giải thuật xử lý hình ảnh được
áp dụng để phát hiện vật cản. Thông tin vật cản được gửi đến người dùng thông qua
bộ tổng hợp tiếng nói và truyền đến tai của người nghe. So với thiết bị vOICe, sự
trợ giúp của giải thuật xử lý hình ảnh, lượng thông tin truyền tải đến tai người nghe
đã được phân tích, chọn lọc nên thông tin cô đọng hơn, nhất là cách thức truyền tải
thông qua tiếng nói tổng hợp nên không đòi hỏi phải huấn luyện NKT trước khi dùng.
Năm 2012, Rodrguez và các đồng nghiệp đã phát triển một hệ thống trợ giúp NKT di
chuyển tránh vật cản sử dụng camera kép [125]. Với việc sử dụng camera kép, bản đồ
độ sâu trước camera được tính toán một cách dễ dàng. Từ đó, mặt đường được xác
định, cho phép phát hiện các đối tượng vật cản nằm trên mặt đường. Phản hồi âm
thanh được sử dụng để thông báo với NKT về vật cản trên đường đi.
Các hệ thống sử dụng camera kép dễ dàng xác định được bản đồ độ sâu nhưng
giá thành tương đối đắt và đòi hỏi quá trình hiệu chỉnh phức tạp. Trong [9], các tác
giả giới thiệu hệ thống sử dụng cảm biến Kinect phát triển bởi Microsoft. Cảm biến
này được gắn vào đai thắt lưng của NKT. Các thông tin thu được từ Kinect sẽ được
xử lý bằng cách chuyển thông tin độ sâu và hình ảnh sang biểu diễn dạng đám mây

điểm, phát hiện vật cản trên đám mây điểm, phân tích thông tin gia tốc để xác định
tốc độ chuyển động của người sử dụng, và truyền tín hiệu âm thanh. Những phương
pháp trình bày phía trên đều sử dụng âm thanh để phản hồi đến người dùng. Như đã
phân tích, việc sử dụng tín hiệu âm thanh làm cho hạn chế hoạt động của thính giác,
là một trong những giác quan quan trọng để NKT cảm nhận và di chuyển. Để không
ảnh hưởng đến giác quan này, hướng tiếp cận sử dụng xúc giác trên một số bộ phận
của cơ thể người như trên lưỡi, đầu ngón tay...
Trong [72] thiết kế thiết bị chuyển đổi thông tin hình ảnh thành các tín hiệu tiếp
xúc. Thiết bị gồm đai đeo với 14 bộ rung đặt cách nhau, hai camera quan sát môi
trường. Tín hiệu hình ảnh thu được từ hai camera cho phép tái tạo bản đồ độ sâu phía
trước NKT. Bản đồ này sau đó được chia thành 14 vùng theo chiều dọc. Khi có vật
cản xuất hiện ở trong vùng, cảm biến rung tương ứng với vùng đó được kích hoạt thì
tần số của tín hiệu sẽ thể hiện khoảng cách của vật cản.
Song song với việc phản hồi thông tin thông qua các cảm biến rung, hướng tiếp
cận khác sử dụng các phản hồi thông qua việc phát ra các xung điện kích hoạt đến
các tế bào thần kinh trên bề mặt da, lưỡi cũng được nhiều nhà khoa học theo đuổi.
8