Luận án tiến sĩ nghiên cứu và phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị (TT)

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

NGUYỄN QUỐC HÙNG

NGHIÊN CỨU VÀ PHÁT TRIỂN MỘT SỐ KỸ THUẬT
ĐỊNH VỊ DỰA TRÊN HÌNH ẢNH, ỨNG DỤNG
TRỢ GIÚP DẪN ĐƯỜNG CHO NGƯỜI KHIẾM THỊ

Chuyên ngành: Khoa học Máy tính
Mã số: 62480101

TÓM TẮT LUẬN ÁN TIẾN SĨ KHOA HỌC MÁY TÍNH

Hà Nội − 2016


Công trình được hoàn thành tại:
Trường Đại học Bách khoa Hà Nội

Người hướng dẫn khoa học:
1. TS. Trần Thị Thanh Hải
2. PGS.TS. Nguyễn Quang Hoan

Phản biện 1:
Phản biện 2:
Phản biện 3:

Luận án được bảo vệ trước Hội đồng đánh giá luận án tiến sĩ
cấp Trường họp tại Trường Đại học Bách khoa Hà Nội:
Vào hồi..............giờ, ngày.......tháng.......năm.......

Có thể tìm hiểu luận án tại thư viện:
1. Thư viện Tạ Quang Bửu - Trường ĐHBK Hà Nội
2. Thư viện Quốc gia Việt Nam


MỞ ĐẦU
Tính cấp thiết, ý nghĩa khoa học của luận án
Năm 2013, theo công bố của Tổ chức Y tế thế giới (WHO) trên thế giới có khoảng 285
triệu người suy giảm thị lực, trong đó 246 triệu người có thị lực kém ở mức độ vừa phải
đến mức độ nặng và 39 triệu người mù [19]. Tại Việt Nam, theo số liệu của Viện mắt Trung
ương cung cấp, có khoảng 1.2 triệu người khiếm thị (NKT), trong đó 820.503 người không
còn khả năng nhìn thấy ánh sáng. Nếu tính cả những người bị các tật về mắt như cận hoặc
viễn thì con số này còn lớn hơn rất nhiều.
Số lượng NKT lớn, bản thân NKT gặp nhiều khó khăn trong cuộc sống cũng như nắm
bắt các cơ hội việc làm. Chính vì vậy, trợ giúp NKT là vấn đề thu hút sự quan tâm của
nhiều nhà khoa học trong thời gian gần đây. Trong số các yêu cầu trợ giúp, trợ giúp định
hướng là cần thiết và chỉ dẫn để giúp họ tránh các vật cản trên đường đi hay đưa ra các
thông báo về môi trường xung quanh.
Trên thực tế, nhiều phương pháp đã được nghiên cứu và triển khai nhằm hỗ trợ định
hướng cho NKT, như sử dụng gậy [8], chó dẫn đường [8], hay thiết bị điện tử [2]. Mỗi phương
pháp có những ưu nhược điểm riêng: gậy dẫn đường bị hạn chế phạm vi phát hiện vật cản
theo kích thước của gậy; chó dẫn đường thường có chi phí cao và gây trở ngại về tâm sinh
lý đối với người dùng; thiết bị điện tử như các điện cực đặt trên lưỡi có thể gây tâm lý ngại
ngần khi sử dụng.
Trong bối cảnh này, nghiên cứu và phát triển một hệ thống trợ giúp dẫn đường hiệu
quả và thân thiện trợ giúp NKT vẫn là chủ đề đầy thách thức, động lực để NCS thực hiện
đề tài: “Nghiên cứu phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp
dẫn đường cho người khiếm thị”.

Mục tiêu và những thách thức
Xuất phát từ ý tưởng tạo ra một hệ thống hỗ trợ giống như một người bạn đồng hành
có khả năng giao tiếp thân thiện và hiệu quả. Luận án hướng đến phát triển một hệ thống
trợ giúp định hướng và cảnh báo vật cản cho NKT sử dụng robot di động.
Để đạt được mục tiêu này, robot cần có khả năng nhận biết và di chuyển giữa các vị trí
trong môi trường và nhận dạng được các vật cản trên đường đi. Do vậy, chúng tôi chia các
mục tiêu đạt được thành ba bài toán cụ thể:
1. Biểu diễn môi trường và định vị: Với mục tiêu dẫn đường cho NKT đi từ vị trí
hiện tại đến vị trí mong muốn trong môi trường, robot phải biết mình đang ở đâu
trong môi trường và đường đi đến vị trí đích như thế nào. Để giải quyết vấn đề này,
bản đồ môi trường phải được xây dựng từ trước và robot phải có khả năng định vị từ
một vị trí bất kỳ trên bản đồ. Mặc dù có nhiều phương pháp đã được đề xuất, hướng
tiếp cận tổng quát và bền vững với các yếu tố môi trường đang là những mục tiêu mà
các nhà khoa học theo đuổi.
2. Phát hiện và ước lượng khoảng cách vật cản: Trong quá trình di chuyển, để đảm
bảo an toàn cho NKT cũng như cho sự di chuyển của robot, các vật cản trong môi
trường bao gồm vật cản tĩnh và động cần phải được phát hiện và cảnh báo về mức
độ nguy hiểm có thể gây ra. Ngoài các thách thức chung của bài toán phát hiện đối
tượng trong lĩnh vực thị giác máy tính như điều kiện chiếu sáng thay đổi, che khuất,
1


bóng, luận án còn phải giải quyết với chất lượng ảnh không tốt do rung lắc của thiết
bị, camera di chuyển và ước lượng khoảng cách giữa NKT và vật cản trong thời gian
thực.
3. Dẫn đường, điều khiển và tương tác người robot: Trong ngữ cảnh của bài toán
robot dẫn đường thì việc tìm đường tối ưu là một phần quan trọng, đặc biệt với việc
dẫn đường cần phải thực hiện với độ chính xác cao trong khi vẫn đảm bảo an toàn
cho NKT. Bên cạnh đó, điều khiển robot di chuyển đúng hành trình, giảm sai số định
vị là một thách thức trong lĩnh vực điều khiển động học. Tương tác người-robot phải

thân thiện, tự nhiên và hiệu quả để NKT cảm nhận được các trạng thái hệ thống đang
hoạt động và đưa ra các phản hồi kịp thời mà không mất đi các giác quan tự nhiên là
một bài toán đòi hỏi nhiều thời gian thử nghiệm trên người dùng khiếm thị.

Những điểm mới của luận án
Để giải quyết 03 bài toán nêu trên, chúng tôi đã đề xuất và cải tiến một số phương
pháp với những đóng góp chính sau đây:
1. Đề xuất mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa trong đó bản
đồ số liệu và bản đồ topo được tích hợp cùng với các thông tin về vật cản tĩnh trong
môi trường.
2. Nâng cao độ chính xác của giải thuật xây dựng bản đồ và định vị sử dụng hình ảnh,
vốn thường được thiết kế cho môi trường ngoài trời nhưng gặp phải các khó khăn khi
hoạt động trong môi trường trong nhà.
3. Đề xuất phương pháp phát hiện một số vật cản phù hợp với ngữ cảnh của bài toán
robot dẫn đường.
4. Chứng minh bằng thực nghiệm tính khả thi của giải pháp đề xuất thông qua việc phát
triển ứng dụng trợ giúp định hướng NKT sử dụng robot.

Cấu trúc của luận án
Luận án gồm 4 chương với nội dung tóm tắt như sau:
◦ Chương 1: Tổng quan về thống trợ giúp người khiếm thị giới thiệu một số
nghiên cứu trong và ngoài nước về trợ giúp định hướng NKT, phân tích ưu nhược điểm
của các phương pháp và đề xuất hệ thống “Trợ giúp dẫn đường cho NKT di chuyển
trong môi trường diện hẹp sử dung robot”.
◦ Chương 2: Biểu diễn môi trường và định vị đề xuất mô hình biểu diễn môi
trường và định vị dựa trên hình ảnh. Hai giải thuật với những cải tiến sẽ được giới
thiệu là giải thuật đo hành trình VO nhằm xây dựng bản đồ số liệu, giải thuật xây
dựng bản đồ topo và định vị FAB-MAP sử dụng hình ảnh.
◦ Chương 3: Phát hiện và ước lượng khoảng cách vật cản trình bày một phương
pháp đề xuất cho việc phát hiện vật cản dựa trên kỹ thuật đối sánh ảnh và ước lượng

khoảng cách vật cản dựa trên tính toán ảnh sai khác từ các quan sát khác nhau trên
01 camera.
◦ Chương 4: Thử nghiệm và đánh giá hệ thống dẫn đường, trình bày hệ thống
dẫn đường hoàn chỉnh tích hợp các thiết bị phần cứng và phát triển thêm một số chức
năng khác như tìm đường, điều khiển, tương tác người robot sử dụng các kỹ thuật cơ
bản sẵn có. Phần thử nghiệm và đánh giá trên người dùng khiếm thị 100% không nhìn
thấy ánh sáng tại 03 môi trường khác nhau.
2


CHƯƠNG 1
TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP
NGƯỜI KHIẾM THỊ
1.1

Đặt vấn đề

1.2

Các nghiên cứu liên quan

1.2.1

Các nghiên cứu trên thế giới

1.2.2

Các nghiên cứu trong nước

1.2.3

Thảo luận

Các nghiên cứu và phân tích trên đây cho thấy các phương pháp trợ giúp NKT hiện tại
có một số ưu nhược điểm sau:
Các phương pháp sử dụng laser, lidar, siêu âm cho phép xác định nhanh và trợ giúp
cảnh báo thông tin vật cản cho NKT hoặc hỗ trợ trong quá trình đi lại. Tuy nhiên
nhóm các phương pháp này không xác định đối tượng vật cản là gì, mức độ nguy hiểm
ra sao và không có khả năng dẫn đường NKT trong môi trường.
Các phương pháp sử dụng hình ảnh đòi hỏi kỹ thuật xử lý hình ảnh phức tạp hơn,
tuy nhiên lượng tin nhiều hơn, cho phép phân loại đối tượng, xác định khoảng cách
và mức độ nguy hiểm. Cho nên nhóm các phương pháp này gặp nhiều thách thức của
các bài toán thị giác máy tính, dẫn hướng sử dụng hình ảnh, v.v.
Trong tất cả các phương pháp nêu trên, không có phương pháp nào thực hiện dẫn
đường cho NKT đến vị trí mong muốn mà chỉ hỗ trợ trong quá trình đi lại. Các
phương pháp cảnh báo vật cản chỉ dừng lại ở cảnh báo có hay không mà không chỉ rõ
đối tượng và mức độ nguy hiểm là gì.

1.3
1.3.1

Mục tiêu nghiên cứu và phương pháp đề xuất
Mục tiêu và phạm vi nghiên cứu

Trong khuôn khổ của LATS, chúng tôi đi theo hướng tiếp cận sử dụng cảm biến camera
bởi lượng thông tin hình ảnh thu thập được phong phú, cho phép đồng thời thực hiện bài
toán dẫn đường và phát hiện vật cản. Hơn nữa, cảm biến hình ảnh ngày càng có giá thành
rẻ và thông dụng với người dùng. Mục tiêu chúng tôi muốn hướng đến là:
− Nghiên cứu và phát triển một số kỹ thuật định vị sử dụng thông tin hình ảnh hiệu quả
phù hợp với môi trường trong nhà

− Ứng dụng triển khai hệ thống trợ giúp dẫn đường và cảnh báo vật cản cho NKT một
cách hiệu quả và thân thiện.
Trong LATS này, trợ giúp dẫn đường được hiểu là dẫn NKT di chuyển đến vị trí mong
muốn trên bản đồ với các cảnh báo về vật cản. Khi thiết kế một hệ thống, chúng tôi đều phải
dựa trên một số ràng buộc theo đặc thù của môi trường triển khai. Môi trường trong nhà
hay ngoài trời đều có những thách thức riêng. Do vậy chúng tôi giới hạn pham vi nghiên cứu
là môi trường trong nhà diện hẹp ví dụ như hành lang tòa nhà có gắn các thiết bị (wi-fi),
3


cm bin (camera) cho phộp thu thp cỏc tớn hiu ca mụi trng nhm phc v cho cỏc
ng dng khỏc nhau. H thng xut ch phc v 01 ngi dựng ti mt thi im.
1.3.2

Phng phỏp xut

Cỏc thnh phn chớnh ca h thng xut c mụ t nh trong Hỡnh 1.1 gm robot
di ng cú gn camera thu nhn hỡnh nh mụi trng, thc hin cỏc phộp x lý tớnh toỏn
tr li 02 cõu hi chớnh: i) robot ang õu? cú nhng vt cn gỡ? ii) lm th no dn
NKT i n v trớ mong mun? khi NKT s dng in thoi di ng cú kt ni khụng dõy
iu khin v nhn phn hi t h thng. Trong quỏ trỡnh dn, NKT bỏm vo mt im
trờn robot i theo.




ẹieọn thoaùi
thoõng minh

Maùng Wireless

Camera

Hỡnh 1.1 Cỏc thnh phn chớnh ca h thng xut Robot tr giỳp NKT
tr li cỏc cõu hi ó t ra, 5 bi toỏn sau s ln lt gii quyt trong cỏc chng
2, 3, 4 ca lun ỏn:
Biu din mụi trng (chng 2): Do yờu cu ca bi toỏn l dn ng gia hai v
trớ nờn bn ca mụi trng cn phi xõy dng t trc pha ngoi tuyn.
nh v (chng 2): dn ng n v trớ mong mun, robot cn phi bit v trớ
hin ti ca nú õu trờn bn mụi trng.
Phỏt hin v c lng khong cỏch vt cn (chng 3): cnh bỏo vt cn, cỏc vt
cn tnh v ng trong mụi trng phi c phỏt hin v khong cỏch t robot n
vt cn phi c c lng.
Tỡm ng v iu khin di chuyn (chng 4): dn ng, robot phi tỡm ng
t v trớ hin ti n v trớ ớch v phi c iu khin di chuyn gia hai v trớ.
Tng tỏc ngi - h thng (chng 4): Yờu cu ca ngi dựng v ỏp ng ca h
thng phi c thc hin mt cỏch t nhiờn, thõn thin v hiu qu.
Trong phm vi nghiờn cu ca lun ỏn, chỳng tụi tp trung nghiờn cu gii quyt bi
toỏn 1, 2, 3 v phỏt trin ng dng hon chnh. Cỏc bi toỏn cũn li c gii quyt da
trờn cỏc cụng c cú sn.

1.4

Kt lun chng 1
4


CHƯƠNG 2

BIỂU DIỄN MÔI TRƯỜNG VÀ ĐỊNH VỊ
2.1

Giới thiệu chung

2.2

Những nghiên cứu liên quan

2.3

Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường

Xuất phát từ mục tiêu của luận án nghiên cứu phương pháp định vị sử dụng hình ảnh
hỗ trợ cho bài toán trợ giúp dẫn đường cho NKT, chúng tôi đề xuất mô hình biểu diễn môi
trường theo hướng tiếp cận lai ngữ nghĩa.
Ý nghĩa của cụm từ lai ngữ nghĩa được giải thích như sau. Bản đồ của môi trường được
cấu thành từ bản đồ số liệu và bản đồ topo. Ngoài ra, các thông tin vật cản tĩnh của môi
trường ở từng vị trí trên bản đồ cũng được xác định và đưa vào mô hình biểu diễn môi
trường như mô tả trong Hình 2.1 dưới đây:

y(m)
ĐỊNH NGHĨA CÁC THÀNH PHẦN:

Hội trường

◦ Bản đồ được biểu diễn theo cấu trúc topo gồm một tập
N điểm trong môi trường sao cho tồn tại đường đi giữa
hai điểm kề cận:
WC

LN = {L1 , L2 , ..., LN }

LN

WC

Phòng họp

◦ Mỗi điểm Li với i = 1, N chứa các thông tin sau:
Phòng ngủ
số 6

Li = {Mi, Z i , Oi }

Ii

Trong đó:

Phòng ngủ

1. Mi = {xi , yi , zi } tọa độ điểm mốc trong hệ quy chiếu
đã được định nghĩa. Tọa độ được tính theo đơn vị (m)

số 5

Li
Phòng ngủ
số 4

2. Z : Mô hình quan sát tại vị trí Li
i

3. Oi = {Oi1 , Oi2 .., Oij }: Tập vật cản xuất hiện trên ảnh Ii

Phòng ngủ
số 3

vị trí Li thu nhận

Điểm mốc

L1
(0, 0)

Hình 2.1 Mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa
Để biểu diễn môi trường theo mô hình này, các nhiệm vụ sau cần thực hiện:
5

x(m)


1. Xác định các vị trí mốc trong môi trường Li với i = 1, N
2. Xác định tọa độ các vị trí mốc trong môi trường Mi = (xi , yi , zi ).
3. Xác định các vật cản Oi = {Oi1 , Oi2 ...Oij } trên ảnh Ii thu tại vị trí Li . Tập vật cản
Oi thuộc các tập định nghĩa từ trước và hình dạng vật cản không ảnh hưởng đến mô
hình biểu diễn, chi tiết phương pháp xác định vật cản được trình bày tại CHƯƠNG
III của luận án.

2.4

2.4.1

Phương pháp xây dựng bản đồ môi trường
Xây dựng bản đồ số liệu

Bài toán đo hành trình sử dụng hình ảnh được phát biểu như sau: Cho trước chuỗi hình
ảnh liên tiếp thu thập từ camera I = {I1 , I2 , ..., IN } trong đó N là tổng số ảnh thu thập được.
Xác định vị trí camera của trong quá trình di chuyển P = {P1 , P2 , ...PN −1 }. Nếu vị trí ban
đầu được biết trước, vị trí tiếp theo được xác định bởi một phép biến đổi T trừ đi vị trí trước
đó đến vị trí hiện tại, trong đó T cấu thành từ chuyển động tịnh tiến tii−1 và chuyển động
i
quay Ri−1
của camera giữa thời điểm hiện tại i và thời điểm trước đó i − 1.
i
Ti−1
=

i
Ri−1
tii−1
0
1

(2.1)

i
i
trong đó Ti−1
∈ ℜ3×3 , tii−1 ∈ ℜ1×3 , Ri−1
∈ ℜ2×3 .

Phương pháp VO của Van Hamme và đồng nghiệp đề xuất năm 2011 [13] được đánh giá
trong môi trường ngoài trời với camera lắp đặt trên xe chạy với tốc độ 70km/h. Khi áp dụng
vào môi trường trong nhà với camera gắn trên robot đi với tốc độ chậm, phương pháp này
gặp một số khó khăn và thách thức. Trong phần dưới đây, chúng tôi sẽ trình bày trước tiên
phương pháp VO, các thích nghi VO trong nhà gọi tắt là VO* sẽ được trình bày sau đó.
2.4.1.1 Phương pháp đo hành trình bằng hình ảnh sử dụng mô hình không chắc chắn
Ý tưởng của giải thuật VO đề xuất trong [13] sử dụng mô hình không chắc chắn của
chuyển động của camera và chuyển động của xe để tính toán các tứ giác tương ứng với các
điểm đặc trưng tại khung hình hiện tại cũng như chuyển động của các điểm đặc trưng trong
khung hình trước đó. Sau đó chuyển động của camera giữa hai khung hình liên tiếp được
ước lượng từ sự chồng lấp của các tứ giác.
Với chuỗi hình ảnh liên tiếp thu thập được I = {I1 , I2 , ..., IN }, thuật toán VO gồm N −1
bước lặp, tại bước lặp thứ i với i = 2, N thực hiện các bước:
1. Trích chọn đặc trưng Harris Corner[14] trên khung hình Ii . Chi tiết phương pháp trích
chọn đặc trưng có trong PHỤ LỤC A.1 của luận án.
[I(x + u, y + v) − I(x, y)]2

E(u, v) =

(2.2)

w

Trong đó: E(u, v) là hàm tương quan tính toán trên ảnh I; u, v là dịch chuyển của điểm
x, y trên hàm cửa số w, khi đó w nhận hai giá trị 0/1 hoặc thông qua hàm Gaussian
xác định giá trị cho w.
Kết quả thu được là tập Mi điểm đặc trưng {KPij } với j = 1, Mi . Số điểm đặc trưng
quyết định bởi ngưỡng θV O đưa vào tính Công thức (2.3). KPij phụ thuộc vào R là
việc lấy ngưỡng θV O (R ≥ θV O ) và R là các đáp ứng góc tính như sau:

R = λ1 λ2 − k(λ1 + λ2 )2
6

(2.3)


2. Tính toán các P UTij tương ứng với các đặc trưng KPij dựa trên mô hình không chắc
chắn của camera. Cụ thể mỗi P UTi j là một hình tứ giác bao quanh điểm KPi j . Mỗi
góc của tứ giác được xác định từ một tổ hợp của bộ (góc ngẩng, góc nghiêng) của
camera.
3. Tính toán các MUTij tương ứng với các đặc trưng Harris KPij dựa trên mô hình
chuyển động không chắc chắn của robot. Cụ thể mỗi MUTij là một hình tứ giác bao
quanh điểm KPij . Mỗi góc của tứ giác được xác định từ một tổ hợp của bộ (vận tốc,
góc lái) của robot.
4. Tạo ảnh tương đồng giữa các P UTij ở thời điểm i với các MUTi−1 j ở thời điểm trước
đó i − 1. Ảnh này thể hiện mức độ tương đồng trong không gian của góc lái và vận
tốc, Giá trị điểm ảnh lớn nhất biểu thị tọa độ sự tương đồng giữa PUT và MUT lớn
nhất, tương ứng với giá trị góc lái và vận tốc cần xác định cho phép ước lượng tham
số chuyển động của camera, từ đó tái tạo lại hành trình di chuyển.
Bước lặp thứ i:

Ii , M U Ti−1,k
k = 1, Mi−1

Ii




E(u, v) =



Trích chọn đặc trưng
Harris trên ảnh Ii

w [I(x

+ u, y + v) − I(x, y)]2

R = λ1 λ2 − k(λ1 + λ2 )2






KPij

R ≥ θV O

j = 1, Mi

PUT: Perspective Uncertainty Tetragons
MUT: Motion Uncertainty Tetragon

KeyPoint(Harris corners)

Tính các PUT
trên ảnh Ii

Tính các MUT
trên ảnh Ii

P U Tij

M U Tij
j = 1, Mi

j = 1, Mi

M U Ti

P U Ti
Tính ảnh tương đồng từ
P U Tij

và

M U Ti−1
i = 1, Mi−1

j = 1, Mi

90
80
70
60
50
40

Xếp chồng P U Ti và M U Ti

Ảnh
tương đồng

Ước lượng tham số
i
i
; Ri−1
Ti−1

30
20
10
0
-10
-60

-50

-40

-30

-20

-10

0

10

Hành trình đo được

Hình 2.2 Các bước giải thuật đo hành trình bằng thông tin hình ảnh VO
Khi triển khai giải thuật VO ở một số môi trường trong nhà khác nhau (hành lang của
7


tòa nhà) thì hành trình tái tạo được bị sai số nhiều so với thực tế, nhất là tại một số vị trí
khi robot thực hiện phép quay (xem Hình 2.3).
y(m)

y(m)

y(m)

140

140

140

120

120

60

100

100

50

80

80

40

60

60

40

Bản đồ

20

30

Thực đòa

Thực đòa

Bản đồ

40

20

-25

0

25

50

(a) Trường THCS Nguyễn Đình Chiểu

Bản đồ

20

10

x(m)
-50

Thực đòa

x (m)

x(m)
-50

-25

25

0

50

(b) Thư viện Tạ Quang Bửu – ĐHBK Hà Nội

-40

-30

-20

-10

0

10

(c) Viện nghiên cứu MICA – ĐHBK Hà Nội

Hình 2.3 Một số trường hợp lỗi tích lũy khi xây dựng bản đồ
2.4.1.2 Thích nghi VO cho mơi trường trong nhà
Để nâng cao độ chính xác của bản đồ tái tạo, chúng tơi đề xuất một giải pháp đơn giản
dễ thực hiện để nâng số điểm đặc trưng phát hiện được trên mỗi khung hình. Cụ thể chúng
tơi tạo các điểm đánh dấu trên đường đi (xem Hình 2.4) với quy trình tạo các điểm đánh
dấu trên mặt sàn như sau:

(a) Tạo các điểm đánh dấu
trên dọc hành trình

(b) Phóng to vùng đánh dấu

Hình 2.4 Tạo các điểm đánh dấu dọc hành trình
− Số lượng điểm đánh dấu trên mặt sàn diện tích S = 1m2 có từ 16-20 điểm đánh dấu
dán cách đều nhau từ 15-20 cm (xem Hình 2.5).
− Hình dáng của điểm đánh dấu là hình có góc cạnh chữ nhật, hình vng, bình hành
(do ưu điểm của đặc trưng Harris Corner [14] phát hiện góc). Các mẫu khác như hình
tròn, elip...khơng khuyến khích sử dụng vì số phát hiện trên các điểm đánh dấu này
là rất ít (xem Hình 2.6d)
− Khơng phân biệt màu sắc của các điểm đánh dấu như trắng, đen, vàng, đỏ...(xem Hình
2.6b)
8


− Tạo các điểm đánh dấu q dày (số điểm đánh dấu > 100 điểm/1m2 ) hoặc q thưa
(số điểm đánh dấu <= 3 điểm /1m2 ) đều ảnh hưởng đến việc đối sánh ảnh liên tiếp
(xem Hình 2.6c), nếu giải ngẫu nhiên khó kiểm sốt phân bố đặc trưng (xem Hình
2.6a).
Dưới đây là kết quả khi thực hiện thích nghi giải thuật VO* trong nhà với phương pháp
tạo điểm đánh dấu.

(a) Chưa đánh dấu

(b) Đã tạo các điểm đánh dấu

Hình 2.5 Minh họa số điểm đặc trưng phát hiện trên mặt sàn
Ngồi ra, chúng tơi thực hiện thêm các thí nghiệm khác nhau thể khẳng định những

lập luận phía trên và khuyến cáo cho người phát triển hệ thống khi thực hiện VO* trong
mơi trường trong nhà.

b) Không phân biệt màu sắc

a) Tạo các điểm đánh dấu ngẫu nhiên

d) Phụ thuộc vào hình dạng của mẫu đánh dấu

d) Tạo các điểm đánh dấu quá dày

Hình 2.6 Minh họa phương pháp thử nghiệm khi tạo các mẫu đánh dấu
Cách làm này dễ thực hiện song, cho phép nâng cao độ chính xác của hành trình tái tạo sẽ
được trình bày chi tiết trong phần thực nghiệm của luận án.
9


2.4.2

Xây dựng bản đồ topo

Trong luận án này, chúng tôi đi theo hướng tiếp cận chỉ xác định một số điểm mốc phân
biệt trên bản đồ để tạo bản đồ topo. Thuật toán FAB-MAP[6] được lựa chọn để thưa hóa có
chọn lọc các vị trí trên bản đồ số liệu. Tuy nhiên FAB-MAP thuộc nhóm các phương pháp
SLAM vừa định vị vừa xây dựng bản đồ không cho phép dẫn đường giữa hai vị trí trong
môi trường. Ngoài ra, FAB-MAP được thử nghiệm ngoài trời với camera gắn trên xe chạy
với tốc độ cao, khung cảnh thay đổi liên tục. Khi áp dụng vào môi trường trong nhà giải
thuật cũng gặp những khó khăn cần khắc phục. Trong phần tiếp theo, chúng tôi sẽ trình
bày sơ lược ý tưởng của giải thuật FAB-MAP gốc đồng thời trình bày các cải thiện và thích
nghi giải thuật này để tạo bản đồ topo và định vị.

2.4.2.1 Giải thuật FAB-MAP [6]
2.4.2.2 Thích nghi và cải thiện FAB-MAP xây dựng bản đồ topo
Trong luận án, chúng tôi thích nghi giải thuật FAB-MAP gốc để xây dựng bản đồ topo
ở pha ngoại tuyến là đóng góp chính thứ hai của luận án. Để dễ gợi nhớ, chúng tôi tạm gọi
là FAB-MAP* minh họa ở Hình 2.7 dưới đây:

Tại thời điểm k

Tập ảnh huấn luyện
I1

I2

In

Ik

và Tập vị trí trên bản đồ:
Lnk = {L1 , L2 , L3 ..., Lnk }
(k)

(t)

Biểu diễn mô hình
túi từ (BOW)
Xác định khung cảnh phân biệt sử dụng
đặc trưng GIST: {Ii1 , Ii2 , ..., Iin } ∈ I
Xây dựng mô hình
túi từ (BOW)

Zk
Tính P (Li |Z k )

i = 1, nk

Z k = {Zk , Z k−1 }

Xây dựng cây
nhị phân(ChowLiu)

Đúng

Sai
max(P (Li |Z k )) > θ

CSDL
túi từ

i = 1, nk

CSDL
từ đồng
xuất hiện

Tạo mới Lnk+1

Cập nhật

Lk+1 = {L1 , ..., Lnk+1 }

Lk

LN

I1

I2

I2

IN
CSDL
bản đồ
lai

L1 L2 L3

Ánh xạ lên các vị trí bản đồ môi trường
LN = {L1 , L2 , ..., LN }

Bản đồ môi trường

Pha ngoại tuyến (Off-line)

Hình 2.7 Minh họa các bước thực hiện giải thuật FAB-MAP*

10


(a) Xác định cảnh phân biệt để giảm các quan sát trùng lặp: Khi áp dụng FABMAP gốc vào môi trường trong nhà với ngữ cảnh là một robot di chuyển với tốc độ chậm

(300 mm/s), các quan sát liên tiếp là rất giống nhau ảnh hưởng đến chất lượng của từ điển
cũng như khả năng xác định vị trí đã qua.
Bài toán xác định khung cảnh phân biệt được mô tả như sau: Giả thiết có một chuỗi N
khung hình liên tiếp I = {I1 , I2 , ..., IN }. Xác định tập con của Id ∈ I với Id = {Ii1 , Ii2 , ..., Iid }
trong đó các khung cảnh Iij là phân biệt. Để xác định Iij với Iik là phân biệt, có thể kiểm
chứng bằng hàm khoảng cách D(Iij , Iik ).
(2.4)

D(Iij , Iik ) = ED(Gist(Iij ), Gist(Iik ))
Trong đó ED là khoảng cách giữa hai vector trong không gian.

Việc xác định các khung cảnh riêng biệt thực hiện bằng giải thuật sau đây. Đầu vào là
một chuỗi các hình ảnh liên tiếp thu thập từ camera: I = {I1 , I2 ...IN }.
- Tính toán sai khác giữa hai khung hình liên tiếp Ii và Ii−1 : Sai khác này được định
nghĩa là khoảng cách Euclid Di giữa hai vector đặc trưng GIST tương ứng Fi , Fi−1 .
- Kiểm tra nếu Di > θGist thì Ii được lựa chọn là khung hình phân biệt, trong đó θGist
là ngưỡng xác định trước bằng thực nghiệm quyết định số lượng khung hình giữ lại.
Theo [20], [18] đặc trưng GIST trích chọn thể hiện các tính chất quan trọng như tính
tự nhiên, tính mở, độ nhám, độ chắc chắn, cho phép trình bày cấu trúc không gian của một
cảnh. Chi tiết đặc trưng GIST có trong PHỤ LỤC A.4 của luận án.
Khoaûng caùch D
1
0.8

0.6

(a)

θGist

0.4

0.2

Soá khung hình
0
20

40

60

80

100

120

140

160

180

200

(b)

Hình 2.8 Xác định các khung cảnh có cấu trúc giống nhau
Để thực hiện điều này, chúng tôi áp dụng nguyên lý trích đặc trưng GIST dựa trên phép

biến đổi Gabor [21] theo các hướng, tần số khác nhau và được tính theo Công thức (2.5):
− 21

h(x, y) = e

y2
x2
2 + δ2
δx
y

e−j2π(u0 x+v0 y)

(2.5)

Trong đó, tham số (δx , δy ) là độ lệch chuẩn của hàm Gauss theo hướng x, y; (u0 , v0 ) là các
thành phần tần số trung tâm của bộ lọc Gabor.
Chúng tôi chuẩn hóa ảnh đầu vào được đưa về dạng vuông, chia thành lưới (4 × 4) theo
8 hướng tương ứng. Do đó, vector GIST được tính toán sử dụng phổ năng lượng của 32 đáp
ứng. Đồng thời tính toán trung bình trên mỗi lưới (16 × 16) điểm ảnh trên mỗi đáp ứng,
như thể hiện. Như vậy kích thước vector GIST giảm xuống 512 chiều. Kết quả trích chọn
đặc trưng GIST phục vụ việc phân loại khung cảnh minh họa như Hình 2.8.
11


(b) Chuyển pha trực tuyến của FAB-MAP về hoạt động ngoại tuyến để xây
dựng toàn bộ bản đồ môi trường: Sau khi đã xác định các cảnh phân biệt, các ảnh
này được đưa vào pha ngoại tuyến để xây dựng từ điển và cây Chow Liu. So với FAB-MAP,
đầu vào của FAB-MAP* là tập các ảnh đã thu thập từ trước về trên hành trình khai phá
đường đi trong môi trường. Việc này có thể chạy một lần hoặc nhiều lần với các dữ liệu

đường đi khác nhau để làm giàu số vị trí trên bản đồ.
✹✱✟✺ ✠✆✱✟✂ ✴  ✂✄☎ ✻✱✼✠ ✽
✙✬✔✭

☞✌ ✍✎✏ ✑

☞✌ ✍✎✏ ✪

✒✓✔ ✕✖✗✘✙ ✚✛ ✕✜✢
✒✜★✙ ✚✗✘✦

✒✓✔ ✕✖✗✘✙ ✩✛ ✕✜✢

✒✜★✙ ✚✗✘✦

✑

✣✖✤✥✦✧ ✕✓✔ ✕✖✗✘✙ ✚✛ ✕✜✢
✒✓✔ ✕✖✗✘✙ ✚✛ ✕✜✢

✹✱✟✺ ✠✆✱✟✂ ✴  ✂✄☎ ✻✱✼✠ ✾
✪

✫✬✔✭
✁  ✂✄☎ ✆✝✞✟✠ ✂✆✡☛✝

✮✯✰ ✂✆✱✲✳ ✴  ✂✄☎

✵✆✶✷✠✸ ✂✯✰ ✂✆✱✲✳

Hình 2.9 Minh họa bước thực hiện cập nhật điểm mốc quan trọng
2.4.3

Bổ sung thông tin đối tượng vật cản tĩnh trên bản đồ

Bản đồ topo được xây dựng từ giải thuật FAB-MAP* có thêm các thông tin về tọa độ
của mỗi vị trí trên bản đồ từ giải thuật VO*. Sau đó trên mỗi vị trí của bản đồ, chúng tôi
bổ sung các thông tin đối tượng vật cản tĩnh để thực hiện dự báo khả năng có vật cản ở pha
trực tuyến một cách nhanh chóng. Thông tin về tọa độ trên ảnh và tọa độ thể giới thực sẽ
được lưu để sử dụng ở pha phát hiện vật cản sẽ trình bày trong CHƯƠNG III của luận án.

2.5

Phương pháp định vị

Sau khi đã xây dựng bản đồ topo số liệu ở pha ngoại tuyến, việc định vị ở pha trực
tuyến trở nên thuận lợi hơn. Ở pha trực tuyến, camera thu nhận ảnh Ik , quan sát từ đầu
đến thời điểm k là Z k như định nghĩa ở phần trên. Thực hiện tính xác suất mà quan sát Z k
có thể ở vị trí Li trên bản đồ LN = {L1 , L2 , ..., LN } với mọi giá trị i = 1, N.
p Li |Z k =

2.6

p Zk |Li , Z N p Li |Z N
p (Zk |Z N )

(2.6)

Kết quả thực nghiệm

Phần thực nghiệm được tiến hành tại 03 môi trường khác nhau: (i) Trường THCS
Nguyễn Đình Chiểu Hà Nội; (ii) Thư viện Tạ Quang Bửu; (iii) Viện nghiên cứu quốc tế
MICA - Trường Đại học Bách Khoa Hà Nội.

2.7

Kết luận chương 2

Kết quả chính của chương này đã được công bố tại: Tạp chí KH&CN các trường đại
học kỹ thuật, số 101 tháng 7/2014; Hội nghị quốc tế ICCE lần thứ 5, tháng 8/2014; Hội nghị
quốc tế ATC lần thứ 6, tháng 10/2003; Tạp chí quốc tế Multimedia Tools and Applications
(ISI)- Springer, 01/2016.
12


CHƯƠNG 3
PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN
3.1

Định nghĩa bài tốn và các thách thức
Bài tốn phát hiện và ước lượng khoảng cách vật cản được phát biểu như sau:

+ Đầu vào: Quan sát hiện tại của camera Ik . Với quan sát này, chương 2 đã trình bày
phương pháp xác định vị trí tương đối của robot Pk = (xk , yk , zk = 0) trên bản đồ mơi
trường.
+ Đầu ra: Tập n vật cản Ok = {Oi (xik , yik ), i = 1, n} với các vị trí tương ứng trên bản
đồ.

Thùng
rác

Chậu
hoa

Người
~ 2.5m

~ 1.5m
Người
Vật cản
Chậu
hoa

Bình cứu hỏa
Trường nhìn của camera

Robot
Bình cứu hỏa
Chậu
hoa

Hình 3.1 Định nghĩa bài tốn phát hiện và ước lượng khoảng cách
Hình 3.1 minh họa ngữ cảnh của bài tốn và các kết quả mong muốn đạt được. Trong
ví dụ này robot có gắn camera di chuyển trong mơi trường, chậu hoa, bình cứu hỏa, thùng
rác là các vật cản tĩnh trong mơi trường, người là vật cản động xuất hiện bất ngờ.

3.2

Những nghiên cứu liên quan

3.3

Đề xuất phương pháp phát hiện và ước lượng khoảng cách

Trong luận án, chúng tơi thực hiện hai cơng việc chính: (i) Phát hiện vật cản nằm trên
đường đi mà NKT di chuyển qua; (ii) Ước lượng khoảng cách vật cản tới robot nhằm đưa
ra các thơng tin cảnh báo.

13


SƠ ĐỒ CÁC BƯỚC TÍNH TOÁN
LN

Vị trí Lk :

(thời gian)

Lk = {(xk , yk ), Z k , (O1 , O2 , ...Ok )}
Ảnh huấn luyên trong CSDL

L = {L1 , L2 , ...Lk , ...LN }

Ảnh Ik∗

Quan sát hiện tại

Ảnh Ik

Ik

Bản đồ môi trường

Robot
Lk

Phát hiện vật cản tĩnh
Đối sánh các điểm
đặc trưng (Ik , Ik∗ )

Phát hiện
các vật cản: Oi

Phát hiện người
HoG-SVM

(t: giây)

Lk−t
L2
L1

Dự đoán khoảng cách
Quan sát trước t(giây)

Ảnh Ik−t

Xây dựng bản đồ
chênh lệch Ik , Ik−t

Tính khoảng cách

(từ Oi ֌ Robot)

(t: giây)

Hình 3.2 Mô hình phát hiện và ước lượng khoảng cách vật cản
− Phát hiện vật cản: Chúng tôi phân chia các vật cản thành hai nhóm: vật cản tĩnh
và vật cản động. Vật cản tĩnh là các đối tượng như chậu hoa, bình cứu hỏa, thùng rác.
Vật cản động là các đối tượng di chuyển trong môi trường (người).
− Ước lượng khoảng cách vật cản: chúng tôi lấy ý tưởng dự đoán khoảng cách từ hệ
thống camera-stereo, trong ngữ cảnh của bài toán chúng tôi chỉ sử dụng duy nhất 01
camera thông thường duy nhất gắn trên robot chuyển động, quan sát hình ảnh tại hai
thời điểm khác nhau.

3.4
3.4.1

Phát hiện vật cản
Phát hiện vật cản cố định

Như đã trình bày trong các CHƯƠNG I và II, bản đồ môi trường được biểu diễn là
một tập các điểm quan trọng trong môi trường LN = {L1 , L2 , ...Lk , ...LN }. Với mỗi điểm Li ,
tương ứng là ảnh Ii , đặc tả bởi quan sát Z i và tập tất cả các đối tượng có thể quan sát được
tại thời vị trí Li : {Oi1 , Oi2 , ..., Oini }.
Tại thời điểm k, camera thu nhận ảnh Ik , nhờ giải thuật định vị đã được trình bày
trong CHƯƠNG II, vị trí của robot được xác định tương ứng L∗k . Tại vị trí L∗k này, tương
ứng với quan sát của robot Ik∗ , tập các vật cản trong môi trường cũng đã được xác định và
lưu sẵn: {Ok1 , Ok2 , ..., Oknk }.

14

Kết quả định vị

Phương pháp đối sánh ảnh mẫu (template matching)

Ảnh mẫu
Ik∗

1

2

3

Phát hiện

Đối sánh điểm
đặc trưng

Đối tượng

Xác định vùng
chứa đối tượng

Ảnh hiện thời
Ik

Kết quả

Hình 3.3 Sơ đồ các bước thực hiện phát hiện vật cản cố định

3.4.2

Phát hiện vật cản động

Căn cứ vào kết quả đánh giá, chúng tôi lựa chọn phương pháp sử dụng kết hợp HoGSVM [7] [5] cho trong bài toán phát hiện người bởi tính phổ dụng và tính hiệu quả của nó
trong nhiều ứng dụng. Phần dưới đây chúng tôi phân tích kỹ hơn về phương pháp này.
Mô hình
Huấn luyện

Huấn luyện
Ảnh
huấn luyện
Tính toán đặc trưng HoG
Tiền xử lý

Bộ phân loại SVM

Tính toán
Gradient

Tính HoG
trên các Cell

Chuẩn hóa
Block

1

2

3

Ảnh
nhận dạng

Nhận dạng
4

Kết quả

Hình 3.4 Sơ đồ các bước phát hiện người sử dụng HoG-SVM

3.5

Uớc lượng khoảng cách vật cản

3.5.1

Nguyên lý phương pháp ước lượng khoảng cách

Gọi D là khoảng cách từ vật cản tới camera tính như sau:
D=

2 tan( ϕ20

Bx0
+ ∆ϕ)(x1 − x2 )

(3.1)

Từ đây Công thức (3.1) đưa về biểu diễn về dạng hàm mũ như sau:
D = k ∗ xd
Trong đó: hệ số k =

Bx0
;
ϕ
2 tan( 20 +∆ϕ)

(3.2)

x = (x1 − x2 ); hằng số d xác định giá trị độ chênh lệch

(Disparity) giữa các điểm ảnh từ hai quan sát trên bản đồ chênh lệch.
15


x0

D

ϕ1

ϕ2

ϕ0

ϕ0
B1

B2
B

f
SL

SR

Hình 3.5 Mô hình ước lượng khoảng cách vật cản từ hai quan sát

Hình 3.6 Sơ đồ các bước tính toán bản đồ chênh lệch và ước lượng khoảng cách
3.5.2

Xây dựng bản đồ chênh lệch

1. Thu thập dữ liệu.
2. Hiệu chỉnh cải thiện.
3. Đối sánh hình ảnh.
4. Tính toán độ sâu.

3.6

Kết quả đánh giá

3.7

Kết luận chương 3

Kết quả chính của chương này đã được công bố tại: Tạp chí KH&CN các trường đại
học kỹ thuật, số 95C tháng 7/2013; Hội nghị nghiên cứu cơ bản và ứng dụng công nghệ thông

tin lần thứ 6- FAIR6 - tại Huế 6/2013; Tạp chí Khoa học công nghệ Thông tin và Truyền
thông, Học viện Công nghệ Bưu chính Viễn thông - PTIT JICS - Vol 1, No.1 6/2016

16


CHƯƠNG 4
PHÁT TRIỂN VÀ THỬ NGHIỆM HỆ THỐNG DẪN ĐƯỜNG
4.1

Hệ thống tích hợp

4.1.1

Kiến trúc tổng thể

Tầng ứng dụng

Chúng tôi đề xuất kiến trúc tổng thể của hệ thống như minh họa trong Hình 4.1.

Lớp điều khiển thực thi

2

3

Tầng chức năng

Định vị

1

Phát hiện và
Ước lượng
khoảng cách vật cản

Điều khiển
Robot

4

Xây dựng
bản đồ môi trường

5

Tìm đường
6

Thu thập
dữ liệu (đường đi/
khung cảnh)

Phân tích
yêu cầu
người dùng

Biểu diễn môi trường & Định vị

Cảnh báo & Tìm đường

Tầng logic

Thu thập thông tin

Phản hồi
người dùng

Điều khiển & Tương tác

Điều khiển

Tầng vật lý

Giao diện cảm biến/ bộ thực thi

Xe thu thập

Camera

Robot

Truyền thông

Điện thoại di dộng

MÔI TRƯỜNG

Hình 4.1 Mô hình tổng quát của hệ thống đề xuất
Kiến trúc này gồm 4 tầng:

17


− Tầng vật lý : bao các thiết bị phần cứng, như robot, xe thu thập, camera, wi-fi, điện
thoại di động nhằm thực hiện các nhiệm vụ như thu nhận và xử lý tương tác với hệ
thống.
− Tầng logic: có nhiệm vụ kết nối giữa hai tầng vật lý và tầng chức năng qua các giao
diện cảm biến đồng thời phản hồi lại các u cầu từ hệ thống tới người dùng.
− Tầng chức năng: đây là tầng quan trọng nhất của hệ thống dẫn đường với các mơ đun
chính như: Xây dựng bản đồ mơi trường; Định vị; Phát hiện và ước lượng khoảng cách
vật cản; Tìm đường; Điều khiển robot; Tương tác người robot.
Ba mơ đun chính của hệ thống là xây dựng bản đồ mơi trường, định vị và phát hiện
vật cản đã được trình bày chi tiết trong chương II, chương III. Để hệ thống dẫn đường
hoạt động tại thực địa, các mơ đun còn lại như tìm đường, điều khiển robot, tương tác
người máy cần được phát triển. Nội dung chương này trình bày về việc phát triển các
mơ đun này và tích hợp để hồn thiện và thử nghiệm hệ thống.
− Tầng ứng dụng: có nhiệm vụ phát triển các giao diện phần mềm được cài đặt lên robot
và lên điện thoại di động; ngồi ra các thư viện mã nguồn mở OpenCV, các hàm API
(Application Programming Interface) nằm trong bộ điều khiểm M3 của robot do nhà
sản xuất cung cấp được cài đặt thêm và tích hợp với các mơ đun đã được xây dựng.
4.1.2

Tích hợp phần cứng

Trong phần thực nghiệm, chúng tơi sử dụng robot PC-Bot914 và tích hợp thêm một số
thiết bị ngoại vi như: Camera Axis kết nối với robot thơng qua địa chỉ TCP/IP có nhiệm
vụ thu nhận hình ảnh với góc nhìn rộng đã sửa méo để ảnh thu nhận có chất lượng tốt hơn;
điện thoại di động giúp NKT tương tác vào/ra với robot; một số thiết bị khác (màn hình
giao tiếp, ắc quy duy trì nguồn điện, bộ phát sóng mạng wi-fi, khung giá đỡ...)
Robot nguyên bản

Màn hình tương tác

Thu phát mạng
không dây (Wi-fi)

(PC-Bot 914)

Mạng Wifi

Nguồn phụ
(Ắc quy)

Khung giá đỡ

Camera Axis 207
Điện thoại di động

(b) Robot thiết kế hoàn chỉnh

(a) Thiết bò tích hợp vào robot

Hình 4.2 Tích hợp các thiết bị phần cứng lên robot
Hình 4.2(a) minh họa các thiết bị phần cứng tích hợp thêm vào robot. Hình 4.2(b) minh họa
robot sau khi đã tích hợp phần cứng hồn chỉnh.
18


4.2
4.2.1

Phát triển hệ thống dẫn đường sử dụng robot
Tìm đường cho robot

Cho trước một đồ thị có trọng số G = {V, E}, trong đó V là tập đỉnh, E tập cạnh và
f : E → R là hàm một trọng số có giá trị thực. Cho trước một đỉnh v thuộc V , tìm một
đường đi P từ v tới mỗi đỉnh v ′ thuộc V sao cho p∈P f (p) là nhỏ nhất trong tất cả các
đường nối từ v tới v ′ .
Như vậy bài tốn tìm đường trong khn khổ của LATS được phát biểu đơn giản là xác
định đường đi từ một vị trí Lb (vị trí hiện tại của robot là đầu ra của giải thuật định vị đã
được trình bày trong chương II) đến một vị trí Le (vị trí mà người dùng u cầu được ánh
xạ trên bản đồ mơi trường). Theo lý thuyết đồ thị, bản đồ LN = {L1 , L2 , ..., LN } được khái
qt hóa dưới dạng đồ thị trong đó đỉnh là các vị trí Li , cạnh chỉ tồn tại giữa hai vị trí kề
cận {Li , Li+1 }. Khi đó đường đi ngắn nhất giữa hai vị trí Lb và Le được xác định theo giải
thuật Dijkstra thơng thường.
Với các mơi trường và kịch bản thử nghiệm, bản đồ xây dựng tại ba mơi trường (Tầng
8 Viện MICA, Khu nội trú tầng 2 trường THCS Nguyễn Đình Chiểu, Tầng 5 Thư viện Tạ
Quang Bửu) đều là đồ thị khơng rẽ nhánh, vì vậy việc tìm đường là trường hợp đơn giản
trong giải thuật tìm đường tối ưu.
y(m)
30

A
25

20

Bản đồ môi trường
Khả năng mở rộng đường đi

15

A

B C

D

C
10

E

Ví dụ một số vò trí đích cần
đến trên bản đồ

D
5

E
B
x(m)
0

5

10

15

20

25

30

Hình 4.3 Minh họa đường đi từ hai điểm biết trước trên bản đồ mơi trường
Hình 4.3 minh họa đường đi của robot tới các vị trí mong muốn. Trong hình vẽ này A, D là
các điểm nằm trên bản đồ; B, C, E là các điểm mới trong trường hợp mở rộng bản đồ mơi
trường, q trình được thực hiện bằng cách học lại các vị trí mới của mơi trường.
4.2.2

Điều khiển robot

4.2.2.1 Điều khiển trực tiếp dựa trên đường đi xác định
4.2.2.2 Điều khiển theo dự báo và hiệu chỉnh vị trí của bộ lọc Kalman

19


Bắt đầu
Nghe lệnh của người dùng
& phân tích lệnh

Xác định điểm xuất phát
(Kết quả định vị hình ảnh)

Đầu vào
(Điểm xuất phát
& điểm kết thúc)
i=0

Xác định đường đi robot
Ld = {Lb , ...Le }

Thiết bị vào/ra

Tính khoảng cách ∆
giữa hai điểm Li và Li+1

Phản hồi trạng thái
vật cản nguy hiểm

Đúng

∆<ǫ

i++
Sai

Điều khiển robot
di chuyển một khoảng ∆

Phát hiện vật cản &
phản hồi tới điều khiển

Xác định vị trí Li+1
của robot
Dự đoán & cập nhật vị trí
sử dụng lọc Kalman

Phát hiện vật cản và
cảnh báo nguy hiểm

Phương trình chuyển động
của robot

Vị trí dự đoán L∗i+1

i++

Tính khoảng cách ∆ giữa
hai điểm Li và L∗i+1

Kết thúc

Hình 4.4 Lược đồ điều khiển robot sử dụng lọc Kalman

20


Các bước điều khiển robot sử dụng lọc Kalman được thực hiện như sau:
− Bước 1 : Robot phân tích yêu cầu của người dùng từ điện thoại di động để xác định
tọa độ của điểm cần đến (điểm cuối Le của hành trình).
− Bước 2 : Robot tự động xác định vị trí hiện tại của nó (điểm đầu lb của hành trình).
− Bước 3 : Sau khi xác định được điểm đầu và điểm cuối của hành trình, chức năng tìm
đường được kích hoạt. Kết quả trả về là hành trình của robot sẽ đi qua một tập các
điểm trung gian Ld = {Lb , ...Le } trong đó Lb là điểm xuất phát và Le là điểm kết thúc.
− Bước 4 : Tại bước lặp thứ i, với mỗi cặp điểm liền kề trong hành trình di chuyển của
robot tính toán khoảng cách ∆ giữa hai điểm Li và Li+1 .
− Bước 5 : Kiểm tra điều kiện ∆ < ǫ với ǫ là ngưỡng nhỏ nhất để robot có thể di chuyển,

lựa chọn ǫ = 20cm qua các lần thực nghiệm.
+ Bước 5.1 : Nếu điều kiện trên đúng, vòng lặp quay lại với cặp điểm tiếp theo trong
đường đi (bước 4). Nếu điều kiện trên sai thì giải thuật điều khiển chuyển đến
bước 5.2.
+ Bước 5.2 : Ra lệnh cho robot đi một quãng đường ∆ thông qua phần điều khiển
phần cơ học M3 của robot.
⋄ Bước 5.2.1 : Trong quá trình robot di chuyển với khoảng cách ∆ xác định, các
quan sát gồm có: hình ảnh tại vị trí hiện thời của robot, tốc độ thu thập và
xử lý hình ảnh fps=1 khung hình/giây. Kết quả định vị xác định vị trí hiện
thời của robot; đồng thời phương trình chuyển động của robot được thiết lập
vận tốc v cố định từ trước (v = 300mm/s). Toàn bộ các luồng nguồn thông
tin này được đưa qua lọc Kalman để dự đoán vị trí L∗i+1 của robot trên thực
địa.
⋄ Bước 5.2.2 : Tính toán lại khoảng cách ∆ giữa hai điểm Li và L∗i+1 .
⋄ Bước 5.2.3 : Trong quá trình robot di chuyển, các chức năng phát hiện vật
cản cũng được kích hoạt. Khi có vật cản trong khoảng cách từ 0-2m phía
trước robot, robot sẽ được điều khiển dừng lại, thông tin về vật cản cũng sẽ
được cảnh báo cho NKT thông qua tín hiệu rung.
⋄ Bước 5.2.4 : Thực hiện lặp lại bước 5 để kiểm tra ∆ và ǫ.
4.2.3

Tương tác người-robot

Khi di chuyển và tránh vật cản trong môi trường, thính giác là giác quan giúp cho NKT
cảm nhận về vật cản và định hướng trong môi trường.
Qua nghiên cứu một số tài liệu và khảo sát thực tế trên một số học sinh khiếm thị thì
thính giác là quan trọng đối với NKT khi di chuyển. Tuy nhiên, chúng tôi không lựa chọn
thính giác mà sử dụng xúc giác để phản hồi các thông tin trạng thái của hệ thống.
Hệ tương tác người-robot bao gồm các thành phần cơ bản sau (xem Hình 4.5):
Robot: tích hợp các mô đun định vị, tìm đường, phát hiện vật cản, điều khiển động

cơ... robot có vai trò dẫn đường NKT từ vị trí hiện tại đến vị trí mong muốn.
Điện thoại di động: là điện thoại di động cài đặt phần mềm điều khiển, có vai trò gửi
và nhận lệnh điều khiển, lệnh phản hồi từ robot. Chuyển đổi các tín hiệu trạng thái
của robot thành các tín hiệu rung theo tần số khác nhau.
21


Một số vị trí của mơi trường đã được định nghĩa trên màn hình cảm ứng, khi muốn
đến vị trí trên bản đồ NKT sẽ chạm vào ơ cửa sổ quy định với vị trí đã định nghĩa
trước. Trên thực tế, có thể đưa thêm nhiều vị trí hơn và sử dụng mơ đun đọc màn
hình cho NKT để giúp lựa chọn đúng địa điểm cần đến.
Mạng khơng dây: có vai trò truyền thơng, kết nối giữa robot với các thiết bị như
camera, điện thoại di động qua giao tiếp TCP/IP.
Cổng: 8888
Robot

Rung

✿❀❁❂ ❃❄❁❅ ❂❆❇❈❃❆ ❉❄❊❃❋

Điện thoại
di động
Điện thoại
di động

Cổng: 7777

(a). Mô hình tương tác người và robot

(b). Tương tác trên điện thoại di động

Hình 4.5 Minh họa tương tác giữa người-robot

4.3

Thử nghiệm và đánh giá hệ thống dẫn đường

Mục đích của việc thử nghiệm nhằm đánh giá tính bền vững của hệ thống dẫn đường
khi điều kiện mơi trường thay đổi, chúng tơi tiến hành tại 03 mơi trường khác nhau: (i)
Trường THCS Nguyễn Đình Chiểu Hà Nội; (ii) Thư viện Tạ Quang Bửu; (iii) Viện nghiên
cứu quốc tế đa phương tiện MICA - Trường Đại học Bách Khoa Hà Nội.
4.3.1

Mơi trường và kịch bản thử nghiệm

4.3.1.1 Mơi trường và đối tượng tham gia thử nghiệm
4.3.1.2 Quy trình thử nghiệm
4.3.2

Kết quả thực nghiệm

4.3.2.1 Đánh giá khả năng xác định vị trí xuất phát của robot
4.3.2.2 Đánh giá khả năng điều khiển robot
4.3.2.3 Đánh giá khả năng tương tác người-robot
4.3.2.4 Đánh giá hệ thống dẫn đường trợ giúp NKT bằng robot
4.3.3

4.4

Bàn luận hệ thống robot dẫn đường

Kết luận chương 4

Kết quả chính của chương này đã được cơng bố tại: Hội nghị FAIR lần thứ 7, tháng
6/2014; Hội nghị quốc tế ACVR lần thứ 2 tại Thụy sĩ, tháng 9/2004; Hội nghị quốc tế
ICARCV lần thứ 13 tại Singapore, tháng 12/2014, Tạp chí khoa học và cơng nghệ (JICT) Chun san cơng nghệ thơng tin số 5, tháng 10/2014;

22


KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
KẾT LUẬN
Trong thực hiện luận án, NCS đã nghiên cứu và phát triển một số kỹ thuật định vị dựa
trên hình ảnh, ứng dụng trợ giúp dẫn đường cho NKT trong môi trường diện hẹp, sử dụng
robot để giải quyết một số bài toán như: biểu diễn môi trường và định vị; phát hiện và ước
lượng khoảng cách vật cản; tìm đường và dẫn hướng điều khiển robot; tương tác người robot. Với các đóng góp chính như sau:
− Đóng góp 1: Đề xuất mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa
trong đó bản đồ số liệu và bản đồ topo được tích hợp cùng với các thông tin về vật
cản tĩnh trong môi trường, đây là cơ sở toán học để thực hiện một loạt các bài toán
đã đề cập của luận án.
− Đóng góp 2: Nâng cao độ chính xác của giải thuật xây dựng bản đồ môi trường và định
vị sử dụng hình ảnh, thường được thiết kế cho môi trường ngoài trời nhưng gặp phải
các khó khăn khi hoạt động trong môi trường trong nhà. Cụ thể đã đề xuất phương
pháp phân biệt khung cảnh có cấu trúc giống nhau lặp lại, sử dụng đặc trưng GIST
khi thực hiện bài toán định vị, thích nghi cải tạo môi trường thông qua các điểm đánh
dấu đối với bài toán xây dựng bản đồ môi trường trong nhà.
− Đóng góp 3: Đề xuất phương pháp phát hiện nhanh và chính xác một số vật cản trong
môi trường, cụ thể sử dụng kỹ thuật đối sánh ảnh mẫu (Template Matching) với bộ
CSDL đối tượng đã chuẩn bị khoanh vung từ trước đối với vật cản cố định, kết hợp
với phương pháp phát hiện người truyền thống (HoG-SVM) giảm thời gian phát hiện,

phục vụ cho bài toán ước lượng khoảng cách trên vùng phát hiện các đối tượng.
− Đóng góp 4: Chứng minh bằng thực nghiệm tính khả thi của giải pháp đề xuất thông
qua việc phát triển ứng dụng trợ giúp định hướng người khiếm thị sử dụng robot. Cụ
thể luận án thử nghiệm và đánh giá khả năng dẫn đường của robot đối với các em học
sinh khiếm thị (100% không nhìn thấy ánh sáng) ở ba môi trường khác nhau: Trường
THCS Nguyễn Đình Chiểu Hà Nội, Thư viện Tạ Quang Bửu và Viện nghiên cứu quốc
tế đa phương tiện MICA - Trường Đại học Bách Khoa Hà Nội với các kịch bản dẫn
đường từ đơn giản đến phức tạp.
Ngoài những đóng góp về mặt khoa học, luận án đã áp dụng một số kỹ thuật công nghệ
nhằm giải quyết các bài toán truyền thống như: áp dụng giải thuật tìm đường đi ngắn nhất
Dijkstra cho việc tìm đường trên tập bản đồ môi trường đã xây dựng trong bài toán tìm
đường; sử dụng kỹ thuật lọc Kalman trong việc cập nhật danh sách đường đi trong bài toán
điều khiển robot; sử dụng mô hình phản hồi rung trên điện thoại di động giúp cho người
dùng tương tác với hệ thống.
Tuy nhiên, trong các bài toán thực hiện vẫn còn một số hạn chế như sau:
− Đối với bài toán xây dựng bản đồ môi trường: vẫn còn có một số lỗi tích lũy khi gặp
các môi trường có độ chiếu sáng yếu, không đồng đều. Việc sửa lỗi ngay tại thời điểm
chưa thực hiện kịp thời dẫn tới việc sai lệch so với thực địa.
− Đối với bài toán xác định vị trí : Công việc này phải thực hiện mất nhiều thời gian,
thao tác nhiều lần bằng thực nghiệm cho nên khó khăn khi thực hiện việc thiết lập
23