Nghiên cứu phát triển các thuật toán ước lượng mặt phẳng và dẫn đường cho hệ thống thị giác rô bốt trong nhà

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

Đặng Khánh Hịa

NGHIÊN CỨU PHÁT TRIỂN CÁC THUẬT TỐN
ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG
THỊ GIÁC RÔ-BỐT TRONG NHÀ

LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ

Hà Nội – 2019
i


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

Đặng Khánh Hịa

NGHIÊN CỨU PHÁT TRIỂN CÁC THUẬT TỐN
ƯỚC LƯỢNG MẶT PHẲNG VÀ DẪN ĐƯỜNG CHO HỆ THỐNG
THỊ GIÁC RÔ-BỐT TRONG NHÀ

Ngành: Kỹ thuật điện tử
Mã số: 9520203

LUẬN ÁN TIẾN SĨ KỸ THUẬT ĐIỆN TỬ

NGƯỜI HƯỚNG DẪN KHOA HỌC:

1. PGS.TS. Nguyễn Tiến Dũng
2. TS. Lê Dũng

Hà Nội – 2019
ii


LỜI CAM ĐOAN
Tôi xin cam đoan rằng các kết quả khoa học được trình bày trong luận án này là thành
quả nghiên cứu của bản thân tôi trong suốt thời gian làm nghiên cứu sinh và chưa từng xuất
hiện trong công bố của các tác giả khác. Các kết quả đạt được là chính xác và trung thực.

Hà Nội, ngày 11 tháng 9 năm 2019
Tập thể giáo viên hướng dẫn khoa học

Tác giả luận án

TS. Lê D

PGS. TS. Nguyễn Tiến Dũng

TS. Lê Dũng

Đặng Khánh Hòa

i


LỜI CẢM ƠN
Trước hết, tôi xin bày tỏ lời cảm ơn chân thành và sâu sắc đến tập thể hướng dẫn PGS.

TS. Nguyễn Tiến Dũng và TS. Lê Dũng đã trực tiếp định hướng khoa học trong quá trình nghiên
cứu. Các Thầy đã dành nhiều thời gian và tâm huyết, động viên về mọi mặt để tác giả hoàn
thành luận án.
Tác giả xin trân trọng cảm ơn Lãnh đạo trường Đại học Bách Khoa Hà Nội (HUST),
Phòng Đào tạo, Viện Điện tử Viễn thông (SET), Bộ môn Điện tử và Kỹ thuật máy tính và TT
Đào tạo thực hành đã tạo điều kiện thuận lợi cho nghiên cứu sinh trong suốt quá trình học tập
và nghiên cứu. Chân thành cảm ơn các cán bộ, giảng viên, các cộng sự cũng như các anh chị
NCS của Viện Điện tử Viễn thông đã động viên, hỗ trợ và tận tình giúp đỡ tác giả trong quá
trình thực hiện luận án.
Tác giả cảm ơn chương trình 911, Bộ Giáo dục và Đào tạo đã tài trợ cho nghiên cứu sinh.
Cảm ơn SET, HUST đã tài trợ thông qua đề tài nghiên cứu khoa học cấp cơ sở với mã T2016PC-108.
Cuối cùng, tôi xin bày tỏ lòng biết ơn đến song thân phụ mẫu, vợ và hai con vì những sự
thúc đẩy, khích lệ và hy sinh nhiều trong thời gian vừa qua. Đây chính là động lực to lớn giúp
tác giả vượt qua mọi trở ngại để hoàn thành luận án này.
Tác giả luận án

ĐẶNG KHÁNH HÒA

ii


MỤC LỤC
LỜI CAM ĐOAN ...................................................................................................i
LỜI CẢM ƠN ..................................................................................................... ii
MỤC LỤC

.................................................................................................... iii

DANH MỤC CÁC KÝ HIỆU .............................................................................vi
DANH MỤC CÁC CHỮ VIẾT TẮT .............................................................. viii

DANH MỤC CÁC BẢNG .................................................................................... x
DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ .........................................................xi
MỞ ĐẦU

...................................................................................................... 1

1. Tính cấp thiết của luận án................................................................................ 1
1.1. Trích xuất mặt phẳng ................................................................................... 3
1.2. Trích xuất mặt phẳng đất ............................................................................. 5
1.3. Dẫn đường cho rô-bốt trong nhà ................................................................. 6
2. Mục tiêu, đối tượng, phương pháp và phạm vi nghiên cứu .......................... 7
2.1. Mục tiêu nghiên cứu .................................................................................... 7
2.2. Đối tượng nghiên cứu .................................................................................. 8
2.3. Phương pháp nghiên cứu ............................................................................. 8
2.4. Phạm vi nghiên cứu ..................................................................................... 9
3. Ý nghĩa khoa học và những đóng góp của luận án ........................................ 9
3.1. Ý nghĩa khoa học ......................................................................................... 9
3.2. Các đóng góp khoa học của luận án ............................................................ 9
4. Cấu trúc nội dung của luận án ...................................................................... 10
CHƯƠNG 1. TỔNG QUAN HỆ THỐNG DẪN ĐƯỜNG CHO RÔ-BỐT
DỰA TRÊN HÌNH ẢNH THỊ GIÁC MÁY TÍNH .......................................... 12
Giới thiệu chương ........................................................................................ 12
Hệ thống dẫn đường cho rô-bốt trong nhà ................................................ 12
1.2.1. Các hệ thống dẫn đường cho rô-bốt trong nhà ................................... 14
1.2.2. Kiến trúc hệ thống dẫn đường rô-bốt sử dụng thị giác máy tính ....... 15
Một số vấn đề của hệ thống rô-bốt dẫn đường dựa trên thị giác nổi ...... 16
1.3.1. Phương pháp tính tốn bản đồ chênh lệch/độ sâu .............................. 16
1.3.2.
tính.
1.3.3.

Phương pháp trích xuất đối tượng mặt phẳng dựa trên ảnh thị giác máy
............................................................................................................ 19
Phát hiện mặt phẳng đất dựa trên sự biến đổi ảnh thị giác ................. 26
iii


1.3.4.

Phương pháp dẫn đường cho rô-bốt trong nhà trong môi trường chưa

biết

............................................................................................................ 36

Tổng kết chương .......................................................................................... 40
CHƯƠNG 2. PHƯƠNG PHÁP TĂNG TỐC TÍNH TỐN BẢN ĐỒ
CHÊNH LỆCH VÀ PHÁT TRIỂN THUẬT TỐN TRÍCH XUẤT MẶT
PHẲNG
.................................................................................................... 41
Giới thiệu chương ........................................................................................ 41
Hệ thống máy ảnh nổi.................................................................................. 41
2.2.1. Cảm biến hình ảnh .............................................................................. 41
2.2.2. Cấu trúc hệ thống máy ảnh nổi ........................................................... 42
2.2.3. Nguyên lý thị giác nổi ........................................................................ 43
2.2.4.

Bản đồ độ sâu ..................................................................................... 45

Phương pháp tăng tốc tính tốn bản đồ chênh lệch/độ sâu ..................... 46

2.3.1. Triển khai tính tốn SAD thơng thường ............................................. 46
2.3.2. Triển khai tính tốn SAD đề xuất ....................................................... 47
2.3.3.

Kết quả thực hiện và thảo luận ........................................................... 49

Nguyên lý trích xuất đối tượng mặt phẳng ............................................... 53
2.4.1. Độ sâu của điểm ................................................................................. 53
2.4.2. Khái niệm mặt phẳng trong thị giác máy tính .................................... 54
2.4.3. Khái niệm điểm lân cận và hàng xóm ................................................ 55
Triển khai phương pháp trích xuất đối tượng mặt phẳng....................... 56
2.5.1. Kiến trúc hệ thống xử lý dữ liệu ......................................................... 56
2.5.2. Thuật toán đề xuất Tạo nhóm hàng xóm kết hợp lọc ......................... 57
2.5.3. Kết quả thực nghiệm và thảo luận ...................................................... 60
2.5.4.

Kết luận .............................................................................................. 66

Tổng kết chương .......................................................................................... 67
CHƯƠNG 3.

PHÁT TRIỂN THUẬT TOÁN NHẬN DẠNG MẶT ĐẤT .. 68

Giới thiệu chương ........................................................................................ 68
Nguyên lý nhận dạng đối tượng mặt đất ................................................... 68
Phương pháp nhận đối tượng mặt đất từ ảnh độ sâu chuẩn ................... 70
3.3.1. Kiến trúc hệ thống xử lý dữ liệu ......................................................... 70
3.3.2. Thuật toán đề xuất .............................................................................. 71
3.3.3.
3.3.4.

Kết quả thực nghiệm và thảo luận ...................................................... 75
Kết luận .............................................................................................. 83

iv


Phương pháp nhận dạng đối tượng mặt phẳng đất từ dữ liệu độ sâu thực
tế .................................................................................................................................... 83
3.4.1. Giới thiệu ............................................................................................ 83
3.4.2. Kiến trúc hệ thống trích mặt đất từ dữ liệu độ sâu thực tế ................. 85
3.4.3.

Kết quả thực nghiệm và thảo luận ...................................................... 86

3.4.4.

Kết luận .............................................................................................. 92

Tổng kết chương .......................................................................................... 93
CHƯƠNG 4. PHÁT TRIỂN PHƯƠNG PHÁP DẪN ĐƯỜNG CHO RƠBỐT DỰA TRÊN THUẬT TỐN NHẬN DẠNG MẶT ĐẤT....................... 94
Giới thiệu chương ........................................................................................ 94
Phương pháp dẫn đường sử dụng nhận dạng mặt đất............................. 94
4.2.1. Mơ hình hoạt động của rơ-bốt trong nhà ............................................ 94
4.2.2.
4.2.3.
sâu

Xác định kích thước 2D của điểm sâu................................................ 95
Phương pháp dẫn đường AMSD đề xuất dựa trên khai thác dữ liệu độ

............................................................................................................ 96

Kết quả thực nghiệm phương pháp dẫn đường AMSD dựa trên nhận
dạng mặt đất và thảo luận ........................................................................................101
4.3.1. Kết quả thực nghiệm của phương pháp tránh vật cản cơ bản ..........102
4.3.2. Kết quả thực nghiệm của phương pháp tránh vật cản cải thiện .......104
4.3.3. Kết luận ............................................................................................110
Tổng kết chương ........................................................................................110
KẾT LUẬN VÀ KIẾN NGHỊ ..........................................................................112
1. Kết luận ..........................................................................................................112
2. Kiến nghị nghiên cứu tiếp theo ....................................................................112
DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ CỦA LUẬN ÁN ..........113
TÀI LIỆU THAM KHẢO ................................................................................115
PHỤ LỤC

..................................................................................................123

1. Kịch bản thực nghiệm 1 ...............................................................................123
2. Kịch bản thực nghiệm 2 ...............................................................................126
3. Kịch bản thực nghiệm 3 ...............................................................................129
4. Kịch bản thực nghiệm 4 ...............................................................................132

v


DANH MỤC CÁC KÝ HIỆU
Ký hiệu

Ý nghĩa

A
a
A’
Accurate

Cửa sổ tham chiếu
Góc chuyển hướng của xe rơ bốt
Cửa sổ tìm kiếm
Độ chính xác

B

Cửa sổ làm mịn

Bottom

Điểm liền kề dưới

C
Phép biến
Coverage Độ bao phủ
d
Độ chênh lệch
dmax

Độ chênh lệch tối đa

dmin

Độ chênh lệch tối thiểu

f

Tiêu cự máy ảnh

FN
FP
H

Bộ đếm các điểm đất đúng không được phát hiện
Bộ đếm các điểm phi đất bị phát hiện sai.
Ma trận biến đổi phẳng

IL

Ảnh bên trái

IR

Ảnh bên phải



Ngưỡng chênh lệch độ sâu của hai điểm liền kề

K

Ma trân hiệu chuẩn máy ảnh

L

Số điểm tính được độ chênh lệch

Left

Điểm liền kề bên trái

maxbias

Giới hạn độ lệch

min
n

Kích thước tối thiểu của mặt phẳng
Véc tơ pháp tuyến mặt đất

OL

Vị trí máy ảnh trái

OR

Vị trí máy ảnh phải

p
P

Điểm ảnh
Tập điểm ảnh

PL

Điểm phản chiếu của điểm p trên ảnh trái

PR

Điểm phản chiếu của điểm p trên ảnh phải



Ngưỡng phân biệt khối đất và phi đất
vi


Q

Số lượng điểm tính được độ chênh lệch hợp lệ

R

Phép xoay ảnh

R1

Right
T
TN
Top
TP

w

Tỷ lệ phần trăm của các điểm đất được phát hiện
Tỷ lệ phần trăm của các điểm mặt đất được phát hiện khơng chính
xác
Điểm liền kề bên phải
Khoảng cách giữa hai máy ảnh hoặc máy ảnh với projector
Bộ đếm các điểm phi đất đúng được phát hiện
Điểm liền kề trên
Bộ đếm các điểm đất đúng được phát hiện
Kích thước cửa sổ

XG

Tập hợp điểm có sẵn trên mặt đất

xL

Hồnh độ trên ảnh trái

xR

Hoành độ trên ảnh phải

z

Độ sâu

R2

vii


DANH MỤC CÁC CHỮ VIẾT TẮT
Viết tắt

Tên tiếng Anh

Tên tiếng Việt

2D

Two Dimensions

Hai chiều

3D

Three Dimensions

Ba chiều

AMDS

Always Move Straight to the Thuật tốn Ln di chuyển thẳng
Destination
tới đích
Artificial Neural Network
Mạng nơron nhân tạo

ANN

BP

Application
Programming Giao diện lập trình ứng dụng
Interface
Anytime Repairing A*
Thuật tốn sửa chữa bất cứ lúc
nào*
Best First Seaching
Thuận tốn tìm kiếm tốt nhất đầu
tiên
Belief Propagation
Thuật toán Lan truyền tin cậy

CCD

Charge Coupled Device

Linh kiện tích điện kép

CMOS

Oxide Bán dẫn bổ sung ơ xít kim loại

DSM

Complementary Metal
Semiconductor

Digital Surface Models

DWA

Dynamic Window Approach

EKF

Extended Kalman Filter

APIs
ARA*
BFS

Mơ hình bề mặt số
Thuật tốn tiếp cận cửa sổ động

GDM

Bộ lọc phi tuyến tính Kalman mở
rộng
Fast Plane Detection In Disparity Thuật toán Phát hiện mặt phẳng
Maps
nhanh trong bản đồ chênh lệch
Fast Sampling Plane Filtering
Thuật toán Lọc mặt phẳng lấy
mẫu nhanh
Gradient Depth Map
Thuật toán Gradien bản đồ độ sâu

GPS

Global Positioning System

Hệ thống định vị toán cầu

HSAD

Hybrid SAD

SAD lai

HSBSR
HT

Hierarchical Shape-Based Surface Thuật tốn tái tạo bề mặt dựa trên
Reconstruction
hình dạng phân cấp
Hough Transform
Thuật toán Biến đổi Hough

ICP

Iterative Closest Point

Thuật toán điểm gần nhất lặp lại

LRF

Laser Range Finder

Xác định phạm vi bằng tia laser

LSD

Line Segment Detector

Bộ phát hiện đoạn thẳng

MDL

Minimum Description Length

Thuật toán Độ dài mô tả tối thiểu

FPDIDM
FSPF

viii


MS

Mean Shift

Thuật tốn Dịch trung bình

NCC

Normalized Cross Correlation

NGaF

Neighbor Grouping and Filter

NMOS

N Metal Oxide Semiconductor

Thuật toán Độ tương quan chéo
chuẩn
Thuật toán Tạo nhóm hàng xóm
và lọc
Bán dẫn ơxit kim loại loại N

PPDFDM Planar Patch Detection for Thuật toán Phát hiện mảnh phẳng
Disparity Maps
dùng bản đồ chênh lệch
PROSAC Progressive Sample Consensus
Đồng thuận mẫu lũy tiến
PSO

Particle Swarm Optimization

RANSAC RANdom SAmple Consensus

Thuật toán tối ưu đám hạt
Thuật toán Đồng thuận lấy mẫu
ngẫu nhiên
Thuật toán phát triển vùng

RG

Region Growing

RGB-D

Red Green Blue-Depth

RHT

Random Hough Transform

SAD

Sum of Absolute Differences

SCS

Stereo Camera System

SIFT

Scale-invariant Feature Transform Biến đổi đặc trưng tỷ lệ bất biến

SLAM
SP1

Simultaneous Localization And Đồng thời định vị trí và lập bản
Mapping

đồ
Service Pack 1
Gói dịch vụ 1

SSD

Sum of Squared Differences

SUFT
VDEMs
VGA
vLRF

Cảm biến màu Đỏ Lục DươngĐộ sâu
Thuật toán Biến đổi Hough ngẫu
nhiên
Thuật toán Tổng độ sai lệch tuyệt
đối
Hệ thống máy ảnh stereo

Thuật tốn Tổng bình phương độ
sai lệch
Speeded-Up Robust Features
Tăng tốc đặc trưng mạnh mẽ
Vectorized Digital Elevation Mơ hình nâng cao kỹ thuật số
Model
véc-tơ hóa
Video Graphics Array
Chuẩn mảng đồ họa video độ
phân giải 640x480

Virtual LRF
Máy LRF ảo

ix


DANH MỤC CÁC BẢNG
Bảng 1.1. Sai số của phương pháp [47] ......................................................................... 18
Bảng 1.2. Thông số đánh giá kết quả thực nghiệm [7].................................................. 26
Bảng 1.3. Kết quả phát hiện mặt đường với các kịch bản khác [26] ............................ 32
Bảng 3.1. Phân loại điểm đất và điểm phi đất ............................................................... 70
Bảng 4.1. So sánh hiệu năng các phương pháp dẫn đường cho rô-bốt trong nhà ....... 109
Bảng 4.2. So sánh tỷ lệ điều hướng thành công .......................................................... 110

x


DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ
Hình 1.1. Hệ thống dẫn đường bằng thị giác cho rơ-bốt ............................................... 16
Hình 1.2. Hệ thống tính bản đồ chênh lệch điển hình ................................................... 17
Hình 1.3. Kết quả tính bản đồ chênh lệch thưa thớt áp dụng thuật tốn SAD [46]. ..... 18
Hình 1.4. Kết quả thử nghiệm trên bốn hình ảnh thang độ xám thử nghiệm [47] ........ 18
Hình 1.5. Biểu diễn các thông số của mặt phẳng theo dạng chuẩn [25] ....................... 19
Hình 1.6. Kết quả phát hiện mặt phẳng mái bằng cách sử dụng biến đổi Hough 3D. [25]
....................................................................................................................................... 21
Hình 1.7. Hình ảnh của các đám mây điểm 2D phát sinh từ việc phát hiện mặt phẳng
mái bằng RANSAC [25] ............................................................................................... 23
Hình 1.8. Kết quả phát hiện mặt phẳng sử dụng bộ phát hiện đoạn thẳng [7] .............. 25
Hình 1.9. Khung cảnh tương quan của máy ảnh tại các điểm thời gian t1 và t2 [26] .... 28
Hình 1.10. Một số kết quả trung gian của phép biến đổi ảnh thị giác [26] ................... 31

Hình 1.11. Kết quả phát hiện mặt đường sử dụng phương pháp biến đổi ảnh thị giác [26]
....................................................................................................................................... 31
Hình 1.12. (a) Vùng quan tâm của bản đồ chênh lệch và (b) Ảnh mặt đất phủ lên ảnh
gốc [22] .......................................................................................................................... 33
Hình 1.13. Phân tích dữ liệu độ chênh lệch theo hàng (a) và cột (b) [22] .................... 34
Hình 1.14. Cảm biến và mặt phẳng mặt đất được trình bày dựa trên tọa độ cảm biến. 34
Hình 2.1. Hệ thống máy ảnh nổi Bumblebee [76]......................................................... 42
Hình 2.2. Các trục tọa độ của hệ thống thị giác nổi [78]............................................... 43
Hình 2.3. Mối quan hệ tỷ lệ nghịch độ sâu và độ chênh lệch [78] ................................ 44
Hình 2.4. Ví dụ về bản đồ độ sâu [79]........................................................................... 45
Hình 2.5. Hệ thống tính bản đồ độ sâu điển hình SAD ................................................. 46
Hình 2.6. Hệ thống tính bản đồ độ sâu SAD điều chỉnh đề xuất .................................. 48
Hình 2.7. Bản đồ chênh lệch được thực hiện bởi thuật tốn SAD thơng thường.......... 50
Hình 2.8. Bản đồ chênh lệch được thực hiện bởi SAD cải thiện .................................. 51
Hình 2.9. Biểu đồ thời gian tiêu tốn, độ chính xác và độ che phủ được thực hiện bởi
SAD thơng thường cho ảnh Cones. ............................................................................... 52
Hình 2.10. Thời gian chạy, độ chính xác và độ bao phủ của phương pháp tăng cường
thuật tốn SAD cho hình ảnh Cones.............................................................................. 52
Hình 2.11. So sánh trong thời gian xử lý được thực hiện bởi các phương pháp SAD
thông thường và phương pháp tăng cường SAD đề xuất. ............................................. 53
Hình 2.12. Sơ đồ khối của hệ thống máy ảnh thị giác nổi [78] ..................................... 54
xi


Hình 2.13. Ngun lý tính độ sâu của điểm ảnh ........................................................... 54
Hình 2.14. Khái niệm điểm lân cận của điểm p ............................................................ 56
Hình 2.15. Sơ đồ khối hệ thống phát hiện mặt phẳng ................................................... 57
Hình 2.16. Minh họa dữ liệu trong thư viện Middlebury. ............................................. 58
Hình 2.17. Minh họa dữ liệu độ sâu môi trường thực tế và dữ liệu cải thiện ............... 58
Hình 2.18. Thuật tốn Tạo vùng hàng xóm ................................................................... 60

Hình 2.19. Hệ thống thử nghiệm trích mặt phẳng ......................................................... 61
Hình 2.20. Kết quả của các ảnh kiểm tra trong thư viện Middlebury ........................... 62
Hình 2.21. Kết quả của các ảnh kiểm tra thu thập bởi máy ảnh RGB-D ...................... 63
Hình 2.22. So sánh số lượng mặt phẳng được phát hiện theo một số ngưỡng tối thiểu
min khác nhau với phương pháp FPDIDM [7] ............................................................. 63
Hình 2.23. Số lượng mặt phẳng được phát hiện theo các ngưỡng tối thiểu min khác nhau
áp dụng với bản đồ độ sâu từ máy ảnh RGB-D............................................................. 64
Hình 2.24. Kết quả của các phương pháp HSBSR [6], PPDFDM [53], FPDIDM [7] và
thuật toán đề xuất trên bản đồ chênh lệch St-Michel Jail của Toulouse ....................... 65
Hình 2.25. So sánh ba thơng số đánh giá giữa các phương pháp HSBSR, PPDFDM,
FPDIDM và Phương pháp NGaF đề xuất trên bản đồ chênh lệch nhà thờ St-Michel Jail
ở Toulouse. .................................................................................................................... 66
Hình 3.1. Mơ hình tốn học xác định độ chênh lệch độ sâu ......................................... 69
Hình 3.2. Kiến trúc hệ thống nhận dạng mặt đất đề xuất .............................................. 71
Hình 3.3. Thuật tốn Lọc và gom nhóm ........................................................................ 72
Hình 3.4. Mơ tả cách chia khối B có kích thước 88 .................................................... 74
Hình 3.5. Thuật tốn Tinh chỉnh vùng mặt đất ............................................................. 76
Hình 3.6. Các bản đồ gradient của hình ảnh trong thư viện Middlebury được thử nghiệm.
....................................................................................................................................... 77
Hình 3.7. Kết quả nhận dạng mặt đất của hình ảnh thử nghiệm trong nhiều trường hợp
điển hình với các giá trị B. ............................................................................................ 78
Hình 3.8. Kết quả của các hình ảnh được thử nghiệm trong nhiều mơi trường. ........... 79
Hình 3.9. Tỷ lệ các điểm mặt đất được phát hiện trước q trình hiệu chỉnh theo các kích
thước cửa sổ w ............................................................................................................... 80
Hình 3.10. Tỷ lệ điểm mặt đất được phát hiện sau q trình hiệu chỉnh theo các kích
thước khối B với cửa sổ w = 3 3 .................................................................................. 80
Hình 3.11. Tỷ lệ điểm mặt đất được phát hiện sau q trình hiệu chỉnh theo các kích
thước khối B với cửa sổ w = 5  5 .................................................................................. 81

xii

Hình 3.12. Tỷ lệ điểm mặt đất được phát hiện sau q trình hiệu chỉnh theo các kích
thước khối B với cửa sổ w = 7  7 .................................................................................. 81
Hình 3.13. Đường cong biến đổi của R và đường ngưỡng tương ứng θ trong bản đồ
gradient độ sâu sau khi phân chia khối. ......................................................................... 83
Hình 3.14. Sơ đồ khối hệ thống trích mặt đất từ dữ liệu độ sâu cung cấp bởi máy ảnh
RGB-D ........................................................................................................................... 85
Hình 3.15. Các thơng số hình học của Kinect [93] ....................................................... 85
Hình 3.16. Kết quả của các hình ảnh được thử nghiệm trong nghiên cứu điển hình. ... 90
Hình 3.17. Tỷ lệ điểm mặt đất được phát hiện đúng R1 theo kích thước cửa sổ làm mịn
B..................................................................................................................................... 91
Hình 3.18. Tỷ lệ điểm mặt đất lỗi theo các kích thước cửa sổ làm mịn B. ................... 91
Hình 3.19. So sánh tỷ lệ điểm mặt đất được phát hiện đúng (R1) của các phương pháp.
....................................................................................................................................... 92
Hình 3.20. So sánh tỷ lệ điểm mặt đất được phát hiện sai (R2) của các phương pháp . 92
Hình 4.1. Mơ hình rơ-bốt sử dụng hệ thống dẫn đường dựa trên thị giác máy tính...... 95
Hình 4.2. (a) Các thành phần của Kinect và (b) Phạm vi không gian độ sâu [94] ........ 95
Hình 4.3. Mơ hình tốn học tính tốn vị trí của điểm sâu xác định .............................. 96
Hình 4.4. Sơ đồ khối phương pháp dẫn đường dựa trên bản đồ độ sâu ........................ 97
Hình 4.5. Mơ hình tốn học cơ bản lựa chọn hướng di chuyển của rô-bốt ................... 97
Hình 4.6. Mơ hình tốn học cải tiến lựa chọn hướng di chuyển của rơ-bốt .................. 99
Hình 4.7. Thuật tốn điều hướng cải thiện dựa trên bản đồ độ sâu cho rơ-bốt trong nhà
..................................................................................................................................... 100
Hình 4.8. Hệ thống xe rơ-bốt thử nghiệm ................................................................... 102
Hình 4.9. Kết quả thử nghiệm chiến thuật dẫn đường cơ bản ..................................... 103
Hình 4.10. Theo dõi vị trí rơ-bốt theo chiến thuật điều hướng cơ bản ........................ 104
Hình 4.11. Kết quả thuật tốn điều hướng cải tiến ...................................................... 108
Hình 4.12. Theo dõi vị trí rơ-bốt theo chiến thuật điều hướng cải tiến ....................... 108

xiii


MỞ ĐẦU

1. Tính cấp thiết của luận án
Một xã hội phát triển được đánh giá theo nhiều khía cạnh. Một trong những yếu tố
quan trọng là khả năng hỗ trợ, bảo vệ, nâng cao chất lượng sống những cá nhân bị tổn
thương như người già, người khiếm thị. Theo báo cáo của Tổ chức Y tế Thế giới, trên
toàn cầu, ước tính có khoảng 1,3 tỷ người sống với một số dạng suy giảm thị lực. Có
188,5 triệu người bị suy giảm thị lực nhẹ, 217 triệu người bị suy giảm thị lực từ trung
bình đến nặng và 36 triệu người bị mù [1]. Liên quan đến tầm nhìn gần, 826 triệu người
sống trong tình trạng suy giảm thị lực gần [2]. Trên toàn cầu, các nguyên nhân hàng đầu
gây suy giảm thị lực là các tật khúc xạ và đục thủy tinh thể không được điều trị. Khoảng
80% của tất cả các suy giảm thị lực trên toàn cầu được coi là có thể tránh được. Phần
lớn những người bị suy giảm thị lực là trên 50 tuổi. Như vậy nhu cầu về các thiết bị hỗ
trợ cho điều hướng và định hướng là rất cao và tăng lên khi mức sống ngày càng cao.
Có rất nhiều cơng cụ đang được sử dụng như gậy dò đường hoặc sử dụng chó được huấn
luyện dẫn đường. Mặc dù các cơng cụ này rất phổ biến, nhưng chúng không thể cung
cấp cho người khiếm thị tất cả thơng tin và tính năng để di chuyển an toàn. Nhờ những
thành tựu của mạch tích hợp, ý tưởng sử dụng máy ảnh thị giác có cấu trúc như mắt
người tỏ ra có tiềm năng hỗ trợ tìm đường. Máy ảnh cịn có ưu thế cung cấp đầy đủ
thông tin môi trường xung quanh cá nhân.
Trong những năm gần đây, các thảm họa gây nhiều thiệt hại về người và vật chất
xảy ra tại các đô thị bởi yếu tố đặc trưng mật độ dân cư cao và nhiều nhà cao tầng. Công
tác tiếp cận khu vực khảo sát đối mặt với nhiều thách thức bởi môi trường này tiềm ẩn
nhiều yếu tố nguy hiểm như rị rỉ khí ga, khói, … Các nghiên cứu gần đây có định hướng
đề xuất giải pháp thay thế con người bằng xe rô-bốt tự dẫn đường. Thách thức là làm
thế nào rơ-bốt làm việc được chính xác ổn định và kịp thời trong môi trường không
lường trước và có thể biến đổi. Có rất nhiều phương pháp dẫn đường đã được thử nghiệm

nhưng trong thời gian gần đây nổi lên là phương pháp dẫn đường bằng máy ảnh thị giác
với nhiều hy vọng hỗ trợ được tối đa các yêu cầu trong khảo sát môi trường văn phòng
tòa nhà.

1


Ngồi ra, xe rơ bốt hồn tồn có thể trở thành trợ lý của con người trong việc
chuyển phát hoặc nhận hàng hóa, tài liệu cứng trong một khu vực tổ hợp văn phòng hoặc
trong kho phân phối chuyển phát kiện hàng.
Gần đây rất nhiều nhóm nhà khoa học đang tập trung nghiên cứu và phát triển các
hệ thống rô-bốt tự trị tích hợp máy ảnh. Xu hướng phát triển cơng nghệ là tích hợp các
cảm biến ảnh mạnh mẽ như máy ảnh nổi hoặc máy ảnh màu Đỏ Lục Dương-Độ sâu
(RGB-D). Trong đó việc nghiên cứu giải thuật xử lý tín hiệu ảnh thị giác có vai trị quan
trọng trong tồn hệ thống. Dựa trên hình ảnh thu nhận trong hiện trường cho phép xác
định được chính xác đầy đủ đa vật cản, đa mục tiêu. Lợi thế vượt trội của hệ máy ảnh
thị giác là cung cấp hình ảnh sinh động và giàu thông tin cho người giám sát .
Tình hình nghiên cứu thuật tốn xử lý tín hiệu ảnh ứng dụng trong rô-bốt tự trị
trong nhà không biết trước môi trường chưa được sự quan tâm xứng đáng với vai trị
quan trọng của nó. Ngun nhân chủ yếu là việc định hướng nghiên cứu chưa được
hoạch định ở tầm vĩ mô. Nếu điều này được xây dựng một cách bài bản thì sẽ khuyến
khích có nhiều nhà khoa học, các nghiên cứu sinh, kỹ sư … tham gia bởi tính ứng dụng
thiết thực đến nhiều lĩnh vực trong đời sống xã hội. Mặc dù xử lý tín hiệu máy ảnh là
một khoa học ứng dụng đóng vai trò đặc biệt quan trọng cho sự phát triển của các hệ
thống giám sát, cứu hộ, hỗ trợ bệnh nhân người già và người khiếm thị. Nhưng do đặc
thù của lĩnh vực nghiên cứu là địi hỏi có những kiến thức cơ bản về toán học và logic
vững vàng, nên có nhiều khó khăn đối với nhiều nhà nghiên cứu. Cho nên số lượng các
bài báo, các cơng trình khoa học có liên quan được cơng bố trên các tạp chí khoa học,
báo khoa học ở trong nước cịn hạn chế. Ngồi nhóm nghiên cứu của Viện Điện tử Viễn thông, trường Đại học Bách Khoa Hà Nội, ở trong các trường đại học, các viện
khoa học vẫn có những nhóm nghiên cứu thực hiện các đề tài, dự án nghiên cứu khoa

học như Khoa Điện tử - Viễn thông, Trường đại học Công nghệ, Đại học Quốc Gia Hà
Nội, Học viện kỹ thuật quân sự, Khoa Điện tử - Viễn thơng, Trường Đại học Bách Khoa
thành phố Hồ Chí Minh và một số trường đại học, viện nghiên cứu khác.
Các nghiên cứu hiện nay hứa hẹn sẽ giải quyết được vấn đề hiệu năng và tính chính
xác hệ thống, có tính ứng dụng cao trong tương lai. Nhưng riêng đối với những nghiên
cứu phát triển thuật toán xử lý tín hiệu máy ảnh ứng dụng trong hệ thống thị giác rơ-bốt
dẫn đường trong nhà cịn tiềm năng. Ngun nhân một phần do điều kiện nghiên cứu
thực nghiệm còn nhiều hạn chế nên cho đến nay số lượng các công trình nghiên cứu liên
quan được cơng bố trong các tạp chí, hội thảo khoa học trong nước cịn khá hạn chế.
2


Sau đây là một số phân tích mơi trường đặc trưng môi trường hoạt động trong nhà
của xe rô-bốt. Bằng cách quan sát thực tế, tính chất chung của chúng là được xây dựng
là phẳng hoặc gồm các mảng phẳng lớn ghép lại với nhau. Các đồ đạc trong phòng được
sắp xếp và có thể thay đổi vị trí tùy ý bất kỳ lúc nào. Các đồ đạc bị xê dịch hoặc xáo
trộn hoặc đổ xuống sàn. Nên khó có thể sử dụng được bản đồ xây dựng sẵn có của tịa
nhà hoặc có thể chúng chưa được số hóa theo chuẩn của hệ xe rô-bốt. Vậy trường hợp
phổ quát xe rô-bốt làm việc môi trường trong nhà không biết trước. Một điều hiển nhiên
xe rô-bốt với cơ cấu chấp hành bánh xe chỉ có thể di chuyển trên mặt sàn hoặc gọi là
mặt đất. Vậy vấn đề dẫn đường có thể được giải quyết bằng cách chỉ ra cho hệ xe rô-bốt
đâu là mặt đất và phi đất sử dụng hệ thống cảm biến máy ảnh thị giác. Bản chất mặt đất
là một trong những mặt phẳng xuất hiện trong ảnh. Ngồi ra cịn có các mặt phẳng khác
tạo nên hình dạng của các đối tượng như tường, bàn, ghế, tủ…Các đối tượng này được
quan tâm khi yêu cầu xe rơ-bốt có nhiệm vụ thu thập dữ liệu để phân tích cấu trúc mơi
trường. Thực tế đây cũng là tính năng cơ bản của xe rơ-bốt trong bài tốn khảo sát môi
trường, giúp tái tạo cảnh vật dạng 3D.
Như vậy, nhằm khai thác hiệu quả hệ máy ảnh thị giác gắn trên xe rô-bốt các vấn
đề thiết yếu đặt ra gồm:
1. Trích xuất mặt phẳng từ dữ liệu cung cấp bởi máy ảnh thị giác nổi hoặc RGBD. Bài toán này hỗ trợ phát triển ứng dụng tái tạo lại môi trường dạng 3D.

2. Nhận dạng mặt đất dựa trên việc khai thác dữ liệu máy ảnh thị giác nổi hoặc
RGB-D.
3. Ứng dụng nhận dạng mặt đất trong bài tốn dẫn đường cho xe rơ-bốt hoạt động
trong nhà trong điều kiện khơng có bản đồ giao thơng.
Sau đây là phân tích sâu hơn tính cấp thiết của 3 vấn đề trên.
1.1. Trích xuất mặt phẳng
Trong lĩnh vực thị giác máy tính, phát hiện mặt phẳng là một trong những ứng
dụng cơ bản để khai thác sâu dữ liệu thị giác bao gồm ứng dụng tái kiến trúc môi trường
3D, nhận dạng đối tượng và điều hướng rô-bốt. Nghiên cứu gần đây cho thấy một số kết
quả thú vị với các thuật toán khác nhau. Những phương pháp tiếp cận này có thể lựa
chọn một trong nhiều loại dữ liệu đầu vào phong phú như đám mây điểm 3D, hình ảnh
màu đơn hoặc bản đồ chênh lệch. Trong [3], các tác giả kết hợp một cải tiến thuật toán
biến đổi Hough với kỹ thuật bó cụm để tìm kiếm nhiều mục tiêu trong ảnh dựa trên biên
3


của đối tượng. Phương pháp này có thể phát hiện nhiều đối tượng với hình dạng trịn
hoặc hình dạng thẳng. Tuy nhiên, cấu trúc của các đối tượng được trích chọn khá đơn
giản. Vì vậy, các thuật tốn ứng dụng khơng thể thích ứng với mơi trường tự nhiên,
trong đó hầu hết hình dáng của các vật thể đều được hình thành bởi rất nhiều mặt phẳng.
Cơng trình [4] đề xuất một phương pháp tiếp cận thực tế hơn bằng cách giải quyết vấn
đề tìm kiếm mặt phẳng dựa trên thuật toán chuyển đổi 3D Hough áp dụng cho đám mây
điểm 3D. Sự đóng góp xuất sắc chính là cải thiện sự phức tạp của phép chuyển đổi
Hough trong hệ tọa độ của không gian ba chiều. Các kết quả trải nghiệm được đánh giá
là tích cực lạc quan nhưng rõ ràng là mục đích đáp ứng thời gian thực vẫn chưa đạt được.
Các nội dung trong [5] [6] [7] mang đến một cách tiếp cận mới để phát hiện các mặt
phẳng bằng cách cải thiện thuật toán Đồng thuận lấy mẫu ngẫu nhiên (RANSAC). Ngoài
ra giải pháp phối hợp với giải thuật khác như Độ dài mô tả tối thiểu (MDL) để cải thiện
độ tin cậy của các kết quả được thử nghiệm. [8] [9] giải quyết bài toán hẹp phát hiện
mặt bàn với thuật toán đề xuất PROSAC bằng cách cải thiện RANSAC. Nhìn chung,

các cơng trình đã có một số kết quả đáng khích lệ cho cả hai loại dữ liệu tổng hợp và dữ
liệu thu thập trong thực tế. Phương pháp này có thể tránh việc phát hiện mặt phẳng sai
do độ phức tạp hình học cao của dữ liệu 3D. Nhưng sau đó sự phức tạp của dữ liệu của
cấu trúc là không được quan tâm thích đáng. Trong cơng trình [10], mặt phẳng ngang
được phát hiện từ các điểm đầu mối của hình ảnh trực quan hoặc phát hiện từ biên trong
dữ liệu điểm 3D. Tuy nhiên, những phương pháp này khơng thích hợp cho hầu hết các
loại cấu trúc xây dựng trên thực tế. Giải pháp tìm mặt phẳng được trình bày trong [11]
căn cứ trên giải pháp Tối ưu hạt Swarm (PSO) kèm với thuật tốn Phát triển vùng (RG)
để trích chọn các mặt phẳng nhỏ. Song trong nhận định kết quả của giải pháp này thì có
nhiều ý kiến là cần phải thảo luận thêm về khả năng giảm chi phí tính tốn và cải thiện
độ chính xác. Tất cả các phương pháp tiếp cận được đề cập ở trên đều lựa chọn dữ liệu
đầu vào 3D phức tạp.
Gần đây, các bài viết [12] [13] [14] công bố phát hiện bất kỳ loại bề mặt nào mà
không cần hiệu chuẩn máy ảnh bằng cách giả định máy ảnh gắn trên xe tự hành ln
chuyển động tuyến tính. Các bề mặt phẳng được tham số hóa bằng cách chuyển chúng
thành khơng gian vận tốc c có dạng pa-ra-bơn [12]. Tác giả đề xuất phương pháp phát
hiện mặt phẳng mà khai thác ràng buộc đường cong vận tốc ISO sau khi ước tính luồng
quang học và bỏ phiếu cho các bộ tích lũy. Hàm vận tốc c phụ thuộc vào hai biến x và y
với mối quan hệ gốc bình phương vì vậy nó có độ phức tạp quá cao. Bản thảo [14] đưa
ra một số kết quả lạc quan và cần được phát triển hoàn thiện hơn nữa.

4


Các phương pháp ứng dụng thú vị [15] [16] có thể nhanh chóng phát hiện nhiều
mặt phẳng dựa trên một bản đồ chiều sâu thu được từ máy ảnh Kinect. Thuật tốn được
áp dụng trong giải pháp tính véc tơ pháp tuyến cục bộ của các nhóm bốn điểm liền kề
trong bản đồ chiều sâu. Sau đó, xác minh tính đồng phẳng của mỗi điểm trong cơ sở dữ
liệu đám mây 3D dựa trên tiêu chí véc tơ pháp tuyến. Lợi thế của phương pháp này có
thể phát hiện đồng thời nhiều mặt phẳng, cải thiện tốc độ của quá trình phát hiện mặt

phẳng, ngoại trừ trong [16]. Kết quả thử nghiệm cho thấy tốc độ xử lý của phương pháp
đề xuất nhanh hơn một số phương pháp trước đó như thuật toán chuyển đổi 3D Hough
và thuật toán RANSAC. Nó cũng có thể làm việc trong thời gian thực. Đầu vào 2D này
có một lợi thế chính đơn giản nhưng nó dễ dàng gặp dung sai lớn trong những cảnh thực
vì độ sâu và chênh lệch khơng tỉ lệ tuyến tính. Các tác giả khơng đề cập đến khó khăn
này một cách kỹ lưỡng và giải pháp nâng cao độ tin cậy của các kết quả. Nhưng bên
cạnh đó, độ tin cậy của kết quả không tốt như mong đợi vì các véc-tơ pháp tuyến cục bộ
chỉ được tính tốn chính xác trong trường hợp bản đồ chiều sâu hồn hảo. Tình trạng
này hiếm khi được đáp ứng bởi nguyên nhân nguồn tài nguyên phần cứng hạn chế của
cảm biến di động nhỏ gọn gây ra. Ngoài ra, mục tiêu ưu tiên phổ biến là rô-bốt hoạt
động tốt trong thời gian thực.
1.2. Trích xuất mặt phẳng đất
Trong lĩnh vực rô-bốt di động tự trị được gắn kết với một máy ảnh nổi, vấn đề
quan trọng nhất là khai thác mặt phẳng đất, xác định chướng ngại vật để giải quyết bài
tốn tìm đường khả thi của rơ-bốt nhằm tới đích u cầu trước. Trong những năm gần
đây, có rất nhiều công việc liên quan tới vấn đề này với cách tiếp cận tương đối đa dạng.
Chúng bao gồm các cơng trình [17] [18] [19] sử dụng thuật tốn RANSAC kinh điển để
ước tính mặt phẳng đất có độ tin cậy cao. Tuy nhiên, phương pháp này cần sử dụng một
số lượng lớn các phép tốn nên có thể dẫn đến thời gian chạy bị tiêu tốn hoặc đòi hỏi
cấu hình phần cứng mạnh đồng nghĩa với chi phí cao. Hai phương pháp tiếp cận trong
[20] [21] áp dụng một khái niệm luồng quang học và sử dụng dữ liệu đầu vào là video
màu hoặc hình ảnh xám đa cấp để có được một số kết quả rất thú vị trong mơi trường có
chứa các đối tượng với đặc điểm đặc biệt. Trong các trường hợp khác, mặt phẳng đất
chứa các mẫu phức tạp, độ chính xác phát hiện bị giảm rõ rệt. Đối với ứng dụng thời
gian thực, các tác giả trong [22] đã trình bày thuật tốn tìm mặt bằng mặt phẳng đất bằng
cách xử lý dữ liệu đầu vào bản đồ chênh lệch 2D. Tuy nhiên những hình ảnh đầu vào
được thu thập và thử nghiệm trong môi trường trong nhà với nền tảng đơn giản. Điều
này giới hạn khả năng giải quyết vấn đề trong môi trường thực tế phức tạp hơn nhiều
5

[23], [24]. Việc kết hợp cả hai thuật toán Hough và RANSAC cổ điển đã mang lại kết
quả xác định các đối tượng rất hiệu quả bằng cách thúc đẩy lợi thế của mỗi thuật toán
cho mỗi trường hợp cụ thể khác nhau [25]. Tuy nhiên, khối lượng phép toán trong
chương trình là một vấn đề chưa được giải quyết. Quá trình áp dụng phép biến đổi ảnh
cho nguồn dữ liệu ảnh xám đơn giản từ một hoặc hai máy ảnh [26] [27] [28] nhưng điều
hiển nhiên là giải pháp này khơng thể trích xuất các thơng tin chiều sâu của các đối
tượng vật cản trong khung hình nên làm cho việc điều hướng rơ-bốt chắc chắn khó khăn.
Vì vậy, với các ứng dụng thời gian thực của rô-bốt di động trong khi di chuyển,
các phương pháp được đề cập có thể phải đối mặt với tải tính tốn lên cao và yêu cầu
hoạt động trên một nền tảng phần cứng với cấu hình cao.
1.3. Dẫn đường cho rơ-bốt trong nhà
Trong những năm gần đây, vấn đề điều hướng cho rô-bốt trong môi trường trong
nhà được quan tâm rất đặc biệt. Nhiều nhà nghiên cứu đã cố gắng sử dụng cảm biến
mạnh mẽ mà có thể thu thập thơng tin phong phú như máy ảnh. Nhiều loại cảm biến
hình ảnh RGB-D đã được bán trên thị trường như Kinect của Microsoft hoặc Bumblebee
bởi FLIR Systems, Inc, v.v... Những sản phẩm này cho phép cải thiện mạnh mẽ cách
thức con người tương tác với thế giới xung quanh, tăng cường an tồn cơng cộng, tăng
hiệu quả năng lượng và kích hoạt các cộng đồng giải trí lành mạnh [29].
Phương pháp tiếp cận đã được trình bày thuật tốn Đồng thời định vị trí và lập bản
đồ (SLAM) sử dụng hệ thống máy ảnh RGB-D [30] [31] [32]. Những phương pháp ứng
dụng này được tối ưu hóa cho các cơng việc dẫn đường trong một phạm vi nhỏ như một
căn phòng nhỏ, không đáp ứng cho môi trường lớn. Kết quả tốt nhất của các cơng trình
[30] [31] [32] vẫn cịn hai nhược điểm bao gồm độ chính xác khiêm tốn và không đáp
ứng thời gian xử lý tối thiểu cho chuyển động liên tục của rơ-bốt. Việc áp dụng các thuật
tốn RANSAC và lập bản đồ 3D làm cho tốc độ xử lý giảm đáng kể.
Theo cơng trình nghiên cứu [33], tác giả trình bày một số kết quả đáng khích lệ,
nhưng các tác giả cũng thừa nhận rằng việc lập bản đồ triển khai từ máy ảnh RGB-D
không đáp ứng tính chất thời gian thực. Rõ ràng các hệ thống thử nghiệm này có yêu
cầu tài nguyên phần cứng cao tích hợp GPU hiện đại. Bên cạnh đó, hệ thống vẫn cần

phải cải thiện hiệu suất làm việc. Các kết quả kinh nghiệm của [34] đã thỏa mãn điều
kiện thời gian thực nhưng hệ thống máy ảnh bị buộc phải hoạt động ở độ phân giải thấp
hơn tiêu chuẩn VGA. Ngồi ra, hệ thống chỉ có thể cập nhật bản đồ từ cảm biến ít hơn
6 lần mỗi giây.
6


Gần đây, các tác giả của cơng trình nghiên cứu [35] triển khai tương đối nhiều
công việc bao gồm việc tái tạo mơi trường 3D và nhận dạng địa hình nhìn thấy ở phía
trước của rơ-bốt di động. Mục đích chính của [35] là tránh vật cản căn cứ trên cấu trúc
dữ liệu kim tự tháp và kỹ thuật lập trình động. Hệ thống cài đặt thu được kết quả tốt
nhưng còn chưa thuyết phục với độ phân giải của máy ảnh thấp 128x128. Giá trị của
tham số này không đủ chất lượng để nhận ra tất cả những trở ngại chính trên mặt đất.
Ngồi ra, khu vực mù trong vịng khoảng 2m từ rơ-bốt là q lớn so với kích thước và
vận tốc của rơ-bốt.
Xu hướng mạnh mẽ này là do sự hỗ trợ của phần cứng mạnh với một mức chi phí
ngày càng thấp hơn. Là cơ sở để xây dựng một hệ thống hiệu suất cao, kích thước nhỏ
gọn. Hệ điều hành và phần mềm cũng được hỗ trợ bởi phần cứng nhiều hơn và ngày
càng có nhiều hơn nữa tài nguyên mềm với nhiều thư viện hàm chức năng. Vì vậy, nhiều
nhà nghiên cứu đang cố gắng để đưa trí thơng minh nhân tạo vào rơ-bốt với mục tiêu
giúp các rơ-bốt tự động hố nhiều hành vi thông minh. Hệ thống đề xuất trong [36] sử
dụng một cảm biến ổn định Kinect để thu thập các dịng dữ liệu video độ sâu để sau đó
sẽ đưa vào một mạng nơ-ron nhân tạo (ANN). Mạng lưới này nhận ra các loại đường
dẫn khác nhau trong môi trường bao gồm con đường phía trước, con đường bên trái, con
đường bên phải và nút giao thông. Tuy nhiên, kết quả kinh nghiệm khơng phải là tồn
diện vì vấn đề chuyển hướng chỉ thích hợp cho mơi trường trong nhà hạn chế. Sự đổi
mới của [37] chỉ kết hợp được lập bản đồ và đào tạo mạng nơ-ron để xây dựng được
một hệ thống định vị trong nhà. Các đóng góp chính của [38] phương pháp là áp dụng
kết hợp thuật toán dự đoán một phần chiều sâu và thuật toán lọc hạt. Cụ thể, ước lượng
độ sâu của các điểm tiêu biểu bằng phép toán xấp xỉ độ sâu mà khơng tính tốn chiều

sâu của tất cả các điểm trong hình ảnh. Tiếp theo, thuật tốn lọc hạt đảm bảo nhiễu được
lọc ra tối đa trong quá trình dự đốn vị trí của rơ-bốt. Vì vậy, các kết quả được đánh giá
là rất lạc quan. Bên cạnh đó cần giải quyết thời gian tính tốn cần phải giảm nhiều hơn
nữa, trừ phi kích thước của các thiết lập hạt không phải là linh hoạt.

2. Mục tiêu, đối tượng, phương pháp và phạm vi nghiên cứu
2.1. Mục tiêu nghiên cứu
Mục tiêu thứ nhất là tăng cường thuật tốn tính tốn bản đồ chênh lệch/độ sâu về
mặt thời gian, hỗ trợ cho hệ thống máy ảnh nổi cung cấp dữ liệu độ sâu theo thời gian
thực cho các ứng dụng khai thác dữ liệu sâu hơn.

7


Mục tiêu thứ hai là nghiên cứu và đề xuất các thuật tốn trích xuất mặt phẳng dựa
trên dữ liệu độ sâu, đáp ứng yêu cầu xử lý theo thời gian thực, hỗ trợ cho bài toán tái tạo
đối tượng 3D.
Mục tiêu thứ ba là tập trung nghiên cứu và đề xuất thuật toán nhận dạng hiệu quả
mặt đất từ dữ liệu bản đồ độ sâu, đáp ứng yêu cầu xử lý theo thời gian thực để hỗ trợ
giải quyết bài tốn dẫn đường cho rơ-bốt.
Mục tiêu thứ tư là nghiên cứu phương pháp dẫn đường cho rô-bốt áp dụng thuần
túy thuật toán khai thác bản đồ độ sâu, trong môi trường trong nhà không biết trước,
theo định hướng giảm thiểu độ phức tạp; đáp ứng được yêu cầu dẫn đường chính xác.
Trong q trình thực hiện các mục tiêu trên, các nghiên cứu cần thử nghiệm các
thuật toán xử lý video độ sâu đề xuất và chiến thuật dẫn đường trên xe rơ-bốt. Đó là
nghiên cứu thiết kế chế tạo mơ hình rơ-bốt tích hợp hệ thống máy ảnh nổi hoặc RGB-D
phù hợp với môi trường trong nhà. Sau đó hệ thống rơ-bốt được tích hợp các phần cứng
và phần mềm để kiểm định các kết quả đề xuất của mục tiêu nghiên cứu thứ nhất và thứ
hai trong thực tế.
2.2. Đối tượng nghiên cứu

Từ các mục tiêu nghiên cứu trên, luận án tập trung vào đối tượng nghiên cứu thứ
nhất là các thuật toán xử lý dữ liệu bản đồ độ sâu được cung cấp bởi hệ thống máy ảnh
nổi hoặc RGB-D, cung cấp dữ liệu vào cho bài tốn dẫn đường của rơ-bốt trong nhà, với
khả năng tự tránh các vật cản trên đường di chuyển.
Tiếp theo là tập trung nghiên cứu phương pháp dẫn đường cho rô-bốt sử dụng hệ
thống máy ảnh nổi hoặc RGB-D trong môi trường trong nhà không biết trước.
Cuối cùng là nghiên cứu, thiết kế và chế tạo mơ hình rơ-bốt tích hợp hệ thống máy
ảnh nổi hoặc RGB-D với các thuật toán đã phát triển nhằm thử nghiệm độ tin cậy.
2.3. Phương pháp nghiên cứu
Phương pháp nghiên cứu trong luận án đi từ nghiên cứu lý thuyết đến thực nghiệm,
ứng dụng các kỹ thuật xử lý ảnh thu nhận từ máy ảnh nổi vào giải quyết bài tốn tìm
đường trên rơ-bốt di động. Đầu tiên luận án nghiên cứu lý thuyết, xây dựng mơ hình,
sau đó mơ phỏng thuật tốn, thiết kế chế tạo mơ hình xe rơ-bốt để thực nghiệm trên hiện
trường nghiên cứu và đo lường, đánh giá
8


2.4. Phạm vi nghiên cứu
Phát triển các thuật toán xử lý ảnh được cung cấp bởi hệ thống máy ảnh nổi hoặc
RGB-D.
Phát triển thuật tốn dẫn đường cho rơ-bốt trong môi trường năng động chỉ sử dụng
thuần túy dữ liệu thu nhận bởi hệ thống máy ảnh nổi hoặc RGB-D.
Xây dựng mơ hình rơ-bốt dẫn đường bằng hệ thống máy ảnh nổi hoặc RGB-D với
các thuật toán đã phát triển đối với môi trường hoạt động trong nhà chưa biết trước.

3. Ý nghĩa khoa học và những đóng góp của luận án
3.1. Ý nghĩa khoa học
Việc nghiên cứu các thuật toán xử lý video bản đồ độ sâu cung cấp bởi hệ thống
máy ảnh nổi hoặc RGB-D của đề tài mang ý nghĩa khoa học bao gồm cả hai khía cạnh
lý luận và thực tiễn.

3.1.1. Về lý luận

Góp phần phát triển cơ sở khoa học các thuật toán xử lý tín hiệu video độ sâu thơng
qua xây dựng các phương pháp tính tốn nhanh, chính xác cao cho bài tốn dẫn đường
cho xe rô-bốt khảo sát hiện trường - một định hướng nghiên cứu mang tính thời sự.
Các kết quả nghiên cứu của đề tài dự kiến sẽ đóng góp cho sự phát triển của nền
tảng lý thuyết xử lý tín hiệu video độ sâu. Thúc đẩy giải quyết bài toán nhận dạng đối
tượng mặt đất hỗ trợ dẫn đường sử dụng thị giác máy tính cho rơ-bốt di động hoạt động
trong môi trường động trong nhà.
3.1.2. Về mặt thực tiễn

Thuật toán được nghiên cứu và đề xuất trong luận án có thể làm cơ sở cho các nhà
sản xuất thiết bị rô-bốt, hệ thống giám sát quan sát cảnh báo 3D thơng minh. Do vậy, đề
tài có tính thực tiễn cao. Thuật tốn đề xuất có thể được ứng dụng vào trong thiết kế và
chế tạo các rô-bốt khảo sát hiện trường, cứu hộ phù hợp với điều kiện mơi trường tại
Việt Nam.
3.2. Các đóng góp khoa học của luận án
Luận án đã thực hiện được các đóng góp khoa học chính sau đây:
9


1. Cải thiện thuật tốn tính bản đồ chênh lệch theo Tổng sai lệch tuyệt đối (SAD)
bằng cách tính tốn tại vị trí điểm biên của ảnh thị giác nổi, giúp giảm sâu khối lượng
dữ liệu đầu vào cần xử lý. Từ đó giảm thời gian tính tốn, đáp ứng các phát triển các
ứng dụng thời gian thực.
2. Đề xuất phương pháp trích mặt phẳng từ bản đồ độ sâu sử dụng thuật tốn
NGaF có độ phức tạp tính tốn thấp. Từ đó tăng tốc độ xử lý cũng như phương pháp
khắc phục nhược điểm.
3. Đề xuất phương pháp nhận dạng mặt đất áp dụng thuật toán GDM để khai thác
bản đồ độ sâu được cung cấp bởi máy ảnh RGB-D hoặc hệ thống thị giác nổi.

4. Đề xuất phương pháp dẫn đường dựa trên thông tin mặt phẳng đất thuần túy
áp dụng cho rô-bốt hoạt động trong nhà trong môi trường không biết trước.

4. Cấu trúc nội dung của luận án
Nội dung luận án bao gồm bốn chương. Các kiến thức tổng quan hệ thống dẫn
đường cho rô-bốt dựa trên hình ảnh thị giác được trình bày trong chương 1. Các đóng
góp khoa học của luận án thể hiện trong nội dung của chương 2, chương 3 và chương 4.
Cấu trúc nội dung được trình bày cụ thể như sau.
Đầu tiên, chương 1 tập trung giới thiệu hệ thống dẫn đường dựa trên hình ảnh thị
giác tích hợp cho rô-bốt di động. Chương này nêu rõ nhiệm vụ, vai trò và các loại hệ
thống dẫn đường sử dụng máy ảnh thị giác. Phần cuối cùng của chương 1 trình bày một
số vấn đề còn tồn tại trong xử lý ảnh thị giác trong lĩnh vực dẫn đường cho rô-bốt dựa
trên hệ thống máy ảnh RGB-D hoặc thị giác nổi. Vấn đề trích mặt phẳng từ các hình ảnh
thu thập hiện trường cho phép tái tạo lại hình dáng các đối tượng quan sát. Bài tốn trích
mặt phẳng đất là tiền đề cho giải quyết bài toán di chuyển khả thi của rô-bốt. Cuối cùng
là vấn đề dẫn đường tự trị gồm các bước lập kế hoạch đường đi, phát hiện và tránh vật
cản.
Chương 2 có hai đề xuất. Đề xuất thứ nhất là phương pháp tăng tốc độ tính bản đồ
chênh lệch/độ sâu dựa trên cải tiến cách thực hiện thuật giải SAD gốc. Kết quả của bài
toán này là đầu vào cho các công việc khai thác sâu hơn dữ liệu độ sâu với các ứng dụng
phong phú như nhận dạng đối tượng trong ảnh, tái tạo môi trường 3D, dẫn đường cho
xe tự hành.

10