Phát hiện vật cản chuyển động cho robot làm việc trong môi trường đô thị

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH

LUẬN VĂN THẠC SĨ
NGUYỄN ĐÌNH HUÂN

PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG CHO ROBOT
LÀM VIỆC TRONG MÔI TRƯỜNG ĐÔ THỊ

NGÀNH: KỸ THUẬT ĐIỆN – 60520202

S K C0 0 4 6 2 0

Tp. Hồ Chí Minh, tháng 10/2015


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH

LUẬN VĂN THẠC SĨ
NGUYỄN ĐÌNH HUÂN

PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG CHO
ROBOT LÀM VIỆC TRONG MÔI TRƯỜNG ĐÔ THỊ

NGÀNH: KỸ THUẬT ĐIỆN - 60520202
Hướng dẫn khoa học:
TS. LÊ MỸ HÀ

Tp. Hồ Chí Minh, tháng 10 năm 2015


LÝ LỊCH KHOA HỌC
I. LÝ LỊCH SƠ LƯỢC
Họ & tên: NGUYỄN ĐÌNH HUÂN
Ngày, tháng, năm sinh: 17/11/1990
Quê quán: Phù Cát – Bình Định
Chỗ ở riêng: Số 36, Đường số 1, P.Bình An, Quận
Điện thoại: 0978747855

Giới tính: Nam
Nơi sinh: Kon Tum
Dân tộc: Kinh
2, TP.HCM.

II. QUÁ TRÌNH ĐÀO TẠO
1. Cao đẳng
Hệ đào tạo: Chính quy
Thời gian đào tạo: từ 09/2008 đến 09/2011
Nơi học (trường, thành phố): Trường Đại học Công nghiệp TP. Hồ Chí Minh
Ngành học: Kỹ thuật Điện
2. Đại học
Hệ đào tạo: Liên thông
Thời gian đào tạo: từ 09/2011 đến 05/2013
Nơi học (trường, thành phố): Trường Đại học Công nghiệp TP. Hồ Chí Minh
Ngành học: Kỹ thuật Điện
Tên đồ án tốt nghiệp: Đồ án thiết kế tủ chuyển mạch tự động ATS
Ngày & nơi bảo vệ đồ án tốt nghiệp: Tháng 2/2013 tại Trường Đại học Công
nghiệp TP.HCM

Người hướng dẫn: Giảng viên. Phạm Toàn Sinh
III. QUÁ TRÌNH CÔNG TÁC CHUYÊN MÔN KỂ TỪ KHI TỐT
NGHIỆP ĐẠI HỌC
Thời gian
2013-2015

Nơi công tác
Trường ĐH. Sư phạm kỹ thuật
TP. Hồ Chí Minh

I

Công việc
Học viên


LỜI CAM ĐOAN
Tôi cam đoan đây là công trình nghiên cứu của tôi.
Một số nội dung có nghiên cứu tham khảo từ các nhóm nghiên cứu khác trên
thế giới. Các số liệu, kết quả nêu trong luận văn là trung thực và được kiểm nghiệm
bằng dữ liệu lấy từ thực tế. Nội dung của luận án cũng có tham khảo và sử dụng
một số thông tin, tài liệu từ các nguồn sách, tạp chí được liệt kê trong danh mục các
tài liệu tham khảo.
Tp. Hồ Chí Minh, ngày 25 tháng 10 năm 2015
(Ký tên và ghi rõ họ tên)

II


LỜI CẢM ƠN

Lời đầu tiên, em xin gửi đến thầy TS. Lê Mỹ Hà lời cảm ơn chân thành và sâu
sắc nhất. Nhờ có sự hướng dẫn và giúp đỡ tận tình của thầy trong suốt thời gian
qua, em đã có thể thực hiện và hoàn thành luận văn này. Những lời nhận xét, góp ý
và hướng dẫn tận tình của thầy đã giúp em có một định hướng đúng đắn trong suốt
quá trình thực hiện đề tài, giúp em nhìn ra được những ưu khuyết điểm của đề tài và
từng bước hoàn thiện hơn.
Đồng thời, em xin trân trọng cảm ơn các thầy cô của trường Đại học Sư phạm
kỹ thuật TP. Hồ Chí Minh nói chung và của khoa Điện -Điện tử nói riêng đã dạy dỗ
chúng em suốt quãng thời gian ngồi trên ghế giảng đường. N hững lời giảng của
thầy cô trên bục giảng đã trang bị cho chúng em những kiến thức và giúp chúng em
tích lũy thêm những kinh nghiệm. Em cũng xin gửi lời cảm ơn tới c ác anh chị
học viên khóa trư ớc đã tận tình hướng dẫn em, định hướng đúng trong những
ngày bắt đầu nhận đề tài luận văn.
Bên cạnh đó, em xin cảm ơn sự hỗ trợ và giúp đỡ của bạn bè trong thời gian
học tập tại trường Sư phạm kỹ thuật TP.Hồ Chí Minh và trong quá trình hoàn trình
hoàn thành luận văn này.
Cuối cùng, con cũng chân thành cảm ơn sự động viên và sự hỗ trợ của gia đình
và cha mẹ trong suốt thời gian học tập. Đặc biệt, con xin gửi lời cảm ơn trân trọng
nhất đến cha mẹ, người đã sinh ra và nuôi dưỡng con nên người. Sự quan tâm, lo
lắng và hy sinh lớn lao của cha mẹ luôn là động lực cho con cố gắng phấn đấu trên
con đường học tập của mình. Một lần nữa, con xin gửi đến cha mẹ sự biết ơn sâu
sắc nhất.
TP. Hồ Chí Minh, ngày 25 tháng 10 năm 2015
NGUYỄN ĐÌNH HUÂN

III


TÓM TẮT
PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG CHO ROBOT LÀM VIỆC

TRONG MÔI TRƯỜNG ĐÔ THỊ

Các quá trình xử lý tránh vật cản cho robot cũng như hệ thống hỗ trợ lái xe trong
môi trường đô thị thì cần rất nhiều thông tin về môi trường đang làm việc. Trích
xuất thông tin từ các hình ảnh của một hệ thống camera là một nhiệm vụ phức tạp
và có nhiều khó khăn cho các cảnh trong môi trường đô thị. Luận văn sẽ trình bày
một phương pháp để phát hiện đối tượng chuyển động bằng cách sử dụng dòng
cảnh thưa. Đối với các hình ảnh stereo liên tục lấy được từ một chiếc xe đang di
chuyển, điểm đặc trưng tương ứng được trích xuất. Khi đó, với mỗi điểm đặc trưng,
các giá trị chênh lệch điểm ảnh và dòng quang được biết đến, và do đó thì dòng
cảnh sẽ được tính toán. Các điểm đặc trưng liền kề nhau cùng mô tả một dòng cảnh
tương tự giống nhau thì được coi là cùng thuộc về một đối tượng duy nhất. Phương
pháp được đề xuất cho phép phát hiện mạnh mẽ các đối tượng chuyển động trong
môi trường đô thị. Các đối tượng quan trọng được phát hiện liên tục trong nhiều
khung hình. Các đối tượng đang đến gần robot thì được phát hiện trong vòng năm
khung hình sau khi chúng xuất hiện ở trong cảnh.

Nguyễn Đình Huân - KDD2013B

IV


ABSTRACT
DETECTION OF MOVING OBSTACLES FOR ROBOT WORKING
IN THE URBAN ENVIRONMENT

The process of obstacle avoidance of robot as well as driver assistance systems
need reliable information on the current environment. Extracting such information
from camera-based systems is a complex and challenging task for inner city
scenarios. This thesis presents an approach for object detection utilizing sparse

scene flow. For consecutive stereo images taken from a moving vehicle,
corresponding feature points are extracted. Thus, for every feature point, disparity
and optical flow values are known and consequently, scene flow can be calculated.
Adjacent feature points describing a similar scene flow are considered to belong to
one rigid object. The proposed method allows a robust detection of dynamic objects
in traffic scenes. Leading objects are continuously detected for several frames.
Oncoming objects are detected within five frames after their appearance.

Nguyễn Đình Huân - KDD2013B

V


MỤC LỤC
LÝ LỊCH KHOA HỌC.............................................................................................I
LỜI CAM ĐOAN ..................................................................................................... II
LỜI CẢM ƠN ..........................................................................................................III
TÓM TẮT ................................................................................................................. IV
ABSTRACT............................................................................................................... V
MỤC LỤC................................................................................................................. VI
DANH MỤC CÁC HÌNH ......................................................................................IX
DANH MỤC CÁC CHỮ VIẾT TẮT..................................................................XI
Chương 1: TỔNG QUAN........................................................................................ 1
1.1. Tổng quan chung về lĩnh vực nghiên cứu, các kết quả nghiên cứu
trong và ngoài nước đã công bố ......................................................................... 1
1.1.1. Tổng quan chung về phát hiện vật cản chuyển động cho robot 1
1.1.2. Kết quả nghiên cứu trong và ngoài nước ........................................ 3
1.2. Mục tiêu và đối tượng nghiên cứu ........................................................... 6
1.2.1. Mục tiêu nghiên cứu ............................................................................ 6
1.2.2. Đối tượng nghiên cứu .......................................................................... 6

1.3. Nhiệm vụ của đề tài và phạm vi nghiên cứu.......................................... 6
1.3.1. Nhiệm vụ của đề tài.............................................................................. 6
1.3.2. Phạm vi nghiên cứu ............................................................................. 7
1.4. Phương pháp nghiên cứu ........................................................................... 7
Chương 2: CƠ SỞ LÝ THUYẾT .......................................................................... 8
2.1. Phát hiện vùng ảnh stereo ......................................................................... 8
2.2. Tìm cặp điểm đặc trưng tương đồng....................................................... 9
2.2.1. Định nghĩa đặc trưng........................................................................... 9
2.2.2. Các bộ dò tìm đặc trưng ...................................................................10
2.3. Thông số nội của camera .........................................................................19
2.4. Thuật toán RANSAC ................................................................................24
2.5. Định vị camera dựa trên điểm tương đồng (Egomotion) .................26

Nguyễn Đình Huân - KDD2013B

VI


2.5.1. Hình học Epipolar và ma trận cơ bản ...........................................26
2.5.2. Ma trận thiết yếu và thông số ngoại camera ................................26
2.6. Giải thuật 8 điểm kết hợp RANSAC .....................................................27
2.7. Thuật toán tối ưu xác định vị trí robot .................................................28
2.8. Ma trận hiệp phương sai..........................................................................29
2.9. Tam giác Delaunay....................................................................................31
2.10. Khoảng cách Mahalanobis ......................................................................32
2.11. Giải thuật tìm kiếm theo chiều sâu ........................................................34
2.12. Phương pháp láng giềng gần nhất toàn cục GNN ..............................39
2.12.1. Các cơ sở của MHT............................................................................41
2.12.2. Thuật toán REID ...............................................................................41
2.12.3. Đánh giá giả thuyết ............................................................................42

Chương 3: PHƯƠNG PHÁP PHÁT HIỆN VẬT CẢN CHUYỂN ĐỘNG.45
3.1. Giới thiệu một số phương pháp pháp hiện vật cản ............................45
3.1.1. Các phương pháp phát hiện vật không sử dụng camera ..........45
3.1.2. Các phương pháp phát hiện vật sử dụng camera .......................47
3.2. Giới thiệu hệ thống Stereo camera ........................................................52
3.3. Phương pháp phát hiện đối tượng chuyển động ................................55
3.3.1. Tổng quan về phương pháp .............................................................55
3.3.2. Phát hiện đặc trưng ...........................................................................56
3.3.3. Đối sánh đặc trưng .............................................................................57
3.3.4. Khôi phục 3D.......................................................................................59
3.3.5. Ước lượng Egomotion .......................................................................60
3.3.6. Tính toán dòng cảnh ..........................................................................62
3.3.7. Phân nhóm dòng cảnh .......................................................................63
3.3.8. Liên kết đối tượng ..............................................................................66
Chương 4: THỰC NGHIỆM................................................................................68
4.1. Thu thập dữ liệu ........................................................................................68
4.2. Kết quả thực nghiệm.................................................................................69

Nguyễn Đình Huân - KDD2013B

VII


4.2.1. Cân chỉnh camera ..............................................................................69
4.2.2. Đối sánh đặc trưng .............................................................................70
4.2.3. Phát hiện đối tượng ............................................................................72
Chương 5: KẾT LUẬN..........................................................................................74
PHỤ LỤC A............................................................................................................... A
PHỤ LỤC B ............................................................................................................... F
PHỤ LỤC C...............................................................................................................G

TÀI LIỆU THAM KHẢO ...................................................................................... H

Nguyễn Đình Huân - KDD2013B

VIII


DANH MỤC CÁC HÌNH
Hình 2.1: Phương pháp tính DoG ................................................................................15
Hình 2.2: Tìm điểm đặc trưng từ các giá trị DoG ....................................................16
Hình 2.3: Mô tả điểm đặc trưng...................................................................................19
Hình 2.4: Mô hình Pinhold camera .............................................................................20
Hình 2.5: Hệ tọa độ tương đương mô hình Phinhold ..............................................20
Hình 2.6: Quan hệ giữa tọa độ camera và tọa độ không gian ...............................22
Hình 2.7: Quan hệ giữa tọa độ điểm ảnh và tọa độ thực ........................................23
Hình 2.8: Tập điểm dữ liệu đường thẳng ...................................................................25
Hình 2.9: Tìm đường thẳng dùng thuật toán RANSAC .........................................25
Hình 2.10: Mô tả hình học Epipolar ...........................................................................26
Hình 2.11: Mô tả hình học 3 frame liên tục với đặc trưng tương đồng .............29
Hình 2.12: Đồ thị các điểm ............................................................................................34
Hình 2.13: Xác định đỉnh kề trong tìm kiếm theo chiều sâu .................................37
Hình 2.14: Ví dụ về tình huống xung đột liên kết dữ liệu điển hình. ...................39
Hình 2.15: Tổng quan vể giải thuật MHT .................................................................41
Hình 3.1: Một robot gắn các công tắc hành trình ....................................................45
Hình 3.2: Phương pháp dùng cảm biến siêu âm .......................................................46
Hình 3. 3: Phương pháp phát hiện cạnh ....................................................................48
Hình 3.4: Phương pháp dò nền.....................................................................................49
Hình 3.5: Phương pháp laser ........................................................................................50
Hình 3.6: Bản đồ chiều sâu thu được của hệ thống Stereo vision ........................51
Hình 3.7: Cấu trúc của hệ thống Stereo .....................................................................52

Hình 3.8: Độ sâu của điểm ảnh.....................................................................................53
Hình 3.9: Tổng quan về phương pháp nghiên cứu ..................................................55
Hình 3.10: Bộ dò đốm, góc và mô tả đặc trưng ........................................................57
Hình 3.11: Đối sánh vòng tròn......................................................................................57
Hình 3.12: Gán bin lưới cho đặc trưng .......................................................................58

Nguyễn Đình Huân - KDD2013B

IX


Hình 3.13: Nhiễu kết quả của khôi phục 3D..............................................................60
Hình 3.14: Xây dựng và phân nhóm đồ thị. ..............................................................64
Hình 3.15: Phát hiện đối tượng ....................................................................................65
Hình 3.16: Thuật toán láng giềng gần nhất toàn cục GNN ....................................67
Hình 4.1: Mô hình phần cứng .......................................................................................68
Hình 4.2: Giao diệncủa sổ cửa toolbox cân chỉnh trong Matlab ..........................69
Hình 4. 3: Tập ảnh bàn cờ dùng cân chỉnh camera .................................................69
Hình 4.4: Đối sánh đặc trưng........................................................................................70
Hình 4.6: Phát hiện đối tượng ở môi trường ít đối tượng ......................................72
Hình 4.7: Phát hiện đối tượng trong tập dữ liệu phức tạp .....................................73
Hình B.1: Cửa sổ hiệu chỉnh của một camera ............................................................ F
Hình B.2: Cửa sổ hiệu chỉnh của hệ thống stereo camera........................................ F
Hình B.3: Kết quả hiệu chỉnh bằng toolbox Matlab ................................................ F

Nguyễn Đình Huân - KDD2013B

X

DANH MỤC CÁC CHỮ VIẾT TẮT
Viết tắt

STT

Viết đầy đủ

1

3D

Three Direction

2

DAS

Driver Assistance Systems

3

DFS

Depth-First Search

4

DoG

Difference of Gaussians

5

GNN

Global Nearest Neighbor

6

GPS

Global Positioning System

7

HOG

Histogram Of Oriented Gradients

8

LIDAR

Light Detection And Ranging

9

LLR

Log-Likelihood Ratio

10

MHT

Multiple Target Tracking

11

NMS

Non-Maximum-Suppression

12

RANSAC

Random Sample Consensus

13

SFM

Structure From Motion

14

SIFT

Scale-Invariant Feature Transform

15

SLAM

Simutaneous Localization and Mapping

16

SURF

Speeded Up Robust Features

17

TOF

Time of Flight

Nguyễn Đình Huân - KDD2013B

XI


Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị

Chương 1

TỔNG QUAN
1.1. Tổng quan chung về lĩnh vực nghiên cứu, các kết quả nghiên cứu

trong và ngoài nước đã công bố
1.1.1. Tổng quan chung về phát hiện vật cản chuyển động cho robot
Theo dự đoán trong tương lai, robot sẽ là tâm điểm của một cuộc cách
mạng lớn sau Internet. Con người sẽ có nhu cầu sở hữu một robot cá nhân như một
máy tính PC bây giờ. Với xu hướng này, cùng các ứng dụng truyền thống khác của
robot trong công nghiệp, y tế, giáo dục đào tạo, giải trí và đặc biệt là trong an ninh
quốc phòng thì thị trường robot sẽ vô cùng to lớn.
Một trong các yêu cầu cơ bản của robot tự động thực thụ là khả năng định
hướng tốt trong phạm vi môi trường chưa xác định và hình dung ra một bản đồ định
hướng, sau đó là né tránh vật cản. Bằng cách sử dụng các quan sát thích hợp từ môi
trường, kết hợp cùng lúc với bản đồ để định hướng và né tránh vật cản cho robot
đang là một yêu cầu cần nghiên cứu cho robot di động.Việc đồng thời định vị, vẽ
bản đồ và né tránh vật cản cùng lúc là một phương pháp chung có liên quan đến
việc triển khai một hệ thống di động trong môi trường chưa xác định. Đối với một
robot di động tự động, định hướng là một công việc để di chuyển một cách an toàn
từ nơi này đến nơi khác.
Việc định hướng gặp nhiều khó khăn do nhiều vấn đề khá phức tạp. Vấn đề gây
trở ngại chính là những hạn chế của việc ước tính chuyển động, những khó khăn
trong việc phát hiện và nhận biết đối tượng, những khó khăn trong việc tránh xung
đột với các đối tượng khác nhau, và những khó khăn liên quan tới việc sử dụng
thông tin cung cấp từ môi trường.
Nhận biết cảnh mạnh mẽ trong môi trường đô thị là một lĩnh vực nghiên cứu
hiện nay và được nghiên cứu bằng cách áp dụng các phương pháp khác nhau. Hệ
thống LIDAR cung cấp một mô hình hình học có độ chính xác cao cho rất nhiều
điểm 3D có thể được sử dụng để phát hiện nhiều đối tượng dưới mặt phẳng giả định

Nguyễn Đình Huân - KDD2013B

1

Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị
hoặc bằng cách sử dụng một bộ dò đối tượng dựa trên mô hình. Chương trình
nghiên cứu gần đây, ước tính chuyển động từ những hình ảnh biên cũng cho kết quả
đầy hứa hẹn là tốt.
Trong khi phương pháp phát hiện dựa trên ánh sáng LIDAR có thể trực tiếp
cung cấp thông tin hình ảnh 3D quan trọng, dữ liệu cần thiết lại xuất hiện thiếu
phong phú. Một số phương pháp khác nhận dạng đối tượng trong phạm vi hình ảnh
hiện tại để phát hiện các lớp đối tượng đơn hay nhiều lớp đối tượng. Tuy nhiên,
nhiệm vụ này thậm chí còn khó khăn hơn, nếu các camera quan sát chuyển động thì
ảnh hưởng việc thu nhận hình ảnh do bị mờ hoặc thay đổi điều kiện ánh sáng.
Những phương pháp này thường sử dụng một sự tìm kiếm không biết trước trên
toàn bộ hình ảnh và loại bỏ thêm nhiều thông tin hơ n về cấu trúc hình học khung
cảnh. Ngoài ra, nhận biết môi trường cho robot không chỉ yêu cầu đối tượng được
phát hiện thuộc phạm vi hình ảnh mà còn yêu cầu mô tả hình ảnh 3D của cảnh giao
thông được quan sát để tiến hành né tránh va chạm. Cấu trúc hình họ c khung cảnh
3D có thể được ước tính chỉ sử dụng một khung duy nhất là tốt, nhưng có một vài
hạn chế và thiếu sự phong phú của các đối tượng.
Ngày nay, các máy quét laser vẫn được sử dụng rộng rãi trong robot và xe tự lái,
chủ yếu là do chúng trực tiếp cung cấp các phép đo 3D trong thời gian thực. Tuy
nhiên, so với các hệ thống camera truyền thống, máy quét laser 3D thường đắt tiền
hơn và khó khăn hơn để tích hợp hoàn toàn vào các thiết kế phần cứng hiện hành (ví
dụ, xe hơi hoặc xe lửa). Hơn nữa, chúng cũng dựa vào nguyên tắc cảm biến nên
chúng dễ dàng gây nhiễu với các cảm biến khác cùng loại như chúng. Thay vào đó
là một hệ thống stereo camera cho phép khôi phục cấu trúc hình học của khung
cảnh trong hệ tọa độ nhiều hình ảnh 3D.
Môi trường đô thị rất phức tạp và đòi hỏi nhận biết cho các hệ thống hỗ trợ lái
xe hiện đại DAS hay robot. Các ứng dụng khác nhau như tránh va chạm, giữ làn
đường hoặc hỗ trợ ở giao lộ cần thông tin đáng tin cậy về tình hình giao thông hiện
tại. Nhận thức và hiểu biết về những cảnh giao thông động ở mức độ cao là rất quan

trọng cho các hệ thống như vậy. Môi trường đô thị phức tạp hơn môi trường trong

Nguyễn Đình Huân - KDD2013B

2


Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị
nhà, do đó công việc đối với DAS là khó khăn hơn và hiện đang là một vấn đề chưa
được giải quyết triệt để: Cảnh giao thông đông đúc với nhiều loại phương tiện khác
nhau của người tham gia giao thông như ô tô, người đi bộ, người đi xe đạp hoặc xe
điện mà phải được phân biệt trong khi khung cảnh xung quanh có thể khác nhau
một cách tuỳ ý.
1.1.2.

Kết quả nghiên cứu trong và ngoài nước

Có rất nhiều công trình nghiên cứu và thực nghiệm đã được thực hiện trong
nhiều năm qua. Nhận biết cảnh mạnh mẽ trong môi trường đô thị là một lĩnh vực
nghiên cứu hiện nay. Công việc đầu tiên là lập bản đồ xác định vị trí của robot, sau
đó phát hiện đối tượng chuyển động trong môi trường đô thị, từ đó có thể đưa ra các
phương thức điều khiển hướng chuyển động cho robot hay hệ thống hỗ trợ lái xe.
Một số nghiên cứu trong nước và ngoài nước được tóm tắt lại như dưới đây.
Trong bài viết của tác giả Nguyễn Minh Thức, định vị cho mobile robot sử
dụng GPS [1], robot di chuyển và định vị dựa và tín hiệu GPS, tuy nhiên trong đề
tài còn hạn chế là robot không thể tránh nhiều vật cản gần nhau.
Lập bản đồ 3D và 2D sử dụng stereo camera [2], tác giả dùng stereo camera
gắn trên xe lăn để xây dựng bản đồ 3D, từ đó phát hiện vật cản, điều khiển xe lăn di
chuyển an toàn mà không cần sự điều khiển của người tàn tật.
Định vị robot dựa trên cơ sở xử lý ảnh stereo camera và có tích hợp GPS [4],

tác giả dựa vào GPS để định vị vị trí robot trên mặt đất trong khoảng không gian
rộng lớn. Mỗi lúc robot di chuyển với khoảng cách nhỏ, tác giả ước lượng sự di
chuyển này dựa vào xử lý cặp ảnh chụp từ stereo camera.
Một mô hình định vị và lập bản đồ thời gian thực mức đối đối tượng 3D [5].
Tác giả tạo một tập dữ liệu các đối tượng 3D. Bản đồ được xây dựng từng bước trực
tiếp theo hướng đối tượng. Một máy ảnh chụp một cảnh nhiều đối tượng, thông tin
các đối tượng được lặp đi lặp lại giải thuật nhận diện đối tượng 3D và tạo ra bản đồ
3D thể hiện vị trí các đối tượng liên quan trong tập dữ liệu. Biểu đồ được tối ưu hóa
lên tục như các phép đo mới và cho phép luôn cập nhật, các dự đoán liên tục và
chính xác của phép đo camera kế tiếp.

Nguyễn Đình Huân - KDD2013B

3


Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị
Với công trình nghiên cứu của Hoiem và cộng sự [6] phương pháp này dựa
trên hiểu biết về ước lượng hình học từ các hình ảnh của hệ thống đơn camera đã
thấy sự phục hồi 3D [7], [10]. Những phương pháp này thông thường phân khúc
hình ảnh thành các siêu điểm ảnh và dựa trên sự xuất hiện cục bộ cũng như các ràng
buộc toàn cục, suy ra cấu hình 3D giống nhất của mỗi phân khúc đó. Mặc dù có các
kết quả ấn tượng đã được chứng minh gần đây [7 ], những phương pháp này vẫn còn
thiếu chính xác và có nhiều lỗi để đưa vào các ứng dụng hỗ trợ trực t iếp như điều
hướng di động hoặc lái xe tự động.
Tái tạo 3D từ bộ sưu tập hình ảnh chưa được hiệu chỉnh đã được đưa ra bởi
Koch [8], Seitz [9] và các cộng sự khác, sử dụng kỹ thuật cổ điển là cấu trúc từ sự
chuyển động (SFM). Phần mở rộng để tái tạo đô thị đã được chứng minh trong [11],
[12]. Gần đây hơn, với sự sẵn có của nền tảng chia sẻ hình ảnh như Flickr dẫn đến
những nỗ lực mô hình hóa các thành phố lớn như Rome [13], [14]. Tuy nhiên, để có

được tái tạo 3D bán dày đặc chính xác, hệ thống đa tầm nhìn stereo mạnh mẽ được
sử dụng, trong đó, thậm chí trên các bộ thu thập hình ảnh nhỏ, dễ dàng mất đến vài
giờ trong khi sử dụng rộng rãi trong các thiết bị xử lý song song. Hơn thế nữa, hầu
hết các phương pháp đề xuất yêu cầu một số điểm nhìn dư thừa, trong khi mục tiêu
ứng dụng của chúng tôi là một nền tảng di động di chuyển liên tục, ở đó các mục
tiêu có thể được nhìn thấy chỉ trong một thời gian ngắn.
Badino và cộng sự [15] giới thiệu Stixel World như là đại diện mức trung để
giảm số lượng các thông tin đầu vào đọc được. Chúng quan sát không gian trống ở
phía trước của một chiếc xe thường được giới hạn bởi các đối tượng với các bề mặt
thẳng đứng, và đại diện cho chúng là các thanh hình chữ nhật liền kề với chiều rộng
cố định, cái mà được theo dõi theo thời gian. Một loại đại diện cấp trung khác
thường xuyên được sử dụng là mạng lưới lấp đầy [16], [17], cái mà rời rạc hóa thế
giới 3D thành các phần tử 2d nhị phân. Mặc dù rất hữu ích trong nhiều ứng dụng,
những loại trừu tượng này là chưa đủ để thể hiện cho vỉa hè hoặc các đối tượng treo,
chìa ra như cây cối, bảng hiệu hay đèn giao thông. Cách khác nữa, lưới điểm ảnh ba
chiều 3D có thể được sử dụng. Tuy nhiên nếu không miễn trừ độ phân giải, tính

Nguyễn Đình Huân - KDD2013B

4


Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị
toán phức tạp sẽ gia tăng đáng kể. Thay vào đó trong bài báo này, chúng tôi quan
tâm đến biển diễn cho các thông tin nhận được càng chi tiết càng tốt, nhưng mà
không bị mất hiệu suất làm việc trong thời gian thực.
Các công trình phát hiện đối tượng: Một hệ thống stereo camera cho phép khôi
phục cấu trúc hình học của khung cảnh trong hệ tọa độ thực 3D. Nedevschi [18],đã
giới thiệu một hệ thống cho sự phát hiện đối tượng trong khu vực nội thành và phân
loại cách sử dụng một hệ thống stereo camera. Thông tin mật độ hình ảnh stereo

được sử dụng cho xây dựng lại và dữ liệu 3D được sử dụng để lựa chọn mô hình và
ước tính tỷ lệ. Phân loại đối tượng dựa trên mô hình phù hợp với tỷ lệ đối tượng
đang khảo sát, định hướng và định vị trong khung cảnh thu được từ bước lựa chọn
mô hình trước đó. Franke [19] và Wedel [20] sử dụng dữ liệu hình ảnh stereo để
ước tính vị trí 3D và chuyển động 3D của các điểm quan tâm để phát hiện mạnh mẽ
của các đối tượng chuyển động. Pfeiffer [21] giới thiệu việc theo dõi stixels thu
được từ hình ảnh stereo dày đặc như một đại diện cho các kịch bản giao thông ngoại
thành. Mueller [22] đánh giá sự chênh lệch dòng quang của các điểm quan tâm để
nhóm các đối tượng độc lập đang mô tả trong khung cảnh đó. Phương pháp này tận
dụng các điểm quan tâm được phát hiện trong chuỗi hình ảnh đơn camera mà được
kết nối trong một cấu trúc như đồ thị và rất giống với phương pháp được chúng tôi
đề xuất. Mặt khác, chúng tôi sử dụng thông tin dòng cảnh của các điểm đặc trưng từ
phương pháp phát hiện chuyển động để mô tả hạn chế của các đối tượng cố định
trong mặt phẳng ảnh mà không đủ mạnh mẽ cho các tình huống bên trong nội thành.
Ess [23] sử dụng khung hình HOG [24] để phát hiện đối tượng và do đó theo dõi đa
đối tượng cho những cảnh giao thông nội thành. Đối với phương pháp này, hóa ra là
vượt trội so với [25], [26] vì sự thay đổi hình dạng của người tham gia giao thông là
tương đối nhỏ.

Nguyễn Đình Huân - KDD2013B

5


Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị
1.2. Mục tiêu và đối tượng nghiên cứu
1.2.1. Mục tiêu nghiên cứu
Mục tiêu đề tài này là định vị robot, phát hiện và theo dõi vật cản chuyển động.
Robot sẽ dùng camera chụp các ảnh 2D trong quá trính di chuyển để ước lượng vị
trí camera được gắn trên robot, sau đó tính toán vị trí và hướng của robot trong

không gian robot đang tương tác. Sau đó dùng các thuật toán để phát hiện đối tượng
chuyển động cho robot trong môi trường đô thị. Với các hình ảnh stereo liên tiếp lấy
từ một chiếc xe di chuyển, điểm đặc trưng tương ứng được trích xuất. Khi đó, tất cả
độ chênh lệch và giá trị dòng quang của điểm đặc trưng được tính toán và kết quả
là, dòng cảnh cũng được tính toán. Điểm đặc trưng gần kề mô tả cùng một dòng
cảnh tương tự được coi là thuộc về một đối tượng cố định. Phương pháp đề xuất cho
phép phát hiện mạnh mẽ các đối tượng chuyển động trong những cảnh giao thông.
Các đối tượng liên tục được phát hiện trong khung hình và được theo dõi trong năm
khung hình liên tiếp sau khi xuất hiện để đưa ra phát hiện cuối cùng.
1.2.2. Đối tượng nghiên cứu
Đề tài nghiên cứu dựa trên bộ dữ liệu đầu vào là tập ảnh 2D được thu thập qua
hệ thống stereo camera trong quá trình di chuyển trên đường đi của robot hoặc hệ
thống di chuyển (như ô tô, xe lửa…) cần xác định vị trí tương ứng và né tránh vật
cản trong môi trường làm việc.
1.3. Nhiệm vụ của đề tài và phạm vi nghiên cứu
1.3.1. Nhiệm vụ của đề tài
Để đạt được mục tiêu nghiên cứu cần thực hiện các nhiệm vụ sau:
-

Tìm hiểu lý thuyết về lập bản đồ và định vị robot

-

Tìm hiểu về xử lý ảnh: các phép toán trong xử lý ảnh, trích đặc trưng từ
ảnh, loại bỏ những đặt trưng yếu hoặc sai:

-

Thuật toán trích đặc trưng từ bộ dò đốm và góc từ một hình ảnh.

-

Thuật toán khôi phục 3D, xác định vị trí và góc quay camera để tìm vị trí
và hướng của đối tượng nghiên cứu.

Nguyễn Đình Huân - KDD2013B

6


Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị
-

Các thuật toán phát hiện đối tượng trong môi trường làm việc.

-

Tam giác Delaunay.

-

Khoảng cách Mahalanobis.

-

Giải thuật tìm kiếm theo chiều sâu DFS.

-

Thuật toán láng giềng gần nhất toàn cục GNN (sử dụng phương pháp theo

dõi đa giả thuyết MHT).

Sau khi nghiên cứu các thuật toán trên, kết hợp đưa ra phương pháp để phát
hiện đối tượng chuyển động cho robot làm việc trong môi trường đô thị. Từ đó viết
chương trình Matlab cho phương pháp và thực nghiệm lại phương pháp.
1.3.2. Phạm vi nghiên cứu
Đề tài nghiên cứu trên thiết bị di chuyển có người lái, tập ảnh 2D được tác giả
thu thập trong quá trình di chuyển trên đường đi thông qua hệ thống stereo camera.
Trên tập dữ liệu ảnh 2D đề tài mô phỏng tính toán xây dựng bản đồ 3D, định vị vị
trí camera trong bản đồ này và sau đó là phát hiện đối tượng chuyển động trong môi
trường cho thiết bị di chuyển.
1.4. Phương pháp nghiên cứu
Cách tiếp cận của nghiên cứu này là khảo sát cơ sở lý thuyết những phương
pháp hiện có, phân tích ưu nhược điểm. Tiến hành đề xuất phương pháp mới cải
tiến. Thực hiện mô phỏng giải thuật trên phần mềm. Khi thu được sai số cho phép
sẽ tiến hành thực nghiêm trên phần cứng và môi trường thực tế. Tóm lại, phương
pháp nghiên cứu của đề tài là trước tiên tiến hành nghiên cứu lý thuyết, sau đó kiểm
chứng bằng thực tế và rút ra kết luận.

Nguyễn Đình Huân - KDD2013B

7


Phát Hiện Vật Cản Chuyển Động Cho RoBot Trong Môi Trường Đô Thị

Chương 2

CƠ SỞ LÝ THUYẾT
2.1. Phát hiện vùng ảnh stereo

Hình ảnh video là chuỗi các khung hình liên tiếp được thể hiện trong một thời
gian. Phát hiện vùng ảnh stereo bản chất là so sánh các khung hình liên tiếp trong
một đoạn video để từ đó có thể đưa ra các vùng ảnh stereo khác nhau giữa các
khung hình liên tiếp đó. Đây chính là nguyên lý cơ bản để bắt được vết các đối
tượng chuyền động, vì chỉ khi có đối tượng chuyền động trong khung hình thì mới
có sự khác nhau giữa các khung hình liên tiếp từ đó sẽ thu được các vết chuyển
động của vật thể. Đã có nhiều phương pháp đưa ra để giải quyết vấn đề này, các
phương pháp có những ưu nhược điểm riêng phù hợp với các điều kiện và hoàn
cảnh giám sát khác nhau. Khái quát lại có thể phân thành các phương pháp:
 Các phương pháp trừ ảnh nền (Background Subtraction).
 Các phương pháp dựa trên thống kê (Statistical Methods).
 Các phương pháp dựa trên sự chênh lệch tạm thời giữa các khung hình.
Ở đây chúng ta sử dụng phương pháp dựa trên sự chênh lệch tạm thời giữa các
khung hình. Phương pháp này thực hiện việc phát hiện vùng chuyển động bằng cách
sử dụng sự khác nhau ở mức điểm ảnh giữa hai hoặc ba khung hình liên tiếp trong
một chuỗi các khung hình video. Phương pháp này khá tốt đối với khun g cảnh động
nhiều thay đổi song lại thất bại trong việc phát hiện ra các điểm ảnh có liên quan
đến cùng một số kiểu chuyển động.
Phương pháp dựa trên sự chênh lệch tạm thời giữa các khung hình được tính:
|It(x,y)–It-1(x,y)| > 𝛕

(2.1)

Trong đó: It (x,y) là điểm ảnh có tọa độ (x,y) của khung hình tại thời điểm t, It1 (x,y)

là điểm ảnh có tọa độ (x,y) của khung hình tại thời điểm t-1, 𝛕 là một ngưỡng

đã xác định trước.

Nguyễn Đình Huân - KDD2013B

8


S

K

L

0

0

2

1

5

4