Luận án nghiên cứu điều khiển rô bốt tay máy di động bám mục tiêu trên cơ sở sử dụng thông tin hình ảnh

LỜI CAM ĐOAN

Tơi xin cam đoan đây là cơng trình nghiên cứu của riêng tôi. Các kết quả
được viết chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước khi
đưa vào luận án. Các kết quả trong luận án là trung thực và chưa từng được cơng bố
trong bất kỳ cơng trình nào khác.
Tác giả luận án

Lê Văn Chung

i


LỜI CẢM ƠN

Lời đầu tiên, Tôi xin chân thành cảm ơn Ban Lãnh đạo Học viện Khoa học
và Công nghệ, Viện Công nghệ thông tin - Viện Hàn lâm Khoa học và Cơng nghệ
Việt Nam, Phịng Cơng nghệ tự động hóa đã tạo điều kiện thuận lợi trong q trình
học tập, nghiên cứu.
Tơi xin bày tỏ lịng kính trọng và biết ơn sâu sắc tới PGS.TSKH.
Phạm Thượng Cát và TS. Phạm Minh Tuấn, hai thầy đã định hướng và tận tình
hướng dẫn để tơi có thể hồn thành luận án.
Tơi xin cảm ơn Ban Giám hiệu Trường Đại học Công nghệ Thông
tin và Truyền thông - Đại học Thái Nguyên, Khoa Cơng nghệ tự động hóa và
các đơn vị trong Nhà trường đã quan tâm giúp đỡ, tạo điều kiện để tơi có thể thực
hiện nghiên cứu.
Tơi xin cảm ơn các cán bộ Phịng Cơng nghệ tự động hóa – Viện Công nghệ
thông tin, các đồng nghiệp thuộc Khoa Công nghệ Tự động hóa - Trường Đại học
Cơng nghệ thơng tin và truyền thông - Đại học Thái Nguyên đã động viên và trao
đổi kinh nghiệm trong q trình hồn thành luận án.
Cuối cùng, tôi xin chân thành cảm ơn đến gia đình, người thân, các bạn đồng

nghiệp - những người ln dành cho tơi những tình cảm nồng ấm, ln động viên
và sẻ chia những lúc khó khăn trong cuộc sống và tạo điều kiện tốt nhất để tôi có
thể hồn thành q trình nghiên cứu.
Hà Nội, ngày 28 tháng 8 năm 2019
Tác giả luận án

Lê Văn Chung

ii


MỤC LỤC
LỜI CAM ĐOAN ....................................................................................................... i
LỜI CẢM ƠN ............................................................................................................ii
MỤC LỤC ................................................................................................................ iii
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT ...........................................vii
DANH MỤC HÌNH VẼ ............................................................................................ x
DANH MỤC BẢNG .............................................................................................. xiii
MỞ ĐẦU .................................................................................................................... 1
CHƢƠNG 1................................................................................................................ 7
TỔNG QUAN ............................................................................................................ 7
1.1 Đặt vấn đề ........................................................................................................ 7
1.2. Tổng quan về điều khiển rô bốt sử dụng thơng tin hình ảnh ..................... 8
1.2.1 Tình hình nghiên cứu ngồi nước ........................................................... 11
1.2.2 Tình hình nghiên cứu trong nước .............................................................. 8
1.3 Các vấn đề nghiên cứu của luận án ............................................................. 19
1.3.1. Phát triển phương pháp điều khiển rơ bốt s dụng thơng tin hình ảnh ... 19
1.3.2. Một số cải tiến trong điều khiển hệ servo thị giác bám mục tiêu di động
........................................................................................................................... 20
1.3.3. Phát triển thuật tốn điều khiển rơ bốt di động s dụng thơng tin hình

ảnh. .................................................................................................................... 21
1.4. Kết luận chƣơng 1 ........................................................................................ 22
CHƢƠNG 2.............................................................................................................. 23
PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN HỆ PAN-TILT SỬ DỤNG
THƠNG TIN HÌNH ẢNH TỪ HAI CAMERA .................................................... 23
2.1. Xây dựng mơ hình động học hệ pan-tilt-stereo camera bám mục tiêu di
động với nhiều tham số bất định ................................................................... 24
iii


2.1.1 Xác định ma trận Jacobi ảnh qua tọa độ điểm ảnh thu được từ 2 camera
quy vào hệ tọa độ OcXcYcZc ........................................................................... 24
2.1.2 Xác định hệ phương trình động học tốc độ hệ pan-tilt. ........................... 28
2.1.3 Xây dựng bài tốn điều khiển động học (kinematic control) hệ rơ bốtstereo camera bám mục tiêu. ............................................................................. 29
2.2.Thiết kế thuật toán điều khiển ..................................................................... 30
2.2.1 Xây dựng mơ hình bộ điều khiển ............................................................. 30
2.2.2 Xây dựng thuật toán điều khiển hệ Pan-tilt –2 camera bám mục tiêu di
động ................................................................................................................... 31
2.3 Một số kết quả mô phỏng kiểm chứng ........................................................ 35
2.4. Kết luận chƣơng 2 ........................................................................................ 43
CHƢƠNG 3.............................................................................................................. 45
MỘT SỐ CẢI TIẾN TRONG ĐIỀU KHIỂN ....................................................... 45
HỆ SERVO TH GIÁC BÁM MỤC TIÊU DI ĐỘNG ........................................ 45
3.1

dựng mơ hình 3D cho hệ 2 camera trên hệ pan-tilt ........................... 47

3.1.1 Mơ hình 3D cho hệ stereo camera ........................................................... 47
3.1.2 Mơ hình hệ camera ảo. ............................................................................. 47
3.1.3 Kiểm soát sự suy biến của ma trận Jacobian ......................................... 53

3.1.4 Bài tốn điều khiển rơ bốt bám mục tiêu với nhiều tham số bất định ..... 53
3.2.

dựng hệ động lực học hệ pan-tilt – stereo camera với các tham số

bất định ............................................................................................................ 53
3.3.

dựng bộ điều khiển nơ ron cho hệ động lực học hệ pan-tilt stereo

camera bám mục tiêu di động. ...................................................................... 55
3.3.1 Xây dựng bộ điều khiển .......................................................................... 55
3.3.2 Xây dựng cấu trúc các lớp bộ điều khiển nơ ron truyền th ng RBF cho hệ
thống .................................................................................................................. 56
3.3.3 Tối ưu tham số ......................................................................................... 57
3.4. Mô phỏng hệ thống....................................................................................... 61
iv


3.5. Kết luận ......................................................................................................... 72
CHƢƠNG 4.............................................................................................................. 74
PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN RÔ BỐT DI ĐỘNG .................. 74
SỬ DỤNG THÔNG TIN HÌNH ẢNH. .................................................................. 74
4.1. Xây dựng mơ hình động học và bài tốn hệ điều khiển Rơ bốt-Pan-tilt–
Stereo Camera bám mục tiêu di động .......................................................... 75
4.1.1 Xác định ma trận Jacobi ảnh .................................................................... 75
4.1.2 Xác định ma trận Jacobi của hệ và tốc độ bám mục tiêu cho rô bốt di
động. .................................................................................................................. 77
4.1.3 Xác định tốc độ của các bánh xe cho rô bốt di động để rô bốt tiếp cận
mục tiêu. ............................................................................................................ 81

4.2. Thiết kế thuật toán điều khiển .................................................................... 82
4.2.1 Động lực học hệ rô bốt di động-bệ pan-tilt .............................................. 82
4.2.2 Thiết kế bộ điều khiển tối ưu ................................................................... 83
4.3. Mô phỏng hệ thống....................................................................................... 89
4.3.1 Mô phỏng hệ thống với bộ điều khiển tối ưu ........................................... 89
4.3.2 Mô phỏng hệ thống với bộ điều khiển trượt CTC.................................... 94
4.4. Kết luận chƣơng 4 ........................................................................................ 96
5. KẾT LUẬN .......................................................................................................... 97
5.1. Những nội dung nghiên cứu chính của luận án......................................... 97
5.2.Những đóng góp khoa học mới của luận án ............................................... 97
5.3.Định hƣớng nghiên cứu phát triển .............................................................. 98
DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ ........................................... 100
TÀI LIỆU THAM KHẢO .................................................................................... 101
PHỤ LỤC ............................................................................................................... 111
1. Mơ hình mơ phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có
sử dụng mơ hình camera 3D ảo ................................................................... 111
v


2. Mơ hình mơ phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có
sử dụng mơ hình camera 3D ảo ................................................................... 118

vi


DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

Ký hiệu

Đơn vị

Mơ tả

tính

Computed Torque Controller – bộ điều khiển dựa

CTC

trên phương pháp tính mơ men.
d

m

Khoảng cách giữa 2 bánh xe rơ bốt di động.
Vecto ảnh hư ng của nhi u, các tham số bất định.

d(t)
f

pixel

Tiêu cự camera (1 pixel = 35μm)

fv

pixel

Tiêu cự thấu kính của camera ảo.
Các thành phần bất định trong mơ hình động học hệ

f

pan-tilt.
Các thành phần bất định trong mơ hình động lực học

fu

hệ pan-tilt.
H

Hàm Hamilton.

Jimag

Ma trận Jacobi ảnh.

Jrobot

Ma trận Jacobi rô bốt.

J

Ma trận Jacobi tổng hợp.

Jˆ imag (m), Jˆ robot (q)

Các giá trị biết được của các ma trận tương ứng.
Các đại lượng không biết của các ma trận tương

ΔJ imag (m), ΔJrobot (q)

ứng.
Jˆ

Ma trận giả nghịch đảo của ma trận J;

T
1 T
(Jˆ Jˆ ) Jˆ

Jˆ

T
1 T
(Jˆ Jˆ ) Jˆ

K

m

Khoảng cách 2 camera.

k

m

khoảng cách giữa hai bánh xe rô bốt di động.

k1

m

Khoảng cách giữa rô bốt di động và mục tiêu.

l1

m

Chiều dài khớp pan củahệ pan-tilt.

l2

m

Chiều dài khớp tilt củahệ pan-tilt.

LQR

Linear–Quadratic Regulator.
vii


LQG

Linear–Quadratic–Gaussian.

m

Pixel

Véc tơ đặc trưng ảnh.

md

Pixel

Véc tơ đặc trưng ảnh mong muốn.

Q

Tọa độ mục tiêu.

q

Véc tơ vị trí góc của khớp pan, tilt

qr

Véc tơ vị trí góc của khớp pan, tilt

RBF

Radial basis function neural network

s

Véc tơ sai số giữa giá trị mong muốn và đo được.

Tx Ty Tz

m/s

Vận tốc dài của tay nắm camera

x y z

m/s

Vận tốc góc của tay nắm camera

U, V

Pixel

Tọa độ ảnh của đối tượng

u1,

Thành phần điều khiển nơ ron

u*

Thành phần điều khiển tối ưu

v

véc tơ biến ngoài của đầu tay nắm của bệ pan-tilt
(trùng với gốc tọa độ camera OC)

C

v

Véc tơ vận tốc dài của đầu tay nắm của bệ pan-tilt

C

Ω

Véc tơ vận tốc góc của đầu tay nắm của bệ pan-tilt

vs

Véc tơ vận tốc đo được tại 2 bánh rô bốt di động và
2 khớp của bệ pan-tilt.
Véc tơ vận tốc mong muốn đặt lên 2 bánh rô bốt di

vd

động và 2 khớp của bệ pan-tilt.
x

Véc tơ mơ tả vị trí và hướng của camera.

xs

Véc tơ tọa độ mục tiêu nhìn trong hệ tọa độ camera
ảo.

W

Ma trận trọng số của mạng nơ ron

ε

Sai số giữa tham số mong muốn và đo được

θ1

rad

Góc quay của khớp pan

θ2

rad

Góc quay của khớp tilt

m

rad

Góc hướng của rơ bốt di động

θ1d

rad

Góc quay mong muốn của khớp pan

θ2d

rad

Góc quay mong muốn của khớp tilt
viii


 md

rad

Góc hướng mong muốn của rơ bốt di động

m

Khoảng cách từ gốc tới vị trí đặt camera ảo

c j , j

Trọng tâm và độ rộng khoảng cách tính từ tâm của
lớp n thứ j radial basis function của mạng nơ ron.

φl , φr
Stereo camera

rad

Góc quay của bánh xe trái, phải trên rô bốt di động
Hệ 2 camera được gắn trên khung cố định củahệ
pan-tilt và có các quan hệ hình học được xác định
trước.

ix


DANH MỤC HÌNH VẼ
Hình 1.1 Các ứng dụng điều khiển rơ bốt s dụng thơng tin hình ảnh. .................... 11
Hình 1.2 Một số phương pháp điều khiển rô bốt s dụng thơng tin hình ảnh .......... 14
Hình 2.1 Bệ pan-tilt PTU-D48E-Series và biểu di n hệ tọa độ ................................ 24
Hình 2.2 Mơ hình hệ thống camera ........................................................................... 25
Hình 2.3 Ảnh theo 2 trục Z, Y .................................................................................. 26
Hình 2.4 Ảnh theo 2 trục X, Y .................................................................................. 26
Hình 2.5 Mạng RBF xấp xỉ hàm f ........................................................................... 32
Hình 2.6 Cấu trúc của hệ visual servoing điều khiển camera bám mục tiêu di động
có nhiều tham số bất định.......................................................................................... 34
Hình 2.7 Sai lệch tọa độ ảnh mục tiêu (pixel). .......................................................... 37
Hình 2.8 Sai lệch tọa độ ảnh mục tiêu (pixel) khi bộ điều khiển khơng có mạng nơ
,
ron bù ( u1 = 0 ). ........................................................................................................ 37

Hình 2.9 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng. ................ 38
Hình 2.10 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng ................ 38
Hình 2.11 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng với bộ điều
khiển khơng có mạng nơ ron bù ( u1, = 0 ). .................................................................. 39
Hình 2.12 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng với bộ điều
khiển khơng có mạng nơ ron bù ................................................................................ 39
Hình 2.13 Sai lệch bám quỹ đạo khi mục tiêu cơ động theo cung trịn .................... 40

Hình 2.14 Sai lệch tọa độ ảnh khi mục tiêu cơ động theo cung tròn ........................ 40
Hình 2.15 Sai lệch bám quỹ đạo với mục tiêu cơ động theo cung trịn khi bộ điều
khiển khơng có mạng nơ ron bù ................................................................................ 41
Hình 2.16 Sai lệch tọa độ ảnh với mục tiêu cơ động theo cung tròn khi bộ điều
khiển khơng có mạng nơ ron bù ( u1, = 0 ). .................................................................. 41
Hình 2.17 Sai lệch bám quỹ đạo khi mục tiêu di chuyển với vận tốc thay đổi......... 42
x


Hình 2.18 Sai lệch tọa độ ảnh khi mục tiêu di chuyển với vận tốc thay đổi............. 42
Hình 3.1 Hệ trục tọa độ của hệ Pan-tilt – stereo cameras ......................................... 48
Hình 3.2 Mơ hình hệ camera 3D ảo .......................................................................... 49
Hình 3.3 Tọa độ mục tiêu nhìn theo hai trục tọa độ Y và Z ..................................... 50
Hình 3.4 Tọa độ mục tiêu nhìn theo hai trục tọa độ Y và Z ..................................... 50
Hình 3.5 Mạng nơ ron RBF để xấp xỉ tham số bất định f ......................................... 57
Hình 3.6 Cấu trúc sơ đồ điều khiển của hệ thống ..................................................... 60
Hình 3.7 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường thẳng
nhìn trong khơng gian camera .................................................................................. 63
Hình 3.8 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo đường thẳng
trong hệ tọa độ ảo 3D ................................................................................................ 64
Hình 3.9 Kết quả mơ phỏng bám mục tiêu khi mục tiêu di chuyển theo đường trịn
nhìn trong khơng gian camera .................................................................................. 65
Hình 3.10 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo đường trịn nhìn
trong hệ tọa độ ảo 3D ................................................................................................ 65
Hình 3.11 a) L i bám mục tiêu theo 2 trục X, Z. b) Mô ment đặt lên các khớp. c)
Tốc độ khớp pan-tilt q ............................................................................................... 66
Hình 3.12 Kết quả mơ phỏng bám mục tiêu khi mục tiêu di chuyển theo hình chữ
nhật với tốc độ thay đổi nhìn trong khơng gian camera ........................................... 66
Hình 3.12 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo hình chữ nhật
với tốc độ thay đổi nhìn trong hệ tọa độ ảo 3D ......................................................... 67

Hình 3.13 a) Sai số bám mục tiêu chiếu theo hai trục X, Z. b) Moment đặt lên các
khớp. c) Tốc độ các khớp q ....................................................................................... 68
Hình 3.14 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển trong không
gian với tốc độ và hướng thay đổi bất kỳ nhìn trong khơng gian camera ................ 69
Hình 3.15 Sai số bám mục tiêu di động khi mục tiêu di chuyển trong không gian với
tốc độ và hướng thay đổi bất kỳ nhìn trong hệ tọa độ ảo 3D .................................... 69
Hình 3.15 a) Sai số bám mục tiêu chiếu theo hai trục X, Z. b) Moment đặt lên các
khớp. c) Tốc độ các khớp q ....................................................................................... 70
xi


Hình 3.17 Kết quả mơ phỏng bám mục tiêu khi mục tiêu di chuyển theo đường
thẳng khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron ............................... 71
Hình 3.18 Kết quả mơ phỏng bám mục tiêu khi mục tiêu di chuyển theo đường trịn
khi khơng s dụng hệ tọa độ ảo và bộ điều khiển nơ ron ......................................... 71
Hình 3.19 Kết quả mơ phỏng bám mục tiêu khi mục tiêu di chuyển theo hình chữ
nhật với tốc độ thay đổi khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron .. 71
Hình 3.20 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình trịn
của bài báo trích dẫn [20]. ......................................................................................... 73
Hình 4.1 Cấu trúc của hệ rơ bốt- pan-tilt-stereo camera ........................................... 76
Hình 4.2 Mơ hình hệ thống stereo camera ................................................................ 80
Hình 4.3 Ảnh theo hai trục X, Z (trái) và Y, Z (phải). .............................................. 80
Hình 4.4 Vị trí và hướng mong muốn của rô bốt di động. ........................................ 81
Hình 4.5 Sơ đồ khối hệ thống. .................................................................................. 85
Hình 4.6 Sơ đồ khối hệ thống với bộ điều khiển trượt CTC. .................................... 88
Hình 4.7 Thuật tốn điều khiển tối ưu ...................................................................... 92
Hình 4.8 Bám tọa độ ảnh nhìn trong hệ tọa độ gốc. ................................................. 93
Hình 4.9 Rơ bốt di động bám theo mục tiêu trên mặt phẳng x-y nhìn trong hệ tọa độ
gốc. ............................................................................................................................ 94
Hình 4.10 Sai số vecto v giữa tốc độ mong muốn và tốc độ đặt của các khớp hệ pantilt và hai bánh rô bốt di động ................................................................................... 94

Hình 4.11 Mơ phỏng di chuyển bám theo mục tiêu của rơ bốt di động .................... 95
Hình 4.12 Sai số giữa tốc độ mong muốn và tốc độ đặt của các khớp hệ pan-tilt và
hai bánh rô bốt di động.............................................................................................. 95

xii


DANH MỤC BẢNG
Bảng 3.1 Bảng tham số của hệ thống hệ pan-tilt ................................................ 62
Bảng 4.1 các tham số trong mô hình rơ bốt di động – hệ pan-tilt – stereo
camera ...................................................................................................................... 89

xiii


MỞ ĐẦU
Tính cấp thiết của đề tài
Rơ bốt được ứng dụng trong công nghiệp từ những năm 60 để thay thế con
người làm các công việc nặng nhọc, nguy hiểm trong môi trường độc hại. Ngày nay rô
bốt được ứng dụng rộng rãi trong mọi lĩnh vực sản xuất và dịch vụ như trong chế tạo
máy, y tế, chăm sóc sức khỏe, nơng nghiệp, đóng tàu, xây dựng, an ninh quốc phịng
và gia đình … Nhu cầu s dụng rơ bốt trong các ngành công nghiệp, dân dụng, dịch vụ
và an ninh quốc phòng gia tăng là động lực cho sự phát triển của các rô bốt di động
thông minh.
Cùng với sự phát triển mạnh mẽ của các hệ thống tự động hóa, rơ bốt di động
ngày một được hồn thiện và càng cho thấy lợi ích của nó trong công nghiệp và sinh
hoạt. Một vấn đề rất được quan tâm khi nghiên cứu về rô bốt là khả năng nhìn và x lý
thơng tin hình ảnh để rơ bốt có thể theo dõi được các đối tượng mục tiêu đứng yên
cũng như di chuyển trong không gian, biết được vị trí nó đang đứng trong mơi trường
phi cấu trúc và có thể di chuyển tới một vị trí khác, đồng thời có thể tự động tránh

được các chướng ngại vật trên đường đi.
Trong những năm gần đây, rất nhiều cơng trình nghiên cứu về điều khiển rơ bốt
s dụng thơng tin hình ảnh, nhưng các kết quả đạt được vẫn còn bộc lộ một số hạn chế.
Chẳng hạn như việc s dụng 1 camera trên rô bốt di động chỉ cho phép theo dõi đầy đủ
thông tin của mục tiêu khi biết trước mặt phẳng di chuyển của mục tiêu hay việc s
dụng 2 camera cho phép đáp ứng nhiều yêu cầu nhưng chưa xét tới các sự suy biến của
ma trận Jacobian ảnh tác động tới khả năng bám của hệ thống. Bên cạnh đó mơ hình
tốn học của rơ bốt thường khó đạt độ chính xác tuyệt đối vì trong hệ thống chứa nhiều
tham số bất định như việc đo đạc các tham số ban đầu hay các hệ số ma sát, mơ
men qn tính…, lại thường thay đổi trong q trình hoạt động. Ngồi ra, tối ưu
hóa các tham số trong các bộ điều khiển rơ bốt để đạt được độ chính xác mong muốn
trong một số trường hợp cụ thể là những vấn đề khó và cần tiếp tục nghiên cứu. Việc
s dụng thị giác 2 camera là một xu hướng tất yếu vì nó mang tính linh hoạt dựa trên
đặc tính của hầu hết các lồi động vật bậc cao đều có 2 mắt. Nhưng trong việc s dụng
thị giác 2 camera cho rô bốt đi động, việc phát triển các thuật toán điều khiển sao cho
phát huy được các ưu điểm của thị giác hai camera và hạn chế được các khuyết điểm
1


đã nêu

trên vẫn còn khá nhiều vấn đề cần được giải quyết.
Với lý do trên, tác giả đã lựa chọn đề tài: “Nghiên cứu điều khiển rô bốt tay

máy di động bám mục tiêu trên cơ sở sử dụng thông tin hình ảnh” để phát triển
một số thuật tốn điều khiển rô bốt theo dõi mục tiêu di động và rô bốt di chuyển bám
mục tiêu s dụng thông tin hình ảnh có nhiều tham số bất định.

Đối tƣợng nghiên cứu
Đối tượng nghiên cứu chính của đề tài là tập trung vào hệ rô bốt tay máy pantilt và rô bốt di động có cơ cấu di chuyển b ng bánh xe. Hệ camera dùng để lấy thơng

tin hình ảnh cho điều khiển tay máy bám mục tiêu di động là hệ 2 camera. Những hình
ảnh thu được sẽ được x lý, tính tốn từ đó ra quyết định điều khiển các cơ cấu chấp
hành khác của rô bốt thực hiện theo các yêu cầu.

Mục tiêu nghiên cứu
Mục tiêu của đề tài là nghiên cứu phát triển một số thuật tốn điều khiển tay
máy rơ bốt bám mục tiêu di động dựa trên cơ s

thơng tin hình ảnh s dụng hai

camera có tính bền vững với nhiều tham số bất định và khả năng kháng nhi u với tốc
độ x lý cao.

- Đề xuất thuật toán điều khiển hệ pan-tilt mang 2 camera bám mục tiêu di
động với nhiều tham số bất định và xây dựng hệ 2 camera với ma trận
Jacobian ảnh đầy đủ.

- Đề xuất một số thuật tốn điều khiển hệ rơ bốt di động, hệ pan-tilt mang 2
camera bám mục tiêu di động.

Phạm vi nghiên cứu
Nghiên cứu về hệ pan-tilt mang 2 camera (stereo camera) và rô bốt di động di
chuyển b ng 3 bánh xe trong đó có 2 bánh chủ động, có nhiều tham số bất định bám
mục tiêu di động.
Nghiên cứu các thuật toán, phương pháp điều khiển hệ pan-tilt bám mục tiêu di
động s dụng thơng tin hình ảnh từ hai camera.
Nghiên cứu các thuật tốn điều khiển hệ rơ bốt di động, hệ pan-tilt stereo
camera theo dõi và bám mục tiêu di động.
Chỉ tập trung vào nghiên cứu s dụng các kết quả mà camera thu được để điều
2

khiển rô bốt, không đề cập tới phần hiệu chỉnh camera, thu nhận ảnh hay x lý ảnh
trên camera mà chỉ quan tâm tới việc x lý từ điểm tính năng trên ảnh sau x lý để đưa
ra các tham số điều khiển rô bốt.
Các yếu tố bất định, nhi u trong các bài toán của luận án đều bị chặn.
Phƣơng pháp nghiên cứu
Phương pháp nghiên cứu được áp dụng cho các vấn đề đã nêu ra của luận án
như sau:
1. Trên cơ s kế thừa các kết quả nghiên cứu đã có tác giả đi xây dựng mơ
hình tốn học cho hệ thốnghệ pan-tilt stereo camera và hệ thống phức hợp
gồm rô bốt di động – hệ pan-tilt mang 2 camera khi có các tham số bất định
trong mơ hình và nhi u.
2. Nghiên cứu các thuật tốn điều khiển hiện đại để từ đó xây dựng các thuật
tốn điều khiển mới cho hệ pan-tilt theo dõi mục tiêu và hệ phức hợp nói
trên bám mục tiêu di động.
3. Tối ưu hệ thống bao gồm tối ưu các ma trận Jacobian đảm bảo tính khả
nghịch và tham số trong mơ hình điều khiển.
4. Chứng minh tính ổn định của các thuật toán đề xuất b ng lý thuyết ổn định
Lyapunov, bổ đề Barbalat.
5. Mô phỏng đáp ứng của hệ thống với các thuật toán đề xuất trên Matlab
simulink để kiểm chứng việc theo dõi và bám mục tiêu của hệ thống.
Ý nghĩa của đề tài

- Về mặt lý thuyết: đóng góp các thuật tốn điều khiển hệ pan-tilt theo dõi
mục tiêu và thuật tốn điều khiển hệ rơ bốt di động –hệ pantilt s dụng 2
camera bám mục tiêu di động với nhiều tham số bất định trong mô hình
cũng như nhi u tác động.

- Về mặt thực ti n: xây dựng mơ hình camera 3D ảo loại bỏ sự suy biến của

ma trận Jacobian ảnh và mơ hình động lực học cho hệ gồm rô bốt di động –
hệ pan-tilt mang dụng 2 camera.
Những điểm mới của luận án

3


Qua các nghiên cứu về phương pháp điều khiển rô bốt s dụng thơng tin hình
ảnh, trong đó cụ thể là hệ pan-tilt và hệ rô bốt di động – hệ pan-tilt stereo camera có
nhiều tham số bất định trong mơ hình rơ bốt, trong ma trận Jacobian ảnh, ma trận
Jacobian rơ bốt cũng như các yếu tố bên ngồi, tác giả có một số đóng góp như sau:
- Xây dựng 1 phương pháp để thiết lập ma trận Jacobian ảnh vuông cho hệ stereo
camera giúp hệ rô bốt – stereo camera theo dõi được các đối tượng có chuyển động
phức tạp d dàng hơn.
- Xây dựng bộ điều khiển mạng nơ ron nhân tạo để bù các tham số bất định trong
mơ hình rơ bốt, trong ma trận Jacobian ảnh, ma trận Jacobian rô bốt cũng như các yếu
tố bên ngoài. Bộ điều khiển này hoạt động tốt ngay cả khi tham số mơ hình chỉ chắc
chắn được 80

và ngay cả khi có các yếu tố bên ngồi tác động vào.

- Xây dựng mơ hình động lực học cho hệ gồm rô bốt di động – hệ pan-tilt mang
dụng 2 camera và 2 thuật tốn điều khiển trong đó: 01 bộ điều khiển trượt và 01 bộ
điều khiển tối ưu theo chu n tối ưu bình phương tối thiểu cho hệ kết hợp hai rô bốt
gồm hệ pan-tilt stereo camera và rơ bốt di động. Trong đó, mơ hình động lực học của
tồn hệ nói trên được tổng hợp trong một phương trình.
Tối ưu hóa các tham số trong bộ điều khiển nơ ron.
Mô phỏng kiểm chứng các thuật tốn điều khiển rơ bốt theo dõi và bám mục tiêu
di động b ng công cụ mô phỏng Matlab.
Công bố 07 cơng trình liên quan đến các nội dung nghiên cứu của luận án trên

các tạp chí, kỷ yếu hội thảo trong nước và ngoài nước.
Nội dung của luận án
Luận án gồm 04 chương:
Chƣơng 1 Trình bày tổng quan về các vấn đề trong điều khiển rơ bốt nói chung,
điều khiển rơ bốt s dụng thơng tin hình ảnh từ camera và đặc biệt là s dụng hai
camera để đưa ra định hướng nghiên cứu của luận án.
Chƣơng 2 Trình bày mơ hình động học của hệ pan-tilt 2 camera. Xây dựng bộ
điều khiển động học điều khiển hệ thống bám mục tiêu di động với nhiều tham số bất
đinh trong mơ hình tốn học. Bộ điều khiển được xây dựng dựa trên phương pháp điều
khiển PD kết hợp với mạng nơ ron RBF s dụng thuật học online để bù các tham số
4


bất định. Thuật tốn được chứng minh tính ổn định tiệm cận b ng lý thuyết ổn định
Lyapunov và mô phỏng kiểm chứng trên Matlab simulink.
Kết quả của các nghiên cứu trong chương này được cơng bố trong tạp chí Tin
học và điều khiển, tạp chí Khoa học cơng nghệ - Đại học Thái Nguyên và trong kỷ yếu
hội nghị tồn quốc về tự động hóa VCCA 2013:
, Pham Thuong Cat (2015), “A new control method for stereo visual servoing
system with pan-tilt platform”, Journal of Computer Science and Cybernetics,Vol
31 (2), pp. 107 – 122.
, Phạm Thượng Cát, Bùi Tuấn Anh (2013), “Phương pháp điều khiển hệ servo
thị giác stereo sử dụng bệ Pan-Tilt”, Hội nghị toàn quốc lần thứ 2 về Điều khiển
và Tự động hoá - VCCA-2013, Đà N ng, pp. 375 - 382.
, “Phát triển hệ pan-tilt – nhiều camera bám mục tiêu di động”, Tạp chí KHCN
Đại học Thái Nguyên, 116(02), tr. 41-46.
Chƣơng 3: Xây dựng mô hình camera 3D ảo để thiết lập ma trận Jacobian ảnh
vng giúp hệ stereo camera ảnh có thể theo dõi các đối tượng chuyển động phức tạp.
Xây dựng mơ hình động lực học cho hệ pan-tilt 2 camera bám mục tiêu di động. Bộ
điều khiển s dụng mang nơ ron với các tham số đã được tối ưu. Mơ hình và thuật toán

điều khiển này cho kết quả tốt hơn so với các kết quả trong chương 2 khi có xét thêm
nhi u ngoài và các yếu tố bất định trong mơ hình động lực học. Tính ổn định tiệm cận
của hệ thống đã được chứng minh b ng lý thuyết ổn định Lyapunov, bổ đề Barbalat và
mô phỏng trên Matlab.
Kết quả nghiên cứu của chương này được tác giả cơng bố trên tạp chí quốc tế về
x lý ảnh và điều khiển robot và kỷ yếu hội nghị toàn quốc về cơ điện t VCM 2014:
, “Robust Visual Tracking Control of Pan-tilt -Stereo Camera System”,
International Journal of Imaging and Robotics, Vol 18 (1), (1/2018), pp. 45 – 61.
, Pham Thuong Cat (2014), “Robust visual tracking control of pan-tilt – stereo
camera system”, Hội nghị cơ điện t VCM 2014, Đồng Nai, pp.167-173.
Chƣơng 4 Xây dựng mơ hình động lực học cho hệ gồm rô bốt di động – hệ pantilt mang dụng 2 camera. Xây dựng 02 thuật toán điều khiển cho hệ nói trên bao gồm
01 bộ điều khiển trượt và 01 bộ điều khiển tối ưu theo chu n tối ưu bình phương tối
5


thiểu cho hệ kết hợp gồm hai rô bốt, hệ pan-tilt stereo camera và rơ bốt di động. Trong
đó, hệ động lực học của toàn hệ được tổng hợp trong một phương trình. Các thuật tốn
được chứng minh và mơ phỏng trên Matlab, cả hai phương pháp đều cho kết quả bám
mục tiêu di chuyển tốt nhưng so với phương pháp trượt thì phương pháp điều khiển tối
ưu cho kết quả tốt hơn

sai số bám mục tiêu.

Các kết quả nghiên cứu được tác giả công bố trong 2 kỷ yếu hội thảo quốc tế về
cơ điện t & điều khiển thông minh AIM trong danh mục hội thảo IEEE, kỷ yếu hội
thảo Springer ICTA:
, Pham Thuong Cat (2016), “Optimal tracking a moving target for integrated
mobile robot – pan-tilt – stereo camera”, Advanced Intelligent Mechatronics
AIM IEEE Conference, Banff, Canada July 12-15, pp. 530 – 535.
, Duong Chinh Cuong (2016), “Design Adaptive-CTC Controller for Tracking

Target used Mobile Robot-pan-tilt-stereo camera system”, International
Conference on Advances in Information and Communication Technology, ICTA,
Thai Nguyen, Dec 12-14, pp. 217 – 227.

6


CHƢƠNG 1
TỔNG QUAN
1.1 Đặt vấn đề
Trong những năm gần đây, rất nhiều cơng trình nghiên cứu về điều khiển rơ bốt
s dụng thơng tin hình ảnh như: điều khiển thích nghi, điều khiển tối ưu, tuyến tính
hóa phản hồi hay điều khiển mờ, mạng nơ ron đã được công bố. Đối với việc theo dõi
mục tiêu di chuyển, việc s dụng một hay hai camera đều khả dụng nhưng để tính tốn
khoảng cách tới mục tiêu thì việc s dụng 2 camera sẽ thuận tiện hơn, hơn nữa việc
dùng 2 camera sẽ cho khả năng quan sát và góc nhìn tốt hơn một camera. Đối với việc
s dụng thông tin hình ảnh để điều khiển rơ bốt di chuyển thì việc s dụng 2 camera sẽ
cho không gian theo dõi mục tiêu rộng hơn, tính được tọa độ 3D của mục tiêu từ đó
giúp điều khiển rơ bốt di chuyển d dàng hơn.
Việc điều khiển rô bốt s dụng thông tin hình ảnh stereo camera để bám mục
tiêu di động cịn một số khó khăn như tham số bất định trong mơ hình rơ bốt và camera
hay ma trận Jacobian ảnh của hệ stereo camera không vuông là nguyên nhân của các
điểm kỳ dị khi lấy nghịch đảo ma trận này bên cạnh đó vấn đề tối ưu hóa tham số điều
khiển cũng còn nhiều điểm cần cải thiện. Trong việc điểu khiển rô bốt di động kết hợp
với hệ thống theo dõi mục tiêu di chuyển

trên còn một số khó khăn như việc kết hợp

điều khiển động lực học của hai rô bốt hay điều khiển tối ưu để hệ thống hoạt động
hiệu quả nhất.

Như vậy để điều khiển hệ thống rô bốt s dụng stereo camera hoạt động được
tốt hơn thì vấn đề đặt ra là:
Thứ nhất là: Phát triển các phương pháp điều khiển hệ thống rô bốt s dụng
thơng tin hình ảnh trong việc bám mục tiêu di động khi tồn tại các tham số bất định.
Thứ hai là: Phải tìm ra cách thức xây dựng ma trận Jacobian ảnh là ma trận
vuông cũng như cách để tối ưu hóa các tham số điều khiển trong hệ thống bám mục
tiêu di động để hệ thống hoạt động tốt nhất.
Thứ ba là: Phát triển một số phương pháp điều khiển hệ thống kết hợp rô bốt di
động với rô bốt mang hai camera bám mục tiêu di động để vừa có khả năng bám mục
tiêu vừa có khả năng di chuyển tới gần mục tiêu trong không gian.
7


Nếu mục tiêu chỉ di chuyển trong một mặt phẳng biết trước giới hạn di chuyển
hoặc ta chỉ cần xác định hướng nhắm tới mục tiêu thì một camera cố định là đủ để lấy
các thơng số về vị trí hay hướng tới mục tiêu đó. Nhưng khi cần xác định tọa độ của
mục tiêu trong không gian 3D (biết trước giới hạn) hoặc ngồi thơng tin về hướng ta
cần thông tin về khoảng cách mà không cần thêm một thiết bị đo khác thì việc s dụng
stereo camera cố định là cần thiết.
Trong thực tế các đối tượng theo dõi thường di chuyển trong không gian không
xác định trước được giới hạn, do vậy ngoài việc s dụng camera thì các hệ thống theo
dõi, quan sát thường s dụng thêm hệ pan-tilt để mang camera quay quét giúp không
gian theo dõi rộng hơn. Nếu hệ thống rô bốt mang một camera cho phép ta theo dõi và
xác định vị trí của đối tượng khi biết trước mặt phẳng di chuyển hoặc phải dùng thêm
máy đo khoảng cách thì hệ pan-tilt stereo camera cho phép ta xác định được cả ba
thông số mục tiêu đồng thời. Tuy nhiên khi s dụng hệ pan-tilt stereo camera thì việc
xây dựng bài tốn động học cho hệ thống còn gặp nhiều vấn đề như sự suy biến của
ma trận Jacobian ảnh. Các tham số bất định của hệ thống và đặc biệt là thông số nội tại
của hai camera dùng trong hệ thống cần phải được biết trước.
Trong bài toán theo dõi và tiếp cận mục tiêu di chuyển thì ngồi hệ pan-tilt

stereo camera

trên ta cần có một rơ bốt di động. Để kết hợp điều khiển hai rô bốt và

camera để vừa theo dõi mục tiêu vừa di chuyển theo mục tiêu ta cần xây dựng hệ động
lực học cho toàn hệ thống và xây dựng các thuật toán điều khiển hợp lý để kết hợp
điều khiển tồn bơ hệ thống.
1.2. Tổng quan về điều khiển rô bốt sử dụng thông tin hình ảnh
1.2.1 Tình hình nghiên cứu trong nước
Điều khiển rơ bốt s dụng thơng tin hình ảnh cũng được nhiều tác giả

Việt

Nam quan tâm trong hơn 15 năm tr lại đây. Một số tác giả tập trung vào nghiên cứu
phát triển thuật tốn điều khiển rơ bốt s dụng thơng tin hình ảnh từ 1 camera [7], [2],
[4], [6], đặc biệt được PGS.TSKH Phạm Thượng Cát tổng hợp trong sách [8] về điều
khiển rô bốt công nghiệp s dụng camera. Tuy nhiên để điều khiển rô bốt di động s
dụng thơng tin hình ảnh thì s dụng 2 camera sẽ cho thông tin đầy đủ hơn về mục tiêu
bao gồm hướng và khoảng cách [1]. Việc s dụng 1 camera trong điều khiển rô bốt
8


thích hợp với các bài tốn theo dõi hướng của mục tiêu mà không cần thông tin
khoảng cách tới mục tiêu hoặc khoảng cách đã biết trước [10]. Trong bài toán bám
mục tiêu di động, việc s dụng 1 camera thường phải kết hợp với 1 cảm biến để đo
khoảng cách riêng [3] hoặc phải có thêm các điều kiện ràng buộc cụ thể [4] thì việc
điều khiển rơ bốt bám mục tiêu mới thực hiện được. Do vậy, s dụng 1 camera trong
bài tốn điều khiển rơ bốt di động còn gặp nhiều hạn chế.
Trong các nghiên cứu trong lĩnh vực này thì nhóm tác giả Ngơ Mạnh Tiến [2],
[3] tập trung đi xây dựng phần cứng cho hệ pan-tilt mang 1 camera để bám mục tiêu di

động với thuật tốn điều khiển thích nghi mơ hình mẫu. Các kết quả nghiên cứu của
nhóm tác giả Phạm Đức Long [7] – ĐH Công nghệ thông tin và truyền thông Thái
Nguyên thì tập trung vào việc x lý ảnh song song CNN cho hệ rô bốt di động s dụng
1 camera thực hiện các nhiệm vụ khác nhau. Nhóm tác giả Nguy n Văn Tính và các
cộng sự [5], [57], [58], [73], [74]

viện Công nghệ thông tin viên Hàn lâm khoa học

Việt Nam tập trung vào xây dựng các thuật tốn điều khiển cho hệ kết hợp rơ bốt di
động,hệ pan-tilt mang 1 camera tiếp cận mục tiêu trên mặt sàn. Ngồi ra là các thuật
tốn điều khiển rơ bốt di động bám quỹ đạo khi có xét tới các yếu tố trơn, trượt của
bánh xe và các yếu tố bất định. Nhóm tác giả Nguy n Tiến Kiệm và các cộng sự
trường Đại học Công nghiệp Hà Nội [45], [46] tập trung vào xây dựng thuật điều
khiển cho hệ rô bốt di động,hệ pan-tilt mang 1 camera bám mục tiêu khi xét tới các
yếu tố bất định trong mô hình và yếu tố trượt ngang, dọc của bánh xe trong q trình di
chuyển. Cũng nghiên cứu về hệ rơ bốt trên nhưng trong luận án của mình, tác giả s
dụng hệ stereo camera và tập trung vào các yếu tố bất định như ma trận Jacobian ảnh
cũng như tập trung vào bài toán theo dõi và bám mục tiêu di động.
Để điều khiển rô bốt s dụng thông tin hình ảnh thì có 2 vấn đề lớn đặt ra: một
là nghiên cứu x lý ảnh để trích chọn đặc trưng và x lý để đưa ra các thông tin cần
thiết như hướng, khoảng cách cho rô bốt. Nếu mục tiêu là cố định và n m trên mặt
phẳng [7] thì ta có thể tính tốn được vị trí, khoảng cách và hướng của mục tiêu trong
bài toán cụ thể này hoặc phải có thêm các kỹ thuật x lý ảnh khác như lọc mẫu và so
sánh [9] để xác định vị trí mục tiêu cho rơ bốt trong bài tốn xác định vị trí quả cà
chua chín của tác giả Quách Tuấn Văn. Các nghiên cứu về hệ thống định vị 3D dùng 2
camera cũng đã được nghiên cứu trong thời gian gần đây. Cụ thể là trong kết quả
nghiên cứu của nhóm tác giả Đặng Tâm Trung [1] đã tập trung vào phần x lý ảnh nói
9

chung để xây dựng hệ thống định vị 3D s dụng stereo camera, cịn ứng dụng cụ thể
trong bài tốn điều khiển rô bốt phải kể tới việc chế tạo rơ bốt s dụng trong điều
khiển giao thơng của nhóm tác giả Tư ng Phước Thọ [12]. So với việc s dụng 1
camera thì dùng 2 camera cho kết quả tốt hơn với khả năng định vị mục tiêu trong
không gian 3D với khơng gian quan sát lớn hơn. Đó là sự kế thừa từ tự nhiên vì đa số
các lồi động vật đều có 2 mắt chứ khơng phải 1 mắt.
Vấn đề lớn thứ 2 là việc s dụng các thông tin về mục tiêu thu được để điều
khiển rô bốt [4], [13]. Các nghiên cứu trong nước về điều khiển rơ bốt s dụng thơng
tin hình ảnh cũng đã nghiên cứu nhiều thuật toán điều khiển khác nhau để điều khiển
rô bốt mang 1 camera bám mục tiêu từ các bộ điều khiển cổ điển tới các phương pháp
điều khiển hiện đại.
Bộ điều khiển cổ điển PID được dùng trong các bộ điều khiển bệ pan-tilt mang
camera theo dõi mục tiêu như bộ điều khiển PD hay có thêm thành phần bù trọng
trường [2]. Kết quả mô phỏng việc bắt mục tiêu

vị trí bất kỳ đều cho kết quả tốt còn

khi mục tiêu di chuyển liên tục theo các quỹ đạo khác nhau thì cịn cần phải cải tiến.
Nếu s dụng 1 camera việc theo dõi mục tiêu thực hiện tốt trong hầu hết các trường
hợp nhưng khoảng cách lại cần dùng thêm một cảm biến khác do vậy khi rô bốt hoạt
động trong các môi trường phi cấu trúc thì việc bám các đối tượng sẽ khó khăn hơn.
Nếu dùng 2 camera ta sẽ có đầy đủ tham số tọa độ mục tiêu trong không gian nhưng
một số trường hợp bị sai số lớn thậm chí mất bám. Lý do là ma trận Jacobian ảnh với
hệ 2 camera là (3x6) do vậy trong một số phép biến đổi lấy giả nghịch đảo không khả
nghịch sẽ dẫn tới suy biến ma trận Jacobian của hệ và gây ra các sai số lớn.
Phương pháp điều khiển mờ và mạng nơ ron trong các bài tốn điều khiển rơ
bốt s dụng thơng tin hình ảnh cũng được s dụng nhiều trong thời gian gần đây [7] để
loại bỏ ảnh hư ng của các tham số bất định trong mơ hình và cho kết quả tốt hơn so
với các phương pháp điều khiển PD thông thường. Hệ thống họat động tốt hơn nhưng
cũng không triệt tiêu được ảnh hư ng do sự suy biến của ma trận Jacobian ảnh gây ra

khi s dụng 2 camera. Phương pháp điều khiển nơ ron còn được s dụng để làm giảm
sự ảnh hư ng của các cơ cấu chấp hành [6] như ma sát khớp, độ rơ của khớp...
Bộ điều khiển thích nghi trong việc điều khiển rơ bốt s dụng thơng tin hình
ảnh cho kết quả khá tốt [45] khi có sự bất định trong mơ hình và các tham số đầu vào
của bộ điều khiển không chắc chắn như tốc độ di chuyển của mục tiêu được ước lượng
10


b ng x lý ảnh và tốc độ tương đối của nó cũng thay đổi khi tốc độ của rơ bốt di động
thay đổi hay khi bị tác động b i nhi u. Bộ lọc Kalman được s dụng để giảm ảnh
hư ng của nhi u trong việc thu nhận ảnh [3] kết hợp với thuật toán bám ảnh Camshift
nh m nâng cao chất lượng bám trong các hệ thống rơ bốt tự động tìm kiếm và bám bắt
mục tiêu. Hệ thống cho kết quả bắt mục tiêu tốt, giảm được nhi u trong quá trình tìm
kiếm mục tiêu nhưng nhi u xác định khoảng cách tới mục tiêu khi s dụng thêm 1 cảm
biến siêu âm thì chưa được nhắc tới.
Bài tốn điều khiển rơ bốt s dụng 1 hay 2 camera đã được nhiều tác giả trong
nước nghiên cứu và phát triển. Trong bài toán s dụng 1 camera chắc chắn vẫn còn
nhiều vấn đề cần giải quyết như tính chính xác của việc s dụng cảm biến khoảng cách
riêng. Việc s dụng 2 camera khi đó sẽ giải quyết được vấn đề trên nên việc s dụng 2
camera trong các bài tốn điều khiển rơ bốt vẫn còn nhiều vấn đề cần nghiên cứu, đặc
biệt là các thuật tốn điều khiển rơ bốt s dụng thơng tin hình ảnh từ 2 camera hay sự
bất định trong mơ hình rơ bốt – stereo camera, sự suy biến của ma trận Jacobian ảnh.
1.2.2 Tình hình nghiên cứu ngồi nước
Trong điều khiển rơ bốt nói chung và điều khiển rơ bốt s dụng thơng tin hình
ảnh thu từ camera nói riêng, việc tìm được phương pháp điều khiển phù hợp để có thể
kết hợp được thơng tin từ camera và hệ rơ bốt là một bài tốn phức tạp. Bài tốn điều
khiển rơ bốt di động s dụng thơng tin hình ảnh từ camera có thể phân loại như sau
[34], [29]:
Điều khiển rơ bốt s dụng
thơng tin hình ảnh

S dụng 1 camera

S dụng 1 camera và
máy đo khoảng cách

S dụng 2 camera

Camera cố định
Camera đặt trên
robot có thể di
động được

Hình 1.1 Các ứng dụng điều khiển rô bốt s dụng thơng tin hình ảnh.
11


Hệ thống camera bám mục tiêu di động theo cấu trúc có thể phân hệ thành
nhóm có 1 hoặc 2 camera cố định hoặc điều khiển được. Hệ thống có 1 camera của
nhóm tác giả Oscar, N., Ricardo, C., [59], Kelly, R. Và cộng sự [43], hay trong các
công bố [71], [76], [77], [78] … chỉ xác định được hướng của mục tiêu nên cần s
dụng thêm một máy đo khoảng cách hoặc chỉ đo được khoảng cách trong một số bài
tốn có ràng buộc cụ thể [56]. Để giải quyết vấn đề khoảng cách trong các môi trường
phi cấu trúc thì việc s dụng 2 camera là một giải pháp, tác giả Masaaki Shibata,

Hideki Eto, Masahide Ito [37], [49], Wook bahn [82], Tae-II K [29], hay trong các
công bố [63], [28], [86] … đã s dụng hai camera trong các nghiên cứu của mình.
Thơng số 3D về vị trí mà hướng của mục tiêu trong đó có khoảng cách là hoàn toàn
xác định được từ ảnh trên các camera [32], [50]. Với nhóm camera di động, các
camera quay quét với các góc khác nhau [65], [34], [29] có một ưu điểm là có thể điều

khiển hệ camera di chuyển bám theo đối tượng để đối tượng luôn

trung tâm của ảnh

thu được nên không gian quan sát lớn, thay đổi được so với hệ camera gắn cố định trên
rô bốt [27], [63].
Để bám được mục tiêu có tốc độ di chuyển khác nhau thì ta cần điều khiển các
khớp của bệ Pan-Tilt mang camera thay đổi phù hợp. Để làm được điều này thì tốc độ
di chuyển của mục tiêu phải tính tốn hay đo được, ngồi ra các thơng số của hệ
thường khơng hồn tồn chính xác nên việc bám mục tiêu di động là một bài toán
phức tạp. Khi s dụng hệ pan-tilt stereo camera thì một vấn đề nữa đặt ra sự suy biến
của ma trận Jacobi khi lấy giả nghịch đảo. Khi s dụng 1 camera thì ma trận Jacobian
ảnh là [21], [37]:

J imag (m)

f
Z

0

U
Z

0

f
Z

V

Z

UV
f
2
(V
f 2)
f

(U 2 f 2 )
f
UV
f

V

,

(1.1)

U

trong đó: U, V là tọa độ của ảnh mục tiêu thu được b i camera theo trục ngang u và
trục đứng v trong hệ tọa độ ảnh. Khi thực hiện nhân ma trận trên với với ma trận
Jacobian của hệ pan-tilt :

12