(Luận án tiến sĩ) Nghiên cứu điều khiển rô bốt tay máy di động bám mục tiêu trên cơ sở sử dụng thông tin hình ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO

VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
-----------------------------

Lê Văn Chung

NGHIÊN CỨU ĐIỀU KHIỂN RÔ BỐT
TAY MÁY DI ĐỘNG BÁM MỤC TIÊU
TRÊN CƠ SỞ SỬ DỤNG THÔNG TIN HÌNH ẢNH

LUẬN ÁN TIẾN SĨ KỸ THUẬT

Hà Nội – 2019


BỘ GIÁO DỤC VÀ ĐÀO TẠO

VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ
-----------------------------

Lê Văn Chung

NGHIÊN CỨU ĐIỀU KHIỂN RÔ BỐT
TAY MÁY DI ĐỘNG BÁM MỤC TIÊU

TRÊN CƠ SỞ SỬ DỤNG THÔNG TIN HÌNH ẢNH

Chuyên ngành:

Kỹ thuật điều khiển và tự động hóa

Mã số:

9.52.02.16
LUẬN ÁN TIẾN SĨ KỸ THUẬT

NGƯỜI HƯỚNG DẪN KHOA HỌC:
1. PGS.TSKH Phạm Thượng Cát
2. TS. Phạm Minh Tuấn

Hà Nội – 2019


LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả
được viết chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước khi
đưa vào luận án. Các kết quả trong luận án là trung thực và chưa từng được công bố
trong bất kỳ công trình nào khác.
Tác giả luận án

Lê Văn Chung

i

LỜI CẢM ƠN

Lời đầu tiên, Tôi xin chân thành cảm ơn Ban Lãnh đạo Học viện Khoa học
và Công nghệ, Viện Công nghệ thông tin - Viện Hàn lâm Khoa học và Công nghệ
Việt Nam, Phòng Công nghệ tự động hóa đã tạo điều kiện thuận lợi trong quá trình
học tập, nghiên cứu.
Tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới PGS.TSKH.
Phạm Thượng Cát và TS. Phạm Minh Tuấn, hai thầy đã định hướng và tận tình
hướng dẫn để tôi có thể hoàn thành luận án.
Tôi xin cảm ơn Ban Giám hiệu Trường Đại học Công nghệ Thông
tin và Truyền thông - Đại học Thái Nguyên, Khoa Công nghệ tự động hóa và
các đơn vị trong Nhà trường đã quan tâm giúp đỡ, tạo điều kiện để tôi có thể thực
hiện nghiên cứu.
Tôi xin cảm ơn các cán bộ Phòng Công nghệ tự động hóa – Viện Công nghệ
thông tin, các đồng nghiệp thuộc Khoa Công nghệ Tự động hóa - Trường Đại học
Công nghệ thông tin và truyền thông - Đại học Thái Nguyên đã động viên và trao
đổi kinh nghiệm trong quá trình hoàn thành luận án.
Cuối cùng, tôi xin chân thành cảm ơn đến gia đình, người thân, các bạn đồng
nghiệp - những người luôn dành cho tôi những tình cảm nồng ấm, luôn động viên
và sẻ chia những lúc khó khăn trong cuộc sống và tạo điều kiện tốt nhất để tôi có
thể hoàn thành quá trình nghiên cứu.
Hà Nội, ngày 28 tháng 8 năm 2019
Tác giả luận án

Lê Văn Chung

ii

MỤC LỤC
LỜI CAM ĐOAN ....................................................................................................... i
LỜI CẢM ƠN ............................................................................................................ii
MỤC LỤC ................................................................................................................ iii
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT ...........................................vii
DANH MỤC HÌNH VẼ ............................................................................................ x
DANH MỤC BẢNG .............................................................................................. xiii
MỞ ĐẦU .................................................................................................................... 1
CHƢƠNG 1................................................................................................................ 7
TỔNG QUAN ............................................................................................................ 7
1.1 Đặt vấn đề ........................................................................................................ 7
1.2. Tổng quan về điều khiển rô bốt sử dụng thông tin hình ảnh ..................... 8
1.2.1 Tình hình nghiên cứu ngoài nước ........................................................... 11
1.2.2 Tình hình nghiên cứu trong nước .............................................................. 8
1.3 Các vấn đề nghiên cứu của luận án ............................................................. 19
1.3.1. Phát triển phương pháp điều khiển rô bốt s dụng thông tin hình ảnh ... 19
1.3.2. Một số cải tiến trong điều khiển hệ servo thị giác bám mục tiêu di động
........................................................................................................................... 20
1.3.3. Phát triển thuật toán điều khiển rô bốt di động s dụng thông tin hình
ảnh. .................................................................................................................... 21
1.4. Kết luận chƣơng 1 ........................................................................................ 22
CHƢƠNG 2.............................................................................................................. 23
PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN HỆ PAN-TILT SỬ DỤNG
THÔNG TIN HÌNH ẢNH TỪ HAI CAMERA .................................................... 23
2.1. Xây dựng mô hình động học hệ pan-tilt-stereo camera bám mục tiêu di
động với nhiều tham số bất định ................................................................... 24
iii


2.1.1 Xác định ma trận Jacobi ảnh qua tọa độ điểm ảnh thu được từ 2 camera

quy vào hệ tọa độ OcXcYcZc ........................................................................... 24
2.1.2 Xác định hệ phương trình động học tốc độ hệ pan-tilt. ........................... 28
2.1.3 Xây dựng bài toán điều khiển động học (kinematic control) hệ rô bốtstereo camera bám mục tiêu. ............................................................................. 29
2.2.Thiết kế thuật toán điều khiển ..................................................................... 30
2.2.1 Xây dựng mô hình bộ điều khiển ............................................................. 30
2.2.2 Xây dựng thuật toán điều khiển hệ Pan-tilt –2 camera bám mục tiêu di
động ................................................................................................................... 31
2.3 Một số kết quả mô phỏng kiểm chứng ........................................................ 35
2.4. Kết luận chƣơng 2 ........................................................................................ 43
CHƢƠNG 3.............................................................................................................. 45
MỘT SỐ CẢI TIẾN TRONG ĐIỀU KHIỂN ....................................................... 45
HỆ SERVO TH GIÁC BÁM MỤC TIÊU DI ĐỘNG ........................................ 45
3.1

dựng mô hình 3D cho hệ 2 camera trên hệ pan-tilt ........................... 47

3.1.1 Mô hình 3D cho hệ stereo camera ........................................................... 47
3.1.2 Mô hình hệ camera ảo. ............................................................................. 47
3.1.3 Kiểm soát sự suy biến của ma trận Jacobian ......................................... 53
3.1.4 Bài toán điều khiển rô bốt bám mục tiêu với nhiều tham số bất định ..... 53
3.2.

dựng hệ động lực học hệ pan-tilt – stereo camera với các tham số

bất định ............................................................................................................ 53
3.3.

dựng bộ điều khiển nơ ron cho hệ động lực học hệ pan-tilt stereo

camera bám mục tiêu di động. ...................................................................... 55

3.3.1 Xây dựng bộ điều khiển .......................................................................... 55
3.3.2 Xây dựng cấu trúc các lớp bộ điều khiển nơ ron truyền th ng RBF cho hệ
thống .................................................................................................................. 56
3.3.3 Tối ưu tham số ......................................................................................... 57
3.4. Mô phỏng hệ thống....................................................................................... 61
iv


3.5. Kết luận ......................................................................................................... 72
CHƢƠNG 4.............................................................................................................. 74
PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN RÔ BỐT DI ĐỘNG .................. 74
SỬ DỤNG THÔNG TIN HÌNH ẢNH. .................................................................. 74
4.1. Xây dựng mô hình động học và bài toán hệ điều khiển Rô bốt-Pan-tilt–
Stereo Camera bám mục tiêu di động .......................................................... 75
4.1.1 Xác định ma trận Jacobi ảnh .................................................................... 75
4.1.2 Xác định ma trận Jacobi của hệ và tốc độ bám mục tiêu cho rô bốt di
động. .................................................................................................................. 77
4.1.3 Xác định tốc độ của các bánh xe cho rô bốt di động để rô bốt tiếp cận
mục tiêu. ............................................................................................................ 81
4.2. Thiết kế thuật toán điều khiển .................................................................... 82
4.2.1 Động lực học hệ rô bốt di động-bệ pan-tilt .............................................. 82
4.2.2 Thiết kế bộ điều khiển tối ưu ................................................................... 83
4.3. Mô phỏng hệ thống....................................................................................... 89
4.3.1 Mô phỏng hệ thống với bộ điều khiển tối ưu ........................................... 89
4.3.2 Mô phỏng hệ thống với bộ điều khiển trượt CTC.................................... 94
4.4. Kết luận chƣơng 4 ........................................................................................ 96
5. KẾT LUẬN .......................................................................................................... 97
5.1. Những nội dung nghiên cứu chính của luận án......................................... 97
5.2.Những đóng góp khoa học mới của luận án ............................................... 97
5.3.Định hƣớng nghiên cứu phát triển .............................................................. 98

DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ ........................................... 100
TÀI LIỆU THAM KHẢO .................................................................................... 101
PHỤ LỤC ............................................................................................................... 111
1. Mô hình mô phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có
sử dụng mô hình camera 3D ảo ................................................................... 111
v


2. Mô hình mô phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có
sử dụng mô hình camera 3D ảo ................................................................... 118

vi


DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

Ký hiệu

Đơn vị

Mô tả

tính

Computed Torque Controller – bộ điều khiển dựa

CTC

trên phương pháp tính mô men.
d

m

Khoảng cách giữa 2 bánh xe rô bốt di động.
Vecto ảnh hư ng của nhi u, các tham số bất định.

d(t)
f

pixel

Tiêu cự camera (1 pixel = 35μm)

fv

pixel

Tiêu cự thấu kính của camera ảo.
Các thành phần bất định trong mô hình động học hệ

f

pan-tilt.
Các thành phần bất định trong mô hình động lực học

fu

hệ pan-tilt.
H

Hàm Hamilton.

Jimag

Ma trận Jacobi ảnh.

Jrobot

Ma trận Jacobi rô bốt.

J

Ma trận Jacobi tổng hợp.

Jˆ imag (m), Jˆ robot (q)

Các giá trị biết được của các ma trận tương ứng.
Các đại lượng không biết của các ma trận tương

ΔJ imag (m), ΔJrobot (q)

ứng.
Jˆ

Ma trận giả nghịch đảo của ma trận J;

T
1 T
(Jˆ Jˆ ) Jˆ

Jˆ

T
1 T
(Jˆ Jˆ ) Jˆ

K

m

Khoảng cách 2 camera.

k

m

khoảng cách giữa hai bánh xe rô bốt di động.

k1

m

Khoảng cách giữa rô bốt di động và mục tiêu.

l1

m

Chiều dài khớp pan củahệ pan-tilt.

l2

m

Chiều dài khớp tilt củahệ pan-tilt.

LQR

Linear–Quadratic Regulator.
vii


LQG

Linear–Quadratic–Gaussian.

m

Pixel

Véc tơ đặc trưng ảnh.

md

Pixel

Véc tơ đặc trưng ảnh mong muốn.

Q

Tọa độ mục tiêu.

q

Véc tơ vị trí góc của khớp pan, tilt

qr

Véc tơ vị trí góc của khớp pan, tilt

RBF

Radial basis function neural network

s

Véc tơ sai số giữa giá trị mong muốn và đo được.

Tx Ty Tz

m/s

Vận tốc dài của tay nắm camera

x y z

m/s

Vận tốc góc của tay nắm camera

U, V

Pixel

Tọa độ ảnh của đối tượng

u1,

Thành phần điều khiển nơ ron

u*

Thành phần điều khiển tối ưu

v

véc tơ biến ngoài của đầu tay nắm của bệ pan-tilt
(trùng với gốc tọa độ camera OC)

C

v

Véc tơ vận tốc dài của đầu tay nắm của bệ pan-tilt

C

Ω

Véc tơ vận tốc góc của đầu tay nắm của bệ pan-tilt

vs

Véc tơ vận tốc đo được tại 2 bánh rô bốt di động và
2 khớp của bệ pan-tilt.
Véc tơ vận tốc mong muốn đặt lên 2 bánh rô bốt di

vd

động và 2 khớp của bệ pan-tilt.
x

Véc tơ mô tả vị trí và hướng của camera.

xs

Véc tơ tọa độ mục tiêu nhìn trong hệ tọa độ camera
ảo.

W

Ma trận trọng số của mạng nơ ron

ε

Sai số giữa tham số mong muốn và đo được

θ1

rad

Góc quay của khớp pan

θ2

rad

Góc quay của khớp tilt

m

rad

Góc hướng của rô bốt di động

θ1d

rad

Góc quay mong muốn của khớp pan

θ2d

rad

Góc quay mong muốn của khớp tilt
viii


 md

rad

Góc hướng mong muốn của rô bốt di động

m

Khoảng cách từ gốc tới vị trí đặt camera ảo

c j , j

Trọng tâm và độ rộng khoảng cách tính từ tâm của
lớp n thứ j radial basis function của mạng nơ ron.

φl , φr
Stereo camera

rad

Góc quay của bánh xe trái, phải trên rô bốt di động
Hệ 2 camera được gắn trên khung cố định củahệ
pan-tilt và có các quan hệ hình học được xác định
trước.

ix


DANH MỤC HÌNH VẼ
Hình 1.1 Các ứng dụng điều khiển rô bốt s dụng thông tin hình ảnh. .................... 11
Hình 1.2 Một số phương pháp điều khiển rô bốt s dụng thông tin hình ảnh .......... 14

Hình 2.1 Bệ pan-tilt PTU-D48E-Series và biểu di n hệ tọa độ ................................ 24
Hình 2.2 Mô hình hệ thống camera ........................................................................... 25
Hình 2.3 Ảnh theo 2 trục Z, Y .................................................................................. 26
Hình 2.4 Ảnh theo 2 trục X, Y .................................................................................. 26
Hình 2.5 Mạng RBF xấp xỉ hàm f ........................................................................... 32
Hình 2.6 Cấu trúc của hệ visual servoing điều khiển camera bám mục tiêu di động
có nhiều tham số bất định.......................................................................................... 34
Hình 2.7 Sai lệch tọa độ ảnh mục tiêu (pixel). .......................................................... 37
Hình 2.8 Sai lệch tọa độ ảnh mục tiêu (pixel) khi bộ điều khiển không có mạng nơ
,
ron bù ( u1 = 0 ). ........................................................................................................ 37

Hình 2.9 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng. ................ 38
Hình 2.10 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng ................ 38
Hình 2.11 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng với bộ điều
khiển không có mạng nơ ron bù ( u1, = 0 ). .................................................................. 39
Hình 2.12 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng với bộ điều
khiển không có mạng nơ ron bù ................................................................................ 39
Hình 2.13 Sai lệch bám quỹ đạo khi mục tiêu cơ động theo cung tròn .................... 40
Hình 2.14 Sai lệch tọa độ ảnh khi mục tiêu cơ động theo cung tròn ........................ 40
Hình 2.15 Sai lệch bám quỹ đạo với mục tiêu cơ động theo cung tròn khi bộ điều
khiển không có mạng nơ ron bù ................................................................................ 41
Hình 2.16 Sai lệch tọa độ ảnh với mục tiêu cơ động theo cung tròn khi bộ điều
khiển không có mạng nơ ron bù ( u1, = 0 ). .................................................................. 41
Hình 2.17 Sai lệch bám quỹ đạo khi mục tiêu di chuyển với vận tốc thay đổi......... 42
x


Hình 2.18 Sai lệch tọa độ ảnh khi mục tiêu di chuyển với vận tốc thay đổi............. 42
Hình 3.1 Hệ trục tọa độ của hệ Pan-tilt – stereo cameras ......................................... 48

Hình 3.2 Mô hình hệ camera 3D ảo .......................................................................... 49
Hình 3.3 Tọa độ mục tiêu nhìn theo hai trục tọa độ Y và Z ..................................... 50
Hình 3.4 Tọa độ mục tiêu nhìn theo hai trục tọa độ Y và Z ..................................... 50
Hình 3.5 Mạng nơ ron RBF để xấp xỉ tham số bất định f ......................................... 57
Hình 3.6 Cấu trúc sơ đồ điều khiển của hệ thống ..................................................... 60
Hình 3.7 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường thẳng
nhìn trong không gian camera .................................................................................. 63
Hình 3.8 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo đường thẳng
trong hệ tọa độ ảo 3D ................................................................................................ 64
Hình 3.9 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường tròn
nhìn trong không gian camera .................................................................................. 65
Hình 3.10 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo đường tròn nhìn
trong hệ tọa độ ảo 3D ................................................................................................ 65
Hình 3.11 a) L i bám mục tiêu theo 2 trục X, Z. b) Mô ment đặt lên các khớp. c)
Tốc độ khớp pan-tilt q ............................................................................................... 66
Hình 3.12 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình chữ
nhật với tốc độ thay đổi nhìn trong không gian camera ........................................... 66
Hình 3.12 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo hình chữ nhật
với tốc độ thay đổi nhìn trong hệ tọa độ ảo 3D ......................................................... 67
Hình 3.13 a) Sai số bám mục tiêu chiếu theo hai trục X, Z. b) Moment đặt lên các
khớp. c) Tốc độ các khớp q ....................................................................................... 68
Hình 3.14 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển trong không
gian với tốc độ và hướng thay đổi bất kỳ nhìn trong không gian camera ................ 69
Hình 3.15 Sai số bám mục tiêu di động khi mục tiêu di chuyển trong không gian với
tốc độ và hướng thay đổi bất kỳ nhìn trong hệ tọa độ ảo 3D .................................... 69
Hình 3.15 a) Sai số bám mục tiêu chiếu theo hai trục X, Z. b) Moment đặt lên các
khớp. c) Tốc độ các khớp q ....................................................................................... 70
xi

Hình 3.17 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường
thẳng khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron ............................... 71
Hình 3.18 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường tròn
khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron ......................................... 71
Hình 3.19 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình chữ
nhật với tốc độ thay đổi khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron .. 71
Hình 3.20 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình tròn
của bài báo trích dẫn [20]. ......................................................................................... 73
Hình 4.1 Cấu trúc của hệ rô bốt- pan-tilt-stereo camera ........................................... 76
Hình 4.2 Mô hình hệ thống stereo camera ................................................................ 80
Hình 4.3 Ảnh theo hai trục X, Z (trái) và Y, Z (phải). .............................................. 80
Hình 4.4 Vị trí và hướng mong muốn của rô bốt di động. ........................................ 81
Hình 4.5 Sơ đồ khối hệ thống. .................................................................................. 85
Hình 4.6 Sơ đồ khối hệ thống với bộ điều khiển trượt CTC. .................................... 88
Hình 4.7 Thuật toán điều khiển tối ưu ...................................................................... 92
Hình 4.8 Bám tọa độ ảnh nhìn trong hệ tọa độ gốc. ................................................. 93
Hình 4.9 Rô bốt di động bám theo mục tiêu trên mặt phẳng x-y nhìn trong hệ tọa độ
gốc. ............................................................................................................................ 94
Hình 4.10 Sai số vecto v giữa tốc độ mong muốn và tốc độ đặt của các khớp hệ pantilt và hai bánh rô bốt di động ................................................................................... 94
Hình 4.11 Mô phỏng di chuyển bám theo mục tiêu của rô bốt di động .................... 95
Hình 4.12 Sai số giữa tốc độ mong muốn và tốc độ đặt của các khớp hệ pan-tilt và
hai bánh rô bốt di động.............................................................................................. 95

xii


DANH MỤC BẢNG
Bảng 3.1 Bảng tham số của hệ thống hệ pan-tilt ................................................ 62
Bảng 4.1 các tham số trong mô hình rô bốt di động – hệ pan-tilt – stereo
camera ...................................................................................................................... 89

xiii


MỞ ĐẦU
Tính cấp thiết của đề tài
Rô bốt được ứng dụng trong công nghiệp từ những năm 60 để thay thế con
người làm các công việc nặng nhọc, nguy hiểm trong môi trường độc hại. Ngày nay rô
bốt được ứng dụng rộng rãi trong mọi lĩnh vực sản xuất và dịch vụ như trong chế tạo
máy, y tế, chăm sóc sức khỏe, nông nghiệp, đóng tàu, xây dựng, an ninh quốc phòng
và gia đình … Nhu cầu s dụng rô bốt trong các ngành công nghiệp, dân dụng, dịch vụ
và an ninh quốc phòng gia tăng là động lực cho sự phát triển của các rô bốt di động
thông minh.
Cùng với sự phát triển mạnh mẽ của các hệ thống tự động hóa, rô bốt di động
ngày một được hoàn thiện và càng cho thấy lợi ích của nó trong công nghiệp và sinh
hoạt. Một vấn đề rất được quan tâm khi nghiên cứu về rô bốt là khả năng nhìn và x lý
thông tin hình ảnh để rô bốt có thể theo dõi được các đối tượng mục tiêu đứng yên
cũng như di chuyển trong không gian, biết được vị trí nó đang đứng trong môi trường
phi cấu trúc và có thể di chuyển tới một vị trí khác, đồng thời có thể tự động tránh
được các chướng ngại vật trên đường đi.
Trong những năm gần đây, rất nhiều công trình nghiên cứu về điều khiển rô bốt
s dụng thông tin hình ảnh, nhưng các kết quả đạt được vẫn còn bộc lộ một số hạn chế.
Chẳng hạn như việc s dụng 1 camera trên rô bốt di động chỉ cho phép theo dõi đầy đủ
thông tin của mục tiêu khi biết trước mặt phẳng di chuyển của mục tiêu hay việc s
dụng 2 camera cho phép đáp ứng nhiều yêu cầu nhưng chưa xét tới các sự suy biến của
ma trận Jacobian ảnh tác động tới khả năng bám của hệ thống. Bên cạnh đó mô hình
toán học của rô bốt thường khó đạt độ chính xác tuyệt đối vì trong hệ thống chứa nhiều
tham số bất định như việc đo đạc các tham số ban đầu hay các hệ số ma sát, mô
men quán tính…, lại thường thay đổi trong quá trình hoạt động. Ngoài ra, tối ưu
hóa các tham số trong các bộ điều khiển rô bốt để đạt được độ chính xác mong muốn

trong một số trường hợp cụ thể là những vấn đề khó và cần tiếp tục nghiên cứu. Việc
s dụng thị giác 2 camera là một xu hướng tất yếu vì nó mang tính linh hoạt dựa trên
đặc tính của hầu hết các loài động vật bậc cao đều có 2 mắt. Nhưng trong việc s dụng
thị giác 2 camera cho rô bốt đi động, việc phát triển các thuật toán điều khiển sao cho
phát huy được các ưu điểm của thị giác hai camera và hạn chế được các khuyết điểm
1


đã nêu

trên vẫn còn khá nhiều vấn đề cần được giải quyết.
Với lý do trên, tác giả đã lựa chọn đề tài: “Nghiên cứu điều khiển rô bốt tay

máy di động bám mục tiêu trên cơ sở sử dụng thông tin hình ảnh” để phát triển
một số thuật toán điều khiển rô bốt theo dõi mục tiêu di động và rô bốt di chuyển bám
mục tiêu s dụng thông tin hình ảnh có nhiều tham số bất định.

Đối tƣợng nghiên cứu
Đối tượng nghiên cứu chính của đề tài là tập trung vào hệ rô bốt tay máy pantilt và rô bốt di động có cơ cấu di chuyển b ng bánh xe. Hệ camera dùng để lấy thông
tin hình ảnh cho điều khiển tay máy bám mục tiêu di động là hệ 2 camera. Những hình
ảnh thu được sẽ được x lý, tính toán từ đó ra quyết định điều khiển các cơ cấu chấp
hành khác của rô bốt thực hiện theo các yêu cầu.

Mục tiêu nghiên cứu
Mục tiêu của đề tài là nghiên cứu phát triển một số thuật toán điều khiển tay
máy rô bốt bám mục tiêu di động dựa trên cơ s

thông tin hình ảnh s dụng hai

camera có tính bền vững với nhiều tham số bất định và khả năng kháng nhi u với tốc

độ x lý cao.

- Đề xuất thuật toán điều khiển hệ pan-tilt mang 2 camera bám mục tiêu di
động với nhiều tham số bất định và xây dựng hệ 2 camera với ma trận
Jacobian ảnh đầy đủ.

- Đề xuất một số thuật toán điều khiển hệ rô bốt di động, hệ pan-tilt mang 2
camera bám mục tiêu di động.

Phạm vi nghiên cứu
Nghiên cứu về hệ pan-tilt mang 2 camera (stereo camera) và rô bốt di động di
chuyển b ng 3 bánh xe trong đó có 2 bánh chủ động, có nhiều tham số bất định bám
mục tiêu di động.
Nghiên cứu các thuật toán, phương pháp điều khiển hệ pan-tilt bám mục tiêu di
động s dụng thông tin hình ảnh từ hai camera.
Nghiên cứu các thuật toán điều khiển hệ rô bốt di động, hệ pan-tilt stereo
camera theo dõi và bám mục tiêu di động.
Chỉ tập trung vào nghiên cứu s dụng các kết quả mà camera thu được để điều
2


khiển rô bốt, không đề cập tới phần hiệu chỉnh camera, thu nhận ảnh hay x lý ảnh
trên camera mà chỉ quan tâm tới việc x lý từ điểm tính năng trên ảnh sau x lý để đưa
ra các tham số điều khiển rô bốt.
Các yếu tố bất định, nhi u trong các bài toán của luận án đều bị chặn.
Phƣơng pháp nghiên cứu
Phương pháp nghiên cứu được áp dụng cho các vấn đề đã nêu ra của luận án
như sau:
1. Trên cơ s kế thừa các kết quả nghiên cứu đã có tác giả đi xây dựng mô
hình toán học cho hệ thốnghệ pan-tilt stereo camera và hệ thống phức hợp

gồm rô bốt di động – hệ pan-tilt mang 2 camera khi có các tham số bất định
trong mô hình và nhi u.
2. Nghiên cứu các thuật toán điều khiển hiện đại để từ đó xây dựng các thuật
toán điều khiển mới cho hệ pan-tilt theo dõi mục tiêu và hệ phức hợp nói
trên bám mục tiêu di động.
3. Tối ưu hệ thống bao gồm tối ưu các ma trận Jacobian đảm bảo tính khả
nghịch và tham số trong mô hình điều khiển.
4. Chứng minh tính ổn định của các thuật toán đề xuất b ng lý thuyết ổn định
Lyapunov, bổ đề Barbalat.
5. Mô phỏng đáp ứng của hệ thống với các thuật toán đề xuất trên Matlab
simulink để kiểm chứng việc theo dõi và bám mục tiêu của hệ thống.
Ý nghĩa của đề tài

- Về mặt lý thuyết: đóng góp các thuật toán điều khiển hệ pan-tilt theo dõi
mục tiêu và thuật toán điều khiển hệ rô bốt di động –hệ pantilt s dụng 2
camera bám mục tiêu di động với nhiều tham số bất định trong mô hình
cũng như nhi u tác động.

- Về mặt thực ti n: xây dựng mô hình camera 3D ảo loại bỏ sự suy biến của
ma trận Jacobian ảnh và mô hình động lực học cho hệ gồm rô bốt di động –
hệ pan-tilt mang dụng 2 camera.
Những điểm mới của luận án

3


Qua các nghiên cứu về phương pháp điều khiển rô bốt s dụng thông tin hình
ảnh, trong đó cụ thể là hệ pan-tilt và hệ rô bốt di động – hệ pan-tilt stereo camera có
nhiều tham số bất định trong mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận
Jacobian rô bốt cũng như các yếu tố bên ngoài, tác giả có một số đóng góp như sau:

- Xây dựng 1 phương pháp để thiết lập ma trận Jacobian ảnh vuông cho hệ stereo
camera giúp hệ rô bốt – stereo camera theo dõi được các đối tượng có chuyển động
phức tạp d dàng hơn.
- Xây dựng bộ điều khiển mạng nơ ron nhân tạo để bù các tham số bất định trong
mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận Jacobian rô bốt cũng như các yếu
tố bên ngoài. Bộ điều khiển này hoạt động tốt ngay cả khi tham số mô hình chỉ chắc
chắn được 80

và ngay cả khi có các yếu tố bên ngoài tác động vào.

- Xây dựng mô hình động lực học cho hệ gồm rô bốt di động – hệ pan-tilt mang
dụng 2 camera và 2 thuật toán điều khiển trong đó: 01 bộ điều khiển trượt và 01 bộ
điều khiển tối ưu theo chu n tối ưu bình phương tối thiểu cho hệ kết hợp hai rô bốt
gồm hệ pan-tilt stereo camera và rô bốt di động. Trong đó, mô hình động lực học của
toàn hệ nói trên được tổng hợp trong một phương trình.
Tối ưu hóa các tham số trong bộ điều khiển nơ ron.
Mô phỏng kiểm chứng các thuật toán điều khiển rô bốt theo dõi và bám mục tiêu
di động b ng công cụ mô phỏng Matlab.
Công bố 07 công trình liên quan đến các nội dung nghiên cứu của luận án trên
các tạp chí, kỷ yếu hội thảo trong nước và ngoài nước.
Nội dung của luận án
Luận án gồm 04 chương:
Chƣơng 1 Trình bày tổng quan về các vấn đề trong điều khiển rô bốt nói chung,
điều khiển rô bốt s dụng thông tin hình ảnh từ camera và đặc biệt là s dụng hai
camera để đưa ra định hướng nghiên cứu của luận án.
Chƣơng 2 Trình bày mô hình động học của hệ pan-tilt 2 camera. Xây dựng bộ
điều khiển động học điều khiển hệ thống bám mục tiêu di động với nhiều tham số bất
đinh trong mô hình toán học. Bộ điều khiển được xây dựng dựa trên phương pháp điều
khiển PD kết hợp với mạng nơ ron RBF s dụng thuật học online để bù các tham số
4

bất định. Thuật toán được chứng minh tính ổn định tiệm cận b ng lý thuyết ổn định
Lyapunov và mô phỏng kiểm chứng trên Matlab simulink.
Kết quả của các nghiên cứu trong chương này được công bố trong tạp chí Tin
học và điều khiển, tạp chí Khoa học công nghệ - Đại học Thái Nguyên và trong kỷ yếu
hội nghị toàn quốc về tự động hóa VCCA 2013:
, Pham Thuong Cat (2015), “A new control method for stereo visual servoing
system with pan-tilt platform”, Journal of Computer Science and Cybernetics,Vol
31 (2), pp. 107 – 122.
, Phạm Thượng Cát, Bùi Tuấn Anh (2013), “Phương pháp điều khiển hệ servo
thị giác stereo sử dụng bệ Pan-Tilt”, Hội nghị toàn quốc lần thứ 2 về Điều khiển
và Tự động hoá - VCCA-2013, Đà N ng, pp. 375 - 382.
, “Phát triển hệ pan-tilt – nhiều camera bám mục tiêu di động”, Tạp chí KHCN
Đại học Thái Nguyên, 116(02), tr. 41-46.
Chƣơng 3: Xây dựng mô hình camera 3D ảo để thiết lập ma trận Jacobian ảnh
vuông giúp hệ stereo camera ảnh có thể theo dõi các đối tượng chuyển động phức tạp.
Xây dựng mô hình động lực học cho hệ pan-tilt 2 camera bám mục tiêu di động. Bộ
điều khiển s dụng mang nơ ron với các tham số đã được tối ưu. Mô hình và thuật toán
điều khiển này cho kết quả tốt hơn so với các kết quả trong chương 2 khi có xét thêm
nhi u ngoài và các yếu tố bất định trong mô hình động lực học. Tính ổn định tiệm cận
của hệ thống đã được chứng minh b ng lý thuyết ổn định Lyapunov, bổ đề Barbalat và
mô phỏng trên Matlab.
Kết quả nghiên cứu của chương này được tác giả công bố trên tạp chí quốc tế về
x lý ảnh và điều khiển robot và kỷ yếu hội nghị toàn quốc về cơ điện t VCM 2014:
, “Robust Visual Tracking Control of Pan-tilt -Stereo Camera System”,
International Journal of Imaging and Robotics, Vol 18 (1), (1/2018), pp. 45 – 61.
, Pham Thuong Cat (2014), “Robust visual tracking control of pan-tilt – stereo
camera system”, Hội nghị cơ điện t VCM 2014, Đồng Nai, pp.167-173.
Chƣơng 4 Xây dựng mô hình động lực học cho hệ gồm rô bốt di động – hệ pantilt mang dụng 2 camera. Xây dựng 02 thuật toán điều khiển cho hệ nói trên bao gồm

01 bộ điều khiển trượt và 01 bộ điều khiển tối ưu theo chu n tối ưu bình phương tối
5


thiểu cho hệ kết hợp gồm hai rô bốt, hệ pan-tilt stereo camera và rô bốt di động. Trong
đó, hệ động lực học của toàn hệ được tổng hợp trong một phương trình. Các thuật toán
được chứng minh và mô phỏng trên Matlab, cả hai phương pháp đều cho kết quả bám
mục tiêu di chuyển tốt nhưng so với phương pháp trượt thì phương pháp điều khiển tối
ưu cho kết quả tốt hơn

sai số bám mục tiêu.

Các kết quả nghiên cứu được tác giả công bố trong 2 kỷ yếu hội thảo quốc tế về
cơ điện t & điều khiển thông minh AIM trong danh mục hội thảo IEEE, kỷ yếu hội
thảo Springer ICTA:
, Pham Thuong Cat (2016), “Optimal tracking a moving target for integrated
mobile robot – pan-tilt – stereo camera”, Advanced Intelligent Mechatronics
AIM IEEE Conference, Banff, Canada July 12-15, pp. 530 – 535.
, Duong Chinh Cuong (2016), “Design Adaptive-CTC Controller for Tracking
Target used Mobile Robot-pan-tilt-stereo camera system”, International
Conference on Advances in Information and Communication Technology, ICTA,
Thai Nguyen, Dec 12-14, pp. 217 – 227.

6


CHƢƠNG 1
TỔNG QUAN
1.1 Đặt vấn đề
Trong những năm gần đây, rất nhiều công trình nghiên cứu về điều khiển rô bốt

s dụng thông tin hình ảnh như: điều khiển thích nghi, điều khiển tối ưu, tuyến tính
hóa phản hồi hay điều khiển mờ, mạng nơ ron đã được công bố. Đối với việc theo dõi
mục tiêu di chuyển, việc s dụng một hay hai camera đều khả dụng nhưng để tính toán
khoảng cách tới mục tiêu thì việc s dụng 2 camera sẽ thuận tiện hơn, hơn nữa việc
dùng 2 camera sẽ cho khả năng quan sát và góc nhìn tốt hơn một camera. Đối với việc
s dụng thông tin hình ảnh để điều khiển rô bốt di chuyển thì việc s dụng 2 camera sẽ
cho không gian theo dõi mục tiêu rộng hơn, tính được tọa độ 3D của mục tiêu từ đó
giúp điều khiển rô bốt di chuyển d dàng hơn.
Việc điều khiển rô bốt s dụng thông tin hình ảnh stereo camera để bám mục
tiêu di động còn một số khó khăn như tham số bất định trong mô hình rô bốt và camera
hay ma trận Jacobian ảnh của hệ stereo camera không vuông là nguyên nhân của các
điểm kỳ dị khi lấy nghịch đảo ma trận này bên cạnh đó vấn đề tối ưu hóa tham số điều
khiển cũng còn nhiều điểm cần cải thiện. Trong việc điểu khiển rô bốt di động kết hợp
với hệ thống theo dõi mục tiêu di chuyển

trên còn một số khó khăn như việc kết hợp

điều khiển động lực học của hai rô bốt hay điều khiển tối ưu để hệ thống hoạt động
hiệu quả nhất.
Như vậy để điều khiển hệ thống rô bốt s dụng stereo camera hoạt động được
tốt hơn thì vấn đề đặt ra là:
Thứ nhất là: Phát triển các phương pháp điều khiển hệ thống rô bốt s dụng
thông tin hình ảnh trong việc bám mục tiêu di động khi tồn tại các tham số bất định.
Thứ hai là: Phải tìm ra cách thức xây dựng ma trận Jacobian ảnh là ma trận
vuông cũng như cách để tối ưu hóa các tham số điều khiển trong hệ thống bám mục
tiêu di động để hệ thống hoạt động tốt nhất.
Thứ ba là: Phát triển một số phương pháp điều khiển hệ thống kết hợp rô bốt di
động với rô bốt mang hai camera bám mục tiêu di động để vừa có khả năng bám mục
tiêu vừa có khả năng di chuyển tới gần mục tiêu trong không gian.
7

Nếu mục tiêu chỉ di chuyển trong một mặt phẳng biết trước giới hạn di chuyển
hoặc ta chỉ cần xác định hướng nhắm tới mục tiêu thì một camera cố định là đủ để lấy
các thông số về vị trí hay hướng tới mục tiêu đó. Nhưng khi cần xác định tọa độ của
mục tiêu trong không gian 3D (biết trước giới hạn) hoặc ngoài thông tin về hướng ta
cần thông tin về khoảng cách mà không cần thêm một thiết bị đo khác thì việc s dụng
stereo camera cố định là cần thiết.
Trong thực tế các đối tượng theo dõi thường di chuyển trong không gian không
xác định trước được giới hạn, do vậy ngoài việc s dụng camera thì các hệ thống theo
dõi, quan sát thường s dụng thêm hệ pan-tilt để mang camera quay quét giúp không
gian theo dõi rộng hơn. Nếu hệ thống rô bốt mang một camera cho phép ta theo dõi và
xác định vị trí của đối tượng khi biết trước mặt phẳng di chuyển hoặc phải dùng thêm
máy đo khoảng cách thì hệ pan-tilt stereo camera cho phép ta xác định được cả ba
thông số mục tiêu đồng thời. Tuy nhiên khi s dụng hệ pan-tilt stereo camera thì việc
xây dựng bài toán động học cho hệ thống còn gặp nhiều vấn đề như sự suy biến của
ma trận Jacobian ảnh. Các tham số bất định của hệ thống và đặc biệt là thông số nội tại
của hai camera dùng trong hệ thống cần phải được biết trước.
Trong bài toán theo dõi và tiếp cận mục tiêu di chuyển thì ngoài hệ pan-tilt
stereo camera

trên ta cần có một rô bốt di động. Để kết hợp điều khiển hai rô bốt và

camera để vừa theo dõi mục tiêu vừa di chuyển theo mục tiêu ta cần xây dựng hệ động
lực học cho toàn hệ thống và xây dựng các thuật toán điều khiển hợp lý để kết hợp
điều khiển toàn bô hệ thống.
1.2. Tổng quan về điều khiển rô bốt sử dụng thông tin hình ảnh
1.2.1 Tình hình nghiên cứu trong nước
Điều khiển rô bốt s dụng thông tin hình ảnh cũng được nhiều tác giả

Việt

Nam quan tâm trong hơn 15 năm tr lại đây. Một số tác giả tập trung vào nghiên cứu
phát triển thuật toán điều khiển rô bốt s dụng thông tin hình ảnh từ 1 camera [7], [2],
[4], [6], đặc biệt được PGS.TSKH Phạm Thượng Cát tổng hợp trong sách [8] về điều
khiển rô bốt công nghiệp s dụng camera. Tuy nhiên để điều khiển rô bốt di động s
dụng thông tin hình ảnh thì s dụng 2 camera sẽ cho thông tin đầy đủ hơn về mục tiêu
bao gồm hướng và khoảng cách [1]. Việc s dụng 1 camera trong điều khiển rô bốt
8


thích hợp với các bài toán theo dõi hướng của mục tiêu mà không cần thông tin
khoảng cách tới mục tiêu hoặc khoảng cách đã biết trước [10]. Trong bài toán bám
mục tiêu di động, việc s dụng 1 camera thường phải kết hợp với 1 cảm biến để đo
khoảng cách riêng [3] hoặc phải có thêm các điều kiện ràng buộc cụ thể [4] thì việc
điều khiển rô bốt bám mục tiêu mới thực hiện được. Do vậy, s dụng 1 camera trong
bài toán điều khiển rô bốt di động còn gặp nhiều hạn chế.
Trong các nghiên cứu trong lĩnh vực này thì nhóm tác giả Ngô Mạnh Tiến [2],
[3] tập trung đi xây dựng phần cứng cho hệ pan-tilt mang 1 camera để bám mục tiêu di
động với thuật toán điều khiển thích nghi mô hình mẫu. Các kết quả nghiên cứu của
nhóm tác giả Phạm Đức Long [7] – ĐH Công nghệ thông tin và truyền thông Thái
Nguyên thì tập trung vào việc x lý ảnh song song CNN cho hệ rô bốt di động s dụng
1 camera thực hiện các nhiệm vụ khác nhau. Nhóm tác giả Nguy n Văn Tính và các
cộng sự [5], [57], [58], [73], [74]

viện Công nghệ thông tin viên Hàn lâm khoa học

Việt Nam tập trung vào xây dựng các thuật toán điều khiển cho hệ kết hợp rô bốt di
động,hệ pan-tilt mang 1 camera tiếp cận mục tiêu trên mặt sàn. Ngoài ra là các thuật
toán điều khiển rô bốt di động bám quỹ đạo khi có xét tới các yếu tố trơn, trượt của

bánh xe và các yếu tố bất định. Nhóm tác giả Nguy n Tiến Kiệm và các cộng sự
trường Đại học Công nghiệp Hà Nội [45], [46] tập trung vào xây dựng thuật điều
khiển cho hệ rô bốt di động,hệ pan-tilt mang 1 camera bám mục tiêu khi xét tới các
yếu tố bất định trong mô hình và yếu tố trượt ngang, dọc của bánh xe trong quá trình di
chuyển. Cũng nghiên cứu về hệ rô bốt trên nhưng trong luận án của mình, tác giả s
dụng hệ stereo camera và tập trung vào các yếu tố bất định như ma trận Jacobian ảnh
cũng như tập trung vào bài toán theo dõi và bám mục tiêu di động.
Để điều khiển rô bốt s dụng thông tin hình ảnh thì có 2 vấn đề lớn đặt ra: một
là nghiên cứu x lý ảnh để trích chọn đặc trưng và x lý để đưa ra các thông tin cần
thiết như hướng, khoảng cách cho rô bốt. Nếu mục tiêu là cố định và n m trên mặt
phẳng [7] thì ta có thể tính toán được vị trí, khoảng cách và hướng của mục tiêu trong
bài toán cụ thể này hoặc phải có thêm các kỹ thuật x lý ảnh khác như lọc mẫu và so
sánh [9] để xác định vị trí mục tiêu cho rô bốt trong bài toán xác định vị trí quả cà
chua chín của tác giả Quách Tuấn Văn. Các nghiên cứu về hệ thống định vị 3D dùng 2
camera cũng đã được nghiên cứu trong thời gian gần đây. Cụ thể là trong kết quả
nghiên cứu của nhóm tác giả Đặng Tâm Trung [1] đã tập trung vào phần x lý ảnh nói
9


chung để xây dựng hệ thống định vị 3D s dụng stereo camera, còn ứng dụng cụ thể
trong bài toán điều khiển rô bốt phải kể tới việc chế tạo rô bốt s dụng trong điều
khiển giao thông của nhóm tác giả Tư ng Phước Thọ [12]. So với việc s dụng 1
camera thì dùng 2 camera cho kết quả tốt hơn với khả năng định vị mục tiêu trong
không gian 3D với không gian quan sát lớn hơn. Đó là sự kế thừa từ tự nhiên vì đa số
các loài động vật đều có 2 mắt chứ không phải 1 mắt.
Vấn đề lớn thứ 2 là việc s dụng các thông tin về mục tiêu thu được để điều
khiển rô bốt [4], [13]. Các nghiên cứu trong nước về điều khiển rô bốt s dụng thông
tin hình ảnh cũng đã nghiên cứu nhiều thuật toán điều khiển khác nhau để điều khiển
rô bốt mang 1 camera bám mục tiêu từ các bộ điều khiển cổ điển tới các phương pháp
điều khiển hiện đại.

Bộ điều khiển cổ điển PID được dùng trong các bộ điều khiển bệ pan-tilt mang
camera theo dõi mục tiêu như bộ điều khiển PD hay có thêm thành phần bù trọng
trường [2]. Kết quả mô phỏng việc bắt mục tiêu

vị trí bất kỳ đều cho kết quả tốt còn

khi mục tiêu di chuyển liên tục theo các quỹ đạo khác nhau thì còn cần phải cải tiến.
Nếu s dụng 1 camera việc theo dõi mục tiêu thực hiện tốt trong hầu hết các trường
hợp nhưng khoảng cách lại cần dùng thêm một cảm biến khác do vậy khi rô bốt hoạt
động trong các môi trường phi cấu trúc thì việc bám các đối tượng sẽ khó khăn hơn.
Nếu dùng 2 camera ta sẽ có đầy đủ tham số tọa độ mục tiêu trong không gian nhưng
một số trường hợp bị sai số lớn thậm chí mất bám. Lý do là ma trận Jacobian ảnh với
hệ 2 camera là (3x6) do vậy trong một số phép biến đổi lấy giả nghịch đảo không khả
nghịch sẽ dẫn tới suy biến ma trận Jacobian của hệ và gây ra các sai số lớn.
Phương pháp điều khiển mờ và mạng nơ ron trong các bài toán điều khiển rô
bốt s dụng thông tin hình ảnh cũng được s dụng nhiều trong thời gian gần đây [7] để
loại bỏ ảnh hư ng của các tham số bất định trong mô hình và cho kết quả tốt hơn so
với các phương pháp điều khiển PD thông thường. Hệ thống họat động tốt hơn nhưng
cũng không triệt tiêu được ảnh hư ng do sự suy biến của ma trận Jacobian ảnh gây ra
khi s dụng 2 camera. Phương pháp điều khiển nơ ron còn được s dụng để làm giảm
sự ảnh hư ng của các cơ cấu chấp hành [6] như ma sát khớp, độ rơ của khớp...
Bộ điều khiển thích nghi trong việc điều khiển rô bốt s dụng thông tin hình
ảnh cho kết quả khá tốt [45] khi có sự bất định trong mô hình và các tham số đầu vào
của bộ điều khiển không chắc chắn như tốc độ di chuyển của mục tiêu được ước lượng
10