Nghiên cứu điều khiển rô bốt tay máy di động bám mục tiêu trên cơ sở sử dụng thông tin hình ảnh

BỘ GIÁO DỤC VÀ ĐÀO TẠO

VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG
NGHỆ
--------------------------

Lê Văn
Chung

N
G
H
I
Ê
N
C
Ứ
U
Đ
I


ỀU KHIỂN
RÔ BỐT
TAY MÁY
DI ĐỘNG
BÁM MỤC
TIÊU

TRÊN CƠ SỞ SỬ DỤNG
THÔNG TIN HÌNH ẢNH

LUẬN ÁN TIẾN
SĨ KỸ THUẬT

Hà Nội –
2019


BỘ GIÁO DỤC VÀ ĐÀO TẠO

VIỆN HÀN LÂM KHOA HỌC
VÀ CÔNG NGHỆ VIỆT NAM

HỌC VIỆN KHOA HỌC VÀ CÔNG
NGHỆ
--------------------------

Lê Văn
Chung

N
G
H
I
Ê
N
C
Ứ

U
Đ
I
Ề
U
K
H


m Thượng
Cát

IỂN RÔ
BỐT TAY

2. TS. Phạm

Minh Tuấn

MÁY DI
ĐỘNG
BÁM MỤC
TIÊU
TRÊN CƠ SỞ SỬ DỤNG
THÔNG TIN HÌNH ẢNH

Hà Nội –
2019
Chuyên ngành: Kỹ thuật điều
khiển và tự động hóa

Mã số:
LUẬN ÁN TIẾN
SĨ KỸ THUẬT

NGƯỜI
HƯỚNG DẪN
KHOA HỌC:
1. P

G
S.
T
S
K
H
P
h
ạ


LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các kết quả
được viết chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước khi
đưa vào luận án. Các kết quả trong luận án là trung thực và chưa từng được công bố
trong bất kỳ công trình nào khác.
Tác giả luận án

Lê Văn Chung

i


LỜI CẢM ƠN

Lời đầu tiên, Tôi xin chân thành cảm ơn Ban Lãnh đạo Học viện Khoa học
và Công nghệ, Viện Công nghệ thông tin - Viện Hàn lâm Khoa học và Công nghệ
Việt Nam, Phòng Công nghệ tự động hóa đã tạo điều kiện thuận lợi trong quá trình
học tập, nghiên cứu.
Tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới PGS.TSKH. Phạm
Thượng Cát và TS. Phạm Minh Tuấn, hai thầy đã định hướng và tận tình hướng dẫn
để tôi có thể hoàn thành luận án.
Tôi xin cảm ơn Ban Giám hiệu Trường Đại học Công nghệ Thông tin và
Truyền thông - Đại học Thái Nguyên, Khoa Công nghệ tự động hóa và các đơn vị
trong Nhà trường đã quan tâm giúp đỡ, tạo điều kiện để tôi có thể thực hiện nghiên
cứu.
Tôi xin cảm ơn các cán bộ Phòng Công nghệ tự động hóa – Viện Công nghệ
thông tin, các đồng nghiệp thuộc Khoa Công nghệ Tự động hóa - Trường Đại học
Công nghệ thông tin và truyền thông - Đại học Thái Nguyên đã động viên và trao
đổi kinh nghiệm trong quá trình hoàn thành luận án.
Cuối cùng, tôi xin chân thành cảm ơn đến gia đình, người thân, các bạn đồng
nghiệp - những người luôn dành cho tôi những tình cảm nồng ấm, luôn động viên
và sẻ chia những lúc khó khăn trong cuộc sống và tạo điều kiện tốt nhất để tôi có
thể hoàn thành quá trình nghiên cứu.
Hà Nội, ngày 28 tháng 8 năm 2019
Tác giả luận án

Lê Văn Chung

ii

MỤC LỤC
LỜI CAM ĐOAN.....................................................................................................i
LỜI CẢM ƠN.......................................................................................................... ii
MỤC LỤC..............................................................................................................iii
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT...........................................vii
DANH MỤC HÌNH VẼ...........................................................................................x
DANH MỤC BẢNG............................................................................................. xiii
MỞ ĐẦU.................................................................................................................. 1
CHƢƠNG 1............................................................................................................7
TỔNG QUAN..........................................................................................................7
1.1 Đặt vấn đề......................................................................................................7
1.2. Tổng quan về điều khiển rô bốt sử dụng thông tin hình ảnh....................8
1.2.1 Tình hình nghiên cứu ngoài nước........................................................... 11
1.2.2 Tình hình nghiên cứu trong nước..............................................................8
1.3 Các vấn đề nghiên cứu của luận án............................................................ 19
1.3.1. Phát triển phương pháp điều khiển rô bốt s dụng thông tin hình ảnh...19
1.3.2. Một số cải tiến trong điều khiển hệ servo thị giác bám mục tiêu di động
20
1.3.3. Phát triển thuật toán điều khiển rô bốt di động s dụng thông tin hình
ảnh................................................................................................................... 21
1.4. Kết luận chƣơng 1...................................................................................... 22
CHƢƠNG 2........................................................................................................... 23
PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN HỆ PAN-TILT SỬ DỤNG
THÔNG TIN HÌNH ẢNH TỪ HAI CAMERA................................................... 23
2.1. Xây dựng mô hình động học hệ pan-tilt-stereo camera bám mục tiêu di
động với nhiều tham số bất định.................................................................. 24
iii

2.1.1 Xác định ma trận Jacobi ảnh qua tọa độ điểm ảnh thu được từ 2 camera
quy vào hệ tọa độ OcXcYcZc.......................................................................... 24
2.1.2 Xác định hệ phương trình động học tốc độ hệ pan-tilt............................28
2.1.3 Xây dựng bài toán điều khiển động học (kinematic control) hệ rô bốtstereo camera bám mục tiêu............................................................................. 29
2.2.Thiết kế thuật toán điều khiển.................................................................... 30
2.2.1 Xây dựng mô hình bộ điều khiển............................................................ 30
2.2.2 Xây dựng thuật toán điều khiển hệ Pan-tilt –2 camera bám mục tiêu di
động................................................................................................................. 31
2.3 Một số kết quả mô phỏng kiểm chứng....................................................... 35
2.4. Kết luận chƣơng 2...................................................................................... 43
CHƢƠNG 3........................................................................................................... 45
MỘT SỐ CẢI TIẾN TRONG ĐIỀU KHIỂN...................................................... 45
HỆ SERVO TH GIÁC BÁM MỤC TIÊU DI ĐỘNG........................................45
3.1

dựng mô hình 3D cho hệ 2 camera trên hệ pan-tilt...........................47

3.1.1 Mô hình 3D cho hệ stereo camera.......................................................... 47
3.1.2 Mô hình hệ camera ảo............................................................................. 47
3.1.3 Kiểm soát sự suy biến của ma trận Jacobian.......................................... 53
3.1.4 Bài toán điều khiển rô bốt bám mục tiêu với nhiều tham số bất định.....53
3.2.

dựng hệ động lực học hệ pan-tilt – stereo camera với các tham số

bất định.......................................................................................................... 53
3.3.

dựng bộ điều khiển nơ ron cho hệ động lực học hệ pan-tilt stereo

camera bám mục tiêu di động...................................................................... 55
3.3.1 Xây dựng bộ điều khiển.......................................................................... 55
3.3.2 Xây dựng cấu trúc các lớp bộ điều khiển nơ ron truyền th ng RBF cho hệ
thống................................................................................................................ 56
3.3.3 Tối ưu tham số........................................................................................ 57
3.4. Mô phỏng hệ thống..................................................................................... 61
iv


3.5. Kết luận....................................................................................................... 72
CHƢƠNG 4........................................................................................................... 74
PHÁT TRIỂN THUẬT TOÁN ĐIỀU KHIỂN RÔ BỐT DI ĐỘNG..................74
SỬ DỤNG THÔNG TIN HÌNH ẢNH.................................................................. 74
4.1. Xây dựng mô hình động học và bài toán hệ điều khiển Rô bốt-Pan-tilt–
Stereo Camera bám mục tiêu di động......................................................... 75
4.1.1 Xác định ma trận Jacobi ảnh................................................................... 75
4.1.2 Xác định ma trận Jacobi của hệ và tốc độ bám mục tiêu cho rô bốt di
động................................................................................................................. 77
4.1.3 Xác định tốc độ của các bánh xe cho rô bốt di động để rô bốt tiếp cận
mục tiêu........................................................................................................... 81
4.2. Thiết kế thuật toán điều khiển................................................................... 82
4.2.1 Động lực học hệ rô bốt di động-bệ pan-tilt............................................. 82
4.2.2 Thiết kế bộ điều khiển tối ưu.................................................................. 83
4.3. Mô phỏng hệ thống..................................................................................... 89
4.3.1 Mô phỏng hệ thống với bộ điều khiển tối ưu.......................................... 89
4.3.2 Mô phỏng hệ thống với bộ điều khiển trượt CTC...................................94
4.4. Kết luận chƣơng 4...................................................................................... 96
5. KẾT LUẬN........................................................................................................ 97
5.1. Những nội dung nghiên cứu chính của luận án........................................ 97

5.2.Những đóng góp khoa học mới của luận án............................................... 97
5.3.Định hƣớng nghiên cứu phát triển............................................................ 98
DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ..........................................100
TÀI LIỆU THAM KHẢO...................................................................................101
PHỤ LỤC.............................................................................................................111
1. Mô hình mô phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có
sử dụng mô hình camera 3D ảo.................................................................111
v


2. Mô hình mô phỏng về hệ pan-tilt stereo camera bám mục tiêu di động có
sử dụng mô hình camera 3D ảo.................................................................118

vi


DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

Ký hiệu
CTC
d
d(t)
f
fv
f

fu
H
Jimag
Jrobot

J
ˆ

J

ˆ
(m), J robot

imag

ΔJ imag (m), ΔJ robot (q)
J (JJ)
ˆ

ˆTˆ

K
k
k1
l1
l2
LQR
vii

LQG

J
ˆ

1 T

m
md
Q

q
qr
RBF
s
Tx Ty Tz
ωxωyωz
U, V
u1 ,

u*
v

C
C

v

Ω

vs
vd
x
xs
W

ε

θ1
θ2

θm
θ1d
θ2d


θmd

rad

Góc hướng mong muốn của rô bốt di động
m

c j ,λj

Khoảng cách từ gốc tới vị trí đặt camera ảo
Trọng tâm và độ rộng khoảng cách tính từ tâm của
lớp n thứ j radial basis function của mạng nơ ron.

φl , φ r
Stereo camera

Góc quay của bánh xe trái, phải trên rô bốt di động
Hệ 2 camera được gắn trên khung cố định củahệ pantilt và có các quan hệ hình học được xác định trước.

ix

DANH MỤC HÌNH VẼ
Hình 1.1 Các ứng dụng điều khiển rô bốt s dụng thông tin hình ảnh. ....................
Hình 1.2 Một số phương pháp điều khiển rô bốt s dụng thông tin hình ảnh ..........
Hình 2.1

Bệ pan-tilt PTU-D48E-Serie

Hình 2.2

Mô hình hệ thống camera ....

Hình 2.3

Ảnh theo 2 trục Z, Y ...........

Hình 2.4

Ảnh theo 2 trục X, Y ...........

Hình 2.5 Mạng RBF xấp xỉ hàm f ...........................................................................
Hình 2.6 Cấu trúc của hệ visual servoing điều khiển camera bám mục tiêu di động
có nhiều tham số bất định ..........................................................................................
Hình 2.7 Sai lệch tọa độ ảnh mục tiêu (pixel). ..........................................................
Hình 2.8 Sai lệch tọa độ ảnh mục tiêu (pixel) khi bộ điều khiển không có mạng nơ
ron bù ( u1, = 0 ). ........................................................................................................
Hình 2.9 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng. ................
Hình 2.10 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng ................
Hình 2.11 Sai lệch bám tọa độ khi mục tiêu di chuyển theo đường thẳng với bộ điều

Hình 2.12 Sai lệch tọa độ ảnh khi mục tiêu di chuyển theo đường thẳng với bộ điều
khiển không có mạng nơ ron bù ................................................................................
Hình 2.13 Sai lệch bám quỹ đạo khi mục tiêu cơ động theo cung tròn ....................
Hình 2.14

Sai lệch tọa độ ảnh

Hình 2.15

Sai lệch bám quỹ

khiển không có mạng nơ ron bù ................................................................................
Hình 2.16
khiển không có mạng nơ ron bù ( u ,

Sai lệch tọa độ ảnh
=0

). ..................................................................

Hình 2.17

Sai lệch bám quỹ đ
x


Hình 2.18 Sai lệch tọa độ ảnh khi mục tiêu di chuyển với vận tốc thay đổi............42
Hình 3.1 Hệ trục tọa độ của hệ Pan-tilt – stereo cameras........................................ 48
Hình 3.2 Mô hình hệ camera 3D ảo......................................................................... 49

Hình 3.3 Tọa độ mục tiêu nhìn theo hai trục tọa độ Y và Z..................................... 50
Hình 3.4 Tọa độ mục tiêu nhìn theo hai trục tọa độ Y và Z..................................... 50
Hình 3.5 Mạng nơ ron RBF để xấp xỉ tham số bất định f........................................ 57
Hình 3.6 Cấu trúc sơ đồ điều khiển của hệ thống.................................................... 60
Hình 3.7 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường thẳng
nhìn trong không gian camera................................................................................. 63
Hình 3.8 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo đường thẳng
trong hệ tọa độ ảo 3D.............................................................................................. 64
Hình 3.9 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường tròn
nhìn trong không gian camera................................................................................. 65
Hình 3.10 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo đường tròn nhìn
trong hệ tọa độ ảo 3D.............................................................................................. 65
Hình 3.11 a) L i bám mục tiêu theo 2 trục X, Z. b) Mô ment đặt lên các khớp. c)
Tốc độ khớp pan-tilt q............................................................................................. 66
Hình 3.12 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình chữ
nhật với tốc độ thay đổi nhìn trong không gian camera........................................... 66
Hình 3.12 Sai số bám mục tiêu di động khi mục tiêu di chuyển theo hình chữ nhật
với tốc độ thay đổi nhìn trong hệ tọa độ ảo 3D........................................................ 67
Hình 3.13 a) Sai số bám mục tiêu chiếu theo hai trục X, Z. b) Moment đặt lên các
khớp. c) Tốc độ các khớp q..................................................................................... 68
Hình 3.14 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển trong không
gian với tốc độ và hướng thay đổi bất kỳ nhìn trong không gian camera...............69
Hình 3.15 Sai số bám mục tiêu di động khi mục tiêu di chuyển trong không gian với
tốc độ và hướng thay đổi bất kỳ nhìn trong hệ tọa độ ảo 3D................................... 69
Hình 3.15 a) Sai số bám mục tiêu chiếu theo hai trục X, Z. b) Moment đặt lên các
khớp. c) Tốc độ các khớp q..................................................................................... 70
xi


Hình 3.17 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường

thẳng khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron...............................71
Hình 3.18 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo đường tròn
khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron......................................... 71
Hình 3.19 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình chữ
nhật với tốc độ thay đổi khi không s dụng hệ tọa độ ảo và bộ điều khiển nơ ron .. 71
Hình 3.20 Kết quả mô phỏng bám mục tiêu khi mục tiêu di chuyển theo hình tròn
của bài báo trích dẫn [20]........................................................................................ 73
Hình 4.1 Cấu trúc của hệ rô bốt- pan-tilt-stereo camera.......................................... 76
Hình 4.2 Mô hình hệ thống stereo camera............................................................... 80
Hình 4.3 Ảnh theo hai trục X, Z (trái) và Y, Z (phải)............................................... 80
Hình 4.4 Vị trí và hướng mong muốn của rô bốt di động........................................ 81
Hình 4.5 Sơ đồ khối hệ thống.................................................................................. 85
Hình 4.6 Sơ đồ khối hệ thống với bộ điều khiển trượt CTC.................................... 88
Hình 4.7 Thuật toán điều khiển tối ưu..................................................................... 92
Hình 4.8 Bám tọa độ ảnh nhìn trong hệ tọa độ gốc.................................................. 93
Hình 4.9 Rô bốt di động bám theo mục tiêu trên mặt phẳng x-y nhìn trong hệ tọa độ
gốc........................................................................................................................... 94
Hình 4.10 Sai số vecto v giữa tốc độ mong muốn và tốc độ đặt của các khớp hệ pantilt và hai bánh rô bốt di động.................................................................................. 94
Hình 4.11 Mô phỏng di chuyển bám theo mục tiêu của rô bốt di động...................95
Hình 4.12 Sai số giữa tốc độ mong muốn và tốc độ đặt của các khớp hệ pan-tilt và
hai bánh rô bốt di động............................................................................................ 95

xii


DANH MỤC BẢNG
Bảng 3.1 Bảng tham số của hệ thống hệ pan-tilt................................................ 62
Bảng 4.1 các tham số trong mô hình rô bốt di động – hệ pan-tilt – stereo
camera.................................................................................................................... 89

xiii


MỞ ĐẦU
Tính cấp thiết của đề tài
Rô bốt được ứng dụng trong công nghiệp từ những năm 60 để thay thế con
người làm các công việc nặng nhọc, nguy hiểm trong môi trường độc hại. Ngày nay rô
bốt được ứng dụng rộng rãi trong mọi lĩnh vực sản xuất và dịch vụ như trong chế tạo
máy, y tế, chăm sóc sức khỏe, nông nghiệp, đóng tàu, xây dựng, an ninh quốc phòng
và gia đình … Nhu cầu s dụng rô bốt trong các ngành công nghiệp, dân dụng, dịch vụ
và an ninh quốc phòng gia tăng là động lực cho sự phát triển của các rô bốt di động
thông minh.
Cùng với sự phát triển mạnh mẽ của các hệ thống tự động hóa, rô bốt di động
ngày một được hoàn thiện và càng cho thấy lợi ích của nó trong công nghiệp và sinh
hoạt. Một vấn đề rất được quan tâm khi nghiên cứu về rô bốt là khả năng nhìn và x lý
thông tin hình ảnh để rô bốt có thể theo dõi được các đối tượng mục tiêu đứng yên
cũng như di chuyển trong không gian, biết được vị trí nó đang đứng trong môi trường
phi cấu trúc và có thể di chuyển tới một vị trí khác, đồng thời có thể tự động tránh
được các chướng ngại vật trên đường đi.
Trong những năm gần đây, rất nhiều công trình nghiên cứu về điều khiển rô bốt
s dụng thông tin hình ảnh, nhưng các kết quả đạt được vẫn còn bộc lộ một số hạn chế.
Chẳng hạn như việc s dụng 1 camera trên rô bốt di động chỉ cho phép theo dõi đầy đủ
thông tin của mục tiêu khi biết trước mặt phẳng di chuyển của mục tiêu hay việc s
dụng 2 camera cho phép đáp ứng nhiều yêu cầu nhưng chưa xét tới các sự suy biến của
ma trận Jacobian ảnh tác động tới khả năng bám của hệ thống. Bên cạnh đó mô hình
toán học của rô bốt thường khó đạt độ chính xác tuyệt đối vì trong hệ thống chứa nhiều
tham số bất định như việc đo đạc các tham số ban đầu hay các hệ số ma sát, mô men
quán tính…, lại thường thay đổi trong quá trình hoạt động. Ngoài ra, tối ưu
hóa các tham số trong các bộ điều khiển rô bốt để đạt được độ chính xác mong muốn
trong một số trường hợp cụ thể là những vấn đề khó và cần tiếp tục nghiên cứu. Việc s

dụng thị giác 2 camera là một xu hướng tất yếu vì nó mang tính linh hoạt dựa trên đặc
tính của hầu hết các loài động vật bậc cao đều có 2 mắt. Nhưng trong việc s dụng thị
giác 2 camera cho rô bốt đi động, việc phát triển các thuật toán điều khiển sao cho phát
huy được các ưu điểm của thị giác hai camera và hạn chế được các khuyết điểm
1


đã nêu trên vẫn còn khá nhiều vấn đề cần được giải quyết.
Với lý do trên, tác giả đã lựa chọn đề tài: “Nghiên cứu điều khiển rô bốt tay
máy di động bám mục tiêu trên cơ sở sử dụng thông tin hình ảnh” để phát triển
một số thuật toán điều khiển rô bốt theo dõi mục tiêu di động và rô bốt di chuyển bám
mục tiêu s dụng thông tin hình ảnh có nhiều tham số bất định.

Đối tƣợng nghiên cứu
Đối tượng nghiên cứu chính của đề tài là tập trung vào hệ rô bốt tay máy pantilt và rô bốt di động có cơ cấu di chuyển b ng bánh xe. Hệ camera dùng để lấy thông
tin hình ảnh cho điều khiển tay máy bám mục tiêu di động là hệ 2 camera. Những hình
ảnh thu được sẽ được x lý, tính toán từ đó ra quyết định điều khiển các cơ cấu chấp
hành khác của rô bốt thực hiện theo các yêu cầu.

Mục tiêu nghiên cứu
Mục tiêu của đề tài là nghiên cứu phát triển một số thuật toán điều khiển tay
máy rô bốt bám mục tiêu di động dựa trên cơ s thông tin hình ảnh s dụng hai camera
có tính bền vững với nhiều tham số bất định và khả năng kháng nhi u với tốc độ x lý
cao.
-

Đề xuất thuật toán điều khiển hệ pan-tilt mang 2 camera bám mục tiêu di
động với nhiều tham số bất định và xây dựng hệ 2 camera với ma trận
Jacobian ảnh đầy đủ.

-

Đề xuất một số thuật toán điều khiển hệ rô bốt di động, hệ pan-tilt mang 2
camera bám mục tiêu di động.

Phạm vi nghiên cứu
Nghiên cứu về hệ pan-tilt mang 2 camera (stereo camera) và rô bốt di động di
chuyển b ng 3 bánh xe trong đó có 2 bánh chủ động, có nhiều tham số bất định bám
mục tiêu di động.
Nghiên cứu các thuật toán, phương pháp điều khiển hệ pan-tilt bám mục tiêu di
động s dụng thông tin hình ảnh từ hai camera.
Nghiên cứu các thuật toán điều khiển hệ rô bốt di động, hệ pan-tilt stereo
camera theo dõi và bám mục tiêu di động.
Chỉ tập trung vào nghiên cứu s

dụng các kết quả mà camera thu được để điều
2


khiển rô bốt, không đề cập tới phần hiệu chỉnh camera, thu nhận ảnh hay x lý ảnh trên
camera mà chỉ quan tâm tới việc x lý từ điểm tính năng trên ảnh sau x lý để đưa ra các
tham số điều khiển rô bốt.
Các yếu tố bất định, nhi u trong các bài toán của luận án đều bị chặn.
Phƣơng pháp nghiên cứu
Phương pháp nghiên cứu được áp dụng cho các vấn đề đã nêu ra của luận án
như sau:
1. Trên cơ s kế thừa các kết quả nghiên cứu đã có tác giả đi xây dựng mô hình

toán học cho hệ thốnghệ pan-tilt stereo camera và hệ thống phức hợp gồm rô
bốt di động – hệ pan-tilt mang 2 camera khi có các tham số bất định trong

mô hình và nhi u.
2. Nghiên cứu các thuật toán điều khiển hiện đại để từ đó xây dựng các thuật

toán điều khiển mới cho hệ pan-tilt theo dõi mục tiêu và hệ phức hợp nói
trên bám mục tiêu di động.
3. Tối ưu hệ thống bao gồm tối ưu các ma trận Jacobian đảm bảo tính khả

nghịch và tham số trong mô hình điều khiển.
4. Chứng minh tính ổn định của các thuật toán đề xuất b ng lý thuyết ổn định

Lyapunov, bổ đề Barbalat.
5. Mô phỏng đáp ứng của hệ thống với các thuật toán đề xuất trên Matlab

simulink để kiểm chứng việc theo dõi và bám mục tiêu của hệ thống.
Ý nghĩa của đề tài
-

Về mặt lý thuyết: đóng góp các thuật toán điều khiển hệ pan-tilt theo dõi
mục tiêu và thuật toán điều khiển hệ rô bốt di động –hệ pantilt s dụng 2
camera bám mục tiêu di động với nhiều tham số bất định trong mô hình
cũng như nhi u tác động.

-

Về mặt thực ti n: xây dựng mô hình camera 3D ảo loại bỏ sự suy biến của
ma trận Jacobian ảnh và mô hình động lực học cho hệ gồm rô bốt di động –
hệ pan-tilt mang dụng 2 camera.

Những điểm mới của luận án

3


Qua các nghiên cứu về phương pháp điều khiển rô bốt s dụng thông tin hình ảnh,
trong đó cụ thể là hệ pan-tilt và hệ rô bốt di động – hệ pan-tilt stereo camera có nhiều
tham số bất định trong mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận Jacobian rô
bốt cũng như các yếu tố bên ngoài, tác giả có một số đóng góp như sau:
- Xây dựng 1 phương pháp để thiết lập ma trận Jacobian ảnh vuông cho hệ stereo

camera giúp hệ rô bốt – stereo camera theo dõi được các đối tượng có chuyển động
phức tạp d dàng hơn.
- Xây dựng bộ điều khiển mạng nơ ron nhân tạo để bù các tham số bất định trong

mô hình rô bốt, trong ma trận Jacobian ảnh, ma trận Jacobian rô bốt cũng như các yếu
tố bên ngoài. Bộ điều khiển này hoạt động tốt ngay cả khi tham số mô hình chỉ chắc
chắn được 80 và ngay cả khi có các yếu tố bên ngoài tác động vào.
- Xây dựng mô hình động lực học cho hệ gồm rô bốt di động – hệ pan-tilt mang

dụng 2 camera và 2 thuật toán điều khiển trong đó: 01 bộ điều khiển trượt và 01 bộ
điều khiển tối ưu theo chu n tối ưu bình phương tối thiểu cho hệ kết hợp hai rô bốt
gồm hệ pan-tilt stereo camera và rô bốt di động. Trong đó, mô hình động lực học của
toàn hệ nói trên được tổng hợp trong một phương trình.
Tối ưu hóa các tham số trong bộ điều khiển nơ ron.
Mô phỏng kiểm chứng các thuật toán điều khiển rô bốt theo dõi và bám mục tiêu
di động b ng công cụ mô phỏng Matlab.
Công bố 07 công trình liên quan đến các nội dung nghiên cứu của luận án trên
các tạp chí, kỷ yếu hội thảo trong nước và ngoài nước.
Nội dung của luận án
Luận án gồm 04 chương:
Chƣơng 1 Trình bày tổng quan về các vấn đề trong điều khiển rô bốt nói chung,

điều khiển rô bốt s dụng thông tin hình ảnh từ camera và đặc biệt là s dụng hai camera
để đưa ra định hướng nghiên cứu của luận án.
Chƣơng 2 Trình bày mô hình động học của hệ pan-tilt 2 camera. Xây dựng bộ
điều khiển động học điều khiển hệ thống bám mục tiêu di động với nhiều tham số bất
đinh trong mô hình toán học. Bộ điều khiển được xây dựng dựa trên phương pháp điều
khiển PD kết hợp với mạng nơ ron RBF s dụng thuật học online để bù các tham số
4


bất định. Thuật toán được chứng minh tính ổn định tiệm cận b ng lý thuyết ổn định
Lyapunov và mô phỏng kiểm chứng trên Matlab simulink.
Kết quả của các nghiên cứu trong chương này được công bố trong tạp chí Tin học
và điều khiển, tạp chí Khoa học công nghệ - Đại học Thái Nguyên và trong kỷ yếu hội
nghị toàn quốc về tự động hóa VCCA 2013:
(2015), “A new control method for stereo visual servoing
system with pan-tilt platform”, Journal of Computer Science and Cybernetics,Vol
31 (2), pp. 107 – 122.
(2013), “Phương pháp điều khiển hệ servo
thị giác stereo sử dụng bệ Pan-Tilt”, Hội nghị toàn quốc lần thứ 2 về Điều khiển
và Tự động hoá - VCCA-2013, Đà N ng, pp. 375 - 382.
, “Phát triển hệ pan-tilt – nhiều camera bám mục tiêu di động”, Tạp chí KHCN

Đại học Thái Nguyên, 116(02), tr. 41-46.
Chƣơng 3: Xây dựng mô hình camera 3D ảo để thiết lập ma trận Jacobian ảnh
vuông giúp hệ stereo camera ảnh có thể theo dõi các đối tượng chuyển động phức tạp.
Xây dựng mô hình động lực học cho hệ pan-tilt 2 camera bám mục tiêu di động. Bộ
điều khiển s dụng mang nơ ron với các tham số đã được tối ưu. Mô hình và thuật toán
điều khiển này cho kết quả tốt hơn so với các kết quả trong chương 2 khi có xét thêm
nhi u ngoài và các yếu tố bất định trong mô hình động lực học. Tính ổn định tiệm cận
của hệ thống đã được chứng minh b ng lý thuyết ổn định Lyapunov, bổ đề Barbalat và

mô phỏng trên Matlab.
Kết quả nghiên cứu của chương này được tác giả công bố trên tạp chí quốc tế về
x lý ảnh và điều khiển robot và kỷ yếu hội nghị toàn quốc về cơ điện t VCM 2014:
, “Robust Visual Tracking Control of Pan-tilt -Stereo Camera System”,

International Journal of Imaging and Robotics, Vol 18 (1), (1/2018), pp. 45 – 61.
(2014), “Robust visual tracking control of pan-tilt – stereo
camera system”, Hội nghị cơ điện t VCM 2014, Đồng Nai, pp.167-173.
Chƣơng 4 Xây dựng mô hình động lực học cho hệ gồm rô bốt di động – hệ pantilt mang dụng 2 camera. Xây dựng 02 thuật toán điều khiển cho hệ nói trên bao gồm
01 bộ điều khiển trượt và 01 bộ điều khiển tối ưu theo chu n tối ưu bình phương tối
5


thiểu cho hệ kết hợp gồm hai rô bốt, hệ pan-tilt stereo camera và rô bốt di động. Trong
đó, hệ động lực học của toàn hệ được tổng hợp trong một phương trình. Các thuật toán
được chứng minh và mô phỏng trên Matlab, cả hai phương pháp đều cho kết quả bám
mục tiêu di chuyển tốt nhưng so với phương pháp trượt thì phương pháp điều khiển tối
ưu cho kết quả tốt hơn sai số bám mục tiêu.
Các kết quả nghiên cứu được tác giả công bố trong 2 kỷ yếu hội thảo quốc tế về
cơ điện t & điều khiển thông minh AIM trong danh mục hội thảo IEEE, kỷ yếu hội
thảo Springer ICTA:
(2016), “Optimal tracking a moving target for integrated
mobile robot – pan-tilt – stereo camera”, Advanced Intelligent Mechatronics
AIM IEEE Conference, Banff, Canada July 12-15, pp. 530 – 535.
(2016), “Design Adaptive-CTC Controller for Tracking
Target used Mobile Robot-pan-tilt-stereo camera system”, International
Conference on Advances in Information and Communication Technology, ICTA,
Thai Nguyen, Dec 12-14, pp. 217 – 227.

6

CHƢƠNG 1
TỔNG QUAN
1.1 Đặt vấn đề
Trong những năm gần đây, rất nhiều công trình nghiên cứu về điều khiển rô bốt
s

dụng thông tin hình ảnh như: điều khiển thích nghi, điều khiển tối ưu, tuyến tính

hóa phản hồi hay điều khiển mờ, mạng nơ ron đã được công bố. Đối với việc theo dõi
mục tiêu di chuyển, việc s dụng một hay hai camera đều khả dụng nhưng để tính toán
khoảng cách tới mục tiêu thì việc s dụng 2 camera sẽ thuận tiện hơn, hơn nữa việc
dùng 2 camera sẽ cho khả năng quan sát và góc nhìn tốt hơn một camera. Đối với việc
s dụng thông tin hình ảnh để điều khiển rô bốt di chuyển thì việc s dụng 2 camera sẽ
cho không gian theo dõi mục tiêu rộng hơn, tính được tọa độ 3D của mục tiêu từ đó
giúp điều khiển rô bốt di chuyển d dàng hơn.
Việc điều khiển rô bốt s dụng thông tin hình ảnh stereo camera để bám mục tiêu
di động còn một số khó khăn như tham số bất định trong mô hình rô bốt và camera hay
ma trận Jacobian ảnh của hệ stereo camera không vuông là nguyên nhân của các điểm
kỳ dị khi lấy nghịch đảo ma trận này bên cạnh đó vấn đề tối ưu hóa tham số điều khiển
cũng còn nhiều điểm cần cải thiện. Trong việc điểu khiển rô bốt di động kết hợp với hệ
thống theo dõi mục tiêu di chuyển trên còn một số khó khăn như việc kết hợp điều
khiển động lực học của hai rô bốt hay điều khiển tối ưu để hệ thống hoạt động hiệu
quả nhất.
Như vậy để điều khiển hệ thống rô bốt s dụng stereo camera hoạt động được tốt
hơn thì vấn đề đặt ra là:
Thứ nhất là: Phát triển các phương pháp điều khiển hệ thống rô bốt s dụng
thông tin hình ảnh trong việc bám mục tiêu di động khi tồn tại các tham số bất định.
Thứ hai là: Phải tìm ra cách thức xây dựng ma trận Jacobian ảnh là ma trận

vuông cũng như cách để tối ưu hóa các tham số điều khiển trong hệ thống bám mục
tiêu di động để hệ thống hoạt động tốt nhất.
Thứ ba là: Phát triển một số phương pháp điều khiển hệ thống kết hợp rô bốt di
động với rô bốt mang hai camera bám mục tiêu di động để vừa có khả năng bám mục
tiêu vừa có khả năng di chuyển tới gần mục tiêu trong không gian.
7


Nếu mục tiêu chỉ di chuyển trong một mặt phẳng biết trước giới hạn di chuyển
hoặc ta chỉ cần xác định hướng nhắm tới mục tiêu thì một camera cố định là đủ để lấy
các thông số về vị trí hay hướng tới mục tiêu đó. Nhưng khi cần xác định tọa độ của
mục tiêu trong không gian 3D (biết trước giới hạn) hoặc ngoài thông tin về hướng ta
cần thông tin về khoảng cách mà không cần thêm một thiết bị đo khác thì việc s dụng
stereo camera cố định là cần thiết.
Trong thực tế các đối tượng theo dõi thường di chuyển trong không gian không
xác định trước được giới hạn, do vậy ngoài việc s dụng camera thì các hệ thống theo
dõi, quan sát thường s dụng thêm hệ pan-tilt để mang camera quay quét giúp không
gian theo dõi rộng hơn. Nếu hệ thống rô bốt mang một camera cho phép ta theo dõi và
xác định vị trí của đối tượng khi biết trước mặt phẳng di chuyển hoặc phải dùng thêm
máy đo khoảng cách thì hệ pan-tilt stereo camera cho phép ta xác định được cả ba
thông số mục tiêu đồng thời. Tuy nhiên khi s dụng hệ pan-tilt stereo camera thì việc
xây dựng bài toán động học cho hệ thống còn gặp nhiều vấn đề như sự suy biến của
ma trận Jacobian ảnh. Các tham số bất định của hệ thống và đặc biệt là thông số nội tại
của hai camera dùng trong hệ thống cần phải được biết trước.
Trong bài toán theo dõi và tiếp cận mục tiêu di chuyển thì ngoài hệ pan-tilt
stereo camera trên ta cần có một rô bốt di động. Để kết hợp điều khiển hai rô bốt và
camera để vừa theo dõi mục tiêu vừa di chuyển theo mục tiêu ta cần xây dựng hệ động
lực học cho toàn hệ thống và xây dựng các thuật toán điều khiển hợp lý để kết hợp
điều khiển toàn bô hệ thống.
1.2. Tổng quan về điều khiển rô bốt sử dụng thông tin hình ảnh

1.2.1 Tình hình nghiên cứu trong nước
Điều khiển rô bốt s dụng thông tin hình ảnh cũng được nhiều tác giả Việt Nam
quan tâm trong hơn 15 năm tr lại đây. Một số tác giả tập trung vào nghiên cứu phát
triển thuật toán điều khiển rô bốt s dụng thông tin hình ảnh từ 1 camera [7], [2], [4],
[6], đặc biệt được PGS.TSKH Phạm Thượng Cát tổng hợp trong sách [8] về điều khiển
rô bốt công nghiệp s dụng camera. Tuy nhiên để điều khiển rô bốt di động s dụng
thông tin hình ảnh thì s dụng 2 camera sẽ cho thông tin đầy đủ hơn về mục tiêu bao
gồm hướng và khoảng cách [1]. Việc s dụng 1 camera trong điều khiển rô bốt
8