Xây dựng phương pháp điều khiển thích nghi trên nền tối ưu cho hệ lái tàu thủy

BỘ GIÁO DỤC VÀ ĐÀO TẠO
ĐẠI HỌC BÁCH KHOA HÀ NỘI

XÂY DỰNG PHƯƠNG PHÁP ĐIỀU KHIỂN THÍCH NGHI TRÊN NỀN TỐI ƯU
CHO HỆ LÁI TÀU THỦY


BỘ GIÁO DỤC VÀ ĐÀO TẠO
ĐẠI HỌC BÁCH KHOA HÀ NỘI

XÂY DỰNG PHƯƠNG PHÁP ĐIỀU KHIỂN THÍCH NGHI TRÊN NỀN TỐI ƯU
CHO HỆ LÁI TÀU THỦY

Ngành: Kỹ thuật điều khiển và tự động hóa
Mã số: 9520216


Lời cam đoan

Tơi xin cam đoan đây là cơng trình nghiên cứu của cá nhân tôi dưới sự hướng dẫn của giáo viên
hướng dẫn và các nhà khoa học. Tài liệu tham khảo trong luận án được trích dẫn đầy đủ. Các
kết quả nghiên cứu của luận án là trung thực và chưa từng được các tác giả khác công bố.
Hà Nội, ngày …. . tháng …. năm 2022

Tập thể hướng dẫn

Nghiên cứu sinh

PGS. TS. GS. TS.

i

i


LỜI CẢM ƠN

Đầu tiên, nghiên cứu sinh xin gửi lời cảm ơn chân thành, sâu sắc nhất đến GS. TS. P, PGS. TS.
đã dành nhiều thời gian, tâm huyết để hướng dẫn, định hướng, tạo động lực nghiên cứu và hỗ trợ
nghiên cứu sinh về mọi mặt để hoàn thành luận án.
Cho phép nghiên cứu sinh được bày tỏ sự biết ơn sâu sắc tới các Thầy Cơ trong nhóm cơ sở Lý
thuyết điều khiển tự động đã có những chia sẻ quý báu về kiến thức, về phương pháp nghiên cứu
và những lời động viên tới NCS trong suốt tiến trình nghiên cứu đề tài.
Trong suốt quá trình học tập, nghiên cứu nghiên cứu sinh luôn luôn nhận được sự giúp đỡ tận
tình của các Thầy Cơ của Khoa Tự động hóa, Trường Điện-Điện tử và Phịng Đào tạo, Đại học Bách
Khoa Hà Nội đã tận tình giúp đỡ về mặt chuyên môn, hỗ trợ các thủ tục trong q trình học tập và
hồn thành luận án.
Nghiên cứu sinh cũng xin được gửi lời cảm ơn đến Ban Giám Hiệu trường Đại học Hải Phòng, đặc
biệt Khoa Điện Cơ, nơi tôi công tác đã tạo mọi điều kiện thuận lợi nhất cho NCS trong quá trình
thực hiện đề tài nghiên cứu.
Cuối cùng, nghiên cứu sinh xin được gửi lời biết ơn tới đồng nghiệp, gia đình, người thân đã luôn
động viên, chia sẻ, ủng hộ và giúp đỡ NCS trong suốt toàn bộ thời gian thực hiện nghiên cứu.
Hà Nội, ngày … tháng… năm 2022

Nghiên cứu sinh

ii


MỤC LỤC

MỤC LỤC

iii

DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT.................................................................................. vi
DANH MỤC CÁC BẢNG.................................................................................................................. x
DANH MỤC HÌNH VẼ...................................................................................................................... x
MỞ ĐẦU

..............................................................................................................................1

1. Tính cấp thiết của đề tài............................................................................................................... 1
2. Mục đích nghiên cứu.................................................................................................................... 2
3. Đối tượng và phạm vi nghiên cứu của luận án............................................................................. 2
4. Ý nghĩa khoa học và thực tiễn của luận án.................................................................................... 2
5. Phương pháp nghiên cứu............................................................................................................. 2
6. Bố cục của luận án........................................................................................................................ 3
Chương 1
1. 1

TỔNG QUAN VỀ MƠ HÌNH ĐỘNG LỰC HỌC TÀU THỦY VÀ TÌNH HÌNH NGHIÊN CỨU.
4
Mơ hình động lực học tổng qt của tàu thủy...................................................................... 4
1. 1. 1 Các chuyển động của tàu thủy trong hệ quy chiếu................................................... 4
1. 1. 2 Mơ hình động lực học của tàu thủy sáu bậc tự do.................................................... 7
1. 1. 3 Mơ hình động lực học của tàu thủy ba bậc tự do trên mặt phẳng nằm ngang....... 13

1. 2 Tổng quan tình hình nghiên cứu trong và ngồi nước về điều khiển chuyển động của tàu
thủy 15

1. 2. 1 Tổng quan tình hình nghiên cứu trong nước.......................................................... 15
1. 2. 2 Tổng quan tình hình nghiên cứu ngồi nước.......................................................... 16
1. 3

Hướng nghiên cứu của luận án........................................................................................... 19

1. 4

Cơ sở phương pháp luận của luận án.................................................................................. 19
1. 4. 1 Mạng nơ-ron xấp xỉ hàm......................................................................................... 19
1. 4. 2 Ổn định UUB........................................................................................................... 20
1. 4. 3 Giải thuật quy hoạch động thích nghi cho hệ phi tuyến.......................................... 22

1. 5
Chương 2
2. 1

Kết luận chương 1............................................................................................................... 32
ĐIỀU KHIỂN BÁM TỐI ƯU TÀU THỦY KHI CÓ MƠ HÌNH..........................................33
Tổng hợp bộ điều khiển cho hệ lái tàu thủy........................................................................ 33
2. 1. 1 Biến đổi mơ hình của tàu thủy................................................................................ 33
iii


2. 1. 2 Mơ tả bài tốn điều khiển tối ưu cho tàu thủy....................................................... 35
2. 1. 3 Thiết kế bộ điều khiển bám tối ưu dựa trên cấu trúc Actor-Critic........................... 35
2. 1. 4 Phát biểu định lý và chứng minh về tính ổn định của hệ kín................................... 39
2. 1. 5 Mô phỏng kiểm chứng............................................................................................ 42
2. 2 Thiết kế bộ điều khiển bám tối ưu dựa trên cấu trúc ADP-RISE cho tàu thủy có nhiễu đầu
vào 46

2. 2. 1 Tổng hợp bộ điều khiển bám tối ưu dựa trên cơ sở cấu trúc Actor-Critic................46
2. 2. 2 Thiết kế bộ điều khiển phản hồi RISE...................................................................... 49
2. 2. 3 Phát biểu định lý và chứng minh tính ổn định của hệ kín....................................... 51
2. 2. 4 Mô phỏng so sánh và đánh giá................................................................................ 56
2. 3 Thiết kế bộ điều khiển bám tối ưu dựa trên giải thuật ADP kết hợp với bộ ước lượng nhiễu
DO cho tàu có nhiễu đầu vào...................................................................................................... 65
2. 3. 1 Thiết kế điều khiển bù nhiễu................................................................................... 65
2. 3. 2 Tổng hợp bộ điều khiển bám tối ưu dựa trên cơ sở cấu trúc Actor-Critic................67
2. 3. 3 Phương pháp xác định véc-tơ hàm kích hoạt.......................................................... 69
2. 3. 4 Phát biểu định lý và chứng minh tính ổn định của hệ kín....................................... 72
2. 3. 5 Mô phỏng, so sánh và đánh giá............................................................................... 76
2. 4
Chương 3
3. 1

Kết luận chương 2............................................................................................................... 83
ĐIỀU KHIỂN BÁM TỐI ƯU TÀU THỦY KHI KHƠNG CĨ MƠ HÌNH..............................84
Phương trình HJI bám quỹ đạo và sự ổn định của phương pháp........................................ 84
3. 1. 1 Biến đổi mơ hình của tàu thủy................................................................................ 84
3. 1. 2 Phương trình Hamilton-Jacobi-Isaacs cho bài tốn điều khiển bám tối ưu quỹ đạo...
85
3. 1. 3 Sự suy giảm nhiễu và độ ổn định của giải pháp cho phương trình HJI.........................
87

3. 2

Thuật tốn off-policy IRL để giải phương trình HJI bám quỹ đạo........................................ 88
3. 2. 1 Thuật toán off-policy RL cho điều khiển tối ưu bền vững....................................... 88
3. 2. 2 Phân tích sự hội tụ của thuật toán 3. 1.................................................................. 89
3. 2. 3 Thuật toán off-policy IRL cho điều khiển tối ưu bền vững...................................... 95

3. 2. 4 Phân tích sự hội tụ của thuật tốn 3. 2.................................................................. 97
3. 2. 5 Thuật toán off-policy IRL cho điều khiển tối ưu bền vững sử dụng mạng nơ-ron... 98
3. 2. 6 Mô phỏng, so sánh và đánh giá............................................................................. 101

3. 3

Kết luận chương 3............................................................................................................. 108

iv


KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA LUẬN ÁN................................................................... 109
DANH MỤC CÁC CƠNG TRÌNH ĐƯỢC CƠNG BỐ....................................................................... 111
TÀI LIỆU THAM KHẢO.............................................................................................................. 112
PHỤ LỤC

118

v


v


DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
Danh Mục Các Ký Hiệu

STT

Ký hiệu

1

¡

2

¡

3

¡

Giải thích
Tập các số thực

n

Khơng gian các tọa độ thực (khơng gian Euclide)

n

chiều.

Tập các ma trận có kích thước n ´ m chứa các phần tử số
thực

n´ m

Wx Ì ¡

n

4

Wx

5

Y (W)

Tập của các luật điều khiển chấp nhận được

6

C (v)

Ma trận Coriolis và lực hướng tâm của phương tiện hàng hải

7

C A (v)

8

D

Ma trận suy giảm thủy động lực học tuyến tính

9

Dn (v)

Ma trận suy giảm thủy động lực học phi tuyến

10

D (v)

Ma trận suy giảm thủy động lực học

11

g(h)

Véc-tơ lực đẩy và lực trọng trường

12

I0

13

J 1(h)

Ma trận quay chuyển đổi vận tốc dài

14

J 2(h)

Ma trận quay chuyển đổi vận tốc góc

15

J (h)

Ma trận quay chuyển đổi vận tốc dài và vận tốc góc

16

m

17

MA

Ma trận qn tính hệ thống của khối lượng nước kèm

18

M RB

Ma trận quán tính hệ thống vật rắn

19

t = [t T1 , t T2 ]T

20

t1 = é
X Y
ê
ë

Tập compact

Ma trận Coriolis và lực hướng tâm thủy động lực học khối
lượng nước kèm

Ma trận quán tính hệ thống xung quanh điểm O

Khối lượng của vật rắn

Lực và mô-men tác động lên thân tàu trong hệ tọa độ gắn thân
tàu (b-frame)
T

Zù
ú
û

Véc-tơ lực tác động lên thân tàu trong hệ tọa độ (b-frame)

vi


21

t2 = é
K
ê
ë

M

T

Nù
ú
û

Véc-tơ mô-men tác động lên thân tàu trong hệ tọa độ (b-frame)

22

tD

Véc-tơ lực và momem suy giảm

23

tH

Véc-tơ lực và momen thủy động lực

24

tw

Véc-tơ lực và mô-men do nhiễu tác động bên ngồi (sóng, gió,
dịng chảy,…)

25

t RB

Véc-tơ lực và mô-men tổng quát tác động lên tàu trong khung
tọa độ gắn thân

26

h = [hT1 , hT2 ]T

Véc-tơ biểu diễn vị trí và góc hướng của tàu trong hệ tọa độ
gắn trái đất

27

h1 = [x, y, z]T

Véc-tơ biểu diễn vị trí của tàu trong hệ tọa độ gắn trái đất

28

h2 = [f ,q, y ]T

Véc-tơ biểu diễn góc hướng của tàu trong hệ tọa độ gắn trái đất

29

v = [vT1 , vT2 ]T

Véc-tơ vận tốc dài và vận tốc góc trong hệ tọa độ gắn thân

30

v1 = [u, v, w]T

Véc-tơ vận tốc dài trong hệ tọa độ gắn thân

31

v2 = [p,q, r ]T

Véc-tơ vận tốc góc trong hệ tọa độ gắn thân

32

Tốc độ trượt dọc của tàu

34

u
v
w

35

p

Tốc độ lắc ngang của tàu

36

q

Tốc độ lắc dọc của tàu

37

Tốc độ quay trở của tàu

38

r
x

39

y

Tọa độ của tàu theo phương y hệ tọa độ NED

40

z

Tọa độ của tàu theo phương

41

f

Góc lắc ngang của tàu

42

q

Góc lắc dọc của tàu

43

y

Góc hướng, xung quanh trục

44

W

Ma trận trọng số lý tưởng của NN

45

f (x)

Véc-tơ hàm kích hoạt của NN

33

Tốc độ trượt ngang của tàu
Tốc độ trượt đứng của tàu

Tọa độ của tàu theo phương

vii

x

hệ tọa độ NED

z

hệ tọa độ NED

z

của tàu


46

J (x, u)

Hàm chi phí

47

V *(x)

Hàm Bellman

48

u

Véc tơ đầu vào điều khiển

49

u*

Véc tơ đầu vào điều khiển tối ưu

50

d

Véc-tơ nhiễu của hệ thống

51

In

Ma trận đơn vị có chiều n ´ n
Khụng gian Banach, nu

L2[0, Ơ )

52

Ơ

ũ

" d ẻ L2[0, Ơ )

thì

2

d dt < ¥

0

Danh Mục Các Chữ Viết Tắt

Ký hiệu
ADP

Thuật ngữ tiếng Anh

Giải thích

Adaptive Dynamic Programming

Quy hoạch động thích nghi

Actor-Critic Neural Netwoks

Cấu trúc điều khiển Actor-Critic
trong của giải thuật gồm hai NN:
Mạng critic xấp xỉ hàm đánh giá tối
ưu, mạng actor xấp xỉ luật điều khiển
tối ưu

Neural Netwok

Mạng nơ-ron nhân tạo

Actor NN

Actor Neural Network

Mạng nơ-ron actor

Critic NN

Critic Neural Network

Mạng nơ-ron critic

MLP

Multi-Layer Perceptron

NN truyền thẳng nhiều lớp

ARE

Algebraic Riccati Equation

Phương trình đại số Riccati

HJB

Hamilton-Jacobi-Bellman

Phương trình vi phân đạo hàm riêng
HJB

HJI

Hamilton-Jacobi-Isaacs

Phương trình vi phân đạo hàm riêng
HJI

PE

Persistence of Excitation

Điều kiện PE

PI

Policy Iteration

Thuật toán lặp để xấp xỉ luật điều
khiển tối ưu của giải thuật quy hoạch
động thích nghi

VI

Value Iteration

Thuật lặp giá trị để xấp xỉ hàm đánh
giá tối ưu của giải thuật quy hoạch
động thích nghi

AC-NNs

NN

viii


RL

Reinforcement Learning

Học tăng cường

Unifomly Ultimate Bounded

Bị chặn tới hạn đều

Ultimate Bounded

Bị chặn tới hạn

Globally Uniformly Ultimately
Bounded

Bị chặn tới hạn đều toàn cục

GUB

Globally Uniformly Bounded

Bị chặn đều toàn cục

ZDGT

Zero-sum Differential Game
Theory

UUB
UB
GUUB

LS

Lý thuyết trị chơi sai phân tổng bằng khơng
ứng dụng trong lý thuyết điều khiển tối ưu

H¥

Least Square

Phương pháp bình phương tối thiểu

Robust Integral of the Sign of
the Error

Tích phân bền vững hàm dấu sai lệch bám

Disturbance Observer

Bộ quan sát nhiễu

Off-Policy Integral
Reinforcement Learning

Học tăng cường tích phân với luật điều khiển
ngoại tuyến

Degree Of Freedom

Bậc tự do

Body–fixed reference frame

Khung tọa độ quy chiếu gắn với thân tàu

CG

Center of gravity

Trọng tâm

CB

Center of buoyancy

Tâm nổi

GPS

Global Positioning System

Hệ thống định vị toàn cầu

INS

Inertial Navigation System

Hệ thống dẫn đường quán tính

IFAC

International Federation of
Automatic Control

Hiệp hội quốc tế về tự động hóa

NED

North-East-Down

Hệ tọa độ có các trục hướng bắc – hướng
đông – hướng tâm trái đất

SNAME

Society of Naval Architects
and Marine Engineers

Hiệp hội kiến trúc hải quân và hàng hải

ECI

The Earth-centered inertial
frame

Khung tọa độ quán tính gốc trùng tâm trái
đất

ECEF

Earth-centered Earth-fixed
reference frame

Khung tọa độ tham chiếu có gốc trùng tâm
trái đất

RISE

DO
Off-Policy
IRL
DOF
BODY

ix


DANH MỤC CÁC BẢ
Bảng 1. 1 Các ký hiệu của SNAME (nguồn: [17]).............................................................................5Y
Bảng 2. 1 Các thông số của bộ điều khiển......................................................................................78
Bảng 2. 2 RMSE của hai bộ điều khiển............................................................................................81

DANH MỤC HÌNH
Hình 1. 1 Mơ tả các chuyển động của tàu đại dương (nguồn: [19]).................................................4
Hình 1. 2 Các khung tọa độ quy chiếu (nguồn: [18])........................................................................5
Hình 1. 3 Mơ tả động lực học tàu thủy trong khung tọa độ quy chiếu quán tính gắn với trái đất và
khung tọa độ gắn thân tàu (nguồn:[17])...........................................................................................8
Hình 1. 4 Mơ tả các thành phần chuyển động của tàu thủy trong mặt phẳng nằm ngang.............13
Hình 1. 5 Xấp xỉ hàm bằng mạng MLP một lớp ẩn..........................................................................20
Hình 1. 6 Cấu trúc AC-NNs xấp xỉ nghiệm phương trình HJB........................................................24Y
Hình 2. 1 Cấu trúc điều khiển hệ thống lái tàu thủy sử dụng giải thuật ADP..................................39
Hình 2. 2 Sự hội tụ của ma trận trọng số AC-NNs trong quá trình học và điều khiển.....................43
Hình 2. 3 Quỹ đạo bám – quỹ đạo đường tròn sử dụng giải thuật ADP cấu trúc AC-NNs...............43
Hình 2. 4 Sai lệch bám quỹ đạo theo trục x - quỹ đạo hình trịn....................................................44
Hình 2. 5 Sai lệch bám quỹ đạo theo trục y - quỹ đạo hình trịn....................................................44
Hình 2. 6 Sai lệch bám quỹ đạo theo góc

y

- quỹ đạo hình trịn...................................................44

Hình 2. 7 Đầu vào điều khiển của hệ thống – quỹ đạo hình trịn...................................................44
Hình 2. 8 Cấu trúc điều khiển ADP-RISE cho hệ lái tàu thủy...........................................................51
Hình 2. 9 Sự hội tụ của ma trận trọng số AC-NNs trong quá trình học và điều khiển.....................57
Hình 2. 10 So sánh điều khiển bám quỹ đạo trịn, khi chưa có nhiễu.............................................58
Hình 2. 11 So sánh sai số điều khiển bám quỹ đạo tròn theo trục x, khi chưa có nhiễu.................58
Hình 2. 12 So sánh sai số điều khiển bám quỹ đạo tròn theo trục y, khi chưa có nhiễu.................58
Hình 2. 13 So sánh sai số điều khiển bám quỹ đạo tròn theo trục

y , khi chưa có nhiễu..............59

Hình 2. 14 So sánh điều khiển bám quỹ đạo tròn, nhiễu hàm “1” tác động...................................59
x


Hình 2. 15 So sánh sai số điều khiển bám quỹ đạo trịn theo trục x...............................................59
Hình 2. 16 So sánh sai số điều khiển bám quỹ đạo tròn theo trục y...............................................60
Hình 2. 17 So sánh sai số điều khiển bám quỹ đạo trịn theo trục

y ............................................60

Hình 2. 18 So sánh điều khiển bám quỹ đạo tròn, nhiễu hàm “2” tác động...................................60
Hình 2. 19 Sai lệch bám quỹ đạo theo trục x - quỹ đạo đường trịn..............................................61
Hình 2. 20 Sai lệch bám quỹ đạo theo trục y - quỹ đạo đường trịn.............................................61
Hình 2. 21 Sai lệch bám quỹ đạo theo góc

y - quỹ đạo đường trịn..............................................61

Hình 2. 22 Sai lệch ước lượng thành phần bất định và nhiễu đầu vào f1 + t n1 ...........................62
Hình 2. 23 Sai lệch ước lượng thành phần bất định và nhiễu đầu vào f2 + t n 2 ...........................62
Hình 2. 24 Sai lệch ước lượng thành phần bất định và nhiễu đầu vào f3 + t n 3 ...........................62

x


Hình 2. 25 Đầu vào điều khiển trên trục x ....................................................................................63
Hình 2. 26 Đầu vào điều khiển trên trục y ....................................................................................63
Hình 2. 27 Đầu vào điều khiển trên trục y ...................................................................................63
Hình 2. 28 Cấu trúc bộ điều khiển tối ưu sử dụng giải thuật ADP cấu trúc AC-NNs.......................72
Hình 2. 29 Sự hội tụ của ma trận trọng số AC-NNs trong quá trình học và điều khiển...................78
Hình 2. 30 So sánh điều khiển bám quỹ đạo tròn của bộ điều khiển đề xuất ADP-DO với bộ điều
khiển AOBC [63]..............................................................................................................................79
Hình 2. 31 So sánh sai số bám trục x của hai bộ điều khiển...........................................................80
Hình 2. 32 So sánh sai số bám trục y của hai bộ điều khiển...........................................................80
Hình 2. 33 So sánh sai số bám trục y của hai bộ điều khiển.........................................................80
Hình 2. 34 Ước lượng thành phần bất định và nhiễu đầu vào

h1

của bộ DO và............................81

Hình 2. 35 Ước lượng thành phần bất định và nhiễu đầu vào

h2

của bộ DO và............................81

Hình 2. 36 Ước lượng thành phần bất định và nhiễu đầu vào

h3

của bộ DO và............................82

Hình 2. 37 Đầu vào điều khiển của hệ thống theo các trục

x, y, y

8

Hình 3. 1 Cấu trúc điều khiển tối ưu bền vững cho mơ hình tàu thủy sử dụng............................100
Hình 3. 2 So sánh điều khiển bám quỹ đạo tròn của Actor-Critic và off-policy IRL, khi khơng có
nhiễu tác động..............................................................................................................................102
Hình 3. 3 So sánh sai số bám trục x của Actor-Critic và off-policy IRL...........................................102
Hình 3. 4 So sánh sai số bám trục y của Actor-Critic và off-policy IRL...........................................102
Hình 3. 5 So sánh sai số bám trục y của Actor-Critic và off-policy IRL........................................103
Hình 3. 6 So sánh điều khiển bám quỹ đạo tròn của Actor-Critic và off-policy IRL, khi chịu tác động
của nhiễu hàm “1”.........................................................................................................................103
Hình 3. 7 So sánh sai số bám trục x của của off-policy IRL và Actor-Critic, khi chịu tác động của
nhiễu hàm “1”...............................................................................................................................104
Hình 3. 8 So sánh sai số bám trục y của của off-policy IRL và Actor-Critic, khi chịu tác động của
nhiễu hàm “1”...............................................................................................................................104
xi


Hình 3. 9 So sánh sai số bám trục y của off-policy IRL và Actor-Critic khi chịu tác động của nhiễu
hàm “1”.........................................................................................................................................104
Hình 3. 10 So sánh điều khiển bám quỹ đạo tròn của Actor-Critic và off-policy IRL, khi chịu tác
động của nhiễu hàm “2”................................................................................................................105

Hình 3. 11 Sai số bám theo trục

x

của off-policy IRL với nhiễu hàm “2”....................................105

Hình 3. 12 Sai số bám theo trục y của off-policy IRL với nhiễu hàm “2”....................................106
Hình 3. 13 Sai số bám theo trục

y

của off-policy IRL với nhiễu hàm “2”....................................106

Hình 3. 14 Đầu vào điều khiển trên trục

x

của off-policy IRL với...............................................106

Hình 3. 15 Đầu vào điều khiển trục y của off-policy IRL với.......................................................107
Hình 3. 16 Đầu vào điều khiển trục

y

của off-policy IRL với.......................................................107

xi


MỞ ĐẦU

1. Tính cấp thiết của đề tài
Vận tải biển đóng một vai trị rất quan trọng trong thương mại quốc tế bởi vì khoảng 80% lượng
hàng hóa xuất nhập khẩu được vận chuyển qua đường biển. Vận tải biển là một thị trường lớn và
vì lợi ích thiết yếu của nó, chẳng hạn như phạm vi vận chuyển rộng, khối lượng vận chuyển lớn,
chi phí vận chuyển thấp…Vì vậy, những nghiên cứu cải thiện hệ thống điều khiển bám quỹ đạo của
tàu thủy nhằm nâng cao hiệu quả vận chuyển và đảm bảo an tồn hàng hải ln là cấp thiết và có
ý nghĩa to lớn. Tuy nhiên, việc điều khiển chuyển động của tàu thủy đạt được chất lượng cao là
một thách thức đối với các nhà khoa học vì những lý do chính sau đây:
1) Phương tiện hàng hải hoạt động trong môi trường động, phức tạp, khơng có cấu trúc xác định
và chịu ảnh hưởng của nhiễu đầu vào không dự báo được đối với hệ thống điều khiển, ví dụ như:
dịng chảy đại dương, sóng, gió,. . . nên hiệu suất bám quỹ đạo bị giảm đáng kể [1].
2) Mơ hình động lực học của tàu thủy là mơ hình phi tuyến bất định và các tham số của mơ hình
phụ thuộc vào các biến trạng thái của tàu. Động lực học của tàu thường được mơ tả là hệ
phương trình vi phân phi tuyến bậc cao. Động học của tàu thủy có các tính chất đặc thù như:
hằng số thời gian quán tính lớn, biên độ dự trữ ổn định nhỏ và có dao động [2, 3]. Để nâng cao
độ chính xác bám quỹ đạo cho tàu thủy, có rất nhiều phương pháp điều khiển khác nhau đã được
nghiên cứu, đề xuất [2,4–9]. Mặc dù vậy, việc đảm bảo bám quỹ đạo và ổn định trong mơi
trường có nhiễu tác động đối với tàu thủy ln ln là một thách thức.
Trong khi đó, nguồn năng lượng lữu trữ trên tàu là hữu hạn do vậy để đảm bảo tàu chuyển động
trên quãng đường dài, bài toán tối ưu năng lượng cũng cần được đề cập tới. Tuy nhiên, cho đến
nay, có rất ít các cơng trình nghiên cứu phương pháp điều khiển tối ưu cho tàu thủy. Thơng
thường, bài tốn điều khiển tối ưu cho tàu thủy là bài toán phi tuyến, nên để tìm nghiệm tối ưu
người ta thường đưa về bài tốn tìm nghiệm của phương trình HJB [10]. Đối với hệ tuyến tính
phương trình HJB trở thành phương trình Riccati. Cho đến nay, chưa có lời giải tổng qt cho
phương trình HJB vì việc tìm nghiệm của phương trình này rất khó khăn. Trong những năm gần
đây nghiên cứu xấp xỉ nghiệm của phương trình HJB bằng quy hoạch động thích nghi (ADP) được
quan tâm phát triển [10, 11, 12, 13]. Giải thuật ADP sử dụng NN để xấp xỉ các hàm giá trị, đặc
điểm chung của cấu trúc điều khiển ADP thường sử dụng hai NN hoặc ba NN để xấp xỉ hàm.
Trong đó, một NN xấp xỉ luật điều khiển tối ưu (actor NN), một NN còn lại xấp xỉ hàm chi phí tối
ưu (critic NN), một NN (disturber NN) có thể được thêm vào cấu trúc ADP để xấp xỉ luật nhiễu xấu

nhất. Nghiệm xấp xỉ trên cơ sở giải thuật ADP thường được giải trực tuyến.
Những năm gần đây, ứng dụng giải thuật ADP trong bài toán bám tối ưu quỹ đạo cho các hệ thống
phi tuyến liên tục được nghiên cứu và phát triển mạnh mẽ [14, 15], nhưng riêng áp dụng cho hệ
thống lái tàu thủy được nghiên cứu rất ít. Chính vì vậy, việc nghiên cứu phát triển áp dụng giải
thuật ADP trong điều khiển bám tối ưu quỹ đạo cho tàu thủy luôn là thách thức và động lực đối
với các nhà khoa học. Đây cũng chính là động lực thúc đẩy việc lựa chọn đề tài nghiên cứu của
tác giả.

1


2. Mục đích nghiên cứu
Mục đích của đề tài là nghiên cứu, đề xuất và phát triển những bộ điều khiển bám tối ưu quỹ đạo
mới nhằm nâng cao chất lượng điều khiển, tiết kiệm nặng lượng và đảm bảo tính ổn định cho hệ
lái tự động tàu thủy trong điều kiện có nhiễu tác động. Để thực hiện được mục tiêu này, luận án
đặt ra những nhiệm vụ chính sau:
- Nghiên cứu mơ hình động lực học của tàu thủy và các phương pháp điều khiển hiện đại cho hệ
lái tàu thủy đã cơng bố trong nước và ngồi nước những năm gần đây, từ đó tìm ra hướng nghiên
cứu mới cho luận án.
- Nghiên cứu, đề xuất thuật toán điều khiển bám tối ưu mới dựa trên giải thuật ADP có cấu trúc
điều khiển AC-NNs kết hợp với bộ ước lượng nhiễu.
- Nghiên cứu, đề xuất giải thuật điều khiển tối ưu bền vững dựa trên thuật toán off-policy IRL cho
hệ lái tàu thủy trong điều kiện có nhiễu tác động.
3. Đối tượng và phạm vi nghiên cứu của luận án
Đối tượng nghiên cứu của luận án: Hệ thống lái tàu nổi như tàu tuần tra, tàu dịch vụ…, có mơ
hình phi tuyến bất định, chịu ảnh hưởng của nhiễu ngồi khơng biết trước (sóng, gió, dịng chảy…)
và đủ cơ cấu chấp hành.
Phạm vi nghi cứu của luận án: Luận án tập trung xây dựng bộ điều khiển bám tối ưu mới cho hệ
thống dựa trên lý thuyết điều khiển phi tuyến và lý thuyết điều khiển tối ưu, cho các tàu hoạt
động trên biển trong điều kiện có các nhiễu (sóng, gió, dịng chảy…) bị chặn.

4. Ý nghĩa khoa học và thực tiễn của luận án
Luận án đã đưa ra được cấu trúc điều khiển mới. Các bộ điều khiển này được phân tích ổn định
dựa trên lý thuyết ổn định Lyapunov và được đánh giá thông qua mơ phỏng bằng phần mềm
Matlab, kết quả phân tích lý thuyết và mơ phỏng hồn tồn phù hợp và đáp ứng được các chỉ tiêu
chất lượng cho hệ thống lái tàu tự động. Luận án sẽ góp phần bổ sung các phương pháp điều
khiển bám tối ưu quỹ đạo mới cho hệ lái tàu thủy. Chính vì vậy, kết quả nghiên cứu của luận án
vừa có ý nghĩa khoa học vừa có ý nghĩa thực tiễn.
5. Phương pháp nghiên cứu
Để đạt được mục tiêu đề ra, phương pháp nghiên cứu của luận án tiến hành như sau:
- Phân tích các tài liệu khoa học, các cơng trình mới nhất đã được cơng bố trong và ngồi nước về
điều khiển tàu thủy. Đặc biệt là các phương pháp điều khiển hiện đại áp dụng cho mơ hình tàu
thủy đủ cơ cấu chấp hành, trên cơ sở đó đưa ra định hướng nghiên cứu các giải thuật điều khiển
mới cho hệ lái tàu thủy.
- Dựa trên lý thuyết điều khiển phi tuyến và điều khiển tối ưu xây dựng bài toán điều khiển bám
tối ưu cho hệ lái tàu thủy có xét tới ảnh hưởng của nhiễu.
- Chuyển bài toán xác định nghiệm tối ưu về bài tốn tìm nghiệm cho phương trình HJB, HJI.
Nghiên cứu, xấp xỉ nghiệm của HJB dựa trên giải thuật ADP kết hợp các phương pháp kháng
nhiễu.
2


- Các giải thuật mới được đề xuất, phân tích tính ổn định dựa trên lý thuyết Lyapunov và khảo sát
đánh giá thông qua mô phỏng bằng phần mềm Matlab.
6. Bố cục của luận án
Luận án được trình bày trong 3 chương với nội dung chính được tóm tắt như sau:
Chương 1: Tổng quan về mơ hình động lực học tàu thủy và tình hình nghiên cứu
Phân tích mơ hình động học và động lực học của tàu thủy, phân tích đặc điểm của mơ hình tàu
thủy. Nghiên cứu tổng quan các phương pháp điều khiển tàu thủy trong nước và ngồi nước đã
cơng bố và đề xuất hướng nghiên cứu của luận án. Trình bày một số cấu trúc điều khiển cơ bản
của giải thuật ADP như: AC-NNs, off-policy IRL được luận án sử dụng để phục vụ cho việc xây dựng

bộ điều bám tối ưu quỹ đạo mới ở các chương tiếp theo.
Chương 2: Điều khiển bám tối ưu cho tàu thủy khi có mơ hình
Xây dựng bộ điều khiển bám tối ưu cho tàu thủy ba bậc tự do có xét tới ảnh hưởng của nhiễu dựa
trên cấu trúc điều khiển AC-NNs. Các thành phần bất định của mơ hình và nhiễu đầu vào được
đưa về dạng véc-tơ hàm bất định và được ước lượng bởi các bộ ước lượng RISE và DO. Bộ điều
khiển bám tối ưu cho hệ lái tàu thủy được đề xuất trên cơ sở kết hợp giữa ADP và các bộ ước
lượng RISE, DO. Các định lý về tính ổn định của hệ kín được phát biểu và chứng minh chặt chẽ.
Các kết quả phân tích lý thuyết được đánh giá thơng qua mô phỏng bằng phần mềm Matlab.
Chương 3: Điều khiển bám tối ưu cho tàu thủy khi khơng có mơ hình
Trong chương 3, luận án tập trung nghiên cứu xây dựng bộ điều khiển bám tối ưu bền vững cho
mô hình tàu thủy. Bộ điều khiển tối ưu bền vững được thiết kế cho hệ lái tàu thủy dựa trên thuật
tốn off-policy IRL khơng u cầu thơng tin động học của hệ thống, có xét tới ảnh hưởng của
nhiễu đầu vào. Sự hội tụ của thuật tốn được trình bày và chứng minh trong các định lý. Các kết
quả phân tích lý thuyết được đánh giá thơng qua mơ phỏng bằng phần mềm Matlab.

3