Ứng dụng của nghiệm Nhớt trong lý thuyết điều khiển tối ưu và trò chơi vi phân

LèI CÁM ƠN

Lu¾n văn đưoc hoàn thành tai Trưòng Đai hoc Sư pham Hà N®i 2
dưói sn hưóng dan cna TS. Tran Văn Bang.
Tác giá xin đưoc gúi lòi cám ơn chân thành tói TS. Tran Văn
Bang. Sn t¾n tình song rat nghiêm túc cna thay trong suot quá trình
hoc t¾p và làm lu¾n văn đã giúp tác giá trưóng thành hơn rat nhieu ve
cách tiep c¾n m®t van đe mói. Cám ơn các thay cô giáo giáng day
chuyên ngành Toán Giái tích đã nhi¾t tình cung cap các tri thúc khoa
hoc giúp tác giá nâng cao trình đ® tư duy, hoàn thành tot quá trình hoc
t¾p và làm lu¾n văn. Tác giá cũng xin đưoc cám ơn tói trưòng THPT
Vi¾t Trì đã quan tâm giúp đõ và tao moi đieu ki¾n thu¾n loi đe tác
giá yên tâm hoc t¾p trong suot hai năm vùa qua.
Cuoi cùng, tác giá xin đưoc cám ơn tói gia đình, ban bè đã giúp
đõ, đ®ng viên k%p thòi đe tác giá hoàn thành bán lu¾n văn này.

Hà N®i, tháng 5 năm 2011

Tác giá


LèI CAM ĐOAN

Tôi xin cam đoan Lu¾n văn là công trình nghiên cúu cna riêng tôi.
Trong khi nghiên cúu lu¾n văn, tôi đã ke thùa thành quá khoa hoc
cna các nhà khoa hoc và đong nghi¾p vói sn trân trong và biet ơn.

Hà N®i, tháng 5 năm 2011

Tác giá

Mnc lnc

Má đau

5

Chương 1. M®t so kien thNc chuan b%

7

1.1 Ve lý thuyet đieu khien toi ưu . . . . . . . . . . . . . . .

7

1.1.1

H¾ đieu khien . . . . . . . . . . . . . . . . . . . .

7

1.1.2

Bài toán đieu khien toi ưu...............................................11

1.1.3

Nguyên lý quy hoach đ®ng............................................13

1.1.4

Phương trình Hamilton-Jacobi-Bellman....................... 17

1.1.5

Phương pháp quy hoach đ®ng..................................... 20

1.2 Lý thuyet trò chơi vi phân............................................................24
1.3 Nghi¾m nhót cna phương trình Hamilton-Jacobi....................30
1.3.1

Khái ni¾m và tính chat................................................... 30

1.3.2

Nguyên lý cnc tr% và nguyên lý so sánh.....................32

1.3.3 Tính liên tuc Lipschitz cna nghi¾m nhót......................35
1.4

Ket lu¾n chương 1.......................................................................37

Chương 2. Úng dnng cúa nghi¾m nhát

38

2.1 Úng dung đoi vói lý thuyet đieu khien toi ưu...........................38
2.1.1

Nghi¾m nhót cna phương trình quy hoach đ®ng .

38

2.1.2

Đieu ki¾n can và đn cna đieu khien toi ưu.................43

2.2 Úng dung đoi vói lý thuyet trò chơi vi phân.............................51
2.2.1

Nghi¾m nhót cna phương trình quy hoach đ®ng .

2.2.2

Úng dung cna nghi¾m nhót đe xây dnng phán hoi

51

toi ưu..................................................................................55
2.2.3

Sn h®i tu cna lưoc đo xap xí bán ròi rac.....................61


2.3 Ket lu¾n chương 2.......................................................................66
Tài li¾u tham kháo..............................................................................68


Mé ĐAU

1. Lí do chon đe tài
Lý thuyet nghi¾m nhót cna phương trình Hamilton- Jacobi cap m®t
đã đưoc đe xuat bói M.Crandall và P.L. Lions tù nhung năm đau cna
th¾p ký 80 (xem [7], [3]), mà m®t trong nhung đ®ng lnc chính cna nó
là đe nghiên cúu phương trình Hamilton - Jacobi - Bellman. Nó xuat
hi¾n trong cách tiep c¾n quy hoach đ®ng đoi vói các bài toán đieu
khien toi ưu tat đ%nh. Cho đen nay lý thuyet ve nghi¾m nhót đã đưoc
mó r®ng cho lóp các phương trình elliptic - parabolic suy bien cap
hai (xem [6]) và đã đưoc úng dung trong rat nhieu lĩnh vnc khác nhau,
đ¾c bi¾t là trong lý thuyet đieu khien toi ưu và lý thuyet trò chơi vi
phân (xem [4],[5]).
Đe nâng cao sn hieu biet ve loai nghi¾m suy r®ng này chúng tôi đã
chon đe tài ”Úng dung cna nghi¾m nhót trong lý thuyet đieu khien toi
ưu và lý thuyet trò chơi vi phân".
2. Mnc đích nghiên cNu
Nghiên cúu khái ni¾m nghi¾m nhót cna phương trình đao hàm
riêng, các tính chat và các úng dung có the cna chúng trong lý
thuyet đieu khien toi ưu đ¾c bi¾t là trong lý thuyet trò chơi vi phân.
3. Nhi¾m vn nghiên cNu
• Tìm hieu ve nghi¾m nhót cna phương trình đao hàm riêng cap
m®t.
• Tìm hieu ve lý thuyet đieu khien toi ưu tat đ%nh, đ¾c bi¾t là cách
tiep c¾n quy hoach đ®ng.
• Tìm hieu ve lý thuyet trò chơi vi phân.
• Tìm úng dung cna nghi¾m nhót trong lý thuyet đieu khien toi ưu
và lý thuyet trò chơi vi phân.


6

4. Đoi tưang và pham vi nghiên cNu
• Nghiên cúu nghi¾m nhót cna lóp phương trình Hamilton - Jacobi Bellman bao gom các khái ni¾m, các tính chat; cách tiep c¾n quy
hoach đ®ng đoi vói bài toán đieu khien toi ưu tat đ%nh.
• Lý thuyet trò chơi vi phân và moi quan h¾ giua các đoi tưong đó.
5. Phương pháp nghiên cNu
• Nghiên cúu tài li¾u tham kháo.
• Tong hop, phân tích, h¾ thong lai các khái ni¾m, tính chat.
• Hói ý kien chuyên gia.
6. NhÑng đóng góp cúa đe tài
Đe tài trình bày m®t cách tong quan ve úng dung cna nghi¾m nhót
đoi vói lý thuyet đieu khien toi ưu tat đ%nh và lý thuyet trò chơi vi phân.


Chương 1
M®t so kien thNc chuan b%
1.1
1.1.1

Ve lý thuyet đieu khien toi ưu
H¾ đieu khien

Trưóc het ta trình bày m®t so khái ni¾m và ket quá can thiet ve h¾
phương trình vi phân phi tuyen mà chúng ta muon đieu khien. Ta giá
thiet rang: hàm f (x, a) vói x ∈ RN , a ∈ A (tương úng đưoc goi là
bien trang thái và bien đieu khien), thóa mãn các giá thiet sau:
.A là m®t không gian tô pô,
f : RN × A → RN là m®t hàm liên
tuc;
f b% ch¾n trên B(0, R) × A, vói moi R > 0;
(tính b% ch¾n đ%a phương cna f đeu theo bien đieu khien a)


ton tai m®t mô đun đ%a phương ωf sao cho
|f (y, a) − f (x, a)| ≤ ωf (|x −
y|, R),

vói moi x, y ∈ B(0, R) và R >

(A0)

(A1)

(A2)

0,
(tính liên tuc đeu đ%a phương cna f, đeu theo bien đieu khien a), trong
đó mô đun đ%a phương là m®t hàm ω : R+ × R+ → R+ sao cho vói
moi
R > 0, ω(., R) liên tuc, không giám và ω(0, R) = 0.
Ta se chn yeu quan tâm tói trưòng hop A ⊂ RM là t¾p compac.
Khi đó (A1) và (A2) là các h¾ quá cna (A0).
Ta cũng giá thiet
(f (x, a) − f (y, a)).(x − y) ≤ L|x − y|2, ∀x, y ∈ RN , a ∈ A;
(A3) túc là, ton tai m®t so L ∈ R sao cho f (x, a) − LI, vói I là toán
tú đong nhat, là m®t ánh xa đơn đi¾u (không tăng) vói moi a.


8

Trong lu¾n văn này ta chí xét trưòng hop f liên tuc Lipschitz toàn
cuc theo bien trang thái, túc là

|f (x, a) − f (y, a)| ≤ L |x − y| , ∀x, y ∈ RN , a ∈ A.
Khi đó, tn nhiên f thóa mãn (A3) và (A2).
Chúng ta quan tâm tói nghi¾m (hay quy đao) cna h¾ phi tuyen
.y

r

(t)

= f (y(t), a(t)), t > 0,
(1.1)

y(0) = x

vói các hàm đieu khien a(.) (goi là đieu khien l¾p mó (open loop),
vì không phu thu®c vào bien trang thái) thu®c t¾p tat cá các đieu
khien: A := {α : [0; +∞) → A đo đưoc}
(ve hàm đo đưoc và các tính chat liên quan có the xem [2]).
Kí hi¾u yx(., a) = yx(.) là nghi¾m cna (1.1) úng vói đieu khien a,
theo nghĩa yx(., a) là nghi¾m cna phương trình tích phân
¸ t
y(t) = x
f (y(s), a(s))ds, t > 0.
0
+
Như v¾y yx(., a) là m®t hàm liên tuc tuy¾t đoi trên các t¾p con
compac cna [0, +∞) và thóa mãn (1.1) hau khap nơi. Các đ%nh lý
sau đây chí
ra sn ton tai nghi¾m cũng như tính chat nghi¾m cna phương trình tích
phân:

y(t) = x + ¸

t

f (y(s), a(s))ds.

(1.2)

t0

Đ%nh lý 1.1.1. [Sn ton tai quy đao đ%a phương, [4], Đ%nh lý 5.4] Giá
sú ta có các giá thiet (A0), (A1), x ∈ RN co đ%nh và đ¾t
K = Kx := sup{|f (z, a)| : |z − x| ≤ 1, a ∈ A}.
Khi đó vói moi t0 ∈ R, a ∈ A ton tai m®t nghi¾m liên tnc Lipschitz y
cúa (1.2) trên [t0, t0 + 1/K]. Hơn nua
|y(t) − x| ≤ K(t − t0),∀t.


Đ%nh lý 1.1.2. [Sn ton tai quy đao toàn cnc, [4], Đ%nh lý 5.5] Giá sú
ta có các giá thiet (A0), (A1) và (A3). Khi đó vói moi t0 ∈ R, x ∈ RN , a
∈ A ton tai m®t nghi¾m duy nhat yx : [0, +∞) → RN cúa (1.2) và
thóa mãn
,
|yx(t)| ≤ (|x| + 2K(t − t0))eK(t−t0), ∀t > t0,
trong đó K := L + supα∈A |f (0, α)|. Neu yz là nghi¾m thóa mãn
đieu ki¾n ban đau yz (t0) = z thì
|yx(t) − yz (t)| ≤ eL(t−t0)|x − z|, ∀t ≥ t0.
Hơn nua, ta
có

|yx(t) − x|
≤

1
sup|f (x, α)|
(eLt L α∈A

− 1).

Đe xét tính khá vi cna nghi¾m cna (1.1) theo đieu ki¾n ban đau x,
ta nhó lai rang: ma tr¾n nghi¾m cơ bán M (s, t) cna h¾ phương trình
vi phân tuyen tính
ξr(t) = A(t)ξ(t), t ∈ [t0, t1]

(1.3)

là nghi¾m duy nhat cna phương trình tích phân
¸ s
M (s, t) =
A(τ )M (τ, t)dτ, s, t ∈ [t0, t1],
t
I+
trong đó t ›→ A(t) là m®t ánh xa đo đưoc, b% ch¾n tù [t0, t1] vào t¾p
các
ma tr¾n vuông cap N, I là ma tr¾n đơn v% cap N. Hơn nua, c®t thú i,
mi cna M (., t0), túc là mi(s) = M (s, t0)ei là nghi¾m cna (1.3) vói
du ki¾n ban đau là ξ(t0) = ei, túc là nó thóa mãn
¸ s
mi(s) = ei
A(τ )mi(τ )dτ, s ∈ [t0, t1].

t0
+
Xét h¾ phương trình vi phân thưòng
.y

r

(t)

= F (y(t),
= x.
y(t0) t),

t ∈ (t0,
t1),

vói hàm F : RN × [t0, t1] → RN b% ch¾n trên các t¾p compac và

(1.4)


• vói moi x, hàm t ›→ F (x, t) đo đưoc;
• vói moi t, hàm x ›→ F (x, t) khá vi liên tuc, hơn nua ma tr¾n Jacobi
cna nó DxF b% ch¾n trên K × [t0, t1] vói moi t¾p compac K ⊂ RN .
Nghi¾m cna (1.4) đưoc hieu theo nghĩa tích phân thông thưòng và ký
hi¾u là S(t, t0, x) = y(t). Khi đó ta có
Đ%nh lý 1.1.3. [[4], Đ%nh lý 5.8] Vói các giá thiet đã nêu trên, goi
yˆ(.) = S(., t0 , x0 ) là nghi¾m cúa (1.4) vói điem ban đau x = x0 .
Khi đó vói moi t ∈ [t0, t1], ánh xa x ›→ S(t, t0, x) khá vi liên tnc
trong m®t lân c¾n cúa x0. Hơn nua, ma tr¾n Jacobi cúa nó tai x0 là

DxS(t, t0, x0) = M (t, t0),
trong đó M (., .) là ma tr¾n cơ bán cúa h¾ phương trình tuyen tính
ξ r (t) = Dx F (yˆ(t), t)ξ(t).
Ket quá này cho ta tính khá vi cna quy đao cna h¾ (1.1), túc là
nghi¾m cna (1.3) theo v% trí ban đau vói moi đieu khien a ∈ A co đ
%nh, túc là tính khá vi cna ánh xa x ›→ yx(t, a) dưói các giá thiet (A0)(A3) và thêm đieu ki¾n x ›→ f (x, a) khá vi liên tuc vói moi a ∈ A và
có ma tr¾n Jacobi b% ch¾n trên các t¾p compac (túc là, ωf (r, R) =
LRr trong (A2)).


1.1.2

Bài toán đieu khien toi ưu

Gan vói h¾ (1.1), lý thuyet đieu khien toi ưu thưòng xét m®t trong
bon phiem hàm chi phí (cost functional) sau đây:
• TH1: Bài toán vói thòi gian vô han (Infinite Horizon):
J∞(x, a)
:=

¸

∞

l(yx(t), a(t))e−tdt

0

N

trong đó l : R × A → R là hàm đã cho, có tính chat liên tuc, b%
ch¾n và thóa mãn
|l(x, a) − l(y, a)| ≤ wl(|x − y|), ∀x, y ∈ RN , a ∈ A,
trong đó, wl là m®t mô đun (Mô đun là m®t hàm liên tuc, không
giám w : R+ → R+ và w(0) = 0);
• TH2: Bài toán vói thòi gian huu han hay Bài toán Mayer (Finite
Horizon):
J (x, t, a) := g(yx(t, a));
trong đó g ∈ C(RN ) và t > 0 đã cho.
• TH3: Bài toán tìm thòi gian toi thieu (Minimum Time): Cho T ⊆
RN là t¾p đóng và goi là t¾p đích
.min {s : yx(s, a) ∈ T }
neu {s : yx(s, a) ∈ T
tx(a) :=
neu trái lai;
} +∞,
ƒ= ∅

• TH4: Bài toán chiet khau thòi gian toi thieu (Discounted Minimum
Time):
.¸
s
ds, neu tx(a) < +∞
tx(a)
J (x, a)
0
e
:=
−
1,

neu trái lai.
Chúng ta muon cnc tieu hóa các phiem hàm chi phí nêu trên vói
a(.) ∈ A (trong tình huong chí có ràng bu®c đoi vói đieu khien a),
ho¾c vói
a(.) ∈ Ax := {a ∈ A : yx(a, t) ∈ Ω, ∀t > 0},


trong đó Ω ⊆ RN là m®t t¾p mó đã cho (trong tình huong có ràng bu®c
trang thái).
Đ%nh nghĩa 1.1.4. Neu phiem hàm chi phí đat cnc tieu tai đieu khien
a∗(.) thì a∗(.) đưoc goi là m®t đieu khien toi ưu úng vói v% trí ban đau
x (và úng vói thòi điem t trong bài toán vói thòi gian huu han).
Vi¾c cnc tieu hóa các phiem hàm chi phí đe c¾p ó trên lan lưot dan
tói các hàm giá tr% (value function) sau đây:
• TH1: Bài toán vói thòi gian vô han:

J∞(x, a);

V∞(x) := inf
a(.)∈A

• TH2: Bài toán vói thòi gian vô han có ràng bu®c trang thái:
Vc(x) := inf J (x, a);
∞
a(.)∈Ax

• TH3: Bài toán vói thòi gian huu han:
v(x, t) :=inf J (x, t, a);
a(.)∈A

• TH4: Bài toán tìm thòi gian toi thieu:
T (x) := inf tx(a);
a(.)∈A

• TH5: Bài toán chiet khau thòi gian toi thieu:
V (x) :=

J (x, a) = 1 − e−T (x).

inf
a(.)∈A


1.1.3

Nguyên lý quy hoach đ®ng

Tiep theo ta đưa ra phương trình hàm, tương úng thóa mãn bói các
hàm giá tr% trên đây, phương trình đó dien tá m®t cách trnc quan
rang: đe đat đưoc chi phí cnc tieu ta can thnc hi¾n các bưóc sau:
• Cho h¾ v¾n hành đen m®t thòi gian nhó s vói m®t đieu khien a(.)
tùy ý trên đoan [0, s];
• Thanh toán chi phí tương úng đen thòi điem s;
• Thanh toán chi phí còn lai (cho thòi gian sau s) vói m®t đieu khien tot
nhat có the;
• Cnc tieu hóa tong hai khoán đã thanh toán trên tat cá các đieu
khien có the trên đoan [0, s].
Đ%nh nghĩa 1.1.5. Phương trình hàm đoi vói hàm giá tr% đó đưoc goi
là nguyên lý quy hoach đ®ng.
Các nguyên lý quy hoach đ®ng tương úng vói các hàm giá tr% (trù

Vc(x)) đưoc chí ra trong m¾nh đe sau:
M¾nh đe 1.1.6. Vói moi s > 0
• TH1: Bài toán vói thòi gian vô han:
.¸ s
t
s.
−
V∞(x) := inf
l(yx(t), a(t))e dt + V∞(yx(s, a))e−
a(.)∈A

0

• TH2: Bài toán vói thòi gian huu han:
v(x, t) =

v(yx(s, a), t − s) neu s ≤ t;

inf
a(.)∈A

• TH3: Bài toán tìm thòi gian toi thieu:
T (x) =

{s + T (yx(s, a))}, neu s ≤ T (x) < +∞;

inf
a(.)∈A

;

• TH4: Bài toán chiet khau thòi gian toi thieu:
.¸
−t
V (x) = inf
s e dt + V (yx(s,
a(.)∈A

0

.

, neu s ≤ T (x)).

a))e−s

Chúng minh. Đe chúng minh các nguyên lý quy hoach đ®ng ta dna vào
tính chat núa nhóm cna các nghi¾m cna (1.1):
yx(s + t, a) = yyx(s,a)(t, a(. + s)),
và hai tính chat sau cna các đieu khien chap nh¾n đưoc:
1. Neu a(.) ∈ A và t > 0 thì a(. + t) ∈ A;
2. Neu a1(.); a2(.) ∈ A và
a(s) :
.a
=

1(s),

neu s ≤ t

a2(s), neu s > t

thì a(.) ∈
A.
Sau đây chúng tôi chí trình bày chúng minh nguyên lý quy hoach
đ®ng cho bài toán tìm thòi gian toi thieu. Th¾t v¾y, vói moi a(.) ∈ A
ta có
tx(a) = s + tyx(s,a)(a(. + s)) ≥ s + T (yx(s, a)),
vì
v¾y
T (x) =
inf

tx(a) ≥

{s + T (yx(s, a))}.

inf
a(.)∈A

a(.)∈A

Đe chúng minh bat đang thúc ngưoc lai ta co đ%nh m®t đieu khien
a(.) ∈ A, đ¾t z := yx(s, a)) và đe đơn gián ta giá sú ton tai a1(.)
∈ A sao cho T (z) = tz (a1). Khi đó
a(t) :=
thì ta có

neu t ≤
s a1(t − s) neu t > s

.a(t)

T (x) ≤ tx(a) = s + tz (a1) = s + T (yx(s, a)).


Do a(.) là tùy ý
nên

T (x) ≤

{s + T (yx(s, a))}.

inf
a(.)∈A


V¾
y

T (x) =

{s + T (yx(s, a))}

inf
a(.)∈A

M¾nh đe sau đây cho ta m®t dang huu dung cna nguyên lý quy
hoach đ®ng. Dang này gan vói nguyên lý toi ưu cna Bellman hơn:
M¾nh đe 1.1.7. Vói moi a(.) ∈ A các hàm sau không giám:
• TH1: Bài toán vói thòi gian vô han:

¸ s
l(yx(t), a(t))e−tdt + (y (s, a))e−s, s ∈ [0, +∞);
s ›→
x
V
∞
0

• TH2: Bài toán vói thòi gian huu han:
s ›→ v(yx(s, a), t − s), s ∈ [0, t];
• TH3: Bài toán tìm thòi gian toi thieu:
s ›→ s + T (yx(s, a)), s ∈ [0, tx(a)], neu T (x) < +∞;
• TH4: Bài toán chiet khau thòi gian toi thieu:
¸ s
e−tdt + V (yx(s, a))e−s, s ∈ [0, tx(a)].
s ›→
0

Hơn nua các hàm này là hang khi và chí khi đieu khien a(.) là đieu
khien toi ưu úng vói v% trí ban đau x (và úng vói thòi điem t trong
bài toán vói thòi gian huu han).
Chúng minh. (cho bài toán tìm thòi gian toi thieu)
1. Vói moi a(.) ∈ A, tù nguyên lý quy hoach đ®ng vói v% trí ban đau
yx(s, a), ta có
T (yx(s, a)) ≤ ε + T (yx(s + ε, a))
vói ε > 0 đn nhó, suy ra:
s + T (yx(s, a)) ≤ s + ε + T (yx(s + ε, a)).


V¾y ta có khang đ%nh thú nhat.

2. Neu h(s) := s + T (yx(s, a)) là hàm hang thì h(s) ≡ h(0) = T
(x). Vì the tù 0 ≤ T (x) < +∞ ta suy ra tx(a) < +∞ và h(tx(a)) =
tx(a) bói vì T ≡ 0 trên t¾p đích T . V¾y T (x) = tx(a). Hay a(.) là
đieu khien toi ưu úng vói v% trí ban đau x.
Ngưoc lai, neu a(.) ∈ A là đieu khien toi ưu úng vói x thì
h(0) = T (x) = tx(a).
Mà trong chúng minh cna nguyên lý quy hoach đ®ng chúng ta có ket
quá:
tx(a) ≥ h(s).
V¾y h(0) = h(s), do h là hàm không giám.


1.1.4

Phương trình Hamilton-Jacobi-Bellman

Tiep theo chúng ta se đưa ra các phương trình Hamilton-JacobiBellman là dang vi phân cna các Nguyên lý quy hoach đ®ng.
M¾nh đe 1.1.8. Giá sú hàm giá tr% là C 1 trong m®t lân c¾n cúa x
(cúa
(x, t) đoi vói bài toán vói thòi gian huu han). Khi đó
• TH1: Bài toán vói thòi gian vô han:
V∞(x) + max{−f (x, a).DV∞(x) − l(x, a)} = 0;
a∈A

• TH2: Bài toán vói thòi gian huu han:
∂v
∂t

(x, t) + H(x, Dxv(x, t)) = 0, t > 0,

• TH3: Bài toán tìm thòi gian toi thieu:
H(x, DT (x)) = 1,

x ∈/ T , T (x) < +∞,

• TH4: Bài toán chiet khau thòi gian toi thieu:
V (x) + H(x, DV (x)) = 1, x ∈/ T ,
trong
đó

H(x, p) := max{−f (x, a).p}.
a∈A

Chúng minh. (cho bài toán tìm thòi gian toi thieu).
1. Ta chúng minh H(x, DT (x)) ≤ 1. Co đ%nh m®t đieu khien hang
a(t) ≡ a0 và đ¾t y(t) = yx(t, a). Tù nguyên lý quy hoach đ®ng ta có
T (x) − T (y(s)) ≤ s vói 0 ≤ s < T (x).
chia hai ve cho s > 0 ta đưoc:
T (x) − T (y(s))

⇔−

s T
T (x) −
(y(s))
y(0) − y(s)
·

≤1
y(s) − y(0)

s

≤ 1.


−DT (x).yr(0) ≤ 1.

Cho s → 0 ta nh¾n
đưoc

Do yr(0) = f (x, a0) và a0 ∈ A là tùy ý nên ta thu đưoc
max{−f (x, a).DT (x)} ≤ 1.
a∈A

2. Ta chúng minh H(x, DT (x)) ≥ 1. Vói moi ε, s > 0 nhó, theo nguyên lý
quy hoach đ®ng ta có m®t a ∈ A sao cho
T (x) ≥ s + T (y(s)) − εs,
trong đó y(s) := yx(s, a). Do v¾y
T (x) − T (y(s))
1−ε
¸ ss
≤
1
d
T (y(s))ds
=−
ds
s ¸ 0s
DT (y(s)).yr(s)ds
1

=−
s 0
¸ s DT (x).f (x, a(s))ds + o(1),
1
=−
s 0
≤ max{−DT (x).f (x, a)} + o(1).

s→0

a∈A

Bang cách cho s và ε tien đen 0 ta nh¾n đưoc 1 ≤ H(x, DT
(x)).
Moi phương trình đao hàm riêng trên đeu đưoc gan m®t cách tn
nhiên vói m®t đieu ki¾n biên. Khi đó chúng ta có các bài toán biên
ho¾c bài toán ban đau mà úng cú viên nghi¾m cna nó là hàm giá tr%:
• TH1: Bài toán vói thòi gian vô han:
u + max{−f (x, a).Du(x) − l(x, a)} = 0 trong RN ;
(1.5)
a∈A

• TH2: Bài toán vói thòi gian vô han có ràng bu®c trang thái:

u + max{−f (x, a).Du(x) − l(x, a)} = 0trong Ω,
a∈Ax

u
+

 max{−f (x, a).Du(x) − l(x, a)} ≥ 0
a∈Ax

trên
∂Ω;

(1.6)


× (0,
• TH3: Bài toán vói thòi gian huu han:
+∞),
.
N
+ H(x, Dx(u) = 0 trong R
∂t

(1.7)

∂u

u(x, 0) = g(x)

trên RN × 0;

• TH4: Bài toán tìm thòi gian toi thieu:

H(x, Du) = 1 trong Ω \ T
,u = 0

trên ∂T ,

u(x) → +∞ khi x → ∂Ω,

(1.8)

trong đó Ω ⊇ T là m®t t¾p mó.
• TH5: Bài toán chiet khau thòi gian toi thieu:
+ H(x, Du) = 1 trong RN \ T
,u=0
trên ∂T ,

.u

(1.9)
Đe ý rang các bài toán biên úng vói bài toán vói thòi gian huu han
(1.7) úng vói bài toán chiet khau thòi gian toi thieu (1.9) tương úng
đưoc goi là bài toán Cauchy và bài toán Dirichlet (nhưng các t¾p mó
RN \T có the không b% ch¾n, chang han khi t¾p đích T là compact).
Phương trình đao hàm riêng úng vói bài toán vói thòi gian vô han (1.5)
đưoc đ¾t trong toàn b® không gian. Lúc này, tính b% ch¾n cna V∞ có
the đưoc xem như là đieu ki¾n biên ”ó vô cnc” cna phương trình đó.
Đieu ki¾n biên cna bài toán có ràng bu®c trang thái (1.6) là mói và lan
đau tiên nó đưoc đ¾t ra bói Soner. Bài toán biên úng vói bài toán tìm
thòi gian toi thieu (1.8) là bài toán biên tn do; chúng ta muon rang: Ω
= R := {x : T (x) < +∞}, (de thay R là t¾p mó và T (x) → +∞
khi x → ∂R neu h¾ đieu khien đưoc ó gan T ).


1.1.5

Phương pháp quy hoach đ®ng

Lý thuyet co đien cna phương pháp quy hoach đ®ng thnc hi¾n vói
giá thiet phương trình Hamilton-Jacobi-Bellman có m®t nghi¾m (đôi
khi chí can m®t nghi¾m dưói) và dùng nghi¾m đó đe chí ra các đieu
ki¾n đn đe ton tai đieu khien toi ưu. Ket quá khi đó thưòng đưoc goi là
đ%nh lý kiem chúng. Sau đây là m®t ví du ve ket quá như v¾y đoi vói
bài toán chiet khau thòi gian toi thieu. Trưóc het ta đưa ra đ%nh nghĩa
hàm kiem chúng co đien:
Đ%nh nghĩa 1.1.9. Hàm kiem chúng co đien là m®t hàm b% ch¾n u ∈
C(RN ) ∩ C1(RN \ T ) sao cho
+ H(x, Du) ≤ 1
u≤0
.

.u

trong RN \ T ,
trên ∂T

(1.10)

Đ%nh lý 1.1.10. Giá sú u là m®t hàm kiem chúng co đien cúa bài toán
chiet khau thòi gian toi thieu, x ∈/ T , a∗ (.) ∈ A.
(i) Neu u(x) ≥ J (x, a∗) thì a∗(.) là m®t đieu khien toi ưu úng vói
x
(ii) Neu
(t))
− f (y∗(t), a∗(t)).Du(y∗(t)) = 1 vói hau het t ≤

∗
tx(a ), u = 0
trên ∂T ,
(1.11)

.u(y

∗

trong đó y∗(.) := yx(., a∗), thì a∗(.) là đieu khien toi ưu úng vói x.
Chúng minh.
(i)Chúng ta se chúng minh u(x) ≤ V (x), vói V là hàm giá tr%. Neu có
đieu đó thì ta se có V (x) = J (x, a∗), chúng tó a∗(.) là đieu khien toi
ưu úng vói x. Th¾t v¾y, lay bat kỳ a(.) ∈ A; y(.) = yx(., a), tù (1.10)
ta có
d
[−e−tu(y(t))] = e−t[u(y(t)) − Du(y(t)).f (y(t), a(t))] ≤ e−t
d
t


vói hau het t ≤ tx(a). Tích phân hai ve ta nh¾n đưoc
¸ t
¸ t [−e−tu(y(t))]dt
e−tdt
d
≤
0
0 dt
⇔ u(x) − e−tu(y(t)) ≤ 1 − e−t.

Cho t → tx(a), có các tình huong sau xáy ra:
a. Neu tx(a) = +∞ thì do u b% ch¾n nên u(x) ≤ 1 = J (x, a).
b. Neu tx(a) < +∞ thì ta có
u(x) − e−tx(a)u(y(tx(a))) ≤ 1 − e−tx(a).
Khi đó y(tx(a)) ∈ ∂T , mà u là hàm kiem chúng co đien nên u(y(tx(a)))
≤
0, do đó
u(x) ≤ u(x) − e−tx(a)u(y(tx(a))) ≤ 1 − e−tx(a) = J (x, a).
V¾y ta luôn có
J (x, a) = 1 − e−tx(a) ≥ u(x).
Do a là tùy ý nên ta có V (x) ≥ u(x). Chúng tó ta có đieu phái
chúng minh.
(ii) Đ¾t

Ta
có

¸
h(s) :
=

t

e−tdt + u(y∗(s))e−s.

(1.12)

0

h(s) = 1 − e−s + u(y∗(s))e−s = 1 + [u(y∗(s)) − 1]e−s.

và
hr(s) = e−s[1 − u(y∗(s)) + Du(y∗(s)).f (y∗(s), a(s))] = 0
(do(1.11)).
Chúng tó h(s) là hàm không đoi, nói riêng h(s) là hàm không tăng. Mà
u = 0 trên ∂T , nên
)
∗
u(x) = h(0) ≥ h(tx(a∗)) = 1 − e−tx(a
= J (x, a∗).

Theo phan (i) ta có a∗(s) là m®t đieu khien toi ưu úng vói x.


Nh¾n xét 1.1.11. Neu hàm kiem chúng u là m®t nghi¾m cúa phương
trình HJB :
u + H(x, Du) = 1 trong RN \ T ,
thì đieu ki¾n đú đe m®t đieu khien là toi ưu (1.11) tương đương vói
−f (y∗(s), a∗(s)).Du(y∗(s)) = max{−f (y∗(s), a).Du(y∗(s))}
a∈A

= H(y∗(s), Du(y∗(s)))
vói hau het 0 < s < tx(a).
Nh¾n xét 1.1.12. Neu chúng ta lay chính hàm giá tr% V làm m®t hàm
kiem chúng (nhưng đieu này chí đưoc thnc hi¾n neu V trơn), thì đieu
ki¾n đú đe m®t đieu khien là toi ưu (1.11) cũng là đieu ki¾n can. Th¾t
v¾y, theo nguyên lý quy hoach đ®ng (M¾nh đe 1.1.7), neu a∗ là
đieu khien toi ưu úng vói x thì hàm h xác đ%nh bói (1.12) vói u = V
là hàm hang. Khi đó
0 = hr(s) = e−s[1 − V (y∗(s)) + DV (y∗(s)).f (y∗(s), a∗(s))],
hay (1.11) thóa mãn vói u = V.

Bưóc cuoi cùng cna phương pháp quy hoach đ®ng là chúng ta co
gang xây dnng m®t đieu khien toi ưu dưói dang phán hoi tù nhung
hieu biet ve hàm giá tr%. Chúng tôi se minh hoa bưóc này đoi vói bài
toán chiet khau thòi gian toi thieu dưói m®t vài giá thiet khá ch¾t. Giá
sú hàm giá tr% V là trơn và xét t¾p con sau cna A
S(z) : = arg minf (z, a).DV (z)
a∈A

= {a ∈ A : H(z, DV (z)) = −f (z, a).DV (z)}.
Đây là t¾p các đieu khien a mà úng vói chúng hàm giá tr% V giám
nhanh nhat theo hưóng f (z, a) tương úng.
Đ%nh nghĩa 1.1.13. Moi ánh xa Φ : RN → A sao cho vói moi x ∈ RN
bài toán

.

yr = f (y, Φ(y)), t > 0,
y(0) = x,


có nghi¾m duy nhat đưoc goi là m®t phán hoi chap nh¾n đưoc. Phán
hoi chap nh¾n đưoc Φ đưoc goi là phán hoi toi ưu úng vói x neu
Φ(y(.)) ∈ A
là m®t đieu khien toi ưu úng vói x.
Theo Đ%nh lý 1.1.10 và Nh¾n xét 1.1.11, m®t đieu khien a∗(t) ∈ A
là toi ưu úng vói x khi và chí khi
a∗(t) ∈ S(yx(t, a∗)) vói hau het t > 0.
Vì v¾y neu phán hoi chap nh¾n đưoc Φ thóa mãn
Φ(z) ∈ S(z), ∀z ∈ RN ,
thì Φ là toi ưu úng vói moi điem ban đau x ∈ RN .

Phương pháp này thnc hi¾n đưoc đoi vói các bài toán liên quan
đen h¾ tuyen tính và các hàm chi phí b¾c hai. Trong trưòng hop này
hàm giá tr% là hàm b¾c hai và nó có the tính đưoc bang cách giái
m®t phương trình đơn gián hơn nhieu so vói phương trình HamiltonJacobi-Bellman (đó là phương trình Riccati), S(z) là t¾p m®t điem
vói moi z và phan tú Φ(z) cna nó là m®t hàm trơn cna z, nên Φ(z) là
m®t phán hoi chap nh¾n đưoc toi ưu. Tuy nhiên trong hau het các bài
toán ta thưòng g¾p nhung khó khăn sau:
(a) Hàm giá tr% V không trơn;
(b) Th¾m chí trong t¾p con mà ó đó V trơn thì S(z) cũng không là t¾p
m®t điem;
(c) Không có phán hoi chap nh¾n đưoc Φ nào thóa mãn:
Φ(z) ∈ S(z), vói moi z.