Tìm hiểu về bài toán ổn định hóa hệ markov dương (2018)

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2
KHOA TOÁN
——————–o0o———————

NGÔ THÙY LINH

TÌM HIỂU VỀ BÀI TOÁN ỔN ĐỊNH HÓA
HỆ MARKOV DƯƠNG

KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC
Chuyên ngành: Toán ứng dụng

HÀ NỘI, 2018


TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2
KHOA TOÁN
——————–o0o———————

NGÔ THÙY LINH

TÌM HIỂU VỀ BÀI TOÁN ỔN ĐỊNH HÓA
HỆ MARKOV DƯƠNG

KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC
Chuyên ngành: Toán ứng dụng

Người hướng dẫn khoa học

ThS. NGUYỄN TRUNG DŨNG

HÀ NỘI, 2018


LỜI CAM ĐOAN

Khóa luận tốt nghiệp “Tìm hiểu về bài toán ổn định hóa hệ Markov
dương” được hoàn thành do sự cố gắng, nỗ lực tìm hiểu nghiên cứu của bản
thân cùng với sự giúp đỡ, hướng dẫn tận tình của thầy Nguyễn Trung Dũng.
Tôi xin cam đoan khóa luận tối nghiệp này không trùng lặp với các khóa
luận của tác giả khác.
Hà Nội, ngày 8 tháng 5 năm 2018.
Sinh viên

Ngô Thùy Linh

1


LỜI CẢM ƠN

Trước hết cho tôi bày tỏ lòng cảm ơn sâu sắc đến thầy giáo Nguyễn Trung
Dũng đã tận tình hướng dẫn và giúp đỡ tôi trong suốt thời gian nghiên cứu
thực hiện khóa luận.
Tôi xin chân thành cảm ơn các Thầy-Cô của khoa Toán, Trường Đại học Sư
phạm Hà Nội 2 đã tận tình giảng dạy, trang bị cho tôi những kiến thức chuyên
môn cần thiết trong quá trình học tập tại trường. Tôi cũng xin gửi lời cảm ơn
tới gia đình, người thân bạn bè đã động viên khuyến khích tôi hoàn thành tốt
khóa luận này.
Trong quá trình nghiên cứu đề tài không tránh khỏi những sai sót. Vì vậy,
tôi rất mong nhận được những ý kiến đóng góp của thầy cô và bạn đọc để khóa

luận của tôi được hoàn thiện hơn. Tôi xin chân thành cảm ơn!
Hà Nội, ngày 8 tháng 5 năm 2018.
Sinh viên

Ngô Thùy Linh

2


MỤC LỤC

Trang
Lời cam đoan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

Lời cảm ơn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

Kí hiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

MỞ ĐẦU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6

1. KIẾN THỨC CHUẨN BỊ . . . . . . . . . . . . . . . . . . . . . . . . . .

8

1.1. Xích Markov rời rạc thuần nhất và hữu hạn . . . . . . . . . . . . .

8

1.1.1. Các định nghĩa . . . . . . . . . . . . . . . . . . . . . . . . . .

8

1.1.2. Phương trình Chapman-Kolmogorov . . . . . . . . . . . . . .

9

1.1.3. Phân phối ban đầu . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2. Mô hình hệ nhảy Markov rời rạc . . . . . . . . . . . . . . . . . . . . 11
1.3. Tính ổn định của hệ nhảy Markov tuyến tính rời rạc . . . . . . . . 13
1.4. Một số khái niệm và kết quả bổ trợ . . . . . . . . . . . . . . . . . . 17
2. BÀI TOÁN ỔN ĐỊNH HÓA HỆ MARKOV DƯƠNG . . . . . . . . . 18
2.1. Một số định nghĩa . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.2. Phân tích tính ổn định . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.2.1. Trường hợp thời gian liên tục . . . . . . . . . . . . . . . . . . 20
2.2.2. Trường hợp thời gian rời rạc . . . . . . . . . . . . . . . . . . . 21
2.3. Ổn định hóa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3.1. Trường hợp thời gian liên tục . . . . . . . . . . . . . . . . . . 22
2.3.2. Trường hợp thời gian rời rạc . . . . . . . . . . . . . . . . . . . 23
2.4. Ví dụ số . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
3

TÀI LIỆU THAM KHẢO . . . . . . . . . . . . . . . . . . . . . . . . . . 30

4


KÍ HIỆU

R+

Tập hợp các số thực không âm.

Rn

Không gian vectơ Euclide n-chiều.

Rm×n

Tập các ma trận thực cấp m × n.

Sn

Tập các ma trận thực đối xứng cấp n.

S+
n

Tập các ma trận đối xứng xác định dương cấp n.

A

Ma trận chuyển vị của ma trận A.

A⊗B

Tích Kronecker của hai ma trận A và B .

A

0

Tất cả các phần tử của A không âm.

A

0

Tất cả các phần tử của A dương.

col{A, B}

Ma trận khối cột

A

.

B
diag{A, B}

Ma trận khối chéo

A

0

0

B

.

λ(A)

Tập các giá trị riêng của ma trận A.

λmax (A)

max {Reλ : λ ∈ λ(A)}.

λmin (A)

min {Reλ : λ ∈ λ(A)}.

σ(A)

Bán kính phổ của ma trận A (i.e. max{|λ| : λ ∈ λ(A)}).

(Ω, F, P)

Không gian xác suất đầy đủ.

E[.]

Toán tử kỳ vọng.

LMIs

Bất đẳng thức ma trận tuyến tính.

MJSs

Hệ nhảy Markov (Markov jump systems).

5


MỞ ĐẦU

1. Lý do chọn đề tài nghiên cứu
Trong những năm gần đây, vấn đề nghiên cứu định tính các hệ Markov
đã nhận được sự quan tâm và chú ý của nhiều nhà khoa học ở trong nước và
trên thế giới. Việc nghiên cứu này có nhiều ứng dụng trong kỹ thuật như mô
phỏng máy tính, hệ thống kĩ thuật, sinh học, y tế . . . Chính vì vậy, nghiên
cứu tính ổn định của hệ Markov đóng vai trò vô cùng quan trọng đối với quá
trình nghiên cứu lý thuyết các hệ động lực. Dựa trên sự định hướng của Thạc
sỹ Nguyễn Trung Dũng, tôi chọn đề tài: Tìm hiểu về bài toán ổn định hóa
hệ Markov dương làm đề tài khóa luận tốt nghiệp.

2. Mục đích nghiên cứu

1. Tìm hiểu các khái niệm ổn định và hệ Markov dương trong trường hợp thời
gian rời rạc và thời gian liên tục.
2. Tìm hiểu các tiêu chuẩn ổn định ngẫu nhiên của hệ Markov dương trong
trường hợp thời gian rời rạc và thời gian liên tục.
3. Tìm hiểu bài toán thiết kế bộ điều khiển phản hồi ổn định hóa hệ Markov
dương.

3. Nhiệm vụ nghiên cứu
1. Trình bày kiến thức về hệ Markov dương.
2. Trình bày tiêu chuẩn ổn định ngẫu nhiên của hệ Markov dương và thiết kế
một bộ điều khiển ngược để hệ đóng của nó là ổn định.

4. Đối tượng và phạm vi nghiên cứu
1. Đối tượng nghiên cứu: Hệ Markov dương.
6


2. Phạm vi nghiên cứu: Tiêu chuẩn ổn định hóa hệ Markov dương.

5. Cấu trúc khóa luận
Ngoài phần mở đầu, kết luận, danh mục tài liệu tham khảo thì khóa luận
bao gồm 2 chương:
1. Chương 1: Kiến thức chuẩn bị.
2. Chương 2: Bài toán ổn định hóa hệ Markov dương.

7


Chương 1
KIẾN THỨC CHUẨN BỊ

Trong chương này, chúng tôi nhắc lại một số khái niệm trong giải tích ngẫu
nhiên, xích Markov rời rạc, mô hình hệ nhảy Markov và một số kết quả bổ trợ
có liên quan đến nội dung khóa luận.

1.1. Xích Markov rời rạc thuần nhất và hữu hạn
Trong mục này, chúng tôi nhắc lại một số kết quả liên quan đến xích Markov
rời rạc thuần nhất và hữu hạn. Nội dung của mục này dựa trên tài liệu [3].

1.1.1. Các định nghĩa
Cho {rk }k∈Z0 là một dãy các biến ngẫu nhiên xác định trên không gian xác
suất (Ω, F, P) và cùng nhận giá trị trong một tập M không quá đếm được.
Định nghĩa 1.1.1 ([3]). Dãy R = {rk }k∈Z0 được gọi là một xích Markov nếu với
mọi k ∈ Z0 ,
P {rk+1 = j|r0 = i0 , . . . , rk−1 = ik−1 , rk = i} = P {rk+1 = j|rk = i}

(1.1)

với mọi i0 , i1 , . . . , ik−1 , i, j ∈ M.
• P {rk+1 = j|rk = i} được gọi là xác suất chuyển của xích từ trạng thái i ở

thời điểm k sang trạng thái j ở thời điểm k + 1.
• Tập M được gọi là không gian trạng thái của xích R.
• Nếu tập M có hữu hạn phần tử thì xích R được gọi là hữu hạn.
• Nếu xác suất chuyển πij

P {rk+1 = j|rk = i} không phụ thuộc vào thời

gian k thì xích R được gọi là thuần nhất.
Nhận xét 1.1.1. Đẳng thức (1.1) diễn tả luật Markov của quá trình {rk }k∈Z0 .

8


Ví dụ 1.1.1. Hình 1.1 mô tả một xích Markov với 3 trạng thái M = {1, 2, 3}.
Mỗi trạng thái còn được gọi là một mode. Theo xích Markov trên Hình 1.1, hệ
sẽ chuyển từ mode i nào đó sang mode j = i với xác suất πij và xác suất ở tại
mode i ∈ M là πii .

Hình 1.1: Xích Markov với 3 trạng thái

Cho {rk }k∈Z0 là một xích Markov rời rạc thuần nhất với không gian trạng
thái hữu hạn M. Khi đó, ma trận Π = (πij )i,j∈M được gọi là ma trận xác suất
chuyển của xích {rk }. Chú ý rằng πij ≥ 0 với mọi i, j ∈ M. Hơn nữa, do công
thức xác suất đầy đủ,

j∈M πij

= 1 với mọi i ∈ M.

1.1.2. Phương trình Chapman-Kolmogorov
Cho {rk }k∈Z0 là một xích Markov rời rạc thuần nhất và hữu hạn với ma
trận xác suất chuyển Π = (πij )i,j∈M .
(s)
Định nghĩa 1.1.2 ([3]). Xác suất chuyển sau s bước, kí hiệu bởi πij
, được định

nghĩa bởi
(s)

πij = P {rk+s = j|rk = i} .
(s)
Chú ý từ định nghĩa trên rằng πij
là xác suất để tại thời điểm ban đầu

xích ở trạng thái i, sau s bước xích chuyển sang trạng thái j .
(s)
Nhận xét 1.1.2. Từ tính thuần nhất của xích, ta có πij
= P {rs = j|r0 = i}. Rõ

9


(1)
(s)
ràng πij
= πij . Kí hiệu Π(s) = (πij ) với quy ước

1 nếu i = j,
(0)
πij =
0 nếu i = j.
(s)
Khi đó, ma trận Π(s) = (πij
) được gọi là ma trận xác suất chuyển sau s bước.

Sử dụng công thức xác suất đầy đủ và tính Markov, ta có kết quả sau.
Mệnh đề 1.1.1 ([3]). Với mọi s ∈ Z0 ,
(s+1)

πij

(s)

πil πlj ,

=

(1.2)

l∈M
(s+1)

πij

=

πil πlj .

(s)

(1.3)

(s) (m)

(1.4)

l∈M

Tổng quát, với mọi s, m ∈ Z0 , ta có

(s+m)

πij

=

πil πlj .
l∈M

Phương trình (1.4) được gọi là phương trình Chapman-Kolmogorov.
Nhận xét 1.1.3. Từ Mệnh đề 1.1.1, ta có các phương trình ma trận sau:
Π(s+1) = ΠΠ(s) = Π(s) Π,
Π(s+m) = Π(s) Π(m) .

1.1.3. Phân phối ban đầu
Định nghĩa 1.1.3 ([3]). Phân phối của xích tại thời điểm s được xác định bởi
(s)
p(s) = p(s)
p2 · · ·
1

(s)
pm ,

(0) là phân phối
ở đó p(s)
j = P {rs = j}, s ≥ 0, j ∈ M = {1, 2, . . . , m}. Ta gọi p = p

ban đầu của xích.
Kết quả sau đây suy trực tiếp từ công thức xác suất đầy đủ.

Mệnh đề 1.1.2 ([3]). Với mọi s, m ∈ Z0 , ta có
p(s) = pΠ(s) ,
p(s+1) = p(s) Π = p(1) Π(s) ,
p(s+m) = p(s) Π(m) .
10


Định nghĩa 1.1.4 ([3]). Xích {rk }k∈Z0 được gọi là dừng nếu p(s) không phụ thuộc
vào s, tức là
p = p(s) hay p = pΠ.

Như vậy, một xích Markov rời rạc thuần nhất với không gian trạng thái
hữu hạn M là bộ ba (rk , p, Π), trong đó
• rk là dãy các biến ngẫu nhiên rời rạc nhận giá trị trong M,
• p là phân phối ban đầu,
• Π là ma trận xác suất chuyển.

Ví dụ 1.1.2. Xét một xích Markov rời rạc thuần nhất không gian trạng thái
M = {0, 1} và ma trận xác suất chuyển Π =

1−α

α

β

1−β

. Bây giờ ta tính Π(s) .

(s)
Từ Π(s) = Π(s−1) Π suy ra phần tử π00
được xác định bởi
(s)

(s−1)

(1 − α) + π01

(s−1)

(1 − α) + (1 − π00

π00 = π00
= π00

(s−1)

β
(s−1)

(s−1)

= β + (1 − α − β)π00

)β

.

(0)

(0)
= 1 và π01 = 1 − α. Do đó,
Đây là công thức truy hồi theo s, với π00
(s)

π00 = A + B(1 − α − β)s ,

với A + B = 1, A + B(1 − α − β) = 1 − α. Từ đó ta có


 β + α (1 − α − β)s nếu α + β > 0,
(s)
π00 =

α+β

α+β

nếu α = β = 0.


1

(s)
(s)
(s)
Xác xuất π11
được tính tương tự, còn các phần tử π01
và π10
được tính qua

phép toán lấy phần bù.

1.2. Mô hình hệ nhảy Markov rời rạc
Trong mục này, chúng tôi giới thiệu một số ví dụ về mô hình hệ nhảy
Markov rời rạc.

11


Ví dụ 1.2.1 ([4]). Xét mô hình một hệ thống máy sản xuất một loại sản phẩm.
Tốc độ sản xuất theo yêu cầu là một hằng số d > 0. Mục tiêu của hệ thống là
sản xuất ra sản phẩm đáp ứng được yêu cầu về tốc độ sản xuất. Ta giả thiết hệ
thống chỉ hoạt động khi tất cả các máy hoạt động tốt. Do đó, hệ thống có thể
rơi vào một trong hai trạng thái là hoạt động hoặc dừng. Vì các máy hoạt động
độc lập và các máy hỏng là ngẫu nhiên nên trạng thái hoạt động của hệ thống
được mô tả bởi một xích Markov {rk } với không gian trạng thái M = {0, 1}, ở
đó rk = 0 là trạng thái máy bị hỏng và rk = 1 là trạng thái máy hoạt động tốt.
Hơn nữa, chúng ta cũng giả thiết rằng, trong trạng thái hoạt động, hệ thống có
thể sản suất với tốc độ u với số lượng sản phẩm cực đại là l > d.
Kí hiệu x(k) là tổng lượng hàng kiểm kê tại thời điểm k , tức là x(k) bằng
tổng sản phẩm tính đến thời điểm k trừ tổng lượng hàng yêu cầu đến thời điểm
k . Khi đó, hệ thống được mô tả bởi hệ nhảy Markov rời rạc sau đây

x(k + 1) =


x(k) + u(k) − d

nếu rk = 1,

x(k) − d

nếu rk = 0, k ∈ Z0 ,

(1.5)

trong đó u(k) là biến điều khiển tốc độ sản xuất.
Ví dụ 1.2.2 ([6]). Một máy đun nước dùng năng lượng mặt trời được cấu tạo
bởi (Hình 1.2): Hệ thống gương phản chiếu ánh sáng mặt trời có thể di chuyển
được, một tháp chứa bình nước có thể điều chỉnh được lượng nước và bộ cáp
chuyển năng lượng mặt trời vào bình nước. Năng lượng truyền vào bình nước
phụ thuộc vào điều kiện thời tiết. Nếu trời nắng, năng lượng truyền vào bình
nước nhiều hơn và ngược lại, nếu trời nhiều mây năng lượng nhận được ít đi.

12


Hình 1.2: Máy năng lượng mặt trời

Dựa vào các dữ liệu thống kê, điều kiện thời tiết có thể được mô tả bởi
một xích Markov với hai trạng thái là “có nắng” và “nhiều mây”. Kí hiệu x(k) là
nhiệt lượng mặt trời ở thời điểm k thì mô hình điều khiển nhiệt lượng có dạng

x(k + 1) = A(rk )x(k) + B(rk )u(k),
z(k) = C(r )x(k) + D(r )u(k),
k
k
ở đó {rk } là một xích Markov rời rạc với không gian trạng thái M = {1, 2} mô
tả điều kiện thời tiết,

rk =


1

nếu trời có nắng ,

2

nếu trời nhiều mây.

1.3. Tính ổn định của hệ nhảy Markov tuyến tính rời rạc
Trong mục này, chúng tôi giới thiệu một số khái niệm và kết quả cơ bản về
tính ổn định của hệ nhảy Markov tuyến tính rời rạc.
Trên không gian xác suất đủ (Ω, F, P), cho xích Markov rời rạc thuần nhất
{rk }k∈Z0 với không gian trạng thái hữu hạn M = {1, 2, . . . , m}. Xác suất chuyển

của xích được cho bởi
P {rk+1 = j|rk = i} = πij ≥ 0.
13


Kí hiệu Π = (πij ) là ma trận xác suất chuyển và p = (p1 , p2 , . . . , pm ) là phân phối
ban đầu của xích, ở đó pi = P{r0 = j}, j ∈ M.
Xét hệ điều khiển mô tả bởi hệ nhảy Markov rời rạc tuyến tính sau đây
x(k + 1) = A(rk )x(k) + B(rk )u(k), k ∈ Z0 , x(0) = x0 ,

(1.6)

ở đó x(k) ∈ Rn là vectơ trạng thái của hệ, u(k) ∈ Rm là vectơ điều khiển đầu vào

và A(rk ), B(rk ) là các ma trận hằng cho trước với số chiều phù hợp.
Giả sử hàm điều khiển phản hồi được thiết kế dạng
u(k) = K(rk )x(k),

(1.7)

ở đó K(rk ) ∈ Rm×n là ma trận đạt được của điều khiển. Khi đó, hệ đóng của
(1.6) có dạng
x(k + 1) = Ac (rk )x(k), k ∈ Z0 ,

(1.8)

ở đó Ac (rk ) = A(rk ) + B(rk )K(rk ).
Định nghĩa 1.3.1. Hệ mở của (1.6) (tức là u(k) = 0, ∀k ∈ Z0 ) được gọi là
(i) ổn định tiệm cận bình phương trung bình (AMSS), sau đây gọi tắt là ổn
định tiệm cận, nếu
lim E[ x(k, x0 , p) 2 ] = 0;

k→∞

(ii) ổn định mũ bình phương trung bình (EMSS), gọi tắt là ổn định mũ, nếu
tồn tại các hằng số α > 0, β > 0 sao cho
E[ x(k, x0 , p) 2 ] ≤ α x0

2

exp (−βk), k ≥ 0;

(iii) ổn định ngẫu nhiên (SS) nếu
∞

E[ x(k, x0 , p) 2 ] < ∞;
k=0

(iv) ổn định tiệm cận hầu chắc chắn (ASS) nếu
P

lim x(k, x0 , p) = 0 = 1.

k→∞

với mọi vectơ ban đầu x0 và mọi phân phối ban đầu p.
Định nghĩa 1.3.2. Hệ (1.6) được gọi là ổn định hóa được theo một nghĩa nào
đó nếu tồn tại một bộ điều khiển phản hồi dạng (1.7) sao cho hệ đóng (1.8) ổn
định theo nghĩa tương ứng.
14


Nhận xét 1.3.1. Đối với hệ tuyến tính (1.6) với xích Markov rời rạc thuần nhất
và hữu hạn, ta có
AMSS ⇐⇒ EMSS ⇐⇒ SS =⇒ ASS.
Định lí 1.3.1 ([6]). Các khẳng định sau là tương đương:
(i) Hệ (1.6) là ổn định tiệm cận.
(ii) rσ (A) < 1, ở đó A = (Π ⊗ In2 )diag(Ai ⊗ Ai ) và rσ (A) là bán kính phổ của
ma trận A.
(iii) Tồn tại các ma trận Pi ∈ S+
n , i ∈ M, thỏa mãn LMI sau
m

πij Pj Ai − Pi < 0.

Ai

(1.9)

j=1

Nhận xét 1.3.2. Trường hợp ma trận xác suất chuyển chỉ biết một phần [?, ?],
tức là một số phần tử của Π không biết, điều kiện (1.9) chứa tham số bất định.
Khi đó, điều kiện ổn định của hệ (1.6) chặt hơn rất nhiều. Chẳng hạn, khi m = 2
và các xác suất chuyển là không biết, tức là ma trận Π có dạng

? ?

, hệ (1.6)

? ?

ổn định với bất kì xác xuất chuyển khi và chỉ khi tồn tại một ma trận P ∈ S+
n
thỏa mãn điều kiện
Ai P Ai − P < 0, i = 1, 2.

Ví dụ 1.3.1 ([6]). Xét hệ (1.6) gồm hai mode với A1 =

(1.10)
4
3

và A2 = 31 . Chú ý rằng,

mode 1 không ổn định và mode 2 ổn định. Sự chuyển đổi giữa các mode được mô
tả bởi xích Markov rời rạc thuần nhất có ma trận xác suất chuyển Π =

1
2
1
2

1
2
1
2

.

Khi đó,
1
A=
2

16
9
16
9

1
9
1
9

, rσ (A) =

17
< 1.
18

Theo Định lí 1.3.1, hệ đã cho là ổn định tiệm cận. Tuy nhiên, vẫn với các tham
số của hệ như trên, ma trận xác suất chuyển Π bây giờ được cho bởi
Π=

0.9 0.1
0.9 0.1

15

,


nghĩa là hệ có thể ở lại mode 1 (mode không ổn định) lâu hơn. Khi đó,
A=

1
10
1
9

144
90
16

9

, rσ (A) = 1.61 > 1.

Theo Định lí 1.3.1, hệ không ổn định.
Ví dụ 1.3.2 ([6]). Xét hệ (1.6) gồm hai mode với các ma trận
A1 =

0

2

0 0.5

0.5 0

, A2 =

2

.

0

Rõ ràng, cả mode 1 và mode 2 đều ổn định tiệm cận. Giả sử sự chuyển đổi
giữa các mode được mô tả bởi xích Markov rời rạc thuần nhất với ma trận xác
suất chuyển
Π=

1

2
1
2

1
2
1
2

.

Trong trường hợp này rσ (A) = 2.125 > 1 và do đó hệ không ổn định tiệm cận.
Ví dụ 1.3.3 ([6]). Xét hệ (1.6) gồm hai mode với các ma trận
A1 =

2 −1
0

0

0 1

, A2 =

.

0 2

Trường hợp này, cả mode 1 và mode 2 đều không ổn định tiệm cận. Giả sử sự
chuyển đổi giữa các mode được mô tả bởi xích Markov rời rạc thuần nhất với

ma trận xác suất chuyển
Π=

0.1 0.9

.

0.9 0.1

Khi đó rσ (A) = 0.4 < 1 và do đó hệ là ổn định tiệm cận.
Nhận xét 1.3.3. Các ví dụ trên chỉ ra ảnh hưởng của các xác suất chuyển của
xích Markov lên tính ổn định của hệ. Cụ thể hơn, ngay cả khi tất cả các mode
ổn định tiệm cận, thậm chí ổn định mũ, không suy ra hệ nhảy Markov tương
ứng với một xích Markov nào đó là ổn định và ngược lại, cho dù tất cả các mode
đều không ổn định vẫn tồn tại xích Markov chuyển đổi các mode để hệ nhảy
Markov tương ứng ổn định theo một nghĩa nào đó.

16


1.4. Một số khái niệm và kết quả bổ trợ
Định nghĩa 1.4.1 (Ma trận Metzler). Ma trận A = [aij ] ∈ Rn×n được gọi là ma
trận Metzler nếu aij ≥ 0 với mọi i = j, i, j = 1, 2, . . . , n.
Ví dụ 1.4.1. Ma trận A =

0

1

2 −3

là ma trận Metzler.

Định nghĩa 1.4.2 (Ma trận Hurwitz). Ma trận A ∈ Rn×n được gọi là ma trận
Hurwitz nếu với mọi λ ∈ σ(A) thì Re(λ) < 0.
Định nghĩa 1.4.3 (Ma trận Schur). Ma trận A ∈ Rn×n được gọi là ma trận
Schur nếu với mọi λ ∈ σ(A) thì |λ| < 0.
Các bổ đề dưới đây được sử dụng để chứng minh các kết quả chính của
chương sau.
Bổ đề 1.4.1 ([7]). Cho M ∈ Rn×n là một ma trận Metzle. Khi đó M là một ma
trận Hurwitz nếu và chỉ nếu tồn tại một vectơ v 0 sao cho M v ≺ 0.
Bổ đề 1.4.2 ([8]). Cho M
chỉ nếu tồn tại một vectơ v

0 ∈ Rn×n . Khi đó M là một ma trận Schur nếu và
0 sao cho (M − I) v ≺ 0.

17


Chương 2
BÀI TOÁN ỔN ĐỊNH HÓA HỆ MARKOV DƯƠNG

Nội dung của chương này trình bày các kết quả ổn định và ổn định hóa lớp
hệ nhảy Markov dương. Các kết quả được tham khảo chính trong tài liệu [9].

2.1. Một số định nghĩa
Cho không gian xác suất đầy đủ (Ω, F, P), trong đó Ω là không gian mẫu,
F là σ - đại số của các biến cố và P là độ đo xác suất xác định trên F .

Xét hệ nhảy Markov (MJS) thời gian liên tục như sau:
.

(2.1)

x(t) = A(rt )x(t) + B(rt )u(t),

Xét hệ nhảy Markov (MJS) thời gian rời rạc như sau:
(2.2)

x(k + 1) = A(rk )x(k) + B(rk )u(k),

ở đó x(t), x(k) ∈ Rn là vectơ trạng thái, u(t), u(k) ∈ Rm là điều khiển đầu vào.
Đối với trường hợp liên tục, {rt , t ≥ 0} là một quá trình Markov, đối với trường
hợp rời rạc {rk , k ≥ 0} là một xích Markov cùng nhận giá trị trong một tập hữu
hạn S

{1, . . . , N } mô tả các mode chuyển đổi khác nhau của hệ.

Đối với hệ MJS thời gian liên tục, xác suất chuyển đổi mode của quá trình
Markov {rt , t ≥ 0} cho bởi

Pr {rt+1 = j|rt = i} =


λij ∆ + o (∆)

nếu i = j,

1 + λ ∆ + o (∆) nếu i = j,

ij
trong đó ∆ > 0, lim∆→0 {o (∆)/∆} = 0, λij > 0 (i, j ∈ S, i = j) là tốc độ chuyển đổi
từ mode i tại thời điểm t sang mode j vào thời điểm t + ∆ và λii = −

s
j=1,j=i λij

∆

với mọi i ∈ S. Ma trận tốc độ chuyển đổi được kí hiệu là Λ = [λij ].
Đối với hệ MJS thời gian rời rạc, xác suất chuyển đổi mode của xích Markov
{rk , k >≥ 0} cho bởi
18


Pr (rt+1 = j|rt = i) = πij ,

trong đó πij ≥ 0, ∀i, j ∈ S và

N
j

πij = 1. Tương tự, ma trận xác suất chuyển

∆

được kí hiệu là Π = [πij ].
Tập S chứa N mode của hệ (2.1) hoặc (2.2). Với mode thứ i các ma trận
hệ được kí hiệu là Ai , B i .
Tiếp theo, chúng ta trình bày một số khái niệm về tính dương và tính ổn

định của lớp hệ (2.1) và (2.2) như sau.
Định nghĩa 2.1.1. Hệ (2.1) với u (t) = 0 được gọi là dương nếu với bất kỳ điều
kiện ban đầu x0 ∈ Rn+ và r0 ∈ S thì x(t) ≥ 0, ∀t ≥ 0. Hệ (2.2) với u (k) = 0
được gọi là dương nếu với bất kỳ điều kiện ban đầu x0 ∈ Rn+ và r0 ∈ S thì
x(k) ≥ 0, ∀k ≥ 0.

Định nghĩa 2.1.2. Giả sử rằng hệ (2.1) (tương ứng hệ (2.2)) với u (t) = 0
(u(k)=0) là dương. Khi đó, hệ được gọi là ổn định trung bình nếu lim E {x (t)} =
t→∞

0 ( lim E {x (k)} = 0) với bất kỳ điều kiện ban đầu x0 ∈ Rn+ và r0 ∈ S.
k→∞

Định nghĩa 2.1.3. Giả sử rằng hệ (2.1) (tương ứng hệ (2.2)) với u (t) = 0 (u (k) =
0) dương. Khi đó, hệ được gọi là ổn định moment cấp 1 nếu lim E { x (t) } = 0
t→∞

( lim E { x (k) } = 0) với bất kỳ điều kiện ban đầu x0 ∈ Rn+ và r0 ∈ S.
k→∞

2.2. Phân tích tính ổn định
Trong phần này, chúng ta sẽ thiết lập các tiêu chuẩn ổn định cho lớp hệ
MJSs dương. Đầu tiên chúng ta xây dựng các điều kiện tương đương giữa ổn
định trung bình và ổn định mômen cấp 1.
Định lí 2.2.1. Giả sử rằng hệ (2.1) (tương ứng hệ (2.2)) với u (t) = 0 (u(k) = 0)
là dương. Khi đó hệ là ổn định trung bình nếu và chỉ nếu hệ ổn định mômen
cấp 1.
Chứng minh. Điều kiện đủ: Giả sử rằng hệ (2.1) hoặc (2.2) là ổn định trung
bình. Theo Định nghĩa 2.1.2, ta có
n

lim E

t→∞

i=1

xi (t)

19

= n × 0 = 0.


Từ sự không âm của vector x (t), ta có
n

x (t) =

i=1

n

|xi (t)| =

i=1

xi (t) .

Do đó, ta có

lim E { x (t) } = lim E

t→∞

t→∞

n
i=1

xi (t)

= 0,

suy ra hệ ổn định mômen cấp 1.
Điều kiện cần: Giả sử rằng hệ là ổn định mômen cấp 1. Từ sự không âm của
vector x (t), suy ra với mọi i = 1, 2, . . . , n, 0 ≤ xi (t) ≤ x (t) . Khi đó, theo Định
nghĩa 2.1.1,
0 ≤ lim E {xi (t)} ≤ lim E { x (t) } = 0,
t→∞

t→∞

điều này suy ra hệ ổn định trung bình.

2.2.1. Trường hợp thời gian liên tục
Nội dung của phần này trình bày kết quả ổn định cho hệ (2.1) với u (t) = 0.
Định lí sau đây cho các điều kiện cần và đủ để hệ (2.1) với u (t) = 0 ổn định
trung bình.
Định lí 2.2.2. Giả sử rằng hệ (2.1) với u (t) = 0 là dương (hoặc tương đương
với mỗi i = 1, 2, . . . , N , ma trận hệ A(i) là Metzler). Khi đó, các khẳng định sau

là tương đương:
(i) Hệ (2.1) với u (t) = 0 là ổn định trung bình.
(ii) H là một ma trận Hurwitz, trong đó
H = diag A1 , . . . , As + ΛT ⊗I.

(iii) Tồn tại một tập các vectơ v i

(2.3)

0, i ∈ S sao cho
N

i i

πji v (j) ≺ 0, ∀i ∈ S.

A v +

(2.4)

j=1

Chứng minh. (i)⇔(ii). Theo Định lí 2 trong [5] ta có (i)⇔(ii).
(ii)⇔(iii). Vì A(i) , ∀i ∈ S và Λ là ma trận Metzler nên suy ra H là một ma
trận Metzler. Khi đó, theo Bổ đề 1.4.1, H là ma trận Hurwitz nếu và chỉ nếu
tồn tại một vectơ v

0 sao cho Hv ≺ 0. Đặt v = vec v (i) , khi đó chúng ta có sự

tương đương giữa (ii) và (iii).

20


2.2.2. Trường hợp thời gian rời rạc
Định lí sau cho điều kiện cần và đủ trên ổn định trung bình của hệ (2.2)
với u(k) = 0.
Định lí 2.2.3. Giả sử rằng hệ (2.2) với u (k) = 0 là dương (hoặc tương đương
với mỗi i = 1, 2, . . . , N ma trận hệ A(i)

0). Khi đó, các khẳng định sau là tương

đương:
(i) Hệ (2.2) với u (k) = 0 là ổn định trung bình.
(ii) F là một ma trận Schur, trong đó
F = ΠT ⊗I diag A(1) , ..., A(N ) .

(iii) Tồn tại một tập các vectơ v i

(2.5)

0, i ∈ S sao cho

N

πji A(j) v (j) − v (i) ≺ 0, i ∈ S.

(2.6)

j=1

Chứng minh. Từ Định lí 2.2.1, ổn định trung bình và ổn định mômen cấp 1 là
tương đương. Do đó, theo Định lí 1 trong [10], chúng ta có kết luận của định
lí.
Nhận xét 2.2.1. Các Định lý 2.2.2 và 2.2.3 cho các điều kiện cần và đủ để các
hệ MJSs dương với thời gian liên tục hoặc rời rạc là ổn định trung bình. Tất cả
các điều kiện đó có thể kiểm tra. Các điều kiện (iii) của Định lý 2.2.2 và 2.2.3
là tuyến tính và có thể giải như bài toán quy hoạch tuyến tính. Đối với các điều
kiện (ii) của Định lý 2.2.2 và 2.2.3, từ các Bổ đề 1.4.1 và 1.4.2 kiểm tra tính
chất Metzler của ma trận H và tính chất Schur của ma trận F cũng là các bài
toán quy hoạch tuyến tính, nghĩa là, tìm vectơ như tìm các vectơ c

0 và d

0

để thỏa mãn Hc ≺ 0 và (F − I) d ≺ 0, tương ứng.

2.3. Ổn định hóa
Trong phần này, chúng ta xét các bài toán ổn định hóa các hệ (2.1) và
(2.2). Bộ điều khiển phản hồi trạng thái được thiết kế sao cho hệ đóng là ổn
định trung bình. Các bộ điều khiển phản hồi được thiết kế có dạng như sau:

21


u (t) = K (rt ) x (t) ,

(2.7)

u (k) = K (rk ) x (k) ,

(2.8)

và

ở đó K (i) ∀ rt = i hoặc rk = i ∈ S là các ma trận đạt được cần xác định.

2.3.1. Trường hợp thời gian liên tục
Với bộ điều khiển phản hồi (2.7), hệ đóng của (2.1) có dạng
.

x(t) = [A(rt )x(t) + B(rt )K (t)] x(t).

(2.9)

Định lí sau đây cho các điều kiện cần và đủ tồn tại của bộ điều khiển dưới
dạng (2.7) sao cho hệ đóng (2.9) là dương và ổn định trung bình.
Định lí 2.3.1. Các phát biểu sau là tương đương.
(i) Tồn tại một bộ điều khiển ở dạng (2.7) sao cho hệ vòng lặp khép kín (2.9)
là dương và ổn định trung bình.
(ii) Tồn tại một tập các vectơ v (i)

0 và các ma trận K (i) sao cho với mỗi i ∈ S,

A(i) + B (i) K (i) là một ma trận Metzler và
(i)

N

+ B (i) K (i) v (i) +

A

j=1

(iii) Tồn tại một tập các vectơ v (i) = v1(i) . . . vn(i)

T

πji v (j) ≺ 0.

(2.10)

(i)
(i)
∈ Rn và c1 , . . . , cn ∈ Rm sao

cho với mỗi i ∈ S
v (j)
(i) (i)

v

A

n

+ B (i)

k=1

và A

=

a(i)
kl

,B

(i)

=

(i)
b1

T

...

N

c(i)
k +

(i) (i)
a(i)
v (i)
c

kl l + bk l
(i)

(2.11)

0,

(i)
bn

j=1

πji v (j) ≺ 0,

0, với k = l,

(2.12)
(2.13)

T T

.

Hơn nữa, nếu (2.11) - (2.13) có nghiệm, ma trận đạt được cho bởi
K

(i)

=

v1(i)

−1

(i)
c(i)
1 . . . vn

22

−1

c(i)
.
n

(2.14)


Chứng minh. Sự tương đương giữa (i) và (ii) được suy ra từ sự tương đương giữa
(i) và (ii) trong Định lí 2.2.2. Để hoàn thành chứng minh, chúng ta phải chi ra

sự tương đương giữa (ii) và (iii).
Thật vậy, giả sử điều kiện (iii) đúng. Khi đó chú ý rằng K (i) trong (2.14),
(i)
n
k=1 ck

chúng ta có B (i) K (i) v (i) = B (i)

. Điều này cùng với (2.14) trong điều

kiện (iii) cho (2.10) trong điều kiện (ii). Mặt khác, dễ thấy A(i) + B (i) K (i) ma
trận Metzler vì điều kiện (iii) với k = l,
(i)
a(i)
vl(i)
kl + bk

−1

(i) (i)
(i)
(i) (i)
c(i)
a(i)
l = kl + bk kl = A + B K

0.
kl

Bằng lập luận tương tự, chúng ta cũng chỉ ra được (ii) ⇒ (iii).

2.3.2. Trường hợp thời gian rời rạc
Sử dụng (2.8), hệ đóng của (2.2) có dạng:
x(k + 1) = [A(rk )x(k) + B(rk )K (k)] x(k).

(2.15)

Định lí sau đây đưa ra các điều kiện cần và đủ cho sự tồn tại của bộ điều

khiển dưới dạng (2.8) sao cho hệ đóng (2.15) là dương và ổn định trung bình.
Định lí 2.3.2. Các phát biểu sau là tương đương.
(i) Tồn tại một bộ điều khiển ở dạng (2.7) sao cho hệ đóng (2.15) là dương và
ổn định trung bình.
(ii) Tồn tại một tập các vectơ v (i)
A(i) + B (i) K (i)

0 và các ma trận K (i) sao cho với mỗi i ∈ S,

0 và
N
j=1

(j)

πji A

(j)

+B

(j)

K

(j)

− v (i) ≺ 0.

v

T

(iii) Tồn tại một tập các vectơ v (i) = v1(i) ... vn(i)

(2.16)

(i)
(i)
∈ Rn và c1 , ... , cn ∈ Rm sao

cho với mỗi i ∈ S
v (j)
N
j=1

πji A(j) v (j) + B (j)
(i) (i)
a(i)
v (i)
c
kl l + bk l

với A

(i)

=

a(i)
kl

và B

(i)

=

(i)
b1

T

...
23

(2.17)

0,

(i)
bn

n
k=1

c(j)
k

0,
T T

.

− v (i) ≺ 0,

(2.18)
(2.19)