TÌM HIỂU về XÍCH MARKOV và ỨNG DỤNG

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2
KHOA TOÁN

TRẦN THỊ THƯ

TÌM HIỂU VỀ XÍCH MARKOV VÀ ỨNG DỤNG

KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC
Chuyên Ngành: Toán ứng dụng

Hà Nội - 2014


TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2
KHOA TOÁN

TRẦN THỊ THƯ

TÌM HIỂU VỀ XÍCH MARKOV VÀ ỨNG DỤNG

KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC
Chuyên Ngành: Toán ứng dụng

Người hướng dẫn khoa học
TS. TRẦN MINH TƯỚC

Hà Nội - 2014


LỜI CẢM ƠN
Trong quá trình nghiên cứu và thực hiện khóa luận, với sự cố gắng của

bản thân cùng với sự hướng dẫn và giúp đỡ nhiệt tình của các thày cô giáo và
các bạn sinh viên, em đã hoàn thành khóa luận này. Em xin bày tỏ lòng biết
ơn tới các thày, các cô công tác tại Khoa Toán Trường Đại học sư phạm Hà
Nội 2 và các Thày cô đã trực tiếp giảng dạy, truyền đạt cho em những kinh
nghiệm quý báu về chuyên môn cũng như kinh nghiệm nghiên cứu khoa học
trong thời gian qua. Em xin được gửi lời cảm ơn chân thành tới gia đình, bạn
bè đã luôn bên em, cổ vũ, động viên, giúp đỡ em trong suốt quá trình học
tập và thực hiện khóa luận tốt nghiệp.
Đặc biệt, em xin bày tỏ lòng biết ơn sâu sắc đến thày giáo, TS. Trần Minh
Tước, người đã tận tình hướng dẫn để em có thể hoàn thành khóa luận này.

Hà Nội, Ngày 15 tháng 05 năm 2014
Sinh viên

Trần Thị Thư


LỜI CAM ĐOAN
Tên em là Trần Thị Thư, là sinh viên đại học khóa 2010-2014, lớp K36A
sư phạm Toán, khoa Toán, trường Đại Học Sư Phạm Hà Nội 2. Em xin cam
đoan đề tài " Tìm hiểu về xích Markov và ứng dụng" là kết quả nghiên cứu
và thu thập của riêng em, không trùng lặp với bất kì kết quả nào đã được
công bố. Nội dung trong khóa luận này là do em thực hiện dưới sự hướng
dẫn trực tiếp của thày Trần Minh Tước. Mọi tham khảo dùng trong báo cáo
này đều được trích dẫn rõ ràng tên tác giả, tên công trình, thời gian, địa điểm
công bố. Nếu không có gì trung thực trong luận văn, em xin hoàn toàn chịu
trách nhiệm trước hội đồng khoa học.

Hà Nội, Ngày 15 tháng 05 năm 2014
Sinh viên

Trần Thị Thư


Mục lục
Lời mở đầu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

Chương 1. Tổng quan về xích Markov . . . . . . . . . . . . . . . . . . . . . . . . . .

5

1.1. Định nghĩa và ví dụ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

1.1.1. Định nghĩa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.1.2. Ví dụ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5
6

1.2. Xích Markov rời rạc và thuần nhất . . . . . . . . . . . . . . . . . . . . . . .

8

1.2.1. Ma trận xác suất chuyển . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.2. Phân phối ban đầu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10

1.3. Xích Markov có hữu hạn trạng thái . . . . . . . . . . . . . . . . . . . . .

12

1.3.1. Xích có hai trạng thái . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.2. Định lý ergodic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.3. Phân phối dừng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.4. Phân phối giới hạn và phân phối ergodic . . . . . . . . . . . . . . . . . . . .

12
13
14
16

Chương 2. Một số mô hình xích Markov . . . . . . . . . . . . . . . . . . . . . .

20

2.1. Mô hình trò chơi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

2.2. Mô hình phân chia thị trường . . . . . . . . . . . . . . . . . . . . . . . . . . .

27

2.3. Mô hình phục vụ khách hàng . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

33

Tài liệu tham khảo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

34

2


LỜI MỞ ĐẦU
Xác suất Thống kê là lĩnh vực toán ứng dụng, nó đòi hỏi một cơ sở toán
học sâu sắc. Ngày nay các mô hình xác suất đã thực sự được ứng dụng rộng
rãi trong khoa học tự nhiên cũng như khoa học xã hội. Đầu thế kỷ XX,
A.A.Markov (14/ 6/ 1856-20/ 7/ 1922)- nhà Toán học và vật lý nổi tiếng
người Nga đã đưa ra một mô hình toán học để mô tả chuyển động của các
phân tử chất lỏng trong một bình kín. Về sau mô hình này được phát triển
và sử dụng trong nhiều lĩnh vực khác như cơ học, sinh học, y học, kinh
tế,v.v. . . và được mang tên là: Quá trình Markov.
Trong những năm gần đây, xích Markov được ứng dụng rất nhiều trong
thương nghiệp, tin học, viễn thông, v.v. . . và là một môn học bắt buộc đối
với sinh viên của nhiều trường đại học. Vậy nên, tìm hiểu về xích Markov
đang là một vấn đề ngày càng trở nên quan trọng và được nhiều người quan
tâm.
Với những lí do trên cùng với lòng say mê nghiên cứu cùng sự giúp đỡ
tận tình của thày giáo, TS.Trần Minh Tước, em đã chọn đề tài : ” Tìm hiểu
về xích Markov và ứng dụng”.
Nội dung khóa luận bao gồm 2 phần sau:
• Chương 1: Tổng quan về xích Markov.

Trong chương này trình bày các định nghĩa cơ bản và kết quả quan
trọng như: tính Markov, xác suất chuyển, phương trình ChapmanKolmogorov, phân phối dừng, định lí ergodic.
• Chương 2: Một số mô hình xích Markov.
Trình bày một số mô hình ứng dụng quan trọng của xích Markov vào
thực tiễn gồm mô hình trò chơi, mô hình phân chia thị trường và mô
hình phục vụ khách hàng.
Tuy đã có nhiều cố gắng nhưng do thời gian thực hiện khóa luận không
nhiều, kiến thức còn hạn chế nên khi làm khóa luận không tránh khỏi những
hạn chế và sai sót. Em rất mong nhận được sự góp ý và xây dựng của quý
3


thầy cô và bạn đọc. Xin chân thành cảm ơn!

Hà Nội, Ngày 15 tháng 05 năm 2014
Sinh viên

Trần Thị Thư

4


Chương 1

Tổng quan về xích Markov
1.1.

Định nghĩa và ví dụ

1.1.1.

Định nghĩa

Giả thiết ta nghiên cứu sự tiến triển theo thời gian của một hệ vật lý hoặc
sinh thái nào đó (có thể là phân tử, hạt cơ bản, người hoặc một sinh vật nào
đó,v.v . . . ). Kí hiệu X(t) là vị trí của hệ tại thời điểm t. Tập hợp các vị trí có
thể có của hệ được gọi là không gian trạng thái. Giả sử trước thời điểm s hệ ở
trạng thái nào đó, còn ở thời điểm s hệ ở trạng thái i. Ta cần biết tại thời điểm
t trong tương lai (t > s) hệ ở trạng thái j với xác suất là bao nhiêu?. Nếu xác
suất này chỉ phụ thuộc vào s,t, i, j thì điều này có nghĩa là: sự tiến triển của
hệ trong tương lai chỉ phụ thuộc vào hiện tại và độc lập với quá khứ. Đó
là tính Markov. Hệ có tính chất này được gọi là quá trình Markov.
Chẳng hạn, nếu gọi X(t) là dân số tại thời điểm t (trong tương lai) thì
có thể xem X(t) chỉ phụ thuộc vào dân số hiện tại và độc lập với quá khứ.
Nói chung, các hệ (sinh thái, vật lý hoặc cơ học, v.v. . . ) không có trí nhớ
(memory) hoặc sức ỳ là những hệ có tính Markov.

5


Ta kí hiệu E là tập gồm các giá trị của X(t) và gọi E là khộng gian trạng
thái của X(t). Nếu X(t) có tính Markov và E đánh số được (đếm được) thì
X(t) được gọi là xích Markov. Thêm vào đó, nếu t = 0, 1, 2, . . . thì ta có
xích Markov với thời gian rời rạc, còn nếu t ∈ [0, ∞] thì ta có khái niệm xích
Markov với thời gian liên tục.
Về phương diện toán học, tính Markov có thể định nghĩa như sau:
Định nghĩa 1.1.1. Ta nói rằng X(t) có tính Markov nếu:
P{X(tn+1 ) = j|X(t0 ) = i0 , . . . , X(tn−1 ) = in−1 , X(tn ) = i}
= P{X(tn+1 ) = j|X(tn ) = i},
với bất kì t0 < t1 < · · · < tn < tn+1 < . . . và i0 , . . . , in−1 , i, j ∈ E.

Ta xem tn là hiện tại, tn+1 là tương lai, (t0 ,t1 , . . . ,tn−1 ) là quá khứ. Vì thế
biểu thức trên chính là tính Markov của X(t).
Đặt p(s, i,t, j) = P[X(t) = j|X(s) = i] , (s < t) đó là xác suất có điều
kiện để hệ (hay quá trình) tại thời điểm s ở trạng thái i, đến thời điểm t
chuyển sang trạng thái j. Vì thế ta gọi p(s, i,t, j) là xác suất chuyển của hệ
(hay quá trình).
Nếu xác suất chuyển chỉ phụ thuộc vào (t − s), tức là: p(s, i,t, j) = p(s +
h, i,t + h, j) thì ta nói hệ (hay quá trình) là thuần nhất theo thời gian. Trong
luận văn này, nếu không nói gì thêm thì ta chỉ xét xích Markov thuần
nhất.

1.1.2.

Ví dụ

Ví dụ 1.1.1. Cho X0 , X1 , . . . , Xn , . . . là dãy biến ngẫu nhiên rời rạc, độc lập,
Ek là tập các giá trị của Xk , Ek hữu hạn hay đếm được (k = 0, 1, 2, . . . , n, . . . ).
Đặt E=E1 ∪ E2 ∪. . . ∪ Ek , rõ ràng E là tập hợp không quá đếm được.
6


Khi đó ta thấy
P{Xn+1 = j|X0 = i0 , . . . Xn−1 = in−1 , Xn = i} =
= P{Xn+1 = j} = P{Xn+1 = j|Xn = i} = P(n, i, n + 1, j)
với i0 ∈ E0 , i1 ∈ E1 , . . . in−1 ∈ En−1 , i ∈ En , j ∈ En+1 .
Như thế (Xn ; n = 0, 1, 2, . . . ) là xích Markov.
Ví dụ 1.1.2. Cho ξ0 , η1 , η2 , . . . , ηn là dãy các biến ngẫu nhiên (đại lượng
ngẫu nhiên) rời rạc, độc lập, nhận các giá trị là những số nguyên.
Đặt Xn = ξ0 + η1 + η2 + · · · + ηn , (n=1,2,. . . ). Ta có
P{Xn+1 = j|ξ0 = i0 , X1 = i1 , . . . Xn−1 = in−1 , Xn = i} =

= P{Xn + ηn+1 = j|ξ0 = i0 , η1 = i1 − i0 , . . . , ηn = i − in−1 }
= P{ηn+1 = j − i|ξ0 = i0 , η1 = i1 − i0 , . . . , ηn = i − in−1 }
= P{ηn+1 = j − i}
và
P{Xn+1 = j|Xn = i} =
= P{ηn+1 = j − i|ξ0 + η1 + · · · + ηn−1 + ηn = i}
= P{ηn+1 = j − i}
Vậy (Xn ; n = 1, 2, . . . ) là xích Markov.

Chú ý: Nói chung các xích Markov ở Ví dụ 1.1.1 và 1.1.2 trên đây không
thuần nhất.
Nếu trong Ví dụ 1.1.1, cho ξ0 , ξ1 , . . . , ξn , . . . là dãy biến ngẫu nhiên
rời rạc, độc lập và cùng phân phối xác suất thì (ξn ; n = 0, 1, 2, . . . ) là xích
Markov thuần nhất và ngược lại.
Còn trong Ví dụ 1.1.2, nếu cho η1 , η2 , . . . , ηn , . . . là dãy biến ngẫu nhiên
rời rạc, độc lập và cùng phân phối xác suất thì (Xn , n = 1, 2, . . . ) là xích
7


Markov thuần nhất. Thật vậy, bằng lập luận trên ta có
P{Xn+h = j|Xn = i} = P{ηn+1 + ηn+2 + · · · + ηn+h = j − i} =
= P{η2 + η3 + · · · + ηh+1 = j − i} = P{Xh+1 = j|X1 = i}
với mọi n = 1, 2, . . . ; h = 1, 2, . . . ; i, j ∈ E ⊂ N.

1.2.

Xích Markov rời rạc và thuần nhất

1.2.1.

Ma trận xác suất chuyển

Xét xích Markov rời rạc và thuần nhất theo thời gian (Xn ); n = 0, 1, 2, . . .
với không gian trạng thái E gồm các phần tử được kí hiệu là i, j, k . . . (có chỉ
số hoặc không). Khi đó tính Markov và tính thuần nhất của (Xn ) có nghĩa
là:
pi j = P(Xn+1 = j|Xn = i)
= P(Xn+1 = j|X0 = i0 , . . . , Xn−1 = in−1 , Xn = i)
không phụ thuộc vào n.
pi j (= p(n, i, n+1, j)) là xác suất có điều kiện để hệ tại thời điểm n (hiện
tại) ở trạng thái i chuyển sang trạng thái j tại thời điểm n + 1 (tương lai).
P = (pi j ) được gọi là ma trận xác suất chuyển sau 1 bước.
Tính Markov có nghĩa là P(A|B) = P(A|BC) nếu ta đặt các biến cố
A = (Xn+1 = j), B = Xn = i, C = (X0 = i0 , . . . , Xn−1 = in−1 )
Suy ra
P(ABC) P(BC)P(A|BC)
=
P(B)
P(B)
P(B)P(C|B)P(A|B)
=
P(B)

P(AC|B) =

= P(C|B)P(A|B)

8

tức là, nếu cho trước hiện tại thì quá khứ và tương lai độc lập với nhau.
Theo công thức xác suất đầy đủ, suy ra ma trận P = (pi j ) có tính chất
0 ≤ pi j ≤ 1; ∀i, j ∈ E; ∑ pi j = 1
j∈E

Ma trận có tính chất trên được gọi là ma trận ngẫu nhiên.
Xác suất để hệ tại thời điểm ban đầu ở trạng thái i, sau n bước chuyển
sang trạng thái j là
(n)

pi j = P(Xn+m = j|Xm = i) = P(Xn = j|X0 = i)

(1.2.1)

được gọi là xác suất chuyển sau n bước.
(1)
Rõ ràng pi j = pi j . Ta quy ước

1, nếui = j
(1)
pi j =
0, nếu i = j.

(1.2.2)

(n)

Đặt P(n) = (pi j ) thì Pn là ma trận xác suất chuyển sau n bước.
Bây giờ ta lập luận như sau: hệ xuất phát từ trạng thái i, sau n + 1 bước
chuyển sang trạng thái j là kết quả của việc hệ xuất phát từ trạng thái i, sau

1 bước chuyển sang trạng thái k nào đó, thế rồi hệ xuất phát từ trạng thái k,
sau n bước tiếp theo chuyển sang trạng thái j. Vì vậy từ công thức xác suất
đầy đủ và tính Markov ta có:
(n+1)

pi j

= P(Xn+1 = j|X0 = i)
=

∑ P(Xn+1 = j|X0 = i, X1 = k).P(X1 = k|X0 = i)
k∈E

=

∑ P(Xn+1 = j|X1 = k).P(X1 = k|X0 = i)(do tính markov)
k∈E

=

(n)

∑ pik pk j (do tính thuần nhất)
k∈E

Vậy ta có
(n+1)

pi j

=

(n)

∑ pik pk j
k∈E

9

(1.2.3)


gọi là phương trình ngược. Chứng minh tương tự ta được
(n+1)

pi j

=

(n)

∑ pik

pk j

(1.2.4)

k∈E

gọi là phương trình thuận.

Tổng quát với ∀n, m = 0, 1, 2, . . . ta có
(n+m)

pi j

=

(n) (m)
pk j

∑ pik

(1.2.5)

k∈E

được gọi là phương trình Chapman-Kolmogorov.
Dạng ma trận của phương trình trên :
P(n+1) = PP(n) ,
P(n+1) = P(n) P,
P(n+m) = P(n) P(m) .
Từ đó suy ra P(n) = Pn .
Phân phối hữu hạn chiều của quá trình Markov được tính theo công
thức
P(X0 = i0 ) = pio ,
P(X0 = i0 , X1 = i1 , . . . , Xn−1 = in−1 , Xn = i) = pi0 .pi0 i1 . . . pin−1 i .

1.2.2. Phân phối ban đầu
Giả sử tại thời điểm t = n, X(n) có thể nhận một trong N giá trị 1, 2, . . . , N
(n) (n)

(n)
(n)
(n)
với các xác suất tương ứng là π1 , π2 , . . . , πN (với π1 + π2 + · · · +
(n)
(n) (n)
(n)
πN = 1) thì vectơ π (n) = [π1 , π2 , . . . , πN ] được gọi là vectơ phân phối tại
(0) (0)
(0)
thời điểm t = n. Với t = 0 ta có vectơ phân phối ban đầu π (0) = [π1 , π2 , . . . , πN ].

10


Định nghĩa 1.2.1. Phân phối của hệ tại thời điểm n được cho bởi công thức
sau:
(n)
p j = P(Xn = j); n = 0, 1, 2, . . . ; j ∈ E.
(n)

Đặt Π(n) = (p j , j ∈ E) và gọi Π = Π(0) là phân phối ban đầu của hệ.
(n)

Ta quy ước viết Π(n) = (p j , j ∈ E) là vectơ hàng. Dễ dàng thấy rằng
Π(n) = ΠP(n) ,
Π(n+1) = Π(n) P,
Π(n+1) = Π(1) P(n) ,
Π(n+m) = Π(n) P(m) .
Thật vậy, theo công thức xác suất đầy đủ ta có:

(n+m)

pj

= P(Xn+m = j)
=

∑ P(Xn = i).P(Xn+m = j|Xn = i)

i∈E

=

(n)

∑ pi

(m)

.pi j .

i∈E

Nếu có Π = Π(n) hay Π = ΠP, tức là Π(n) không phụ thuộc vào n, thì
phối ban đầu được gọi là phân phối dừng.
Như vậy, mô hình của một xích Markov rời rạc và thuần nhất là bộ
ba (Xn , Π, P), trong đó:
(Xn ) là dãy các đại lượng ngẫu nhiên rời rạc,
Π là phân phối ban đầu,

P là ma trận xác suất chuyển.

11


1.3.

Xích Markov có hữu hạn trạng thái

1.3.1.

Xích có hai trạng thái

Ta xét trường hợp đơn giản nhất của xích Markov: không gian trạng thái
E của xích (Xn ) gồm hai phần tử. Ta kí hiệu E = {0, 1}.

Ví dụ 1.3.1. Ta nghiên cứu một vấn đề xã hội nào đó, chẳng hạn vấn đề
nghiện hút. Ta kí hiệu trạng thái 0 là không nghiện và trạng thái 1 là nghiện.
Đơn vị thời gian là một quý (3 tháng). Thống kê nhiều năm cho thấy xác suất
để một người không nghiện sau một quý vẫn không nghiện là 0, 99 và xác
suất để một người nghiện sau một quý vẫn tiếp tục nghiện là 0, 88. Như vậy
trạng thái của một người (nghiện hay không nghiện) được mô tả bởi một
xích Markov với hai trạng thái E = {0, 1} với ma trận xác suất chuyển như
sau:
0, 99 0, 01
P=
.
0, 12 0, 88
Giả sử lúc đầu có 17% số người nghiện. Như vậy phân bố ban đầu là Π(0) =
(0, 83; 0, 17). Sang quý 2, phân bố số người nghiện và không nghiện sẽ là:

Π(1) = Π(0) .P
=

0, 83

0, 17

0, 99
0, 12

0, 01
0, 88

= (0, 845; 0, 155).

Sang quý 3, phân phối số người nghiện và không nghiện sẽ là: Π(2) = Π(1) .P
=

0, 845

0, 155

0, 99
0, 12

0, 01
0, 88

= (0, 855; 0, 145)

tức là lúc này có 14, 5% số người nghiện.

Ví dụ 1.3.2. Cho (Xn ) là xích Markov có 2 trạng thái E = {0, 1} với ma

12


trận xác suất chuyển là
1−a
b

P=

a
1−b

với 0 < a, b < 1.

Có thể kiểm tra lại rằng a = 1 − b khi và chỉ khi X1 , X2 , . . . là các biến ngẫu
nhiên độc lập cùng phân phối với P{Xn = 0} = b, P{Xn = 1} = a, nếu ta
xem P{X0 = 0} = b, P{X0 = 1} = a . Do đó, khi a = 1 − b thì (Xn ) là dãy
phụ thuộc, nhưng có tính Markov.
Tính trực tiếp ta thấy
2

P =

(1 − a)2 + ab
a(1 − a + 1 − b)
b(1 − a + 1 − b)

(1 − b)2 + ab

.

Bằng quy nạp ta có
Pn =

1
a+b

b
b

a
a

+

(1 − a − b)n
a+b

Vì vậy, nếu |1 − a − b| < 1 thì


b

b
lim Pn =  a +
b
n→∞

a+b

a
−b

−a
b

.


a
a+b 
a .
a+b

Điều này nói lên rằng, trong tương lai (xa xôi) hệ sẽ rơi vào trạng thái
b
a
0 với xác suất
và rơi vào trạng thái 1 với xác suất
.
a+b
a+b

1.3.2.

Định lý ergodic

Xích Markov có tính chất ergodic theo nghĩa sau: tồn tại các giới hạn

(n)

π j = lim pi j
n→∞

không phụ thuộc vào i, sao cho
πi > 0, ∀ j ∈ E, ∑ π j = 1.
i∈E

13


Định lý 1.3.1. Giả sử P = (pi j ) là ma trận xác suất chuyển của xích Markov
(Xn ) có không gian trạng thái hữu hạn E = {1, 2, . . . , N}.

(i) Nếu P chính quy theo nghĩa sau: tồn tại n0 sao cho
(n )

min pi j 0 > 0
i, j

(1.3.6)

thì tồn tại các số π1 , . . . , πN sao cho
π j > 0, ∑ π j = 1

(1.3.7)

(n)

(1.3.8)

j∈E

và với mỗi j ∈ E
lim pi j = π j .

x→∞

(ii) Ngược lại, nếu tồn tại các số π1 , . . . , πN thỏa mãn các điều kiện (1.3.7)và
(1.3.8) thì sẽ tồn tại n0 thỏa mãn (1.3.6).

(iii) Các số π1 , . . . , πN là nghiệm của hệ phương trình.
xj =

∑ xk pk j , j ∈ E

(1.3.9)

k∈E

và đó là nghiệm duy nhất thỏa mãn điều kiện.
x j ≥ 0, ∀ j ∈ E; ∑ x j = 1
j∈E

nếu (1.3.6) được thực hiện.

1.3.3.

Phân phối dừng

Định nghĩa 1.3.1. Nghiệm không âm (π, . . . , πN ) của phương trình (1.3.9)
sao cho ∑ π j = 1 được gọi là phân phối dừng (hay bất biến) của xích Markov
với ma trận xác suất chuyển P = (pi j ).
14


Phân phối dừng có ý nghĩa sau:
Nếu ta coi xích Markov có phân phối ban đầu là (π1 , . . . , πN ), tức là π j =
P(X0 = j) ; j = 1, 2, . . . N thì
(1)

π j = P(X1 = j) = ∑ πk pk j = π j .
k
(n)

Tổng quát ta có π j = P(Xn = j) = π j , tức là X0 , X1 , . . . , Xn , . . . có phân phối
xác suất như nhau. Ta có thể chứng minh phân phối đồng thời của các biến
ngẫu nhiên Xk , Xk+1 , . . . , Xk+m không phụ thuộc vào k đối với mọi m. Quá
trình có tính chất như thế được gọi là quá trình dừng. Viết dưới dạng ma
trận, thì phân phối dừng là vectơ cột bất biến đối với ma trận chuyển vị
của P, nghĩa là


p11
p
 12

 ...
p1N

p21
p22
...
p2N

...
...
...
...

   
π1
π1
pN1




pN2   π2   π2 

  =  .
. . .  . . . . . .
pNN

πN

πN

Ví dụ 1.3.3. Cho (Xn ) là một xích Markov có 3 trạng thái E = {1, 2, 3} với

ma trận xác suất chuyển là


1/3 1/3 1/3


P =  1/4 1/2 1/4 
1/6 1/3 1/2
Hãy tìm tất cả các phân phối dừng?

Đặt U = (x, y, z). Khi đó U là phân phối dừng khi và chỉ khi x, y, z là
nghiệm không âm của hệ sau:

x/3 + y/4 + z/6 = x



 x/3 + y/2 + z/3 = y

x/3 + y/4 + z/2 = z



x+y+z = 1
15


5x
Từ phương trình thứ nhất và thứ hai của hệ, khử z ta rút ra y = . Từ đó
3

3x
6
10
z = . Thế vào phương trình cuối của hệ ta thu được x =
,y=
,
2
25
25
9
z= .
25

1.3.4.

Phân phối giới hạn và phân phối ergodic

Định nghĩa 1.3.2. Ta nói rằng xích Markov có phân phối giới hạn, nếu
(n)
∀ j = 1, 2 . . . , N tồn tại các giới hạn π j = limn→∞ pi j không phụ thuộc vào
i và thỏa mãn các điều kiện π j ≥ 0 , ∑ π j = 1. Trong trường hợp đó ta gọi
(π1 , π2 , . . . , πN ) là phân phối giới hạn.
Định nghĩa 1.3.3. Ta nói rằng xích Markov có tính ergodic, nếu ∀ j =
(n)
1, 2, . . . , N tồn tại các giới hạn π j = limn→∞ pi j không phụ thuộc vào i
và thỏa mãn các điều kiện π j > 0 ,∑ π j = 1. Trong trường hợp đó, ta gọi
(π1 , π2 , . . . , πN ) là phân phối ergodic.

Nếu phân phối giới hạn tồn tại thì phân phối dừng cũng tồn tại và duy
nhất. Hơn nữa hai phân phối này trùng nhau. Tuy nhiên ngược lại không

đúng, tức là có những xích Markov có tồn tại phân phối dừng nhưng không
tồn tại phân phối giới hạn. Chẳng hạn
P=

0
1

1
0

0
1

thì P2n+1 =

1
0

và P2n =

1
0

0
1

(n)

do đó không tồn tại các giới hạn limn→∞ pi j . Tuy nhiên, hệ phương trình
0

1

1
0

π1
π2

=

π1
π2

với π1 + π2 = 1, π1 ≥ 0 , π2 ≥ 0, có (1/2, 1/2) là nghiệm duy nhất- đó là
phân phối dừng duy nhất.

16


Định lý 1.3.2. Nếu tồn tại phân phối giới hạn, thì đó là phân phối dừng duy
nhất .

Chứng minh
Giả sử có phân phối giới hạn (cũng là phân phối dừng) (π1 , π2 , . . . , πN ) và
phân phối dừng (π˜1 , π˜2 , . . . , π˜N ) . Khi đó
(1)
(n)
π˜j = ∑ π˜k pk j = ∑ π˜k pk j = · · · = ∑ π˜k pk j .
k

k

k

(n)

Theo giả thiết π j = limn→∞ pi j nên ta có
π˜j = ∑ π˜k π j = π j .
k

Như vậy, theo định lý ergodic ở mục 1.3.2 thì điều kiện
(n )

min pi j 0 > 0
i, j

(n)

đảm bảo duy nhất phân phối dừng, đó là: π j = limn→∞ pi j .
Định lý 1.3.3. Cho Xn là xích Markov với không gian trạng thái hữu hạn
(n)
E = {1, 2, . . . , d} với ma trận xác suất chuyển sau n bước là P(n) = (pi j ).
Khi đó tồn tại phân bố giới hạn π = (π1 , . . . , πd ) với π j > 0, ∀ j ∈ E khi và
(n )
chỉ khi xích là chính quy theo nghĩa : Tồn tại n0 sao cho pi j 0 > 0, ∀i, j ∈ E.
Ví dụ 1.3.4. Mỗi người dân trong một vùng nào đó có thể ở trong ba tầng
lớp: giàu, trung lưu và nghèo. Con cái của họ có thể ở một trong 3 tầng lớp
nói trên với các xác suất khác nhau tùy thuộc vào việc họ đang ở trong tầng
lớp nào. Giả sử bằng thống kê, người ta xác định được: Nếu 1 người giàu
thì với xác suất 0,448 con họ giàu, với xác suất 0,484con họ trung lưu và

với xác suất để con họ nghèo. Tương tự, với một người trung lưu thì xác suất
để con họ giàu, trung lưu và nghèo tương ứng là 0,054; 0,069 và 0,247. Với
một người nghèo để con họ giàu, trung lưu hay nghèo tương ứng là 0,011;
0,503 và 0,486. Như vậy sự thay đổi trạng thái của một gia đình trong xã
17


hội từ thế hệ này qua thế hệ khác có thể mô tả bởi một xích Markov ba trạng
thái: 1 (giàu), 2(trung lưu), 3(nghèo) với xác suất chuyển như sau:


0, 448 0, 484 0, 068


P =  0, 054 0, 699 0, 247  .
0, 011 0, 503 0, 486
Xích Markov này là chính quy. Thành thử tồn tại phân bố giới hạn π =
(π1 , π2 , π3 ). Phân bố này chính là phân bố dừng duy nhất và tìm được bằng
cách giải hệ phương trình sau:
(π1 , π2 , π3 )P = (π1 , π2 , π3 ).
Giải ra ta tìm được π1 = 0, 067, π2 = 0, 624, π3 = 0, 369. Như vậy qua nhiều
thế hệ ở vùng dân cư nói trên sẽ có 6, 7% người giàu, 62, 4% trung lưu và
36, 9% người nghèo.
Ví dụ 1.3.5. Xét xích Markov có N trạng thái E = {1, 2, . . . , N} và ma trận
xác suất chuyển của nó là chính quy, đồng thời là một ma trận kép, nghĩa là

∑ Pi j = ∑ P ji = 1.

j∈E

i∈E

Theo định lý trên phân phối giới hạn tồn tại. Ta hãy tìm phân phối giới hạn
1 1
1
đó. Ta xét rằng phân phối đều π = ( , , . . . , ) là phân phối dừng. Thật
N N
N
1
vậy đặt pi j = ta có
N
1

1

∑ pik Pk j = N ∑ Pk j = N = π j .

k∈E

k∈E

Chẳng hạn ta tung con xúc sắc liên tiếp một cách độc lập. Kí hiệu ξn là số
chấm xuất hiện ở lần gieo thứ n, Sn = ∑nk=1 ξk , Sn là một xích Markov với
không gian trạng thái E = {1, 2, . . . }. Gọi Xn là số dư khi chia Sn cho 7. Khi
đó Xn cũng là một xích Markov với không gian trạng thái E = {0, 1, 2, . . . , 6}.

18


Ma trận xác suất chuyển của Xn là



0
1/6


1/6

P=
1/6

1/6

1/6
1/6

1/6 1/6
0
1/6
1/6
0
1/6 1/6
1/6 1/6
1/6 1/6
1/6 1/6

1/6 1/6
1/6 1/6
1/6 1/6
0

1/6
1/6
0
1/6 1/6
1/6 1/6

1/6
1/6
1/6
1/6
1/6
0
1/6


1/6
1/6


1/6

1/6


1/6

1/6
0

Đây là ma trận ngẫu nhiên kép.

Ma trận này chính quy vì ma trận xác suất chuyển sau 2 bước


1/6
5/6


5/6

P2 = 
5/6

5/6

5/6
5/6

5/6
1/6
5/6
5/6
5/6
5/6
5/6

5/6
5/6
1/6
5/6
5/6

5/6
5/6

5/6
5/6
5/6
1/6
5/6
5/6
5/6

5/6
5/6
5/6
5/6
1/6
5/6
5/6

có tất cả các phần tử là số dương.
Vậy phân phối giới hạn là
1 1 1 1 1 1 1
Π = ( , , , , , , ).
7 7 7 7 7 7 7

19

5/6
5/6
5/6

5/6
5/6
1/6
5/6


5/6
5/6


5/6

5/6


5/6

5/6
1/6


Chương 2

Một số mô hình xích
Markov
2.1.

Mô hình trò chơi

Xét trận đấu tennis giữa 2 đấu thủ. Giả sử rằng, đấu thủ A có điểm (trong

các trường hợp) với xác suất là p, và đấu thủ B có điểm với xác suất là q. Có
20 khả năng về điểm của 2 đấu thủ A và B trong 1 game. Đó là: 0 - 0, 0 15, 15 - 0, 0 - 30, 15 - 15, 30 - 0, 0 - 40, 15 - 30, 30 - 15, 40 - 0, 15 - 40,
30 - 30, 40 - 15, 30 - 40, 40 - 30, Advantage B, Deuce, Advantage A, Game
B, Game A. Tuy nhiên, có thể thấy rằng các trường hợp sẽ tập trung về các
cặp: { 30 - 30, Deuce}, { 30 - 40, Advantage B}. Kết quả được mô tả bởi sơ
đồ hình 2.1
Khi game thứ nhất kết thúc, game thứ 2 bắt đầu với người giao bóng và
người nhận giao bóng lần lượt như vậy, và tiếp tục như vậy cho đến khi có
người chiến thắng ít nhất 6 game với cách biệt người kia ít nhất 2 game. Khi
đó sẽ kết thúc 1 séc. Vì vậy điểm trong 1 séc chỉ có thể như sau: 6 : 0, 6 : 1,
6 : 2, 6 : 3, 6 : 4, 7 : 5, 8 : 6 hoặc ngược lại và tiếp tục. Người chơi sẽ thắng
trận nếu thắng 2 trong 3 séc hoặc thắng 3 trong 5 séc.
20


Hình 2.1: Sơ đồ trạng thái của game tennis

Game. Sơ đồ hình 2.1 là sơ đồ trạng thái của 1 game trong đó các trạng
thái là điểm số.
Sự chuyển đổi từ trạng thái này sang trạng thái khác chỉ phụ thuộc vào trạng
thái hiện tại tương ứng với xác suất chuyển, và không phụ thuộc vào quá
khứ. Vì vậy, game có thể được mô hình hóa bởi 1 xích Markov.
Kí hiệu p là xác suất để người giao bóng có 1 điểm, và q = 1 − p là xác
suất để người trả giao bóng có 1 điểm. Vì vậy, điểm đầu tiên được ghi với
các xác suất
P(13 : 0) = p, P(0 : 15) = q.
Điểm thứ 2 được ghi với các xác suất P(30 : 0) = p2 , P(15 : 15) = 2pq,
P(0 : 30) = q2 .. Tương tự điểm thứ 3 được ghi với xác suất P(40 : 0) = p3 ,
P(30 : 15) = 3p2 q, P(15 : 30) = 3pq2 , P(0 : 40) = q3 , và điểm thứ 4 được
ghi với xác suất

P(người giao bóng thắng) = p4 , P(40 : 15) = 4p3 q,
P(deuce) = 6p2 q2 , P{15 : 40} = 4pq3 ,
P(người trả giao bóng thắng) = q4 .
21


Cuối cùng, điểm thứ 5 được ghi với các xác suất
p0 = P( giao bóng thắng) = p4 (1 + 4p),
p1 = P(adv. in) = 4q3 q2 , p2 = P{deuce} = 6p2 q2 ,
p3 = P( adv.out ) = 4p2 q3 , p4 = P(người trả giao bóng thắng) = p4 (1+4p).
(2.1.1)
Phần còn lại của game đấu tương tự như một xích Markov trên 5 trạng thái
với 2 trạng thái hấp thụ tại 2 điểm kết thúc
(e0 , e4 ) ≡ (người giao bóng thắng; người trả giao bóng thắng)
và 3 trạng thái chuyển (adv.in, deuce, adv.out). Ma trận xác suất chuyển cho
xích Markov này là


1 0 0 0 0


 p 0 q 0 0



(2.1.2)
P=
0
p
0

q
0




 0 0 p 0 q
0 0 0 0 1
Từ (2.1.1) phân phối ban đầu của xích Markov là
p(0) = [p0 , p1 , p2 , p3 , p4 ].

(2.1.3)

(n)

Đối với 3 trạng thái chuyển e j , j = 1, 2, 3, ta có pi j → 0, và vì vậy xích chỉ
có một số hữu hạn trạng thái và hệ thống sẽ bị hút vào 1 trong 2 điểm kết
thúc.
Kí hiệu fk,0 và fk,4 từ các xác suất hấp thụ từ các trạng thái chuyển
ek , k = 1, 2, 3 về trạng thái hấp thụ e0 và e4 . Ta có


1 0 0 0 0


 f1,0 0 q 0 f1,4 



Pn → Q = 

(2.1.4)
 f2,0 0 0 0 f2,4 


 f3,0 0 0 0 f3,4 
0 0 0 0 1
22