MÔ HÌNH XICH MAKOV

KHÁI QUÁT CHUNG VỀ MÔ HÌNH
XÍCH MARKOV
I. Các khái niệm cơ bản
1. Tính Markov
a. Khái niệm về tính Markov
Giả thiết ta nghiên cứu sự tiến triển theo thời gian của một hệ vật lí hoặc sinh
thái nào đó (có thể là phân tử, hạt cơ bản, người hoặc một sinh vật nào đó, ). Kí hiệu
X(t) là vị trí của hệ tại thời điểm t. Tập hợp các vị trí có thể có của hệ được gọi là
không gian trạng thái. Giả sử trước thời điểm s hệ ở trạng thái nào đó, còn ở thời
điểm s hệ ở trạng thái i. Ta cần biết tại thời điểm t trong tương lai (t > s) hệ ở trạng
thái j với xác suất là bao nhiêu? Nếu xác suất này chỉ phụ thuộc vào s, t, i, j thì điều
này có nghĩa là: sự tiến triển của hệ trong tương lai chỉ phụ thuộc vào hiện tại và độc
lập với quá khứ. Đó là tính Markov. Hệ có tính chất này được gọi là quá trình
Markov.
Chẳng hạn, nếu gọi X(t) là dân số tại thời điểm t (trong tương lai) thì có thể
xem X(t) chỉ phụ thuộc vào dân số hiện tại và độc lập với quá khứ. Nói chung, các hệ
(sinh thái, vật lí hoặc cơ học, vv) không có trí nhớ hoặc sức ì là những hệ có tính
Markov.
Ta kí hiệu E là tập gồm các giá trị của X(t) và gọi E là không gian trạng thái

của X(t). Nếu X(t) có tính Markov và E đánh số được (đếm được) thì X(t) được gọi là
xích Markov. Thêm vào đó, nếu t = 0, 1, 2, thì ta có khái niệm xích Markov với thời
gian rời rạc, còn nếu

t 0,

 

thì ta có khái niệm xích Markov với thời gian liên
tục.
Về phương diện toán học, tính Markov có thể định nghĩa như sau:
b. Định nghĩa
Ta nói rằng quá trình ngẫu nhiên X(t) có tính Markov nếu:










n 1 0 0 n 1 n 1 n
P X t j X t i , , X t i , X t i
  
   

=







n 1 n
P X t j X t i

 

Với bất kì
0 1 n n 1
t t t t

    
và
0 1 n 1
i , i , , i , i, j E



Ta xem
n
t
là hiện tại,
n 1
t

là tương lai,



0 1 n 1
t , t , , t

là quá khứ. Vì thế biểu
thức trên chính là tính Markov của X(t).
Đặt










p s, i, t, j P X t j X s i , s t
   
. Đó là xác suất có điều kiện để
hệ (hay quá trình) tại thời điểm s ở trạng thái i, đến thời điểm t chuyển sang trạng thái j. Vì
thế ta gọi p(s, i, t, j) là xác suất chuyển của hệ (hay quá trình).
Nếu xác suất chuyển này chỉ phụ thuộc vào (t - s), có nghĩa là
p(s, i, t, j) = p(s + h, i, t + h, j)
thì ta nói hệ (hay quá trình) là thuần nhất theo thời gian.
2. Xích Markov rời rạc và thuần nhất
a. Ma trận xác suất chuyển
Giả sử



n
X ; n 0, 1, 2,

là xích Markov với không gian trạng thái là E (các
phần tử của E thông thường được kí hiệu là i, j, k, có chỉ số hoặc không). Khi đó
tính Markov và thuần nhất của


n
X ; n 0, 1, 2,

có nghĩa là:




ij n 1 n n 1 0 0 n 1 n 1 n
p P X j X i P X j X i , , X i , X i
   
       

không phụ thuộc vào n.
Khi đó P =


ij
p
được gọi là ma trận xác suất chuyển sau một bước.
p
ij

là xác suất có điều kiện để hệ tại thời điểm n (hiện tại) ở trạng thái i chuyển
sang trạng thái j tại thời điểm n + 1 (tương lai).
Nếu đặt các biến cố:






n 1 n 0 0 n 1 n 1
A X j ; B X i ; C X i , , X i
  
      
thì tính Markov có
nghĩa là




P A B P A BC
 .
Từ đó suy ra
 
 
 
 


 
 





 
P BC P A BC P B P C B P A B
P ABC
P AC B
P B P B P B
  
=




P C B P A B
.
Tức là quá khứ và tương lai độc lập với nhau khi cho trước hiện tại.
Chú ý rằng từ công thức xác suất đày đủ suy ra ma trận P = (p
ij
) có tính chất:
ij ij
i, j E
0 p 1 i, j E; p 1.

    


Ma trận có tính chất như thế được gọi là ma trận ngẫu nhiên.
b. Ma trận xác suất chuyển sau n bước

Xác suất chuyển sau n bước được định nghĩa theo công thức:
 




n
ij n m m n 0
p P X j X i P X j X i

     

Đây là xác suất để hệ tại thời điểm ban đầu ở trạng thái i, sau n bước chuyển
sang trạng thái j. Rõ ràng


1
ij ij
p p

. Ta qui ước
 


 
0
ij
1, i j
p
0, i j









.
Khi đó P
(n)
=
 


n
ij
p
được gọi là ma trận xác suất chuyển sau n bước.
c. Phương trình Chapman - Kolmogorov
Từ công thức xác suất đầy đủ và từ tính Markov ta có:


n 1
n
ij ik kj
k E
p p p





,
n 0, 1,
  (1.1)




n 1 n
ij ik kj
k E
p p p




,
n 0, 1,
  (1.2)
Ta gọi (1.1) là phương trình ngược, (1.2) là phương trình thuận. Tổng quát hơn
ta có phương trình Chapman - Kolmogorov:






n m n m
ij ik kj

k E
p p p , m, n 0, 1,


  

(1.3)
Phân phối hữu hạn chiều của quá trình Markov được tính theo công thức sau:



 
0
0 0 1 n 1
0 0 i
0 0 1 1 n 1 n 1 n i i i i i
P X i p ;
P X i , X i , , X i , X i p .p p

 
 
    

d. Phân phối ban đầu
- Định nghĩa: Phân phối của hệ tại thời điểm n được cho bởi công thức sau:




n

j n
p P X j ; n 0, 1, 2, ; j E
   

Đặt
   


n n
j
p , j E
   và gọi


0
  
là phân phối ban đầu của hệ.
Ta qui ước viết
   


n n
j
p , j E
   là véc tơ hàng. Ta có các tính chất sau:
- Tính chất: Ta có các tính chất sau:


n
  

P
(n)




n 1 n

  
P




n 1 1

  
P
(n)




n m n

  
P
(m)

- Phân phối dừng: Phân phối ban đầu được gọi là dừng, nếu



n

không phụ
thuộc vào n, tức là


n
  
hay
  
P.
Như vậy, mô hình của một xích Markov rời rạc và thuần nhất là bộ ba
(
n
X , ,

P), trong đó:


n
X
là dãy các đại lượng ngẫu nhiên rời rạc.

là phân phối ban đầu
P là ma trận xác suất chuyển.
II. Xích Markov có hữu hạn trạng thái
1. Xích Markov có hai trạng thái
Bây giờ ta xét trường hợp đơn giản nhất của xích Markov: Không gian trạng

thái E của xích


n
X
gồm hai phần tử. Ta kí hiệu


E 0, 1

.
Giả sử ma trận xác suất chuyển của xích là P =
1 a a
b 1 b
 

 
 

 
với 0<a, b <1.
Nếu giả thiết rằng




0 0
P X 0 b, P X 1 a
   
, thì a = 1 - b khi và chỉ khi

1 2
X , X ,
là các đại lượng ngẫu nhiên độc lập cùng phân phối với


n
P X 0 b
 
,


n
P X 1 a.
 
Do đó khi
a 1 b
 
thì


n
X
là dãy phụ thuộc, nhưng có tính Markov.
Thực hiện phép nhân ma trận ta được:
P
   
   
2
2
2

1 a ab a 1 a 1 b
b 1 a 1 b 1 b ab
 
    
 

 
    
 

Bằng phương pháp qui nạp toán học ta nhận được
P


n
n
b a a a
1 a b
1
a b a b
b a b b
   

 
 
   
   
 

   

Từ đó suy ra nếu
1 a b 1
  
, thì
n
Lim

P
n
b a
a b a b
b a
a b a b
 
 
 
 

 
 
 
 

Điều này nói lên rằng, trong tương lai hệ sẽ rơi vào trạng thái 0 với xác suất
b
a b

và rơi vào trạng thái 1 với xác suất
a

a b

.
2. Định lí Ergodic
Tính ergodic của xích Markov được hiểu theo nghĩa sau:
Tồn tại các giới hạn


n
j ij
n
Limp

  không phụ thuộc vào i sao cho:
j j
j E
0 j E; 1

     


Định lí: Giả sử P =


ij
p
là ma trận xác suất chuyển của xích Markov


n

X
có
không gian trạng thái hữu hạn


E 1, 2, , N

. Khi đó:
- Nếu P chính qui theo nghĩa sau: tồn tại
0
n
sao cho


0
n
ij
i,j
minp 0

(1.4)
thì tồn tại các số
1 2 N
, , ,
  
sao cho:
j j
j E
0; 1


   

(1.5)
và mỗi
j E

, ta có


n
ij j
n
Limp

 
(1.6)
- Ngược lại, nếu tồn tại các số
1 2 N
, , ,
  
thoả mãn điều kiện (1.5) và (1.6)
thì tồn tại số
0
n
thoả mãn điều kiện (1.5).
- Nếu điều kiện (1.5) được thoả mãn, thì các số
1 2 N
, , ,
  
là nghiệm của hệ

phương trình
j k kj
k E
x x p ; j E

 

(1.7)
và đó là nghiệm duy nhất thoả mãn điều kiện
j j
j E
x 0 j E; x 1

   


3. Phân phối dừng
a. Định nghĩa
Nghiệm không âm


1 2 N
, , ,
  
của phương trình (1.7) sao cho
j
1
 


được gọi là phân phối dừng (hay bất biến) của xích Markov với ma trận xác suất
chuyển P =


ij
p
.
b. Ý nghĩa của phân phối dừng
Nếu ta lấy


1 2 N
, , ,
  
là phân phối ban đầu của xích Markov, tức là


j 0
P X j ; j 1, 2, , N
    .
Khi đó:




1
j 1 k kj j
k
P X j p
      



Tổng quát ta có:




n
j n j
P X j
    
.
Có nghĩa là
0 1 n
X , X , , X ,
có phân phối xác suất như nhau.
Ta có thể chứng minh phân phối đồng thời của các đại lượng ngẫu nhiên
k k 1 k m
X , X , , X
 
không phụ thuộc vào k đối với mọi m. Quá trình có tính chất như
vậy được gọi là quá trình dừng. Viết dưới dạng ma trận thì phân phối dừng là vđc tơ
cột bất biến đối với ma trận chuyển vị của P, có nghĩa là:
11 21 N1
1 1
2 2
12 22 N2
N N
1N 2N NN
p p p

p p p

p p p
 
 
   
 
   
 
 
   

 
   
 
   
   
 
 
   
 
 

4. Phân phối giới hạn và phân phối ergodic
a. Định nghĩa
- Ta nói rằng xích Markov có phân phối giới hạn, nếu
j 1, 2, , N
  tồn tại các
giới hạn



n
j ij
n
lim p

  không phụ thuộc vào i và thoả mãn các điều kiện:
j
0
 
,
j
1
 

. Trong trường hợp đó ta gọi


1 2 N
, , ,
  
là phân phối giới hạn.
- Ta nói xích Markov có tính ergodic, nếu
j 1, 2, , N
  tồn tại giới hạn


n
j ij
n

lim p

  không phụ thuộc vào i và thoả mãn các điều kiện:
j
0
 
,
j
1
 

.
Trong trường hợp đó ta gọi


1 2 N
, , ,
  
là phân phối ergodic.
Theo phần (iii) của định lí ergodic, thì phân phối giới hạn (và phân phối
ergodic) là phân phối dừng. Điều ngược lại không đúng, tức là có những quá trình có
phân phối dừng, nhưng không có phân phối giới hạn. Chẳng hạn
P =
0 1
1 0
 
 
 
 
thì P

2n
=
0 1
1 0
 
 
 
 
và P
2n 1

=
1 0
0 1
 
 
 
 

Do đó không tồn tại giới hạn


n
ij
n
limp

. Tuy nhiên hệ phương trình
1 1
1 2 1 2

2 2
0 1
; 1; 0, 0
1 0
 
 
   
        
 
   
 
 
   
 

có nghiệm duy nhất
1
2
1
2
1
2

 




 



và đó là phân phối dừng duy nhất.
b) Định lí
Nếu tồn tại phân phối giới hạn, thì đó là phân phối dừng duy nhất.
5. Nguyên lí phản xạ
a) Bài toán bầu cử
Giả sử có hai ứng cử viên X và Y. X có x người ủng hộ, Y có y người ủng hộ
(x > y). Tuy nhiên ta không biết trước ai ủng hộ X, ai ủng hộ Y. Vì vậy ta tiến hành
thăm dò từng người một. Ai ủng hộ X ta ghi số 1, ai ủng hộ Y ta ghi số -1
Kí hiệu
n
1
1

 




Đặt
0 1 1 n 1 2 n
S 0; S ; ; S
         

Đường gấp khúc nối các điểm







1 x y
0, 0 ; 1, S ; ; x y, S


được gọi là
một quỹ đạo của việc thăm dò. Điểm đầu của đường gấp khúc này là (0, 0), các điểm
Nếu người thứ n ủng hộ X
Nếu người thứ n ủng hộ Y
trung gian là


n
n, S
và điểm cuối là


x y, x y
 
(vì
x y
S x y

 
). Lẽ đương
nhiên, ứng cử viên X thích những quỹ đạo luôn luôn nằm trên trục hoành (vì điều đó
có nghĩa là X luôn luôn chiếm đa số:
1 2 n
S 0, S 0, S 0
  

, ,
x y
S x y 0

  
).
Chẳng hạn với
x y 3
 
, x = 2, y = 1 thì tất cả có 3 quỹ đạo:

Rõ ràng là ứng cử viên X thích quỹ đạo thứ nhất hơn cả.
Trong trường hợp tổng quát, tổng số các quỹ đạo được tính bởi công thức:


x y
x y x y
x y !
C C
x!y!
 

 
(số cách chọn x người ủng hộ X hoặc số cách chọn y người ủng hộ Y trong
x y

người).
Tuy nhiên, để tính được số các quỹ đạo luôn luôn nằm trên trục hoành ta phải
sử dụng nguyên lí phản xạ. Theo nguyên lí phản xạ (ta sẽ trình bày dưới đây) thì số
này là:

x
x y
x y
C
x y




Từ đó suy ra, xác suất để X luôn luôn chiếm đa số là
x y
x y


.
b. Nguyên lí phản xạ
Giả sử




A a, ; B b,
   
là hai điểm trên mặt phẳng với các toạ độ thoả
mãn điều kiện
b a 0; 0; 0
     
. Điểm



A' a,
 
được gọi là điểm phản xạ
xủa A qua trục Ox.
Định lí (nguyên lí phản xạ): Số quỹ đạo nối A với B mà cắt hoặc tiếp xúc với
trục Ox bằng số quỹ đạo nối
A'
với B.
Áp dụng vào bài toán bầu cử:
Giả sử


0 1 x y
S , S , , S

là quỹ đạo nằm trên trục hoành. Khi đó
1
S 1

. Từ đó



0 1 2
3 0 1 2 3 0 1 2 3

suy ra số quỹ đạo nằm trên trục hoành bằng D - E.
Trong đó D là số quỹ đạo nối điểm (1, 1) với điểm (x + y, x - y). Cụ thể là



 
x 1
x y 1
x y 1 !
D C
x 1 !y!

 
 
 


Còn E là số quỹ đạo nối (1, 1) với (x + y, x - y) mà cắt hoặc tiếp xúc với Ox.
Theo nguyên lí phản xạ E bằng số quỹ đạo nối điểm (1, -1) với (x + y, x - y). Do vậy
ta có:


 
y 1
x y 1
x y 1 !
E C
x! y 1 !

 
 
 


Vậy số quỹ đạo nằm trên trục hoành là

D - E =


 


 


   
x
x y
x y 1 ! x y 1 ! x y 1 !
1 1 x y
C
x 1 !y! x! y 1 ! x 1 ! y 1 ! y x x y

     
 

   
 
    
 