Tìm hiểu về chuỗi markov rời rạc và ứng dụng

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG
──────── * ────────





BÀI TẬP LỚN
MÔN: Quá trình ngẫu nhiên và ứng dụng
Đề Tài:
Tìm hiểu về chuỗi Markov rời rạc và ứng dụng.

Sinh viên thực hiện: Đoàn Phong Tùng (Tnhóm) 20093089
Lê Khánh Duy 20090472
Vũ Viết Quang 20092101
Phan Trung Kiên 20093503
Dương Đức Độ 20090766

Lớp: KTMT&TT1 – K54
Giáo viên hướng dẫn: PGS.TS Nguyễn Thị Hoàng Lan.



Mục Lục
Trang
1.1 Khái niệm cơ bản và ví dụ………………………………….……….1
1.2 Thời điểm trúng và xác suất trùng………………………….……….3
1.3 Hồi quy và tạm thời….……………………………………….…… 5

1.4 Phân phối dừng…………………………………….…………… 9
1.5 Phân bố giới hạn………………………………… …………… 10
1.6 Ví dụ và bài tập…………………………………………………….12
1.7 Tài liệu tham khảo…………………………………… ………….16
Chuỗi Markov rời rạc và ứng dụng
Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 1

1.1 Khái niệm cơ bản và ví dụ.

Xét một hệ nào đó được quan sát tại các thời điểm rời rạc 0, 1, 2, Giả sử
các quan sát đó là X
0
,X
1
, , X
n
, Khi đó ta có một chuỗi có thứ tự các biến
ngẫu nhiên (X
n
) trong đó X
n
là trạng thái của hệ tại thời điểm n. Giả thiết rằng mỗi
X
n
,n =0, 1, là một ĐLNN rời rạc. Ký hiệu S là tập giá trị mà các biến ngẫu
nhiên ( X
n
) có thể có. Khi đó S là một tập hữu hạn hay đếm được, các phần tử của
nó được ký hiệu là i, j, k Ta gọi S là không gian trạng thái của dãy.

Định nghĩa1.1 : Ta nói rằng chuỗi các biến ngẫu ( X
n
) là một xích Markov nếu
với mọi n
1
< <n
k
<n
k +1
và với mọi i
1
,i
2
, i
k +1
∈ S.
P {Xn
k +1
= i
k +1
| Xn
1
= i
1
.Xn
2
= i
2
, Xn
k

= i
k
} = P{Xn
k +1
= i
k +1
| Xn
k
= i
k
}.

Từ định nghĩa ta rút ra một cách trực quan đặc trưng của chuỗi Markov là
xác suất để hệ có trạng thái nào đó trong tương lai thì chỉ phụ thuộc vào hệ tại thời
điểm hiện tại mà không phụ thuộc vào trạng thái của hệ trong quá khứ hay còn nói
là độc lập với quá khứ.

P{X
n+1
= j | X
n
= i} là xác suất để chuỗi đang có trạng thái i,tiếp theo sẽ có
trạng thái j.P{X
m + n
= j | X
m
= i} là xác suất để chuỗi tại thời điểm m ở trạng thái
sau n bước, tại thời điểm m + n chuyển sang trạng thái j.Nếu xác suất này chỉ phụ
thuộc vào khoảng cách số bước giữa hai thời điểm của hệ thì chuỗi được gọi là
xích thuần nhất.

Ký hiệu:
P
ij
= P{X
n +1
= j | X
n
= i }
P
ij
(n) = P{X
m + n
= j | X
m
= i }.

Khi đó ta có các tính chất :



Chuỗi Markov rời rạc và ứng dụng
Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 2

ij
( ) 1
jS
Pn





Định nghĩa1.2 :Trong trường hợp không gian trạng thái S có d phần tử, ta có (P
ij
)
là ma trận xác xuất chuyển và (P
ij
(n)) là các ma trận vuông kích thước d ×
d. P được gọi là ma trận xác suất chuyển, P (n) được gọi là ma trận xác suất chuyển
sau n bước.

Xét biến ngẫu nhiên ban đầu X
0
là biến thể hiện trạng thái ban đầu của
hệ.Phân bố của X
0
được gọi là phân bố ban đầu. Ta ký hiệu u
i
= P ( X
0
= i ).

Định lý 1.1. Phân bố đồng thời của ( X
0
,X
1
, , X
n
) được xác định từ phân bố ban
đầu và xác suất chuyển như sau:

Chứng minh:

Áp dụng công thức nhân xác suất ta có
P ( X
0
= i
0
,X
1
= i
1
, , X
n
= i
n
) = P( X
0
= i
0
) P ( X
1
= i
1
| X
0
= i
0
) × × P( Xk = i

k
|
X
0
= i
0
, , X
k − 1
= i
k − 1
) × × P ( X
n
= i
n
| X
0
= i
0
, , X
n − 1
= i
n − 1
) .
Theo tính Markov ta có:
P ( X
k
= i
k
| X
0

= i
0
, , X
k − 1
= i
k − 1
) = P ( X
k
= i
k
| X
k − 1
= i
k − 1
) =
Thay vao đẳng thức đầu ta thu được:


Định lý 1.2. (Phương trình C - K (Chapman-Kolmogorov))


Chứng minh. Theo công thức xác suất đầy đủ và tính Markov ta có

Chuỗi Markov rời rạc và ứng dụng
Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 3


Từ phương trình Chapman-Kolmogorov và phương pháp quy nạp ta có được:

Định lý 1.3: Chuỗi markov (X

n
) với không gian trạng thái S,ma trận chuyển
và ma trận chuyển sau n bước (P
ij
(n)) .Ta có biểu thức:


(P
ij
(n)) =


1.2 Thời điểm trúng và xác suất trúng.

Định nghĩa1.2.1 :Ta gọi B là tập trạng thái con của không gian trạng thái S với các
trạng thái z (z B), -thời điểm trúng tập b:là thời điểm mà lần đầu tiên chuối có
trạng thái nằm trong tập trạng thái B(Không xét trường hợp B = ).

Ký hiệu :
Với trạng thái x S:
– xác suất trúng B lần đầu tiên tại z : là xác suất để chuối xuất phát từ x sau
một số bước sẽ có trạng thái nằm trong B lần đầu tiên và trạng thái này là trạng thái
z.
– xác suất trúng B là xác suất để chuỗi xuất phát từ x sau một số bước sẽ có
trạng thái nằm trong B .

Khi đó ta có :
=

=

Định lý 1.2.1: z B ta có:


Chuỗi Markov rời rạc và ứng dụng
Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 4




Chứng minh:

Xét x không thuộc B:

Nhận xét tập sự kiện ( = y) với từng y S tạo thành một nhóm đầy đủ,áp dụng
công thức xác suất đầy đủ ta có:

= (1)

Do x không thuộc B nên 1 vì vậy ta có thể viết :

=


=

= (Áp dụng tính chất Markov)

= =

Thay vào (1) ta có:

= (Điều phải chứng minh)

Từ định lý 1.2.1 của xác xuất trúng tại một phần tử thuộc B ta có thể suy ra
được định lý của xác suất trúng B.


Chuỗi Markov rời rạc và ứng dụng
Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 5

Định lý 1.2.2:



Định lý 1.2.3:

Nếu ta kí hiêu là kỳ vọng cho biến ngẫu nhiên chỉ thời điểm mà chuỗi
có trạng thái rơi vào trong tập B với điều kiện đã biết là chuối xuất phát từ thời
điểm ban đầu có trạng thái x S.Tức là:

= E[ ] =

Khi đó hàm e(x) (x là trạng thái mà chuỗi xuất phát từ đó) là hàm nhỏ nhất
không âm thoả mãn:



1.3 Hồi quy và tạm thời.

Định nghĩa1.3.1 : Ký hiệu là xác suất để chuỗi xuất phát từ i lần đầu tiên
quay lại i ở thời điểm n . Nghĩa là:

= P( = i, i,…, i | )

Như vậy xác suất để hệ xuất phát từ trạng i trở lại trạng thái i sau một số hữu hạn
bước:

=

Chuỗi Markov rời rạc và ứng dụng
Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 6

Ta định nghĩa trạng thái i là trạng thái hồi quy nếu = 1,nếu 1 thì ta nói
I là trạng thái không hồi quy hay trạng thái tạm thời.

Định nghĩa1.3.2 : được gọi là thời gian chiếm giữ của trạng thái i nếu là số
lần mà chuỗi có trạng thái là i.

Định lý 1.3.1: trạng thái i S ta có các mệnh đề sau là tương đương:
1.i là trạng thái hồi quy.
2.Số lần mà hệ có trạng thái i là vô hạn(P( ) = 1)
3.Kỳ vọng số lần mà hệ có trạng thái i là vô hạn(E[ ] = ) .

Từ mục 3 cỉa định lý 1.3.1 ta có hệ quả quan trọng như là một tiêu chuẩn để
xác định tính hồi quy của một trạng thái.

Hệ quả: Trạng thái i là hồi quy khi và chỉ khi tổng các xác suất chuyển từ trạng
thái i đến trạng thái i sau một số hữu hạn bước là vô hạn.Cụ thể:

Chứng minh:
Từ định lý 1.3.1 ta có :

E[ ] = ;

E[ ] = = ;

Suy ra điều phải chứng minh.

Định nghĩa 1.3.3: Ta nói rằng trạng thái i đến được trạng thái j và ký hiệu là i → j
nếu tồn tại n ≥ 0 sao cho P
ij
( n ) > 0. (Ta quy ước P
ii
(0) = 1, P
ij
(0) = 0 nếu i j ).
Hai trạng thái i và j được gọi là liên lạc được nếu i → j và j → i . Trong trường hợp
đó ta viết i ↔ j .

Chuỗi Markov rời rạc và ứng dụng
Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 7

Định lý 1.3.2: Nếu i j và i hồi quy thì j hồi quy

Chứng minh:

Do i j và j i nên m,n sao cho P
ij
(n) > 0, P
ji
(m) > 0.Từ phương trình
Chapman – Kolmogorov ta có:

Do vậy:



Theo hệ quả ta có j hồi quy.

Bổ đề: (Tính chất bắc cầu). Nếu i → j, j → k thì i → k .

Thật vậy theo giả thiết tồn tại n, m sao cho P
ij
(n) > 0, P
jk
(m) > 0.Theo phương
trình Chapman - Kolmogorov ta có:


Từ bổ đề, dễ kiểm tra rằng quan hệ "liên lạc được" là một quan hệ tương đương
trên không gian trạng thái S.Theo quan hệ này không gian S được phân hoạch
thành các lớp rời nhau. Hai trạng thái bất kỳ cùng thuộc một lớp thì liên lạc được
với nhau, hai trạng thái khác lớp không thể liên lạc được với nhau.

Định nghĩa1.3.4 : Xích Markov được gọi là tối giản nếu hai trạng thái bất kỳ là
liên lạc được. Có nghĩa là theo cách phân lớp trên thì S không thể phân hoạch

thành các lớp con nhỏ hơn.

Nếu xích không tối giản thì S đượ c phân hoạch thành các lớp rời nhau S =
S
1
∪S
2
∪ ∪S
k
. Có thể xem mỗi S
k
là không gian trạng thái của xích Markov tối
Chuỗi Markov rời rạc và ứng dụng
Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 8

giản. Như vậy việc nghiên cứu xích Markov có thể quy về việc nghiên cứu các
xích tối giản.

Định nghĩa1.3.5 : Chu kỳ của trạng thái i ký hiệu là d( i ) là ước chung lớn nhất
của tất cả các số nguyên dương n ≥ 1 mà P
ii
(n) > 0. Nếu P
ii
(n)=0 với mọi n ≥ 1 thì
ta quy ước đặt d(i)=0.

Định lý 1.3.3: Nếu i ↔ j thì d(i)= d(j) . Vậy các trạng thái cùng một lớp có cùng
một chu kỳ d và ta gọi số d chung đó là chu kỳ của lớp.

Chứng minh:

Do i ↔ j nên tồn tại k, l sao cho P
ij
(k) > 0,P
ji
(l) > 0. Theo phương trình Chapman -
Kolmogorov ta có:

.

Vậy d(i) k + l . Giả sử n ≥ 1 sao cho P
jj
(n) > 0. Sử dụng phương trình Chapman -
Kolmogorov như trên ta có:

P
ii
(k + l + n) ≥ P
ij
(k)P
jj
(n)P
ji
(l) > 0.

Vậy d(i) k + l + n → d( i ) n .Vậy d( i ) d( j ). Tương tự d(j) d(i) .

Do vậy d(i)= d(j) .

Giả sử d là chu kỳ của một xích tối giản với không gian trạng thái S . Nếu d =1

ta nói rằng xích không có chu kỳ. Nếu d > 1 thì có thể chứng minh rằng S được
phân hoạch thành d tập con E = C
0
∪ C
1
∪ ∪ C
d − 1
sao cho sau một bước hệ sẽ
chuyển từ một trạng thái thuộc C
k
sang một trạng thái thuộc C
k +1
(quy ướ c C
d
=
C
0
). Vì vậy mỗi tập con có thể lấy làm không gian trạng thái của một xích Markov
mới. Xích này tối giản và không có chu kỳ.

1.4 Phân phối dừng
Chuỗi Markov rời rạc và ứng dụng
Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 9

Định nghĩa1.4.1: Phân bố ban đầu U =(u
i
),i ∈ E được gọi là phân bố dừng nếu ta
có: U(n)= U với mọi n; tức là u
i
(n)= u

i
∀i ∈ E, ∀n. Khi đó dãy (Xn) có cùng phân
bố.
U =(u
i
) là phân bố dừng nếu và chỉ nếu:
1. 0 và
1
i
iE
U




2. =
iji
iE
U P j E




4.2 Cách tìm phân phối dừng của 1 xích Markov:
3. Giả sử X
n
là 1 xích Markov có không gian trạng thái E, ma trận xác suất
chuyển P. U(x
1,
x

2,
x
i
) là 1 phân bố dừng của xích khi x
1,
x
2,
x
i
là
nghiệm dương của hệ:
4. U(x
1,
x
2,
x
i
)= U(x
1,
x
2,
x
i
).P

Ví dụ:
Cho ( ) là 1 xích Markov có 2 trạng thái {0,1} với ma trận xác suất
chuyển là
P=
Trong đó a,b ,0 < a+b < 1

Đặt U = (x,y) .Khi đó U là phân bố dừng khi và chỉ khi x,y là nghiệm không
âm của hệ sau


Phương trình (1) (2) của hệ tương đương với ax = by, hay x = thế vào phương
trình (3) ta thu được
x = y =
Với các bài toán có thể tính toán trực tiếp, số tập nghiệm của hệ U(x
1,
x
2,
x
i
)=
U(x
1,
x
2,
x
i
).P là số phân phối dừng của xích Markov. Ngoài ra ta còn có thể dùng
các tính chất sau để kiểm tra xích Markov có phân phối dừng là duy nhất hay
không tồn tại phân phối dừng.
Chuỗi Markov rời rạc và ứng dụng
Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 10

4.3 Các tính chất của phân phối dừng:
Giả sử (Xn) là xích Markov với không gian trạng thái E ={1, 2, } với ma
trận xác suất chuyển P =(P
ij

) và ma trận xác suất chuyển sau n bước là
P(n)=(P
ij
(n)). Giả sử rằng với mọi i, j ∈ E tồn tại giới hạn:

và giới hạn này không phụ thuộc i. Khi đó:
1.
ij
1à
j j i
j E i E
vP
  




2. Hoặc =0 với mọi j E hoặc
1
j
jE





3. Nếu
1
j
jE





thì U = { là phân bố dừng và phân bố dừng
là duy nhất. Nếu =0 với mọi j E thì phân bố dừng không tồn tại.
Từ tính chất 3 ta có thể xác định xem xích Markov có bao nhiêu phân phối
dừng bằng cách tìm giới hạn khi n→∞ của ma trận xác suất chuyển P. Trong các
bài toán, việc tìm giới hạn này tương đối khó khăn nên thay vì tìm trực tiếp, ta chỉ
kiểm tra xem giới hạn đó có tồn tại hay không bằng cách kiểm tra có tồn tại n
0
sao
cho P
ij
(n
0
) > 0, ∀i, j ∈ E hay không?
1.5 Phân bố giới hạn
Định nghĩa1.5.1:
Giả sử (X
n
) là xích Markov với không gian trạng thái E = {1, 2, } với ma
trận xác suất chuyển P =(P
ij
) và ma trận xác suất chuyển sau n bước là P (n)=
P
ij
(n). Ta nói rằng xích có phân bố giới hạn nếu với mọi i, j ∈ E tồn tại giới hạn

Giới hạn này không phụ thuộc i ∈ E và =1. Nói cách khác, vecto giới hạn π
= (π
1
,π
2
, ) lập thành một phân bố xác suất trên E.
- Ý nghĩa của phân bố giới hạn là như sau: Gọi u
i
(n)= P (X
n
= i). Ký hiệu vecto
U(n)=( u
1
(n) ,u
2
( n ), ) là vector hàng d-chiều mô tả phân bố của X
n
. Tacó

Do đó
Chuỗi Markov rời rạc và ứng dụng
Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 11



Vậy phân bố U(n) của X
n
hội tụ tới phân bố giới hạn π. Khi n khá lớn ta có P (X
n

= j ) ≈ π
j
. (Theo định lý 1.4 ) Nếu phân bố giới hạn tồn tại thì phân bố dừng
cũng tồn tại và duy nhất. Hơn nữa hai phân b ố này trùng nhau. Tuy nhiên điều
ngược lại không đúng tức là có những xích Markov có tồn tại phân bố dừng nhưng
không tồn tại phân bố giới hạn.
- Điều kiện đảm bảo tồn tại phân bố giới hạn và phân bố dừng:
(Định lý 1.5) Cho (X
n
) là xích Markov với không gian trạng thái hữu hạn E =
{1, 2, , d} với ma trận xác suất chuyển sau n bước là P(n) = (P
ij
(n)). Khi đó có
tồn tại phân bố giới hạn π = (π
1
, , π
d
) với π
j
> 0 ∀ j ∈ E khi và chỉ khi xích là
chính quy theo nghĩa:
Tồn tại n
0
sao cho P
ij
(n
0
) > 0, ∀ i, j ∈ E.
Chứng minh.

Giả thiết xích là chính quy. Ta cố định j và đặt


Ta có

Suy ra m
j
(n +1) ≥ m
j
(n). Vậy dãy (m
j
(n)), n =1, 2, là dãy tăng và bị chặn trên bởi
1, do đó tồn tại giới hạn

Lập luận tương tự dãy (M
j
(n)), n = 1, 2, ) là dãy giảm bị chặn bởi 0,do đó tồn tại
giới hạn


Ta có m
j
(n) ≤ P
ij
(n) ≤ M
j
(n) do đó định lý được chứng minh nếu ta chỉ ra a
j
= A
j

.
Ký hiệu . Ta có P
ik
(n
0
) ≥ r.1 ≥ P
jk
(n) nên P
ik
(n
0
) ≥ rP
jk
(n) ∀ i, suy ra

Vì bất đẳng thức này đúng với mọi i nên ta có
m
j
(n
0
+ n) ≥ m
j
(n)(1 − r)+ rP
jj
(2n).
Tương tự ta có
M
j
(n
0

+ n) ≤ M
j
(n)(1 − r)+ rP
jj
(2n) .
Chuỗi Markov rời rạc và ứng dụng
Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 12

Suy ra
M
j
(n
0
+ n) − m
j
(n
0
+ n) ≤ (1 − r)( M
j
(n) − m
j
(n)). (1.4)
Ta chứng minh quy nạp rằng với mọi k
M
j
(kn
0
+1) − m
j
(kn

0
+1) ≤ (1 − r)
k
(M
j
(1) − m
j
(1)) . (1.5)
Thật vậy với k =1 đúng (Cho n =1 ở (1.4)). Giả sử đúng với k .Ta có
M
j
(( k +1)n
0
+1) − m
j
((k +1)n
0
+1)
= M
j
( kn0 +1 + n
0
) − m
j
(kn
0
+1 + n
0
)
≤ (1 − r )((M

j
( kn
0
+1) − m
j
( kn
0
+ 1))
≤ (1 − r )
k
+1(M
j
(1) − m
j
(1)) .
Cho k →∞ trong (1.5) ta nhận đượ c A
j
− a
j
≤ 0.Vì A
j
− a
j
≥ 0 nên ta kết luận
A
j
= a
j
.
Đảo lại giả sử với mọi i, j ∈ E tồn tại .

Khi đó tồn tại n
0
(i, j) sao cho P
ij
(n) > 0 ∀ n> n
0
( i, j ).
Đặt n
0
= ta có P
ij
(n) > 0 ∀ i, j ∈ E ∀ n > n
0
.
1.6 Ví dụ và bài tập

Ví dụ 1: (Mô hình Ehrenfest)
Ta có hai bình A, B và có d quả cầu đánh số 1, 2, d. Tại thời điểm ban đầu
có a quả cầu trong A và d − a quả cầu trong B . Tại mỗi thời điểm n ta chọn ngẫu
nhiên một số trong tập {1, 2, d}. Khi đó quả cầu mang chỉ số được chọn sẽ được
chuyển từ bình đang chứa nó sang bình kia. Ký hiệu X n là số quả cầu trong bình A
tại thời điểm n . Hiển nhiên (X
n
) là xích Markov. Ta hãy tính xác suất chuyển P(X
n +1
= j | X
n
= i ) .Vì A chứa i quả cầu nên với xác suất i/d ta sẽ chọn được quả cầu
từ A. Khi đó quả cầu này được chuyển sang B.
Vậy P ( X

n +1
= i − 1| X
n
= i )= i/d. Tương tự với xác suất 1 − i/d sẽ chọn được
quả cầu của B và quả cầu này sẽ được chuyển vào A.
Vậy P ( X
n +1
= i +1| X
n
= i )=1 − i/d. Thành thử



Chuỗi Markov rời rạc và ứng dụng
Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 13

Mô hình này được nhà vật lý nổi tiếng Ehrenfest đưa ra năm 1907 nhằm mô
tả sự truyền nhiệt giữa hai vật thể.
Ví dụ 2 :
Ta nghiên cứu một vấn đề xã hội nào đó chẳng hạn vấn đề nghiện hút. Ta ký
hiệu trạng thái 0 là không nghiện và trạng thái 1 là nghiện. Đơn vị thời gian là một
quý (3 tháng). Thống kê nhiều năm cho thấy xác suất để một người không nghiện
sau một quý vẫn không nghiện là 0,99 và xác suất để một người nghiện sau một
quý vẫn tiếp tục nghiện là 0,88. Như vậy trạng thái của một người (nghiện hay
không nghiện) được mô tả bởi một xích Markov với hai trạng thái E = {0, 1} với
ma trận xác suất chuyển như sau

Giả sử lúc đầu có 17% số người nghiện.
Như vậy phân bố ban đầu là U(0) = (0 , 83, 0, 17) .
Sang quý hai, theo định lý 1.3 phân bố số người nghiện và không nghiện sẽ là

U(1) = U(0)P = (0 . 83, 0. 17). = (0 , 845, 0, 155).
Sang quý ba nữa phân bố số người không nghiện và nghiện sẽ là
U (2) = U (1) P =(0 . 845, 0. 155) = (0 , 855, 0, 145)
tức là lúc này có 14,5% số người nghiện.
Ví dụ 3:
Giả sử ta có d cửa hàng ký hiệu là 1, 2, d cùng bán một sản phẩm nào đó. Khách
hàng có thể chọn mua sản phẩm ở một trong d cửa hàng này tuỳ theo sở thích của
họ và trong từng tháng họ không thay đổi chỗ mua hàng. Gọi Xn là cửa hàng mà
khách hàng chọn mua sản phẩm ở tháng thứ n . Đây là một xích Markov có d trạng
thái, xác suất chuyển P ij có nghĩa là xác suất để khách hàng, hiện tại đang mua
hàng tại cửa hàng i sang tháng sau chuyển sang mua ở cửa hàng j.
Xét d = 3 và ma trận xác suất chuyển là


Giả sử tháng giêng cửa hàng 1 chiếm 20% khách hàng, cửa hàng 2 chiếm
50% khách hàng và cửa hàng 3 chiếm 30% khách hàng. Như vậy phân bố ban đầu
Chuỗi Markov rời rạc và ứng dụng
Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 14

là U(0) = (0, 2, 0, 5, 0, 3) . Sang tháng 2 phân bố khách hàng trong 3 cửa hàng sẽ là
U(1) = U(0)P = (0, 22, 0, 49, 0, 29) . Sang tháng 3 phân bố khách hàng trong 3 cửa
hàng sẽ là U(2) = U(1) P =(0, 234, 0, 483, 0, 283). Tiếp tục quá trình như vậy ta có
thể tính ở tháng 12 phân bố khách hàng trong 3 cửa hàng sẽ là U(11) = (0 , 270, 0,
459, 0, 271) tức là trong tháng 12 cửa hàng 1 chiếm 27% khách hàng, cửa hàng 2
chiếm 45,9% khách hàng và cửa hàng 3 chiếm 27,1% khách hàng.
Ví dụ 4:
Cho ( X
n
) là một xích Markov có 3 trạng thái E = {1, 2, 3} với ma trận xác suất
chuyển là

Hãy tìm tất cả các phân bố dừng?
Đặt U =(x, y , z) . Khi đó U là phân b ố dừng khi và chỉ khi x, y , z là nghiệm
không âm của hệ sau

Từ phương trình thứ nhất và thứ hai của hệ khử z ta rút ra y =5x/3. Từ đó z =3 x/2.
Thế vào phương trình (4) ta thu đượ c x =6/25,y =10/25,z =9/25.

Ví dụ 5. Mỗi người dân trong một vùng nào đó có thể ở trong ba tầng lớp: giàu,
trung lưu và nghèo. Con cái của họ có thể ở trong một trong ba tầng lớp nói trên
với các xác suất khác nhau tuỳ thuộc vào việc họ đang ở trong tầng lớp nào. Giả sử
bằng thống kê ngưòi ta xác định được: Nếu một người giàu thì với xác suất 0,448
con họ giàu, với xác suất 0,484 con họ trung lưu với xác suất 0,068 con họ nghèo.
Tương tự, với một người trung lưu thì xác suất để con họ giàu, trung lưu hay nghèo
tương ứng là 0,054. 0,699 và 0,247. Với một người nghèo thì xác suất để con họ
giàu, trung lưu hay nghèo tương ứng là 0,011, 0,503 và 0,486. Như vậy sự thay đổi
trạng thái của một gia đình trong xã hội từ thế hệ này qua thế hệ khác có thể mô tả
bởi một xích Markov ba trạng thái : 1(giàu), 2(trung lưu), 3(nghèo) với xác suất
chuyển như sau
Chuỗi Markov rời rạc và ứng dụng
Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 15


Xích Markov này là chính quy. Thành thử tồn tại phân bố giới hạn π=(π
1
, π
2
,
π
3

) . Phân bố này chính là phân bố dừng duy nhất và được tìm bằng cách giải hệ
phương trình sau (π
1
, π
2
, π
3
) P = (π
1
, π
2
, π
3
) .
Giải ra ta tìm được π
1
= 0,067; π
2
= 0,624; π
3
=0,369. Như vậy qua nhiều thế
hệ ở vùng dân cư nói trên sẽ có 6,7% người giàu, 62,4% trung lưu và 36.9% người
nghèo.

Chuỗi Markov rời rạc và ứng dụng
Quá Trình Ngẫu Nhiên Và Ứng Dụng Page 16




Tài liệu tham khảo

1, Applied Stochastic Processes tác giả Jochen Geiger

2,Probability,Random Variables,and Stochastic Processes -Third Edition-

Athanasios Papoulis

3,Quá trình ngẫu nhiên ,tính toán ngẫu nhiên Đặng Hùng Thắng