QÚA TRÌNH NGẪU NHIÊN và TÍNH TOÁN NGẪU NHIÊN ĐẶNG HÙNG THẮNG

QUÁ TRÌNH NGẪU NHIÊN
VÀ TÍNH TOÁN NGẪU NHIÊN
ĐẠI HỌC KHOA HỌC TỰ NHIÊN

Đặng Hùng Thắng

NXB Đại học quốc gia Hà Nội 2007


Chương 1
Quá trình Markov

1.1

Xích Markov . . . . . . . . . . . . . . . . . . . . .

5

1.2

Phân loại trạng thái xích Markov . . . . . . . . .

20

1.3

Quá trình Markov . . . . . . . . . . . . . . . . . .

34

1.4

1.1

1.3.1

Trường hợp không gian trạng thái hữu hạn . . . . 36

1.3.2

Trường hợp không gian trạng thái vô hạn đếm được 42

1.3.3

Trường hợp tổng quát . . . . . . . . . . . . . . . . 54

Bài tập . . . . . . . . . . . . . . . . . . . . . . . . .

58

Xích Markov

Xét một hệ nào đó được quan sát tại các thời điểm rời rạc 0, 1, 2, ... Giả sử
các quan sát đó là X0 , X1 , ..., Xn, ... Khi đó ta có một dãy các đại lượng ngẫu
nhiên (ĐLNN) (Xn ) trong đó Xn lg thái của hệ tại thời điểm n. Giả thiết
rằng mỗi Xn , n = 0, 1, ... là một ĐLNN rời rạc. Ký hiệu E là tập giá trị của
các (Xn ). Khi đó E là một tập hữu hạn hay đếm được, các phần tử của nó
được ký hiệu là i, j, k... Ta gọi E là không gian trạng thái của dãy.


6

Chương 1. Quá trình Markov

Định nghĩa 1.1. Ta nói rằng dãy các ĐLNN (Xn ) là một xích Markov nếu
với mọi n1 < ... < nk < nk+1 và với mọi i1 , i2, ...ik+1 ∈ E
P {Xnk+1 = ik+1 |Xn1 = i1 .Xn2 = i2..., Xnk = ik }
= P {Xnk+1 = ik+1 |Xnk = ik }.
Ta coi thời điểm nk+1 là tương lai, nk là hiện tại còn n1,...,nk−1 là quá
khứ. Như vậy, xác suất có điều kiện của một sự kiện B nào đó trong tương
lai nếu biết hiện tại và quá khứ của hệ cũng giống như xác suất có điều kiện
của B nếu chỉ biết trạng thái hiện tại của hệ. Đó chính là tính Markov của
hệ. Đôi khi tính Markov của hệ còn phát biểu dưới dạng: Nếu biết trạng thái
hiện tại của hệ thì quá khứ và tương lai độc lập với nhau.
Giả sử P {Xm+n = j|Xm = i} là xác suất để xích tại thời điểm m ở trạng
thái i sau n bước, tại thời điểm m + n chuyển sang trạng thái j. Đây là một
con số nói chung phụ thuộc vào i, j, m, n. Nếu đại lượng này không phụ thuộc
m ta nói xích là thuần nhất. Trong giáo trình này ta chỉ xét xích Markov
thuần nhất.
Ký hiệu
Pij = P {Xn+1 = j|Xn = i}
Pij (n) = P {Xm+n = j|Xm = i}.
Ta gọi (Pij , i, j ∈ E) là xác suất chuyển sau một bước hay xác suất chuyển
còn (Pij (n), i, j ∈ E) là xác suất chuyển sau n bước. Chú ý rằng
Pij = 1
j∈E

Pij (n) = 1.
j∈E

Phân bố của X0 được gọi là phân bố ban đầu. Ta ký hiệu ui = P (X0 = i).

Định lý 1.1. Phân bố đồng thời của (X0 , X1 , ..., Xn ) được hoàn toàn xác
định từ phân bố ban đầu và xác suất chuyển. Cụ thể ta có
P (X0 = i0 , X1 = i1 , ..., Xn = in ) = ui0 Pi0 i1 ...Pin−1in .


1.1. Xích Markov

7

Thật vậy theo công thức nhân xác suất ta có
P (X0 = i0 , X1 = i1 , ..., Xn = in ) =
= P (X0 = i0)P (X1 = i1 |X0 = i0 ) × ...
× P (Xk = ik |X0 = i0 , ..., Xk−1 = ik−1 ) × ...
× P (Xn = in |X0 = i0, ..., Xn−1 = in−1 ).
Sử dụng tính Markov ta có
P (Xk = ik |X0 = i0 , ..., Xk−1 = ik−1 ) = P (Xk = ik |Xk−1 = ik−1 )
= Pik−1 ik .
Thành thử
P (X0 = i0 , X1 = i1 , ..., Xn = in ) = ui0 Pi0 i1 ...Pin−1in
Định lý 1.2. (Phương trình C - K (Chapman-Kolmogorov))
Pij (n + m) =

Pik (n)Pkj (m).
k∈E

Chứng minh. Theo công thức xác suất đầy đủ và tính Markov ta có
Pij (n + m) = P (Xn+m = j|X0 = i)
=

P (Xn = k|X0 = i)P (Xn+m = j|Xn = k, X0 = i)

k∈E

Pik (n)Pkj (m).

=
k∈E

Trong trường hợp E có d phần tử, ta ký hiệu P = (Pij ), P (n) = (Pij (n))
là các ma trận vuông cấp d × d. P được gọi là ma trận xác suất chuyển, P (n)
được gọi là ma trận xác suất chuyển sau n bước. Khi đó từ phương trình
Chapman-Kolmogorov tương đương với
P (n + m) = P (n)P (m).


8

Chương 1. Quá trình Markov

Vì P = P (1) nên bằng quy nạp ta dễ thấy
P (n) = P n .
Gọi ui(n) = P (Xn = i). Ký hiệu vecto U (n) = (u1(n), ..., ud(n)) là vector
hàng d - chiều mô tả phân bố của Xn , U = U (0) = (u1, u2 , ..., ud) là vector
hàng d - chiều mô tả phân bố ban đầu (phân bố của X0 ).
Định lý 1.3. Ta có
U (m + n) = U (m)P n .
Nói riêng
U (n) = U P n .
Chứng minh. Thật vậy, theo công thức xác suất đầy đủ ta có
d

uj (m + n) = P (Xn+m = j) =

P (Xm = i)P (Xn+m = j|Xm = i)
i=1
d

ui(m)Pij (n).

=
i=1

Ví dụ 1.1. Cho (ξn ), n = 0, 1, 2, .. là dãy các ĐLNN độc lập, cùng phân bố.
n

Giả sử P (ξn = i) = ai , i ∈ Z. Đặt Xn =

ξi . Khi đó (Xn ) là một xích
i=1

Markov với không gian trạng thái Z.
P {Xn+1 = in+1 |X0 = i0 .X1 = i1..., Xn = in }
= P {Xn + ξn+1 = in+1 |ξ0 = i0, ξ1 = i1 − i0, ..., ξn = in − in−1 }
= P {ξn+1 = in+1 − in } = P {Xn+1 = in+1 |Xn = in }.
Vậy thì (Xn ) là một xích Markov với không gian trạng thái Z. Xác suất
chuyển là Pij = ai−j .


1.1. Xích Markov

9

Ví dụ 1.2. (Mô hình Ehrenfest) Ta có hai bình A, B và có d quả cầu đánh
số 1, 2, ...d. Tại thời điểm ban đầu có a quả cầu trong A và d−a quả cầu trong
B. Tại mỗi thời điểm n ta chọn ngẫu nhiên một số trong tập {1, 2, ...d}. Khi
đó quả cầu mang chỉ số được chọn sẽ được chuyển từ bình đang chứa nó sang
bình kia. Ký hiệu Xn là số quả cầu trong bình A tại thời điểm n. Hiển nhiên
(Xn ) là xích Markov. Ta hãy tính xác suất chuyển P (Xn+1 = j|Xn = i). Vì
A chứa i quả cầu nên với xác suất i/d ta sẽ chọn được quả cầu từ A. Khi đó
quả cầu này được chuyển sang B. Vậy P (Xn+1 = i − 1|Xn = i) = i/d. Tương
tự với xác suất 1 − i/d sẽ chọn được quả cầu của B và quả cầu này sẽ được
chuyển vào A. Vậy P (Xn+1 = i + 1|Xn = i) = 1 − i/d. Thành thử
i

nếu j = i − 1


d
(1.1)
Pij = d − i nếu j = i + 1

d



0
nếu j = i + 1, j = i − 1.
Mô hình này được nhà vật lý nổi tiếng Ehrenfest đưa ra năm 1907 nhằm mô
tả sự truyền nhiệt giữa hai vật thể.
Ví dụ 1.3. Ta nghiên cứu một vấn đề xã hội nào đó chẳng hạn vấn đề nghiện
hút. Ta ký hiệu trạng thái 0 là không nghiện và trạng thái 1 là nghiện. Đơn

vị thời gian là một quý (3 tháng). Thống kê nhiều năm cho thấy xác suất
để một người không nghiện sau một quý vẫn không nghiện là 0,99 và xác
suất để một người nghiện sau một quý vẫn tiếp tục nghiện là 0,88. Như vậy
trạng thái của một người (nghiện hay không nghiện) được mô tả bởi một xích
Markov với hai trạng thái E = {0, 1} với ma trận xác suất chuyển như sau
P =

0, 99 0, 01
0, 12 0, 88

Giả sử lúc đầu có 17% số người nghiện. Như vậy phân bố ban đầu là U (0) =
(0, 83, 0, 17). Sang quý hai, theo định lý 1.3 phân bố số người nghiện và không
nghiện sẽ là
U (1) = U (0)P = (0.83, 0.17)

0, 99 0, 01
0, 12 0, 88

= (0, 845, 0, 155).


10

Chương 1. Quá trình Markov

Sang quý ba nữa phân bố số người không nghiện và nghiện sẽ là
U (2) = U (1)P = (0.845, 0.155)

0, 99 0, 01
0, 12 0, 88

= (0, 855, 0, 145)

tức là lúc này có 14,5% số người nghiện.
Ví dụ 1.4. Giả sử ta có d cửa hàng ký hiệu là 1, 2, ...d cùng bán một sản
phẩm nào đó. Khách hàng có thể chọn mua sản phẩm ở một trong d cửa hàng
này tuỳ theo sở thích của họ và trong từng tháng họ không thay đổi chỗ mua
hàng. Gọi Xn là cửa hàng mà khách hàng chọn mua sản phẩm ở tháng thứ
n. Đây là một xích Markov có d trạng thái, xác suất chuyển Pij có nghĩa là
xác suất để khách hàng, hiện tại đang mua hàng tại cửa hàng i sang tháng
sau chuyển sang mua ở cửa hàng j. Xét d = 3 và ma trận xác suất chuyển
là


0, 800 0, 100 0, 100


P = 0, 070 0, 900 0, 030
0, 083 0, 067 0, 850
Giả sử tháng giêng cửa hàng 1 chiếm 20% khách hàng, cửa hàng 2 chiếm
50% khách hàng và cửa hàng 3 chiếm 30% khách hàng. Như vậy phân bố ban
đầu là U (0) = (0, 2, 0, 5, 0, 3). Sang tháng 2 phân bố khách hàng trong 3 cửa
hàng sẽ là U (1) = U (0)P = (0, 22, 0, 49, 0, 29). Sang tháng 3 phân bố khách
hàng trong 3 cửa hàng sẽ là U (2) = U (1)P = (0, 234, 0, 483, 0, 283). Tiếp tục
quá trình như vậy ta có thể tính ở tháng 12 phân bố khách hàng trong 3 cửa
hàng sẽ là U (11) = (0, 270, 0, 459, 0, 271) tức là trong tháng 12 cửa hàng 1
chiếm 27% khách hàng, cửa hàng 2 chiếm 45,9% khách hàng và cửa hàng 3
chiếm 27,1% khách hàng.
Ví dụ 1.5. Cho (Xn ) là một xích Markov có 2 trạng thái E = {0, 1} với ma
trận xác suất chuyển là

P =

1−a
a
b
1−b


1.1. Xích Markov

11

trong đó a, b > 0, 0 < a + b < 1. Ta hãy tìm biểu thức của ma trận xác suất
chuyển sau n bước P (n). Ta có
P00(n + 1) = P (Xn+1 = 0|X0 = 0)
= P (Xn = 0|X0 = 0)P (Xn+1 = 0|Xn = 0)+
+ P (Xn = 1|X0 = 0)P (Xn+1 = 0|Xn = 1)
= P00 (n)(1 − a) + (1 − P00 (n))b.

(1.2)

Nếu ký hiệu un = P00 (n), q = 1 − a − b từ (1.2) ta có công thức truy hồi sau
un+1 = un (1 − a) + (1 − un )b = (1 − a − b)un + b = qun + b.
Chú ý rằng u0 = 1, từ công thức truy hồi trên dễ thấy
un = q n +

b(1 − q n )
b
= (1 − a − b)n +
(1 − (1 − a − b)n )

1−q
a+b

hay
P00 (n) =

b
a
+ (1 − a − b)n
.
a+b
a+b

Suy ra
P01 (n) = 1 − P00 (n) =

a
a
− (1 − a − b)n
.
a+b
a+b

Tương tự ta có
P10(n + 1) = P (Xn+1 = 0|X0 = 1)
= P (Xn = 0|X0 = 1)P (Xn+1 = 0|Xn = 0)+
+ P (Xn = 1|X0 = 1)P (Xn+1 = 0|Xn = 1)
= P10 (n)(1 − a) + (1 − P10 (n))b.

(1.3)

Nếu ký hiệu vn = P00(n), q = 1 − a − b từ (1.3) ta có công thức truy hồi sau
vn+1 = vn (1 − a) + (1 − vn )b = (1 − a − b)vn + b = qvn + b.
Chú ý rằng v0 = 0, từ công thức trên ta thu được
b
b(1 − q n)
=
(1 − (1 − a − b)n ).
vn =
(1 − q)
a+b


12

Chương 1. Quá trình Markov

Suy ra
b
b
− (1 − a − b)n
a+b
a+b
a
b
+ (1 − a − b)n
.
P11(n) = 1 − P10 (n) =
a+b
a+b

P10 (n) =

Viết dưới dạng ma trận ta có
P (n) =

1
a+b

b a
b a

+

(1 − a − b)n
a+b

a −a
.
−b b

Định nghĩa 1.2. Phân bố ban đầu U = (ui), i ∈ E được gọi là phân bố dừng
nếu ta có U (n) = U với mọi n tức là ui (n) = ui ∀i ∈ E, ∀n. Khi đó dãy
(Xn ) có cùng phân bố.
Từ định lý 3 ta suy ra U = (ui ) là phân bố dừng nếu và chỉ nếu
1. ui ≥ 0 và

ui = 1
i∈E

2. uj =

ui Pij

∀j ∈ E.

i∈E

Ví dụ 1.6.
Cho (Xn ) là một xích Markov có 3 trạng thái E = {1, 2, 3} với ma trận xác
suất chuyển là


1/3 1/3 1/3


P = 1/4 1/2 1/4
1/6 1/3 1/2
Hãy tìm tất cả các phân bố dừng.
Đặt U = (x, y, z). Khi đó U là phân bố dừng khi và chỉ khi x, y, z là
nghiệm không âm của hệ sau



x/3 + y/4 + z/6 = x


x/3 + y/2 + z/3 = y

x/3 + y/4 + z/2 = z





x + y + z = 1.


1.1. Xích Markov

13

Từ phương trình thứ nhất và thứ hai của hệ khử z ta rút ra y = 5x/3. Từ đó
z = 3x/2. Thế vào phương trình (4) ta thu được x = 6/25, y = 10/25, z =
9/25.
Ví dụ 1.7.
Cho (Xn ) là một xích Markov có 2 trạng thái E = {0, 1} với ma trận xác
suất chuyển là
1−a
a
P =
b
1−b
trong đó a, b > 0, 0 < a + b < 1 (xem ví dụ 1.5). Ta hãy tìm phân bố dừng.
Đặt U = (x, y). Khi đó U là phân bố dừng khi và chỉ khi x, y là nghiệm
không âm của hệ sau

(1 − a)x + by = x



ax + (1 − b)y = y




x + y = 1.
Phương trình (1) và (2) của hệ tương đương với ax = by hay x =
vào phương trình (3) của hệ ta thu được
x=

by
.
a

Thế

a
b
,y =
.
a+b
a+b

Như sau này ta sẽ thấy phân bố dừng không phải bao giờ cũng tồn tại. Câu
hỏi đặt ra là: Với điều kiện nào thì tồn tại phân bố dừng? Phân bố dừng nếu
tồn tại thì có duy nhất không?
Định lý 1.4. Giả sử (Xn ) là xích Markov với không gian trạng thái E =
{1, 2, ...} với ma trận xác suất chuyển P = (Pij ) và ma trận xác suất chuyển
sau n bước là P (n) = (Pij (n)). Giả sử rằng với mọi i, j ∈ E tồn tại giới hạn
lim Pij (n) = πj

n→∞

và giới hạn này không phụ thuộc i. Khi đó


14

Chương 1. Quá trình Markov
1.

πj ≤ 1 và πj =
j∈E

πi Pij .
i∈E

2. Hoặc πj = 0 với mọi j ∈ E, hoặc

πj = 1.
j∈E

πj = 1 thì U = (π1 , π2, ...) là phân bố dừng và phân bố dừng là

3. Nếu
j∈E

duy nhất. Nếu πj = 0 với mọi j ∈ E thì phân bố dừng không tồn tại.
Chứng minh.

1. Theo bổ đề Fatou ta có
πj =

j∈E

lim Pij (n) ≤ lim inf

j∈E

n→∞

n→∞

Pij (n) = 1.
j∈E

Sử dụng bổ đề Fatou và phương trình C-K ta có
πi Pij =
i∈E

lim Pki (n)Pij
i∈E

n

≤ lim inf

Pki (n)Pij = lim inf Pkj (n + 1) = πj .

n→∞

Đặt sj = πj −

i∈E

sj =
j∈E

n→∞

i∈E

πi Pij ≥ 0 ∀j ∈ E. Ta có
πj −

j∈E

=

πi Pij
j∈E i∈E

πj −
j∈E

=

πi Pij =
i∈E j∈E

πj −
j∈E

πj −
j∈E

πi
i∈E

πi = 0.
i∈E

Vậy sj = 0 ∀j ∈ E hay πj =

πi Pij

∀j ∈ E.

(

πk Pki )Pij

i∈E

2. Ta có
πj =

πi Pij =
i∈E

=

i∈E k∈E

πk (
k∈E

Pki Pij ) =
i∈E

πk Pkj (2).
k∈E

Pij
j∈E


1.1. Xích Markov

15

Bằng quy nạp dễ thấy với mọi n
πj =

πk Pkj (n).
k∈E

Vì chuỗi hội tụ đều đối với n nên
πj = lim

n→∞

πk Pkj (n) =

k∈E

πk lim Pkj (n) = πj
n→∞

k∈E

πk
k∈E

Suy ra
πj

1−

= 0 ∀j ∈ E.

πk
k∈E

Vậy nếu

k∈E

πk < 1 thì πj = 0 ∀j ∈ E.

πk = 1 thì từ khẳng định 1 ta suy ra π = (π1, π2 , ...) là phân

3. Nếu
k∈E

bố dừng. Ta chứng minh đây là phân bố dừng duy nhất. Thật vậy giả
sử U = (ui ) là phân bố dừng. Lập luận tương tự như trên ta có
uj =

uk Pkj (n).
k∈E

Vì chuỗi hội tụ đều đối với n nên
uj =

uk lim Pkj (n) =
k∈E

n→∞

uk πj = πj .
k∈E

πj < 1 thì phân bố dừng không tồn tại. Nếu

Do đó nếu
j∈E

πj = 1 thì
j∈E

π = (π1, π2, ...) là phân bố dừng duy nhất.
Định nghĩa 1.3. Giả sử (Xn ) là xích Markov với không gian trạng thái
E = {1, 2, ...} với ma trận xác suất chuyển P = (Pij ) và ma trận xác suất

chuyển sau n bước là P (n) = Pij (n). Ta nói rằng xích có phân bố giới hạn
nếu với mọi i, j ∈ E tồn tại giới hạn
lim Pij (n) = πj .

n→∞

πj = 1. Nói cách khác, vecto giới

Giới hạn này không phụ thuộc i ∈ E và
j∈E

hạn π = (π1 , π2, ...) lập thành một phân bố xác suất trên E.


16

Chương 1. Quá trình Markov

Ý nghĩa của phân bố giới hạn là như sau: Gọi ui (n) = P (Xn = i). Ký
hiệu vecto U (n) = (u1 (n), u2(n), ...) là vector hàng d-chiều mô tả phân bố
của Xn . Ta có
P (Xn = j) =

P (X0 = i)Pij (n).
ß∈E

Do đó
lim P {Xn = j} =

n→∞

P {X0 = i} lim Pij (n)
n→∞

ß∈E

P {X0 = i}πj = πj .

=
ß∈E

Vậy phân bố U (n) của Xn hội tụ tới phân bố giới hạn π. Khi n khá lớn ta
có P (Xn = j) ≈ πj .
Theo định lý 1.4 nếu phân bố giới hạn tồn tại thì phân bố dừng cũng
tồn tại và duy nhất. Hơn nữa hai phân bố này trùng nhau. Tuy nhiên điều
ngược lại không đúng tức là có những xích Markov có tồn tại phân bố dừng
nhưng không tồn tại phân bố giới hạn.
Ví dụ 1.8. Cho xích Markov (Xn ) có hai trạng thái với ma trận xác suất
chuyển là
P =

0 1
.
1 0

Ta có
P (2n) =

0 1
1 0

và
P (2n + 1) =

0 1
.
1 0

Do đó không tồn tại lim P (n). Tuy nhiên dễ dàng kiểm tra được π =
n→∞

(1/2, 1/2) là phân bố dừng duy nhất.


1.1. Xích Markov

17

Một trong những bài toán quan trọng trong nghiên cứu xích Markov là
tìm những điều kiện để đảm bảo sự tồn tại của phân bố giới hạn và sự tồn
tại của phân bố dừng. Dưới đây là một định lý như vậy.
Định lý 1.5. Cho (Xn ) là xích Markov với không gian trạng thái hữu hạn
E = {1, 2, ..., d} với ma trận xác suất chuyển sau n bước là P (n) = (Pij (n)).
Khi đó có tồn tại phân bố giới hạn π = (π1 , ..., πd) với πj > 0 ∀j ∈ E khi và
chỉ khi xích là chính quy theo nghĩa: Tồn tại n0 sao cho Pij (n0 ) > 0, ∀i, j ∈ E.
Chứng minh. Giả thiết xích là chính quy. Ta cố định j và đặt
mj (n) = min Pij (n)
i∈E

Mj (n) = max Pij (n).

i∈E

Ta có
Pij (n + 1) =

Pik Pkj (n) ≥
k

Pik mj (n) = mj (n).
k

Suy ra mj (n + 1) ≥ mj (n). Vậy dãy (mj (n)), n = 1, 2, ... là dãy tăng và bị
chặn trên bởi 1, do đó tồn tại giới hạn
lim mj (n) = aj .
n

Lập luận tương tự dãy (Mj (n)), n = 1, 2, ...) là dãy giảm bị chặn bởi 0, do
đó tồn tại giới hạn
lim Mj (n) = Aj .
n

Ta có mj (n) ≤ Pij (n) ≤ Mj (n) do đó định lý được chứng minh nếu ta chỉ ra
aj = Aj . Ký hiệu r = mini,j Pij (n0 ) > 0. Ta có Pik (n0 ) ≥ r.1 ≥ Pjk (n) nên
Pik (n0 ) ≥ rPjk (n) ∀i, thành thử
Pij (n0 + n) =

Pik (n0)Pkj (n)
k

(Pik (n0) − rPjk (n)) Pkj (n) + r

=
k

Pjk (n)Pkj (n)
k

≥ mj (n)

(Pik (n0) − rPjk (n)) + rPjj (2n)
k

= mj (n)(1 − r) + rPjj (2n).


18

Chương 1. Quá trình Markov

Vì bất đẳng thức này đúng với mọi i nên ta có
mj (n0 + n) ≥ mj (n)(1 − r) + rPjj (2n).
Tương tự ta có
Mj (n0 + n) ≤ Mj (n)(1 − r) + rPjj (2n).
Suy ra
Mj (n0 + n) − mj (n0 + n) ≤ (1 − r) (Mj (n) − mj (n)) .

(1.4)

Ta chứng minh quy nạp rằng với mọi k
Mj (kn0 + 1) − mj (kn0 + 1) ≤ (1 − r)k (Mj (1) − mj (1)) .

(1.5)

Thật vậy với k = 1 đúng (Cho n = 1 ở (1.4)). Giả sử đúng với k. Ta có
Mj ((k + 1)n0 + 1) − mj ((k + 1)n0 + 1)
= Mj (kn0 + 1 + n0) − mj (kn0 + 1 + n0)
≤ (1 − r) ((Mj (kn0 + 1) − mj (kn0 + 1))
≤ (1 − r)k+1 (Mj (1) − mj (1)) .
Cho k → ∞ trong (1.5) ta nhận được Aj − aj ≤ 0. Vì Aj − aj ≥ 0 nên ta kết
luận Aj = aj .
Đảo lại giả sử với mọi i, j ∈ E tồn tại limn Pij (n) = πj > 0. Khi đó tồn
tại n0(i, j) sao cho Pij (n) > 0 ∀n > n0 (i, j). Đặt n0 = maxi,j n0 (i, j) ta có
Pij (n) > 0 ∀i, j ∈ E∀n > n0
Ví dụ 1.9. Mỗi người dân trong một vùng nào đó có thể ở trong ba tầng lớp:
giàu, trung lưu và nghèo. Con cái của họ có thể ở trong một trong ba tầng lớp
nói trên với các xác suất khác nhau tuỳ thuộc vào việc họ đang ở trong tầng
lớp nào. Giả sử bằng thống kê ngưòi ta xác định được: Nếu một người giàu
thì với xác suất 0,448 con họ giàu, với xác suất 0,484 con họ trung lưu với
xác suất 0,068 con họ nghèo. Tương tự, với một người trung lưu thì xác suất
để con họ giàu, trung lưu hay nghèo tương ứng là 0,054. 0,699 và 0,247. Với


1.1. Xích Markov

19

một người nghèo thì xác suất để con họ giàu, trung lưu hay nghèo tương ứng
là 0,011, 0,503 và 0,486. Như vậy sự thay đổi trạng thái của một gia đình
trong xã hội từ thế hệ này qua thế hệ khác có thể mô tả bởi một xích Markov
ba trạng thái : 1(giàu), 2(trung lưu), 3(nghèo) với xác suất chuyển như sau



0, 448 0, 484 0, 068


P = 0, 054 0, 699 0, 247  .
0, 011 0, 503 0, 486
Xích Markov này là chính quy. Thành thử tồn tại phân bố giới hạn π =
(π1, π2, π3). Phân bố này chính là phân bố dừng duy nhất và được tìm bằng
cách giải hệ phương trình sau
(π1, π2, π3)P = (π1 , π2, π3).
Giải ra ta tìm được π1 = 0, 067; π2 = 0, 624; π3 = 0, 369. Như vậy qua nhiều
thế hệ ở vùng dân cư nói trên sẽ có 6,7% người giàu, 62,4% trung lưu và
36.9% người nghèo.
Ví dụ 1.10. Xét xích Markov có d trạng thái E = {1, 2, ..., d} và ma trận
xác suất chuyển của nó là chính quy đồng thời là một ma trận kép nghĩa là
Pij =
j∈E

Pij = 1.
i∈E

Theo định lý trên, phân phối giới hạn tồn tại. Ta hãy tìm phân bố giới hạn
đó.Ta nhận xét rằng phân bố đều π= (1/d, 1/d, ..., 1/d) là phân bố dừng. Thật
vậy đặt pij = 1/d ta có
pik Pkj = 1/d
k∈E

Pkj = 1/d = πj .
k∈E

Vì phân bố dừng là duy nhất và phân bố giới hạn chính là phân bố dừng nên
ta kết luận rằng phân bố giới hạn là phân bố đều π = (1/d, 1/d, ..., 1/d) .
Chẳng hạn ta tung con xúc sắc liên tiếp một cách độc lập. Ký hiệu ξn là
số chấm xuất hiện ở lần gieo thứ n, Sn = nk=1 ξk . Sn là một xích Markov


20

Chương 1. Quá trình Markov

với không gian trạng thái E = {1, 2, ...}. Gọi Xn là số dư khi chia Sn cho
7. Khi đó Xn cũng là một là một xích Markov với không gian trạng thái
E = {0, 1, 2, ..., 6}. Ma trận xác suất chuyển của Xn là


0

1/6

1/6


P = 1/6

1/6

1/6

1/6

1/6
0
1/6
1/6
1/6
1/6
1/6

1/6
1/6
0
1/6
1/6
1/6
1/6

1/6
1/6
1/6
0
1/6
1/6
1/6

1/6
1/6
1/6
1/6
0

1/6
1/6

1/6
1/6
1/6
1/6
1/6
0
1/6


1/6

1/6

1/6


1/6 .

1/6

1/6

0

Xích Markov này chính quy vì ma trận xác suất chuyển sau 2 bước


1/6

5/36

5/36


P (2) = P 2 = 5/36

5/36

5/36

5/36

5/36
1/6
5/36
5/36
5/36
5/36
5/36

5/36
5/36
1/6
5/36
5/36
5/36
5/36

5/36
5/36
5/36
1/6
5/36
5/36
5/36

5/36
5/36
5/36
5/36
1/6
5/36
5/36

5/36
5/36
5/36
5/36
5/36
1/6
5/6


5/36

5/36 


5/36 


5/36 

5/36 

5/36 

1/6

có tất cả các phần tử là số dương.
Vậy phân bố giới hạn là
π = (1/7, 1/7, 1/7, 1/7, 1/7, 1/7, 1/7, 1/7).

1.2

Phân loại trạng thái xích Markov

Để giải quyết đầy đủ hơn bài toán về sự tồn tại của phân bố dừng cũng như
bài toán về sự tồn tại của phân bố giới hạn dẫn ta đến việc phân loại các
trạng thái của xích Markov như sau:


1.2. Phân loại trạng thái xích Markov

21

Định nghĩa 1.4. Ta nói rằng trạng thái i đến được trạng thái j và ký hiệu là
i → j nếu tồn tại n ≥ o sao cho Pij (n) > 0. ( Ta quy ước Pii (0) = 1, Pij (0) =

0 nếu i = j)
Hai trạng thái i và j được gọi là liên lạc được nếu i → j và j → i. Trong
trường hợp đó ta viết i ↔ j.
Bổ đề 1.1 (Tính chất bắc cầu). Nếu i → j, j → k thì i → k.
Thật vậy theo giả thiết tồn tại n, m sao cho
Pij (n) > 0,

Pjk (m) > 0.

Theo phương trình Chapman - Kolmogorov ta có
Pik (n + m) =

Pij (n)Pjk (m) ≥ Pij (n)Pjk (m) > 0.
j∈E

Từ bổ đề, dễ kiểm tra rằng quan hệ "liên lạc được" là một quan hệ tương
đương trên không gian trạng thái E. Theo quan hệ này không gian E được
phân hoạch thành các lớp rời nhau. Hai trạng thái bất kỳ cùng thuộc một
lớp thì liên lạc được với nhau, hai trạng thái khác lớp không thể liên lạc được
với nhau.
Định nghĩa 1.5. Xích Markov được gọi là tối giản nếu hai trạng thái bất kỳ
là liên lạc được. Có nghĩa là theo cách phân lớp trên thì E không thể phân
hoạch thành các lớp con nhỏ hơn.
Nếu xích không tối giản thì E được phân hoạch thành các lớp rời nhau
E = E1 ∪ E2 ∪ ... ∪ Ek . Có thể xem mỗi Ek là không gian trạng thái của xích
Markov tối giản. Như vậy việc nghiên cứu xích Markov có thể quy về việc
nghiên cứu các xích tối giản.
Ví dụ 1.11. Cho xích Markov với 5 trạng thái E = {1, 2, 3, 4, 5} với ma trận
xác suất chuyển là
P1 0

P =
0 P2


22

Chương 1. Quá trình Markov

trong đó
1/3 2/3
1/4 3/4

P1 =
và




0 1 0


P2 = 1/2 0 1/2 .
0 1 0

Khi đó
n

P (n) = P =

P1n 0

0 P2n

.

Do đó E = E1 ∪ E2 với E1 = {1, 2}, E2 = {3, 4, 5}.
Ví dụ 1.12. Cho xích Markov với 4 trạng thái E = {1, 2, 3, 4} với ma trận
xác suất chuyển là


0
0 1/2 1/2
 0
0 1/2 1/2


P2 = 

1/2 1/2 0
0 
1/2 1/2 0
0
Xích này là tối giản. Thật vậy rõ ràng 1 ↔ 3, 1 ↔ 4, 2 ↔ 3, 2 ↔ 4. Ta có
1 → 3, 3 → 2 suy ra 1 → 2. Lại có 2 → 3, 3 → 1 suy ra 2 → 1. Vậy 1 ↔ 2 .
Tương tự ta có 3 ↔ 4. Vậy hai trạng thái bất kỳ là liên lạc được do đó đây
là xích tối giản.
Định nghĩa 1.6. Chu kỳ của trạng thái i ký hiệu là d(i) là ước chung lớn
nhất của tất cả các số nguyên dương n ≥ 1 mà Pii (n) > 0. Nếu Pii (n) = 0
với mọi n ≥ 1 thì ta quy ước đặt d(i) = 0.
Định lý 1.6. Nếu i ↔ j thì d(i) = d(j). Vậy các trạng thái cùng một lớp có
cùng một chu kỳ d và ta gọi số d chung đó là chu kỳ của lớp.

Chứng minh. Do i ↔ j nên tồn tại k, l sao cho Pij (k) > 0, Pji (l) > 0. Theo
phương trình C-K ta có Pii (k + l) = h∈E Pih (k)Phi (l) ≥ Pij (k)Pji (l) > 0.
Vậy d(i)|k + l. Giả sử n ≥ 1 sao cho Pjj (n) > 0. Sử dụng phương trình C-K


1.2. Phân loại trạng thái xích Markov

23

như trên ta có Pii (k + l + n) ≥ Pij (k)Pjj (n)Pji (l) > 0. Vậy d(i)|k + l + n →
d(i)|n. Vậy d(i)|d(j). Tương tự d(j)|d(i). Thành thử d(i) = d(j).
Giả sử d là chu kỳ của một xích tối giản với không gian trạng thái E.
Nếu d = 1 ta nói rằng xích không có chu kỳ. Nếu d > 1 thì có thể chứng
minh rằng E được phân hoạch thành d tập conE = C0 ∪ C1 ∪ ... ∪ Cd−1 sao
cho sau một bước hệ sẽ chuyển từ một trạng thái thuộc Ck sang một trạng
thái thuộc Ck+1 (quy ước Cd = C0). Vì vậy mỗi tập con có thể lấy làm không
gian trạng thái của một xích Markov mới. Xích này tối giản và không có chu
kỳ. Tóm lại chúng ta có thể quy việc nghiên cúu xích Markov tổng quát về
việc nghiên cứu xích tối giản, không có chu kỳ.
Định nghĩa 1.7. Ký hiệu fii (n) là xác suất để hệ xuất phát từ i lần đầu tiên
quay lại i ở thời diểm n. Nghĩa là
fii (n) = P (Xn = i, Xn−1 = i, ..., X1 = i|X0 = i)
và ký hiệu
∞

fii∗

=

fii (n)

n=1

là xác suất để hệ xuất phát từ i quay trở lại i sau một số hữu hạn bước. Nếu
fii∗ = 1 ta nói i là trạng thái hồi quy (quay lại). Nếu trái lại fii∗ < 1 ta nói i
là trạng thái không hồi quy.
Định lý cơ bản sau đây cho ta một tiêu chuẩn để xác định tính hồi quy
của một trạng thái.
Định lý 1.7. Trạng thái i là hồi quy khi và chỉ khi
∞

Pii (n) = ∞.
n=1

Chứng minh. Chứng minh sử dụng hai bổ đề sau

(1.6)


24

Chương 1. Quá trình Markov

Bổ đề 1.2. Ta có

n

Pii (n) =

fii (k)Pii (n − k)
k=0

trong đó fii (0) = 0.
Chứng minh bổ đề 1.2. Với mỗi 0 ≤ k ≤ n gọi Ek là biến cố :" Xn = i và
hệ lần đầu tiên quay lại i ở bước thứ k " ta có
n

Pii (n) = P (Xn = i|X0 = i) =

P (Ek )P (Xn = i|Ek , X0 = 1)
k=0

n

n

fii (k)P (Xn = i|Xk = i) =

=
k=0

fii (k)Pii (n − k).
k=0

Bổ đề 1.3. (Aben)
(i) Nếu chuỗi

∞
k=0

ak = a hội tụ thì

∞

ak s =

lim

s→1−

k=0

∞
k=0

(ii) Nếu ak ≥ 0 và lims→1−

∞
k

ak = a.
k=0

ak sk = a < ∞ thì

∞

∞

ak sk = a.

ak = lim−

s→1

k=0

k=0

Ta bắt đầu chứng minh định lý. Xét các chuỗi luỹ thừa sau
∞

Pii (s) =

Pii (n)sn ,

, |s| < 1

fii (n)sn ,

, |s| < 1

n=0
∞

Fii (s) =
n=0

Ta có

∞

ck sk ,

Fii (s)Pii (s) =
n=0

|s| < 1


1.2. Phân loại trạng thái xích Markov

25

n
với cn =
k=0 fii (k)Pii (n − k) = Pii (n) n ≥ 1 theo bổ đề 1. Vì c0 =
0, Pii (0) = 1 nên ta suy ra Fii(s)Pii (s) = Pii (s) − 1 hay

Pii (s) =
Giả sử i hồi quy tức là

∞
n=0

1
.
1 − Fii(s)

(1.7)

fii (n) = 1. Theo bổ đề Abel
∞

fii (n)sn = 1.

lim− Fii (s) = lim−

s→1

s→1

n=0

Từ (1.7) suy ra
∞

Pii (n)sn = ∞.

lim Pii (s) = lim−

s→1−

s→1

n=0

Vậy lại theo bổ đề Abel (ii) ta có
∞

Pii (n) = ∞.
n=0
∞

fii (n) < 1. Sử dụng bổ đề Abel (i)

Đảo lại giả sử i không hồi quy tức là
n=0

và hệ thức (1.7) ta rút ra lim Pii (s) < ∞. Lại áp dụng bổ đề Abel (ii) ta
s→1−

thu được

∞

Pii (n) < ∞.
n=0

Định lý 1.8. Nếu i ↔ j và j hồi quy thì i hồi quy.
Chứng minh. Theo giả thiết tồn tại m, n sao cho Pij (n) > 0, Pji (m) > 0. Với
mỗi số nguyên dương h từ phương trình C-P suy ra
Pii (n + h + m) ≥ Pij (n)Pjj (h)Pji (m).
Vậy
∞

∞

Pii (n + h + m) ≥ Pij (n)Pji (m)
h=1

Thành thử i hồi quy.

Pjj (h) = ∞.
h=1


26

Chương 1. Quá trình Markov

Ví dụ 1.13. Cho (rn ) là dãy các ĐLNN độc lập có phân bố xác suất như sau
P (rn = 1) = p, P (rn = −1) = q,

0 < p < 1, p + q = 1.

(Dãy này được gọi là dãy Rademakher). Xét dãy (Xn ) xác định như sau
X0 = a, Xn+1 = Xn + rn+1 .
. Khi đó (Xn ) lập thành xích Markov với không gian trạng thái E = {0 ±
1, ±2}xác suất chuyển là P = (Pij ) ở đó



q nếu j = i − 1


Pij = p nếu j = i + 1



0 nếu j = i + 1, j = i − 1.
Xích này được gọi là du động ngẫu nhiên 1 chiều mô tả sự chuyển động ngẫu
nhiên của một hạt trên đường thẳng: Sau mỗi đơn vị thời gian hạt dịch sang

phải với xác suất p và dịch sang trái với xác suất q. Dễ thấy đây là một xích
tối giản có chu kỳ d = 2 và
Pii (2n) =

2n n n
p q . Pii (2n + 1) = 0.
n

Sử dụng công thức Stirling
√
n! ∼
ta có

2πne−n nn

(4pq)n
.
Pii (2n) ∼ √
πn

1
do đó
Nếu du động ngẫu nhiên là đối xứng p = q = 1/2 thì Pii (2n) ∼ √
πn
Pii (n) = ∞.
n


1.2. Phân loại trạng thái xích Markov

27

Vậy theo định lý 1.7 mọi trạng thái đều hồi quy. Nếu p = q thì 4pq = a < 1
cho nên
Pii (n) < ∞

an
√
n

vì chuỗi

hội tụ khi a < 1.

n

Do đó theo định lý 1.7 mọi trạng thái là không hồi quy. Về mặt trực giác ta
thấy nếu p > q thì có một xác suất dương để hạt xuất phát từ trạng thái i sẽ
đi sang bên phải mãi mãi ( sang bên trái mãi mãi nếu p < q) không quay lại
điểm xuất phát.
Ví dụ 1.14. Xét du động ngẫu nhiên của một hạt trên lưới điểm nguyên trên
mặt phẳng. Giả sử xác suất để hạt dịch lên trên, dịch xuống dưới một đơn vị
(theo phương thẳng đứng), dịch sang phải,sang trái một đơn vị (theo phương
nằm ngang) đều bằng nhau và bằng 1/4. Có thể thấy rằng P00 (2n + 1) = 0
và
P00 (2n) =
i,ji+j=n

= (1/4)2n
= (1/4)2n

(2n)!
(1/4)2n
i!i!j!j!
2n
n
2n
n

n

i=0
2

n
i

n
n−i

.

Công thức Stirling cho ta
P00(2n) ∼

1
.
πn

Vậy

P00 (n) = ∞.
n

Vậy trạng thái 0 là hồi quy. Vì xích là tối giản (dễ thấy) nên mọi trạng thái
đều hồi quy.
Người ta đã chứng minh được một điều thú vị là với du động ngẫu nhiên
đối xứng trong không gian ba chiều, mọi trạng thái đều không hồi quy.


28

Chương 1. Quá trình Markov

Định lý 1.9. Ký hiệu Qii là xác suất để hệ xuất phát từ i quay lại i vô số
lần, Qij là xác suất để hệ xuất phát từ i đi qua j vô số lần. Khi đó
(i) Nếu i hồi quy thì Qii = 1, nếu i không hồi quy thì Qii = 0.
(ii) Nếu i hồi quy i ↔ j thì Qij = 1. Nói riêng, với xác suất 1 hệ xuất phát
từ i sau một số hữu hạn bước sẽ đi qua j.
Chứng minh.
(m)

(i) Giả sử Qii là xác suất để hệ quay lại i ít nhất m lần. Sử dụng công
thức xác suất đầy đủ và tính Markov của hệ ta thu được phương trình
∞
(m)
Qii

(m−1)

fii∗ (k)Qii

=

(m−1)

= fii∗ Qii

k=1

Từ đó
∗ m−1 1
Qii = (fii∗ )m
Qm
ii = (fii )
(m)

vì rõ ràng Q1ii = fii∗ . Vì rằng Qii = lim Qii
m→∞

tuỳ theo fii∗ < 1

ta rút ra Qii = 0 hay 1

hay bằng 1.

∞

(ii) Gọi fji∗ =

fji (k) là xác suất để hệ xuất phát từ j sẽ viếng thăm i

k=1

sau một số hữu hạn bước. Sử dụng công thức xác suất đầy đủ và tính
Markov của hệ ta thu được phương trình
∞

fji (k)Qij + 1 − fji∗

Qjj ≤
k=1

= Qij fji∗ + 1 − fji∗ .

(1.8)
(1.9)

Vì j hồi quy theo (1) Qjj = 1. Vậy từ (??)
1 ≤ Qij fji∗ + 1 − fji∗ → fji∗ ≤ Qij fji∗ .
Vì j ↔ i nên fji∗ > 0 Suy ra Qij = 1.