Xích markov, du động ngẫu nhiên và ứng dụng

Mục lục
Lời nói đầu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1 Xích Markov 6
1.1 Xích Markov . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.1.1 Các định nghĩa . . . . . . . . . . . . . . . . . . . . . . 6
1.1.2 Ma trận chuyển . . . . . . . . . . . . . . . . . . . . . . 7
1.1.3 Các ví dụ . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.2 Xích Markov hấp thụ . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.1 Dạng chính tắc . . . . . . . . . . . . . . . . . . . . . . 10
1.2.2 Xác suất hấp thụ . . . . . . . . . . . . . . . . . . . . . 11
1.2.3 Ma trận cơ bản . . . . . . . . . . . . . . . . . . . . . . 12
1.2.4 Thời gian tiến tới hấp thụ . . . . . . . . . . . . . . . . 13
1.2.5 Xác suất hấp thụ . . . . . . . . . . . . . . . . . . . . . 14
1.3 Xích Markov egođic . . . . . . . . . . . . . . . . . . . . . . . 15
1.3.1 Xích Markov chính quy . . . . . . . . . . . . . . . . . 16
1.3.2 Vectơ cố định . . . . . . . . . . . . . . . . . . . . . . . 19
1.3.3 Trạng thái cân bằng . . . . . . . . . . . . . . . . . . . 22
1.3.4 Ví dụ về xích Egođic . . . . . . . . . . . . . . . . . . . 24
1.4 Định lí giới hạn cơ bản cho xích chính quy . . . . . . . . . . . 26
1.5 Thời gian trung bình chuyển qua cho xích Egođic . . . . . . . 29
1
1.5.1 Thời gian trung bình chuyển qua lần đầu tiên . . . . . 29
1.5.2 Thời gian trung bình quay lại . . . . . . . . . . . . . . 31
1.5.3 Ma trận trung bình lần đầu tiên đi qua và ma trận
trung bình quay lại . . . . . . . . . . . . . . . . . . . . 32
1.5.4 Ma trận cơ bản . . . . . . . . . . . . . . . . . . . . . . 34
1.5.5 Sử dụng ma trận cơ bản để tính ma trận thời gian trung
bình chuyển qua lần đầu tiên . . . . . . . . . . . . . . 37
1.5.6 Định lí giới hạn trung tâm cho xích Markov . . . . . . 40
2 Du động ngẫu nhiên 41
2.1 Du động ngẫu nhiên trong không gian Ơ’clit . . . . . . . . . . 41

2.1.1 Du động ngẫu nhiên trên đường thẳng thực . . . . . . 42
2.1.2 Du động ngẫu nhiên tổng quát . . . . . . . . . . . . . 43
2.1.3 Sự quay lại và sự quay lại lần đầu tiên . . . . . . . . . 44
2.1.4 Xác suất hồi quy . . . . . . . . . . . . . . . . . . . . . 47
2.1.5 Kỳ vọng của số lần ở vị trí cân bằng . . . . . . . . . . 51
2.2 Luật arcsin . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3 Ứng dụng 60
3.1 Mô hình Ehrenfest được dùng để giải thích sự khuếch tán khí ga 60
3.2 Di truyền . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
3.3 Kinh tế . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
3.3.1 Mô hình phân chia thị trường . . . . . . . . . . . . . . 63
3.3.2 Mô hình quản lý tiến mặt . . . . . . . . . . . . . . . . 68
3.3.3 Mô hình kiểm kê . . . . . . . . . . . . . . . . . . . . . 70
3.3.4 Mô hình phục vụ đám đông . . . . . . . . . . . . . . . 72
3.4 Đường đi của người say rượu . . . . . . . . . . . . . . . . . . 74
3.5 Sự phá sản của người chơi cờ bạc . . . . . . . . . . . . . . . . 79
3.5.1 Sự phá sản của người chơi cờ bạc . . . . . . . . . . . . 80
2
3.5.2 Đối phương của người chơi giàu vô tận . . . . . . . . . 82
3.6 Xã hội học . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
Tài liệu tham khảo . . . . . . . . . . . . . . . . . . . . . . . . . 86
3
LỜI NÓI ĐẦU
Đầu thế kỷ XX, A.A. Markov(14/6/1856 - 20/7/1922)- nhà Toán học và
Vật Lý nổi tiếng người Nga đã đưa ra một mô hình toán học để mô tả chuyển
động của các phần tử chất lỏng trong một bình kín. Về sau mô hình này được
phát triển và sử dụng trong nhiều lĩnh vực khác như cơ học, sinh học, y học,
kinh tế,vv . . . và được mang tên là quá trình Markov.
Xích Markov là trường hợp riêng của quá trình Markov( khi ta có thể

đánh số được các trạng thái).
Luận văn này đề cập tới xích Markov, du động ngẫu nhiên và ứng dụng.
Bố cục luận văn gồm ba chương, phần kết luận và danh mục tài liệu tham
khảo.
Chương một trình bày về xích Markov: các định nghĩa cơ bản, ma trận
chuyển, các ví dụ và các trường hợp riêng của xích Markov, xích Markov hấp
thụ, xích egođic, xích chính quy.
Chương hai sẽ trình bày về du động ngẫu nhiên, các đặc điểm của nó và
luật arcsin.
Chương ba sẽ trình bày các ứng dụng của xích Markov và du động ngẫu
nhiên trong thực tế.
Luận văn này được thực hiện dưới sự hướng dẫn của GS.TSKH Đặng
Hùng Thắng. Toàn thể ban lãnh đạo và các thầy cô trong khoa Toán - Cơ -
Tin học, trường Đại học Khoa học Tự nhiên - Đại học Quốc Gia Hà nội đã
giúp tôi có thêm nhiều kiến thức để có thể hoàn thành luận văn và khóa học
một cách tốt đẹp. Các thầy cô phòng Sau Đại học đã tạo những điều kiện
thuận lợi giúp tôi hoàn thành các thủ tục bảo vệ luận văn cũng như học tập.
4
Các thầy và các bạn trong seminar Lý thuyết xác suất và thống kê toán học
về những góp ý để tôi có thể hoàn thành luận văn này.
Tôi xin chân thành cảm ơn tất cả những sự giúp đỡ và đóng góp quý giá
ấy.
Tôi rất mong nhận được những ý kiến đóng góp của quý thầy cô và các
bạn.
Hà Nội, tháng 11 năm 2014
Đặng Thị Thỏa
5
Chương 1
Xích Markov
1.1 Xích Markov

1.1.1 Các định nghĩa
Giả thiết ta nghiên cứu sự tiến triển theo thời gian của một hệ vật lý
hoặc sinh thái nào đó. Ký hiệu X(t) là ví trí của hệ tại thời điểm t. Tập hợp
các vị trí có thể có của hệ được gọi là không gian trạng thái. Giả sử trước
thời điểm t trong tương lai t > s hệ ở trạng thái j với xác suất là bao nhiêu?
Nếu xác suất này chỉ phụ thuộc vào s, t, i, j thì điều này có nghĩa là: sự tiến
triển của hệ trong tương lai chỉ phụ thuộc vào hiện tại và độc lập
với quá khứ. Đó là tính Markov. Hệ có tính chất này được gọi là quá trình
Markov.
Ta kí hiệu E là tập gồm các giá trị của X(t) và gọi E là không gian trạng
thái của X(t). Nếu X(t) có tính Markov và E đánh số được thì X(t) được
gọi là xích Markov. Thêm vào đó, nếu t = 0, 1, 2, 3, . . . thì ta có khái niệm
xích Markov với thời gian rời rạc, còn nếu t ∈ (0, +∞) thì ta có định nghĩa
xích Markov có thời gian liên tục.
6
Về phương diện toán học, tính Markov có thể định nghĩa như sau:
Định nghĩa 1.1.1. Ta nói rằng X(t) có tính Markov nếu:
P {X(t
n+1
) = j|X(t
0
) = i
0
, . . . , X(t
n−1
) = i
n−1
, X(t
n
) = i}

= P{X(t
n+1
) = j|X(t
n
) = i}
với bất kì t
0
< t
1
< . . . < t
n
< t
n+1
< . . . và i
0
, . . . , i
n−1
, i, j ∈ E.
Ta xem t
n
là hiên tại, t
n+1
là tương lai, (t
0
, . . . , t
n−1
) là quá khứ. Vì thế
biểu thức trên chính là tính Markov của X(t).
Đặt P(s, i, t, j) = P (X(t) = j|X(s) = i), (s < t). Đó chính là xác suất
có điều kiện để hệ (quá trình) tại thời điểm s ở trạng thái i, đến thời điểm

t chuyển sang trại thái j. Vì thế ta gọi là xác suất chuyển của hệ ( hay quá
trình).
Nếu xác suất chuyển chị phụ thuộc vào (t − s), tức là
P (s, i, t, j) = P (s + h, i, t + h, j)
thì ta nói hệ (quá trình) thuần nhất theo thời gian.
1.1.2 Ma trận chuyển
Giả sử X
n
ở hàng thứ nhất của ma trận P trong ví dụ 1.1.3 ở trên mô
tả xác suất của biến thể hiện trạng thái thời tiết mưa. Tương tự hàng hai và
hàng ba tương ứng với thời tiết đẹp trời và có tuyết rơi. Ma trận vuông như
vậy gọi là ma trận xác suất chuyển hay ma trận chuyển.
Giả sử X
n
; n = 0, 1, 2, . . . là xích rời rạc vầ thuần nhất. Nói một cách
chính xác là: giả sử (Ω, A, P ) là không gian xác suất, X
n
: Ω → Elà biến (đại
lượng)ngẫu nhiên nhận giá trị trong tập đếm được E. E là không gian trạng
thái, các phần tử của nó được kí hiệu là i, j, k, . . Khi đó, tính Markov và
7
tính thuần nhất của X
n
có nghĩa là:
p
ij
= P{X(t
n+1
) = j|X(t
n

) = i}
= P{X(t
n+1
) = j|X(t
0
) = i
0
. . . , X(t
n−1
) = i
n−1
, X(t
n
) = i}
không phụ thuộc vào n. P = (p
ij
) được gọi là ma trận xác suất chuyển
sau 1 bước hay gọi tắt là ma trận chuyển.
Tổng quát thì ta có định lý sau:
Định lý 1.1.1. Nếu P là ma trận chuyển của xích Markov. Phần tử p
ij
của
ma trận P
n
là xác suất của xích bắt đầu từ trạng thái i sang trạng thái j sau
n bước là p
(n)
ij
:
p

(n)
ij
=

k∈E
p
ik
p
(n−1)
kj
Chứng minh. Để chứng minh biểu thức của đính lý này ta lập luận như sau:
Hệ xuất phát từ trạng thái i và chuyển sang trạng thái j sau n bước là kết
quả của việc hệ xuất phát từ trạng thái i, sau một bước chuyển sang trạng
thái k, sau n − 1 bước tiếp theo chuyển sang trạng thái j. Từ công thức xác
suất đầy đủ và tính Markov ta có:
p
(n)
ij
= P{X
n+1
= j|X
0
= i}
=

k∈E
P (X
n
= j|X
0

= i, X
1
= k).P (X
1
= k|X
0
= i)
=

k∈E
P (X
n
= j|X
1
= k).P (X
1
= k|X
0
= i)
=

k∈E
p
ik
p
(n−1)
kj
Định lí được chứng minh.
Định lý 1.1.2. Cho P là ma trận chuyển của xích Markov và u là véctơ xác
suất miêu tả phân bố ban đầu. Khi đó xác suất của xích ở trạng thái i sau n

8
bước là phần tử thứ i của véctơ:
u
(n)
= uP
n
1.1.3 Các ví dụ
Các ví dụ sau về xích Markov sẽ được sử dụng trong suốt các bài tập của
chương.
Ví dụ 1.1.1. Tổng thống Mỹ kể cho một người A về việc có hoặc không
tranh cử trong cuộc tuyển cử tới. Nếu A thay dổi câu trả lời và chuyển tiếp
tới B và B là người chuyển tiếp cho C,vv luôn luôn chuyển tiếp cho một
người mới. Ta đặt xác suất là a với một người thay đổi câu trả lời từ có sang
không khi truyền thông điệp cho một ng tiếp theo và xác suất là b mà người
đó thay đổi từ không sang có. Ta chọn các trạng thái của thông điệp là có
hoặc không. Ma trận chuyển như sau:
P =


Y es No
Y es 1 − a a
No b 1 − b


Ví dụ 1.1.2. Mỗi một con ngựa bất kì chạy trong một cuộc đua ba con ngựa
có ba trường hợp xảy ra với xác suất chiến thắng, nhì và thứ ba lần lượt là
1/2,1/4 và 1/4, độc lập với các kết quả trước đó. Chúng ta có thể có quá
trình kiểm tra độc lập nhưng cũng có thể tính toán thông qua lý thuyết của
xích Markov. Ma trận chuyển:
P =






W P S
W .5 .25 .25
P .5 .25 .25
S .5 .25 .25





9
Ví dụ 1.1.3. Theo Kemeny, Snell, và Thompson, vùng đất với nhiều may
mắn, Land of Oz lại có một hệ thống thời thiết không hề tốt. Họ không bao
giờ có hai ngày đẹp trời liên tiếp. Nếu hôm nay là ngày đẹp trời thì ngày mai
là ngày có tuyết hoặc mưa. Nếu có mưa hoặc tuyết rơi thì ngày tiếp theo cũng
sẽ tương tự. Nếu có sự thay đổi giữa có tuyết rơi và mưa thì chỉ có một nửa
thời gian còn lại là đẹp trời. Với những thông tin trên, chúng ta có thể xác
định được xích Markov như sau. Ta kí hiệu ba trạng thái thời tiết là R, N và S.
Từ các thông tin trên ta xác định được ma trận chuyển là một ma trận vuông:
P =





R N S

R 1/2 1/4 1/4
N 1/2 0 1/2
S 1/4 1/4 1/2





1.2 Xích Markov hấp thụ
Các chủ đề của chuỗi Markov được nghiên cứu một cách tốt nhất bằng
cách xem xét các loại đặc biệt của xích Markov.
Định nghĩa 1.2.1. Một trạng thái i của xích Markov được gọi hấp thụ nếu
nó không thể rời khỏi trạng thái đó ( tức là p
ii
= 1). Một xích Markov được
gọi là hấp thụ nếu nó có ít nhất một trạng thái hấp thụ và từ bất kì trạng
thái nào đều có thể đi tới trạng thái hấp thụ ( không nhất thiết qua nột bước)
Định nghĩa 1.2.2. Trong một xích Markov hấp thụ, một trạng thái không
phải trạng thái hấp thụ được gọi là trạng thái tức thời.
1.2.1 Dạng chính tắc
Nghiên cứu một xích Markov bất kì. Đánh số lại các trạng thái sao cho
trạng thái bắt đầu là trạng thái tức thời. Nếu có r trạng thái hấp thụ và t
10
trạng thái tức thời thì ma trận chuyển có dạng chính tắc như sau:
P =


T R. ABS
T R Q R
ABS 0 I



Trong đó I là ma trận đơn vị cỡ r, 0 là ma trận không cỡ rxt, R là ma trận
khác không cỡ txr và Q là ma trận vuông cỡ t. t trạng thái đầu tiên là trạng
thái tức thời, r trạng thái còn lại là trạng thái hấp thụ.
Trong mục 1.1, ta biết rằng phần tử p
(n)
ij
của ma trận P
n
là xác suất để đến
trạng thái j sau n bước và bắt đầu từ trạng thái i. Lập luận trên đại số các
ma trận chỉ ra rằng P
n
có dạng
P
n
=


T R. ABS
T R Q
n
∗
ABS 0 I


Ở đây dấu * ở phía trên góc phải của ma trận P
n
thay cho ma trận cỡ

txr Dạng của ma trận P
n
chỉ ra rằng các phần tử của Q
n
là xác suất của
mỗi trạng thái là trạng thái tức thời sau n bước, bắt đầu từ trạng thái tức
thời bất kì. Định lí ở trên đã chỉ ra rằng, xác suất của trạng thái tức thời sau
n bước tiến dần đến 0. Vì vậy mỗi phần tử của Q
n
tiến dần đến 0 khi n tiến
ra vô cùng, tức là Q
n
→ 0
Tiếp theo, nếu u và v là hai vecto, ta nói rằng u ≤ v nếu tất cả các thành
phần của u bé hơn hoặc bằng các thành phần tương ứng của v. Một cách
tương tự, nếu A và B là hai ma trận thì A ≤ B nếu mỗi phần tử của A bé
hơn hoặc bằng phần tử tương ứng của B
1.2.2 Xác suất hấp thụ
Định lý 1.2.1. Trong một xích Markov hấp thụ, xác suất để quá trình bị
hấp thụ sau một số hữu hạn bước bằng 1 (tức là Q
n
→ 0 khi n → ∞ )
11
Chứng minh. Từ một trạng thái tức thời j, nó có thể tiến đến trạng thái hấp
thụ. Giả sử m là số bước nhỏ nhất có thể đạt được trạng thái hấp thụ của
xích bắt đầu từ trạng thái j.
Gỉa sử p
j
là xác suất quá trình bắt đầu từ trạng thái j không đạt tới trạng
thái hấp thụ sau m

j
bước thì p
j
< 1. Nếu m = max{m
j
} và p = max{p
j
}.
Xác suất để quá trình không là hấp thụ sau m bước nhỏ hơn hoặc bằng
p, sau 2n nhỏ hơn hoặc bằng p
2
,. . . Vì p < 1 nên những xác suất này tiến tới
không. Khi xác suất để một quá trình không là hấp thụ sau n bước là hàm
đơn điệu giảm, tiến dần đến không. Do đó Q
n
→ 0 khi n → ∞.
1.2.3 Ma trận cơ bản
Định lý 1.2.2. Với một xích hấp thụ ma trận I − Q là ma trận nghịch đảo
của ma trận N và với N = I + Q + Q
2
+ . . ., phần tử n
ij
của ma trận N là
kì vọng của số lần của xích ở trạng thái j mà bắt đầu từ trạng thái i.Trạng
thái ban đầu là đếm được khi i = j
Chứng minh. Nếu (I − Q)x = 0 suy ra x = Qx lặp lại điều này ta có x = Q
n
x.
Từ Q
n

→ 0, ta có Q
n
x → 0 nên x = 0 Do vậy tồn tại (I − Q)
1
= N.
Mặt khác ta có
(I − Q)(I + Q + Q
2
+ . . . + Q
n
= I − Q
n+1
Nhân hai vế với N ta được:
(I + Q + Q
2
+ . . . + Q
n
= N(I − Q
n+1
)
Cho n → ∞ ta có
N = I + Q + Q
2
+ . . .
Nếu i và j là hai trạng thái tức thời, và giả định trong suốt quá trình
chứng minh i và j là cố định. Giả sử X
k
là biến ngẫu nhiên, bằng 1 nếu xích
12
ở trạng thái j sau k bước và bằng 0 trong các trường hợp còn lại. Với mỗi k,

biến ngẫu nhiên này phụ thuộc cả i và j. Ta có
P (X
k
= 1) = q
(k)
ij
và
P (X
k
= 0) = 1 − q
(k)
ij
,
ở đây q
(k)
ij
là phần tử thứ ij của ma trận Q
k
. Các đẳng thức này cho thấy
k = 0 thì Q
0
= I
Do đó X
k
là biến ngẫu nhiên 0-1, E(X
k
) = q
(k)
ij
Kì vọng của số lần xích ở trạng thái j trong n bước, khi nó bắt đầu ở

trang thái i, thật vậy:
E(X
(0)
+ X
(1)
+ . . . + X
(n)
) = q
(0)
ij
+ q
(1)
ij
+ . . . + q
(n)
ij
cho n → ∞ ta có
E(X
(0)
+ X
(1)
+ . . .) = q
(0)
ij
+ q
(1)
ij
+ . . . = n
ij
Định nghĩa 1.2.3. Đối với một xích Markov hấp thụ P, ma trận (I −Q)

−1
= N
được gọi là ma trận cơ bản của P. Phần tử n
ij
của ma trận N cho biết về
kì vọng của số lần mà quá trình ở trạng thái tức thời j nếu nó ở bắt đầu ở
trạng thái tức thời i.
1.2.4 Thời gian tiến tới hấp thụ
Ta đi nghiên cứu câu hỏi: Nếu một xích bắt đầu ở trạng thái i thì số bước
trung bình để trước khi xích đạt trạng thái hấp thụ là bao nhiêu? Câu trả
lời có trong định lí sau đây:
13
Định lý 1.2.3. Nếu t
i
là kì vọng của số bước của xích trước khi đạt trạng
thái hấp thụ với trạng thái bắt đầu là i và t là vectơ cột mà t
i
là vị trí thứ i
của vectơ. Khi đó
t = Nc
ở đây, c là vectơ cột mà tất cả các phần tử bằng 1
Chứng minh. Nếu chúng ta cộng tất cả các phần tử của hàng thứ i của ma
trận N, ta sẽ có kì vọng của số bước của xích mà bắt đầu từ một trạng thái
i, đó chính là kì vọng của thời gian đạt tới trạng thái hấp dẫn. Do đó t
i
là
tổng của tất cả các phần tử của hàng i của ma trận N.
1.2.5 Xác suất hấp thụ
Định lý 1.2.4. Gọi b
ij

là xác suất mà một xích hấp thụ đạt trạng thái hấp
thụ j với trạng thái bắt đầu là i. Nếu B = {b
ij
}
tXr
thì
B = NR
với N là ma trận cơ bản và R như trong dạng chính tắc.
Chứng minh. Ta có
b
ij
=

n

k
q
(n)
ik
r
kj
=

k

n
q
(n)
ik
r

kj
=

k
n
ik
r
kj
= (NR)
ij
14
1.3 Xích Markov egođic
Trong mục này, ta đi nghiên cứu loại xích Markov quan trọng có tên là
xích Markov egođic. Cụ thể như sau.
Định nghĩa 1.3.1. Một xích Markov được gọi là xích egođic nếu có thể đi
đến bất kì trạng thái nào từ mọi trạng thái của xích( không nhất thiết qua
1 bước di chuyển)
Trong nhiều cuốn sách, xích egođic còn được gọi là xích bất khả quy
Định nghĩa 1.3.2. Xích Markov được gọi là xích chính quy nếu tồn tại n
để lũy thừa bậc n của ma trận chuyển chỉ có các phần tử dương.
Nói cách khác, có thể đi từ bất kì trạng thái này đến trạng thái khác
trong n bước. Rõ ràng từ định nghĩa, mọi xích chính quy đều là xích egođic.
Ngược lại, xích egođic không nhất thiết là xích chính quy. Ví dụ sau chỉ rõ
điều đó:
Ví dụ 1.3.1. Nếu xích Markov có ma trận chuyển cho bởi:
P =


1 2
1 0 1

2 1 0


Rõ ràng xích có thể đi từ trạng thái này đến trạng thái kia vì thế nó là xích
egođic. Tuy nhiên, nếu n lẻ thì nó có thể chuyển từ trạng thái 0 đến trạng
thái 0 trong n bước, và nếu n chẵn, thì không thể chuyển từ trạng thái 0 đến
trạng thái 1 trong n bước vì thế xích không phải là chính quy.
Một ví dụ rất hấp dẫn về xích egođic nhưng không phải là xích chính quy.
Ta đi xem xét mô hình bình Ehrenfest:
15
1.3.1 Xích Markov chính quy
Bất kì một ma trận chuyển nào không có phần tử không xác định một
xích Markov chính quy. Tuy nhiên cũng có thể là xích Markov chính quy mà
ma trận chuyện có phần tử không.
Trở lại ví dụ Land of Oz ta có ma trận chuyển:
P
1
=





R N S
R 0.5 0.25 0.25
N 0.5 0 0.5
S 0.25 0.25 0.5






Mà
P
2
=





R N S
R .438 .188 .375
N .375 .250 .375
S .375 .188 .438





Trong trường hợp này xích Markov là xích chính quy.
Một ví dụ về xích Markov không chính quy là xích hấp thụ. Giả sử nếu:
P =


1 0
1/2 1/2


là ma trận chuyển của một xích Markov. Thì với bất kì mũ nào, P luôn có

phần tử không ở góc trên bên phải.
Sau đây ta nghiên cứu hai định lí quan trọng về xích chính quy.
Định lý 1.3.1. Nếu P là ma trận chuyển của một xích Markov chính quy.
Thì, khi n → ∞, ma trận P
n
tiến đến ma trận giới hạn W với tất cả các
hàng đều giống nhau và bằng w. Vectơ w là vectơ xác suất dương ( tức là tất
cả các thành phần đều dương và tổng của chúng bằng 1)
16
Chứng minh. Trong mục tiếp theo, ta sẽ đưa ra 2 cách chứng minh cho định
lí cơ bản này. Ở đây ta đưa ra các ý cơ bản cho chứng minh thứ nhất.
Ta muốn chỉ ra lũy thừa n của ma trận P là ma trận chuyển của xích
chính quy tiến tới ma trận mà tất cả các hàng giống nhau. Điều này cũng
giống việc chỉ ra rằng, p
n
hội tụ tới một ma trận có các cột không đổi. Ta
xét cột thứ j của ma trận p
n
là p
n
y với y là vectơ cột mà 1 ở vị trí thứ j,
các vị trí còn lại bằng 0. Do vậy ta cần chứng minh rằng, với bất kì vectơ cột
y nào thì p
n
y tiến đến vectơ cột không đổi khi n → ∞
Với mỗi hàng của ma trận P là một vectơ xác suất, py thay thế cho y
bởi trung bình các thành phần của nó. Sau đây ta xét ví dụ:






1/2 1/4 1/4
1/3 1/3 1/3
1/3 1/2 0










1
2
3





=





1/2.1 + 1/4.2 + 1/4.3

1/3.1 + 1/3.2 + 1/3.3
1/3.1 + 1/2.2 + 0.3





=





7/4
2
3/2





Kết quả của quá trình lấy trung bình ở trên cho thấy, nó làm cho các thành
phần của py đơn giản hơn y. Đặc biệt, thành phần lớn nhất giảm ( từ 3
xuống 2 ) và thành phần nhỏ nhất tăng ( từ 1 lên 3/2). Chứng minh sẽ chỉ
ra, nếu ta làm nhiều hơn trung bình này với p
n
y. Sự khác biệt giữa thành
phần lớn nhất và thành phần nhỏ nhất sẽ tiến tới đến 0 khi n → ∞. Điều
này có nghĩa là p
n

y tiến tới một vectơ hằng số. Phần tử thứ ij của ma trận
p
n
, p
(n)
ij
là xác suất mà quá trình tới trạng thái j sau n bước khi bắt đầu ở
trạng i. Nếu ta đặt một hàng của ma trận W là w thì ở định lí này, xác suất
ở trạng thái j tiến tới giá trị gần đúng w
j
, phần tử thứ j của w, độc lập với
trạng thái ban đầu.
Ví dụ 1.3.2. Trở lại ví dụ Land of Oz trong mục 1.1, lũy thừa bậc 6 của ma
17
trận P, với ba phần tử thập phân
P
6
=





R N S
R .400 .200 .400
N .400 .200 .400
S .400 .200 .400






Vì vậy, về độ chính xác, xác suất mưa sau sáu ngày kể từ một ngày mưa cũng
giống với xác suất mưa sau sáu ngày kể từ một ngày đẹp trời hay từ một
ngày có tuyết. Định lí 1.3.1 dự đoán rằng, với n đủ lớn tất cả các hàng của
ma trận P tiến tới một vectơ giống nhau. Thật hấp dẫn khi nó xảy ra quá
sớm trong ví dụ này.
Định lý 1.3.2. Cho P là ma trận chuyển của xích chính quy, giả sử
W = lim
n→∞
P
n
với w là một vectơ hàng của W và c là vectơ cột mà tất cả các thành phần
của nó đều bằng 1. Thì:
(a) wP = w, và vectơ hàng bất kì v thỏa mãn vP = v, là vectơ hằng bội của
w
(b) Pc = c và bất kì vectơ cột x nào thỏa mãn Px = x là bội số của c
Chứng minh. Để chứng minh ý (a), theo định lí 1.3.1 ta có:
P
n
→ W
Vì vậy
P
n+1
= P
n
.P
Mặt khác P
n+1
→ W khi n → ∞ cho nên W = WP và w = wP

Nếu v là vectơ thỏa mãn v = vP thì v = vP
n
và khi chuyển qua giới
hạn, v = vW. Nếu r là tổng các thành phần của vthì dễ dàng kiểm tra được
vW = rw Vì vậy v = rw.
18
Ta chứng minh ý (b) giả sử rằng x = Px thì x = P
n
x và chuyển qua giới
hạn x = Wx. Từ giả thiết tất cả các hàng của ma trận W giống nhau, vì
vậy các thành phần của Wx đều bằng nhau, do vậy nó là bội số của c.
Một hệ quả trực tiếp của định lí 1.3.2 là có vectơ xác suất v mà vP = v
1.3.2 Vectơ cố định
Định nghĩa 1.3.3. Một vectơ hàng w với tính chất w = wP được gọi là
vectơ hàng cố định của P. Tương tự vectơ cột x thỏa mãn x = Px được gọi
là vectơ cột cố định của P.
Vì vậy với vectơ chung bất kì của ma trận W là vectơ w duy nhất mà
vừa là vectơ hàng cố định và là một vectơ xác suất. Định lí 1.3.2 chỉ ra bất
kì vectơ hàng cố định của ma trận P đều là bội của w và bất kì vectơ cột cố
định của P cũng là một vectơ không đổi.
Ta cũng có thể phát biểu định nghĩa 1.3.3 là điều kiện của giá trị riêng
và vectơ riêng. Một vectơ hàng cố định là vectơ riêng bên trái của ma trận
P tương ứng với giá trị riêng bằng 1. Một cách tương tự để xây dựng vectơ
cột cố định.
Bây giờ ta đưa ra một vài phương pháp tính vectơ hàng cố định w cho
xích Markov chính quy.
Ví dụ 1.3.3. Dựa trên định lí 1.3.1 ta có thể tìm giới hạn vectơ cho ví dụ
Land of Oz:
w
1

+ w
2
+ w
3
= 1
và

w
1
w
2
w
3






1/2 1/4 1/4
1/2 0 1/2
1/4 1/4 1/2





=

w

1
w
2
w
3

19
Mối quan hệ này dẫn tới bốn phương trình với ba ẩn:
w
1
+ w
2
+ w
3
= 1
(1/2)w
1
+ (1/2)w
2
+ (1/4)w
3
= w
1
(1/4)w
1
+ 1/4w
3
= w
2
(1/4)w

1
+ (1/2)w
2
+ (1/2)w
3
= w
3
Định lí đảm bảo cho phương trình có nghiệm duy nhất. Nếu các phương trình
là giải được, ta có nghiệm
w = (0.4, 0.2, 0.4)
giống với tính toán của P
6
trong ví dụ 1.3.2
Để tính vectơ cố định, ta có thể giả thiết giá trị của trạng thái riêng là
một, tức là 1 và sử dụng tất cả trừ ra một trong những phương trình tuyến
tính từ wP = w.
Hệ phương tình này có nghiệm duy nhất và ta có w từ nghiệm này bằng cách
chia mỗi phần tử cho tổng các thành phần của vectơ xác suất w. Ta sẽ minh
họa cho điều này bằng ví dụ sau
Ví dụ 1.3.4. (Tiếp ví dụ 1.3.3) Nếu ta đặt w
1
= 1, thì giải phương trình
tuyến tính thứ nhất và thứ hai của hệ wP = w. Ta có
(1/2)w
1
+ (1/2)w
2
+ (1/4)w
3
= 1

(1/4)w
1
+ 1/4w
3
= w
2
Giải hệ ta có:
(w
1
; w
2
; w
3
) = (1; 1/2; 1)
Bây giờ ta chia vectơ này cho tổng các thành phần của nó ta được:
w = (.4; .2; .4)
20
Phương pháp có thể lập trình trên máy tính và tính toán một cách dễ
dàng.
Như đề cập ở trên, ta coi vectơ hàng cố định w như là một vectơ riêng
bên trái của ma trận chuyển P. Vì vậy, nếu kí hiệu I là ma trận đơn vị thì
w thỏa mãn phương trình ma trận sau:
wP = wI
Hoặc
w(P − I) = 0
Vì vậy, w thuộc không gian không hạch của ma trận P-I. Hơn nữa, định lí
1.3.2 chỉ ra rằng, không gian không hạch này có chiều bằng 1. Một ngôn ngữ
lập trình trên máy tính có thể tìm được không gian không hạch của ma trận.
Bằng ngôn ngữ này, người ta có thể tìm được vectơ xác suất hàng cố định
của ma trận P bởi việc trả ra kết quả của không gian không hạch sau đó

chuẩn hóa vectơ trong không gian không hạch, cho nên tổng các thành phần
của nó bằng 1.
Chương trình FixedVector sử dụng một trong các cách trên để tính
vectơ xác suất hàng cố định cho xích Markov chính quy.
Ta luôn giả sử rằng ta bắt đầu từ trạng thái đặc trưng. Định lí sau khái
quát hóa định lí 1.3.1 cho trường hợp trạng thái bắt đầu xác định một vectơ
xác suất.
Định lý 1.3.3. Cho P là ma trận chuyển của xích chính quy và v là vectơ
xác suất bất kì. Khi đó
lim
n→∞
vP
n
= w
với w là vectơ xác suất cố định duy nhất của P.
Chứng minh. Ở định lí 1.3.1 ta có:
lim
n→∞
P
n
= W
21
Do vậy,
lim
n→∞
vP
n
= vW
Mà các phần tử của v bằng 1 và mỗi hàng của W bằng w. Từ đó dễ dàng
suy ra

vW = w
Nếu ta xét một xích Markov với trạng thái ban đầu cho bởi v thì vectơ
xác suất vP
n
cho ta xác suất ở trạng thái tiếp theo sau n bước. Định lí 1.3.3
thiết lập một thực tế, từng lớp các quá trình, xác suất ở trạng thái j tiến đến
w
j
.
1.3.3 Trạng thái cân bằng
Ta có một sự giải thích mới cho w. Giả sử rằng vectơ ban đầu ở trạng
thái i với xác suất là w
i
với mọi i. Khi đó xác suất ở trạng thái tiếp theo
sau n bước cho bởi wP = W và giống nhau cho mọi bước. Phương pháp này
cung cấp cho chúng ta về quá trình được gọi là "dừng". Thực tế thì w chỉ
là vectơ xác suất mà wP = w, chỉ ra rằng ta phải có vectơ xác suất bắt đầu
một cách chính xác để có quá trình dừng.
Nhiều kết quả liên quan tới xích Markov chính quy phụ thuộc vào thực tế
mà xích có vectơ xác suất cố định dương duy nhất. Tính chất này được chỉ
ra cho mọi xích Markov Egođic.
Định lý 1.3.4. Với mỗi xích Markov Egođic, có duy nhất một vectơ xác suất
thỏa mãn wP = w và w dương ngặt. Bất kì vectơ hàng nào mà thỏa mãn
vP = v, là bội của w. Bất kì vectơ cột nào thỏa mãn Px = x, là vectơ hằng
số.
Chứng minh. Định lí này chỉ ra rằng định lí 1.3.2 đúng với mọi xích Egođic.
Kết quả sau dễ dàng chỉ ra từ thực tế, nếu P là ma trận chuyển của xích
22
Egođic thì P = (1/2)I + (1/2)P là ma trận chính quy với vectơ cố định giống
nhau.

Với xích Egođic, vectơ xác suất cố định có cách hiểu hơi khác. Hai định
lí sau,mà không được chứng minh ở đây,sẽ cung cấp một cách hiểu cho ta về
vectơ cố định.
Định lý 1.3.5. Nếu P là ma trận chuyển của xích Egođic và nếu A
n
là ma
trân xác định bởi
A
n
=
I + P + P
2
+ . . . + P
n
n + 1
Khi đó, A
n
→ W, ở đây W là ma trận mà tất cả các hàng của nó đều là
vectơ xác suất cố định duy nhất w của ma trận P
Nếu P là ma trận chuyển của xích Egođic theo định lí 1.3.2 chỉ ra rằ ng,
có duy nhất một vectơ xác suất cố định cho ma trận P. Vì vậy ta có thể sử
dụng thuật toán tương tự để tìm vectơ cố định cho xích chính quy. Đặc biệt,
chương trình FixedVector vẫn chạy được với xích Egođic.
Để làm sáng tỏ định lí 1.3.5, ta giả sử rằng ta có một xích Egođic bắt đầu
ở trạng thái i. Giả sử X
(m)
= 1 nếu bước thứ m xích ở trạng thái j và bằng
0 nếu trái lại. Khi đó tỉ lệ về số lần trung bình ở trạng thái j trong n bước
được cho bởi
H

(n)
j
=
X
(0)
+ X
(1)
+ X
(2)
+ X
(3)
+ . . . + X
(n)
n + 1
Nhưng X
(m)
có giá trị bằng 1 với xác suất p
(m)
ij
và bằng 0 trong các trường
hợp khác. Vì E(X
(m)
) = p
(m)
ij
, và phần tử thứ ij của A
n
cho ta kì vọng của
H
(n)

j
, là kì vọng của tỉ lệ về số lần ở trạng thái j trong n bước nếu xích bắt
đầu ở trạng thái i.
Nếu ta gọi trạng thái j là thành công và các trạng thái thất bại ta đặt ra
câu hỏi, có hay không định lí tương tự luật số lớn cho các phép thử độc lập.
Câu trả lời là có, và được cho bởi định lí sau đây:
23
Định lý 1.3.6. (Luật số lớn cho xích Markov Egođic) Nếu H
(n)
j
là tỉ
lệ về số lần ở trạng thái j trong n bước của một xích Egođic thì với mọi  > 0,
P

|H
(n)
j
− w
j
| > 

→ 0
không phụ thuộc vào trạng thái bắt đầu i.
Với H
(n)
j
=
số lần xích ở trạng thái j trong n bước
n+1
Ta chú ý rằng mọi xích Markov chính quy đều là xích Egođic. Vì vậy, định

lí 1.3.5 và 1.3.6 cũng đúng với xích chính quy.
1.3.4 Ví dụ về xích Egođic
Việc tính vectơ cố định w có thể gặp khó khăn nếu ma trận chuyển có cỡ
lớn. Đôi khi ta dự đoán vectơ cố định trên cơ sở trực giác. Sau đây là một ví
dụ minh họa cho khả năng đó.
Hình 1.1: Bài toán mê cung
Ví dụ 1.3.5. Một con chuột trắng được đặt trong mê cung như hình 1.1. Có
9 gian phòng được liên kết với nhau như trong hình vẽ. Con chuột di chuyển
24
qua các căn phòng một cách ngẫu nhiên. Cụ thể, nếu có k cửa để dời một
căn phòng thì việc chọn một trong các cửa đó với xác suất bằng nhau.
Ta có thể miêu tả di chuyển của con chuột bởi quá trình xích Markov với
ma trận chuyển như sau:
P =
























1 2 3 4 5 6 7 8 9
1 0 1/2 0 0 0 1/2 0 0 0
2 1/3 0 1/3 0 1/3 0 0 0 0
3 0 1/2 0 1/2 0 0 0 0 0
4 0 0 1/3 0 1/3 0 0 0 0
5 0 1/4 0 1/4 0 1/4 0 1/4 0
6 1/3 0 0 0 1/3 0 1/3 0 0
7 0 0 0 0 0 1/2 0 1/2 0
8 0 0 0 0 1/3 0 1/3 0 1/3
9 0 0 0 1/2 0 0 0 1/2 0
























Ta thấy đây không phải xích chính quy bởi vì: Từ trạng thái đánh số lẻ, quá
trình chỉ có thể đến trạng thái đánh số chẵn và từ trạng thái đánh số chẵn
chỉ có thể đi đến trạng thái đánh số lẻ. Vì vậy khi bắt đầu ở trạng thái i sẽ
đi lần lượt qua qua trạng thái chẵn và lẻ. Cho nên ma trận P bậc lẻ sẽ có 0
ở các phần tử có chỉ số cột lẻ của hàng 1. Ở các hàng khác, trên cơ sở quan
sát mê cung, ta thấy có thể đi từ trạng thái này đến trạng thái khác. Vì thế
xích là xích Egođic.
Để tìm vectơ xác suất cố định cho ma trận này. Ta phải giải 10 phương
trình với 9 ẩn. Tuy nhiên, một cách hợp lí rằng, số lần đi qua mỗi gian phòng
tương ứng số lối đi của căn phòng đó. Vì vậy ta thử vectơ mà thành phần
thứ j là số lối đi của căn phòng thứ j:
x = (2, 3, 2, 3, 4, 3, 2, 3, 2)
Dễ dàng chỉ ra rằng vectơ này quả thực là vectơ cố định, vì vậy vectơ xác
25