Khoảng cách tới tính dừng của các xích markov thuần nhất

1
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC VINH
NGUYỄN THỊ HƯỜNG

LUẬN VĂN THẠC SỸ TOÁN HỌC

KHOẢNG CÁCH TỚI TÍNH DỪNG CỦA
CÁC XÍCH MARKOV THUẦN NHẤT
Chuyên ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC

NGHỆ AN, 2015


2
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC VINH

LUẬN VĂN THẠC SỸ TOÁN HỌC

KHOẢNG CÁCH TỚI TÍNH DỪNG
CỦA CÁC XÍCH MARKOV
Chuyên ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC
Mã số: 60.46.01.06
Người hướng dẫn: TS. NGUYỄN TRUNG HÒA
Người thực hiên: NGUYỄN THỊ HƯỜNG

NGHỆ AN, 2015


3

MỤC LỤC


4

Luận văn bao gồm hai chương
Chương 1 định nghĩa xích Markov và đề cập đến những điều kiện cần
thiết cho sự tồn tại của một phân phối dừng duy nhất thông qua khái niệm ánh
xạ ngẫu nhiên, biểu diễn ánh xạ ngẫu nhiên, tính tối giản và tính không tuần
hoàn; Di động ngẫu nhiên trên đồ thị; Các phân phối dừng; Tính khả nghịch và
những sự đảo ngược thời gian..
Chương 2 chứng minh rằng, dưới một số điều kiện nhất định, những xích
Markov hội tụ tới những phân phối dừng của chúng. Kết quả được khẳng định
thông qua định nghĩa khoảng cách biến thiên toàn phần và thời điểm hòa nhập,
các công cụ mấu chốt để lượng hóa sự hội tụ. Xét thời điểm hòa nhập trong mối
liên hệ với thời gian đảo ngược; Định lý Ergodic.


5

Chương 1. CÁC KIẾN THỨC CHUẨN BỊ

1.1.

Xích Markov hữu hạn
Một xích Markov hữu hạn là một quá trình chuyển động trong số các

phần tử của tập hữu hạn theo cách sau: Khi tại , vị trí tiếp theo được chọn
tương ứng với một phân phối xác suất xác định . Một cách chi tiết hơn, ta có
định nghĩa sau.

1.1.1. Định nghĩa

Định nghĩa này có ý nghĩa rằng :xác suất có điều kiện của việc thay đổi
từ trạng thái x tới trạng thái y, không phụ thuộc mà chỉ phụ thuộc trạng thái x.
Dòng thứ x của P sẽ được ký hiệu là . Ma trận P như vậy được gọi là ma
trận ngẫu nhiên, các phần tử của dòng này không âm và

Chú ý. Xích Markov định nghĩa như trên đã bao hàm cả tính thuần nhất, nghĩa
là xác suất chuyển trạng thái từ thời một thời điểm đến thời điểm tiếp theo
không phụ thuộc vào bản thân thời điểm đó.


6
Ví dụ. Một con ếch sống trong một cái ao trên hai lá sen, phía đông và phía tây,
một ngày nào đó nó tìm ra hai đồng xu ở đáy ao và nó đưa mỗi đồng xu lên một
lá sen. Mỗi buổi sang con ếch quyết định liệu có nhảy để dịch chuyển sang lá

Hình 1.1 Một bước nhảy của con ếch.
Cho tới khi được mặt sấp, nó sẽ nhảy từ lá này sang lá kia

sen kia bằng việc tung đồng xu lên lá sen hiện thời. Nếu đồng xu tung lên cho
kết quả là sấp thì nó sẽ nhảy sang lá sen kia. Nếu đồng xu là ngửa thì nó sẽ ở lại
lá sen cũ.
Bây giờ ta hãy coi và đặt là dãy các lá sen mà con ếch đó ở trong các
ngày Chủ Nhật, Thứ Hai,… Ta giả thiết đồng xu ở lá sen phía đông có xác suất
p để nhận mặt sấp, còn đồng xu ở lá sen phía tây có xác suất q để nhận mặt sấp
và quy tắc nhảy của con ếch đơn giản như sau:
(1.2)
thì là một xích Markov với ma trận chuyển P và để ý rằng dòng đầu tiên của P
là phân phối có điều kiện của khi cho , còn dòng thứ hai của P là phân phối có

điều kiện của khi cho ,
Giả thiết rằng con ếch ở cả ngày Chủ Nhật trên lá sen phía đông, khi nó
thức dậy vào sáng Thứ Hai thì nó có xác suất p để chuyển sang lá sen phía tây
và có xác suất để ở lại lá sen phía đông, vậy là:
(1.3)
Cái gì sẽ xảy ra ở ngày Thứ Ba? Bằng việc xét hai khả năng cho , ta sẽ thấy rằng
(1.4)


7
và
(1.5)
Ta có thể lưu thông tin về phân phối của ta trong một véc tơ dòng

Giả thiết con ếch bắt đầu ở lá sen phía đông thì bây giờ có thể được viết như
là , và khi đó (1.3) có thể trở thành . Bằng việc nhân P vào bên phải ta có thể
cập nhật phân phối một bước nữa
(1.6)
và thay thế đối với phân phối ban đầu bất kỳ nào đó ta có
(1.7)

Hình 1.2. Xác suất theo từng thời điểm.
p=q=1/2; (b) p=0.2, q=0.1; (c) p=0.95, q=0.7
Các xác suất giới hạn tương ứng là 1/2, 1/3, 14/33.

Làm thế nào để hình dung về phân phối trong khoảng thời gian dài, Hình
1.2 gợi ý rằng có thể có một giới hạn (mà giá trị của nó phụ thuộc vào p và q)
khi , và bất kỳ phân phối giới hạn kiểu như vậy đều thỏa mãn, điều đó ngụ ý
rằng, giới hạn
Thật vậy, Nếu bây giờ ta định nghĩa với mọi thì bằng định nghĩa của

dãy cần thỏa mãn


8
(1.8)
vì nên do đó ta kết luận rằng khi thì Vậy
(1.9)
đối với phân phối ban đầu bất kỳ . Như vậy .
Những tính toán mà chúng ta vừa làm là đối với một xích hai trạng thái
sẽ được khái quát cho một xích Markov hữu hạn trạng thái bất kỳ. Nói riêng
phân phối tại thời điểm có thể được xác định bởi phép nhân ma trận.
là xích Markov hữu hạn trạng thái với không gian trạng thái và ma trận
chuyển trạng thái P và giả sử véc tơ dòng là phân phối của : , với mọi . Từ
điều kiện phụ thuộc vào các kết quả có thể có thể có ở các bước trước bước
thứ , ta thấy rằng

Viết lại điều này dưới dạng véc tơ, đưa đến

và vì vậy
(1.10)
Vì chúng ta sẽ thường xét các xích Markov với cùng một ma trận chuyển
trạng thái nhưng chỉ khác ở trạng thái ban đầu, chúng tôi giới thiệu các ký hiệu
đối với các xác suất và kỳ vọng với trạng thái ban đầu . Thông

Như thế, xác suất để chuyển t bước từ x đến y được cho bởi phần tử ở dòng của
ma trận , ta gọi các phần tử ấy là xác suất chuyển t bước.
Nhận xét. Cách để ta xây dựng một ma trận P đã buộc ta phải coi các phân
phối như là véc tơ dòng. Nói chung, nếu xích có phân phối tại thời điểm t thì nó

9
có phân phối tại thời điểm . Việc nhân một dòng với về bên phải sẽ đưa từ
phân phối hiện thời tới phân phối tương lai.

Thế thì phần tử thứ x của Pf có nghĩa là giá trị kỳ vọng của hàm f tại
trạng thái kế tiếp, khi cho những gì chúng ta có ở trạng thái hiện thời x. Việc
nhân véc tơ cột với P vào bên trái sẽ đưa ta từ một hàm của không gian trạng
thái tới giá trị kỳ vọng của hàm đó trong tương lai.
1.1.2. Biểu diễn ánh xạ ngẫu nhiên

Định nghĩa. Một biểu diễn ánh xạ ngẫu nhiên của một ma trận chuyển trên
không gian trạng thái là một hàm , với một biến ngẫu nhiên –giá trị Z, thỏa
mãn

Ta thấy, nếu là một dãy các biến ngẫu nhiên độc lập có cùng phân phối như Z,
và X0 có phân phối µ, thì dãy được xác định bởi
là một xích Markov với ma trận chuyển P và phân phối ban đầu µ.
Với ví dụ về di động ngẫu nhiên đơn giản trên chu trình, đặt , mỗi có
phân phối đều trên , và cho một biểu diễn ánh xạ ngẫu nhiên.
1.1.3. Mệnh đề.

Mọi ma trận chuyển trên một không gian trạng thái hữu hạn có một biểu
diễn ánh xạ ngẫu nhiên.
Để ý rằng, không như các ma trận chuyển, Biểu diến ánh xạ ngẫu nhiên
là không duy nhất.
Các biểu diễn ánh xạ ngẫu nhiên chủ yếu là để mô phỏng các xích lớn.
Chúng có thể cũng là con đường thích hợp nhất để mô tả một xích. Chúng ta sẽ
thường đưa ra các quy tắc để xử lý một xích chuyển từ trạng thái này tới trạng

10
thái kia như thế nào, khi sử dụng thêm sự ngẫu nhiên nào đó để xác định đâu là
bước tiếp theo; Cuối cùng, các biểu diễn ánh xạ ngẫu nhiên cung cấp một con
đường để kết nối hai hoặc nhiều hơn các xích thành phần, chúng ta có thể sử
dụng một cách đơn giản cùng một dãy các biến ngẫu nhiên phụ để dò tìm sự
thay đổi. Kỹ thuật này sẽ được áp dụng nói về các thành phần xích Markov ghép
đôi, và những nơi khác nữa.

1.2.

Tính tối giản và tính không tuần hoàn
Một xích P được gọi là tối giản nếu với hai trạng thái bất kỳ luôn tồn tại

một số nguyên t (có thể phụ thuộc vào x và y) sao cho . là tập các thời điểm khả
dĩ để xích Markov có thể quay trở lại điểm xuất phát . Chu kỳ của trạng thái
được xác định là ước chung lớn nhất của
1.2.1. Bổ đề

Nếu P là tối giản, thì
Như vậy, với một xích tối giản, chu kỳ của xích được định nghĩa là chu kỳ
chung của mọi trạng thái. Xích sẽ được gọi là không tuần hoàn nếu mọi trạng
thái đều có chu kỳ 1. Nếu một xích không phải không tuần hoàn, ta sẽ gọi nó là
tuần hoàn.
1.2.2. Mệnh đề

Nếu P là tuần hoàn và tối giản thì có một số nguyên không âm r sao cho
với mọi .
Giả thiết rằng một xích tối giản với chu kỳ 2, chẳng hạn di động ngẫu
nhiên đơn giản trên một chu trình có độ dài chẵn (xem Hình 1.3). Không gian
trạng thái có thể được phân chia thành hai lớp, chẵn và lẻ, mà xích chỉ thực

hiện việc chuyển từ lớp này sang lớp bù với nó.
Giả sử P có chu kỳ 2 và giả sử rằng là một trạng thái chẵn. Phân phối


11
xác suất của xích sau bước, , có giá trên các trạng thái chẵn, trong khi phân
phối của xích sau bước có giá trên các trạng thái lẻ. Hiển nhiên là ta không thể
hy vọng phân phối hội tụ khi .
Một điều chỉnh đơn giản có thể khắc phục những vấn đề tuần hoàn. Cho
một ma trận chuyển túy ý , giả sử (ở đây I là ma trận đơn vị). (Người ta có thể
tưởng tượng hình ảnh của như sau: tại mỗi bước, lật một đồng xu. Nếu kết quả
trả về là sấp, thực hiện một bước trong , còn nếu ngửa thì giữ nguyên trạng thài
hiện thời.) Vì với mọi , ma trận chuyển là không tuần hoàn. Ta gọi là phiên
bản lười của .
Ví dụ. Trở lại Ví dụ ở đầu Mục 1.1.2. về di động ngẫu nhiên trên -chu trình. Với
mỗi , di động ngẫu nhiên trên -chu trình là tối giản.
Di động ngẫu nhiên trên một chu trình có độ dài chẵn bất kỳ là tuần
hoàn, vì (xem hình 1.3). Di động ngẫu nhiên trên một chu trình có độ dài lẻ là
không tuần hoàn.
Ma trận chuyển đối với một di động ngẫu nhiên lười trên n-chu trình là
(1.12)
Di động ngẫu nhiên lười trên n-chu trình có cả hai tính chất tối giản và
không tuần hoàn với mọi n.
1.2.3. Di động ngẫu nhiên trên đồ thị

Một đồ thị gồm có một tập các đỉnh và một tập các cạnh , . Ta có thể
hình dung như là một tập các điểm, trong đó hai điểm và được nối với nhau
bởi một đường khi và chỉ khi là một phần tử của tập các cạnh. Khi ta viết và
nói rằng là kề của (tất nhiên cũng là kề của ). Bậc của đỉnh , được ký hiệu là
là số các đỉnh kề của .

Khi cho một đồ thị , ta có thể định nghĩa di động ngẫu nhiên đơn giản
trên là xích Markov với không gian trạng thái và ma trận chuyển


12
(1.13)
Điều đó nói lên rằng khi xích ở trạng thái (đỉnh) , nó có thể đi tới tất cả các
đỉnh kề của , với một phân phối đều để di chuyển tới đỉnh kề được chọn.
Ví dụ. Xét đồ thị được chỉ ra trong Hình 1.4.

Hình 1.4. Ví dụ về một đồ thị có 5 đỉnh và 6

Ma trận chuyển của di động ngẫu nhiên đơn giản trên là

1.3.

Các phân phối dừng.

1.3.1. Định nghĩa.

Ta đã thấy trong Ví dụ ở Mục 1.1.1 rằng phân phối π trên thỏa mãn
(1.14)
là phân phối giới hạn của xích. Ta gọi một phân phối xác suất π thỏa mãn
(1.14) là một phân phối dừng của xích Markov. Rõ ràng nếu π là một phân phối
dừng và µ0 = π (có nghĩa là xích bắt đầu tại một phân phối dừng), thì với mọi .
Để ý rằng ta cũng có thể viết (1.14) theo từng phần tử. Một phát biểu
tương đương là
(1.15)
Ví dụ. Xét di động ngẫu nhiên đơn giản trên một đồ thị . Với đỉnh bất kỳ ,
(1.16)

Để nhận một xác suất, vì một tính chất của đồ thị là . Ta kết luận rằng độ đo xác


13
suất

là tỷ lệ đối với bậc, luôn là một phân phối dừng đối với di động. Với đồ thị trong
Hình 1.4,

Nếu có tính chất là mọi đỉnh đều cùng có bậc d, ta sẽ gọi là d-chính quy. Trong
trường hợp thì phân phối đều với mọi là phân phối dừng.
Một mục đích trọng tâm của Chương này và của Chương 2 là chứng tỏ sự
đúng đắn của phát biểu tổng quát rằng những xích Markov hữu hạn hội tụ tới
những phân phối dừng của chúng. Trước khi ta có thể phân tích thời điểm đòi
hỏi để đạt được đối với tính dừng, ta cần chắc chắn nó là hữu hạn! trong mục
này ta sẽ chỉ ra rằng dưới một số hạn chế nhẹ, những phân phối dừng tồn tại và
duy nhất. Chiến lược của chúng ta là sẽ xây dựng một phân phối nào đó, rồi sẽ
kiểm tra rằng nó có những thuộc tính cần thiết, có thể dường như là cồng kềnh.
Tuy nhiên, những công cụ chúng ta xây dựng ở đây sẽ được áp dụng nhiều ở nơi
khác. Trong Mục 2.2, chúng ta sẽ chỉ ra rằng những xích tối giản và không tuần
hoàn, thật ra, hội tụ tới những phân phối dừng của chúng ở một cảm nhận chính
xác.
1.3.2. Các thời điểm chạm và quay lại đầu tiên

Xuyên suốt mục này, ta giả thiết rằng xích Markov có không gian trạng
thái hữu hạn và ma trận chuyển P. Với mỗi , định nghĩa thời điểm chạm với là

đó là thời điểm đầu tiên xích đạt trạng thái x. Với các tính huống chỉ có một lần
đạt đến x ở một thời điểm dương, ta cũng định nghĩa

14
Khi , ta gọi là thời điểm quay lại đầu tiên.
Bổ đề. Với các trạng thái bất kỳ x và y của một xích tối giản,
Chứng minh. Định nghĩa xích tối giản nói rằng tồn tại một số nguyên dương r
và một số thực dương ε với tính chất sau: Với bất kỳ các trạng thái tồn tại một
với . Như vậy với giá trị bất kỳ của xác suất của trạng thái chạm y tại một thời
điểm giữa và ít nhất là . Vì vậy với ta có
(1.17)
Lặp lại (1.17) cho xác suất ở vế phải nhiều lần, suy ra
(1.18)
Khi là một biến ngẫu nhiên giá trị nguyên không âm, ta có

Vì là một hàm giảm của , (1.18) đủ để chặn mọi số hạng của biểu thức tương
ứng đối với :

1.3.3. Sự tồn tại của một phân phối dừng

Định lý hội tụ dưới đây nói rằng những phần đuôi theo thời gian của một
xích Markov không tuần hoàn tối giản ở trong mỗi trạng thái phù hợp với phân
phối dừng của xích. Tuy vậy ta chưa thể chứng minh các phân phối dừng là tồn
tại! Để xây dựng một phân phối dừng, ta xét một sự lưu lại của xích từ một
trạng thái tùy ý nào đó quay về . Vì những lần đạt tới qua ngắt qũy đạo của
một xích thành các đoạn có phân phối đồng nhất, không ngạc nhiên rằng sự
phân tán trung bình của thời điểm (gian) trên khoảng lưu lại trong mỗi trạng
thái là phù hợp với phân bố đuôi của thời điểm tồn tại trong .
Mệnh đề. Giả sử là ma trận chuyển của một xích Markov tối giản. Thế thì
(i)

Tồn tại một phân phối xác suất trên sao cho và với mọi và hơn nữa

15
(ii)
Chứng minh. Giả sử là một trạng thái tùy ý của xích Markov. Ta sẽ kiểm tra
chặt chẽ, về mặt trung bình, thời điểm xích đạt tới tại mỗi trạng thái giữa
những đi lần qua . Vì vậy định nghĩa

(1.19)
Với trạng thái bất kỳ, ta có . Vì vậy Bổ đề ở Mục 1.3.2 bảo đảm rằng với mọi .
Ta sẽ kiểm tra rằng là dừng, từ định nghĩa:
(1.20)
Vì biến cố được xác định bởi ,
(1.21)
Đảo thứ tự của tổng (1.20) và sử dụng đồng nhất thức (1.21) để có
(1.22)
Biểu thức trong (1.22) rất giống với (1.19), vì vậy ta hoàn toàn có thể đạt được.
Thực tế,

(1.23)

(1.24)
Phương trình (1.24) kéo theo việc xét hai trường hợp:
• : Vì và , cả hai số hạng cuối cùng của (1.23) bằng 1, và triệt tiêu lẫn
nhau.
• : Cả hai số hạng của (1.23) bằng 0.
Do đó kết hợp (1.22) và (1.24) chỉ ra rằng


16

Cuối cùng, để nhận được một độ đo xác suất, ta chuẩn hóa bởi :
(1.25)
Trong thực tế, với bất kỳ ,
(1.26)
Chú ý. Ta sẽ thấy trong Mục 1.4 rằng sự tồn tại của là không cần cho tính tối
giản, nhưng cần cho tính dương.
Tính toán ở đầu chứng minh mệnh đề trên có thể được tổng quát hóa. Một
thời điểm dừng đối với là một biến ngẫu nhiên nhận giá trị thuộc tập sao cho
với mỗi t, biến cố được xác định bởi Nếu một thời điểm dừng thay thế trong
định nghĩa, (1.19) của , thì việc chứng minh rằng thỏa mãn làm cho cho thỏa
mãn cả hai đẳng thức và .
Nếu là một thời điểm dừng thì một hệ quả tức thời của định nghĩa và tính
chất Markov là

(1.27)
đối với bất kỳ . Điều này được xem như tính chất Markov mạnh. Không chính
thức, ta có thể nói rằng xích tái khởi động tại một thời điểm dừng. Trong khi
điều đó là dễ dàng đối với không gian trạng thái đếm được thì với các xích
Markov với thời gian rời rạc việc thiết lập nó để xử lý trong tập không đếm
được là tinh tế hơn nhiều.
1.3.4. Tính duy nhất của phân phối dừng.

Đầu chương này ta đã nêu lên sự khác nhau giữa phép nhân một véc tơ
dòng với vào bên phải và nhân một véc tơ cột với vào bên trái: cái trước đưa
ra một phân phối bởi một bước của xích, trong khi phép sau đưa lại kỳ vọng của
một hàm trên các trạng thái, một bước sau đó của xích. Ta gọi các phân phối


17
bất biến qua phép nhân phải với là dừng. Câu hỏi đặt ra là những hàm như thế

nào sẽ bất biến đối với các phép nhân trái?
Gọi một hàm là điều hòa tại nếu
(1.28)
Một hàm là điều hòa trên nếu nó là điều hòa tại mọi trạng thái . Nếu được coi
như là một vec tơ cột, thì một hàm là điều hòa trên toàn bộ thỏa mãn phương
trình ma trận .
Bổ đề. Giả sử rằng P là tối giản, Một hàm h điều hòa tại mọi điểm của là hằng
số.
Chứng minh. Vì là hữu hạn, cần có một trạng thái sao cho là cực đại. Nêu đối
với trạng thái z nào đó sao cho ta có , thì
(1.29)
mâu thuẫn! Điều đó suy ra rằng với mọi trạng thái mà .
Với bất kỳ , tính tối giản nghĩa là có một dãy với . Lặp lại như trên sẽ cho ta .
Thế thì là hằng số.
Hệ quả. Giá sử P là một ma trận chuyển của một xích Markov tối giản. Khi đó
tồn tại duy nhất một phân phối thỏa mãn .
Chứng minh. Do mệnh đề 1.14 có ít nhất một độ đo như trên. Bổ đề 1.16 nói
rằng Ker (hạt nhân) của có số chiều 1, vì vậy cột hạng của là . Ví hạng dòng
của ma trận vuông bất kỳ bằng hạng cột của nó, phương trình vec tơ cũng có
tập nghiệm là không gian con 1 chiều. Không gian này chứa chỉ một vec tơ mà
các thành phần của nó có tổng bằng 1.
Chú ý. Một chứng minh khác của hệ quả trên cũng được suy ra từ định lý hội tụ
(Định lý 2.3.1, trong chương sau).


18
1.3.5. Tính khả nghịch và những sự đảo ngược thời gian

Giả sử một xác suất trên thỏa mãn
(1.30)

Phương trình (1.30) được gọi là phương trình cân bằng chi tiết. Một xích thỏa
mãn (1.30) được gọi là khả nghịch.
Mệnh đề 1. Giả sử là ma trận chuyển của một xích Markov với không gian
trạng thái . Một phân phối bất kỳ thỏa mãn phương trình cân bằng chi tiết
(1.30) là dừng đối với .
Chứng minh. Lấy tổng cả hai về của (1.30) trên tất cả các y:

vì là ngẫu nhiên.
Việc kiểm tra tính cân bằng chi tiết thường là cách đơn giản để chứng tỏ
một phân phối cụ thể nào đó là dừng. Hơn nữa, khi (1.30) thỏa mãn,
(1.31)
Ta có thể viết (1.31) dưới dạng sau:
(1.32)
Nói cách khác, nếu một xích thỏa mãn (1.30) và có phân phối ban đầu là dừng,
thì phân phối của cũng như phân phối của
Vì lý do này, một xích thỏa mãn (1.30) được gọi là khả nghịch.
Ví dụ. Xét di động ngẫu nhiên đơn giản trên một đồ thị G trong ví dụ ở mục
1.3.1, phân phối là dừng.
Vì

Nên xích là khả nghịch. (Chú ý rằng ở đây kỳ hiệu biểu diễn hàm chỉ tiêu của


19
tập A, nghĩa là nếu và chỉ nếu và trong các trường hợp còn lại.)
Ví dụ. Xét di động ngẫu nhiên lệch trên n-chu trình: một chuyển động theo
chiều kim đồng hồ với xác suất và chuyển động ngược chiều kim đồng hồ với
xác suất .
Phân phối dừng vẫn còn là đều: nếu , thì

Từ đó là phân phối dừng. Tuy nhiên, nếu , thì

Sự đảo ngược thời gian của một xích Markov tối giản với ma trận chuyển
và phân phối dừng là xích với ma trận
(1.33)
Phương trình dừng nói rằng là một ma trận ngẫu nhiên. Mệnh đề 2 sau đây sẽ
chỉ ra rằng thuật ngữ “sự đảo ngược thời gian” là thỏa đáng.
Mệnh đề 2. Giả sử là một xích Markov tối giản với ma trận chuyển và phân
phối dừng . Ký hiệu đối với xích thời gian ngược với ma trận chuyển . Thế thì
là dừng đối với , và với bất kỳ , ta có

Chứng minh. Để kiếm tra là dừng đối với , đơn giản ta tính

Để chỉ ra các xác suất của hai quỹ đạo là bằng nhau, chú ý rằng

vì với mỗi .
Để ý rằng nếu một xích với ma trận chuyển là khả nghịch, thì


20


21

Chương 2. XÍCH MARKOV VÀ PHÂN PHỐI DỪNG
Chúng ta sẽ làm việc với các xích Markov hữu hạn. Vì chúng ta quan tâm
đến việc lượng hóa tốc độ hội tụ của các họ xích Markov, nên chúng ta cần
chọn một metric hợp lý để đo khoảng cách giữa các phân phối.
Đầu tiên chúng ta định nghĩa khoảng cách biến thiên toàn phần và đưa ra
một vài đặc trưng của nó, sẽ có ích cho công việc sau này. Tiếp theo, chúng ta

chứng minh định lý về sự hội tụ, phát biểu rằng với một xích không tuần hoàn
và tối giản, phân phối sau nhiều bước tiệm cận đến phân phối dừng của xích
theo nghĩa là khoảng cách biến thiên toàn phần giữa chúng dần tới 0.
Trong phần còn lại của chương, chúng ta kiểm tra tác động của phân
phối ban đầu đến khoảng cách tới tính dừng, định nghĩa thời điểm hòa nhập của
một xích, xét các tình huống liên quan trong trường hợp các xích có thể có
chung thời điểm hòa nhập, và chứng minh một phiên bản của định lý Egodic đối
với xích Markov.

2.1.

Khoảng cách biến thiên toàn phần và sự ghép đôi

2.1.1. Khoảng cách biến thiên toàn phần giữa hai phân phối.

Định nghĩa. Khoảng cách biến thiên toàn phần (total variation distance), sau
này sẽ gọi tắt là khoảng cách toàn phần, giữa hai phân phối xác suất trên là
lượng được xác định bởi
(2.1)
Định nghĩa này mang tính xác suất rõ rệt: khoảng cách giữa và là sự khác


22
nhau cực đại giữa các xác suất của cùng một biến cố theo hai phân phối xác
suất.
Ví dụ. Trở lại câu chuyện con ếch ném đồng xu ở Ví dụ trong Mục 1.1.1. Xác
suất con ếch nhảy từ đông sang tây là , từ tây sang đông là , ma trận chuyển
trạng thái của nó là và phân phối dừng của nó là
Giả thiết con ếch bắt đầu từ lá ở phía đông, do đó và định nghĩa
t

=t(

Vì chỉ có hai trạng thái nên chỉ có bốn biến cố xảy rado đó dễ dàng kiểm tra
rằng
Chúng ta đã chỉ ra ở Ví dụ trong Mục 1.1.1 là. Do đó với xích hai trạng thái
này, khoảng cách sẽ giảm nhanh theo hàm mũ khi tăng. Lưu ý rằng là một giá
trị riêng của .
Định nghĩa khoảng cách (2.1) là cực đại lấy trên tất cả các tập con của ,
nên việc sử dụng định nghĩa này chưa phải là cách thuận tiện nhất để ước
lượng khoảng cách. Ta sẽ đưa ra ba đặc trưng thay thế có ích. Mệnh đề 1 dưới
đây sẽ quy khoảng cách giữa hai phân phối về một tổng đơn giản trên không
gian trạng thái. Mệnh đề trong mục 2.1.2 sử dụng sự ghép đôi để đưa ra một
giải thích xác suất khác: đo sự phân biệt giữa hai biến nhẫu nhiên như thế
nào.


23

Hình 2.1. . Vùng I có diện tích . Vùng II có diện tích . Vì
diện tích mỗi vùng của đều là 1, nên các vùng I và II phải
có cùng diện tích là .

Mệnh đề 1. Giả sử là hai phân phối xác suất trên . Khi đó
(2.2)
Chứng minh: Giả sử . Khi đó
(2.3)
Bất đẳng thức đầu tiên là đúng vì

nên

và mỗi có .


24
Với bất đẳng thức thứ hai, để ý rằng việc gộp thêm các phần tử của không thể
giảm bớt sự sai khác của xác suất. Vậy .
Lập luận hoàn toàn tương tự,
(2.4)
Tuy nhiên, cận trên ở vế phải của (2.3) và (2.4) thực tế là giống nhau, như có
thể thấy bằng Hình 2.1. Hơn nữa khi chúng ta lấy (hoặc bằng ), thì bằng cận
trên. Như vậy

Chú ý.
• Chứng minh của Mệnh đề 1 cũng cho thấy rằng
(2.5)
nó là một dấu hiệu có ích.
• Từ Mệnh đề 1 và bất đẳng thức tam giác đối với các số thực, dễ dàng
thấy rằng khoảng cách biến thiên toàn phần thỏa mãn bất đẳng thức tam
giác: Với các phân bố xác suất
(2.6)
Mệnh đề 2. Giả sử là hai phân bố xác suất trên Ω. Khi đó khoảng cách giữa
chúng thỏa mãn:

(2.7)
Chứng minh: Khi thỏa mãn , ta có
Điều đó chỉ ra rằng vế phải của (2.7) không lớn hơn TV. Đặt


25
Khi đó

Sử dụng (2.5) để thấy vế phải bằng TV .Vì thế vế phải của (2.7) ít nhất là .
2.1.2. Ghép hai phân phối xác suất và khoảng cách biến thiên toàn phần

Xét một cặp các biến ngẫu nhiên được xác định trên một không gian xác
suất sao cho phân phối xác suất biên duyên của là µ và phân phối xác suất biên
duyên của là v. Nghĩa là một cặp thỏa mãn.
Việc ghép hai biến ngẫu nhiên là một kỹ thuật có hiệu quả và có thể được
ứng dụng theo nhiều cách nhau. Ở đây, ta sẽ chỉ ra liên hệ chặt chẽ giữa việc
ghép hai biến ngẫu nhiên và khoảng cách biến thiên toàn phần giữa hai biến đó.
Ví dụ. Giả sử cả hai và là các độ đo “gieo đồng xu” có cùng trọng số 1/2 trên
tập các phần tử .
(i)

Một cách ghép µ và � là xác định như là một cặp các đồng xu độc
lập, sao cho với mọi

(ii)

Một cách khác nữa để ghép µ và là giả thiết là một kết quả gieo đồng
xu và . Trong trường hợp này , và
Cho một cặp của và , nếu q là phân phối kết hợp của trên , nghĩa là

nếu , thì q thỏa mãn

và

Ngược lại, cho một phân phối xác suất trên không gian tích thỏa mãn