Giáo trình lý thuyết xác suất và thống kê toán chương 6: Sơ lược về quá trình ngẫu nhiên

Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov
Chơng 6
Sơ lợc về quá trình ngẫu nhiên v xích
Markov

i. khái niệm về quá trình ngẫu nhiên
Một quá trình ngẫu nhiên {X(t), tT} là một tập hợp các biến ngẫu nhiên
X(t), có nghĩa là một tT thì X(t) là một biên ngẫu nhiên.
Chỉ số t thờng là chỉ thời gian và do đó ta coi X(t) nh là trạng thái của
quá trình thời gian t. Chẳng hạn ta có thể coi X(t) là
a. Tổng số khách hàng đã vào một siêu thị trong khoảng thời gian t.
b. Tổng số khách hàng bớc vào một siêu thị ở thời điểm t.
c. Tổng số doanh thu của một siêu thị trong khoảng thời gian t.

Tập hợp T đợc gọi là tập chỉ số của quá trình ngẫu nhiên đợc gọi là
quá trình rời rạc theo thời gian.
Nếu T là một khoảng đờng thẳng thực thì quá trình ngẫu nhiên đợc gọi
là quá trình liên tục theo thời gian.

Thí dụ:
a. {X
n
, n = 0, 1, 2, } là một quá trình ngẫu nhiên rời rạc với tập chỉ số
là những số nguyên không âm.
LờVnPhongTrnTrngNguyờn,HKTQD
238
Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov
b. {X(t), t 0} là một quá trình ngẫu nhiên liên tục theo thời gian mà tập
chỉ số là các số thực không âm.

Tập hợp tất cả các giá trị có thể có mà các biến ngẫu nhiên X(t) có thể

nhận sẽ đợc gọi là kông gian các trạng thái.
Tóm lại: Một quá trình ngẫu nhiên là một hệ các biến ngẫu nhiên dùng mô tả
sự tiến triển của một quá trình nào đó theo thời gian (là chủ yếu).

ii. khái niệm về xích markov
1. Chú ý mở đầu
Sau đây ta dẽ xét một quá trình ngẫu nhiên {X
n
, n = 0, 1, 2, } với một
tập hữu hạn hoặc đếm đợc các giá trị có thể có.
Nếu không có chú thích gì khác thì tập hợp các giá trị có thể có của quá
trình (không gian các trạng thái) cũng sẽ đợc ký hiệu là tập hợp các số
nguyên không âm {0,1, 2, 3, }.
Nếu X
n
=i thì ta bảo tại thời điểm n quá trình ở voà trạng thái i.

2. Định nghĩa về xích Markov
Quá trình ngẫu nhiên {X
n
} đợc gọi là một xích Markov nếu
)iXjX(P)iX,iX, ,iX,iXjX(P
nnnnnnn
========
++ 11111001

với mọi (n, i, j, i
0
, i
1

, , i
n-1
)
ý nghĩa: Điều kiện nêu trong định nghĩa muốn nói rằng xác suất có điều kiện
của trạng thái tơng lai X
n+1
khi biết các trạng thái quá khứ X
0
, X

, , X
n-1

và trạng thái hiện tại X
n
thì chỉ phụ thuộc vào trạng thái hiện tại X
n
mà thôi.

Ghi chú 1: Nếu ký hiệu P(X
n+1
=jX
n
=i) là P
ij
thì P
ij
gọi là xác suất truyền
một bớc. Do các suất của mọi biến cố đều không âm và do quá trình thể nào
cũng phải ở voà một trạng thái nào đó nên ta có:

LờVnPhongTrnTrngNguyờn,HKTQD
239
Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov
P
ij
0, i, j 0 ; .
, ),i(P
j
ij
101
0
==


=
Nếu ký hiệu P
(1)
là ma trận các xác suất truyền một bớc thì ta có:

P
(1)
=

PPP

PPP
PPP
iii 210
121110
020100

Ghi chú 2: Tơng tự nếu ký hiệu P
ij
(n)
là xác suất truyền n bớc thì ta có:
P
ij
(n)
=P(X
m+n
=jX
m
=i)

Ghi chú 3: Nếu P
ij
không phụ thuộc vào n, tức là
P(X
n+1
=jX
n
=i)= P(X
1
=jX
0
=i) (n = 0, 1, 2, )
thì ta có một quá trình dừng.

Thí dụ: Giả sử việc ngày mai trời ma hay nắng chủ phụ thuộc vào tình hình

thời tiết của ngày hôm nay, chứ không phụ thuộc vào thời tiết của những
ngày qua.
Giả sử nếu hôm nay trời vẫn ma là , còn nếu hôm nay trời không ma
thì xác suất để ngày mai trời ma là .
Nếu ta ký hiệu trạng thái 0 là trời ma và trạng thái 1 là trời không
ma thì ta có thể mô tả tình hình thời tiết nh vừa nêu trên bằng một xích
Markov có 2 trạng thái với ma trận của xác suất truyền một bớc nh sau:
LờVnPhongTrnTrngNguyờn,HKTQD
240
Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov

P
(1)
=


=
1
1
1110
0100
PP
PP


iii. phơng trình chapmam-kolmogorov
Ta đã biết các xác suất truyền 1 bớc là P
ij
và các xác suất truyền n bớc
là P

ij
(n)
và các xác suất truyền n bớc là P
ij
(n)
từ đó ta có phơng trình sau:
P
ij
(n)
=
PP
m)-(n
kj
ok
(m)
ik



=
ý nghĩa: P
ik
(m)
P
kj
(n-m)
là xác suất có điều kiện để xuất phát từ trạng thái i quá
trình sẽ chuyển đến trạng thái k sau m bớc, rồi chuyển đến trạng thái j sau
(n-m) bớc. Từ đó nếu lấy tổng các xác suất có điều kiện này với mọi trạng
thái k có thể có (k=0, 1, 2, ) ta sẽ đợc xác suất P

ij
(n)
.
Chứng minh
Thật vậy, ta có

PP
P
)mn(
kj
k
)m(
ik
mmn
k
mn
k
n
)n(
ij
)iXkX(P)iX,kX,jX(P
)iXkX,jX(P
)iXjX(P


=

=

=

=
======
====
===
0
00
0
0
0
0

Nhận xét: Nếu m=1 và n=2 thì ta có
LờVnPhongTrnTrngNguyờn,HKTQD
241
Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov



=
=
0
2
k
kjik
)(
ij
PPP

Đây là phần tử ở vị trị (i, j) của ma trận P
(2)
. Vậy P
(2)
= P
(2)
.
Bằng quy nạp ta suy ra:
P
(n)
= P
(n)
Từ đó phơng trình Chapman-Kolmogorov có thể viết dới dạng ma trận nh
sau:
P
P
(n)
= P
(m)
P
(n-m)
Thí dụ: Ta xét trở lại thí dụ về tình hình thời tiết với 2 trạng thái và đã đợc
mô hình hoá bởi xích Markov đã nêu trên. Giả sử = 0,7 và = 0,4. Khi đó
hãy tính xác suất để trời sẽ ma 4 ngày liền, biết rằng hôm nay trời ma.
Bài giải
Nh vậy ta có ma trận các xác suất chuyển một bớc là

P=
6040
3070

,,
,,

Từ đó
P
(2)
=P
(2)
=
6040
3070
,,
,,
.
6040
3070
,,
,,
=
480520
390610
,,
,,


` P
P
(4)
=P
(4)

=
480520
390610
,,
,,
.
480520
390610
,,
,,
=
4332056680
4251057490
,,
,,

Vậy xác suất phải tìm là P
00
=0,5749.

LờVnPhongTrnTrngNguyờn,HKTQD
242
Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov
Ghi chú: Từ đầu chơng tới đây ta đều xét các xác suất có điều kiện, chẳng
hạn P
ij
(n)
là xác suất để ở thời điểm n hệ ở vào trạng thái j biết rằng ở thời
điểm o hệ ở vào trạng thái i.
Nếu nh muốn xác định P(X

n
=j) tức là muốn tính xác suất không điều
kiện để trong tơng lai (ở bớc n) hệ sẽ ở vào trạng thái j thì ta có:
LờVnPhongTrnTrngNguyờn,HKTQD
243
Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov
)iX(PP
)iX(P)iXjX(P)jX(P
i
)n(
ij
n
i
n
==
=====



=

=
0
0
00
0

Nh vậy nếu biết đợc quy luật phân phối xác suất của trạng thái ban
đầu, chẳng hạn
P(X

0
= i)=
i
với i 0 và
1
0
=


=i
i
Thì ta có thể tính đợc:


=
==
0i
i
)n(
ijn
P)jX(P

Thí dụ: Ta xét trở lại thí dụ về tình hình thời tiết. Nếu đầu ngày hôm nay ta
tính đợc xác suất trời ma là
0
= 0,4 và xác suất trời không ma là
1
= 0,6
thì xác suất để sau 3 hôm nữa trời không ma sẽ là
P(X

4
=0) = (0,4)P
00
(4)
+ (0,6)P
10
(4)

Trong ma trận truyền P
P
(4)
tính ở trên ta đã có P
00
(4)
= 0,5749; P
10
(4)
=
0,5668.
Vì thế P(X
4
=0) = (0,4)(0,5749) + (0,6)(0,5668) = 0,5700.

iV. phân loại các trạng thái của xích markov
1.Trạng thái j gọi là đến đợc từ trạng thái i (ký hiệu ij) nếu P
ij
(n)
>0 với n
nào đó (n 0).

Nh vậy j đến đợc từ i khi và chỉ khi xuất phát từ i thể nào quá trình
cũng có lúc sẽ ở vào trạng thái j.
Thật vậy nếu j không đến đợc từ i, tức là P
ij
(n)
=0 với mọi n thì ta suy ra:
P(Quá trình thể nào cũng ở vào trạng thái j Xuất phát từ i) =


=

=

=
=====
0
0
n
)n(
ij
0n
0nin
n
P )iXjP(X)iXjX((P
U

LờVnPhongTrnTrngNguyờn,HKTQD
244
Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov
2. Hai trạng thái i và j gọi là thông nhau (ký hiệu ij) nếu (ij, j i).

Nh vậy bất kỳ một trạng thái nào cũng thông nhau với bản thân nó vì
P
ii
(0)
=P(X
0
= i X
0
=i) = 1.
Ta thấy mối quan hệ thông nhau có 3 tính chất sau:
a. Trạng thái i thông nhau với trạng thái i với mọi i
0.
b. Nếu i thông nhau với j thì j cũng thông nhau với i.
c. Nếu i thông nhau với k và k thông nhau với j thì i thông với j.

Tính chất a và b đợc suy ra từ định nghĩa, còn tính chất bắc cầu c có thể
chứng minh nh sau:
Do ik và k j nên có tồn tại 2 số nguyên n và m sao cho
P
ik
n)
>0 và P
kj
(m)
>0.
Từ đó theo phơng trình Chapman- Kolmogorov ta có:


0
0

;


=
+
=
i
)m(
kj
)n(
ik
)m(
kj
)n(
ik
)mn(
ij
PPPPP
Nh vậy j đến đợc từ i
Chứng minh tơng tự, ta thấy i đến đợc từ j. Do đó tính chất c đợc chứng
minh.

3. Hai trạng thái thông nhau sẽ thuộc cùng một lớp. Từ các tính chất trên ta
thấy hai lớp trạng thái nào đó hoặc là trùng nhau hoặc rời nhau. Nh vậy
không gian các trạng thái đợc phân hoạch thành các lớp tơng ứng.
Nếu không gian các trạng thái chỉ gồm một lớp tơng đơng thì xích
Markov gọi là không thu gọn đợc. Khi đó mọi trạng thái đều thông nhau
với nhau.
LờVnPhongTrnTrngNguyờn,HKTQD
245

Chng6.SlcvquatrỡnhngunhiờnvxớchMarkov

4. Ta ký hiệu f
ịj
là xác suất để quá trình bắt đầu từ trạng thái i sẽ lại quay lại
i ở một lúc nào đó:
Khi đó:
a. Nếu f
ij
=1 thì trạng thái i gọi là trạng thái lặp.
b. Nếu f
ij
<1 thì trạng thái i gọi là trạng thái quá độ.
Ta thấy nếu trạng thái i là lắp thì nó sẽ đợc quay lại vô hạn lần. Sở dĩ
nh vậy vì quá trình Markov không phụ thuộc vào quá khứ nên khi ở trạng
thái i thì xác suất quay lại trạng thái i bằng 1 và cứ nh vậy nên i sẽ đợc
quay lại vô hạn lần.
Nếu i là trạng thái quá độ thì ngời ta chứng minh đợc rằng kỳ vọng của
số lần mà quá trình quay lại i là một số hữu hạn
ii
f1
1

Trên đây là một số giới thiệu sơ lợc về quá trình ngẫu nhiên và xích
Markov. Mặc dù xuất phát từ lý thuyết xác suất, nhng giờ đây lý thuyết về
các quá trình ngẫu nhiên đã trở thành một ngành phát triển độc lập và có
nhiều ứng dụng trong các lĩnh vực tự nhiên và xã hội.

LờVnPhongTrnTrngNguyờn,HKTQD
246