QUÁ TRÌNH NGẪU NHIÊN XÍCH MARKOV

QUÁ TRÌNH NGẪU NHIÊN
-
XÍCH MARKOV
Thành viên thực hiện:
 Nguyễn Chí Thanh

Trần Thái Sơn
Lương Nhựt Quang
Lâm Duy Quý
Nguyễn Hồng Hoan Sang
Nguyễn Thị Lê Soa
Nguyễn Minh Tâm
Bùi Văn Tài
Nội dung trình bày
Quá trình ngẫu nhiên

Biến ngẫu nhiên

Quá trình ngẫu nhiên

Ví dụ một bài toán mô tả bằng quá trình ngẫu nhiên

Phân loại quá trình ngẫu nhiên
Xích Markov

Nêu một vài ứng dụng

Tính Markov

Quá trình Markov


Xích Markov

Ma trận xác suất chuyển 1 bước

Ma trận xác suất chuyển n bước

Véctơ phân phối xác suất của hệ tại thời điểm n

Phân phối dừng

Ví dụ giải một bài toán áp dụng mô hình xích Markov

Phân loại trạng thái xích Markov
Quá trình ngẫu nhiên - Xích Markov
2
QUÁ TRÌNH NGẪU NHIÊN
Quá trình ngẫu nhiên
Dữ liệu tất định:

Luôn luôn có giá trị xác định, tính được tính
bằng các công thức toán học.

Có thể dự báo giá trị trong tương lai

Đặc trưng bằng các hàm giá trị chính xác

Ví dụ: Một chiếc xe hiện đang ở vị trí i, chạy với vận tốc v, sau khoảng thời gian t thì chiếc xe sẽ
ở vị trí j.

Đặt X(t) = j

Dữ liệu ngẫu nhiên:

Không biểu diễn được bằng các hàm toán
học chặt chẽ

Biểu diễn sử dụng các công cụ xác suất

Ví dụ: Đặt X(t) là kết quả của lần gieo một con
xúc sắc tại thời điểm t. Vì X(t) là ngẫu nhiên nên
ta không thể xác định chính xác được giá trị X(t)
bao nhiêu. Thay vào đó, ta có:
X(t) 1 2 3 4 5 6
Xác suất tương ứng 1/6 1/6 1/6 1/6 1/6 1/6
X(t) gọi là đại lượng ngẫu nhiên hay biến ngẫu
nhiên
Quá trình ngẫu nhiên - Xích Markov
4
Quá trình ngẫu nhiên

Định nghĩa 1: Xét một hệ thống vật lý (hay một hệ thống sinh thái, hệ thống dịch vụ,… ) tiến triển theo thời gian.

Gọi X(t) là trạng thái của hệ tại thời điểm t. Như vậy ứng với mỗi thời điểm t, X(t) chính là một biến ngẫu nhiên mô tả trạng
thái của hệ.

Quá trình { X(t), t T∈ } được gọi là một quá trình ngẫu nhiên. Chỉ số t thường chỉ thời gian.

Tóm lại: Một quá trình ngẫu nhiên là một tập hợp các biến ngẫu nhiên dùng mô tả sự tiến triển của một quá trình
nào đó theo thời gian (là chủ yếu).

Tập hợp các trạng thái có thể có của X(t) gọi là không gian trạng thái. Không gian trạng thái được kí hiệu là E.


Ví dụ, khi gieo con xúc sắc, X(t) chỉ có thể nhận giá trị là một trong 6 mặt của con xúc sắc ∀t, thì E = {1, 2, 3, 4, 5, 6}.
Quá trình ng u nhiên - Xích Markovẫ 5
Bài toán được mô tả bằng quá trình ngẫu nhiên

Ví dụ 1: Trong một khu phố 1000 dân (khách hàng) có 3 siêu thị là A, B, và C (A, B, C được coi là các vị trí 1, 2, 3 của
hệ thống siêu thị này). Giả sử rằng, trong từng tháng mỗi khách hàng luôn trung thành với một siêu thị. Ngoài ra,
cũng giả sử rằng trong tháng đầu số khách vào các siêu thị lần lượt là 200, 500 và 300; tức là có 20% khách hàng
vào siêu thị A, 50% vào B và 30% vào C.

Để mô tả tình trạng phân chia thị phần trong tháng đầu (tháng 0) của hệ thống siêu thị trên, chúng ta thiết lập biến
ngẫu nhiên X(0) với quy tắc: nếu khách hàng mua hàng ở siêu thị A thì đặt X(0)=1, ở siêu thị B thì đặt X(0) = 2, còn
ở siêu thị C thì X(0) = 3. Lúc đó, X(0) có bảng phân phối xác suất sau:

Để mô tả tình trạng phân chia thị phần trong các tháng tiếp theo, chẳng hạn,
tháng = 1, 2, 3,… vị trí của hệ thống sẽ được mô tả bởi các biến ngẫu nhiên X(1), X(2), X(3),… với các bảng phân
phối xác suất tương ứng.

Ta xây dựng được quá trình { X(0), X(1), X(2), …} để mô tả tình trạng phân chia thị phần của hệ thống siêu thị trên.
Các giá trị X(0) 1 2 3
Xác suất tương ứng 0,2 0,5 0,3
Quá trình ng u nhiên - Xích Markovẫ 6
Phân loại quá trình ngẫu nhiên
Quá trình ngẫu nhiên { X(t), t T }:∈

Nếu T là tập con của tập số nguyên (T ) thì quá trình
{ X(t), t T }∈

được gọi là quá trình rời rạc theo thời gian. Trường hợp này ta ký hiệu X
n

thay cho X(t) và gọi là một
dãy ngẫu nhiên.

Theo ví dụ 1, ta cho t là các tháng 0, 1,… : tập T = { 0, 1, 2, 3, 4, 5, …} rời rạc

Nếu T = [0;) thì {X(t); t ∈ T} được gọi là quá trình liên tục theo thời gian.


Quá trình ng u nhiên - Xích Markovẫ 7
Tóm lược

Một quá trình ngẫu nhiên là một tập hợp các biến ngẫu nhiên dùng mô tả sự tiến triển của một quá trình nào đó
theo thời gian (là chủ yếu).

Kí hiệu: { X(t), t T }∈

Tập hợp các trạng thái có thể có của X(t) gọi là không gian trạng thái. Kí hiệu là E.

Nếu tập T ta có quá trình rời rạc theo thời gian.

Nếu tập T = [0;) ta có quá trình liên tục theo thời gian.


Quá trình ng u nhiên - Xích Markovẫ 8
XÍCH MARKOV
Ứng dụng của Markov

Dùng để mô hình hóa nhiều quá trình trong Lý thuyết hàng đợi và Thống kê

Dùng rất nhiều trong Nhận dạng tiếng nói và trong Tin sinh học, chẳng hạn để mã hóa vùng/dự đoán gene


PageRank của một trang web dùng bởi Google được định nghĩa bằng một xích Markov

Chuỗi Markov cũng có nhiều ứng dụng trong mô hình sinh học, đặc biệt là trong tiến trình dân số - một tiến trình
tương tụ như tiến trình sinh học

Trong ngành quản lý đất đai: người ta còn ứng dụng GIS, RS và chuỗi Markov vào phân tích sự thay đổi sử dụng đất
(land use change), từ đó dự báo được tình hình sử dụng đất trong giai đoạn kế tiếp.

…
Quá trình ng u nhiên - Xích Markovẫ 10
Xích Markov
Quá trình ngẫu nhiên
•
Có tính Markov
Quá trình Markov
•
Có tập không gian trạng thái rời rạc
Xích Markov
Quá trình ng u nhiên - Xích Markovẫ 11
Quá khứ Thời điểm hiện tại (s)
Thời điểm trong tương
lai (t)
Tính Markov

Xét quá trình ngẫu nhiên (hệ) { X(t), t T } có không gian trạng thái ∈ E.

P( X(t) = j | X(s) = i ) gọi là hàm xác suất chuyển từ thời điểm s đến thời điểm t

Đặt p(s, i, t, j) = P( X(t) = j | X(s) = i ). Nếu p(s, i, t, j) đúng với => tính Markov.


Tóm lại: Một hệ được gọi là có tính Markov nếu trạng thái của hệ trong tương lai chỉ phụ thuộc vào trạng thái
của hệ ở hiện tại và độc lập với quá khứ.


…
Trạng thái của hệ
X(s) = i
X(t) = j
Xác suất để hệ có trạng thái j ở thời điểm t là bao nhiêu?
Quá trình ng u nhiên - Xích Markovẫ 12
Tính Markov

Ví dụ:

Dân số nước ta hiện tại là 90 triệu người.

Trong tương lai, dân số nước ta phát triển chỉ phụ thuộc vào dân số hiện tại mà độc lập với quá khứ.

Vậy, sự phát triển của dân số nước ta có tính Markov
Quá trình ng u nhiên - Xích Markovẫ 13
Quá trình ngẫu nhiên
•
Có tính Markov
Quá trình Markov
•
Có tập không gian trạng thái rời rạc
Xích Markov
Quá trình Markov


Quá trình { X(t), t T } có tính Markov gọi là quá trình Markov .∈
Quá trình ng u nhiên - Xích Markovẫ 14
Xích Markov

Định nghĩa 1: Xét quá trình Markov { X(t), t T∈ } có không gian trạng thái E. Nếu E đánh số được (đếm được) thì
quá trình
{ X(t), t T∈ } được gọi là xích Markov.

Lúc này, có thể kí hiệu E = {1, 2, 3, }, tức là các trạng thái được đánh số.

Nếu tập các giá trị t đếm được (chẳng hạn, t = 0, 1, 2, ) thì ta có xích Markov với thời gian rời rạc, hay xích Markov
rời rạc.

Nếu t ∈ [0,∞) thì ta có xích Markov với thời gian liên tục, hay xích Markov liên tục.

Nếu xác suất chuyển chỉ phụ thuộc vào (t – s), tức là:
p (s, i, t, j) = p (s+h, i, t+h, j) , s, i, t, j, h 0 thì ta nói hệ là thuần nhất theo thời gian.


Quá trình ng u nhiên - Xích Markovẫ 15
Bài toán ứng dụng Xích Markov

Xem lại ví dụ 1: Trong một khu phố 1000 dân (khách hàng) có 3 siêu thị là A, B, và C (A, B, C được coi là các vị trí 1,
2, 3 của hệ thống siêu thị này). Giả sử rằng, trong từng tháng mỗi khách hàng luôn trung thành với một siêu thị.
Ngoài ra, cũng giả sử rằng trong tháng đầu số khách vào các siêu thị lần lượt là 200, 500 và 300; tức là có 20%
khách hàng vào siêu thị A, 50% vào B và 30% vào C.

Để mô tả tình trạng phân chia thị phần trong tháng đầu (tháng 0) của hệ thống siêu thị trên, chúng ta thiết lập biến
ngẫu nhiên X(0) với quy tắc: nếu khách hàng mua hàng ở siêu thị A thì đặt X(0)=1, ở siêu thị B thì đặt X(0) = 2, còn
ở siêu thị C thì X(0) = 3. Lúc đó, X(0) có bảng phân phối xác suất sau:


Để mô tả tình trạng phân chia thị phần trong các tháng tiếp theo, chẳng hạn,
tháng = 1, 2, 3,… vị trí của hệ thống sẽ được mô tả bởi các biến ngẫu nhiên X(1), X(2), X(3),… với các bảng phân
phối xác suất tương ứng.

Ta xây dựng được quá trình { X(t), t = {1, 2, …} để mô tả tình trạng phân chia thị phần của hệ thống siêu thị trên.
Các giá trị X(0) 1 2 3
Xác suất tương ứng 0,2 0,5 0,3
Quá trình ng u nhiên - Xích Markovẫ 16
Bài toán ứng dụng Xích Markov

Những tháng sau, ta giả sử:

Xác suất để một người khách, đã vào mua hàng ở siêu thị A tháng trước, vào lại A trong tháng sau luôn là 0,8; chuyển
sang mua hàng ở B luôn là 0,1 và chuyển sang C luôn là 0,1.

Xác suất để một người khách, đã vào mua hàng ở siêu thị B tháng trước chuyển sang A luôn là 0,07; vào lại B luôn là 0,9
và chuyển sang C luôn là 0,03.

Xác suất để một người khách, đã vào siêu thị C tháng trước chuyển sang A luôn là 0,083; chuyển sang B luôn là 0,067 và
vào lại C luôn là 0,85.
Quá trình ng u nhiên - Xích Markovẫ 17
Bài toán ứng dụng Xích Markov

Dùng mô hình xích Markov cho bài toán trên sẽ trả lời được cho chúng ta các câu hỏi:

Tỉ lệ phần trăm số khách hàng vào các siêu thị A (hoặc B, hoặc C) trong tháng thứ 5 (tháng bất kì) là bao nhiêu?

Tỉ lệ phần trăm số khách hàng vào các siêu thị A, B, C sẽ thay đổi cho đến khi nào thì ổn định?


Dùng như thế nào?
Quá trình ng u nhiên - Xích Markovẫ 18
Xích Markov
Về phương diện toán học, ta có thể định nghĩa như sau:

Định nghĩa: Ta nói rằng X(t) có tính Markov nếu:
P { X(t
n+1
} = j | X(t
0
) = i
0
, … , X(t
n-1
) = i
n-1
, X(t
n
) = i}
= P{X(t
n+1
} = j | X(t
n
) = i}
với t
0
< t
1
< … < t
n

< t
n+1
< … và i
0
, i
1
, … , i
n-1
, i, j E∈

Ta xem t
n
là hiện tại, t
n+1
là tương lai và t
0
, t
1
, … , t
n-1
là quá khứ. Vì thế, biểu thức trên chính là tính Markov của X(t).

Ví dụ 1: Trong một khu phố 1000 dân (khách hàng) có 3 siêu thị là A, B, và C (A, B, C được coi là các vị trí 1, 2, 3 của
hệ thống siêu thị này). Giả sử rằng, trong từng tháng mỗi khách hàng luôn trung thành với một siêu thị. Ngoài ra,
cũng giả sử rằng trong tháng đầu số khách vào các siêu thị lần lượt là 200, 500 và 300; tức là có 20% khách hàng
vào siêu thị A, 50% v ào B và 30% vào C.
Quá trình ng u nhiên - Xích Markovẫ 19
Xích Markov

Từ ví dụ 1, ta được.


Các giá trị: t
0
, t
1…,
t
n+1
là các tháng 1,2,3…

Không gian trạng thái E: các giá trị 1,2,3 vị trí các siêu thị.

X(t
n
) là các đại lượng ngẫu nhiêu.

P là ma trận xắc suất chuyển: sẽ xét & minh họa trong mục sau.
Quá trình ng u nhiên - Xích Markovẫ 20
Xích Markov

Ma trận xác suất chuyển một bước.

Định nghĩa: Giả sử (X
t
) , t = 0, 1, 2, … là xích Markov rời rạc và thuần nhất. Khi đó tính Markov và tính thuần nhất của (X
t
)
có nghĩa là .
p
ij =
P { X(t

n+1
} = j | X(t
0
) = i
0
, … , X(t
n-1
) = i
n-1
, X(t
n
) = i}

Ý nghĩa: p
ij
là xác suất có điều kiện để hệ tại thời điểm t
n
( hiện tại) ở trạng thái i chuyển sang trạng thái j tại thới điểm
t
n+1.

Xét lại ví dụ 1, thêm các dữ liệu sau.

Xác suất để một người khách, đã vào mua hàng ở siêu thị A(1) tháng trước, vào lại A trong tháng sau luôn là 0,8; chuyển
sang mua hàng ở B (2)luôn là 0,1 và chuyển sang C(3) luôn là 0,1.

Xác suất để một người khách, đã vào mua hàng ở siêu thị B tháng trước chuyển sang A luôn là 0,07; vào lại B luôn là 0,9
và chuyển sang C luôn là 0,03.

Xác suất để một người khách, đã vào siêu thị C tháng trước chuyển sang A luôn là 0,083; chuyển sang B luôn là 0,067 và

vào lại C luôn là 0,85.
Quá trình ng u nhiên - Xích Markovẫ 21
Xích Markov

Dựa vào định nghĩa ma trận chuyển một bước ta được.

=0.8 . Nghĩa là sau 1 tháng cửa hàng A(đặt là 1) khách hàng tiếp tục vào lại A là 0.8.

=0.1 . Nghĩa là sau 1 tháng khách hàng của hàng A(đặt là 1) chuyển sang cửa hàng B(đặt là 2) là 0.1

=0.1 . Nghĩa là sau 1 tháng khách hàng của hàng A(đặt là 1) chuyển sang cửa hàng C(đặt là 3) là 0.1

Làm tương tự ta được: =0.07, =0.9, = 0.03, =0.083, =0.067, =0.85. Vậy ta được ma trận chuyển như sau:
= =
3x3


Quá trình ng u nhiên - Xích Markovẫ 22
Xích Markov

Ma trận xác suất chuyển sau n bước.

Định nghĩa: Ma trận xác suất chuyển n bước có được định nghĩa theo công thức.
= P(X
n+m
=j|X
m
=i)=P(X
n
=j|X

0
=i) . Ma trận P
(n)
= (với i,j E)∊

Ý nghĩa: là xác suất có điều kiện để hệ tại thời điểm ban đầu ở trạng thái i, sau n bước chuyển sang trạng thái j.

Phương trình Chapmam-Kolmogorov:
=
=
Tổng quát:
=


Tính chất:
P
(n +1) =
P.P
(n)

P
(n +1) =
P
(n)
.P

P
(n+m) =
P
(n)

.P
(m)

Từ đó suy ra:
P
(n)
=

P
n


Quá trình ng u nhiên - Xích Markovẫ 23
Xích Markov

Xét lại ma trận tại ví dụ 1
=
Tìm p
12
(2)
=

P(X(2) = 2| X(0) = 1)

Cách 1: áp dụng phương trình Chapmam-Kolmogorov
p
12
(2)
= P(X(2) = 2 | X(0) = 1)
= p

11
(1)
p
12
(1)
+ p
12
(1)
p
22
(1)
+ p
13
(1)
p
32
(1)
= 0.8 x 0.1 + 0.1 x 0.9 + 0.067 = 0.1767

Cách 2:


Vậy p
12
(2)
= P(X(2)=2|X(0)=1)=0.1767
Quá trình ng u nhiên - Xích Markovẫ 24

1
2

3
1
1
1 k
k
k
pp
∑
=
=










=





















=
017535,0074295,0078145,0
03655,081901,012149,0
0915,01767,06553,0
85,0067,0083,0
03,09,007,0
1,01,08,0
x
85,0067,0083,0
03,09,007,0
1,01,08,0
2
P
Xích Markov

Phân phối ban đầu.

Định nghĩa: Giả sử tại thời điểm t = n, X(n) cũng có thể nhận một trong N giá trị 1, 2,…, N với các xác suất tương ứng là
π

1
(n)
, π
2
(n)
,… π
N
(n)
(với π
1
(n)
+ π
2
(n)
+… π
N
(n)
= 1) thì vectơ ∏
(n)
= [π
1
(n)
, π
2
(n)
,… π
N
(n)
] được gọi là vectơ phân
phối tại thời điểm t = n. Công thức tổng quát như sau. ∏

(n)
= =P(X
n
=j); n=0,1,2 ; j ∊

Với n = 0 ta có vectơ phân phối ban đầu ∏
(0)
= [π
1
(0)
, π
2
(0)
,… π
N
(0)
]

Các công thức dưới dạng ma trận:
∏
(n)
= ∏ . P
(n)

∏
(n+1)
= ∏
(n)
. P

∏
(n+1)
= ∏
(1)
. P
(n)

∏
(n+m)
= ∏
(n)
. P
(m)


Quá trình ng u nhiên - Xích Markovẫ 25