Các mô hình mạng 4 potx

Trường ðại học Nông nghiệp Hà Nội – Giáo trình Vận trù học
……………………………… 130


khoảng thời gian ∆t là 1 − S∆t. Lúc ñó ta có công thức sau ñây ñúng với mọi n > 0 (hãy
tham khảo thêm mục 2.4, Chương IV):
p
n
(t + ∆t) = p
n
(t)(1 − A∆t)(1 − S∆t) + p
n−1
(t)(A∆t)(1 − S∆t) + p
n+1
(t)(1 − A∆t)(S∆t).
Với n = 0, có: p
0
(t + ∆t) = p
0
(t)(1 − A∆t) + p
1
(t)(1 − A∆t)(S∆t). Từ các công thức
trên bằng cách chuyển vế thích hợp, chia cả hai vế cho ∆t và cho qua giới hạn, sẽ có các
công thức sau:
dp
n
(t)/dt = Ap
n−1
(t) + Sp
n+1
(t) − (A + S)p

n
(t), ñúng ∀n > 0, dp
0
(t)/dt = −Ap
0
(t) +
Sp
1
(t).
Do ñó lời giải cho trạng thái vững (steady state solutions) phải thoả mãn:
Ap
n−1
+ Sp
n+1
− (A + S)p
n
= 0, ∀n > 0, −Ap
0
+ Sp
1
= 0 với n = 0 ⇒ p
n
= (1 − ρ)ρ
n
,
∀n.
− Từ ñó tìm giá trị của các chỉ số thích hợp theo các công thức Ls =
n
n 0
np

∞
=
∑
, Ws =
Ls/A, Wq = Ws
−
1/S, Lq = AWq. Hãy ki
ể
m tra l
ạ
i các k
ế
t qu
ả
trên theo công th
ứ
c (I)
m
ụ
c 3.3
ñ
ã bi
ế
t.
5.
Xét các
ñ
i
ề
u ki

ệ
n c
ủ
a bài t
ậ
p 3. Hãy xác
ñị
nh c
ầ
n b
ố
trí bao nhiêu ch
ỗ
cho xe ch
ờ

tr
ướ
c khi vào r
ử
a
ñể
khi m
ộ
t xe t
ớ
i s
ử
d
ụ

ng d
ị
ch v
ụ
có ch
ỗ

ñỗ
v
ớ
i xác su
ấ
t 90%.
6.
Xét bài t
ậ
p 3. Gi
ả
s
ử
tr
ạ
m xe ch
ỉ
có 4 ch
ỗ
cho xe ch
ờ
tr
ướ

c khi s
ử
d
ụ
ng d
ị
ch v
ụ

và do
ñ
ó n
ế
u hàng ch
ờ

ñ
ã có 4 xe thì m
ộ
t xe m
ớ
i
ñế
n s
ẽ
b
ỏ

ñ
i t

ớ
i ch
ỗ
r
ử
a xe khác. Hãy
áp d
ụ
ng công th
ứ
c (IV) m
ụ
c 3.3
ñể
xác
ñị
nh % khách hàng b
ị
m
ấ
t và th
ờ
i gian trung
bình r
ử
a xong m
ộ
t xe tính t
ừ
lúc vào hàng ch

ờ
.
7.
Các bài t
ậ
p 3, 4 và 5 có th
ể

ñượ
c gi
ả
i b
ằ
ng ph
ươ
ng pháp mô ph
ỏ
ng nh
ư
th
ế
nào?
8.
Xét m
ộ
t qu
ầ
y bán hàng
ă
n nhanh v

ớ
i các s
ố
li
ệ
u sau: giãn cách th
ờ
i gian gi
ữ
a
th
ờ
i
ñ
i
ể
m hai khách hàng liên ti
ế
p
ñế
n qu
ầ
y tuân theo phân ph
ố
i
ñề
u trong kho
ả
ng t
ừ

1
t
ớ
i 5 phút, th
ờ
i gian ph
ụ
c v
ụ
m
ỗ
i m
ộ
t khách hàng là
ñ
úng 2 phút. Hãy th
ự
c hi
ệ
n mô
ph
ỏ
ng ng
ẫ
u nhiên và cho bi
ế
t: h
ệ
s
ố

s
ử
d
ụ
ng c
ủ
a qu
ầ
y và s
ố
khách hàng trung bình
trong hàng ch
ờ
.
9.
Gi
ả
i l
ạ
i bài t
ậ
p trên, bi
ế
t r
ằ
ng khách hàng chia thành hai lo
ạ
i: lo
ạ
i

ñượ
c
ư
u tiên và
lo
ạ
i bình th
ườ
ng (khách thu
ộ
c lo
ạ
i
ñượ
c
ư
u tiên khi
ñế
n qu
ầ
y
ñượ
c x
ế
p phía trên t
ấ
t c
ả

các khách lo

ạ
i bình th
ườ
ng). Ngoài ra cho bi
ế
t t
ỉ
l
ệ
khách hàng
ư
u tiên so v
ớ
i bình
th
ườ
ng là 1/2.
10.
Kh
ả
o sát 200 xung tín hi
ệ
u qua các van
ñ
i
ệ
n
ñế
n
ñ

i
ề
u khi
ể
n c
ơ
c
ấ
u ch
ấ
p hành,
ng
ườ
i ta th
ấ
y trung bình 2 giây có m
ộ
t chu
ỗ
i xung. S
ố
li
ệ
u
ñ
ã kh
ả
o sát
ñượ
c v

ề
th
ờ
i
gian xung c
ủ
a các chu
ỗ
i xung
ñượ
c cho trong b
ả
ng.

B
ằ
ng ph
ươ
ng pháp mô ph
ỏ
ng ng
ẫ
u nhiên (n
ế
u có th
ể
, l
ậ
p ch
ươ

ng trình tính toán trên
máy tính) hãy xác
ñị
nh s
ố
van
ñ
i
ệ
n (t
ố
i thi
ể
u) c
ầ
n m
ở
sao cho vi
ệ
c
ñ
i
ề
u hành c
ơ
c
ấ
u ch
ấ
p

hành
ñượ
c liên t
ụ
c (nói cách khác, các chu
ỗ
i xung luôn
ñượ
c ph
ụ
c v
ụ
k
ị
p th
ờ
i).
Thời gian xung (giây) Số lần Tần suất
3 50 0,25
4 40 0,20
5 50 0,25
6 60 0,30
11.
M
ộ
t tr
ạ
m b
ư
u

ñ
i
ệ
n vi
ễ
n thông có 13 c
ổ
ng. Th
ờ
i gian ph
ụ
c v
ụ
m
ỗ
i khách hàng
trung bình là 5 phút. K
ế
t qu
ả
kh
ả
o sát th
ố
ng kê cho bi
ế
t s
ố
l
ượ

ng tín hi
ệ
u khách hàng
trung bình
ñế
n trong m
ộ
t gi
ờ
, còn k
ế
t qu
ả
thu th
ậ
p phi
ế
u th
ă
m dò ý ki
ế
n khách hàng cho
bi
ế
t th
ờ
i gian trung bình (s
ố
phút) m
ộ

t khách hàng có th
ể

ñợ
i tr
ướ
c khi
ñượ
c ph
ụ
c v
ụ

nh
ư
sau:
Các giai ñoạn Số tín hiệu/giờ Thời gian có thể ñợi tối ña
Nhu cầu cao 120 5
Nhu cầu trung bình 60 5,5
Nhu cầu thấp 30 6
S
ử
d
ụ
ng mô ph
ỏ
ng ng
ẫ
u nhiên, hãy xác
ñị

nh quy trình tính toán tìm s
ố
c
ổ
ng t
ố
i
thi
ể
u c
ầ
n m
ở
trong m
ỗ
i giai
ñ
o
ạ
n
ñể

ñ
áp
ứ
ng
ñượ
c yêu c
ầ
u c

ủ
a khách hàng (nh
ữ
ng gi
ả

thi
ế
t nào c
ầ
n
ñề
ra
ñể
gi
ả
i quy
ế
t v
ấ
n
ñề
này).
12.
M
ộ
t tr
ạ
m rút ti
ề

n có hai máy t
ự

ñộ
ng, t
ạ
i m
ỗ
i máy có hàng ch
ờ
cho t
ố
i
ñ
a 4
khách hàng (k
ể
c
ả
ng
ườ
i
ñ
ang s
ử
d
ụ
ng d
ị
ch v

ụ
). Các khách hàng
ñế
n tr
ạ
m tuân theo lu
ậ
t
Poát
−
xông v
ớ
i th
ờ
i gian giãn cách trung bình gi
ữ
a hai l
ầ
n liên ti
ế
p khách
ñế
n là 1 phút.
N
ế
u c
ả
hai hàng ch
ờ

ñề
u
ñ
ã có
ñủ
s
ố
l
ượ
ng t
ố
i
ñ
a ng
ườ
i ch
ờ
thì khách hàng t
ớ
i tr
ạ
m s
ẽ

b
ỏ

ñ
i. Trong tr
ườ

ng h
ợ
p hàng ch
ờ
còn ch
ỗ
, khách m
ớ
i t
ớ
i s
ẽ
x
ế
p vào hàng ch
ờ
ít ng
ườ
i
h
ơ
n, n
ế
u hai hàng ch
ờ
cùng còn ch
ỗ
, khách m
ớ
i t

ớ
i vào hàng bên ph
ả
i. Trong tr
ườ
ng
h
ợ
p hai hàng ch
ờ

ñề
u còn ch
ỗ
, khách hàng có th
ể
chuy
ể
n t
ừ
hàng dài sang hàng ng
ắ
n
h
ơ
n n
ế
u th
ấ
y hàng

ñ
ó có ít nh
ấ
t ít h
ơ
n hai ng
ườ
i so v
ớ
i hàng
ñ
ang
ñứ
ng. Gi
ả
s
ử
th
ờ
i
gian rút ti
ề
n t
ạ
i m
ỗ
i máy
ñề
u tuân theo lu
ậ

t m
ũ
v
ớ
i kì v
ọ
ng là 1,5 phút. Hãy s
ử
d
ụ
ng mô
ph
ỏ
ng ng
ẫ
u nhiên (và vi
ế
t ch
ươ
ng trình máy tính phù h
ợ
p)
ñể
xác
ñị
nh các ch
ỉ
s
ố
sau:

−
−−
−
Th
ờ
i gian trung bình m
ộ
t khách hàng s
ử
d
ụ
ng d
ị
ch v
ụ
(tính t
ừ
khi vào hàng ch
ờ

cho t
ớ
i khi rút
ñượ
c ti
ề
n).
−
Th
ờ

i gian giãn cách trung bình gi
ữ
a hai khách hàng b
ỏ

ñ
i.
−
H
ệ
s
ố
s
ử
d
ụ
ng c
ủ
a m
ỗ
i máy rút ti
ề
n.
−

ðộ
dài trung bình c
ủ
a m
ỗ

i hàng ch
ờ
(k
ể
c
ả
khách hàng
ñ
ang rút ti
ề
n).
Trường ðại học Nông nghiệp Hà Nội – Giáo trình Vận trù học
……………………………… 132





Chương V
PHÂN TÍCH MARKOV VÀ ỨNG DỤNG
1. CÁC KHÁI NIỆM CƠ BẢN VỀ XÍCH MARKOV
1.1. Một số ñịnh nghĩa
Nhiều mô hình ngẫu nhiên trong Vận trù học, Kinh tế, Kĩ thuật, Dân số học,
Di truyền học, dựa trên cơ sở là quá trình Markov. ðặc biệt, Tin sinh học
(Bioinformatics), một lĩnh vực liên ngành của Sinh học phân tử và Tin học, hiện tại
ñang ứng dụng rất mạnh các vấn ñề của lí thuyết các quá trình Markov. Các nhiều
chuyên gia ngành ðiện tử viễn thông và Cơ ñiện cũng rất quan tâm tới quá trình
Markov nói chung, cũng như các quá trình sinh−tử hay quá trình hồi phục nói riêng.
Ví dụ 1: Xét một hệ thống vật lí tiến triển theo thời gian. Tại thời ñiểm t = 0, hệ
thống có thể rơi vào một trong ba trạng thái (hay vị trí) 1, 2 hoặc 3 một cách ngẫu nhiên.

Kí hiệu X(0) là vị trí của hệ thống tại thời ñiểm t = 0 thì X(0) là một biến ngẫu nhiên, có
thể nhận các giá trị 1 hoặc 2 hoặc 3 với các xác suất nhất ñịnh. Giả sử rằng căn cứ vào
các kết quả quan sát hay nghiên cứu, chúng ta có bảng phân phối xác suất sau cho X(0):
Các giá trị của X(0) 1 2 3
Xác suất tương ứng 0,2 0,5 0,3
Tại các thời ñiểm tiếp theo, chẳng hạn, t = 1, 2, 3, vị trí của hệ thống sẽ ñược mô
tả bởi các biến ngẫu nhiên X(1), X(2), X(3), với các bảng phân phối xác suất tương
ứng. Dựa trên ví dụ này, chúng ta xét ñịnh nghĩa sau về quá trình ngẫu nhiên.
ðịnh nghĩa 1
Xét một hệ thống (có thể là hệ thống vật lí, hệ thống sinh thái hay hệ thống dịch vụ,
…) tiến triển theo thời gian. Gọi X(t) là vị trí (trạng thái) của hệ tại thời ñiểm t. Như vậy
ứng với mỗi thời ñiểm t, X(t) chính là một biến ngẫu nhiên mô tả vị trí (trạng thái) của
hệ thống. Quá trình {X(t)}
t≥0
ñược gọi là một quá trình ngẫu nhiên.
Tập hợp các vị trí có thể có của hệ gọi là không gian trạng thái. Không gian trạng
thái ñược kí hiệu là S. Trong ví dụ trên, nếu giả sử rằng X(t) chỉ có thể nhận một trong
ba giá trị 1, 2, 3 ∀t thì S = {1, 2, 3}.
Giả sử trước thời ñiểm s, hệ ñã ở trạng thái nào ñó, còn tại thời ñiểm s, hệ ở trạng
thái i. Chúng ta muốn ñánh giá xác suất ñể tại thời ñiểm t (t >s), hệ sẽ ở trạng thái j. Nếu
xác suất này chỉ phụ thuộc vào bộ bốn (s, i, t, j), tức là P[X(t) = j/X(s) = i] = p(s, i, t, j)
là ñúng ∀i, ∀j, ∀s, ∀t thì ñiều này có nghĩa là, sự tiến triển của hệ trong tương lai chỉ
Trường ðại học Nông nghiệp Hà Nội – Giáo trình Vận trù học
……………………………… 134


phụ thuộc vào hiện tại (trạng thái của hệ tại thời ñiểm s) và hoàn toàn ñộc lập với quá
khứ (tính không nhớ). ðó chính là tính Markov. Lúc này quá trình ngẫu nhiên X(t) ñược
gọi là quá trình Markov.
Trong ví dụ trên P[X(1) = 2/X(0) = 1] là xác suất có ñiều kiện của sự kiện X(1) = 2

(tại thời ñiểm t =1, hệ thống nằm tại vị trí 2) với ñiều kiện X(0) = 1 (tại thời ñiểm t = 0,
hệ thống nằm tại vị trí 1). Nếu quá trình ngẫu nhiên có tính Markov thì xác suất này chỉ
phụ thuộc vào trạng thái của hệ tại thời ñiểm s = 0 và hoàn toàn ñộc lập với các trạng
thái của hệ trong quá khứ (trước thời ñiểm s = 0).
ðịnh nghĩa 2
Nếu không gian trạng thái S gồm một số hữu hạn hoặc vô hạn ñếm ñược các trạng
thái thì quá trình Markov X(t) ñược gọi là xích Markov. Lúc này, có thể kí hiệu S = {1,
2, 3, }, tức là các trạng thái ñược ñánh số. Hơn nữa, nếu tập các giá trị t không quá
ñếm ñược (chẳng hạn, t = 0, 1, 2, ) thì ta có xích Markov với thời gian rời rạc, hay
xích Markov rời rạc. Nếu t∈[0, ∞) thì ta có xích Markov với thời gian liên tục, hay xích
Markov liên tục.
ðịnh nghĩa 3
Xét một xích Markov. Nếu xác suất chuyển trạng thái p(s, i, t, j) = p(s+h, i, t+h,
j),∀i, ∀j, ∀s, ∀t và ∀h > 0 thì ta nói rằng xích Markov thuần nhất theo thời gian.
ðây là một khái niệm mới và sẽ ñược giải thích ngay sau ñây trong mục 1.2. Ngoài
ra với mục ñích tìm hiểu bước ñầu, trong các mục 1.2 và 1.3 chúng ta sẽ chỉ xét xích
Markov rời rạc và thuần nhất theo thời gian. Ví dụ về xích Markov liên tục sẽ ñược xem
xét trong mục 2.4 và 2.5.
1.2. Ma trận xác suất chuyển trạng thái và phân phối dừng
Trong mục này chúng ta ñưa ra khái niệm về ma trận xác suất chuyển trạng thái của
một xích Markov rời rạc và thuần nhất theo thời gian với không gian trạng thái gồm N
phần tử. Trong trường hợp xích Markov rời rạc và thuần nhất có không gian trạng thái
với số phần tử vô hạn ñếm ñược, khái niệm về ma trận xác suất chuyển trạng thái sẽ
ñược xây dựng một cách tương tự.
Ví dụ 2: Xét lại ví dụ 1 trong mục 1.1, nhưng với một cách minh họa khác trong
lĩnh vực dịch vụ. Trong một khu phố 1000 dân (khách hàng) có 3 siêu thị là A, B và C
(A, B, C ñược coi là các vị trí 1, 2, 3 của hệ thống siêu thị này). Giả sử rằng, trong từng
tháng mỗi khách hàng luôn trung thành với một siêu thị. Ngoài ra, cũng giả sử rằng
trong tháng ñầu số khách vào các siêu thị lần lượt là 200, 500 và 300; tức là có 20%
khách hàng vào siêu thị A, 50% vào B và 30% vào C. Như vậy, có thể dự ñoán rằng một

khách hàng vào A với xác suất 0,2; vào B với xác suất 0,5 và vào C với xác suất 0,3. ðể
mô tả tình trạng phân chia thị phần trong tháng ñầu (tháng 0) của hệ thống siêu thị trên,
chúng ta thiết lập biến ngẫu nhiên X(0) với quy tắc: nếu khách hàng mua hàng ở siêu thị

A thì ñặt X(0)=1, ở siêu thị B thì ñặt X(0) = 2, còn ở siêu thị C thì X(0) = 3. Lúc ñó,
X(0) có bảng phân phối xác suất sau:
Các giá trị của X(0) 1 2 3
Xác suất tương ứng 0,2 0,5 0,3
Kí hiệu P[X(0) = 1] = π
1
(0)
, P[X(0) = 2] = π
2
(0)
, P[X(0) = 3] = π
3
(0)
thì véc tơ Π
(0)
=

[π
1
(0)
, π
2
(0)
, π
3
(0)

] = [0,2 0,5 0,3] ñược gọi là véc tơ phân phối xác suất tại thời ñiểm t = 0
hay véc tơ phân phối ban ñầu. Các thành phần của Π
(0)
cho biết tỉ lệ phần trăm (%)
khách hàng vào các siêu thị A, B và C.
Những tháng sau, ta giả sử xác suất ñể một người khách, ñã vào mua hàng ở siêu thị
A tháng trước vào lại A trong tháng sau luôn là 0,8; chuyển sang mua hàng ở B luôn là
0,1 và chuyển sang C luôn là 0,1. Xác suất ñể một người khách, ñã vào mua hàng ở siêu
thị B tháng trước chuyển sang A luôn là 0,07; vào lại B luôn là 0,9 và chuyển sang C
luôn là 0,03. Còn xác suất ñể một người khách, ñã vào siêu thị C tháng trước chuyển
sang A luôn là 0,083; chuyển sang B luôn là 0,067 và vào lại C luôn là 0,85. Lúc ñó các
xác suất chuyển của khách hàng ñược cho thông qua ma trận xác suất chuyển trạng thái
P (còn gọi là ma trận chuyển sau một bước):
P =





083,0
07,0
8,0
067,0
9,0
1,0






85,0
03,0
1,0
= [p
ij
]
3×3
.
Chúng ta có thể vẽ ñược sơ ñồ chuyển trạng thái như trên hình V.1.









Hình V.1. Sơ ñồ chuyển trạng thái
ðể mô tả tình trạng phân chia thị phần trong tháng t (t = 1, 2, 3, ) của hệ thống
siêu thị trên, có thể thiết lập biến ngẫu nhiên X(t) với quy tắc tương tự như khi thiết
1

2

3

0,1
0,8
0,083

0,07

0,1
0,03
0,067
0,85
0,9
Trường ðại học Nông nghiệp Hà Nội – Giáo trình Vận trù học
……………………………… 136


lập X(0): nếu khách hàng mua hàng ở siêu thị A thì ñặt X(t) = 1, ở siêu thị B thì ñặt
X(t) = 2, còn ở siêu thị C thì X(t) = 3. Vấn ñề ñặt ra là X(t) có bảng phân phối xác suất
như thế nào.
Trước hết ta ñi tìm bảng phân phối xác suất cho X(1). Xét p
12
= P[(X(1) = 2/X(0) = 1]
= 0,1 là xác suất ñể một người khách, ñã vào mua hàng ở siêu thị A tháng 0 chuyển sang
mua hàng ở siêu thị B trong tháng 1. Ngoài ra, P[X(t+1) = 2/X(t) = 1] = 0,1 ∀t là số tự
nhiên, vì theo giả thiết của bài toán thì xác suất ñể một người khách, ñã vào mua hàng ở
siêu thị A tháng trước chuyển sang mua hàng ở B luôn là 0,1. Vậy p
12
ñược gọi là xác
suất chuyển sau một bước từ vị trí 1 sang vị trí 2, bởi vậy có thể dùng kí hiệu p
12
(1)
ñể
chỉ rõ ñây là xác suất chuyển sau một bước. Các phần tử p
ij
∀i = 1, 2, 3 và ∀j = 1, 2, 3

của ma trận P có ý nghĩa tương tự.
Dễ thấy rằng trong tháng 1 số khách hàng mua hàng tại siêu thị A là 200 × 0,8 +
500 × 0,07 + 300 × 0,083 = 219,9 (≈ 220); số khách hàng mua hàng tại siêu thị B là 200
× 0,1 + 500 × 0,9 + 300 × 0,067 = 490,1 (≈ 490); còn số khách hàng mua hàng tại siêu
thị C sẽ là 200 × 0,1 + 500 × 0,03 + 300 × 0,85 = 290. Do tổng số khách hàng là 1000,
nên X(1) có bảng phân phối xác suất sau:
Các giá trị của X(1) 1 2 3
Xác suất tương ứng 0,2199 0,4901 0,2900
Vậy véc tơ phân phối xác suất tại thời ñiểm t = 1 là Π
(1)
=

[π
1
(1)
, π
2
(1)
, π
3
(1)
] cho biết
tỉ lệ phần trăm khách hàng vào các siêu thị A, B và C trong tháng 1. Bằng phép tính ma
trận cũng tìm ñược Π
(1)
như sau:
Π
(1)
= Π
(0)

× P=[0,2 0,5 0,3]×





083,0
07,0
8,0
067,0
9,0
1,0





85,0
03,0
1,0
= [0,2199 0,4901 0,2900].
Tương tự có thể tìm ñược Π
(2)
:
Π
(2)
= Π
(1)
× P = [0,2199 0,4901 0,2900] ×






083,0
07,0
8,0
067,0
9,0
1,0





85,0
03,0
1,0

= [0,234297 0,48251 0,283193].
Sau ñây ta ñi tìm ma trận xác suất chuyển trạng thái sau hai bước. Kí hiệu p
12
(2)
là
xác suất chuyển từ vị trí 1 sang vị trí 2 sau hai bước. Theo công thức xác suất toàn phần
ta có:
p
12
(2)
= P[X(2) = 2/X(0) = 1] = P[X(1) = 1/X(0) = 1] × P[X(2) = 2/X(1) = 1]

+ P[X(1) = 2/X(0) = 1] × P[X(2) = 2/X(1) = 2]

+ P[X(1) =3/X(0) = 1] × P[X(2) = 2/X(1) = 3]
= p
11
(1)
p
12
(1)
+ p
12
(1)
p
22
(1)
+ p
13
(1)
p
32
(1)
=
3
(1) (1)
1k k2
k 1
p p
=
∑
= 0,8

×
0,1 + 0,1
×
0,9 + 0,1
×
0,067 = 0,1767.
M
ộ
t cách hoàn toàn t
ươ
ng t
ự
, ta có xác su
ấ
t chuy
ể
n t
ừ
v
ị
trí i sang v
ị
trí j sau hai
b
ướ
c là p
ij
(2)
= p
i1

(1)
p
1j
(1)
+ p
i2
(1)
p
2j
(1)

+ p
i3
(1)
p
3j
(1)

=
3
(1) (1)
ik kj
k 1
p p
=
∑
. V
ậ
y ta có ma tr
ậ

n chuy
ể
n
sau hai b
ướ
c là:
P
(2)
= [p
ij
(2)
]
3×3
= P
(1)
×
P
(1)
=P
×
P= P
2

=





083,0

07,0
8,0
067,0
9,0
1,0





85,0
03,0
1,0
×





083,0
07,0
8,0
067,0
9,0
1,0






85,0
03,0
1,0
.
D
ễ
th
ấ
y
Π
(2)
=
Π
(1)
×
P=
Π
(0)
×
P
2
. T
ươ
ng t
ự
, có th
ể
ch
ứ
ng minh

ñượ
c
Π
(n+m)
=
Π
(n)

×

P
(m)
, trong
ñ
ó
Π
(n+m)
và
Π
(n)
là các véc t
ơ
phân ph
ố
i t
ạ
i các th
ờ
i
ñ

i
ể
m t = m + n và t = n,
còn P
(m)
là ma tr
ậ
n xác su
ấ
t chuy
ể
n tr
ạ
ng thái sau m b
ướ
c.
Do P
(m)
= [p
ij
(m)
]
3×3
nên P[X(m) = j/X(0) = i] = P[X(n + m) = j/X(n) = i] = P[X(n’ + m) =
j/X(n’) = i] = p
ij
(m)
, là xác su
ấ
t chuy

ể
n t
ừ
v
ị
trí i sang v
ị
trí j sau m b
ướ
c.
ðặ
t n = s,
t = n+m và h = n’ - n thì có ngay P[X(t) = j/X(s) = i] = P[X(t + h) = j/X(s + h) = i],
hay p(s, i, t, j) = p(s + h, i, t + h, j) luôn
ñ
úng
∀
s,
∀
t,
∀
h. T
ừ
các phân tích trên
ñ
ây
và
ñố
i chi
ế

u v
ớ
i các
ñị
nh ngh
ĩ
a 1, 2 và 3 m
ụ
c 1.1, ta th
ấ
y quá trình ng
ẫ
u nhiên X(t)
v
ớ
i t = 0, 1, 2, trong ví d
ụ
này chính là
một xích Markov rời rạc và thuần nhất theo
thời gian.
ðể
khái quát hóa các khái ni
ệ
m
ñ
ã trình bày, chúng ta xét xích Markov r
ờ
i r
ạ
c và

thu
ầ
n nh
ấ
t theo th
ờ
i gian X(t), t = 0, 1, 2, v
ớ
i không gian tr
ạ
ng thái g
ồ
m N ph
ầ
n t
ử
mà
ta kí hi
ệ
u là S = {1, 2, , N}.
ðịnh nghĩa 4
Gi
ả
s
ử
t
ạ
i th
ờ
i

ñ
i
ể
m t = n, X(n) c
ũ
ng có th
ể
nh
ậ
n m
ộ
t trong N giá tr
ị
1, 2,…, N v
ớ
i
các xác su
ấ
t t
ươ
ng
ứ
ng là
π
1
(n)
,
π
2
(n)

, ,
π
N
(n)
(v
ớ
i
π
1
(n)
+
π
2
(n)
+…+
π
N
(n)
= 1) thì véc t
ơ

Π
(n)
=

[
π
1
(n)
,

π
2
(n)
, ,
π
N
(n)
]
ñượ
c g
ọ
i là
véc tơ phân phối tại thời ñiểm t = n
. V
ớ
i t = 0 ta
có
véc tơ phân phối ban ñầu Π
(0)
=

[
π
1
(0)
,
π
2
(0)
, ,

π
N
(0)
].
Ma tr
ậ
n P = [p
ij
]
N×N
, trong
ñ
ó p
ij
= p(t, i, t + 1, j) = P[X(t + 1) = j/X(t) = i]
∀
t là
xác
suất chuyển trạng thái từ vị trí i sang vị trí j sau một bước
,
∀
i = 1, 2, , N và
∀
j = 1,
2, , N,
ñượ
c g
ọ
i là
ma trận xác suất chuyển trạng thái

hay
ma trận chuyển
sau
m
ộ
t b
ướ
c.
Trường ðại học Nông nghiệp Hà Nội – Giáo trình Vận trù học
……………………………… 138


Ví dụ 3: Tiếp tục xét ví dụ trên, trong ñó ñã tìm ñược Π
(1)
= [0,2199 0,4901
0,2900], Π
(2)
= =[0,234297 0,482510 0,283193]. Dễ thấy, các véc tơ phân phối xác suất
Π
(1),
Π
(2),
Π
(3)
, tại các thời ñiểm t = 1, 2, 3, ñược tính theo công thức: Π
(1)
= Π
(0)
× P,
Π

(2)
= Π
(1)
× P = Π
(0)
× P
2
và Π
(n+1)
= Π
(n)
× P = Π
(0)
× P
n+1
, ∀ n. Sau 21 bước (21
tháng), ta có Π
(21)
= [0,272257 0,455523 0,272220].
Các véc tơ phân phối (hay tỉ lệ phần trăm khách hàng vào các siêu thị A, B, C) sau
1, 2, 3, , 21 tháng ñược cho trong bảng V.1.
Vấn ñề ñặt ra là liệu Π

=
(n)
n
lim
→∞
Π
có tồn tại không và nếu tồn tại thì ñược tìm

bằng cách nào. Trong ví dụ này, chúng ta sẽ tìm ñược Π

= [0,273 0,454 0,273], biểu thị
cho tỉ lệ phần trăm cân bằng dừng (stationary equylibrium) số khách hàng vào các siêu
thị A, B, C sau một thời gian ñủ dài.
Bảng V.1. Tỉ lệ phần trăm khách hàng vào các siêu thị
Tháng A B C
1 0,2199 0,4901 0,29
2 0,234297 0,48251 0,283193
3 0,2447183 0,476662631 0,27861905
4 0,2522664 0,472135676 0,2755979
5 0,2577373 0,46861381 0,27364893
6 0,2617056 0,465860633 0,27243373
7 0,2645868 0,463698194 0,27171505
8 0,2666806 0,461991958 0,27132742
9 0,2682041 0,460639762 0,27115613
10 0,269314 0,459563657 0,27112231
11 0,2701238 0,45870389 0,27117228
12 0,2707156 0,458014426 0,27126994
13 0,2711489 0,457459633 0,27139144
14 0,2714668 0,457011789 0,27152141
15 0,2717005 0,456649225 0,27165023
16 0,2718729 0,456354922 0,27177223
17 0,2720002 0,456115454 0,27188433
18 0,2720947 0,455920181 0,27198516
19 0,2721649 0,455760634 0,27207446
20 0,2722173 0,45563005 0,2721526
21 0,2722566 0,455523004 0,27222035

Cách tính

Π
ΠΠ
Π

Xuất phát từ Π
(n+1)
= Π
(n)
× P, cho qua giới hạn cả hai vế khi n → ∞ ta có: Π

= Π

×
P, hay Π

×(I - P) = 0.
Do P là ma trận ñặc biệt (ma trận chuyển) nên nó là ma trận suy biến. Khi viết lại
dưới dạng hệ phương trình (3 ẩn, 3 phương trình) ta phải loại bớt một phương trình ñi
và thêm vào hệ thức π
1
+ π
2
+ π
3
= 1 và ràng buộc π
k
≥ 0 (k = 1, 2, 3). Kí hiệu x = π
1
, y =
π

2
và z = π
3
, ta sẽ có hệ:
0, 2x 0,07y 0,083z 0
0,1x 0,1y 0,067z 0
x y z 1
− − =


− + − =


+ + =


x 0,273
y 0,454
z 0,273
=


⇔ =


=


Vậy Π

= [0,273 0,454 0,273].
ðịnh nghĩa 5
Xét xích Markov rời rạc và thuần nhất với ma trận chuyển P = [p
ij
]
N×N
.

Lúc ñó,
véc tơ phân phối xác suất Π

=

[π
1
, π
2
, , π
N
] thỏa mãn ñiều kiện Π

×(I - P) = 0 ñược gọi
là phân phối dừng của xích Markov ñã cho.
Có thể thấy ngay, phân phối dừng Π

không phụ thuộc vào Π
(0)
mà chỉ phụ thuộc vào
ma trận P.
Một cách toán học, ta nói mô hình xích Markov rời rạc thuần nhất chính là bộ ba

(X(t
n
), S/Π, P). Áp dụng mô hình xích Markov ñể phân tích một vấn ñề nào ñó trong
Kinh tế, Kĩ thuật, Sinh học, ñược coi là việc ứng dụng phân tích Markov.
1.3. Các tính chất và ñịnh lí
Xét xích Markov rời rạc và thuần nhất với ma trận chuyển P = [p
ij
]
N×N
. Có thể
chứng minh ñược các tính chất và ñịnh lí sau:
Các tính chất
1/p
(n+m)
ij
=
∑
=
N
k 1
p
(n)
ik
p
(m)
kj
(ñây là phương trình Chapman-Kolmogorov).
2/P
(2)
= P × P = P

2
, P
(n)
= P
n
và P
(n+m)
= P
(n)
× P
(m)
.
3/Π
(n+m)
= Π
(n)
× P
(m)
.
ðịnh lí 1
1/Giả sử P là ma trận xác suất chuyển chính quy, tức là tồn tại chỉ số n
0
, sao cho
∀ i, j thì xác suất chuyển từ i ñến j sau n
0
bước là một số dương:
0
(n )
ij
p

> 0. Khi ñó tồn tại
π
1,
π
2,
, π
N

> 0 và π
1
+ π
2
+ + π
N

= 1 ñể cho
n
lim
→∞
p
(n)
ij
= π
j
, không phụ thuộc vào i.
Trường ðại học Nông nghiệp Hà Nội – Giáo trình Vận trù học
……………………………… 140


Các số π

1,
π
2,
, π
N

ñược tìm từ hệ phương trình
N
j k kj
k 1
x x p , j 1, 2, , N
=
= =
∑
, x
j
≥ 0 ∀j và
N
j
j 1
x 1
=
=
∑
.
2/N
ế
u có các s
ố
π

1
, π
2
, , π
N

tho
ả
mãn
ñ
i
ề
u ki
ệ
n π
1
+ π
2
+ + π
N

= 1 và
n
lim
→∞

p
(n)
ij
= π

j
, không ph
ụ
thu
ộ
c vào i thì ma tr
ậ
n P là ma tr
ậ
n chính quy.
Chú ý:
Phân ph
ố
i [π
1,
π
2,
, π
N
] tho
ả
mãn
ñ
i
ề
u ki
ệ
n π
1
+ π

2
+ + π
N

= 1 và
n
lim
→∞
p
(n)
ij
= π
j
, không
ph
ụ
thu
ộ
c vào i,
ñượ
c g
ọ
i là phân ph
ố
i gi
ớ
i h
ạ
n. Ngoài ra, n
ế

u
ñ
i
ề
u ki
ệ
n π
j
> 0, ∀j
ñượ
c
th
ỏ
a mãn thì phân ph
ố
i này
ñượ
c g
ọ
i là
phân phối Ergodic
. Có th
ể
ch
ứ
ng minh
ñượ
c
r
ằ

ng, n
ế
u phân ph
ố
i gi
ớ
i h
ạ
n t
ồ
n t
ạ
i thì
ñ
ó là phân ph
ố
i d
ừ
ng (duy nh
ấ
t). Tuy nhiên,
ñ
i
ề
u ng
ượ
c l
ạ
i không luôn
ñ

úng.
2. MỘT SỐ ỨNG DỤNG CỦA PHÂN TÍCH MARKOV
Phân tích Markov có nhiều ứng dụng trong Kinh tế, Quản trị kinh doanh, Kĩ thuật,
Sinh học, Xã hội học… Trong mục này, chúng ta sẽ xem xét các ứng dụng như tìm cân
bằng thị phần, xác ñịnh chính sách thay thế vật tư thiết bị, dự báo thất thu cho các hợp
ñồng thực hiện trước, tìm phân phối giới hạn của một hệ thống kĩ thuật và một ứng dụng
của quá trình sinh − tử cho hệ thống hàng chờ.
2.1. Tìm cân bằng thị phần
Ta nhắc lại một cách vắn tắt bài toán cho ở mục 1.2: Trong một khu phố 1000 dân
(khách hàng) có 3 siêu thị là A, B và C. Giả sử, trong tháng ñầu, số khách vào các siêu
thị lần lượt là 200, 500 và 300. Những tháng sau ñó, ta giả sử xác suất ñể một khách
hàng (ñã vào siêu thị A lúc trước) vào lại A luôn là 0,8; chuyển sang B luôn là 0,1 và
chuyển sang C luôn là 0,1 Các xác suất chuyển khác của khách hàng ("trụ lại" B,
chuyển sang A, chuyển sang C ) ñược cho thông qua ma trận chuyển P
P =





083,0
07,0
8,0
067,0
9,0
1,0






85,0
03,0
1,0

Lúc
ñ
ó, theo k
ế
t qu
ả

ñ
ã bi
ế
t, t
ỉ
l
ệ
ph
ầ
n tr
ă
m cân b
ằ
ng d
ừ
ng (khi th
ờ
i gian

ñủ
dài) s
ố

khách hàng vào các siêu th
ị
A, B, C là 27,3%, 45,4% và 27,3% có th
ể
tìm
ñượ
c t
ừ
h
ệ

Π

×
(I - P) = 0.
2.2. Chính sách thay thế vật tư thiết bị
Trong m
ộ
t h
ệ
th
ố
ng
ñ
i
ệ

n k
ĩ
thu
ậ
t, các thi
ế
t b
ị
cùng m
ộ
t lo
ạ
i
ñượ
c phân ra các tr
ạ
ng
thái sau
ñ
ây: v
ừ
a m
ớ
i thay, còn t
ố
t, v
ẫ
n dùng
ñượ
c và

ñ
ã b
ị
h
ỏ
ng. Theo s
ố
li
ệ
u th
ố
ng kê
ñượ
c, ta có ma tr
ậ
n xác su
ấ
t chuy
ể
n tr
ạ
ng thái nh
ư
sau: