Quá trình ngẫu nhiên và tính toán ngẫu nhiên phần 3 potx

42

Chương 1. Q trình Markov

1.3.2

Trường hợp khơng gian trạng thái vô hạn đếm
được

Trong trường hợp không gian trạng thái E là vơ hạn đếm được ta gặp những
khó khăn về toán học khi muốn mở rộng các kết quả trong trường hợp hữu
hạn. Ta có kết quả sau đây (cơng nhận không chứng minh):
Định lý 1.23.
(1) Với mọi i = j giới hạn
Pij (t)
= aij
t→0
t

Pij (0) = lim
luôn tồn tại hữu hạn.
(2) Với mỗi i giới hạn

Pii (t) − 1
= aii = −ai
t→0
t

Pii (0) = lim

tồn tại nhưng có thể bằng vô cùng.

Đối với trường hợp không gian trạng thái hữu hạn ta có

aij = 0 hay
j

aij = ai .
j=i

Trong trường hợp E vơ hạn nói chung ta chỉ có bất đẳng thức sau
aij ≤ ai

∀i ∈ E

j=i

Thật vậy ta có
Pij (t) = 1 − Pii (t)
j=i

thành thử với mọi m

n

Pij (t) ≤ 1 − Pii (t).
j=1,j=i

(1.16)


1.3. Quá trình Markov

43

Chia hai vế cho t và đẩy t → 0 ta thu được
m

aij ≤ ai .
j=1,j=i

Cho m → ∞ ta thu được (1.16).
Từ nay về sau ta chỉ xét các quá trình Markov thoả mãn điều kiện
aij = ai < ∞.

(1.17)

j=i

Ma trận vô số chiều A = (aij ) cũng được gọi là ma trận cực vi của quá trình
đang xét.
Định lý 1.24. Cho quá trình Markov với P (t) = (Pij (t)) là họ các ma trận
xác suất chuyển. Gọi A là ma trận cực vi của q trình. Khi đó ta có
P (t) = P (t)A
⇔ Pij (t) =

Pik (t)akj − Pij (y)aj

(1.18)

k=j

và
P (t) = AP (t)
⇔ Pij (t) =

aik Pkj − Pij (y)ai

(1.19)

k=i

Phương trình (1.18) được gọi là phương trình thuận và phương trình (1.19)
được gọi là phương trình ngược Kolmogorov.
Chứng minh. Ta chỉ chứng minh cho phương trình ngược cịn thừa nhận sự
đúng đắn của phương trình thuận vì chứng minh khá phức tạp về tốn học.
Ta có:
Pij (s + t) − Pij (t) =

Pik (s)Pkj (t) − Pij (t)
k

Pik (s)Pkj (t) + (Pii (s) − 1)Pij (t)

=
k=i

(1.20)


44

Chương 1. Quá trình Markov

Với mỗi m cố định ta có
m
−1

−1

lim inf s
s→0

Pik (s)Pkj (t) ≥ lim inf s
s→0

k=i

Pik (s)Pkj (t)
k=1,k=i

m

aik Pkj (t).

=
k=1,k=i

Cho m → ∞ ta được
lim inf s−1
s→0

Pik (s)Pkj (t) ≥
k=i

aik Pkj (t).

(1.21)

k=i

Tiếp theo với m > i ta có
m

∞

Pik (s)Pkj (t) ≤
k=i

Pik (s)Pkj (t) +
k=1,k=i

m

Pik (s)Pkj (t) + 1 − Pii (s) −

=

Pik (s)

m+1
m

k=1,k=i

Pik (s).
k=1,k=i

Chia hai vế cho s và lấy lim sup ta thu đươc
m
−1

lim sup s
s→0

Pik (s)Pkj (t) ≤
k=i

m

aik Pkj (t) + ai −
k=1,k=i

aik (s).
k=1,k=i

Cho m → ∞ và chú ý đến điều kiện (1.17) ta được
lim sup s−1
s→0

Pik (s)Pkj (t) ≤
k=i

aik Pkj (t).
k=i

So sánh với (1.21) ta nhận được
lim s−1

s→0

Pik (s)Pkj (t) =
k=i

aik Pkj (t).
k=i

Trong 1.20 chia hai vế cho s rồi cho s → 0 và áp dụng đẳng thức trên ta suy
ra (1.19).


1.3. Quá trình Markov

45

Bây giờ chúng ta xét dáng điệu tiệm cận của ma trận xác suất chuyển
P (t) khi t → ∞. Cho quá trình Markov (Xt ) với không gian trạng thái E vô
hạn đếm được và ma trận xác suất chuyển P (t) = Pij (t). Ta nói rằng q
trình là tối giản nếu Pij (t) > 0 với mọi i, j ∈ E. ( Chú ý rằng ta khơng có
khái niệm "chu kỳ của một trạng thái" như là đối với xích Markov).
Định lý 1.25. Cho q trình Markov tối giản (Xt )với khơng gian trạng thái
E = {1, 2, ..., } đếm được và ma trận xác suất chuyển P (t) = Pij (t). Khi đó

với mỗi i, j ∈ E tồn tại giới hạn hữu hạn
lim Pij (t) = πj

t→∞

chỉ phụ thuộc j không phụ thuộc i. Thêm vào đó giới hạn π = (π1, π2, ..., )
hoặc là tất cả bằng không
πj = 0 ∀j ∈ E
hoặc là tất cả dương và lập thành một phân bố xác suất. Phân bố đó được gọi
là phân bố giới hạn của quá trình
πj > 0

∀j ∈ E,

πj = 1.
j

Ta công nhận và không chứng minh định lý này.
Định lý 1.26. Phân bố giới hạn π = (π1, π2, ..., ) thoả mãn hệ phương trình
tuyến tính sau
πk akj .
πj aj =
k=j

Chứng minh. Từ phương trình C-K
Pij (s + t) =

Pik (s)Pkj (t)
k∈E

cho s → ∞ ta thu được
πj =

πk Pkj (t).
k


46

Chương 1. Quá trình Markov

Suy ra
πj (1 − Pjj (t)) =

πk Pkj (t).
k=j

Chia hai vế cho t và cho t → 0 ta được hệ thức phải chứng minh.
Ví dụ 1.19. (Quá trình sinh và chết.) Xét quá trình Markov (Xt ) với không
gian trạng thái E = {0, 1, 2, ...}. (Xt ) được gọi là quá trình sinh và chết nếu
các xác suất chuyển Pij (t) thoả mãn các điều kiện sau đây
1. Pi.i+1 (t) = λi t + o(t)

∀i ≥ 0 khi t → 0

2. Pi.i−1 (t) = µi t + o(t)

∀i ≥ 1 khi t → 0

3. Pii (t) = 1 − (λi + µi )t + o(t),

∀i ≥ 0 khi t → 0

4. Pij (t) = o(t) với |i − j| > 1
5. Pij (0) = δij
6. µi = 0, λ0 > 0, µi , λi > 0, i = 1, 2, ...
Quá trình Xt được sử dụng để mô tả sự phát triển của một quần thể A nào
đó. Mỗi cá thể của quần thể A tại mỗi thời điểm có thể sinh ra một cá thể
mới hoặc bị chết đi. Ký hiệu Xt là số lượng cá thể của quần thể tại thời điểm
t. Các điều kiện trên có nghĩa là nếu tại thời điểm t quần thể có i cá thể thì
trong một khoảng thời gian bé (s, s + t) xác suất để số lượng quần thể tăng
thêm một cá thể là λi t + o(t) và xác suất để giảm đi một cá thể là µi t + o(t),
xác suất để tăng giảm ít nhất hai cá thể là o(t). Các tham số λi , i = 0, 1, 2
được gọi là cường độ sinh, các tham số µi , i = 1, 2, ... được gọi là cường độ
chết.
Ma trận cực vi A = (aij ) có dạng
ai,i+1 = λi

ai,i−1 = µi ,

ai = λi + µi ,
aij = 0

nếu |i − j| > 1


1.3. Q trình Markov
tức là

47


−λ0
λ0
0
0 0...


 µ1 −(λ1 + µ1 )
λ1
0 0.. 


A= 0
−(λ2 + µ2 ) λ2 ... 
µ2




.
.
.
. 
 .
.
.
.
.


Phương trình thuận (1.14) trong trường hợp này có dạng
Pij (t) = Pi,j−1 (t)λj−1 + Pi,i+1 (t)µj+1 − (λj + µj )Pij (t)
Pi0 (t) = −λ0 Pi0 (t) + µ1 Pi1 (t).

(1.22)
(1.23)

Giả sử q trình sinh và chết có phân bố giới hạn π = (πi ). Từ định lý 1.26
ta có
λ0 π0 = µ 1 π1
(λk + µk )πk = λk−1 πk−1 + µk+1 πk+1
Đặt ak = µk πk − λk−1 πk−1 . Từ phương trình trên suy ra ak = ak+1 . Vì
a1 = µ1 π1 − λ0 π0 = 0 nên suy ra ak = 0 ∀k hay
µk πk = λk−1 πk−1 ∀k = 1, 2, ...
λk−1
⇒ πk =
πk−1
µk
λk−1 λk−2 ...λ0
⇒ πk =
π0 .
µk µk−1 ...µ1

(1.24)
(1.25)
(1.26)

πk = 1 nên từ (1.24) suy ra

Vì
k

∞

1 = π0 + π0
k=1

λk−1 λk−2 ...λ0
.
µk µk−1 ...µ1

Vậy điều kiện cần để có phân bố giới hạn là chuỗi
∞

k=1

λk−1 λk−2 ...λ0
µk µk−1 ...µ1

(1.27)

hội tụ. Ngược lại có thể chứng minh được điều kiện chuỗi (1.27) hội tụ cũng
là điều kiện đủ để quá trình có phân bố giới hạn.


48

Chương 1. Q trình Markov
Ta xét một số ví dụ.

Ví dụ 1.20. (Một mơ hình đơn giản trong lý thuyết xếp hàng) Giả sử cửa
hàng dịch vụ A chỉ có một người phục vụ. Khách đến xếp hàng đợi đến lượt
mình được phục vụ và cửa hàng chỉ phục vụ từng khách một. Khi cửa hàng
đang phục khách thì các khách mới có thể đến và xếp hàng chờ. Khách được
phục vụ xong thì lập tức rời khỏi cửa hàng. Giả sử xác suất để trong khoảng
thời gian (t, t + h) có một khách mới vào hàng là λh + o(h) và cũng giả sử
rằng nếu tại thời điểm t khách đang được phục vụ thì xác suất để sự phục vụ
hoàn tất trong khoảng thời gian (t, t + h) là µh + o(h). Gọi Xt là số khách
có mặt tại cửa hàng tại thời điểm t (tức là số khách đang xếp hàng chờ phục
vụ cộng với khách đang được phục vụ tại thời điểm t). Dễ thấy đây là một
q trình sinh và chết với cưịng độ sinh và cưòng độ chết đều là hằng số
λi = λ, µi = µ. Khi đó chuỗi (1.27) trở thành chuỗi
∞

λ
( )k .
µ
k=1
Vậy: Q trình có phân bố giới hạn (và đây cũng là phân bố dừng) khi và chỉ
khi λ < µ . Khi đó ta có
πk =

1−

λ
µ

λ
( )k .

µ

Tỷ số r = λ gọi là cường độ giải phóng hàng. Nếu r < 1 thì khi t khá lớn, số
µ
khách có mặt ở cửa hàng Xt là một ĐLNN có phân bố hình học
P (Xt = k) = (1 − r)rk .
1
Suy ra số khách có mặt trung bình là EXt = 1−r .
Trong một thái cực khác, ta giả sử cửa hàng có rất nhiều nhân viên phục
vụ sao cho bất cứ người khách nào đến cũng được phục vụ ngay. Gọi Xt là số
khách có mặt tại cửa hàng tại thời điểm t (tức là số khách đang được phục
vụ tại thời điểm t). Ta có

Pi,i+1 (h) = P {Xt+h = i + 1|Xt = i}
= λh + o(h),


1.3. Q trình Markov

49

Pi,i−1 (h) = P (có đúng một khách trong i khách được phục vụ xong)
=

i
[µh + o(h)][1 − µh + o(h)]i−1
1

= iµh + o(h).
Vậy Xt là quá trình sinh và chết với λi = λ, µi = iµ. Khi đó cơng thức (1.24)

cho ta
1 λ
πk = ( ) k π0
k! µ
và chuỗi (1.27) trở thành chuỗi
∞

k=1

1 λ k
( ) = eλ/µ − 1.
k! µ

Từ điều kiện
∞

πk = π0eλ/µ

1=
k=0

rút ra
πk = e−r

rk
.
k!

Như vậy khi t đủ lớn Xt có phân bố Poisson với tham số r = λ . Giá trị trung
µ

bình của Xt khi t đủ lớn là r, nó chính bằng tỷ số giữa thời gian phục vụ
trung bình 1/µ với khoảng thời gian trung bình xuất hiện một khách mới 1/λ.
Một kết luận khá phù hợp với thực tế!.
Ví dụ 1.21. (Q trình sinh thuần t) Nếu q trình sinh và chết mà khơng
xảy ra sự chết thì ta gọi là quá trình sinh thuần tuý. Như vậy đối với quá
trình sinh thuần tuý ta có
µj = 0

∀j ≥ 1

và
Pij (t) = 0

nếu j < i.


50

Chương 1. Quá trình Markov

Phương trình thuận (1.22) trở thành
Pij (t) = λj−1 Pi,j−1 − λj Pij (t)

(1.28)

Pii (t) = −λi Pii (t).

(1.29)

Pii (t) = e−λi t .

(1.30)

Vì Pii (0) = 1 ta suy ra
Để giải phương trình vi phân (1.28) ta có bổ dề sau:
Bổ đề 1.5. Phương trình vi phân
f (t) = −λf (t) + g(t)

(1.31)

có nghiệm là
t

f (t) = f (0)e−λt +

e−λ(t−s) g(s)ds.
0

Thật vậy nhân hai vế của (1.36) với eλt ta được
eλtf (s) = eλsg(s).
Lấy tích phân hai vế từ 0 tới t ta được
t

eλtf (t) − f (0) =

e−λs g(s)ds.
0

−λt

Nhân hai vế với e
ta có kết luận của bổ đề.
Vì Pij (0) = 0 i = j nên từ bổ đề và phương trình (1.28) ta có
t

e−λj (t−s) Pi,j−1 (s)ds.

Pij (t) = λj−1

(1.32)

0

Ta có thể sử dụng (1.30) và (1.32) như một công thức truy hồi để tìm lần
lượt Pij (t) với j = i + 1, i + 2, .... Chẳng hạn ta có
t

e−λi+1 (t−s) e−λis ds.

Pi,i+1 (t) = λi
0

Suy ra
Pi,i+1 (t) =




λi
λi+1 −λi

λi te−λit

(e−λi t − e−λi+1 t

nếu λi+1 = λi
nếu λi+1 = λi .

(1.33)


1.3. Q trình Markov

51

Ví dụ 1.22. (Q trình sinh tuyến tính) Xét sự tăng trưởng cá thể của một
quần thể nào đó. Giả sử rằng mỗi cá thể của quần thể độc lập với nhau trong
khoảng thời gian (t, t + h) có xác suất sinh thêm một cá thể mới là λh + o(h)
và xác suất để không sinh thêm cá thể nào trong khoảng thời gian (t, t + h) là
1 − λh + o(h). Goị Xt là số lượng cá thể ở thời điểm t. Xt là một quá trình
sinh thuần tuý và
Pii (h) = P {Xt+h = i|Xt = i}
= [1 − λh + o(h)]i = 1 − λih + o(h),

Pi,i+1 (h) = P {Xt+h = i + 1|Xt = i}
=

i
[λh + o(h)][1 − λh + o(h)]i−1
1

= iλh + o(h).
Như vậy cường độ sinh là
λi = λi.
Từ (1.33) ta có
Pi,i+1 (t) = ie−iλt(1 − e−λt).
Để tính Pi,i+2 (t) ta đặt j = i + 2 trong (1.32) và thu được
t

e−(i+2)λ(t−s)e−iλs (1 − e−λs )ds

Pi.i+2 (t) = (i + 1)iλ
0

t

= (i + 1)iλe−(i+2)λt

e2λi(1 − e−λs )ds
0
t

= (i + 1)iλe−(i+2)λt

eλt(eλs − 1)ds
0
λt

= (i + 1)iλe−(i+2)λt

(e − 1)2
2λ

i + 1 −iλt
e (1 − e−λt )2.
2


52

Chương 1. Quá trình Markov

Tiếp tục như vậy áp dụng công thức truy hồi (1.32) và bằng quy nạp ta thu
được
i + k − 1 −iλt
e
(1 − e−λt)k .
Pi,i+k (t) =
k
Như vậy sự gia tăng dân số Xs+t − Xs trong khoảng thời gian t có phân bố
nhị thức âm với các tham số p = e−λt và r = i, ở đó i = Xs . Thành thử
E[Xs+t − Xs |Xs = i] = ieλt(1 − e−λt).
Nếu tại thời điểm ban đầu s = 0 quần thể có số lượng i cá thể thì tại thời
điểm t số cá thể trung bình sẽ là
E[Xt ] = E[Xt − X0 ] + i = ieλt.
Q trình sinh tuyến tính này đơi khi cịn được gọi là q trình Yule, do nhà
tốn sinh người Anh Yule đưa ra năm 1924.
Ví dụ 1.23. (Quá trình Poisson.) Xét quá trình sinh thuần tuý Xt với cường
độ sinh là hằng số
λi = λ , i = 0, 1, ...

Khi đó cơng thức (1.32) trở thành
t

e−λ(t−s) Pi,j−1 (s)ds.

Pij (t) = λ
0

Từ công thức (1.33) ta thu được
Pi,i+1 (t) = λte−λt .
Để tính Pi,i+2 (t) ta đặt j = i + 2 trong (1.34) và thu được
t

e−λ(t−s) e−λs ds

Pi,i+2 (t) = λ
0

t

= λ2 e−λt

sds =
0

(λ)2 −λt
e .
2

(1.34)

1.3. Q trình Markov

53

Tiếp tục như vậy áp dụng cơng thức truy hồi (1.34) và bằng quy nạp ta thu
được
(λt)k −λt
e .
Pi,i+k (t) =
k!
Như vậy sự gia tăng dân số Xs+t − Xs trong khoảng thời gian t có phân bố
Poisson với tham số λt.
Một cách tổng quát ta sẽ chứng minh rằng với 0 < s < t thì ĐLNN
Xt − Xs sẽ có phân bố Poisson với tham số λ(t − s). Thật vậy ta có
∞

P (Xt − Xs = k) =

P (Xs = i)P (Xt = k + i|Xs = i)
i=0
∞

P (Xs = i)Pi,i+k (t − s)

=
i=0
∞

=

P (Xs = i)
i=0

(λ(t − s))k −λ(t−s)
e
k!
∞

(λ(t − s))k −λ(t−s)
e
=
k!
=

P (Xs = i)
i=0

(λ(t − s)k ) −λ(t−s)
e
.
k!

Tiếp theo ta chứng minh rằng Xt là q trình ngẫu nhiên có gia số độc lập.
Thật vậy, với 0 ≤ t1 < t2 < · · · < tn ta có
P Xt2 − Xt1 = i1 , ..., Xtn − Xtn−1 = in−1
∞

P (Xt1 = i)P0i1 (t2 − t1)...P0in−1 (tn − tn−1 )

=
i=0

∞

= P0i1 (t2 − t1)...P0in−1 (tn − tn−1 )

P (Xt1 = i)
i=0

= P0i1 (t2 − t1)...P0in−1 (tn − tn−1 )
= P (Xt2 − Xt1 = i1)...P (Xtn − Xtn−1 = in−1 ).
Thành thử Xt2 − Xt1 , ..., Xtn − Xtn−1 là các ĐLNN độc lập.


54

Chương 1. Quá trình Markov

Quá trình Xt , t ≥ 0 được gọi là quá trình Poisson với cường độ λ > 0 nếu
nó thoả mãn các điều kiện sau
1. X0 = 0.
2. Với 0 ≤ s < t thì ĐLNN Xt − Xs sẽ có phân bố Poisson với tham số
λ(t − s).
3. Xt là quá trình ngẫu nhiên có gia số độc lập.
Như vậy ta đã chứng minh rằng quá trình sinh thuần tuý với cường độ
sinh là hằng số λ chính là một q trình Poisson với cường độ λ > 0 . Q
trình Poisson có rất nhiều ứng dụng trong thực tế. Nó dùng để mơ tả số lần
xuất hiện của một sự kiện ngẫu nhiên nào đó trong khoảng thời gian t, chẳng

hạn số lần gọi đến tổng đài, số khách hàng đến một cửa hàng nào đó, số lần
hỏng hóc của một đường dây,...

1.3.3

Trường hợp tổng quát

Một vài khái niệm cơ bản về quá trình ngẫu nhiên. Xét q trình
Markov với khơng gian trạng thái E bất kỳ. Cho (E, A) là một không gian
đo. Quá trình ngẫu nhiên Xt được gọi là quá trình Markov nếu
P (Xt+s ∈ A|F≤t) = P (Xt+s ∈ A|Ft).
Nghĩa là : Nếu ta biết trạng thái của hệ tại thời điểm hiện tại t thì mọi thơng
tin về hành vi của hệ trong q khứ khơng có ảnh hưởng đến sự biến diễn
trong tương lai của hệ. Nói cách khác: Quá khứ và tương lai độc lập với nhau
khi biết hiện tại. Ký hiệu
P (s, x, t, A) = P (Xt ∈ A|Xs = x)
P (s, x, t, A) là xác suất để hệ tại thời điểm s đang ở trạng thái x sang thời
điểm t rơi vào tập A. Ta gọi P (s, x, t, A) là xác suất chuyển. Họ các xác suất
chuyển có các tính chất sau:


1.3. Quá trình Markov

55

Định lý 1.27.
1. Với mỗi s ≤ t, x ∈ E P (s, x, t, .) là một độ đo xác suất trên E
2. Với mỗi s ≤ t, A ∈ A hàm P (s, ., t, A) là một hàm đo được trên E
3. ( Phương trình C-K (Chapman- Kolmogorov) )
P (s, x, u, dy)P (u, y, t, A).

P (s, x, t, A) =
E

Quá trình Markov Xt được gọi là thuần nhất nếu xác suất chuyển
P (s, x, t, A) chỉ phụ thuộc vào hiệu số t − s nghĩa là
P (s + u, x, t + u, A) = P (s, x, t, A) ∀u
Khi đó P (s, x, t, A) có dạng
P (s, x, t, A) = P (t − s, x, A)
ở đó P (t, x, A) = P (Xs+t ∈ A|Xs = x) là xác suất để hệ tại thời điểm s ở
trạng thái x sau một khoảng thời gian t ( tại thời điểm t + s) rơi vào A.
Phương trình Chapman- Kolmogorov khi ấy trở thành
P (t + s, x, A) =

P (t, x, dy)P (s, y, A).
E

Trong giáo trình này ta chỉ xét quá trình Markov thuần nhất.
Trong trường hợp độ đo P (t, x, .) có mật độ f (t, x, u) thì phương trình
C-K tương đương với
f (t + s, x, z) =

f (t, x, y)f (s, y, z)dy.
E

Ngược lại cho trước một họ các hàm P (t, x, A) thoả mãn các điều kiện nêu
trong định lý (1.27). Với mỗi độ đo xác suất µ trên (E, A) ta xác định họ


56

Chương 1. Quá trình Markov

các phân bố hữu hạn chiều (µt1 ,...,tn ) như sau
µt1 ,...,tn (A1, ..., An)
...

=
yn ∈An

µ(dx)P (t1, x, dy1 )P (t2 − t1, y1 , dy2)...
y1 ∈A1

x∈E

P (tn − tn−1 , yn−1 , dyn ).
Sử dụng các tính chất của họ xác suất chuyển ta chứng minh được họ các
phân bố xác suất này thoả mãn điều kiện tương thích Kolmogrov. Thành
thử tồn tại một quá trình ngẫu nhiên (Xt ) sao cho:
• Phân bố của X0 ( phõn b ban u) l à.
ã Vi mi 0 ≤ t1 < ... < tn phân bố đồng thời của (Xt1 , ..., Xtn ) là µt1 ,...,tn .
Hơn nữa có thể chứng minh rằng Xt là một quá trình Markov thuần nhất
nhận P (t, x, A) làm xác suất chuyển.
Ví dụ 1.24. (Chuyển động Brown hay quá trình Wiener.) Xét hàm f (t, x, y)
cho bởi cơng thức
1 − (u−x)2
f (t, x, u) = √
e 2t
2πt
và P (t, x, .) là độ đo xác suất trên R nhận f (t, x, .) làm hàm mật độ

P (t, x, A) =

f (t, x, du).
A

Khi đó ta có thể chứng minh rằng họ P (t, x, A) thoả mãn các điều kiện của
định lý (1.27). Thật vậy, gọi φt (u) là hàm mật độ của N (0, t) thì như ta biết
φt+s = φt ∗ φs hay
φt+s (u) =

φs (v)φt(u − v)dv.

Đặt u = x − z, v = y − z → dv = dy suy ra
φt+s (x − z) =

φs (y − z)φt (x − y)dy


1.3. Quá trình Markov

57

hay
f (t + s, x, z) =

f (t, x, y)f (s, y, z)dy.

Do đó tồn tại quá trình Markov với họ P (t, x, A) là họ xác suất chuyển và
phân bố ban đầu µ = δ0. Quá trình Markov này được gọi là chuyển động
Brown hay quá trình Wiener và được ký hiệu là (Wt ).

Các phân tích sâu sắc hơn nữa chứng tỏ (Wt ) có các tính chất sau
1. W0 = 0 .
2. Với mỗi 0 ≤ s < t thì Wt − Ws là ĐLNN có phân bố chuẩn với kỳ vọng
0 và phương sai là t − s .
3. W (t) là một quá trình gia số độc lập tức là với mọi 0 ≤ t1 < t2 <
... < tn các ĐLNN Wt2 − Wt1 , Wt3 − Wt2 , ..., Wtn − Wtn−1 là độc lập.
4. Wt có quỹ đạo liên tục.
Bây giờ chúng ta sẽ trình bày phương pháp xây dựng các hàm xác suất
chuyển. Như đã biết mỗi độ đo µ trên R ta cho ứng với phiếm hàm T trên
Cb (R) bởi
Tµ ξ =

ξ(u)dµ(u).
R

Tương ứng này là một-một. Nếu biết T ξ với mỗi ξ thì có thể xác định được
µ.Ta định nghĩa
ξ(u)P (t, x, du).

φ(t, x) =

(1.35)

R

Nếu với mỗi ξ ta tìm được hàm φ(t, x) tương ứng thì coi như tìm được
P (t, x, .). Ta có kết quả sau:
Định lý 1.28. Ký hiệu B(x, ) = [x − , x + ], B c(x, ) = R \ B(x, ). Giả

58

Chương 1. Quá trình Markov

sử rằng
lim t−1 P (t.x, B c(x, )) = 0

∀x,

t→0+

lim t−1

t→0+

(u − x)P (t, x, du) = a(x)
B(x, )

lim t−1

t→0+

(u − x)2 P (t, x, du) = b(x)
B(x, )

Khi đó hàm φ(t, x) xác định bởi (1.35) thoả mãn phương trình vi phân sau
∂φ
∂φ b(x) ∂ 2φ
= a(x)
+

∂t
∂x
2 ∂x2

(1.36)

lim φ(t, x) = ξ(x).

(1.37)

với điều kiện ban đầu
t→0+

Ngược lại cho trước hai hàm a(x), b(x). Khi đó với một số giả thiết về hai
hàm a(x), b(x) với mỗi hàm liên tục bị chặn ξ phương trình (1.36) với điều
kiện ban đầu (1.37) sẽ có nghiệm duy nhất φ(t, x) và do đó xác định cho ta
độ đo P (t, x, .). Họ độ đo này lập thành một họ xác suất chuyển. Hơn nữa
quá trình Markov tương ứng với họ xác suất chuyển này có quỹ đạo liên tục.

1.4

Bài tập

1. Cho xích Markov Xn , n = 0, 1, 2, ... với không gian trạng thái E =
{0, 1, 2} và ma trận xác suất chuyển



0.1 0, 2 0, 7



P =  0.9 0, 0 0, 1 .
0, 1 0, 8 0.1
Biết phân bố ban đầu là p0 = 0, 3, p1 = 0, 4, p2 = 0, 3. Tính
P (X0 = 0, X1 = 1, X2 = 2).


1.4. Bài tập

59

2. Người ta truyền một bức điện gồm các tín hiệu 0, 1 thơng qua kênh có
nhiều trạm và mỗi trạm nhận đúng tín hiệu với xác suất a. Ký hiệu X0
là tín hiệu truyền đi và Xn là tín hiệu nhận được ở trạm n. Biết rằng
(Xn ) lập thành xích Markov với ma trận xác suất chuyển
P =

a
1−a
.
1−a
a

Giả sử tín hiệu truyền đi là tín hiệu 0.
i) Tính xác suất để khơng nhận sai tín hiệu cho tới trạm n = 2.
ii) Tính xác suất để nhận đúng tín hiệu của trạm n = 2.
ii) Tính xác suất để nhận đúng tín hiệu của trạm n = 5.
3. Cho xích Markov Xn , n = 0, 1, 2, ... với không gian trạng thái E = 0, 1, 2
và ma trận xác suất chuyển



0.1 0, 2 0, 7


P =  0.2 0, 2 0, 6
0, 6 0, 1 0.3
Tính P 2 , P (X3 = 1|X1 = 0) và P (X3 = 1|X0 = 0).
4. Cho xích Markov Xn , n = 0, 1, 2, ... với không gian trạng thái E = 0, 1, 2
và ma trận xác suất chuyển


0.0 0, 5 0, 5


P =  0.5 0, 0 0, 5
0, 5 0, 5 0.0
Tính P (X2 = 1|X0 = 0) và P (X3 = 0|X0 = 0).
5. Giả sử Xn chất lượng của chi tiết tại công đoạn thứ n của dây chuyền
sản xuất với Xn = 0 có nghĩa là tốt cịn Xn = 1 có nghĩa là xấu. Biết
rằng (Xn )là xích Markov với ma trận xác suất chuyển
P =

0.99 0.01
0.12 0, 88


60

Chương 1. Q trình Markov
Tính P (X4 = 1|X1 = 1).

6. Cho xích Markov Xn , n = 0, 1, 2, ... với không gian trạng thái E = 1, 2, 3
và ma trận xác suất chuyển


0.1 0, 5 0, 4


P =  0.6 0, 2 0, 2
0, 3 0, 4 0.3
Phân bố ban đầu là (0, 7; 0, 2; 0, 1).
i) Lập bảng phân bố xác suất của X2 .
ii) Tính P (X0 = 1, X1 = 3, X2 = 3, X3 = 2).
iii) Tìm phân bố dừng.
7. Cho xích Markov Xn , n = 0, 1, 2, ... với
{1, 2, 3} và ma trận xác suất chuyển

3/7 3/7

P = 1/11 2/11
1/11 4/11

không gian trạng thái E =

1/7

8/11 
6/11

Giả sử P (X0 = 1) = 1. Đặt
Yn =


1

2

nếu Xn = 1
nếu Xn = 1

Chứng minh rằng (Yn ) là một xích Markov. Tìm ma trận xác suất
chuyển.
8. Cho (rn ) là dãy Rademakher P (rn = 1) = p, P (rn = −1) = q = 1 − p.
Trong các dãy ĐLNN sau đây dãy nào lập thành xích Markov
(a) Xn = rn rn+1
(b) Xn = r1r2 ...rn


1.4. Bài tập

61

(c) Xn = Φ(rn , rn+1 ) trong đó
Φ(−1, −1) = 1, Φ(−1, 1) = 2, Φ(1, −1) = 3, Φ(1, 1) = 4
Đối với dãy lập thành xích Markov hãy tìm ma trận xác suất chuyển.
9. Mỗi người dân của thị trấn N có một trong ba nghề A, B, C. Con cái
của họ nối tiếp nghề của cha mình với xác suất tương ứng cho các nghề
A, B, C là 3/5; 2/3; 1/4. Nếu không theo nghề của cha thì chúng chọn
một trong hai nghề cịn lại với xác suất như nhau. Giả sử thế hệ hiện
tại 20% theo nghề A 30% theo nghề B và 50% theo nghề C. Hãy tìm
(a) Tìm phân bố nghề nghiệp ở thế hệ tiếp theo.

(b) Tìm phân bố giới hạn theo nghề nghiệp của dân cư thị trấn trong
tương lai xa xơi.
10. Cho xích Markov (Xn ), n = 0, 1, 2, ... với
{1, 2, 3} và ma trận xác suất chuyển

0
0

P = 1
0
1/2 1/2

không gian trạng thái E =

1

0
0

(a) Chứng minh rằng xích tối giản.
(b) Tìm chu kỳ của xích.
(c) Tìm phân bố dừng.
11. Cho xích Markov (Xn ), n = 0, 1, 2, ... với không gian trạng thái E =
{1, 2, 3, 4, 5} và ma trận xác suất chuyển


0 1/3 2/3 0
0



0 0
0 1/4 3/4


P = 0 0
0 1/4 3/4




0
0
0 
1 0
1 0
0
0
0


62

Chương 1. Q trình Markov
(a) Chứng minh rằng xích tối giản.
(b) Tìm chu kỳ của xích.
(c) Tìm phân bố dừng.

12. Giả sử ta theo dõi sự xuất hiện của biến cố A theo thời gian. Ký hiệu
Xt là số lần xuất hiện A trong khoảng thời gian (0, t] và giả thiết Xt
là quá trình Poisson với cường độ λ.

(a) Tìm xác suất để trong khoảng thời gian (0, s] biến cố A xảy ra m
lần nếu biết rằng trong khoảng thời gian (0, t] biến cố A xảy ra n
lần ở đó 0 < s < t, 0 < m < n.
(b) Ký hiệu Tm là thời điểm mà biến cố A xuất hiện lần thứ m. Tìm
hàm phân bố xác suất của Tm .
(c) Tìm hàm mật độ của Tm .
(d) Tìm P (T1 ≤ s|Xt = n) ở đó 0 < s < t.
13. Cho q trình chết thuần tuý Xt với không gian trạng thái E =
{0, 1, 2, ...}
(a) Viết phương trình thuận cho quá trình Xt .
(b) Tìm Pii (t).
(c) Tìm Pij (t) theo Pi,j+1 (t).
(d) Tính Pi,i−1 (t).
(e) Chứng minh rằng nếu Xt là q trình chết tuyến tính tức là µi = iµ
thì với i > j ta có
Pij (t) =

i
(e−µt )j (1 − e−µt )i−j .
j

14. Cho q trình sinh và chết Xt với λi = iλ, µi = iµ ở đó λ, µ là các hằng
số dương. Cố định i. Đặt
∞

mi(t) = Ei X(t) =

jPij (t)
j=0

1.4. Bài tập

63

(a) Viết phương trình thuận cho quá trình Xt .
(b) Sử dụng phương trình thuận để chứng minh rằng mi (t) = (λ −
µ)mi (t).
(c) Suy ra
mi(t) = ie(λ−µ)t.
15. Cho q trình sinh và chết Xt với λi = iλ, µi = iµ ở đó λ, µ là các hằng
số dương. Cố định i. Đặt
∞
2

j 2 Pij (t).

si (t) = Ei X (t) =
j=0

(a) Sử dụng phương trình thuận chứng minh rằng
si (t) = 2(λ − µ)si (t) + (λ + µ)mi (t).
(b) Tìm si (t).
(c) Tìm V arXt nếu X0 = i.
16. Chứng minh rằng họ
f (t, x, y) =

π(t2

t

+ (x − y)2)

lập thành họ mật độ chuyển thoả mãn phương trình Chapman - Kolmogorov. Quá trình Markov tương ứng có tên là q trình Cauchy.