Bài tập có lời giải Quá trình Ngẫu nhiên

TRƯỜNG ĐẠI HỌC KINH TẾ THÀNH PHỐ HỒ CHÍ MINH
KHOA TOÁN - THỐNG KÊ


BỘ MÔN:
QUÁ TRÌNH NGẪU NHIÊN


Quá trình ngẫu nhiên

BÀI TẬP CHƯƠNG III: XÍCH MARKOV
Bài 1 : Cho xích Markov 3 trạng thái 0, 1, 2 với ma trận xác suất chuyển :
0,6 0,3 0,1


P =  0,3 0,3 0,4
0,4 0,1 0,5
a. Tính P{X2 = 1, X1 = 1|X0 = 0 }.
b. Tính P{ X2 = 1, X3 = 1|X1 = 0 }.
c. Biết quá trình xuất phát với trạng thái X0 = 1.

Tính P{ X0 = 1, X1 = 0,X2= 2 }.
d. Giả sử phân phối đầu là α 0 = 0,5 ; α1 = 0,5.
Tính P{ X0 = 1, X1 = 1,X2= 0 }.
P{ X1= 1, X2= 1,X3 = 0 }.
Giải :
a. Tính P{X2 = 1, X1 = 1|X0 = 0 }
P{X2 = 1, X1 = 1|X0 = 0 } = P{ X2 = 1|X1 = 1,X0 = 0 } . P { X1 = 1|X0 = 0 }
= P{ X2 = 1|X1 = 1} . P { X1 = 1|X0 = 0 }
= P11 . P01 = 0,3 . 0,3
= 0,09

b. Tính P{ X2 = 1, X3 = 1|X1 = 0 }
P{ X2 = 1, X3 = 1|X1 = 0 } = P{ X3 = 1|X2 = 1 } . P { X2 = 1|X1 = 0 }
= P11 . P01 = 0,3 . 0,3
= 0,09
c. Biết quá trình xuất phát với trạng thái X0 = 1 nên ta có P{ X0 = 1 } = 1

P{X0 = 1, X1 = 0,X2= 2}= P{ X1 = 0|X0 = 1} . P{X2 = 2|X1 = 0}.P{X0 = 1}
= P 10 . P02 . 1 = 0,3 . 0,1 .1
= 0,03
d. Phân phối đầu là α 0 = 0,5 ; α1 = 0,5 ⇒ α 2 = 0 nghĩa là :

P{ X0 = 0 } = 0,5 ; P{ X0 = 1 } = 0,5 ; P{ X0 = 2 } = 0 ;

•

P{ X0 = 1, X1 = 1,X2= 0 }

•

P{ X1= 1, X2= 1,X3 = 0 }

= P{ X1 = 1|X0 = 1 } . P { X2 = 0|X1 = 1 }.P { X0 = 1 }

=P11 . P10 . α 0 = 0,3 . 0,3 . 0,5
= 0,045
= P{ X2 = 1|X1 = 1 } . P { X3 = 0|X2 = 1 }.P { X1 = 1 }

= P11 . P10 . P{ X1 = 1 }
Mà P { X1 = 1 } = ∑ P{ X1 = 1, X0 = i }
= P{X1 = 1, X0 = 0}. P{X1 = 1, X0 = 1}. P{X1 = 1, X0 = 2}

=
P { X1 = 1|X0 = 0 }.P { X0 = 0 }
+ P { X1 = 1|X0 = 1 }.P { X0 = 1 }
+ P { X1 = 1|X0 = 2 }.P { X0 = 2 }
= P01 . α 0 + P11 . α1 + P21 . α 2
= 0,6 . 0,5 + 0,3 . 0,5 + 0,1 . 0 = 0,45
Nên P{ X1= 1, X2= 1,X3 = 0 } = 0,3 .0,3 . 0,45
= 0,0405

2


Quá trình ngẫu nhiên
Bài 2:
Giả sử 1 hệ thống sản xuất có chất lượng sản phẩm tuân theo xích Markov với
kí hiệu 1 cho sản phẩm tốt và 0 cho sản phẩm xấu và ma trận xác suất chuyển
là :
0,9

0,1 

P= 

0,8 0,2
Tính xác suất để phế phẩm đầu tiên xuất hiện tại chu kì thứ 5.
Giải :
Gọi α 0 = P{X0 = 0} và α1 = P{X0 = 1} = 1 - α 0 .
Ta có xác suất để phế phẩm đầu tiên xuất hiện tại chu kì thứ 5 là :
P { X1 = 1, X2 = 1, X3 = 1, X4 = 1, X5 = 0 }
= P{X1=1}. P{X2 = 1|X1 = 1}. P {X3 = 1|X2 = 1}. P{X4 = 1|X3 = 1}.

P{X5=0|X4 =1}
= P{X1=1} . P11 . P11 . P11 . P01
(*)
Mà P{X1=1} = ∑ P{X1=1,X0 = i }
= P{X1=1,X0 = 1 } + P{X1=1,X0 = 0}
= P{X0=1}. P{X1 = 1|X0 = 1} + P{X0=0}. P{X1 = 1|X0 = 0}
= ( 1- α 0 ) . P11 + α 0 . P01 = ( 1- α 0 ) . 0,9 + α 0 . 0,8
= 0,9 – 0,1 α 0
Thế vào ( * ) ta có :
( 0,9 – 0,1 α 0 ) . 0,9 . 0,9 .0,9 . 0,8
= 0,5832( 0,9 – 0,1 α 0 )
Bài 3:

 0 0,5 0,5
P = 0,5 0,5 0 
 1
0
0 
f(0) = ); f(1) = f(2) = 1
Yn = f(Xn)
Ta có:

P { Yn = i | Yn −1 = in −1 ,..., Y0 = i0 }

(i ∈ { 0,1} )

= P { f ( X n ) = i | f ( X n −1 ) = in −1 ,..., f ( X 0 ) = i0 }
= P { X n = j | X n = jn −1 ,..., X 0 = j0 }

(j=0

= P { X n = j | X n = jn −1}

= P { f ( X n ) = i | f ( X n −1 ) = in −1}
= P { Yn = i | Yn −1 = in −1}

Vậy, quá trình {Yn, n >=0} là một xích Markov.

3

hay

j ∈ { 1, 2} )


Quá trình ngẫu nhiên
Bài 4: Cho xích Markov với ma trận chuyển xác suất :
0,6 0,3 0,1


P =  0,3 0,3 0,4
0,4 0,1 0,5

a. Tính các xác suất giới hạn.
b. Tính tỷ lệ thời gian ( trong dài hạn ) mà quá trình lưu trú ở trạng thái 1.
Giải :
a. Tính các xác suất giới hạn
Gọi π 0 , π 1 , π 2 lần lượt là xác suất giới hạn thoả :
+
π1

+
π2
= 1
 π0
0,6π + 0,3π + 0,4π = π

0
1
2
0

0,3π 0 + 0,3π 1 + 0,1π 2 = π 1
 0,1π 0 + 0,4π 1 + 0,5π 2 = π 2
+
 π0
− 0,4π +

0
⇔

 0,3π 0 −
 0,1π 0
+
π 0

Giải hệ ta được : π 1
π
 2

π1

0,3π 1
0,7π 1
0,4π 1

+
π2
+ 0,4π 2
+ 0,1π 2
− 0,5π 2

= 1
= 0
= 0
= 0

≈ 0,47
≈ 0,24
≈ 0,29

b. Tỷ lệ thời gian ( trong dài hạn ) mà quá trình lưu trú ở trạng thái 1 là
π 1 =0,24.
Bài 5:

1−α 
 α
P=
β 
1 − β

a/

Zn = (Xn-1, Xn), Zn có 4 trạng thái (0,0),(0,1),(1,0),(1,1)
P{ Z n = (in−1 , in ) | Z n−1 = (in −2 , in −1 ),..., Z1 = (i0 , i1 )}

= P{ X n−1 = in−1 , X n = in | X n−2 = in−2 , X n−1 = in−1 ,..., X 0 = i0 , X 1 = i1 }
= P{ X n−1 = in−1 , X n = in | X n−2 = in−2 , X n−1 = in−1 }
= P{ Z n = (in−1 , in ) | Z n−1 = (in−2 , in−1 )}

Vậy Zn = (Xn-1, Xn) là một xích Markov 4 trạng thái.

4


Quá trình ngẫu nhiên
b/ Xác định ma trận xác suất chuyển:
Ta ký hiệu các trạng thái của Zn như sau:
(0,0): 0
(0,1): 1
(1,0): 2
(1,1): 3
p * 00 = P{ Z 2 = 0 | Z1 = 0}

= P{ X 1 = 0, X 2 = 0 | X 0 = 0, X 1 = 0}

= P{ X 1 = 0 | X 0 = 0, X 1 = 0} P{ X 2 = 0 | X 0 = 0, X 1 = 0}
= P{ X 1 = 0 | X 1 = 0} P{ X 2 = 0 | X 1 = 0}
=1. p00 = 1.α = α
p * 01 = P{ Z 2 = 1 | Z1 = 0}

= P{ X 1 = 0, X 2 = 1 | X 0 = 0, X 1 = 0}

= P{ X 1 = 0 | X 0 = 0, X 1 = 0} P{ X 2 = 1 | X 0 = 0, X 1 = 0}
= P{ X 1 = 0 | X 1 = 0} P{ X 2 = 1 | X 1 = 0}
=1. p01 = 1.(1 − α ) = 1 − α
p * 02 = p * 03 = 0

do

p *10 = P{ Z 2 = 0 | Z1 = 1}

( p * 00 + p * 01 + p * 02 + p * 03 ) = 1

= P{ X 1 = 0, X 2 = 0 | X 0 = 0, X 1 = 1}

= P{ X 1 = 0 | X 0 = 0, X 1 = 1} P{ X 2 = 0 | X 0 = 0, X 1 = 1}
= 0.P{ X 2 = 0 | X 1 = 0}
=0
p *11 = P{ Z 2 = 1 | Z1 = 1}

= P{ X 1 = 0, X 2 = 1 | X 0 = 0, X 1 = 1}

= P{ X 1 = 0 | X 0 = 0, X 1 = 1} P{ X 2 = 1 | X 0 = 0, X 1 = 1}
= 0.P{ X 2 = 1 | X 1 = 1}
=0
p *12 = P{ Z 2 = 2 | Z1 = 1}

= P{ X 1 = 1, X 2 = 0 | X 0 = 0, X 1 = 1}

= P{ X 1 = 1 | X 0 = 0, X 1 = 1} P{ X 2 = 0 | X 0 = 0, X 1 = 1}
= 1.P{ X 2 = 0 | X 1 = 1}

=1. p10 = 1.(1 − β ) = 1 − β

5


Quá trình ngẫu nhiên
p *13 = P{ Z 2 = 3 | Z1 = 1}

= P{ X 1 = 1, X 2 = 1 | X 0 = 0, X 1 = 1}

= P{ X 1 = 1 | X 0 = 0, X 1 = 1} P{ X 2 = 1 | X 0 = 0, X 1 = 1}
= 1.P{ X 2 = 1 | X 1 = 1}
=1. p11 = 1.β = β
p * 20 = P{ Z 2 = 0 | Z1 = 2}

= P{ X 1 = 0, X 2 = 0 | X 0 = 1, X 1 = 0}

= P{ X 1 = 0 | X 0 = 1, X 1 = 0} P{ X 2 = 0 | X 0 = 1, X 1 = 0}
= 1.P{ X 2 = 0 | X 1 = 0}
=1. p00 = 1.α = α
p * 21 = P{ Z 2 = 1 | Z1 = 2}

= P{ X 1 = 0, X 2 = 1 | X 0 = 1, X 1 = 0}

= P{ X 1 = 0 | X 0 = 1, X 1 = 0} P{ X 2 = 1 | X 0 = 1, X 1 = 0}
= 1.P{ X 2 = 1 | X 1 = 0}

=1. p01 = 1.(1 − α ) = 1 − α
p * 22 = p * 23 = 0

do

( p * 20 + p * 21 + p * 22 + p * 23 ) = 1

p * 30 = P{ Z 2 = 0 | Z1 = 3}

= P{ X 1 = 0, X 2 = 0 | X 0 = 1, X 1 = 1}

= P{ X 1 = 0 | X 0 = 1, X 1 = 1} P{ X 2 = 0 | X 0 = 1, X 1 = 1}
= 0.P{ X 2 = 0 | X 1 = 1}
=0
p * 31 = P{ Z 2 = 1 | Z1 = 3}

= P{ X 1 = 0, X 2 = 1 | X 0 = 1, X 1 = 1}

= P{ X 1 = 0 | X 0 = 1, X 1 = 1} P{ X 2 = 1 | X 0 = 1, X 1 = 1}
= 0.P{ X 2 = 1 | X 1 = 1}
=0
p * 32 = P{ Z 2 = 2 | Z1 = 3}

= P{ X 1 = 1, X 2 = 0 | X 0 = 1, X 1 = 1}

= P{ X 1 = 1 | X 0 = 1, X 1 = 1} P{ X 2 = 0 | X 0 = 1, X 1 = 1}
= 1.P{ X 2 = 0 | X 1 = 1}

=1. p10 = 1.(1 − β ) = 1 − β

6

Quá trình ngẫu nhiên
p * 33 = P{ Z 2 = 3 | Z1 = 3}

= P{ X 1 = 1, X 2 = 1 | X 0 = 1, X 1 = 1}

= P{ X 1 = 1 | X 0 = 1, X 1 = 1} P{ X 2 = 1 | X 0 = 1, X 1 = 1}
= 1.P{ X 2 = 1 | X 1 = 1}
=1. p11 = 1.β = β

Vậy ta được ma trận xác suất chuyển là:
0
0
α 1 − α
0
0
1 − β β 
*

P =
α 1 − α
0
0


0
1− β β 
0
Bài 6:

0

0
1

P = 0,1 0,6 0,3
 0
0
1 
a/
Xuất phát từ trạng thái 1, gọi u là xác suất để quá trình kết thúc tại trạng thái 0
Đặt T = min{n >= 0: Xn = 0 ∨Xn = 2}
Xác suất cần tính:
u = P{ X T = 0 | X 0 = 1} = P{ X T = 0 | X 1 = 1}
u = P{ X T = 0 | X 0 = 1}
2

= ∑ P{ X T = 0 | X 1 = k } P{ X 1 = k | X 0 = 1}
k =0

= P{ X T = 0 | X 1 = 0} P{ X 1 = 0 | X 0 = 1} + P{ X T = 0 | X 1 = 1} P{ X 1 = 1 | X 0 = 1}
+ P{ X T = 0 | X 1 = 2} P{ X 1 = 2 | X 0 = 1}

= 1. p10 + u. p11 + 0. p12
= 0,1 + 0,6u
⇒ u = 0,1 + 0,6u ⇔ u = 0,25

Vậy xuất phát từ trạng thái 1, xác suất để quá trình kết thúc tại trạng thái 0 là
0,25.
b/
Thời gian trung bình để quá trình bị hấp thu là : E[T|X0 = 1]
Ta có: T có phân phối hình học tham số p10 + p12 (do T là số lần thực hiện phép

thử để XT = 0 ∨XT = 2; xác suất thành công là p10 + p12)
Suy ra: E[T | X 0 = 1] =

1
1
=
= 2,5
p10 + p12 0,1 + 0,3

Vậy, thời gian trung bình để quá trình bị hấp thu nếu xuất phát từ trạng thái 1 là
2,5.

7


Quá trình ngẫu nhiên
Bài 7:

0,3 0,2 0,5
P = 0,5 0,1 0,4
 0
0
1 
a/Xuất phát từ trạng thái 1,gọi u là xác suất để quá trình kết thúc tại trạng thái 2
Xuất phát từ trạng thái 0, gọi v là xác suất để quá trình kết thúc tại trạng thái 2
Đặt T = min{n >= 0: Xn = 2}
Ta có:
u = P{ X T = 2 | X 0 = 1} = P{ X T = 2 | X 1 = 1}

v = P{ X T = 2 | X 0 = 0} = P{ X T = 2 | X 1 = 0}

u = P{ X T = 2 | X 0 = 1}
2

= ∑ P{ X T = 2 | X 1 = k } P{ X 1 = k | X 0 = 1}
k=0

= P{ X T = 2 | X 1 = 0} P{ X 1 = 0 | X 0 = 1} + P{ X T = 2 | X 1 = 1} P{ X 1 = 1 | X 0 = 1}
+ P{ X T = 2 | X 1 = 2} P{ X 1 = 2 | X 0 = 1}

= v. p10 + u. p11 + 1. p12
= 0,5v + 0,1u + 0,4
⇒ u = 0,5v + 0,1u + 0,4
v = P{ X T = 2 | X 0 = 0}

(1)

2

= ∑ P{ X T = 2 | X 1 = k } P{ X 1 = k | X 0 = 0}
k =0

= P{ X T = 2 | X 1 = 0} P{ X 1 = 0 | X 0 = 0} + P{ X T = 2 | X 1 = 1} P{ X 1 = 1 | X 0 = 0}
+ P{ X T = 2 | X 1 = 2} P{ X 1 = 2 | X 0 = 0}

= v. p00 + u. p01 + 1. p02
= 0,3v + 0,2u + 0,5
⇒ v = 0,3v + 0,2u + 0,5

(2)
u = 0,5v + 0,1u + 0,4

u = 1
⇔
v = 0,3v + 0,2u + 0,5 v = 1

Từ (1) và (2) ta được 

Vậy xuất phát từ trạng thái 1, xác suất để quá trình kết thúc tại trạng thái 2 là 1.
b/
Thời gian trung bình để quá trình bị hấp thu là : E[T|X0 = 1]
Ta có: T có phân phối hình học tham số p12 (do T là số lần thực hiện phép thử
để XT = 2; xác suất thành công là p12)
Suy ra: E[T | X 0 = 1] =

1
1
=
= 2,5
p12 0,4

Vậy, thời gian trung bình để quá trình bị hấp thu nếu xuất phát từ trạng thái 1 là
2,5.

8


Quá trình ngẫu nhiên
Bài 8:

0,7 0,2 0,1
P = 0,2 0,6 0,2

 0,1 0,4 0,5
Khi N rất lớn, tỷ lệ số nhân viên trong mỗi lớp chính là các xác suất giới hạn
của xích Markov trên.
Đặt phần trăm số nhân viên trong 3 lớp lần lượt là: x, y, z ta có:
0,7 x + 0,2 y + 0,1z = x
− 0,3 x + 0,2 y + 0,1z = 0
 x = 35,29%
0,2 x + 0,6 y + 0,4 z = y
0,2 x − 0,4 y + 0,4 z = 0



⇔
⇔  y = 41,18%

0,1x + 0,4 y + 0,5 z = z
0,1x + 0,4 y − 0,5 z = 0
 z = 23,53%

 x + y + z = 1
 x + y + z = 1

Vậy phần trăm nhân viên trong 3 lớp lần lượt là: 35,29%, 41,18%, 23,53%
Bài 10:
Cho xích Markov 3 trạng thái 0, 1, 2. Tính các phân phối giới hạn trong các
trường hợp có ma trận xác suất chuyển là :
0,6 0,3 0,1


P =  0,3 0,3 0,4

0,4 0,1 0,5

a. Tỷ lệ thời gian quá trình lưu trú ở trạng thái 1 là bao nhiêu?
b. Giả sử về lâu dài chi phí cho sự lưu trú ở các trạng thái 0, 1, 2 trong
mỗi chu kì lần lượt là 2$, 5$, 3$ . Tính chi phí cho mỗi chu kì của
quá trình.
c. nlim
→ ∞ P {Xn+1 = 1|X0 = 0 }.
d. nlim
→ ∞ P{Xn = 1, Xn+1 = 2|X0 = 0 }.
e. nlim
→ ∞ P{Xn-1 = 1, Xn = 2|X0 = 0 }.
Giải :
a. Tỷ lệ thời gian quá trình lưu trú ở trạng thái 1 là bao nhiêu?
Gọi π 0 , π 1 , π 2 lần lượt là xác suất giới hạn thoả :
+
π1
+
π2
= 1
 π0
0,6π + 0,3π + 0,4π = π

0
1
2
0

0,3π 0 + 0,3π 1 + 0,1π 2 = π 1
 0,1π 0 + 0,4π 1 + 0,5π 2 = π 2

π 0

Giải hệ ta được : π 1
π
 2

≈ 0,47
≈ 0,24
≈ 0,29

Vậy tỷ lệ thời gian lưu trú ở trạng thái 1 là π 1 = 0,24

9


Quá trình ngẫu nhiên
b. Giả sử về lâu dài chi phí cho sự lưu trú ở các trạng thái 0, 1, 2 trong
mỗi chu kì lần lượt là 2$, 5$, 3$ . Tính chi phí cho mỗi chu kì của
quá trình.
Chi phí cho chu kì 1 :
0,6.2 + 0,3.5 + 0,1.3 = 3 $
Chi phí cho chu kì 2 :
0,3.2 + 0,3.5 + 0,4.3 = 3,3 $
Chi phí cho chu kì 3 :
0,4.2 + 0,1.5 + 0,5.3 = 2,8 $
c. nlim
= 0 }.
→ ∞ P {Xn+1 = 1|X0
Đặt

p = lim P{ X n+1 = 1 | X 0 = 0}
n →∞

q = lim P{ X n+1 = 1 | X 0 = 1}
n →∞

r = lim P{ X n +1 = 1 | X 0 = 2}
n →∞

Ta có :

p = lim P{ X n+1 = 1 | X 0 = 0}
n →∞

q = lim P{ X n+1 = 1 | X 0 = 1}
n →∞

r = lim P{ X n +1 = 1 | X 0 = 2}
n →∞

2

P{ X n +1 = 1 | X 1 = k }.P{ X 1 = k | X 0 = 0}
Và p = ∑ nlim
→+∞
i =0

⇔ p = 0,6 p + 0,3q + 0,1r
⇔ −0,4 p + 0,3q + 0,1r = 0
Tương tự : 0,3 p − 0,7q + 0,4r = 0

0,4 p + 0,1q − 0,5r = 0
p + q + r = π 1 = 0,2424
Mặt khác :
 p = 0,0808

⇒  q = 0,0808
Từ (1) (2) (3) (4)
 r = 0.0808


Vậy nlim
= 0 } = 0,0808
→ ∞ P {Xn+1 = 1|X0
d. nlim
→ ∞ P{Xn = 1, Xn+1 = 2|X0 = 0 }

= P{ X n +1 = 2 | X n = 1}. lim P{ X n = 1 | X 0 = 0}
n →∞

= P12 . p = 0,4.0,0808 = 0,03232

e. nlim
→ ∞ P{Xn-1 = 1, Xn = 2|X0 = 0 }

= P{ X n = 2 | X n −1 = 1}. lim{ X n −1 = 1 | X 0 = 0}
n →∞

= P12 . p = 0,4.0,0808 = 0,03232

10

(1)
(2)
(3)
(4)


Quá trình ngẫu nhiên
Bài 11 : Giả sử khách hàng sử dụng dịch vụ điện thoại di động ở Việt Nam sẽ
chọn một trong các nhãn hiệu Vinaphone, Mobiphone hay Vietell.
Khách hàng sẽ thay đổi số thuê bao sau mỗi tháng với ma trận xác suất
chuyển là :
0,6 0,2 0,2


P =  0,1 0,7 0,2
 0,1 0,1 0,8 

Tính thị phần dịch vụ di động về lâu dài của các hãng.
Giải :
Gọi π 0 , π 1 , π 2 lần lượt là xác suất giới hạn thoả :
+
π1
+ π2
= 1
 π0
0,6π + 0,1π
+ 0,1π 2 = π 0

0

11

0,2π 0 + 0,7π 1 + 0,1π 2 = π 1
0,2π 0 + 0,2π 1 + 0,8π 2 = π 2
+
 π0
− 0,4π +

0
⇔

 0,2π 0 −
 0,2π 0 +
π 0

Giải hệ ta được : π 1
π
 2

π1
0,1π 11
0,3π 1
0,2π 1

+
π2
+ 0,1π 2
+ 0,1π 2
− 0,2π 2

=
=
=
=

1
0
0
0

= 0,2
= 0,3
= 0,5

Vậy thị trường dịch vụ di động của các hãng Vinaphone, Mobiphone
và Vietell lần lượt là : 20% ; 30% ; 50%.
Bài 12 :
Phân loại các lớp trạng thái của xích Markov và tìm tất cả các lớp trạng thái
liên lạc với nhau , với ma trận xác suất chuyển sau :
a.
0
1
P= 
0

0

0 1 / 2 1 / 2
0 0
0 

1 0
0 

1 0
0 

Ta có : 0↔1 , 0↔2, 0↔3,1↔2,1↔3,2↔3
⇒ Hai trạng thái bất kì của xích Markov này đều liên lạc đuợc với nhau
nên đây là xích markov tối giản có 1 lớp trạng thái tương đương là
{0,1,2,3}.

11


Quá trình ngẫu nhiên
0
1
P= 
0

0

b.

0 1 / 2 1 / 2
0 0
0 
1 0
0 


0 1
0 

Ta có :
0↔1 , 0↔2, 0↔3,1↔2,1↔3,2↔3
Đây cũng là xích tối giản nên có 1 lớp trạng thái tuơng đương
{ 0,1,2,3 }
0
0 
1 / 2 1 / 2 0
1 / 2 1 / 2 0
0
0 

 0
0 1/ 2 1/ 2 0 


0 1/ 2 1/ 2 0 
 0
1 / 4 1 / 4 0 1 / 4 1 / 4

c.

Ta có :0 ↔ 1, 2 ↔ 3
Và không còn cặp trạng thái nào khác liên lạc được với nhau nên có 3
lớp trạng thái tương đương là :
E1 = { 0,1} , E2 = { 2,3} , E3 = { 4}

1 / 3

 0

2 / 3

 0
1 / 4

1 / 6

d.

Ta có :

0 1/ 3 0
0
0 
1/ 4 0 3 / 4 0
0 
0 1/ 3 0
0
0 

1/ 5 0 4 / 5 0
0 
1/ 4 0
0 1 / 4 1 / 4

1 / 6 1 / 6 1 / 6 1 / 6 1 / 6

0 ↔ 2, 1 ↔ 3, 4 ↔ 5

Có 3 lớp trạng thái tương đương là :

⇒
E1 = { 0,2} , E 2 = {1,3} , E3 = { 4,5}

Bài 13 :
Xét xích Markov với 5 trạng thái 0, 1, 2, 3, 3 và
0 0
1 / 2 1 / 2 0
1 / 2 1 / 2 0
0 0 

0 1/ 2 1/ 2 0 
P=  0


0 1/ 2 1/ 2 0 
 0
1 / 4 1 / 4 0
0 m

a.

Xác định m.
Ta có : 1/4 + 1/4 + 0 + 0 + m = 1
⇒
m = 1/2
12

Quá trình ngẫu nhiên
b.

Tìm các lớp trạng thái tương đương .
Ta có : 0 ↔ 1, 2 ↔ 3
⇒ Có 3 lớp trạng thái tương đương là :
E1 = { 0,1} , E 2 = { 2,3} , E3 = { 4}

c.

Xác định các trạng thái thường xuyên và vãng lai.
•

Ta có :

P00 = 1 / 2
P00 = P{ X 2 = 0 | X 0 = 0}
4

= ∑ P{ X 2 = 0 | X 1 = k }.P{ X 1 = k | X 0 = 0}
k =0

= P00 P00 + P01 P10
1 1 1 1 1
= . + . =
2 2 2 2 2
1
P00( 3 ) =
2


1
P00( n ) =
2
∞
1
⇒ ∑ P00( n ) = lim n. = ∞
n →∞
2
n =0

Vậy trạng thái 0 là thuờng xuyên
⇒
Trạng thái 1 cũng thường xuyên.
P22( n ) =

•
∞

1
2

n
=∞
n→∞ 2

⇒ ∑ P22( n ) = lim
n =0

⇒ 2 là trạng thái thường xuyên ⇒ 3 cũng là trạng thái thường xuyên.
1

P44( n ) = n
•
2
∞
∞
1
P44( n ) = ∑ n = 2 < ∞
∑
2
n =0
n =0

⇒ Trạng thái 4 là trạng thái vãng lai.
Vậy, các trạng thái thường xuyên là: 0, 1, 2, và 3; trạng thái vãng lai là 4.

13


Quá trình ngẫu nhiên
Bài 14 :
Cho 1 xích Markov với 6 trạng thái 0, 1, 2, 3, 4, 5 với ma trận xác suất chuyển
1 / 3 0 1 / 3 0 0 0 
1 / 2 1 / 4 1 / 4 0 0 0 


 0
0
0 0 1 0 
P= 


1 / 4 1 / 4 1 / 4 0 0 1 / 4
 0
0
1 0 0 0 


0
0 0 0 1 
 0

Tìm các trạng thái thường xuyên ( hồi quy - recurrent ) & vãng lai
(transient)
Giải :
Ta có các lớp trạng thái tương đương :

{ 0} , {1} , { 2,4} , { 3} , { 5}

Trạng thái 0 :
P00( n ) =
⇒

∞
1
3
⇒
P00( n ) = < ∞
∑
n
2
3

n=0

0 là trạng thái vãng lai.
Trạng thái 1 :
P11( n ) =
⇒

∞
1
4
⇒
P11( n ) = < ∞
∑
n
3
4
n =0

1 là trạng thái vãng lai.
Trạng thái 2 và 4 :
∞

P22( n ) = 1 ⇒ ∑ P22( n ) = lim = ∞
n =0

n →∞

⇒ Trạng thái 2 là trạng thái thường xuyên , do 2 ↔ 4 nên 4 cũng là trạng
thái thường xuyên.
Trạng thái 3 :

P33( n ) =
⇒

∞
1
4
⇒
P33( n ) = < ∞
∑
n
3
4
n =0

3 là trạng thái vãng lai.
Trạng thái 5 :
∞

P55( n ) = 1 ⇒ ∑ P11( n ) = lim n = ∞
⇒

n =0

n →∞

5 là trạng thái thường xuyên.
Vậy, các trạng thái thường xuyên là: 2, 4 và 5; các trạng thái vãng lai là:
0, 1 và 3

14

Quá trình ngẫu nhiên

BÀI TẬP CHƯƠNG IV: QUÁ TRÌNH POISSON
Bài 1:
n

n

P{X + Y = n} = ∑ P{X = k ,Y = n − k } =∑ P{X = k }P{Y = n − k }
k =0

k =0

λ − λ1 λ
1
n!
(λ + λ ) n
e
e − λ2 = e − ( λ1 + λ2 ) ∑
λ1k λ2n − k = 1 2 e − ( λ1 + λ2 ) (n = 0,1, 2...)
( n − k )!
n!
n!
k =0 k !
k = 0 k !( n − k )!
n

=∑

k
1

n−k
2

n

Vậy S=X+Y có phân phối poisson với tham số λ = λ1 + λ2
Cách khác:
Dùng hàm monnent cho X, Y ta có :
Do X và Y đều có phân phối Poisson nên ta có:

ϕ X (t ) = e λ1*( e −1)

t
ϕY (t ) = e λ2 *( e −1)
t

t

t

t

ϕ ( X +Y ) (t ) = ϕ X (t ) * ϕY (t ) = e λ1 ( e −1)+λ2 ( e −1) = e ( λ1 +λ2 )( e −1)
Như vậy X+Y có phân phối Poisson với tham số λ1 + λ 2
Bài 2:
P{X = k | X + Y = n} =

P{X = k , X + Y = n} P{X + Y = n | X = k }P{X = k }
=
P{X + Y = n}
P{X + Y = n}

λ1k − λ1 λ2n − k − λ2
e
e
P{Y = n − k | X = k}P{X = k} P{X = k}P{Y = n − k } k !
(n − k )!
=
=
=
(λ1 + λ2 ) n − ( λ1 + λ2 )
P{X + Y = n}
P{X + Y = n}
e
n!
k

n−k

k n −k
 λ1   λ2 
n!
λ1k λ2n − k
k λ1 λ2
=
=

C
= Cnk 
÷
÷
n
n
n
k !(n − k )! (λ1 + λ2 )
(λ1 + λ2 )
 λ1 + λ2   λ1 + λ2 

Bài 3:
Ta có:
+ N1 (0) = 0; N 2 (0) = 0 ⇒ N (0) = N1 (0) + N 2 (0) = 0
+ N1 (t ) ∈ N ; N 2 (t ) ∈ N ⇒ N (t ) = N1 (t ) + N 2 (t ) ∈ N
+ Từ giả thuyết

N1 (tn ) − N1 (tn −1 ); N1 (t n −1 ) − N1 (tn − 2 );...; N1 (t1 ) − N1 (t0 ) độc lập với nhau
N 2 (tn ) − N 2 (tn −1 ); N 2 (tn −1 ) − N 2 (tn − 2 );...; N 2 (t1 ) − N 2 (t0 ) độc lập với nhau

15

(1)
(2)


Quá trình ngẫu nhiên
Mà:

N (tn ) = N1 (tn ) + N 2 (tn ); N (t n −1 ) = N1 (tn −1 ) + N 2 (tn −1 )

⇒ N (tn ) − N (tn −1 ) = N1 (tn ) + N 2 (tn ) − N1 (tn −1 ) − N 2 (t n −1 )
= N1 (tn ) − N1 (tn −1 ) + N 2 (tn ) − N 2 (tn −1 )
 N (tn ) − N (tn −1 ) = N1 (t n −1 ) − N1 (t n − 2 ) + N 2 (tn −1 ) − N 2 (tn − 2 )
⇒
 N (t1 ) − N (t0 ) = N1 (t1 ) − N1 (t0 ) + N 2 (t1 ) − N 2 (t0 )

Là độc lập với nhau.
+ Theo CM bài 1 thì {N i (t ); t ≥ 0} có phân phối P{λi }

(3)

⇒ P{N (t ) − N ( s)} = P{N1 (t ) + N 2 (t ) − N1 ( s) − N 2 ( s)}
= P{N1 (t ) − N1 ( s ) + N 2 (t ) − N 2 ( s )} = P{N1 (t ) − N1 ( s )} + P{N 2 (t ) − N 2 ( s )}

Mà:

N1 (t ) − N1 ( s ) :~ P ( λ1 (t − s ) ) ; N 2 (t ) − N 2 ( s ) :~ P ( λ2 (t − s) )

⇒ N (t ) − N ( s ) = N1 (t ) − N1 ( s) + N 2 (t ) − N 2 ( s) :~ P ( (λ1 + λ2 )(t − s) )

(4)

Từ (1), (2), (3) và (4) ⇒ { N ( t ) ; t ≥ 0} là quá trình Poisson với tham số (λ1 + λ2 )t
Bài 4 :
Ta có:
P{M = k ; N = n} = P{M = k | N = n}P{N = n} = C p (1 − p )
k
n

+∞

⇒ P{M = k} = ∑
n=k

k

n−k

p k (1 − p ) n − k λ n e− λ p k e − λ k +∞ [ (1 − p )λ ]
=
λ ∑
k !(n − k )!
k!
(n − k )!
n=k

n −k

λ n − λ p k (1 − p) n − k λ ne − λ
e =
n!
k !( n − k )!
p k e − λ k λ (1− p ) ( λ p ) − λ p
=
λ e
=
e
k!
k!

Bài 6 :
a) Do X(t) là quá trình Poisson nên X(t) ∼ P(λt)
( λ t ) k − λt
⇒P (X(t) = k ) =
e
k!

b) Cố định 0 < s < t
P (X (t) = n + k | X (s) = n )
P( X(s) = n , X(t) = n + k )
P ( X ( s ) = n)

= 

P( X ( s) = n) * P( X (t − s) = n + k − n)
P( X ( s ) = n)

= P{X (t − s) = k} =

(λ (t − s)) k − λ ( t − s )
e
k!

c)

E[ X (t ) X ( s )] = E[ X ( s ) ( X (t ) − X ( s ) + X ( s ) ) ] = E[ X 2 ( s ) + X ( s) ( X (t ) − X ( s ) ) ]

= E[ X 2 ( s )] + E[ X ( s ) ( X (t ) − X ( s ) ) ] = E[ X 2 ( s)] + E[ X ( s )]E[ X (t ) − X ( s )]
= Var[ X ( s )] + ( E[X ( s )]) + E[ X ( s)]{ E[ X (t )] − E[ X ( s )]}

2

= Var[ X ( s )] + ( E[ X ( s )]) + E[ X ( s )]E[ X (t )] − ( E[ X ( s )])
2

= Var[ X ( s )] + E[ X ( s )]E[ X (t )] = λ s + λ 2 st

16

2

k


Quá trình ngẫu nhiên
Bài 7:
Ta có :
X (t) là số khách hàng vào cửa hàng tại thời điểm t
Bưu điện mở cửa lúc 8 :00 AM
λ=2
⇒ X(t) ∼ P(λt)
(2 * 4) 0
* e −2*4 = e-8
P { X (12 - 8) = 0 ) = P ( X (4) = 0 } =
0!

a)
b)

(2 * 1) 2

* e −2 = 2 * e −2
2!

•

P { X(1) = 2 } =

•

P {X (1) = 2 ∧ X(3) = 6 } = P {X (1) = 2, X (3 - 1) = 4}
= P {X (1) = 2) * P (X (2) = 4}
(2 * 1) 2
(2 * 2) 4
−2
*e *
* e −4
=
2!
4!
64 −6
e
=
3

c)

P{ X (1) = 2, X (3) = 6}
P{ X (3) = 6}
P{ X (1) = 2, X (3 − 1) = 4}
=

P ( X (3) = 6)

•P {X (1) = 2| X(3) = 6} =

=

P ( X (1) = 2) * P ( X (2) = 4)
P ( X (3) = 6)

(2 *1) 2 −2 (2 * 2) 4 −4
*e *
*e
2
!
4
!
=
(2 * 3) 6 −6
*e
6!
80
=
243
≥
6
|
X
(
1
)

=
2
)
•P (X(3)
= P{X(3) – X(1) ≥ 4| X(1) = 2}
= P{X(3) – X(1) ≥ 4}
= 1 – P{X(2) < 4}
3
4k
4 0 41 4 2 4 3
= 1 − ∑ e −4 = 1 − e −4 ( + +
+ )
0! 1! 2! 3!
k = 0 k!
71
= 1 − e −4
3

17


Quá trình ngẫu nhiên
Bài 8:
a)

P { X (1) ≤ 2} = P { X (1) = 0} + P { X (1) = 1} + P { X (1) = 2}
20 −2 21 −2 22 −2
e + e + e = 5e −2 ≈ 0.6767
0!
1!

2!
P { X (1) = 1 ∧ X (2) = 3} = P { X (1) = 1, X (2) = 3} = P { X (1) = 1, X (2) − X (1) = 2}
=

= P { X (1) = 1} P { X (1) = 2} =

b)
P { X (1) ≥ 2 | X (1) ≥ 1} =

c)

21 −2 2 2 −2
e
e = 4e −4 ≈ 0,0733
1!
2!

P{X(1) ≥ 2,X(1) ≥ 1) P{X (1) ≥ 2}
=
P{X (1) ≥ 1}
P{X (1) ≥ 1}

=

1 − P{X (1) = 0} − P{X (1) = 1} − P{X (1) = 2}
=
1 − P{X (1) = 0} − P{X (1) = 1}

=

1 − 5e −2
≈ 0.5443
1 − 3e −2

1−

20 −2 21 −2 22 −2
e − e − e
0!
1!
2!
0
1
2
2
1 − e −2 − e −2
0!
1!

E [ X (2)] = 2λ = 4
E ( X (1)) 2  = Var( X (1)) + ( E [ X (1) ] ) 2 = 2 + 4 = 6

d)

E[ X (1) X (2)] = E[ X (1) ( X (3) − X (1) ) ] = E[ X (1)]E[ X (3) − X (1)]
= E[ X (1)]{E[ X (3)] − E[ X (1)]} = E[ X (1)]E[ X (3)] − E[ X (1)]2 = 2.6 − 2 2 = 8

Bài 9:
Ta có λ = 3/ phút = 3 / 60 giây = 1 / 20 giây
a)

(λ s ) 0 − λ s
P{X ( s ) = 0} =
e = e − λ s = e − s / 20
0!
b)
P{X ( s ) < 2} = P{X ( s ) = 0} + P{X ( s) = 1} = e − s / 20 (1 +

18

s
)
20


Quá trình ngẫu nhiên
Bài 11:
X(t) là khách hàng đã vào cửa hàng đến thời điểm t
Với λ = 6 / giờ.
a)

b)

1
P ( X ( ) = 1, X (1) = 1))
1
P( X( ) = 1|X(1) = 1) =
4
4
P ( X (1) = 1)
1

1
1
3
P ( X ( ) = 1, X (1 − ) = 0) P( X ( ) = 1) * P( X ( ) = 0)
4
4
4
4
=
=
P( X (1) = 1)
P ( X (1) = 1)
1
3
(6 * )1
(6 * ) 0
6
−
4 *e 4 *
4 * e −18/ 4
1* e −6
0!
= 1!
=
= 0, 25
(6 *1)1 −6
4 * e −6
*e
1!
P ( X (3) = 5, X (1) = 2))

P (X(1) = 2| X(3) = 5) =
P ( X (3) = 5)
=

P ( X (1) = 2, X (3 − 1) = 5 − 2) P( X (1) = 2) * P( X (2) = 3)
=
P ( X (3) = 5)
P ( X (3) = 5)

(6 *1) 2 −6 (6 * 2)3 −12
*e *
*e
80 * e −18
80
3!
= 2!
=
=
5
−18
(6 * 3)
243* e
243
* e −18
5!

c) P {X (t) = m| X (T) = n} , 0 < t < T
• m > n thì P{X (t) = m| X (T) = n} = 0;
• m < n thì :
P{X (t) = m| X (T) = n} =

=

P ( X (t ) = m, X (T ) = n))
P ( X (T ) = n)

P ( X (t ) = m, X (T − t ) = n − m) P ( X (t ) = m) * P ( X (T − t ) = n − m)
=
P ( X (T ) = n)
P ( X (T ) = n)

(λt ) m − λt (λ (T − t )) n − m − λ (T − t )
*e *
*e
n!
t m * (T − t ) n − m
m!
(n − m)!
=
=
*
(λT ) n − λT
m!(n − m)!
Tn
*e
n!
t
t
= Cnm * ( ) m * (1 − ) n − m
T

T

Bài 12:
19


Quá trình ngẫu nhiên
a ) E [ W4 ] =

4
λ

b) E[W4 | N (1) = 2] = E[W4 | W2 ≤ 1] = E[W4 - W2 + W2 | W2 ≤ 1]
1

= E[W4 - W2 | W2 ≤ 1] + E[W2 | W2 ≤ 1] = E[W4 - W2 ] + ∫ w2 f ( w2 )dw2 =
0

1

=

4 2
4
2
- + λ 2 ∫ w2 2e − λ w2 dw2 = − (λ + 2 + )e − λ
λ λ
λ
λ
0

(dùng công thức tích phân từng phần 2 lần)

c) E [ X (4) − X (2) | X (1) = 3] = E[ X (4) − X (2)] = E[ X (2)] = 2λ

Bài 13:
Ta có :
P( N(s) = k| N(t) = n ) Với 0 < s < t
• Nếu k > n thì P( N(s) = k| N(t) = n ) = 0.
• kP( N(s) = k, N(t) = n )
P ( N (t ) = n )
P ( N ( s ) = k ) * P ( N (t − s) = n − k )
=
P ( N (t ) = n)

P( N(s) = k| N(t) = n ) =

(λs ) k −λs [ λ (t − s)]
e *
* e −λ ( t − s )
k!
(n − k )!
=
(λt ) n
* e − λt
n!
n!
s k * (t − s) n − k
*

=
k!(n − k )!
tn
s
s
= C kn * ( ) k * (1 − ) n −k ).
t
t
n−k

20

4 2 1 λ 2 w2 − λ w2
- + w2
e dw2
λ λ ∫0
1!


Quá trình ngẫu nhiên
Bài 14:
a) Tìm fW | X (4) = 3 (t )
5

FW5 | X (4) = 3 (t ) = P{W5 ≤ t | X (4) = 3} = P{ X (t ) ≥ 5 | X (4) = 3} = 1 − P{ X (t ) < 5 | X (4) = 3}
1

= 1 − P{ X (t ) − X (4) < 2 | X (4) = 3} = 1 − P{ X (t ) − X (4) < 2} = 1 − ∑ P{ X (t − 4) = k}
k =0

1

=1− ∑

( λ (t − 4) )
k!

k =0

=1− e

− λ ( t − 4)

k

1

e − λ (t − 4) = 1 − e − λ ( t − 4) ∑

( λ (t − 4) )
k!

k =0

( λt − 3λ )

k

Mà:

fW5 | X (4) = 3 (t ) = F 'W5 | X (4) =3 (t ) = { 1 − e − λ (t − 4) ( λt − 3λ ) }

'

= e − λ ( t − 4) ( λ 2t − 3λ 2 − λ )

b)
∞

E[W5 | X (4) = 3] = ∫ te − λ (t − 4) ( λ 2t − 3λ 2 − λ ) dt
4

∞

(

)

= ∫ e − λ (t − 4) λ 2t 2 − ( 3λ 2 − λ ) t dt
4

= 4λ + 9 +

3
λ

Bài 15:
a)

{W1 > w1 ,W2 > w2 } = { X ( w1 ) = 0, X ( w2 ) − X ( w1 ) ∈ {0,1}}

Giả sử:

{W1 > w1 ,W2 > w2 } = { X ( w1 ) = 0, X ( w2 ) − X ( w1 ) ≥ 2}
Khi, X ( w2 ) − X ( w1 ) ≥ 2 ⇒ X ( w2 ) ≥ 2 ⇒ W2 ≤ w2 trái giả thuyết W2 > w2

Vậy, đẳng thức trên đúng.
b)

P{W1 > w1;W2 > w2 } = P{ X ( w1 ) < 1; X ( w2 ) < 2} = P{ X ( w2 ) < 2 | X ( w1 ) < 1}P{ X ( w1 ) < 1}

= P{ X ( w2 ) < 2 | X ( w1 ) = 0}P{ X ( w1 ) = 0} = P{ X ( w2 − w1 ) < 2 | X ( w1 ) = 0}P{ X ( w1 ) = 0}
 ( λ ( w2 − w1 ) ) 0 − λ ( w − w ) ( λ ( w2 − w1 ) ) 1 − λ ( w − w )  ( λ w1 ) 0 − λ w
= P{ X ( w2 − w1 ) < 2}P{ X ( w1 ) = 0} = 
e 2 1 +
e 2 1 
e 1
0!
1!
0!


= e − λ w1 e −λ ( w2 − w1 ) + λ ( w2 − w1 ) e −λ ( w2 − w1 )  = e − λ w1 [ 1 + λ ( w2 − w1 ) ] e −λ ( w2 − w1 )
(dpcm)

Ta có:

W1 ∈ ( w1 , w2 ),W2 ∈ ( w2 , ∞)
P{W1 = w1;W2 = w2 } = P{S1 = w1; S 2 = w2 − w1} = P{S1 = w1}P{S 2 = w2 − w1}
= λ e − λ w1 λ e − λ ( w2 − w1 ) = λ 2e− λ w2

⇒ f ( w1 , w2 ) = λ 2e − λ w2

(0 < w1 < w2 )

c)
21


Quá trình ngẫu nhiên
Hàm mật độ biên của các biến:
f ( w1 ) =
f ( w2 ) =

+∞

∫

f ( w1 , w2 )dw2 =

+∞

∫λ e

−∞

w1

+∞

w2

∫

f ( w1 , w2 ) dw1 =

−∞

2 − λ w2

dw2 = lim −λ e − λ w2

)

dw1 = λ 2e − λ w2 w1

= λ 2e − λ w2 w2

β →∞

∫λ e

2 − λ w2

(

w2
0

β
w1

= λ e − λ w1

0

d)
λ nt n −1 − λ t
f w( n ) (t ) =
e
(n − 1)
Ta có:
λ 1w11−1 − λ w1
fW1 ( w1 ) =
e
= λ e− λ w1
(1 − 1)!
λ 2 w22 −1 − λ w2
fW2 ( w2 ) =
e
= λ 2 w2 e− λ w2
(2 − 1)!
Vậy, kết quả trên phù hợp với định lý về phân phối của các thời điểm đến.

Bài 16:
+∞

+∞

E [ Yn ] = E  2n e −Wn  = 2 n ∫ e − t P{Wn = t}dt = 2n ∫ e − t
0

= 2n

+∞

0

λ nt n −1 − λ t
e dt
(n − 1)!

λ
λ
(n − 1)!
λn
n −1 − λ t − t
n
n
t
e
dt
=
2
=
2
= 1 < ∞.
(n − 1)! ∫0
(n − 1)! (1 + λ ) n
(1 + λ ) n
n

n

E [ Yn +1 | Fn ] = E  2n +1 e −Wn+1 | Fn  = 2n +1 E e −Wn+1 +Wn −Wn | Fn  = 2n +1 E e − (Wn+1 −Wn )e −Wn | Fn 
= 2n +1 E e − (Wn+1 −Wn ) | Fn  E  e −Wn | Fn  = 2n +1 E e − (Wn+1 −Wn )  e −Wn = 2n +1 E e − Sn+1  e −Wn
=2

n +1 −Wn

e

+∞

∫e

− Sn +1 − λ Sn +1

e

d ( Sn +1 ) = 2

n +1 −Wn

e

0

+∞

∫e

−2 S n +1

d ( S n +1 )

0

1
lim e− Sn+1 0β = 2n e −Wn = Yn
β
2 →∞
Vậy, {Yn ; n ≥ 0} là một martingale.
= −2n +1 e −Wn

Bài 17:
1

a ) E[W1 | X (1) = n] = E[t | ( X (t ) = 1| X (1) = n ) ] = ∫ tP { ( X (t ) = 1| X (1) = n ) } dt
0

1

n −1

1

t  t
= ∫ tCn1  ÷ 1 − ÷ dt
1  1
0

1

= ∫ Cn1t 2 ( 1 − t )
0

n −1

dt =

CM ở bài 13

2
( n + 1)(n + 2)

Dùng tích phân từng phần 2 lần

22


Quá trình ngẫu nhiên
Bài 18:
Gọi X1 : số khách hàng là cá nhân vào ngân hàng với xác suất p = 0.7
Gọi X2 : số khách hàng là doanh nghiệp vào ngân hàng với xác suất q = 0.3
Gọi X : số khách hàng vào ngân hàng
Suy ra X = X1 + X2
Theo giả thiết X(t) là quá trình Poisson với tham số λ = 30 người/giờ
Theo định lý của quá trình Poisson có phân loại thì
X1(t) là quá trình Poisson với tham số λ1 = pλ =21 người/giờ
X2(t) là quá trình Poisson với tham số λ2 = qλ = 9 người/giờ
Ta cần tính

P{X 1 (1) = 3, X 2 (1) = 2}

Vì X1 và X2 độc lập với nhau nên

P{X 1 (1) = 3, X 2 (1) = 2} = P{X 1 (1) = 3) P ( X 2 (1) = 2} =

23

λ13 − λ1 λ22 − λ2 213 −21 92 −9
e
e =
e
e = 5.85 × 10 −9
3!
2!
3!
2!


Quá trình ngẫu nhiên
BÀI TẬP XÍCH MARKOV
Bài 1.1 : Cho xích Markov 3 trạng thái 0, 1, 2 với ma trận xác suất chuyển :
0,6 0,3 0,1


P =  0,3 0,3 0,4
0,4 0,1 0,5
e. Tính P{X2 = 1, X1 = 1|X0 = 0 }.
f. Tính P{ X2 = 1, X3 = 1|X1 = 0 }.
g. Biết quá trình xuất phát với trạng thái X0 = 1.

Tính
P{ X0 = 1, X1 = 0,X2= 2 }.
h. Giả sử phân phối đầu là α 0 = 0,5 ; α1 = 0,5.

Tính P{ X0 = 1, X1 = 1,X2= 0 }.
P{ X1= 1, X2= 1,X3 = 0 }.
Giải :
e. Tính

f.

P{X2 = 1, X1 = 1|X0 = 0 }?
P{X2 = 1, X1 = 1|X0 = 0 } = P{ X2 = 1|X1 = 1 } . P { X1 = 1|X0 =
0}
= P11 . P01
= 0,3 . 0,3
= 0,09

Tính P{ X2 = 1, X3 = 1|X1 = 0 }?
P{ X2 = 1, X3 = 1|X1 = 0 } = P{ X3 = 1|X2 = 1 } . P { X2 = 1|X1 =
0}
= P11 . P01
= 0,3 . 0,3
= 0,09

g. Biết quá trình xuất phát với trạng thái X0 = 1 nên ta có P{ X0 = 1 } = 1
P{ X0 = 1, X1 = 0,X2= 2 }
= P{ X1 = 0|X0 = 1 } . P { X2 = 2|X1 = 0 }.P

{ X0 = 1 }

= P 10 . P02 . 1
= 0,3 . 0,1 .1
= 0,03
h. Phân phối đầu là α 0 = 0,5 ; α1 = 0,5 ⇒ α 2 = 0 nghĩa là :
P{ X0 = 0 } = 0,5 ; P{ X0 = 1 } = 0,5 ; P{ X0 = 2 } = 0 ;
• P{ X0 = 1, X1 = 1,X2= 0 } = P{ X1 = 1|X0 = 1 } . P { X2 = 0|X1 = 1 }.P

{ X0 = 1 }

•

=P11 . P10 . α 0

= 0,3 . 0,3 . 0,5
= 0,045
P{ X1= 1, X2= 1,X3 = 0 } = P{ X2 = 1|X1 = 1 } . P { X3 = 0|X2 = 1 }.P

{ X1 = 1 }
24


Quá trình ngẫu nhiên

Mà P { X1 = 1 }

= P11 . P10 . P{ X1 = 1 }
= ∑ P{ X1 = 1, X0 = i }
= P{X1 = 1, X0 = 0}. P{X1 = 1, X0 = 1}. P{X1 = 1, X0 =

2}

= P { X1 = 1|X0 = 0 }.P { X0 = 0 }

+
+

P { X1 = 1|X0 = 1 }.P { X0 = 1 }
P { X1 = 1|X0 = 2 }.P { X0 = 2 }
= P01 . α 0 + P11 . α1 + P21 . α 2
Nên P{ X1= 1, X2= 1,X3 = 0 }

= 0,6 . 0,5 + 0,3 . 0,5 + 0,1 . 0
= 0,45
= 0,3 .0,3 . 0,45
= 0,0405

Bài 1.2 : Giả sử 1 hệ thống sản xuất có chất lượng sản phẩm tuân theo xích
Markov với kí
hiệu 1 cho sản phẩm tốt và 0 cho sản phẩm xấu và ma trận
xác suất chuyển là :
0,9

0,1 

P= 

0,8 0,2
Tính xác suất để phế phẩm đầu tiên xuất hiện tại chu kì thứ 5.
Giải :
α
Gọi 0 = P{X0 = 0} và α1 = P{X0 = 1} = 1 - α 0 .

Ta có xác suất để phế phẩm đầu tiên xuất hiện tại chu kì thứ 5 là :
P { X1 = 1, X2 = 1, X3 = 1, X4 = 1, X5 = 0 }
= P{X1=1}. P{X2 = 1|X1 = 1}. P {X3 = 1|X2 = 1}. P{X4 = 1|X3 = 1}.
P{X5=0|X4 =1}
= P{X1=1} . P11 . P11 . P11 . P01
(*)
∑
Mà P{X1=1} = P{X1=1,X0 = i }
= P{X1=1,X0 = 1 } + P{X1=1,X0 = 0}
= P{X0=1}. P{X1 = 1|X0 = 1} + P{X0=0}. P{X1 = 1|X0 = 0}
= ( 1- α 0 ) . P11 + α 0 . P01
= ( 1- α 0 ) . 0,9 + α 0 . 0,8
= 0,9 – 0,1 α 0
Thế vào ( * ) ta có :
( 0,9 – 0,1 α 0 ) . 0,9 . 0,9 .0,9 . 0,8 =

Bài 1.4: Cho xích Markov với ma trận chuyển xác suất :
0,6 0,3 0,1


P =  0,3 0,3 0,4
0,4 0,1 0,5

c. Tính các xác suất giới hạn.
d. Tính tỷ lệ thời gian ( trong dài hạn ) mà quá trình lưu trú ở trạng thái
1.
25