Mô hình xác suất và một số ứng dụng trong kinh tế

BO. GIAO DUC
. VA DAO TAO
.
TRUONG BAI
. HOC
. KINH TE TP. HO CHi MINH

NGUYEN

A

I

'

vAN si

,..,

'

A'

A

__ --MO HIND XAC SUAT VA MOT
SO
•

tfNG DUNG
TRONG KIND TE

•

-

'

,;:.

_,

~

. CHUYEN NGANH : DIEU KHIEN HQC KINH TE

MA so:

5.02.20

LU~N AN TIEN si KINH TE

NGU'OI HU'ONG DAN KHOA HQC :

- PGS. D~G

HAN

- GS. TS TRu'dNG

TP.

HO CHi MINH - 2001

VAN KIIANG


L(11 CAM DOAN

Toi xin cam doan day Hi cong trlnh nghien cuu cua rieng toi. Cac s6li~u,
ke't qua neu trong lu~n an la trung thlfc.
Nhung ke't lu~n cua lu~n an chua tung du'trlnh nao khac.

Ngllm cam doan

NGUYEN vA.N si


MUC
. LUC
.
?

)<

MODAU

1

CHUONGl

4

XiCH MARKOV VA CAC TR~NG THAI

4

1.1. Tinh markov va xich Markov

4

1.~.

1.1.1. Cac dinh nghia ccJ ban

4

1.1.2. Ma tr~n xac sua't chuy~n

5

1.1.3. Phan ph6i huu h~n chien.

8

1.1.4. Phan ph6i ban dffu

·8

Phan ldp cac tr~ng thai

9

1.2.1 Cac tr~ng thai lien thong va sv phan lOp.

9

1.2.1.1 Cac tr~ng thai lien thong.
1.2.1.2. Chu ky cua

tr~ng

thai

1.2.2. Tr~ng thai h6i quy va tr~ng thai khong h6i quy

9

10
10

1.2.2.1. Cac dinh nghia.

10

1.2.2.2. Tieu chufin h6i quy va khong h6i quy

13

1.3. Xac sua't gioi h~n

13

1.3.1. Binh ly Ergodic
1.3.2 Thoi gian

l~p

trung blnh

13
16

1.4 Xich Markov ha'p th\1

16

1.5. Xich Markov voi thoi gian lien We

20

1.5.1. Binh nghia va cac khai ni~m ccJ ban

20

1.5.2. Qua trlnh sinh va huy

22

1.5.3. Gioi h~n cua xac sua't .

23

1.5.4, Qua trlnh Poisson va qua trlnh de'm

25


1.5.5. Qua trlnh Poisson c6 phan lo<;~.i

29

1.5.6. Qua trlnh d6i mdi

29

1.5.6.1. Binh nghia

29

1.5.6.2. Phan ph6i va trung blnh cua N (t)

30

CHUONG2

32

CAC MO HINH XiCH MARKOV

32

2.1. Mo hlnh ki€m ke

32

2.2. Mo hlnh ph\lc V\1 dam dong.

35

2.3. Xich Markov

ch<;~.y

lien tie'p

36

2.3.1. D<;~.ng rna tr~n xac sua't chuy€n.

36

2.3.2. Cac vi d\1

37

2.4. Mo hlnh pharr ho<;~.ch thi ph~n

38

2. 5 Mo hlnh tr<;~.ng thai ha'p th1,1

40

2.6. Ung dl;lng cua qua trlnh Poisson

41

2.7. Mo hlnh tang tnl'dng tuye'n tinh vdi slf nh~p eli.

42

2.8. U'ng dl;lng cua qua trlnh d6i moi

44

CHUONG3

49

UNG D\}NG CUA XICH MARKOV

49

3.1. U'ng dl;lng mo hinh phan ho<;~.ch thi ph~n cho 2 hang hang khong d
V~tNam

49

3.1.1 Tim rna tr~n xac sua't chuy€n va ki€m tra tinh Markov

50

3.1.1.1 Thu~t giiH tim rna tr~n xac sua't chuy€n

50

3.1.1.2. Ki€m tra tfnh Markov

52

3.1.2. Lttu

dd ki€m tra tinh Markov va tim rna tr~n chuy€n trong bai toan

phan ho<;~.ch thi ph~n cho hai hang hang khong

54

3.1.3. Chuang trlnh ph~n m€m ki€m tra tinh Markov va tim rna tr~n
chuy€n trong bai toan phan ho<;~.ch thi ph~n cua hai hang hang khong

55


3.1.4. Phan ho~ch thi ph~n cho hai hang hang khong voi seili~u thvc te' 62
3.1.4.1. Kiern tra tinh Markov va tlrn rna tr~n xac sua't chuyen

62

3.1.4.2. Phan ho~ch thi ph~n

63

3.2. Phan tich st;t bie'n d9ng ciia gia vang t~i TP H6 Chi Minh
3.2.1.Tirn rna tr~n xac sufft chuyen va kiern tra tinh Markov

65
67

3.2.1.1 Phuong phap tlm rnatr~n xac sua't chuyen

67

3.2.1.2. Kiern tra tlnh Markov .

69

3.2.2 Luu d6 kiern tra tinh Markov va l~p rna tr~n chuyen de d\l' doan sv
tang giam cua gia vang

72

3.2.3 Chuong trlnh ph~n rn€rn kiSrn tra tinh Markov va l~p rna tr~n
chuyen de dt;t doan st;t tang giam cua gia vang

73

3.2.4. Ke't. aua
voi seilieu
...

. thuc
. te'

82

3.2.4.1. Ma tr~n xac sua't chuySn va tinh Markov

82

3.2.4.2 Ap dvng rno hlnh xich Markov hffp thv

· 84

3.2.5. Xac sua't gioi h~n

86

3.2.6. Kiern tra tr~ng thai h6i qui

88

3.2.6.1. Thu~t giai

88

3.2.6.2. Luu d6 kiern tra tr~ng thai h6i qui

90

3.2.6.3. Chuong trlnh ph~n rn€rn dS kiern tra tr~ng thai h6i qui

90

KETLU!N

95

1/ Nhii'ng ke't qua da hoan th~mh

95

2/ Nhii'ng d6ng g6p moi cua lu~n an

96

3/ Nhii'ng va'n d€ c6 the ap dvng tie'p.

97

DANHMl)CTAILitUTHAMKHAO

99


1

?

...

MO a.A.u
Trong vi~c nghien cuu nh~m nang cao hi~u qua ciia m9t h~ th6ng kinh te"
vi~c

tu tr~ng thai hi~n t~i dl;l' hao tr~ng thai tu'ong lai cua h~ th6ng Ut di~u he"t

sue ca'p thie"t. Bdi le, nho d~ cac nha kinh te", cac nha doanh nghi~p hO?Ch dinh
cac chie'n lu'cac bi~n phap tac d9ng d€ loi keo khach hang ....
Khi tie"n hanh cac nghien CUu nay, Chung ta luon dt,mg dQ VOi cac nhan t6
ng~u nhien, chung tac d9ng mQi noi, mQi luc. Nha't la trong giai do?n kinh te" thi

tru'ong hi~n nay' cac ye"u t6 ng~u nhien tac d9ng cang du d9i cang da d?ng hon
hao gio he"t.
Vl v?y cac mo hlnh xac sua't trd thanh cac cong c~ quan trQng khong th€
thie"u trong cac nghien CUll nay.
Mo hlnh Xich Markov du<;1c nha hac hQc Nga la A.A Markov (1856-1922)
dua ra

tu d~u the' ky 20 da du'<;1c nhi~u nha toan hQc phat tri€n them va su d~ng

vao trong nhi~u linh vt;(c nghien cliu khoa hQc: sinh hQc, v?t ly hQc, xa h9i hQc,
van hQc, kinh te" hQc ....
Trong nhung nam g~n day,

C5

cac nu'oc kinh te" phat tri€n. Xich Markov

du'

dam dong, va'n d~ dl;l' tru hang h6a, va'n d~ d6i moi cac thie"t hi ...

d nu'oc ta vi~c nghien cuu qua

trlnh Markov ciing da du<;1c quan tam

tu

lau : cac giao su' Nguy€n Bac Van, Nguy€n Duy Tie"n, D~ng Hung Tha:ng ( D?i
hQc T6ng h<;1p Ha N9i ), Nguy€n H6 Quynh ( D?i hQc Bach khoa Ha N9i ),
Nguy€n Van Thu (-Vi~n Toan hQc Ha N9i) .. v .. v .. da c6 nhi~u cong trlnh c6
gia tri. nghien cuu v~ qua trlnh Markov. Tuy nhien nhung cong trlnh d6 la cac


2

cong trlnh thu~n tuy ly thuye't va rnfii nhQn Ia cac dinh ly gioi h~n. Trong cong
trlnh nay chung toi rnong mu6n sii' d1,1ng cac ke't qua cua ly thuye't Xich Markov
voi so' li~u thl,l'c te' d~ tra lOi nhung cau hoi ClJ. th~ trong kinh doanh. Hai ndi
chung toi hta chQn ap dl,lng la :hang khong dan dl,lng va kinh doanh vang b~c da
quy, nhung linh vl,l'c rna chung toi xern la kha rnfii nhQn trong nSn kinh te' qu6c
gia hi~n nay. C1,1 th~ la chung toi giai quye't 2 bai toan.
- Phan ho~ch thi ph~n giua hai hang hang khong tuye'n bay TP H6 Chi
Minh- Ha N()i
- Dl,l' doan tang, giam gia vang t~i TP H6 Chi Minh.
Theo nh~n xet cua Ph6 Giao su Nguy€n Bac Van - rn()t trong cac chuyen
gia hang d~u v€ ly thuye't xac sua't 6 mtoc ta thl vi~c ch<;m mo hlnh xich Markov
d~ giai quye't vS va'n d€ d<}t ra C5 day la toi tin " khong m()t phudng phap nao

khac c6 th~ d~t toi du~c ".

Ta't nhien qua hai va'n d€ giai quye't trong lu~n an chung toi con mu6n xay
dl,l'ng m()t quy trlnh thl,l'c

hi~n

nhung bai toan tudng tl,l' thu()c 2 rno hlnh nay voi

ph~n mSm vi tinh c6 th~ xem la ch<}t che.

N()i dung lu~n an cua chung toi g6rn 3 chudng
- Chudng 1 trlnh bay nhung ye'u linh can ban c~n cho vi~c hi~u nhung mo hlnh
chung toi trlnh bay C5 chudng 2.

d chudng nay chung toi chi chl1ng minh nhung

ke't qua quan trQng . Chung minh nhung ke't qua khac tl,l' d()c gia c6 th~ tlm trong

ali li~u [7] cua Giao.su Nguy€n Duy Tie'n- m()t tai li~u trlnh bay kha d~y du
nhung ke't qua c~p nh~t nha't vS qua trlnh Markov.
- Chudng 2: Trlnh bay c~c mo hlnh l1ng dt;mg Xich Markov vao kinh te'. Trong
chudng nay, ngoai 2 mo hlnh chung toi da sii' dQng cv th~ C5 chudng 3, chung toi
con trlnh bay m()t

s6 mo hlnh khac rna do khuon kh6

lu~n an va do chua du so'


3

li~u, nen chung toi chu'a ap dvng nhu'ng chung toi nh~n tha'y c6 th~ ung dl,mg t6t

trong kinh te' nu'oc ta.
- Chu'dng 3 : Trlnh bay 2 ap dvng thlfc te' da tie'n hanh c6 ke't qua.
Cfing theo IOi nh~n xet cua Ph6 Giao su' Nguy~n Bac Van thl " day la
lu~n an ca'p tie'n si dffu tien (J Vi~t Nam v€ ftng dvng mo hlnh Markov vao thvc

te' ".


4

CHU'dNG 1

XiCH MARKOV VA cAc TRANG
. THAI
1.1. Tinh markov va xich Markov
1.1.1. Cac dinh nghia co min
Gia sll' chung ta cftn nghien CUu S\1' tie'n tri~n theo thoi gian cua mQt hi$ kinh
te', v~t ly ho~c sinh th:H nao d6.
Ky hi{$u X(t) Ia vi tri cua hi$ d thoi di~m t. T~p hqp cac vi tri c6 th~ c6 cua
hi$ du'qc g<;>i Ia khong gian

tr~ng

thcii.

Gia sll' tru'oc thoi di~m s hi$ d tr~ng thai nao d6, con t~i thoi di~m s hi$ ()
trqng thai i. Ta cffn bie't t~i thoi digm t (t > s) trong tu'dng lai hi$ () tr~ng thai j
voi xac sua't Ia bao nhieu. Ne'u xac sua't nay chi ph\1 thUQC vao s, t, i, j thl di~u

nay CO nghia la St;{ tie'n tri~n cua h~ trong tu'dng lai chi ph\1 thUQC VaO hi{$n t~i va
d9c l~p voi qua khu. Tinh cha't nay g<;>i la tinh Markov. Hi$ c6 tinh cha't nay g<;>i
la qua trlnh Markov.
Ch~ng h~n, ne'u g<;>i X(t) la dan s6 () t~i thoi di~m t (trong tu'dng lai) thl

c6 th~ xem X(t) chi ph\1 thu9c vao dan s6 hii$n t~i va dQc l~p voi qua khu. N6i
chung cac hi$ khong c6 tri nho

ho~c

suey Ia nhung hi$ c6 tinh Markov.

Ta ky hi{$u E Ia t~p g6m cac gia tq cua X(t) va E g<;>i la khong gian tr~ng
thai cua X(t).
Ne'u X(t) c6 tinh Markov va E danh s6 du'qc thl X(t) du'qc g<;>i la xich
Markov.
Tntong h<;Jp, ne'u t =0, 1, 2, ... thl ta c6 khai nii$m xich Markov voi thoi gian
roi r~c. Con ne'u t e [O,oo) thl ta c6 khai nii$m xich Markov voi thoi gian lien t\}c.
Tinh Markov du'qc dinh nghia theo ngon ngu toan h<;>c nhu' sau


5

Dinh nghia

Ta n6i ding X(t) c6 tinh Markov ne'u

P{X(tn+I)= jl X(to)=io, ... ,X(tn-t)=in-I•X(tn)=i} =P{X(tn+I)= j I X(tn)=i}

to< t1 < ... < tn < tn+1 < ... va io; ..., < in-1,' i 'j

vOi ba't ky

E

E.

tn la hi~n t~i va tn+ 1 Ia tuong lai, (to, th···· tn-d la qua khu. Do d6

Ta xem

bi~u thuc tren chinh la tinh Markov cua X(t).
B~t

p (s, i, t, j) = P{X(t) = j I X(s) = i} , (s < t)

f)6 la xac sua't c6 di~u ki~n d~ h~ t~i thoi di~m s (J tr~ng thai i, de'n thbi
di~m t h~ chuyen sang tr~ng thai j. Vl the' ta g9i p(s, i, t, j) Ia xac sua't chuy~n

cua h~. Ne'u xac sua't chuyen chi phtJ thUQC vao (t-s) tuc la
p(s, i, t, j) = p (s + h, i, t + h, j) thl ta n6i h~ la thu~n nha't theo thoi gian.
Trong

lu~n

an nay,

kt~i

khong n6i gl them, chung ta chi xet xich Markov

thu~n nha't.

1.1.2. Ma tr~n xac sua't chuy~n
Gia si't (Xn; n = 0, 1, 2, ... ) la xich Markov rbi r~c va thu~n nha't. Khi d6 c6
m<)t khong gian xac sua't (Q, A, P), Xn : Q ~ E Ia cac bie'n ng§u nhien nh~n gia

tri trong t~p de'm dU'ky

hi~u

E, E Ia khong gian tr~ng thai, cac ph~n ttl' cua n6 dU'
la i, j, k, ...

Tinh Markov va tinh thu~n nha't cua (Xn) c6 nghia la
Pij

= P{Xn+1

=j I Xn =i} =P{ Xn+1 =j I Xo =io, ... , Xn-1 =in-h Xn =i}

khong ph\1 thu<)c vao n.
IP = (pij) du<;rc g9i Ia rna tr~n xac sua't chuy~n sau m<)t buoc.
Pij

la xac sua't c6 di~u ki~n d~ h~ t~i thoi diem n (hi~n t~i) (J tr~ng

thai i va chuy~n sa~g tr~ng thai j t~i thoi di€m n+ 1 (tuong lai).

6

0
Poo

0
1

IP

Poi
Pu
p21

Pw
P2o

2

=

1

2
Po2
pl2
p22

n
Pon
Pin
P2n

n

Ne'u

s6 tr~ng thcH la huu

h~n thliP la rna tr~n vuong c6 b~c b~ng voi

tr~ngthai. Ne'u d?t cac bie'n

c6

A = (Xn+l = j) , B = (Xn = i) ; C = (Xo = i0 ,
thl tinh Markov c6 ngh'ia la

s6

••• ,

Xn-1 = i0 .1)

P(AIB) = P(A/BC)

Tu d6 ta suy ra
P(AC/B) = P(ABC) = P(BC)P(A/BC)

P(B)
P(B)
=

P(B)2(C/B)2(A/B)
P(B)
= P(C/B).P(AIB)

tuc la qua khu va tu'ong lai doc l~p voi nhau khi ta cho tru'oc hi~n

t~i.

Tu cong thuc xac sua't dfiy du suy ra rna tr~n IP= (Pij) c6 tinh cha't

Xac sua't chuy~n sau n bu'oc du'pij<n> = P{Xn+m = j I Xm = i} = P{Xn = j I Xo = i}
Day la xac sua't d~ h~ t~i thoi di~rn xua't phat

o tr~ng thai

i, sau n buoc

chuy~n sang tr~ng thai j.
1 ne'u i = j
, . .
·
0 neu 1 :;t: J
Va d?t IP<n> = ( pt). D6la rna tr~n xac sua't chuy~n sau n buoc.
-

.

Ro rang ta c6 Pij

(I)

•

= Pij· Ta qm u'oc

Pij

(O) _

-

{

Tu cong thuc xac sua't dfiy du vatu tlnh Markov ta c6


7

VoimQi n=O, 1, 2, ...
Pij

~
(n)
= L...J
Pik·Pkj

(n+l)

keE

.
(n)

~

(n+l) _
P ij

(1.1)
(1.2)

LJ Pik ·Pkj

-

keE

Phuong trlnh (1.1) Ia phuong trlnh ngtt<;1c; (1.2) Ia phttong trlnh

n, m = 0, 1, 2, ... ta c6 phttong trlnh

M9t <;ach t6ng quat hon voi mQi
Chapman - Kolmogorov.

p..

-lJ

thu~n.

~p-lk(n) •p kj.f;E

(1.3)

Chdng minh (1.1)
H~ xua't phat tu tr~mg thai i, sau

n + 1 bttoc chuy€n sang tr~ng thai j Ut

ke't qua cua vi~c h~ xua't phat tu tr?ng thai i, sau m()t bttoc chuy€n sang tr?ng
thai

k nao d6, the' r6i h~ xua't phat tu tr?ng thai

k, sau n bttoc tie'p theo

chuy€n sang tr?ng thai j.
Til' cong thuc xac sua't d~y du va tinh Markov ta c6
P{
Pij Cn+l)-

X n+l- J.

I

1.}

X o-

= keE
LP{Xn+l = j I X

0

= i, X1 = k}.

P{Xl

=.k I Xo = i}

di~u nay da ch"Ung minh cong th"Uc (1.1).

Cac cong th"Uc (1.2) va (1.3) dtt<;1c ch"Ung minh tttong tlf.
Cac phttong trlnh (1.1), (1.2) va (1.3) c6

Til' d6 ta suy ra

tp(n+l)

=IP.IP(n)

tpCn+ 1)

=tpCn) .IP

tpCn+m)

=

tp<n>

=

IP(n).JP(m).

IP".

d~ng

rna

tr~n

nhtt sau


8

1.1.3. Phan pho'i hii'u h~n chi~u.

Phan ph6i hun h(].n chi€u cua qua trlnh Markov du'<;fc tinh theo cong thuc
P { Xo = io} = Pi0
P{Xo = i0 , X1 = i1. ... , Xn-1 =in-~> Xn = i} = P;0 ·Pio.;,···P;,_,.; (1.4)
Bi~u thuc (J v€ trai du'

Thc}tvc}y
P{Xo = io, x1 = ih ... , Xn =in}= P{Xo = io, x1 = ih ... , Xn-1 = in-d
X

X

P{Xn =in/ Xo = io, ... , Xn-1 = in-1}

-Do d!nh nghia cua qua trlnh Markov.
P{Xn =in I Xo = io, ... , Xn-1 = in.I} = P{Xn =in/ Xn-1 =in. I}= Pin-l·in
Dod6

Vl v~y

Di€u nay da chung rninh (1.4)
1.1.4. Phan pho'i ban d~u

Dfnh nghia Phan pho'i ban d~u cua h~ t(].i thoi di~m n du'oc cho bCii cong
thuc sau

p?> = P{Xn = j}; n = 0, 1, 2, ... ; j e E

D~t rr<n) = (pr>,j

E

(1.5)

E) va gQi II = rr

Ta qui u'dc rr<n> = (p/n>,j e E) la vectd hang. Ta tha'y r~ng
rr<n>

= II.IP <n>

rrrr<n+l) = rr(l>. IP <n>
rr

9

Th?t v?y, theo eong thile xae sua't d~y dii ta e6
Pj
"'P{X
=J"} = leE
~
n =1"} · P{Xn+m =J. I X n =1"} = "' Pi
ieE
L...

(n)

· PU (m)

Phan pho'i ban d~u dU'IT =rrNhu v?y, mo hlnh eiia mot xieh Markov rbi r~e va thu~n" nha't Ia b() ba
(X0 , IT, IP ) trong d6

(Xn)

la day eae bie'n ngftu nhien rbi r~e .

rr

la phan ph6i ban d~u

IP

Ia rna tr?n xae sua't ehuy~n

1.2 Phan lOp eae tr~ng thai
1.2.1 Cac tr~ng thai lien thong va srf. phan lop.
1.2.1.1 Cac tr~ng thai lien th6ng. ·

Djnhnghia

mtr~ng thai i ne'u t6n t~i n ;:::: 0 sao
Pi/0) = 1 ne'u i =j va Pu(O) = 0 ne'u i :;t: j). Trong

Ta n6i ding tr~ng thai j
eho Pi/n) > 0 (ta quy u'oe

d~t dU'
tntong hHai tr~ng thai i va j duTrong trU'bng hD€ dang tha'y r~ng ~ e6 eae tinh eha't phan x~. do'i xilng, bf{t e~u. Tile la.

1) i ~ i (vl Pi/0) = 1),
2) i ~ j thl j ~ i '

3) i ~ j va j ~ k thl i ~ k.

Nhu v~y ~ Ia quan ht$ tU'ong dU'ong. Do d6, theo quan ht$ nay, toan b()
khong gian tr~ng thai dU'

10

thUQC cung IDQt lqp lien thong VOi nhau, con hai tr~ng thcii ba't ky thUQC hai lop
khac nhau khong th~ lien thong voi nhau.
Dinh nghia
Xich Markov du<;1c gQi la t6i gian ne'u hai tr~ng thai ba't ky ciia n6 lien thong voi
nhau. Nhu v~y xich t6i gian khi va chi khi E g6m dung m9t lop; xich khong t6i gian
c6 ft nha't hai lop khac r6ng, roi nhau E = E1 u E2 u ...
Trong nhi6u tru'C1ng h<;Jp c6 th~ xem m6i Ek (k = 1, 2, .. ) Ia khong gian tr~ng
thai ciia xich Markov t6i gian. Vl the' E 1, E2,... du<;1c gQi Ia lop t6i gian ciia xich.
Nhu v~y vi<%c xet xich Markov c6 th~ qui v6 vi<%c xet cac xich Markov t6i gian.
1.2.1.2. Chu ky cua tr~ng thai
Djnh nghia
Chu ky d(i) ciia tr~ng thai i la uoc chung IOn nha't ciia ta't ca cac
.n ~ 1 thoa man
Djnh ly

Pi}n)

s6 nguyen

> 0. Ne'u Pi~n) = 0 d6i voi ta't ca n ~ 1 thl d~t d(i) = 0.

Ne'u i ~ j thl d(i)

= dQ).

Dinh nghia Ta n6i r~ng tr~ng thai i khong c6 chu ky ne'u d(i) = 1.
1.2.2. Tr~ng thai h6i quy va tr~ng thai khong h6i quy
1.2.2.1. Cac djnh nghia.
Gia sir (Xn) la xich Markov. Xet tr~ng thai c6 dinh i e E.
Ta d~t

JJn). = P{Xn = j, X1 -:f:. j, ..., Xn-1 -:f:. j IX.o = i} ,

Nhu' v~y,

tJn)

j

E

E.

la xac sua't d~ he% xua't phat tu i l~n d~u tien chuy~n sang j

t~i th?1i di~m n (ho~c t~i bttoc thu n). f)~c bi<%t, fi~n) Ia xac sua't d~ he%, xua't
phat tU i l~n d~u tien trd v6 i t~i th?1i di~m n.
Ro rang

tY)
~ P··. Tu tinh Markov va cong thuc xac sua't d~y du ta c6
lJ
lJ


11

n

p~n) = LP~k)·PJ}-k) , n ~ 1 trong d6 ta qui U'oc

k=O

tJ

0)

= 0.

Chungminh
-

Bie'n cef h~ xua't phat tu i roi vao j t~i thoi di~m n Ut h<;1p cua cac bie"n

cef (roi nhau) Ak, trong d6 Ak la bie'n cef h~ xua't phat tU' i l~n d~u tien roi vao j
t~i ihoi di~m k r6i l~i xua't phat tU' j sau d6 roi vao j t~i thai di~m n- k. Ta
c6
P(Ak) =P{l~n d~u tien roi vao j t~i thoi di~m k I X 0
=

Vl

.r(k)
(n-k)
Jij . Pjj

,1:Sk:Sn

(voi

=i}.P{Xn-k =j I Xk =.j}

PJ)) = 1).

v~y

Bay gio ta

d~t
00

.r..

Jy

= ~ .r.(n) '
~Jy

:r..
Ju

k=O

Nhu v~y,

iii

00

= ~ .r.(n)
~Ju

k=O

la xac sua't d~ h~ xua't phat tu

1

tro v~

1

t~i thai di~m huu hc;u

nao d6.

Dinhnghia
i dU'
iii

=1

i du
iii

< 1.

Theo dinh nghia nay i la h6i quy ne'u va chi ne'u h~ xua't phat tu i, voi xac
sua't 1 h~ l~i tro v~ i t~i thai di€m huu h~n nao d6. Trong khi d6 i la khong h6i
quy c6 nghia Ia bie'n
bhng

iii

cei h~ xua't phat tu

i, trdl~i i "it nha't m()t l~n c6 xac sua't

< 1. Do tinh Markov ta suy ra bie'n cef h~ xua't phat tu i, tro

l~i i it


12

nha't 2 l~n c6 xac sua't b~ng ( fii )2 .•. bie'n cdh<$ xua't phat tu i, tro h.ti i it nha't k
~ co, xac
, suat

~ b'l:,ang ( I"ii )k , vo1
,. . k = 1, 2, 3, ...
1an
1

Gia sli' MIa bie'n ng~u nhien de'm sdl~n h<$ tro l;;ti i.
Ta tha'y r~ng, ne'u i khong h6i quy thl
' (k = 1,2,...) '

tuc la M c6 phan phdi hlnh h9c
D~c bi<$t, P{M = oo I Xo = i} = 0. V~y. h<$ xua't phat

tir 1 h<$ tro v€ 1 vo s6

l~n voi xac sua't 0.

Trong tntong hP{M=oo/X0 =i} = lim P{M~k/X 0 =i} = lim (fu)k = 1
k-'too

k-"too

Va (fu )n l~p thanh phan phdi xac sua't (vl fii = 1).
Do d6, ta c6 the tinh gia

1-4 =

L nfi~n)

,

tri trung blnh cua n6
d6 la thoi gian trung blnh h<$ tro l;;ti i.

n=O

Dinh nghla
Gia sli' i Ia.tr;;tng thai h6i quy. Ta n6i
i la tr;;tng thai hai quy duong.ne'u 1-4 < oo.
i la tr;;tng thai khong ne'u l-4 = 00,
Theo dinh nghia tren i la tr;;tng thai duong c6 nghia la thai gian cho dh<$ xua't phat tu i tro v€ i la hfi'u h;;tn trong khi d6 thai gian nay b~ng oo ne'u i
la tr;;tng thai khong.


13

1.2.2.2. Tieu chu~n h6i quy va khong h

Djnhly
(i) Tr~ng thai i la h6i quy khi va chi khi
00

LP1n) =

00

n=l

ho~c

tll'ong duong, tr~ng thai i la khong h6i quy ne'u va chi ne'u
00

LP£n) <

(1.6)

00

n=l

(ii) Ne'u i ~ j h6i quy thl j ~ i va j cfing h6i quy.
(iii) Ne'u i ~ j va j h6i quy thl fu = 1.
Dfnh ly
00

Ne'u j khong h6i quy thl voi m<;>i i

E

Eta c6

LP&n) <

00

n=l

lim p('!) = 0 voi m<;>i i

n--+-oo lJ

E

E

1.3. Xac sua't gi6'i h~n
1.3.1. Dinh ly Ergodic
Ta xet nhfi'ng di€u ki~n d~ xich Markov c6 tinh cha't Ergodic theo ngh'ia t6n t~i
cac gioi h~n
nj

= lim

n--+-oo

Pir> khong ph\1 thu()c vao i

sao cho 1tj > 0

'vj E

E va

L7l"J =1
jeE

y ngh'ia cua di€u nay la trong tU'ong lai xa xoi, xac sua't d~ h~ (1 tr~ng thai

j

khong ph\1 thu()c vao hi~n t~i.
Djnh ly Gia sti' IP = (p ij) Ia rna tr~n xac sua't chuy~n cua xich Markov (Xn)
c6 khong gian tr~ng thai hfi'u h~n

E = {1, 2, ... , N}.


14

(i) Ne'u IP chinh quy theo nghia sau t6n t~i n0 sao cho
minp..<no) > 0
..
lJ

(1.7)

lJ

thl t6n ~i cac so' n 1,... , nN sao cho
(1.8)

tr1 >0,'itr1 =1
.

)eE

va voi m6i j EE

.

(n
1Imp..
n-too

Y

)

(1.9)

=tr.
1

(ii) Ngll'va (1.9) thl se t6n t~i no thoa man (1.7).
(iii) Cac sci n~. ... , nN Ia nghi~m ciia h~ phU'ong trlnh
(1.10)
va d6 Ia nghi~m duy nha't thoa man di€u ki~n
7r j ;-:::

0 ' 'v'j

E

E;

L

1l j

=1

jeE

ne'u (1. 7) dU'
Chungminh
(i)

Diit
mJ·<n> = min
p~!")
va MJ.<n> = max
p~!")
•
.
lJ
.
lJ
l

l

Tu phU'ong trlnh Chapmap.-Kolmogorov, taco~

Pij

(n+l) _""

(n)

- LJPikPkj
k

Tu d6 suy ra

V~y mj<n>:::;; mr+I) hay (mr>) Ia day don di~u tang.

Tuong .t\1' ta c6 M/n> ~ M?+I) hay (Mr>) Ia day don di~u giam.
Vl v~y ta chi c~n ch4'ng to
Mj<n>- mj<n> ~ 0 khi n ~ oo; 'v'j = 1, 2, ..., N


15

Gia sii'

8

=minp~!7o)
> 0. Khi d6
.. y

p~no)
-Ep~n)
> 0 va ta c6
Jk
jk-

1,1

Til' d6 ta c6

Til' hai ba't dgng thuc nay ta dU'QC
M\no+n) - m\no+n) < (M·(n)- m·(n)) (1 - E)
1

1

-

J

J

Til' d6 ta suy ra:
khi k ~

M\kno+n) - mC.kno+n) < (M·(n)- m·(n)) (1- E)k .J, 0
1

1

-

J

J

00

Day (Mr> - mr>) don di~u don giam, c6 day con h()i tl,l toi 0,
Nen M/n)- m/n) ~ 0 khi n ~ oo; 'v'j = 1, 2, ..., N
Nhu' v~y. ta da chung minh dl.l'1tj

= lim

m}"> =

n~oo

lim M}") = lim pij(n)
n~oo

n~oo

C~n chu r~ng, theo cac chung minh tren thl khi n ~ n 0, ta c6

I Pir)- 1tj I~

M/n)-

mr)

tuc la Sl,l' h()i tl,l cua p~n) toi

~ (1 -

1tj

Ein/no ]-l'

di~n ra voi t6c d() cffp s6 nhan.

Ngoai ra, m)n) ~ m)no) ~ 8 > 0 khi

n ~ no, do d6

(ii) Hi~n nhien.tll' (1.8) va (1.9) suy ra (1.7) vl

1tj

> 0.

s6 tr~ng thaila huu h~n.

(iii) (1.10) la h~ qua trl,l'c tie'p cua (1.9). Th~t v~y. vl
h~n,nen

s6 tr~ng thai la

huu


16

. _ 1. ..(n+l) _ 1. '"' . (n)
ImplJ
- rm L.Pik Pkj

7tJ-

n~cx:>

n-?a:>

~

= L.

k

k

1"

(n)
Im Pik Pkj

n~oo

.

=~
L.JrkPkj
k

·

1.3.2 ThTa xet qua trlnh xich Markov la Ergodic
Djnh nghla.
ThC1i gian trung blnh troi qua giua nhung Ign qua trlnh (J tr~ng thai j dula thC1i gian 1~ p trung blnh cua tr~ng thai j.
Djnh ly.
ThC1i gian 1~p trung blnh cua

tr~ng thai j b~ng - 1

, ( j = 1,..., N)

(1.11)

7rj

trong d6

7r.
J

= 1.IIDPiJ"(n)

(" .

l,J

n-?a:>

=1,..., N)

1.4 Xfch Markov ha'p thQ
Gia sit (xn) la Xich Markov voi khong gian tr~ng thai E = { 0, 1,... , N}
Gia sit 0, 1, ..., r- 1 la cac tr~ng thai truy~n ung theo nghia
1imp~.n) = 0
n-?a:>

voi

y

0

~

i, j

~

r-1

Con cac tr~ng thai r, r + 1, ... , N Ia cac tr~ng thai ha'p thl;l theo nghia

Pii = 1, voi r ~ i ~ N. Nhu v~y rna tr~n xac sua't chuy~n c6 d~ng.

n>=[~ ~
d day

l

0 la rna tr~n ca'p (N- r + 1) X r rna ta't ca cac phgn tit d~u b~ng 0

I la rna tr~n ddn vi ca'p (N - r + 1) x (N - r + 1)
Q la rna tr~n ca'p r X r rna qij =Pij voi 0 ~ i, j ~ r- 1

. Tinh trt1c tie'p ta c6

R+

Q~l


17

~ R+Q~+Q R]
2

= [

B~ng phuong phap qui n(;lp, ta du<;Jc

G<;>i w~> la

s6 lfin trung blnh hi$

(J tr(;lng thai

j tinh de'n thai di~m n va

xua't phat tu tr(;lng thai i.

rr{x~. =j}= {

trong d6

Do E[I1{XA. = j}/ Xo
nen

n~u x~.. =.j
neu Xt.*J

1

0
=

i]= P(XA. = j

I X 0 = i) = p~A.)

n

n

~0

~0

wJn)= l:E[II{XA. = j}/ Xo = i]= LP~A.)
(1.13)

Dodo

HI$ thltc nay dung cho m<;>i i, jeE. Nhung n6 c6

y nghia nha't khi

c~c tr(;lng thai truy€n ltng.

voi 0

Luc d6, tu (1.12) ta c6

D o do~

(n)_

(0)

(I)

(n)

wij -qij +qij + .... +qij

voi 0 ~ i, j

~

~

i, j

r -1

~

r -1

l,J la


18

(j day

.

q~~> = { 1 ne'u i = j
IJ

0

,
neu i

*j

Ta bie't, theo ky hi~u rna tr~n Q<0>= I va Q(n) = Qn
Nen

w<n> =I+Q+Q2 + ... +Q"
= I + Q (I + Q + ... + Qn-I)
= I + Q . w<n-I>

(1.14)

Ta c6 th~ vie't l~i
r-1
r-1
(n) _ ~
""
(n-1) _ ~
""
(n-1)
wij -uij+ LJqikwkj . -uij+ LJPikwkj
k=O
k=O
,

,
trong do Oij
.

= { 01

(1.15)

ne'u i =j
.,.,. . .

neu 1 :t J

Chuy~n (1.14) qua gioi h~n ta c6 (n ~oo)

W=I+QW

(1.16)

Do d6 tuong ung voi (1.15), va tll' ( 1.16)
Wij

= lim wJn) =E [ tdng seflffn h~ d tr~~g thcii j/Xo = i]
n~oo

r-1

=

oij

+ l:P;icWkj, voij = 0,1,2...,r-1

(1.17)

k=O

va tll' (1.16), ta suy ra
nen

W- QW =(I- Q) W =I

W =( I- Qf 1 la rna tr~n dao ciia rna tr~n (I - Q). Ta gQi la rna tr~n W la

rna tr~n co ban ung voi rna tr~n Q. Thanh phffn thu (i, j) la phffn tir Wij eli a rna
tr~n

W.
GQi T la thC1i di~rn ha'p thv, tll'c la
(1.18)

B~t vi= E [T/Xo
tu tr~ng thai i.

=i] thC1i gian trung blnh cho de'n hie ha'p thv khi ba:t dffu


19

r-1T-1

Tu d6

T -1r-1

T-1

I In{Xn = j} =I In{Xn =j}= II =T
j=On=O

n=Oj=O

n=O

~Wij =IE[I n{Xn = j}l x 0 = i]
1

Nen tu ( 1.18 ), ta suy ra

j=O

j=O

n=O

E[II

1

=

D{Xn = j}/ Xo

=i]

j=On=O

(1.19)
r-1

Tu ( 1.17) ta c6

r-1

r-1

r-1 r-1

L:wij = Ioij +

I

j=O

j=Ok=O

j=O

LPik·wkj• i = o,I, ... ,r -1

r-1

Do d6 vi= Iwij nen vi= 1+ IPik·vk
j=O

, i = 0, 1, ... , r- 1

(1.20)

k=O

Bay gio ta xet de'n xac sua't ch:;tm. Ta bie't rhng cac tr:;tng thai r, r +1, ... ,N

la cac tr:;tng thai ha'p th\}. Khi qua trlnh rdi vao ffiQt trong cac tr:;tng thai nay thl
k:hong th€ thoat ra k:hoi tr~ng thai a'y.
B?t Uik=P{ha'pthvdk/Xo=i}, co'dinh ke {r,r+1, ... N}
Ta tha'y r~ng khi xua't phat tu tr:;tng thai i qua trlnh hi ha'p thv vao tr~ng
thai k t~i budc thu n vdi xac sua't chuy€n

p};) =P{X n = k !Xo = i} =P{n ~ T, X T = k I X o = i} ,

(1.21)

vdii=O, 1, ...,r-1 vak=r,r+1, ... ,N
trong d6 T la thai di€m ch~m.
B?t

T =min {n ~ 0:

r ~ Xn ~ N}

uj;) =P{T5.n,Xr =k!Xo =i}
vdii=O, 1, ...,r-1 vak=r,r+1, ...,N

Theo (1.12 ), (1.14) va (1.21) ta c6
u<n> =(I+ Q + ... + Qn-1) R = wCho n ~ oo trong (1.21) ta c6 xac sua't ch~m.

(1.22)


20

U;k :;::limU;~n> :;::P{T:Sn,Xr :;::k/X0 :;::i} voi i =0, 1,, r- 1 va k

=r, r +1, ..., N

Chon ~ro trong (1.22) ta c6 rna tr~n xac sufft ch~m U va U

= WR

n~a)

r-1

hay la Uik:;:: IWyRjk

voi 0 :S i :S r -l,r :S k :S N

(1.23)

j=O
r-1

Tu (1.18) va (1.23), ta c6
r-1

. r-1

Do d6

W..R
·k:;:: O··R

·k + "P·~W'l.;R
lj J
lj J
L...J lr.; 'Y J·k
N=O

WijRjk:;:: I

I
j=O

r-1 r-1

oyRjk + I IPr;..W'J.jRjk

j=O

j=O N=O

Nhuv~y
r-1

r-1

uik:;:: Rik + IPiA.uAk:;:: Pik + IPiA.uAk
N=O

N=O

voi i = 0, 1, ..., r- 1 va k = r, ... , N

1.5. Xich Markov v8i thoi gian lien tl}c .
1.5.1. Dfnh nghia va cac khai ni~m cd ban
Ta xet qua trlnh ng~u nhien voi thoi gian lien tt;Ic {X(t), t;;::: 0} nh~n gia tri
trong t~p h<;1p E c

z+ cac s6 nguyen khong am.

Dfnh nghia 1 Qua trlnh {X(t), t;::: 0} du<;5c gQi la xkh Markov voi thoi gian
lien tvc, ne'u Vs

> u;::: 0, Vt > 0 vli Vi, j, k

E

E thl

P{X(t+s)= j I X(s)=i,X(u)=k} =P{X(t+s):;:: jl X(s)=i}

(1.24)

N6i each khac, xkh Markov voi thoi gian lien tt;tc la qua trlnh ng~u nhien c6
.

.

tinh chfft Markov, pharr ph6i c6 di~u ki<%n cua tuong lai X(t + s) khi cho bie't
hi<%n t~i X(s) va qua khu X(u), 0::; u. < s chi pht;t thu<)c vao hi~n t~i va d<)c l~p
voi qua khu, Ne'u them vao d6, xac xufft chuygn

P{X(t+s)=j!X(s)~i}=pu(t)

khong pht;t thu<)c vao s thl xich Markov d119c gQi la thu~n nhfft. Luc d6 ta c6 thg
vie't