Thuật toán mô phỏng MCMC thích nghi và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
-------------------

NGUYỄN VĂN TÂN

THUẬT TOÁN MÔ PHỎNG MCMC THÍCH
NGHI VÀ ỨNG DỤNG
Chuyên ngành: Lý thuyết xác suất và thống kê toán học
Mã số:

60460106

LUẬN VĂN THẠC SĨ KHOA HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC:
TS. TRẦN MẠNH
CƯỜNG

Hà Nội - 2015


M cl c
L i nói đ u

3

1 Ki n th c chu n b
1.1 S h i t c a dãy đ i lư ng ng u nhiên .

5

. . . . . . . . . .
51.2 Dãy mixingale .

..............

. . . . . . . . . .
61.3 Các thu t toán

mô ph ng cơ b n . . . . .
1.3.1 Phương pháp bi n đ i ngh ch đ o

. . . . . . . . . .

7

. . . . . . . . . .
81.3.2 Phương pháp

lo i b . . . . . . .

. . . . . . . . . .
91.3.3 Phương pháp l

y m u quan tr ng

. . . . . . . . . . 13

1.4 Xích Markov . . . . . . . . . . . . . . . .

. . . . . . . . . . 15

2 Phương pháp MCMC
2.1 Gi i thi u . . . . . . . . . . . . . . . . . . .

.....

22
. . . 22

2.2 M u Metropolis - Hastings . . . . . . . . . .

.....

. . . 23

2.3 M t s thu t toán MCMC . . . . . . . . . .

.....

. . . 29

2.3.1 M u Gibbs . . . . . . . . . . . . . . .

.....

. . . 29

2.3.2 M u đ c l p . . . . . . . . . . . . . .

.....

. . . 30

2.3.3 M u Metropolis - Hastings du đ ng ng

u nhiên

. . 32

2.3.4 M u Metropolis (thành ph n đơn) . .

.....

..

3 MCMC thích nghi
3.1 Thu t toán Metropolis du đ ng ng u nhiên thích nghi .

. 33
34
1 ..

3.1.1 Mô t thu t toán . . . . . . . . . . . . . . . . . 3.1.2 Tính

..

ch t ergodic . . . . . . . . . . . . . . . . . 3.1.3 So sánh các

..

thu t toán Metropolis v i thu t toán

A


P

35

37

35

38


3.2

3.3

Thu t toán Metropolis thích nghi . . . . .
3.2.1 Mô t thu t toán . . . . . . . . . .

...
...

. ...
. ...

..

..

42
45

3.2.2

Tính Ergodic . . . . . . . . . . . . .

...

. ...

..

47

3.2.3

So sánh các thu t toán Metropolis v

i thu t toán AM 59

M ts

ng d ng c a MCMC thích nghi . .

...

. ...

..

59

3.3.1

Mô hình mô ph ng GOMOS . . . .

...

. ...

..

60

3.3.2

Mô hình suy gi m oxy . . . . . . . .

...

. ...

..

65

K t qu chính

67

Tài li u tham kh o

68

2


L i nói đ u
Đ tìm hi u v MC, ta xét bài toán sau: Gi s ta c n tính tích phân
1

h(x)dx. Theo đ nh lý Newton - Leibnitz, n u F (x) là m t nguyên hàm
c a h(x) thì
0

1

I = F (x) 0 = F (1) − F (0).
Tuy nhiên, trong nhi u trư ng h p, ta không th tìm đư c F(x). Gi s
f (x) là hàm m t đ trên [0, 1] sao cho n u h(x) = 0 thì f (x) > 0. Ta vi t
l i I = 01 h((x))f (x)dx. Khi đó, chúng ta l y m u đ c l p cùng phân ph i
(x (1), ..., x(n)) t phân ph i xác đ nh b i m t đ f và xét:
n

Iˆn = 1
n

i=1

fx

h(x(i))/f (x(i)).

Lu t s l n cho ta th y r ng Iˆn h i t v i xác su t 1 t i tích phân I khi n ti n t i ∞
nghĩa là Iˆn → I(h.c.c). Như v y đ tính x p x I, ta ph i th c
hi n n mô ph ng cho bi n ng u nhiên X.

Các mô ph ng MC cơ b n này có ưu đi m là d th c hi n. Tuy nhiên, nó
ch mô ph ng đư c đ i v i các trư ng h p đơn gi n.
Trong nhi u trư ng h p ph c t p như s chi u tăng lên (phân ph i nhi u
chi u) ... thì các MC cơ b n không th th c hi n đư c. Đ gi i quy t v n đ này,
chúng ta đưa ra m t phương pháp g i là phương pháp MCMC. Ý tư ng
chính c a phương pháp MCMC là đi xây d ng m t xích Markov có tính
ergodic mà phân ph i d ng là π. Khi đó, chúng ta ch y X lên đ n
th i gian dài N và ư c lư ng E(h(Y )) b i N N=1 h(Xn). Đ nh lý ergodic

1

n

cho ta bi t v i N đ l n, ư c lư ng trên s g n đ n E(h(Y )).
Chúng ta th y r ng vi c ch n l a phân ph i đ xu t là quan tr ng cho
3


s h i t c a thu t toán MCMC. Vi c ch n l a đư c phân ph i đ xu t
t t thư ng khó th c hi n vì thông tin v m t đ m c tiêu là không có ho c r t ít.

Hơn n a, trong thu t toán MCMC, phân ph i đ xu t đư c ch n cho m i bư c
mô ph ng. Đ s d ng các thông tin đã thu đư c trong các bư c mô ph ng trư
c đ mô ph ng cho bư c ti p theo, chúng ta đưa ra thu t toán MCMC thích
nghi. đó, phân ph i đ xu t đư c c p nh t cùng quá trình s d ng thông tin đ y
đ tích lũy cho đ n th i đi m hi n t i. M i l a ch n phân ph i đ xu t thích nghi s
cho chúng ta m t d ng MCMC thích nghi.
M c đích chính c a lu n văn này là trình bày các phương pháp MCMC cơ
b n và hai thu t toán MCMC thích nghi t bài báo [6], [7]. Đ ng th i đưa ra
các so sánh gi a các thu t toán MCMC và ch ng minh chi ti t các đ nh lý
trong bài báo cũng như đưa ra m t s ng d ng c a thu t toán.
Lu n văn g m 3 chương.

• Chương 1 nh c l i m t s ki n th c b tr v s h i t c a dãy đ i
lư ng ng u nhiên, dãy mixingale, các thu t toán mô ph ng MC cơ b n
và xích Markov.

• Chương 2 trình bày v các phương pháp MCMC cơ b n.
• Chương 3 trình bày chi ti t v hai phương pháp MCMC thích nghi t
hai bài báo [6] và [7]. Đó là thu t toán Metropolis du đ ng ng u nhiên
thích nghi ([6]) và thu t toán Metropolis thích nghi ([7]). Ch ra tính h i
t c a hai thu t toán và ch ng minh tính ergodic c a thu t toán
Metropolis thích nghi. Sau m i thu t toán đ u đưa ra s so sánh gi a các
thu t toán MCMC. Đ ng th i đưa ra m t s ng d ng th c t c a mô hình
MCMC thích nghi.
L i đ u tiên, xin chân thành c m ơn th y TS. Tr n M nh Cư ng đã
nh n hư ng d n và t n tình giúp đ tôi hoàn thành lu n văn này. Lòng bi t ơn
sâu s c tôi cũng xin đư c g i đ n các th y cô trong Trư ng ĐHKHTN ĐHQGHN, Khoa Toán - Cơ - Tin đã giúp đ tôi hoàn thành khóa h c.
Hà N i tháng 12 năm 2015
4

Chương 1
Ki n th c chu n b
1.1

S h i t c a dãy đ i lư ng ng u nhiên

Gi s (Ω, Φ , P ) là không gian xác su t.
Đ nh nghĩa 1.1. M t dãy các đ i lư ng ng u nhiên hay bi n ng u nhiên

(Xn) đư c g i là h i t h u ch c ch n đ n bi n ng u nhiên X n u:
P {ω ∈ Ω : nlim Xn(ω) = X(ω)} = 0. →∞
Ký hi u là limn

→∞

Xn = X(h.c.c).

Đ nh nghĩa 1.2. Cho dãy (Xn) các bi n ng u nhiên. Fn(x), F (x) tương

ng là hàm phân ph i c a Xn, X. G i C(F ) là t p các đi m liên t c c a hàm F

. Ta nói dãy (Xn) h i t theo phân ph i đ n X n u ∀x ∈ C(F ), ta
có:

lim F (x) = F (x).

n→∞ n
d

Ký hi u là Xn − X. →
Đ nh nghĩa 1.3. M t dãy các bi n ng u nhiên (Xn) đư c g i là h i t
theo xác su t đ n bi n ng u nhiên X n u ∀ε > 0 ta có :

P {ω ∈ Ω : |Xn(ω) − X(ω)| > ε} = 0.
P

Ký hi u là Xn − X. →
5


Đ nh nghĩa 1.4. M t dãy các bi n ng u nhiên (Xn) đư c g i là h i t theo
trung bình b c r đ n bi n ng u nhiên X n u r ≥ 1, E|Xn|r < ∞ ∀n,
E|X|r < ∞ và :

lim E{|Xn − X|r} = 0.

n→∞
L

r

Ký hi u là Xn − X. →
Đ nh nghĩa 1.5. (lu t s l n) Cho dãy (Xn) các bi n ng u nhiên đ c l p cùng
phân ph i, có cùng kỳ v ng EXi = µ (i = 1, 2, ...). Đ t Sn =
X1+...+Xn . Ta nói dãy (X ) tuân theo lu t s l n n u S s h i t theo xác
n

n

n

su t đ n µ.
Đ nh lí 1.6. (đ nh lý gi i h n trung tâm) Cho dãy (Xn) các bi n ng u nhiên đ
c l p cùng phân ph i, có cùng kỳ v ng EXi = µ và phương sai

DXi = σ2 (i = 1, 2, ...). Đ t Zn = X1+...σ+Xn−nµ. Khi đó Zn s h i t √
n

theo phân ph i đ n bi n ng u nhiên Z có phân ph i chu n t c.

1.2

Dãy mixingale

Đ nh nghĩa 1.7. Cho dãy (Xn)n≥1 các bi n ng u nhiên bình phương kh
tích trong không gian xác su t (Ω, Φ , P ) và dãy (Φn)+= là dãy tăng các ∞
−∞ n

σ- đ i s con c a Φ. Khi đó, (Xn, Φn) đư c g i là dãy mixingale n u v i
m i dãy h ng không âm cn và ψm, trong đó ψm → 0 khi m → ∞, ta có:
||E(Xn|Φn−m)||2 ≤ ψmcn và ||Xn − E(Xn|Φn+m)||2 ≤ ψm+1cn,
v i m i n ≥ 1 và m ≥ 0.
Đ nh lí 1.8. [4, tr. 41] N u {Xn, Fn} là m t mixingale và {bn} là m t
dãy h ng dương tăng đ n ∞ sao cho
∞
n=1

thì b
n

−
1

i=1
n i

X

−

b 2c2 < ∞ và ψn = O(n

− 2
−2
1/ (logn) ) nn

→ 0(h.c.c).
6

khi n → ∞


1.3

Các thu t toán mô ph ng cơ b n

Các k t qu th ng kê thư ng liên quan đ n tích phân. Nh c l i r ng c kỳ v
ng và xác su t đ u nh n đư c t tích phân (ho c t ng). Vì v y, xét
tích phân sau:

1

I=

h(x)dx
0

Thông thư ng, ngư i ta ti p c n d ng t ng Riemann. Chúng ta đánh
giá hàm h(x) t i n đi m (x(1), ..., x(n)) trong m t lư i chính quy và sau đó
tính:

I≈n

1 n h(x(i)).
i=1

Tuy nhiên, trong nhi u trư ng h p, vi c xác đ nh l y các đi m (x(1), ..., x(n))
là không th ho c chi phí quá t n kém, ngư i ta đã đưa ra m t cách ti p c n
khác. Đó là quá trình Monte Carlo. Chúng ta b t đ u b ng vi c vi t
l i tích phân như sau:

1

h(x)

f (x)dx
f
(x)
0
trong đó f (x) là m t m t đ trên [0, 1] sao cho n u h(x) = 0 thì f (x) > 0.

Nhưng đi u này nghĩa là:
I=

I = Ef (h(X)/f (X)),
trong đó Ef là ký hi u c a kỳ v ng đ i v i phân ph i xác đ nh b i f . Bây gi ,
chúng ta l y m u đ c l p cùng phân ph i (x(1), ..., x(n)) t phân ph i
xác đ nh b i m t đ f và xét:
n

Iˆn = 1
n

i=1

h(x(i))/f (x(i)).

Lu t s l n cho ta th y r ng Iˆn h i t v i xác su t 1 t i tích phân I khi n ti n t i ∞
nghĩa là Iˆn → I(h.c.c). Hơn n a, đ nh lý gi i h n trung tâm
ch ra r ng

(Iˆn − I)/ V ar(Iˆn)
7


x p x phân ph i chu n. Vì v y phương sai V ar(Iˆn) cho ta bi t v đ chính
xác ư c lư ng c a chúng ta và nó có th đư c ư c lư ng như sau:
n

vn = n(n1− 1)
1.3.1

j=1

(h(xj)/f (xj) − Iˆn)2.

Phương pháp bi n đ i ngh ch đ o

Đ nh lí 1.9. Xét hàm phân ph i lũy tích (cdf) F (x). G i F

−1

là ngh ch

đ o m r ng c a F , t c là:
−

F 1(u) = min{x ∈ S : F (x) ≥ u}

u ∈ (0, 1]
−

G i U là m t bi n ng u nhiên phân ph i đ u (0, 1) và đ t X = F 1(U ), khi đó
phân ph i c a X có cdf F (x). (Chú ý r ng đ i v i hàm phân ph i liên t c thì
ngh ch đ o m r ng là ngh ch đ o thông thư ng).
B ng đ nh nghĩa c a ngh ch đ o m r ng và tính đơn đi u c a F , ta
có:
−

P (X ≤ x) = P(F 1(U ) ≤ x) = P (U ≤ F (x)) = F (x).
Ví d 1.1. Mô ph ng m t bi n ng u nhiên phân ph i mũ v i

tham s λ .
M t bi n ng u nhiên có phân ph i mũ v i tham s λ có hàm phân ph i là:

F (x) = 1 − exp(−λx)

v i x ≥ 0.

G i U ∼ U (0, 1) (phân ph i đ u trên (0, 1)) và đ t

Y = − 1 log(1 − U ).
λ
Khi đó Y có phân ph i mũ v i tham s λ. Đi u này có th đơn gi n hóa
hơn b ng cách th a nh n r ng 1 − U cũng là phân ph i đ u trên (0, 1) và
vì th

có phân ph i mũ v i tham s λ.

Y = − 1 log(U )
λ

8


Ví d 1.2. Mô ph ng bi n ng u nhiên có phân ph i Bernoulli ( p)
và bi n ng u nhiên có phân ph i nh th c B( n, p)
Cho U là m t bi n ng u nhiên phân ph i đ u (0, 1). N u ta xét


X=



1nuU
0 ngư c l i

thì X là bi n ng u nhiên có phân ph i Bernoulli v i xác su t thành công p.
Cho X1, ..., Xn là m t m u đ c l p cùng phân ph i Bernoulli(p). Khi

đó Y = n=1 Xi có phân ph i nh th c B(n, p).

i

Ví d 1.3. Mô ph ng bi n ng u nhiên tuân theo phân ph i hình
h c (p)
Gi s X nh n giá tr trong N và P (X = j) = pj. Khi đó:
j

−1

F (u) = min{j ∈ N : u ≤
i=1

pi}.

Bây gi , n u X ∼ G(p) thì P(X > j) = (1 − p)j. Do đó
j
i=1

pi = 1 − (1 − p)j ≥ u

n u và ch n u

j ≥ log(1 − u).
log(1 − p)
Ký hi u [a] là ph n nguyên c a a thì X =

log(U )
log(1−p)

tuân theo phân ph i

hình h c G(p).

1.3.2

Phương pháp lo i b

Gi s chúng ta mu n l y m u X là m t bi n ng u nhiên liên t c v i hàm m t
đ f (x). Chúng ta không bi t cách l y m u t X nhưng chúng ta bi t cách l y m
u t m t bi n ng u nhiên Y tương t v i hàm m t đ g(y). G i giá c a f là supp(f )

= {x : f (x) > 0}. N u ta có supp(f ) ⊆ supp(g)
9


và f (x)/g(x) ≤ M ∀x thì ta có th l y m u t Y đ t o ra m u cho X.
Chúng ta l p l i các bư c sau cho đ n khi m t m u đư c tr v .

• Bư c 1: L y m u Y = y t g(y) và U = u t phân ph i đ u U(0, 1).

Sang bư c 2.

• Bư c 2: N u u ≤

f (y )
M g(y)

thì đ t X = y. Ngư c l i, quay l i bư c 1.

M nh đ 1.10. Phân ph i c a bi n ng u nhiên X đư c l y m u trong
phương pháp lo i b như trên có m t đ f (x).
Th t vây, ta có
P(X ≤ x) = P Y ≤ x|U ≤ f (Y )

= P Y ≤ x, U ≤
P U≤

M g(Y )
f (Y )
M g(Y )

.

f (Y )
M g(Y )

Đ tính đư c xác su t trên, ta c n bi t m t đ chung c a Y và U . B i
tính đ c l p nên:

h(y, u) = g(y)1[0≤u≤1].

Vì v y:
f (y)/M g(y)

x

=

P Y ≤ x, U ≤ f (Y )
M g(Y )

g(y)

−∞
x

x

=
và

g(y)M (y) )dy = M
f g(y
1
1

−∞

P U ≤ f (Y )

∞

M g(y)
D n đ n:

=M

P Y ≤ x, U ≤

−∞

f (Y )
M g(Y )

−∞

f (y)dy

1
f (y)dy = M .

f (Y )
M g(Y )

P(X ≤ x) =
P U≤

1dudy

0

x

=

f (y)dy.
−∞

Có bao nhiêu l n l p trong thu t toán chúng ta dùng đ n? Trong m i l n
10


l p, chúng ta t o ra m t m u v i xác su t P (U ≤ M(gYY))) = M nên t ng
f (

1

s l n l p tuân theo phân ph i hình h c v i tham s 1/M . Do v y trung
bình c n s l n l p là M . Chú ý sau đây:
1. C n M nh hơn thì thu t toán hi u qu hơn trong t ng s l n l p.
Vì v y chúng ta nên tìm ki m m t m t đ g g n f .
2. N u giá c a f không b ch n thì đ có th tìm th y c n M , m t đ

g c n có đuôi l n hơn f .
Ví d 1.4. Gi s chúng ta mu n l y m u |X| trong đó X là bi n ng u
nhiên phân ph i chu n t c. M t đ c a |X| đư c cho b i

2 exp −x2

f (x) =

π

v i x ∈ R+.

2

Ta đã bi t cách l y m u m t bi n ng u nhiên phân ph i mũ vì th chúng
ta ch n m t đ g là m t đ c a m t phân ph i mũ v i tham s 1. Khi đó:

f (x) =
g(x)

T đó, đ t M =

≤

2 exp −x2 − 2x

π

=

2eexp −(x − 1)2

π

2

2

2e .
π
2e
π

d nđn

.

f (x) = exp −(x − 1)2
2

M g(x)
Thu t toán l y m u lo i b ti n hành như sau:

• Bư c 1: L y m u Y = y t phân ph i mũ E(1) và U = u t phân
ph i đ u U (0, 1). Đ n bư c 2.

• Bư c 2: N u u ≤ exp − y−21)
(

2

thì đ t X = y. Ngư c l i, tr l i

bư c 1.
Ví d 1.5. Xét m t bi n ng u nhiên Y v i m t đ g(x) đư c xác đ nh trên không
gian tr ng thái S. Bây gi , gi s A ⊂ S và chúng ta mu n l y
11

m u bi n ng u nhiên có đi u ki n X = (Y |Y ∈ A) v i không gian tr ng
thái A. Trong trư ng h p này m u lo i b có th hoàn thành b i l y m u l p đi l
p l i X cho đ n khi m u c a chúng ta n m trong A. C th hơn,

X có m t đ f (x) = P(gY(x)A) v i x ∈ A. Do đó ∈
f (x) ≤
g(x)

1

=M

và

P(Y ∈ A)

f (x) = 1
M g(x)

[x∈A

]

v i x ∈ S.

Gi s U có phân ph i đ u trên kho ng đơn v . Khi đó


P(U ≤ f (Y )/M g(y)) =



1 n u Y ∈A

0 n uY ∈A /

Vì v y, trong thu t toán l y m u lo i b tiêu chu n, chúng ta ch p nh n n u

Y ∈ A và ngư c l i, chúng ta lo i b . Chúng ta không c n l y m u U đ đưa ra quy t đ
nh này.
N u đánh giá m t đ m c tiêu f là t n kém thì phương pháp lo i b có th
dùng máy đi n toán ít t n kém hơn. N u thêm c n trên M g(x) trên m t đ m c
tiêu f (x) thì chúng ta cũng có th d dàng ư c lư ng c n dư i h(x). Vì th g i là
thu t toán l y m u lo i b hình bao, ti n hành như
sau:
1. Gi s Y = y t g(y) và U = u t ph n ph i đ u U (0, 1).
2. Ch p nh n n u u ≤ h(y)/M g(y) và đ t X = y là m t m u. Ngư c
l i, đi đ n bư c 3.
3. Ch p nh n n u u ≤ f (y)/M g(y) và tr l i X = y là m t m u. Ngư c
l i đi đ n bư c 1.
Đi u này hi u qu hơn vì trung bình ta c n 1/M h(x)dx l n l p đánh giá c
a f đư c thay th b i đánh giá c a h. Hàm h có th đư c tìm th y trong ví d b i
khai tri n Taylor.

12


1.3.3

Phương pháp l y m u quan tr ng

Trong đo n trư c ta đã đưa ra l y m u lo i b , s d ng m t đ đ xu t đ t o ra
m u t m t đ m c tiêu. Trong đo n này, chúng ta v n ti p t c l y m u c a m t đ
m c tiêu nhưng thay đ i cách đánh giá t o ra ư c lư ng không ch ch c a
các đ c tính c a m t đ m c tiêu.
Nh c l i cái mà ta đang quan tâm khi th o lu n v phương pháp Monte
Carlo là tích phân

I = Ef (h(X)) =

S

h(x)f (x)dx

v i f là m t m t đ . Khi đó, ta vi t l i tích phân dư i d ng

I=

S

f (x)h(x)g(x)dx
g(x)

trong đó, g là m t m t đ sao cho g(x) > 0 v i f (x)h(x) = 0. Bây gi ,
chúng ta t o ra m t m u đ c l p cùng phân ph i (x1, ..., xn) t g và ư c
lư ng I b i:
n

w(xi)h(xi)

f (xi)h(x ) = 1 i

Iˆ = 1
n

n

i=1

n

g(xi)

i=1

Ta g i cách l y m u này là l y m u quan tr ng. M t đ g đư c g i là
m t đ đ xu t ho c m t đ công c và tr ng s w(xi) = fg((xii)) đư c g i là x
tr ng s quan tr ng. Chú ý r ng I ˆ m t ư c lư ng không ch ch c a I.
là
Có hai lý do t i sao chúng ta quan tâm đ n bi u di n m u quan tr ng:
1. L y m u t f (x) là không th ho c quá đ t đ .
2. h(x), trong đó X ∼ f , có phương sai l n, vì th ư c lư ng không
ch ch theo quy ư c có sai s Monte Carlo (MC) l n.
Phương sai c a m t ư c lư ng quan tr ng s ch h u h n n u ư c lư ng
là bình phương kh tích, t c là
2
(X )

h2(X)f

Eg

g2(X)

= Ef h2(X)f (X)
g(X)
13

< ∞.


Do đó, phương sai s thư ng vô h n n u t s f (x)/g(x) không b ch n.
D n đ n, n u có th , chúng ta nên ch n m t đ đ xu t g có đuôi dày hơn f .
Tóm l i, n u f (x)/g(x) không b ch n thì th m chí n u phương sai c a ư c lư
ng th ng kê là h u h n, th t c l y m u là không hi u qu cũng như phương
sai c a tr ng s quan tr ng là l n.
Thay vì ư c lư ng quan tr ng Iˆ = 1 n=1 w(xi)h(xi), ư c lư ng t l
n
i
sau đây thư ng đư c s d ng
n

I˜ =

h(x )w(x )

j=1

j
n

j

.

w(x )

j=1

j

Ư c lư ng này có hai l i th :
1. Nó là ư c lư ng không ch ch, thư ng có phương sai nh hơn ư c lư ng
quan tr ng, đưa vào d dàng hơn. Nhưng chú ý r ng ư c lư ng này
v n phù h p đ i v i x1, ..., xn đ c l p cùng phân ph i v i m t đ g,
ta có
→

1 n f (x )/g(x ) − − 1. n
j
j
∞
−−
n j=1
→
2. Chúng ta có th áp d ng l y m u quan tr ng ngay c khi chúng ta
bi t f (x) và vì th w(x) ch đ n m t h ng s t l .
N u ta không th tìm th y m t m t đ quan tr ng d n đ n phương sai nh h p
lý c a tr ng s quan tr ng thì có vài phương pháp l y m u có th
áp d ng đ làm gi m phương sai:

1. Phép tính g n đúng đ u tiên đư c g i là l y l i m u quan tr ng liên
ti p và quá trình này như sau:
(a) L y m t m u quan tr ng Y (1), ..., Y (n) v i các tr ng s quan tr ng

wi = f (Y (i))/g(Y (i)), i = 1, ..., n.

(b) T o m t m u m i X(1), ..., X(n) b ng cách l y m u t Y (1), ..., Y (n)
trong đó Y j đư c l y m u v i xác su t wj/ n=1 wi.

i

2. Phương pháp l y m u th hai đư c g i là ki m soát lo i b và xem xét
lo i b b t kỳ đi m m u mà có tr ng s quan tr ng dư i m t ngư ng
14


c cho trư c. Lo i b nh ng đi m m u s đưa ra m t đ l ch, nhưng
b ng s thay đ i các tr ng s quan tr ng thích h p, đ l ch này có
th tránh đư c. Cho m u quan tr ng Y (1), ..., Y (n) v i các tr ng s
quan tr ng w1, ..., wn, quá trình ki m soát lo i b như sau:
(a) V i j = 1, ..., n ch p nh n Y (j) v i xác su t pj = min{1, wj/c}.
Ngư c l i, lo i b Y (j).
(b) N u Y (j) đư c ch p nh n tính toán l i thì tr ng s quan tr ng là

wj = qwj/pj, trong đó q = min{1, w(x)/c}g(x)dx. ˜
Chú ý vì q như nhau đ i v i t t c các đi m m u nên ta không c n tính
nó rõ ràng n u ta s d ng ư c lư ng t l . Hơn n a, ki m soát
lo i b t o ra m t m u quan tr ng theo m t đ đ xu t
∗

g = min{g(x), f (x)/c}.
q

1.4

Xích Markov

Trong đo n này, chúng ta đưa ra m t s đ nh lý v xích Markov quan tr ng
cho phương pháp MCMC.
Đ nh nghĩa 1.11. Xích Markov. M t dãy đ i lư ng ng u nhiên X =

{Xn, n = 0, 1, 2, 3, ...} nh n các giá tr trên t p Σ đư c g i là xích Markov
n u:
P(Xn+1 ∈ A|Xn = xn,Xn−1 = xn−1, ..., X0 = x0)

= P(Xn+1 ∈ A|Xn = xn)

v im in

0, A ⊆ Σ, x0, x1, ..., xn ∈ Σ.

Đôi khi tính Markov c a xích còn đư c phát bi u dư i d ng: N u bi t tr ng
thái hi n t i (t i th i đi m n) c a xích thì quá kh và tương lai (t i th i đi m n+1)
đ c l p v i nhau.

15


Ví d 1.6. Gi s Xn là th i ti t ngày th n. Ta đ t:


0 n u tr i n ng vào ngày th n



n u tr i có mây vào ngày th n
Xn = 1

n u tr i mưa vào ngày th n

2
Hình sau ch ra các xác su t chuy n cho s thay đ i th i ti t.
B ng vi c l y mô hình th i ti t như xích Markov, chúng ta gi s r ng

Hình 1.1: Xác su t chuy n c a xích th i ti t

th i ti t ngày mai đư c tính theo th i ti t hôm nay, không ph thu c vào ngày
hôm qua hay b t kỳ ngày trư c nào.
Đ nh nghĩa 1.12. Xác su t chuy n, Xích th i gian thu n nh t. M t xích
Markov X đư c g i là xích thu n nh t n u xác su t chuy n c a
nó:
P(Xn+1 ∈ A|Xn = x) = P (x, A) =

p(x, y)dy
A

không ph thu c vào n. Ta g i P(x, A) là nhân chuy n. Trong ph m vi
đây, chúng ta gi s r ng nhân chuy n là liên t c tuy t đ i v i m i x ∈ Σ, t c là
nó có m t m t đ liên quan ho c hàm kh i xác su t. Vì v y, c đ nh x ∈ Σ, hàm

p(x, y) là m t m t đ ho c hàm kh i xác su t (pmf).

Xác su t chuy n sau n bư c c a X đư c đ nh nghĩa b i
P(Xn ∈ A|X0 = x) = P (n)(x, A) =
16

A

p(n)(x, y)dy.


N u không gian tr ng thái Σ c a X là h u h n thì ta có th gom các
xác su t chuy n thành m t ma tr n xác su t chuy n như sau.
Đ nh nghĩa 1.13. Ma tr n chuy n. Đ t P(Xn+1 = j|Xn = i) = pij
(i, j ∈ Σ). Ma tr n xác su t chuy n c a X là

P = (pij)i,j .
∈Σ

Khi đó xác su t chuy n sau n bư c là p(ijn) = Pn(i, j).
Ví d 1.7. Ma tr n xác su t chuy n c a xích Markov th i ti t và Ma tr n
xác su t chuy n sau 2 - l n c a xích Markov th i ti t là
 0, 4 0, 6 0

 0, 31
0, 39

P=

0, 3 

0, 25 0, 25 0, 5 , P2 = 0, 1625 0, 4125 0, 425







0
0, 4 0, 6
0, 1
0, 34 0, 56



.
B đ 1.14. Phân ph i t i th i đi m n. Gi s đã bi t phân ph i ban
đ u c a X, t c là phân ph i c a X0 đư c cho b i hàm m t đ q(0)(x). Khi
đó, ta có th tính đư c hàm m t đ c a X t i th i đi m n như sau:
q(0)(y)p(n)(y, x)dy.
q(n)(x) =
Σ
N u q(n) là véctơ c a phân ph i t i th i đi m n và Pn là ma tr n xác su t
chuy n sau n bư c thì ta có:

q(n) = q(0)Pn.
Ví d 1.8. Gi s trong ngày th 0, tr i n ng. Do đó q(0) = (1, 0, 0).
Khi đó, phân ph i c a th i ti t trong ngày th 2 là

q(2) = q(0)P2
 0, 31

= (1, 0, 0)

0, 39

0, 3 

0, 1625 0, 4125 0, 425



0, 1
0, 34 0, 56

= (0, 31; 0, 39; 0, 3).
Vì v y n u ngày th 0 tr i n ng thì chúng ta có 31% kh năng tr i n ng
vào ngày th 2.
17


N u m t xích Markov th a mãn đi u ki n h p lý nh t đ nh thì phân
ph i c a xích h i t đ n m t phân ph i gi i h n mà cũng đư c g i là phân ph i
cân b ng ho c cân b ng ho c b t bi n. Xích như th đư c g i là m t xích
Markov ergodic.
M t xích Markov th i gian r i r c trên m t không gian tr ng thái r i r c là
ergodic n u nó là t i gi n, không chu kỳ và h i quy dương. Đ u tiên, ta đưa
ra các khái ni m cho không gian tr ng thái (r i r c) đ m đư c và đ nh nghĩa
tương t cho không gian tr ng thái t ng quát.
Đ nh nghĩa 1.15. T i gi n: Xích Markov X đư c g i là t i gi n n u t t
c các tr ng thái đ u liên l c đư c, t c là v i m i i, j ∈ Σ, có m t s n ≥ 0
sao cho:

P(Xn = i|X0 = j) > 0.
Đ nh nghĩa 1.16. H i quy M t xích Markov X đư c g i là h i quy n u
xác su t đ xích xu t phát t tr ng thái i quay tr l i i sau h u h n bư c
b ng 1, t c là:
P(Xtr l i tr ng thái i sau h u h n bư c |X0 = i) = 1

∀i ∈ Σ.

Đ nh nghĩa 1.17. H i quy dương : M t xích h i quy đư c g i là h i
quy dương n u E(Tii) < ∞ v i m i i ∈ Σ, trong đó Tii là kho ng th i gian
l n đ u tiên tr v tr ng thái i. N u xích Markov là ergodic v i phân ph i
d ng π thì

π(i) = 1/E(Tii).

đây, phân ph i d ng π = (π(1), π(2), ...) còn đư c g i là phân ph i gi i
h n.

∞ (

Đ nh lí 1.18. Tr ng thái i là h i quy khi và ch khi

p

n)

n=1 ii

= ∞.

Đ nh nghĩa 1.19. Tính không chu kỳ:
M t xích Markov đư c g i là không có chu kỳ n u không t n t i d

2 và

các t p con r i nhau Σ1, Σ2, ..., Σd ⊂ Σ sao cho:

P (x, Σi+1) = P(Xn+1 ∈ Σi+1|Xn = x) = 1 ∀x ∈ Σi,
P (x, Σ1) = 1 ∀x ∈ Σd.
18

i ∈ {1, 2, 3, ..., d−1}


Ví d 1.9.

Hình 1.2: Xác su t chuy n c a xích th i ti t

Bây gi ta xét m t không gian tr ng thái liên t c Ξ . B i vì xác su t c a m t
bi n ng u nhiên liên t c nh n giá tr t i m t đi m b ng 0 nên ta c n xem l i đ
nh nghĩa v tính t i gi n.
Đ nh nghĩa 1.20. φ - t i gi n. M t xích Markov đư c g i là φ - t i gi n
n u t n t i m t đ đo không t m thư ng φ trong Ξ sao cho ∀A ⊆ Ξ v i

φ(A) > 0 và ∀x ∈ Ξ , t n t i s nguyên dương n = n(x) sao cho:
P (n)(x, A)(= P(Xn ∈ A|X0 = x)) > 0.
Ví d như φ(A) = δx0 thì đi u này đòi h i tr ng thái x0 có th đ t
đư c (liên l c) t b t kỳ tr ng thái khác v i xác su t dương. Vì v y, tính
t i gi n là đi u ki n ch t hơn so v i φ - t i gi n. V i không gian tr ng thái liên t c,

φ(•) có th là đ đo Lebesgue.
Khái ni m v tính không chu kỳ như đ nh nghĩa trư c đó cũng đư c áp d
ng cho xích Markov liên t c.
M t xích Markov là φ - t i gian và không có chu kỳ thì có phân ph i gi i h n. Đ
đo kho ng cách gi a hai đ đo xác su t ta s d ng kho ng cách bi n thiên
hoàn toàn.
Đ nh nghĩa 1.21. Kho ng cách bi n phân gi a hai đ đo xác su t P1 và

P2 đư c đ nh nghĩa b i:
P1(•) − P2(•) = sup |P1(A) − P2(A)|.
A

19


Đ nh lí 1.22. Phân ph i tr ng thái cân b ng. Phân ph i c a xích
Markov không có chu kỳ, φ - t i gi n h i t đ n m t phân ph i gi i h n

π, t c là:
lim P n(x, •) − π(•) = 0 v i π − h u h t x ∈ Ξ .

n→∞

Ta g i phân ph i gi i h n π là phân ph i tr ng thái cân b ng hay phân
ph i d ng.
Đ nh nghĩa 1.23. H i quy Harris: M t xích Markov X là h i quy Harris
n u ∀B ⊆ Ξ v i π(B) > 0 và ∀x ∈ Ξ ta có:
P(Xn ∈ B v i n > 0 | X0 = x) = 1.
Đ nh lí 1.24. Phân ph i c a m t xích Markov không có chu kỳ, h i quy
Harris h i t đ n phân ph i gi i h n π, t c là:

lim P n(x, •) − π(•)

= 0 ∀x ∈ Ξ .

n→∞

Chú ý r ng vì:

q(n)(A) = P(Xn ∈ A) =

q(0)(x)P n(x, A)dx

nên ta có nlim P(Xn ∈ A) = π(A) ∀A ⊆ Ξ và v i m i phân ph i ban đ u →∞
q(0).
Vì đ nh lý trên đúng cho b t kỳ phân ph i ban đ u q(0) nào nên d n
đ n ta có phương trình cân b ng t ng quát

π(x) =

Σ

π(y)p(y, x)dy.

B đ 1. Tr ng thái cân b ng chi ti t. Gi s π là phân ph i trên

Σ th a mãn: π(x)p(x, y) = π(y)p(y, x) v i m i x, y ∈ Σ, trong đó p(x, y) là m t đ chuy
n ho c hàm kh i xác su t c a m t xích Markov X có tính ergodic. Khi đó π là
m t phân ph i d ng c a X.

20


Th t v y, phân ph i π th a mãn phương trình tr ng thái cân b ng t ng
quát vì:

Σ

π(x)p(x, y)dx =

Σ

π(y)p(y, x)dx = π(y)

Σ

p(y, x)dy = π(y).

S h u ích c a MCMC là d a trên đ nh lý quan tr ng đ i v i xích Markov
có tính ergodic sau.
Đ nh lí 1.25. Đ nh lý ergodic: Cho h là m t hàm th c nào đó và X là m t
xích Markov có tính ergodic v i phân ph i d ng π. Xét ergodic trung
bình:

h¯N = 1 N h(X ).
N n=1

n

Bây gi gi s Y có phân ph i π. N u E (|h(Y )|) < ∞ thì khi N → ∞,

ergodic trung

π

bình

¯N h i t đ n E (h(Y )) v i xác su t 1. h
π

Chúng ta cũng có đ nh lý gi i h n trung tâm. Nó đòi h i đi u ki n nh t
đ nh là t c đ h i t đư c bi t đ n là h i t hình h c. Chúng ta cũng s d ng các
ký hi u như đ nh lý trên.
Đ nh lí 1.26. Đ nh lý gi i h n trung tâm N u X là ergodic hình h c
ε

([3])và E (h(Y )2+ ) < ∞ v i ε > 0 thì
π

¯N −d Ν (E (h(X)), τ ) 2
π
h
N
→
v i τ 2 là đ i lư ng có liên quan đ n th i gian t tương quan đ y đ c a X.

21


Chương 2
Phương pháp MCMC

2.1

Gi i thi u

Trong chương đ u, chúng ta đã gi i thi u m t s phương pháp MC cơ b n.
Các mô ph ng này có ưu đi m là d th c hi n. Tuy nhiên, nó ch mô ph ng đư
c đ i v i các trư ng h p đơn gi n. Trong nhi u trư ng h p ph c t p như s chi u
tăng lên (phân ph i nhi u chi u) ... thì các mô ph ng cơ b n không th th c hi
n đư c. Hơn n a, bây gi , gi s chúng ta mu n bi t kỳ v ng c a bi n ng u
nhiên h(Y) v i Y có phân ph i nhi u chi u đư c cho b i hàm m t đ (ho c hàm
kh i xác su t) π. Tuy nhiên, chúng
ta không th tính E(h(Y )) = h(y)π(y)dy và các phương pháp mô ph ng
cơ b n cũng không th c hi n đư c. Đ gi i quy t v n đ này, chúng ta đưa
ra m t phương pháp g i là phương pháp MCMC.
Chúng ta bi t r ng m t xích Markov X có tính ergodic thì phân ph i c a
xích h i t đ n phân ph i d ng. Vì v y, ý tư ng chính c a phương pháp
MCMC là đi xây d ng m t xích Markov có tính ergodic mà phân ph i d ng
là π. Khi đó, chúng ta ch y X lên đ n th i gian dài N và ư c
lư ng E(h(Y )) b i N N=1 h(Xn). Đ nh lý ergodic cho ta bi t v i N đ 1
n

l n, ư c lư ng trên s g n đ n E(h(Y )).
Xích Markov quan tâm thư ng b t đ u t i m t tr ng thái mà không có
phân ph i d ng (ngư c l i chúng ta không làm vi c v i MCMC). Ta có th
khám phá hi u qu tr ng thái ban đ u có th có trên các tr ng thái đư c truy
c p b i xích Markov. Đ gi m kh năng c a đ ch ch, cái đư c g i
22


là đ ch ch kh i đ u do nh hư ng c a k t qu c a giá tr kh i đ ng, m t

M bư c ban đ u c a xích b lo i b và ư c lư ng d a trên tr ng thái đư c
truy c p sau th i gian M, t c là chúng ta s d ng ergodic trung bình:

h¯N =

1
N −M

N
n=M +1

h(Xn).

Giai đo n đ u đ n th i đi m M đư c g i là giai đo n t m th i (ng n
ng i) ho c là th i kỳ burn-in. Làm th nào chúng ta quy t đ nh th i đ dài c a
th i kỳ burn-in? Bư c đ u tiên ki m tra đ u ra c a xích là quan sát thông
thư ng b ng m t. Đây là m t phương pháp r t thô nhưng r t nhanh chóng
và r ti n. Tuy nhiên, đi u này nên đư c theo dõi b ng các phương pháp ph
c t p hơn.
Như v y, chúng ta b t đ u v i phân ph i π và c g ng tìm xích Markov có tính
ergodic mà phân ph i d ng là π. V i b t kỳ cách cho phân ph i, thư ng là có nhi
u xích Markov phù h p. Vì v y, có nhi u cách khác nhau trong vi c xây d ng
m t xích Markov mà phân ph i h i t đ n phân ph i m c tiêu.
Th c s không ph i quá khó đ tìm m t xích Markov có phân ph i d ng là
phân ph i mong mu n. Có m t s các phương pháp, đư c g i là "l y m u", mà
chúng ta có th s d ng đ tìm m t xích Markov như v y. N u xích đư c xây d
ng là ergodic thì chúng ta có th ti n hành b ng cách mô ph ng xích đó và ư
c tính s lư ng quan tâm.

2.2

M u Metropolis - Hastings

Cho Σ là không gian tr ng thái c a phân ph i m c tiêu. Quá trình chuy
n đ i c a m t xích Metropolis-Hastings đư c t o ra như sau. Đ u tiên, chúng
ta ch n v i m i x ∈ Σ m t m t đ q(x, •) trong Σ (ho c hàm kh i xác su t n u Σ là r
i r c). Vì v y, q(x, •), x ∈ Σ, xác đ nh các xác su t/m t đ chuy n c a m t xích
Markov trong không gian tr ng thái Σ, cho bi t tr ng thái hi n t i là x. Các
xác su t/ m t đ chuy n q(x, •) nên đư c ch n sao cho vi c l y m u đư c d
dàng.
23