Một số kỹ thuật thống kê sử dụng trong ước lượng bayes

Mục lục
Mở đầu. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Chương 1. Giới thiệu thống kê Bayes. . . . . . . . . . . . . . . . . . . . 3
Chương 2. Thống kê Bayes trong mô hình chuẩn và hồi quy
27
Chương 3. Thống kê Bayes với chuỗi thời gian . . . . . . . . . 63
Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
Tài liệu tham khảo . . . . . . . 79
Mở đầu
Thống kê là khoa học về các phương pháp tổng quát xử lí các kết
quả thực nghiệm. Để phát hiện ra những quy luật đằng sau những con
số, người làm thống kê phải tiến hành công việc suy luận thống kê. Hiểu
một cách đơn giản, suy luận thống kê là quá trình tìm ra các quy luật
từ dữ liệu thực tế.
Hiện nay có hai trường phái đang phát triển song song và “cạnh tranh”
nhau. Đó là trường phái tần suất (cổ điển) và Bayes.
Suy luận Bayes thể hiện cách suy nghĩ phổ biến của tất cả chúng ta
là chúng ta tiếp thu kiến thức theo kiểu tích lũy. Thông tin mà chúng ta
muốn biết bắt nguồn từ thông tin chúng ta đã biết cộng với thông tin
thực tế.
Trong luận văn này , tác giả trình bày tổng quan về thống kê Bayes,
thống kê Bayes với các mô hình; chuẩn, hồi quy tuyến tính, tuyến tính
tổng quát và mô hình chuỗi thời gian. Luận văn gồm 3 chương
Chương 1. Giới thiệu thống kê Bayes
Trong chương 1, tác giả hệ thống các suy luận Bayes cho các biến
ngẫu nhiên rời rạc và liên tục, với các tiên nghiệm rời rạc và liên tục.
Đồng thời giới thiệu phương pháp MCMC để giải quyết phép tính tích
phân phức tạp có trong thống kê Bayes.
Chương 2. Thống kê Bayes trong mô hình chuẩn và hồi quy
Trong chương 2, trình bày mô hình thống kê Bayes chuẩn và hồi quy,
so sánh giữa cách tiếp cận của tần suất và tiếp cận Bayes

Chương 3. Thống kê Bayes với mô hình chuỗi thời gian
1
2
Trong chương 3, trình bày thống kê Bayes với mô hình chuỗi thời
gian, những kết quả về ước lượng và kiểm định theo Bayes và một số
thuật toán chạy sử dụng trong phân tích số liệu bằng Bayes.
Kết luận. Trình bày các kết quả của luận văn
Chương 1
Giới thiệu thống kê Bayes
I. Định lý Bayes
Việc suy luận thống kê để tìm ra quy luật từ dữ liệu thực tế biểu thị
bởi y, dữ liệu có thể tuân theo một phân phối nào đó, tuy nhiên phân
phối này phụ thuộc vào những tham số chưa biết θ, kí hiệu f(y, θ). Với
mô hình xác suất f(y|θ) có hai cách hiểu về tham số θ tương ứng với hai
trường phái suy luận: thống kê tần suất và thống kê Bayes.
• Thống kê tần suất (thống kê cổ điển) xem tham số là một giá trị
không biết nhưng không ngẫu nhiên;
• Thống kê Bayes coi tham số θ là biến ngẫu nhiên. Chúng ta có thể
gán cho tham số một phân phối xác suất để biểu thị sự tin cậy về
giá trị thực của tham số. Bằng cách kết hợp thông tin đã có trước
khi quan sát với thông tin có được khi quan sát, chúng ta thu được
thông tin muốn biết.
Cơ sở của suy luận Bayes là định lí Bayes. Định lí cho phép xác định
xác suất xảy ra một sự kiện ngẫu nhiên khi biết sự kiện liên quan xảy
ra.
Xét tham số là biến ngẫu nhiên X, không quan sát được X. Biến
ngẫu nhiên Y , phụ thuộc vào các tham số, với các giá trị y
1
, y
2

, , y
n
, Y
quan sát được. Ta suy luận về biến ngẫu nhiên X/Y = y
n
bằng việc
sử dụng định lí Bayes. Gọi f là phân phối chứa biến ngẫu nhiên Y, g là
phân phối chứa tham số biến ngẫu nhiên X.
1. Trường hợp X là rời rạc
3
4
Nếu X nhận các giá trị x
1
, x
2
, , x
n
. Phân phối đồng thời là f(x
i
/y
j
) =
g(x
i
)f(y
j
/x
i
). Phân phối biên duyên của Y là
n


i=1
f(x
i
/y
j
) =
n

i=1
g(x
i
)f(y
j
/x
i
).
Phân phối hậu nghiệm của X/Y = y
j
là:
g(x
i
/y
j
) =
g(x
i
)f(y
j
/x

i
)
n

i=1
g(x
i
)f(y
j
/x
i
)
. (1.1)
Phân phối xác suất tiên nghiệm g(x
i
) của biến ngẫu nhiên rời rạc X là
xác suất của mỗi x
i
trước khi ta quan sát thấy dữ liệu, nó xuất phát
từ kinh nghiệm, không phải từ dữ liệu. Khi quan sát được Y = y
i
ta có
hàm hợp lý f(y
j
/x
i
).
2. Trường hợp X là liên tục
Nếu X liên tục trên R, khi đó phân phối hậu nghiệm xác định theo định
lý Bayes như sau

g(x/y) =
g(x)f(y/x)

R
g(x)f(y/x)dx
(1.2)
Hệ quả quan trọng cuả định lý Bayes: Nhân 1 hằng số với tiên nghiệm
không làm thay đổi kết quả định lý Bayes. Nhân hàm hợp lý với một
hằng số không làm thay đổi kết quả định lý Bayes.
Trong tính toán phân phối hậu nghiệm, nói chung tìm mật độ biên
duyên và mật độ hậu nghiệm không dễ, nên chúng ta tập trung vào
phân phối tiên nghiệm mà có phân phối hậu nghiệm dễ tính toán, khi
đó những tiên nghiệm này được gọi là tiên nghiệm liên hợp.
II. Bayes cho tỷ lệ Nhị thức
Cho Y/p ∼ Binomial(n, p). (n phép thử độc lập, p là xác suất thành
công của mỗi phép thử và như nhau trong n phép thử). Y là số lần thành
công trong n phép thử
Nếu cố định y là số thành công của quan sát, và cho p thay đổi các giá
5
trị có thể của nó, chúng ta có hàm hợp lý
f(y/p) = C
y
n
p
y
(1 −p)
n−y
, 0 ≤ p  1
1. Sử dụng tiên nghiệm đều
Tiên nghiệm cho p là phân phối đều có mật độ g(p) = 1, (0  p  1).

Mật độ hậu nghiệm tương ứng
g(p/y) =
g(p)f(y/p)
1

0
g(p)f(y/p)dp
=
1C
y
n
p
y
(1 −p)
n−y
1

0
1C
y
n
p
y
(1 −p)
n−y
dp
∝ C
y
n
p

y
(1 −p)
n−y
Phân phối hậu nghiệm này là một hàm của p và phân phối này là phân
phối Beta(a; b) với a = y + 1, b = n − y + 1
2. Sử dụng tiên nghiệm Beta
Tiên nghiệm cho p là phân phối Beta(a; b) có mật độ
g(p, a, b) =
Γ(a + b)
Γ(a)Γ(b)
p
a−1
(1 −p)
b−1
Hậu nghiệm tương ứng
g(p/y) =
g(p, a, b)f(y/p)
1

0
g(p, a, b)f(y/p)dp
∝ g(p, a, b)f(y/p)
∝ p
a+y−1
(1 −p)
b+n−y−1
Đây cũng là phân phối Beta(a

; b


) với a

= a + y; b

= b + n − y
* Tiên nghiệm Beta(a; b) gọi là tiên nghiệm liên hợp cho tỷ lệ p
của phân phối nhị thức và tiên nghiệm đều là trường hợp đặc biệt của
Beta(a; b) với a = b = 1.
* Định lý Bayes cung cấp một phương pháp để sửa đổi (niềm tin)
phân phối về các tham số, cho dữ liệu. Để sử dụng nó, phải có một phân
6
phối đại diện cho niềm tin của về các tham số, trước khi chúng ta nhìn
vào các dữ liệu.
* Trong khi có kiến thức mơ hồ về tiên nghiệm thì phân phối Beta(a; b)
sẽ làm tiên nghiệm phù hợp. Ví dụ, khi không biết về p, là một giá trị rất
nhỏ, thì Beta(0, 5; 1), Beta(0, 5; 2), Beta(0, 5; 3), Beta(1; 2), Beta(1; 3)
sẽ là thỏa đáng.
* Nếu có kiến thức về tiên nghiệm, lựa chọn Beta(a; b) phù hợp với
niềm tin của chúng ta về trung bình và độ lệch chuẩn. Trung bình tiên
nghiệm là p
0
=
a
a+b
và độ lệch chuẩn tiên nghiệm là σ
0
=

ab
(a+b)

2
(a+b+1)
.
Ví dụ 1.1. Có 3 sinh viên muốn xây dựng niềm tin về tỷ lệ người dân
muốn xây dựng sòng bạc ở Hamilton. Anna suy nghĩ phân phối tiên
nghiệm có giá trị trung bình là 0, 2 và độ lệch chuẩn là 0, 8. Tiên nghiệm
Beta(a; b) là phù hợp, được xác định bởi







a
a + b
= 0, 2
ab
(a + b)
2
(a + b + 1)
= 0, 8
2
⇒





a = 4, 8

b = 19, 2
⇒ tiên nghiệm của Anna là Beta(4, 8; 19, 2).
Bart không biết thông tin gì về vùng này nên đã quyết định dùng tiên
nghiệm đều với a = b = 1 và tiên nghiệm của Bart là Beta(1; 1). Chris
không có tiên nghiệm thích hợp cho niềm tin của mình và tin rằng xác
suất tiên nghiệm có một dạng hình thang bằng cách nội suy tuyến tính
từ kết quả sau
Bảng 1.1. Trọng số của p
p 0 0,05 0,1 0,3 0,4 0,5
Trọng số 0 1 2 2 1 0
7
g(p) =











2p 0  p  0, 1
0, 2 0, 1  p  0, 3
0, 5 − p 0, 3  p  0, 5
Giả sử các sinh viên lấy mẫu n = 100 quan sát được y = 26. Khi đó hậu
nghiệm của Anna là
Beta(a + y; b + n − y) = Beta (4, 8 + 26; 19, 2 + 74)
= Beta (30, 8; 93, 2)

Hậu nghiệm của Bart là
Beta (1 + 26; 1 + 74) = Beta (27; 75)
Hậu nghiệm của Chris là
g(p/y) =
g(p)f(y/p)

1
0
g(p)f(y/p)dp
Ta thấy hậu nghiệm của Anna, Bart, Chris là tương tự nhau dù các tiên
nghiệm là khác nhau (Hình 1.1; 1.2). Vậy Phân phối hậu nghiệm tóm
tắt niềm tin của ta về tham số sau khi cập nhật dữ liệu.
Sau khi có phân phối hậu nghiệm về p, chúng ta cần ước lượng ˆp dựa
trên phân phối hậu nghiệm.
Có 2 phương pháp ước lượng hay dùng là ước lượng điểm và ước lượng
khoảng.
3. Ước lượng điểm
Các yêu cầu cần có của ước lượng là
Tính không chênh E(
∧
θ
) =

∧
θ
f(
∧
θ
/θ)d
∧

θ
= θ, trong đó f(
∧
θ
/θ) là phân
phối mẫu của ước lượng
∧
θ
, có sai số ngẫu nhiên là bias(

θ) = E

θ − θ.
8
Hình 1.1: Tiên nghiệm của Anna, Bart, Chris
Hình 1.2: Phân phối hậu nghiệm của Anna, Bart, Chris
Sai số trung bình bình phương của một ước lượng
MS(

θ) = E(

θ − θ)
2
=

(

θ − θ)
2
f(


θ/θ)d

θ = V ar(

θ) + bias
2
(

θ)
a. Theo tần suất
Ước lượng cho p là p
F
=
y
n
, trong đó y là tần số thành công cho n phép
thử và có phân phối nhị thức B (n; p). p
F
là ước lượng không có sai số
9
ngẫu nhiên Biasp
F
= 0 và
V ar(ˆp
F
) = V ar(
y
n
) =

np(1 −p)
n
2
=
p(1 −p)
n
MS(p
F
) = V ar(p
F
) =
p(1 −p)
n
b. Theo Bayes
Sử dụng trung bình hậu nghiệm để ước lượng cho p. Nếu sử dụng tiên
nghiệm đều Beta (1; 1) thì ước lượng cho p là
p
B
=
a

a

+ b

với






a

= 1 + y
b

= n −y + 1
Ta có
p
B
=
y + 1
n + 2
=
y
n + 2
+
1
n + 2
(1.3)
Do đó
E(p
B
) =
np
n + 2
+
1
n + 2
, V ar(p

B
) =

1
n + 2

2
np(1 −p)
MS(p
B
) = (Ep
B
− p)
2
+ V ar(p
B
)
=

np
n + 2
+
1
n + 2
− p

2
+
np(1 −p)
(n + 2)

2
=

1 −2p
n + 2

2
+
np(1 −p)
(n + 2)
2
Giả sử p = 0, 4, n = 10 thì
MS(p
F
) =
p(1 −p)
n
= 0, 024
MS(
∧
P
B
) =

1 −2p
n + 2

2
+
np(1 −p)

(n + 2)
2
≈ 0, 0169 < 0, 024.
Ta thấy ước lượng điểm theo Bayes có sai số trung bình bình phương nhỏ
hơn so với ước lượng tần suất. Vì vậy ước lượng điểm theo Bayes là tốt
10
hơn.
4. Ước lượng khoảng
a. Theo tần suất
Theo tần suất, ta dùng khoảng tin cậy để ước lượng cho p. Khoảng
tin cậy là khoảng có xác suất cao chứa giá trị của θ. Khoảng tin cậy
(1 −α).100% cho θ là khoảng (l, u) thỏa mãn P (l ≤ θ ≤ u) = 1 −α. Vậy
khoảng tin cậy (1 −α).100% cho p là

p
F
− z
α/2

p
F
(1 − p
F
)
n
, p
F
+ z
α/2


p
F
(1 − p
F
)
n

.
Ví dụ 1.2.[9] (tiếp)
Mẫu ngẫu nhiên của họ là n = 100, y = 26 là số người nói đồng ý
xây dựng sòng bạc ở Hamilton. Khoảng tin cậy 95% cho p là:

0, 26 − 1, 96

0, 26.0, 74
100
; 0, 26 + 1, 96

0, 26.0, 74
100

= (0, 174; 0, 346)
b. Khoảng tin được Bayes (Bayesian Credible Interval )
Trong thống kê Bayes ta sử dụng “khoảng tin được Bayes”. Một
khoảng các giá trị mà có xác suất hậu nghiệm cao được biết đến (1 −
α).100% chứa tham số gọi là khoảng tin được Bayes. Ở đây ta tìm khoảng
tin được cho p sử dụng tiên nghiệm Beta(a, b), phân phối hậu nghiệm
tương ứng là Beta(a

, b


). Chúng ta tìm một khoảng tin được 95% cho
phân phối hậu nghiệm là xấp xỉ phân phối chuẩn (p/y) ∼ N(m

, s
2
) với
kỳ vọng và phương sai như sau:
m

=
a

a

+ b

, s

2
=
a

b

(a

+ b

)

2
(a

+ b

+ 1)
Khoảng tin được (1 − α).100% cho p là
(m

− z
α/2
.s

; m

+ z
α/2
.s

) (1.4)
11
(z
α/2
là giá trị tìm từ phân phối chuẩn tắc). Chẳng hạn với khoảng tin
được 95%, z
α/2
= 1, 96. Việc lấy xấp xỉ là tốt nhất nếu a

≥ 10, b


≥ 10
Ví dụ 1.2.[9] (tiếp)
Ba sinh viên Anna, Bart, Chris tính khoảng tin được cho p thoe hai cách,
sử dụng hàm mật độ chính xác Beta và xấp xỉ chuẩn, kết quả được trình
bày ở bảng sau
Bảng 1.2. Khoảng tin được của Anna, Bart, Chris.
Phân phối Khoảng tin được Khoảng tin được
hậu nghiệm chính xác xấp xỉ chuẩn
Anna Beta(30,8; 93,2) (0,177; 0,328) (0,172; 0,324)
Bart Beta(27; 75) (0,184; 0,354) (0,183; 0,355)
Chris Lấy tích phân (0,181; 0,340) (0,181; 0,341)
Ta thấy ba kết quả là tương tự nhau. Và kết quả của tần suất cũng tương
tự với 3 khoảng tin được của Bayes
5. Kiểm định giả thuyết
a. Kiểm định một phía
i. Theo tần suất
Ví dụ 1.2. Giả sử chúng ta muốn xác định tỷ lệ người được hưởng lợi
từ việc điều trị theo tiêu chuẩn tại một bệnh viện. p là tỷ lệ bệnh nhân
được hưởng lợi từ điều trị mới, tỷ lệ điều trị theo tiêu chuẩn được biết
từ ghi chép là p
0
= 0, 6. Một nhóm ngẫu nhiên gồm 10 bệnh nhân được
điều trị mới. y là số người được hưởng lợi. Quan sát y = 8, điều này đủ
tốt để kết luận rằng π > 0, 6 tại mức ý nghĩa α = 10%. Các bước kiểm
định:
12
1) Thiết lập giả thuyết và đối thuyết






H
0
: p  0, 6
H
1
: p > 0, 6
2) Phân phối không của kiểm định thống kê là phân phối mẫu của
kiểm định cho giả thuyết không là đúng. Trong trường hợp này,
phân phối có dạng nhị thức B(n = 10, p = 0, 6).
3) Chọn mức ý nghĩa α = 5%, khi y có phân phối rời rạc, chỉ có
một vài giá trị của α, vì thế chúng ta có thể chọn một giá trị ở ngay
phía trên hoặc dưới 5%.
4) Miền bác bỏ được chọn sao cho nó có xác suất của α dưới phân
phối không. Nếu chọn Y ≥ 9 thì α = 0, 0463.
Bảng 1.3. Miền bác bỏ.
Y P (y/p = 0, 6) Miền
0 0,0001 Chấp nhận
1 0,0016 Chấp nhận
2 0,0106 Chấp nhận
3 0,0425 Chấp nhận
4 0,1115 Chấp nhận
5 0,2007 Chấp nhận
6 0,2508 Chấp nhận
7 0,2150 Chấp nhận
8 0,1209 Chấp nhận
9 0,0403 Bác bỏ
10 0,006 Bác bỏ
13

5) Nếu giá trị kiểm định thống kê cho mẫu nằm trong miền bác bỏ
thì bác bỏ giả thuyết H
0
tại α. Trong trường hợp này y = 8 thuộc
miền chấp nhận. Ta chấp nhận giả thuyết H
0
: p ≤ 0, 6.
6) p-giá trị là mức ý nghĩa chính xác. Trong trường hợp này
p − giá trị = 0, 1672 =
n

y.qs
P (y/p
0
) =
10

y=8
P (y/p
0
)
. Nếu p−giá trị < α, kiểm định thống kê nằm trong miền bác bỏ, và
ngược lại. Với y = 8 nằm trong miền chấp nhận và p − giá trị α =
0, 05 nên bằng chứng không đủ mạnh để kết luận p > 0, 6.
Kiểm định tần suất sử dụng một xác suất tính trên tất cả dữ liệu có
thể xảy ra nhưng giả thuyết về tham số xác định trên toàn bộ giá trị.
ii. Theo Bayes
Kiểm định






H
0
: p  p
0
H
1
: p > p
0
tại mức ý nghĩa α.
Phương pháp Bayes là cách dễ hiểu, chúng ta cần làm các tính toán xác
suất hậu nghiệm bằng cách sau:
P (H
0
: p < p
0
/y) =

p
0
0
g(p/y)dp (1.5)
Bác bỏ giả thuyết H
0
nếu xác suất hậu nghiệm nhỏ hơn α.
Ví dụ 1.3. (tiếp)
Chúng ta sử dụng tiên nghiệm Beta(1, 1) cho p, với y = 8 thì hậu
nghiệm cho p là Beta(9; 3). Khi đó xác suất hậu nghiệm của giả thuyết

không là P(p  0, 6/y = 8) =

0,6
0
Γ(12)
Γ(3)Γ(9)
p
8
(1 −p)
2
dp = 0, 1189 > 0, 05,
14
không thể bác bỏ giả thuyết H
0
ở mức α = 5%.
b. Kiểm định 2 - phía
i. Mối quan hệ giữa kiểm định 2-phía và khoảng tin cậy
Có một mối quan hệ chặt chẽ giữa kiểm tra giả thuyết 2-phía và
khoảng tin cậy. Nếu kiểm định giả thuyết 2-phía tại α, tương ứng khoảng
tin cậy cho tham số (1 − α).100%, nếu giả thuyết H
0
: p = p
0
bị bác bỏ
thì giá trị p
0
nằm ngoài khoảng tin cậy và ngược lại.
ii. Theo Bayes
Từ quan điểm Bayes, phân phối hậu nghiệm của tham số được sử
dụng để kiểm định giả thuyết. Nhưng nếu chúng ta sử dụng tiên nghiệm

là liên tục thì hậu nghiệm liên tục, do đó chúng ta không sử dụng xác
suất hậu nghiệm để kiểm định giả thuyết 2-phía vì P (H
0
: p = p
0
/y) = 0.
Thay vào đó, chúng ta sử dụng khoảng tin được Bayes cho p. Nếu p
0
nằm trong khoảng tin được ta chấp nhận giả thuyết H
0
và nếu p nằm
ngoài khoảng đó thì ta bác bỏ giả thuyết.
II. Bayes cho trung bình của phân phối chuẩn
Với phương sai đã biết
Cho (y
1
, y
2
, , y
n
) ∼ N(µ, σ
2
), nếu ta dùng tiên nghiệm liên tục cho
µ thì phân phối hậu nghiệm là
g(µ/y
1
, y
2
, , y
n

) =
g(µ)f(y
1
, y
2
, , y
n
/µ)

R
g(µ)f(y
1
, y
2
, , y
n
/µ)dµ
1. Sử dụng tiên nghiệm đều
g(µ) = 1, 0  µ + ∞
a. Y là một quan sát đơn giản
15
Hàm hợp lý kèm theo
f(y/µ) ∝ e
−
1
2σ
2
(y−µ)
2
Phân phối hậu nghiệm tương ứng là

g(µ/y) ∝ e
−
1
2σ
2
(µ−y)
2
b. Y có n quan sát
n với mẫu (y
1
, y
2
, , y
n
). Khi đó, y ∼ N(µ,
σ
2
n
)
Hàm hợp lý kèm theo f(y/µ) ∝ e
−
1
2σ
2
/n
(y−µ)
2
.
Do đó, phân phối hậu nghiệm là phân phối chuẩn
g(µ/y) ∝ e

−
1
2σ
2
/n
(µ−y)
2
2. Sử dụng tiên nghiệm chuẩn
µ ∼ N(m, s
2
), g(µ) ∝ e
−
1
2s
2
(µ−m)
2
a. Y là một quan sát đơn giản
Hàm hợp lý kèm theo f(y/µ) ∝ e
−
1
2σ
2
(y−µ)
2
Phân phối hậu nghiệm tương ứng
g(µ/y)) ∝ g(µ)f(y/µ) ∝ e
−
1
2


(µ−m)
2
s
2
+
(y−µ)
2
σ
2

∝ exp

−
1
2

σ
2
(µ
2
− 2µm + m
2
) + s
2
(y
2
− 2yµ + µ
2
)

s
2
σ
2

∝ exp

−
1
2

µ
2
(σ
2
+ s
2
) −2µ(σ
2
m + s
2
y) + σ
2
m
2
+ s
2
y
2
s

2
σ
2

∝ exp

−
1
2

s
2
σ
2
s
2
+σ
2


µ −
σ
2
m + s
2
y
s
2
+ σ
2


2

Vậy phân phối hậu nghiệm là phân phối chuẩn (µ/y) ∼ N(m

; s
2
) với
m

=
(σ
2
m + s
2
y)
σ
2
+ s
2
, s’
2
=
σ
2
s
2
σ
2
+ s

2
16
b. Y là n quan sát
Ta có mẫu (y
1
, y
2
, , y
n
).
Hàm hợp lý f(y/µ) ∝ e
−
n
2σ
2
(y−µ)
2
Phân phối hậu nghiệm tương ứng là phân phối chuẩn
g(µ/y) ∝ e
−
n
2s
2
(−y+m

)
2
Trong đó
m


=
(σ
2
m + ns
2
y)
σ
2
+ ns
2
=
1
s
2
1
s
2
+
n
σ
2
m +
n
σ
2
1
s
2
+
n

σ
2
_
y
s’
2
=
σ
2
s
2
σ
2
+ ns
2
⇒
1
s
2
=
1
s
2
+
n
σ
2
Vậy tiên nghiệm chuẩn là tiên nghiệm liên hợp cho tham số µ của biến
ngẫu nhiên cho phân phối chuẩn.
Ví dụ 1.3. Ba sinh viên Arnie, Barb, Chuck làm ước lượng chiều dài

trung bình của cá hồi trong vòng một năm tuổi trên một dòng suối.
Nghiên cứu trước đây có trình bày chiều dài của nó tuân theo phân phối
chuẩn với độ lệch chuẩn đã biết là 2cm. Arnie xây dựng tiên nghiệm với
trung bình là 30cm, với niềm tin chiều dài không dưới 18cm và không
vượt quá 42cm, do đó độ lệch chuẩn là 4cm và Arnie sử dụng tiên nghiệm
chuẩn N(30; 4
2
). Barb không biết phân tích về cá hồi nên đã sử dụng tiên
nghiệm đều. Chuck quyết định dùng tiên nghiệm có dạng hình thang với
trọng số tại 0 là 18cm, tại 1 là 24cm và lên đến 40cm, sau đó đi xuống
0 tại 46cm. Chuck dùng công thức nội suy tuyến tính giữa các giá trị để
tìm tiên nghiệm cho µ.
Họ lấy mẫu với n = 12 và tìm trung bình mẫu y = 32cm.
17
Hậu nghiệm của Arnie có phân phối chuẩn (µ/
_
y
) ∼ N(m

; s
2
) trong đó:
y ∼ N(µ,
σ
2
12
) → s’
2
=
σ

2
s
2
σ
2
+ ns
2
=
2
2
4
2
2
2
+ 12.4
2
= 0, 3265
m

=
σ
2
n
m + s
2
y
s
2
+
σ

2
n
=
2
2
12
.30 + 4
2
.32
4
2
+
2
2
12
= 31, 96.
Barb có hậu nghiệm là N(m

; s
2
) trong đó s
2
=
σ
2
n
=
2
2
12

= 0, 3333 →
s

= 0, 5774, m’ =
_
y
= 32.
Chuck tìm hậu nghiệm sử dụng công thức
g(µ/y
1
, y
2
, , y
n
) =
g(µ)f(y
1
, y
2
, , y
n
/µ)

R
g(µ)f(y
1
, y
2
, , y
n

/µ)dµ
Hậu nghiệm của Arnie, Barb, Chuck được thể hiện trong hình 1.3 và 1.4.
Hình 1.3: Tiên nghiệm của Arnie, Barb, Chuck
Ta thấy dù xuất phát với các tiên nghiệm khác nhau nhưng kết quả
thu được là tương tự nhau.
18
Hình 1.4: Hậu nghiệm của Arnie, Barb, Chuck
Với phương sai chưa biết
Ta tính phương sai mẫu σ
2
=
1
n−1
n

1
(y
i
− y)
2
dựa vào dữ liệu mẫu và
tính s

, m

tương tự trên, trong đó thay σ bởi σ.
3. Ước lượng điểm
Cho (y
1
, y

2
, , y
n
) là một mẫu ngẫu nhiên từ một phân phối chuẩn
Y ∼ N(µ; σ
2
), có phân phối mẫu tương ứng là y ∼ N

µ,
σ
2
n

a. Theo tần suất
Sử dụng y để ước lượng không chệch cho µ
µ
F
= y
b. Theo Bayes
Sử dụng kỳ vọng của µ trong phân phối hậu nghiệm để ước lượng cho
µ.
µ
B
= E (µ/y
1
, y
2
, , y
n
) =

1/s
2
n/σ
2
+ 1/s
2
.m +
n/σ
2
n/σ
2
+ 1/s
2
.y (1.6)
19
Ta có
E (µ
B
) =
1/s
2
n/σ
2
+ 1/s
2
.m +
n/σ
2
n/σ
2

+ 1/s
2
.µ
V ar (µ
B
) =

n/σ
2
n/σ
2
+ 1/s
2

2
.
σ
2
n
=

ns
2
ns
2
+ σ
2

2
.

σ
2
n
MS (µ
B
) = bias
2
+ V ar (µ) .
Tương tự như đối với p ta cũng có MS (µ
B
) < MS(
∧
µ
F
): Ước lượng theo
Bayes tốt hơn tần suất.
4. Ước lượng khoảng
a. Theo tần suất
Khoảng tin cậy (1 −α).100% cho µ là
P

µ −z
α/2
σ
√
n
< y < µ + z
α/2
σ
√

n

= 1 −α
⇔ P

y −z
α/2
σ
√
n
< µ < y + z
α/2
σ
√
n

= 1 −α
b. Theo Bayes
Nếu phương sai đã biết: Nếu sử dụng tiên nghiệm là phân phối
đều hoặc là phân phối chuẩn N(m, s
2
) thì phân phối hậu nghiệm của µ
là N

m

, s
2

. Một khoảng tin được Bayes (1 − α).100% cho µ là

m

± z
α/2
s

(1.7)
trong đó z
α/2
là giá trị tìm từ bảng chuẩn tắc.
Nếu phương sai chưa biết: Tính phương sai mẫu từ dữ liệu σ
2
=
1
n−1
n

i=1
(y
i
− y)
2
và tính m

, s’
2
. Có sự không chắc chắn trong việc ước
lượng σ
2
, chúng ta sẽ mở rộng khoảng tin được bằng cách lấy giá trị

bảng phân phối Student’s thay cho phân phối chuẩn tắc. Khoảng tin
được Bayes chính xác là
m

± t
α/2
s

(1.8)
20
Tiên nghiệm không chuẩn: Khi chúng ta bắt đầu với một tiên
nghiệm không chuẩn, việc tìm phân phối hậu nghiệm cho µ sử dụng định
lý Bayes có sử dụng đến phép lấy tích phân. Phân phối hậu nghiệm sẽ là
không chuẩn, và chúng ta có thể tìm khoảng tin dùng Bayes (1−α).100%
như sau

µ
u
µ
l
g(µ/y
1
, y
2
, , y
n
)dµ = 1 − α
c. Mối quan hệ giữa khoảng tin cậy và khoảng tin được từ
tiên nghiệm đều
Nếu với tiên nghiệm cho µ là đều thì hậu nghiệm có kỳ vọng

m

= y, s’
2
=
σ
2
n
vì vậy trong trường hợp này khoảng tin cậy và khoảng tin được Bayes
có dạng
y −z
α/2
σ
√
n
< µ < y + z
α/2
σ
√
n
(1.9)
Vậy khoảng tin cậy và khoảng tin được bayes là như nhau. Tuy nhiên
có những giải thích khác nhau. Đối với tần suất µ là cố định, các đuôi
của khoảng ngẫu nhiên là tính toán sử dụng xác suất trên phân phối mẫu
của thống kê y, và không còn tính ngẫu nhiên sau khi trình bày các dữ
liệu. Đối với Bayes µ là biến ngẫu nhiên, khoảng tin được tính từ phân
phối hậu nghiệm.
Ví dụ 1.4.[9] (tiếp). Arnie, Barb, Chuck xác định chiều dài của cá
hồi có phân phối chuẩn N


µ, σ
2
= 2
2

. Họ thu được mẫu ngẫu nhiên
n = 12, trung bình mẫu y = 32cm, khoảng tin cậy 95% cho µ là
y ±z
0,025
σ
√
n
= 32 ±1, 96.
2
√
12
= (30, 87; 33,13)
21
So sánh với khoảng tin được cho µ của Arnie, Barb, Chuck theo Bayes
như sau
Khoảng tin được Bayes cho µ theo Arnie: (30,84; 33,08)
Khoảng tin được Bayes cho µ theo Barb: (30,87; 33,13)
Khoảng tin được Bayes cho µ theo Chuck: (30,82; 33,07)
Chúng ta thấy khoảng tin cậy giống như khoảng tin được Barb tìm được
vì đã sử dụng tiên nghiệm đều. Các kết quả thu được là tương tự nhau.
5. Kiểm định giả thuyết
a. Kiểm định giả thuyết 1-phía cho µ
i. Theo tần suất
1) Tính Z =
32 −31

2/
√
12
= 1, 732 > 1, 645, bác bỏ giả thuyết H
0
.
2) Tính
p −giá trị = P

Z <
y −31
σ/
√
n

= P

Z <
32 −31
2/
√
12

= P (Z > 1, 732) = 0, 0416 < α,
bác bỏ giả thuyết H
0
.
ii. Theo Bayes
1) Ta xét bài toán kiểm định:






H
0
: µ  µ
0
H
1
: µ > µ
0
2) Kiểm định Bayes sử dụng cách tính xác suất hậu nghiệm của giả
22
thuyết không
P (H
0
: µ  µ
0
/y
1
, y
2
, , y
n
) =

µ
0
−∞

g(µ  /y
1
, y
2
, , y
n
)dµ. (1.10)
Khi phân phối hậu nghiệm là N(m

, s
2
) thì
P (H
0
: µ  µ
0
/y
1
, y
2
, , y
n
) = P

µ −m

s


µ

0
− m

s


= P

Z 
µ
0
− m

s


.
trong đó Z ∼ N(0, 1). Nếu xác suất nhỏ hơn α, chúng ta bác bỏ giả
thuyết H
0
.
Ví dụ 1.4. [9](tiếp) Arnie, Barb, Chuck đọc trong một tạp chí rằng
trung bình chiều dài cá hồi trong vòng một năm là 31cm. Kiểm định





H
0

: µ  31
H
1
: µ > 31
tại mức ý nghĩa α = 0, 05. Theo Bayes, Arnie, Barb đều có phân phối
hậu nghiệm là phân phối chuẩn, vì vậy ta có
Bảng 1.4. Miền bác bỏ của Arnie, Barb, Chuck.
Hậu nghiệm P (µ  31/y
1
, y
2
, , y
n
)
Arnie N(31, 96; 0, 5714
2
) P

Z 
31−31,96
0,5714

= 0, 0465 Bác bỏ
Barb N(32; 0, 5774
2
) P

Z 
31−32
0,5774


= 0, 0416 Bác bỏ
Chuck Lấy tích phân

31
−∞
g(µ  /y
1
, y
2
, , y
n
)dµ = 0, 0489 Bác bỏ
b. Kiểm định giả thuyết 2-phía cho µ
i. Mối quan hệ giữa kiểm định 2-phía và khoảng tin cậy
Ta chú ý miền bác bỏ cho kiểm định 2-phía tại mức α là Z =




y −µ
0
σ/
√
n




> z

α/2
, tương đương với µ
0
< y − z
α/2
.
σ
√
n
hoặc µ
0
> y +
23
z
α/2
.
σ
√
n
. Ta thấy nếu bác bỏ giả thuyết tại α thì µ
0
nằm ngoài khoảng
tin cậy (1 − α).100%. Tương tự chấp nhận H
0
tại α thì µ
0
nằm trong
khoảng tin cậy cho µ.
ii. Theo Bayes
Chúng ta kiểm định 2-phía






H
0
: µ = µ
0
H
1
: µ = µ
0
Trong kiểm định Bayes, nếu dùng tiên nghiệm liên tục thì việc tính xác
suất hậu nghiệm của giả thuyết không là bằng không, vì vậy chúng ta sử
dụng khoảng tin được Bayes để kiểm định Bayes 2-phía. Nếu µ
0
thuộc
khoảng tin được Bayes thì chấp nhận giả thuyết, nếu không thì bác bỏ
giả thuyết.
III. Phương pháp Markov Chain Monte Carlo (MCMC)
Việc tính toán trong thống kê Bayes đòi hỏi phép tính tích phân khi
các phân phối phức tạp việc tính toán gặp nhiều khó khăn và là công
việc tốn kém nhất trong thống kê Bayes. Để giải quyết vấn đề này một
số kỹ thuật được đề suất hữu hiệu nhất phải kể đến phương pháp mô
phỏng Monte Carlo (MC). Cơ sở toán học của phương pháp MC là luật
số lớn.
1. Chuỗi Markov
a. Khái niệm
Quá trình ngẫu nhiên {X

(t)
}
t≥0
là quá trình Markov nếu sự tiến triển
của {X
(t)
}
t≥0
trong tương lai phụ thuộc vào hiện tại, độc lập với quá
khứ, nghĩa là:
Giả sử trước thời điểm s, hệ đã ở trạng thái nào đó, còn tại thời điểm
24
s, hệ ở trạng thái i. Chúng ta muốn đánh giá xác suất để tại thời điểm
t(t > s), hệ sẽ ở trạng thái j. Nếu xác suất này chỉ phụ thuộc vào bộ
bốn (s, i, t, j), nghĩa là
p(X
(s)
= i, X
(t)
= j) = p(s, i, t, j) đúng ∀i, ∀j, ∀s, ∀t
Tập hợp tất cả các trạng thái có thể có của hệ được gọi là không gian
trạng thái, kí hiệu S.
Nếu S gồm một số hữu hạn hoặc vô hạn đếm được các trạng thái thì
quá trình Markov {X
(t)
} được gọi là chuỗi Markov (xích Markov).
Nếu tập các giá trị t không quá đếm được (t = 0, 1, 2, ) ta có chuỗi
Markov với thời gian rời rạc.
Nếu t ∈ [0, ∞) ta có chuỗi Markov với thời gian liên tục.
Xét một chuỗi Markov. Nếu xác suất chuyển trạng thái

p(s + h, i, t + h, j), ∀i, j, s, t và ∀h > 0
ta nói chuỗi Markov thuần nhất theo thời gian.
b. Ma trận xác suất chuyển trạng thái
Xét một chuỗi Markov rời rạc và thuần nhất theo thời gian {X
(t)
}, t =
0, 1, 2, có không gian trạng thái S gồm N phần tử S = {1, 2, 3, , N}.
Kí hiệu
p
ij
= p(X
(t+1)
= j|X
(t)
= i), ∀t
là xác suất chuyển trạng thái từ vị trí i sang vị trí j sau một bước.
Ma trận xác suất chuyển trạng thái có được bằng cách liệt kê danh sách
tất cả các trạng thái theo hàng và cột và điền vào đó xác suất chuyển
trạng thái tương ứng. Ma trận P = [p
ij
]
N×N
kích thước N ×N được gọi