Phương pháp VB và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
———————————

Đỗ Thị Len

PHƯƠNG PHÁP VB VÀ ỨNG DỤNG

LUẬN VĂN THẠC SĨ KHOA HỌC

HÀ NỘI - 2016


ĐẠI HỌC QUỐC GIA HÀ NÔI
ĐẠI HỌC KHOA HỌC TỰ NHIÊN
———————————

Đỗ Thị Len

PHƯƠNG PHÁP VB VÀ ỨNG DỤNG

Chuyên ngành: LÍ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC
Mã số: 60 46 01 06

LUẬN VĂN THẠC SĨ KHOA HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC
TS. Trần Mạnh Cường

HÀ NỘI - 2016

Lời cảm ơn
Luận văn này được hoàn thành với sự hướng dẫn tận tình và cũng hết sức nghiêm khắc
của TS. Trần Mạnh Cường. Trước khi trình bày nội dung chính của luận văn, tác giả muốn
bày tỏ lòng biết ơn chân thành và sâu sắc tới người thầy đáng kính của mình. Thầy đã
luôn tận tình hướng dẫn cũng như giải đáp các thắc mắc của tác giả trong suốt quá trình
làm luận văn.
Tác giả cũng muốn gửi tới toàn thể các thầy cô Khoa Toán - Cơ - Tin học trường Đại
học Khoa học Tự nhiên - Đại học Quốc gia Hà Nội, các thầy cô đã đảm nhận giảng dạy
khóa Cao học 2014 - 2016, đặc biệt là các thầy cô tham gia giảng dạy nhóm Xác suất
thống kê 2014 - 2016 lời cảm ơn chân thành đối với công lao dạy dỗ trong suốt thời gian
của khóa học.
Tác giả xin cảm ơn gia đình, bạn bè, đồng nghiệp và các anh chị em trong nhóm
Xác suất thống kê 2014 - 2016, các thành viên trong nhóm Seminar do thầy Trần Mạnh
Cường phụ trách về các chủ đề liên quan đến Thống kê Bayes đã quan tâm, giúp đỡ, tạo
điều kiện và động viên tinh thần để tác giả có thể hoàn thành được khóa học này.
Tác giả xin chân thành cảm ơn!
Hà Nội, ngày

tháng

năm 2016.

Học viên

Đỗ Thị Len

0

Mục lục
Lời cảm ơn

0

Lời mở đầu

2

1 Thống kê Bayes

5

Thống kê Bayes

5

1.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

1.2 Một số phân phối thường dùng . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

1.3 Suy luận Bayes cho tham số tỉ lệ phân phối nhị thức . . . . . . . . . . . . . .

14

1.3.1

Tiên nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

1.3.2

Hậu nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

1.3.3

Ước lượng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

1.3.4

Kiểm định giả thiết . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

1.4 Suy luận Bayes cho kỳ vọng phân phối Gaussian . . . . . . . . . . . . . . . .

17

1.4.1

Tiên nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

1.4.2

Hậu nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

17

1.4.3

Ước lượng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

1.4.4

Kiểm định giả thiết . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

1.5 Hồi quy Bayes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

20

1.5.1

Suy luận Bayes cho mô hình hồi quy tuyến tính Bayes đơn . . . . . .

21

1.5.2

Mô hình hồi quy tuyến tính Bayes bội . . . . . . . . . . . . . . . . . . .

25

1.5.3

Mô hình hồi quy Logistic Bayes . . . . . . . . . . . . . . . . . . . . . . .

27

1


MỤC LỤC

MỤC LỤC

2 Phương pháp VB

30

2.1 Nguồn gốc toán học . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

30

2.2 Xấp xỉ phân phối hậu nghiệm . . . . . . . . . . . . . . . . . . . . . . . . . . . .

32

2.2.1

Xấp xỉ phân phối hậu nghiệm của biến Z độc lập từng khối . . . . .

32

2.2.2

Xấp xỉ địa phương - Tham số biến phân . . . . . . . . . . . . . . . . .

34

2.3 Áp dụng phương pháp VB cho phân phối Gaussian . . . . . . . . . . . . . . .

36

2.3.1

Phân phối Gaussian một chiều . . . . . . . . . . . . . . . . . . . . . . .

36

2.3.2

Phân phối đa thức Gaussian . . . . . . . . . . . . . . . . . . . . . . . . .

40

2.4 Áp dụng phương pháp VB cho mô hình hồi quy Bayes . . . . . . . . . . . . .

47

2.4.1

Mô hình hồi quy tuyến tính Bayes . . . . . . . . . . . . . . . . . . . . .

47

2.4.2

Mô hình hồi quy Logistic Bayes . . . . . . . . . . . . . . . . . . . . . . .

52

3 Ứng dụng

59

3.1 Phân phối hậu nghiệm không thuộc họ phân phối nào đã biết . . . . . . . .

59

3.1.1

Bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

60

3.1.2

Thuật toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

63

3.1.3

Code chạy phần mềm mathlab . . . . . . . . . . . . . . . . . . . . . . .

63

3.1.4

Kết quả . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

66

3.2 Phân phối hậu nghiệm thuộc họ phân phối đã biết . . . . . . . . . . . . . . .

67

3.2.1

Bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

67

3.2.2

Thuật toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

71

3.2.3

Code chạy phần mềm mathlab . . . . . . . . . . . . . . . . . . . . . . .

71

3.2.4

Kết quả . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

73

Kết luận

75

1


Lời mở đầu
Hiện nay, thống kê có hai trường phái: Thống kê tần suất và thống kê Bayes. Thống kê tần
suất ra đời trước và là phương pháp phổ biến hiện nay. Nó dựa trên những kết quả quan
sát mẫu của hiện tại mà không cần đến những thông tin, dữ liệu đã biết trước. Thống kê
Bayes dựa trên những thông tin dữ liệu đã biết trước và kết quả quan sát mẫu của hiện
tại để suy luận cho những thống kê hiện tại.
Thống kê Bayes hay còn gọi là suy luận Bayes ra đời trên cơ sở định lý Bayes. Đó là

kiểu suy luận thống kê mà trong đó, các nhà thống kê sử dụng phân phối tiên nghiệm
(thông tin đã biết trước) về vấn đề đang xét và thông tin mẫu (các quan sát hay bằng
chứng), áp dụng công thức trong định lý Bayes để tìm ra phân phối hậu nghiệm (xác
suất xảy ra ở hiện tại), từ đó dùng phân phối hậu nghiệm để suy luận cho thống kê hiện
tại.
Ví dụ: Xét bài toán ước lượng cho tham số θ của biến ngẫu nhiên X với mẫu X 1 , X 2 , ..., X n .
• Theo thống kê tần suất, tham số θ của biến ngẫu nhiên nhận một giá trị nào đó. Ta

tìm được tham số của mẫu θ ∗ theo công thức tính dựa theo giá trị quan sát mẫu. Ta có
E [θ ∗ ] = θ . Do đó, ta dùng θ ∗ để ước lượng cho tham số θ . Chẳng hạn, ước lượng cho giá
1 n
X i , sau đó dùng
trị trung bình µ của biến ngẫu nhiên: ta tính trung bình mẫu X =
n i =1
giá trị trung bình mẫu để ước lượng cho µ.
• Theo thống kê Bayes, tham số θ cũng là một biến ngẫu nhiên liên tục. Trước hết, ta

biết phân phối tiên nghiệm của θ là p (θ). Sau đó, áp dụng định lý Bayes ta tính được mật
độ hậu nghiệm p (θ|X 1 , X 2 , ..., X n ). Khi đó tham số của mẫu dùng để ước lượng được xác

2


Lời mở đầu
định như sau:
θ ∗ = E [θ] =

θp (θ|X 1 , X 2 , ..., X n ) d θ

Để ước lượng cho các tham số của các thống kê hiện tại, các nhà thống kê Bayes cần

dùng phân phối hậu nghiệm để ước lượng. Như vây ta có thể nói rằng phân phối hậu
nghiệm là một yếu tố đặc biệt quan trọng trong quá trình suy luận Bayes. Tuy nhiên,
việc tính toán để tìm ra phân phối hậu nghiệm đôi khi rất phức tạp hoặc có thể không
tính được. Để giải quyết vấn đề này, người ta tìm cách xấp xỉ phân phối hậu nghiệm. Do
đó, phương pháp VB (Variational Bayesian) ra đời để tìm giá trị gần đúng nhất của phân
phối hậu nghiệm.
Trong luận văn này, tác giả trình bày về một phương pháp trong suy luận Bayes là
phương pháp VB và một số ứng dụng của phương pháp này. Luận văn của tác giả được
chia làm 3 chương:
Chương 1. Thống kê Bayes
Trong chương này, tác giả giới thiệu chung về thống kê Bayes; một số phân phối thông
thường; một số mô hình suy luận Bayes: Suy luận Bayes cho tham số của phân phối nhị
thức, kỳ vọng của phân phối Gaussian một chiều, tham số của mô hình hồi quy tuyến
tính Bayes đơn. Từ đó làm cơ sở để nghiên cứu các phần tiếp theo.
Chương 2. Phương pháp VB
Trong chương này, tác giả trình bày kiến thức về phương pháp VB bao gồm: Nguồn
gốc toán học; xấp xỉ phân phối hậu nghiệm; áp dụng phương pháp VB cho phân phối
Gaussian, áp dụng phương pháp VB cho mô hình hồi quy Bayes.
Chương 3. Ứng dụng
Trong chương này, tác giả giới thiệu ứng dụng phương pháp VB cho hai trường hợp:
Phân phối hậu nghiệm không thuộc họ phân phối nào đã biết; phân phối hậu nghiệm
thuộc họ phân phối đã biết.
Để nghiên cứu về đề tài "Phương pháp VB và ứng dụng", tác giả đã tham khảo một số
tài liệu trong và ngoài nước về thống kê tần suất, thống kê Bayes, phần mềm Mathlab.
Trong đó

3


Lời mở đầu

◦ Nội dung chính chương 1 của luận văn tham khảo tài liệu [5] và [8];
◦ Nội dung chính chương 2 của luận văn tham khảo tài liệu [5] và [6];
◦ Nội dung chính chương 3 của luận văn tham khảo tài liệu [5];
◦ Ở phần ứng dụng phương pháp VB, tác giả áp dụng phương pháp VB để tính toán.

Từ đó, viết thuật toán và dùng phần mềm Mathlab để thực hiện ra kết quả.

4


Chương 1
Thống kê Bayes
Thống kê Bayes có sự khác biệt so với thống kê tần suất ở cách thức tiếp cận vấn đề:
Thống kê tần suất quan niệm tham số của biến ngẫu nhiên là một giá trị nào đó, còn
thống kê Bayes quan niệm tham số của biến ngẫu nhiên cũng là một biến ngẫu nhiên.
Suy luận Bayes thực hiện theo trình tự: từ phân phối tiên nghiệm mà ta tin tưởng, áp
dụng định lý Bayes tìm phân phối hậu nghiệm, sau đó dùng phân phối hậu nghiệm để
ước lượng, kiểm định giả thiết thống kê, phân tích hồi quy tuyến tính.

1.1

Giới thiệu

Suy luận Bayes xuất phát từ định lý Bayes điều chỉnh các xác suất khi có thông tin mới
theo cách sau đây:
P (Z |X ) =

P (X |Z ) .P (Z )
P (X )

Trong đó
Z đại diện cho một giả thiết, giả thiết này được suy luận trước khi có thông tin mới.
P (Z ) được gọi là xác suất tiên nghiệm của Z .
P (X |Z ) là xác suất xảy ra X nếu biết giả thiết Z là đúng. Đại lượng này còn được gọi là

hàm hợp lý (likelihood) biểu diễn dưới dạng một hàm của X khi cho trước Z và là thông
tin mới.
5


Giới thiệu

Thống kê Bayes

P (X ) được gọi là xác suất biên duyên của X .
P (Z |X ) được gọi là xác suất hậu nghiệm của Z nếu biết X .

Theo định lý này thì xác suất hậu nghiệm tỉ lệ với tích của xác suất tiên nghiệm và
hàm hợp lý, kí hiệu là P (Z |X ) ∝ P (Z ) × P (X |Z ). Tức là tiên nghiệm nhân với hằng số bất
kỳ cũng không ảnh hưởng đến kết quả của hậu nghiệm.
P (X |Z )
đại diện cho ảnh hưởng của thông tin mới thu được đối với
P (X )
xác xuất xảy ra Z nếu biết X . Nếu hệ số này sẽ có giá trị lớn, khi nhân xác suất tiên nghiệm

Hệ số Bayes B =

với hệ số này, ta được một xác suất hậu nghiệm lớn. Nhờ đó, trong suy luận Bayes, định
lý Bayes đo được mức độ mà thông tin mới sẽ làm thay đổi mức độ tin tưởng vào một giả
thiết.

Khi có thông tin mới về một biến ngẫu nhiên, suy luận Bayes cho biến ngẫu nhiên đó
thực hiện theo các bước sau:
• Xác định phân phối tiên nghiệm

Phân phối tiên nghiệm (prior distribution) của biến ngẫu nhiên Z là phân phối mà ta
tin tưởng, có được từ kinh nghiệm tích lũy, kí hiệu là p (Z ).
• Áp dụng định lý Bayes để tìm phân phối hậu nghiệm.

Phân phối hậu nghiệm (posterior distribution) của biến Z nếu biết X là phân phối
có được bằng tính toán theo định lý Bayes, sau khi có thông tin mới p (X |Z ). Kí hiệu là
p (Z |X ).
• Dùng phân phối hậu nghiệm để suy luận cho thống kê hiện tại: Ước lượng, kiểm

định giả thiết thống kê, phân tích hồi quy tuyến tính.
Trong luận văn này, phân phối tiên nghiệm để suy luận cho biến ngẫu nhiên là phân
phối tiên nghiệm liên hợp.
Phân phối tiên nghiệm liên hợp (conjugate prior) là phân phối tiên nghiệm mà phân
phối hậu nghiệm tìm được cùng họ với phân phối tiên nghiệm.
Các nhà thống kê Bayes lập luận rằng ngay cả khi người ta có các xác suất chủ quan
tiên nghiệm rất khác nhau thì với thông tin mới từ các quan sát lặp đi lặp lại sẽ có xu
hướng đưa các xác suất hậu nghiệm của họ lại gần nhau hơn.

6


1.2. MỘT SỐ PHÂN PHỐI THƯỜNG DÙNG

1.2

Thống kê Bayes

Một số phân phối thường dùng

Phân phối Bernoulli
Phân phối Bernoulli với tham số π là phân phối của biến ngẫu nhiên X nhận hai giá
trị 0, 1 với P (X = 1) = π; P (X = 0) = 1 − π có hàm mật độ xác định như sau:
B er n (X |π) = πx (1 − π)1−x

Các tham số đặc trưng của biến ngẫu nhiên X :
E [X ] = π
var [X ] = π (1 − π)

Phân phối này là trường hợp đặc biệt của phân phối nhị thức chỉ có một quan sát.
Phân phối tiên nghiệm liên hợp cho tham số π là phân phối Beta.
Phân phối Beta
Phân phối Beta với hai tham số a và b(a > 0, b > 0) là phân phối của biến ngẫu nhiên
liên tục Π nhận giá trị trên [0, 1] có hàm mật độ xác định như sau:
B et a (Π|a, b) =

Γ (a + b) a−1
π (1 − π)b−1
Γ (a) Γ (b)

∞

trong đó Γ (x) = u x−1 e −u d u .
0

Các tham số đặc trưng của biến ngẫu nhiên Π
E [Π] =

var [Π] =

a
a +b
ab
2

(a + b) (a + b + 1)

Phân phối Beta là phân phối tiên nghiệm liên hợp cho phân phối Bernoulli. Khi a =
b = 1 thì phân phối Beta trở thành phân phối đều. Phân phối Beta là trường hợp đặc biệt

của phân phối Dirichlet K chiều với K = 2.
Phân phối nhị thức
7


Một số phân phối thường dùng

Thống kê Bayes

Phép thử ngẫu nhiên thực hiện n lần với xác suất thành công các lần thử đều bằng
nhau và bằng π. Trong n lần thực hiện có m lần thành công.
Phân phối nhị thức với tham số n (số lần thử) và tham số π ∈ [0, 1](xác suất thành công
của các lần thử) của biến ngẫu nhiên M (số lần thành công) nhận giá trị 1, 2, . . . , n có hàm
mật độ xác định như sau:

B (M |n, π) = 

n

m


 πm (1 − π)N −m

Các tham số đặc trưng của biến ngẫu nhiên M :
E [M ] = nπ
var [M ] = nπ (1 − π)

Khi n = 1 thì phân phối nhị thức chính là phân phối Bernoulli và khi n rất lớn thì phân
phối nhị thức xấp xỉ phân phối Gaussian. Phân phối tiên nghiệm liên hợp cho π là phân
phối Beta.
Phân phối Dirichlet
Phân phối Dirichlet với tham số α = (α1 , . . . , αK )T , αk > 0, k = 1, K là một phân phối đa
thức của biến ngẫu nhiên K chiều Π = (Π1 , . . . , ΠK )T sao cho


 0 ≤ πk ≤ 1, k = 1, K
K




k=1

πk = 1

có hàm mật độ xác định như sau:
K

Di r (Π|α) = C (α)
k=1

8

α −1

πk k


Một số phân phối thường dùng

Thống kê Bayes

Trong đó
Γ (α)
Γ (α1 ) . . . Γ (αK )

C (α) =

K

α=

αk

k=1

Các đặc trưng của biến ngẫu nhiên Π:
αk

α
αk (α − αk )
var [Πk ] = 2
α (α + 1)
α j αk
cov Π j Πk = − 2
α (α + 1)
E [Πk ] =

E [ln πk ] = ψ (αk ) − ψ (α)

Trong đó
ψ (a) ≡

d
ln Γ (a)
da

Phân phối Dirichlet là phân phối tiên nghiệm liên hợp cho phân phối đa thức và là
dạng tổng quát của phân phối Beta.
Phân phối Gamma
Phân phối Gamma với hai tham số a và b(a > 0, b > 0) là phân phối xác suất của biến
ngẫu nhiên dương τ > 0 có hàm mật độ xác định như sau:
G am (τ|a, b) =

1
b a τa−1 e −bτ
Γ (a)

Các đặc trưng của biến ngẫu nhiên τ:

a
b
a
var [τ] = 2
b
E [τ] =

E [ln τ] = ψ (a) − ln b

9


Một số phân phối thường dùng

Thống kê Bayes

Phân phối Gamma là phân phối tiên nghiệm liên hợp cho độ chính xác của biến ngẫu
nhiên tuân theo quy luật phân phối Gaussian. Nói cách khác, phân phối Gama ngược là
phân phối tiên nghiệm liên hợp của phương sai của biến ngẫu nhiên tuân theo quy luật
phân phối Gaussian. Đặc biệt khi a = 1 phân phối Gamma chính là phân phối mũ.
Phân phối Gaussian - Phân phối Chuẩn
Phân phối Gaussian là phân phối biến ngẫu nhiên liên tục và là phân phối phổ biến
nhất của biến ngẫu nhiên.
Trường hợp biến ngẫu nhiên một chiều:
Phân phối Gaussian với tham số kỳ vọng µ và tham số phương sai σ2 > 0 là phân phối
của biến ngẫu nhiên liên tục X nhận giá trị trên R, kí hiệu là N X |µ, σ2 có hàm mật độ
xác định như sau:
p X |µ, σ2 =

1

1/2
2πσ2

exp −

1
x −µ
2σ2

2

Các đặc trưng của biến ngẫu nhiên X :
E [X ] = µ
var [X ] = σ2
1
được gọi là độ chính xác, căn bậc hai của phương
σ2
sai σ2 được gọi là độ lệch chuẩn. Phân phối tiên nghiệm liên hợp của µ là phân phối

Nghịch đảo của phương sai τ =

Gaussian và phân phối tiên nghiệm liên hợp của τ là phân phối Gamma. Nếu cả µ và τ
đều chưa biết thì phân phối tiên nghiệm của phân phối đồng thời là phân phối Gaussian
- Gamma.
Trường hợp biến ngẫu nhiên X là vecto D -chiều:
Phân phối Gaussian với tham số là vecto kỳ vọng µ D -chiều và ma trận phương sai
là phân phối của biến ngẫu nhiên X ∈ RD , kí hiệu là N X |µ, Σ có hàm mật độ xác định
như sau:
p X |µ, Σ2 =

1
(2π)

D/2

1
|Σ|

exp −
1/2

10

1
x −µ
2

T

Σ−1 x − µ


Một số phân phối thường dùng

Thống kê Bayes

Các đặc trưng của biến ngẫu nhiên X
E [X ] = µ
var [X ] = Σ

Nghịch đảo của ma trận phương sai Λ = Σ−1 là ma trận độ chính xác. Phân phối tiên
nghiệm liên hợp của µ là phân phối Gaussian và phân phối tiên nghiệm liên hợp của Λ
là phân phối Wishart. Nếu cả µ và Λ đều chưa biết thì phân phối tiên nghiệm của phân
phối đồng thời là phân phối Gaussian - Wishart.
Phân phối Gaussian - Gamma
Phân phối Gaussian - Gamma với tham số µ0 , β, a, b là phân phối của biến ngẫu nhiên
µ, λ (kỳ vọng, phương sai của biến ngẫu nhiên một chiều tuân theo quy luật phân phối

Gaussian)có hàm mật độ xác định như sau:
p µ, λ|µ0 , β, a, b = N µ|µ0 , βλ

−1

G am (λ|a, b)

Phân phối Gaussian - Gamma là phân phối tiên nghiệm của phân phối Gaussian
N X |µ, λ−1 trong đó cả kỳ vọng và phương sai đều chưa biết.

Phân phối Gaussian - Wishart
Phân phối Gaussian - Wishart với tham số µ0 , β, W, v là phân phối của biến ngẫu nhiên
µ, Λ (vectơ kỳ vọng và ma trận độ chính xác của biến ngẫu nhiên nhiều chiều tuân theo

quy luật phân phối Gaussian) có hàm mật độ xác định như sau:
p µ, Λ|µ0 , β, W, v = N µ|µ0 , βΛ

−1

W (Λ|W, v)

Phân phối Gaussian - Wishart là phân phối tiên nghiệm của phân phối đa thức Gaussian N X |µ, Λ−1 trong đó cả kỳ vọng và ma trận phương sai đều chưa biết.

Phân phối đa thức
Biến ngẫu nhiên K -chiều X = (X 1 , . . . , X K ) trong đó X k nhận 2 giá trị 0 và 1 với k = 1, K
thỏa mãn

K
k=1

x k = 1 và P (X k = 1) = πk ,

K
k=1

πk = 1

11


Một số phân phối thường dùng

Thống kê Bayes

Khi đó, ta có hàm mật độ của biến ngẫu nhiên X
K

p (X ) =
k=1

x

πk k

Các đặc trưng của biến ngẫu nhiên thành phần:
E [X k ] = πk
var [X k ] = πk (1 − πk )
cov X j X k = I j k πk

Phân phối đa thức với hai tham số n quan sát và π = (π1 , . . . πK ) là phân phối của biến
ngẫu nhiên rời rạc K -chiều với các thành phần là biến đếm Mk có hàm mật độ xác định
như sau:

Mul t (M 1 , M 2 , . . . , M K |π, n) = 

n
m1 m2 . . . mK



K


k=1

m

πk k

Đặc trưng của các thành phần:
E [M k ] = nπk
var [M k ] = nπk (1 − πk )
cov M j M k = −nπ j πk

Phân phối tiên nghiệm liên hợp cho các tham số Πk là phân phối Dirichlet.
Phân phối Student
Trường hợp biến một chiều:
Phân phối Student với các tham số µ, λ, v của biến ngẫu nhiên liên tục X nhận giá trị

12


Một số phân phối thường dùng

Thống kê Bayes

trên R có hàm mật độ và các đặc trưng xác định như sau:
1/2

Γ (v/2 + 1/2) λ
St X |µ, λ, v =
Γ (v/2)
πv

1+

λ x −µ

2 −v/2−1/2

v

E [X ] = µ, v > 1

var [X ] =

1 v
,v > 2
λ v −2

Trong đó v > 0 là hệ số tự do của phân phối.
Trường hợp biến D -chiều:
Phân phối Student với tham số µ, Λ, v của biến ngẫu nhiên X ∈ RD có hàm mật độ và
các đặc trưng xác định như sau:
St X |µ, Λ, v =

Γ (v/2 + D/2) |Λ|1/2
∆2
1
+
Γ (v/2)
v
(vπ)D/2

−v/2−1/2

E [X ] = µ, v > 1
cov [X ] =

v
Λ−1 , v > 2
v −2

Trong đó

∆2 = x − µ

T

Λ x −µ

Khi v → ∞ phân phối Student trở thành phân phối Gaussian với kỳ vọng µ và ma trận
độ chính xác Λ.
Phân phối Wishart
Phân phối Wishart với tham số W, v của biến ngẫu nhiên ma trận Λ có hàm mật độ

13


1.3. SUY LUẬN BAYES CHO THAM SỐ TỈ LỆ PHÂN PHỐI NHỊ THỨC

Thống kê Bayes

và các đặc trưng xác định như sau:
1
W (Λ|W, v) = B (W, v) |Λ|(v−D−1)/2 exp − Tr W−1 Λ
2
B (W, v) = |W|

−v/2

2

vD/2 D(D−1)/4

π

D

v +1−i
Γ
2
i =1

−1

E [Λ] = vW
E [ln |Λ|] =

D

ψ

i =1

v +1−i
+ D ln 2 + ln |W|
2

Trong đó W là ma trận xác định dương cỡ D × D , tham số v là hệ số tự do và v > D − 1.
Phân phối Wishart là phân phối tiên nghiệm liên hợp của ma trận độ chính xác của
biến nhiều chiều tuân theo quy luật phân phối Gaussian. Trong trường hợp một chiều
thì phân phối Wishart chính là phân phối G am (λ|a, b) với tham số a = v/2 và b = 1/2W .

1.3

1.3.1

Suy luận Bayes cho tham số tỉ lệ phân phối nhị thức
Tiên nghiệm

Họ liên hợp các phân phối tiên nghiệm của tham số tỷ lệ Π của phân phối nhị thức là họ
phân phối B et a (Π|a, b) có dạng.
g (Π|a, b) =

Γ (a + b) a−1
π (1 − π)b−1
Γ (a) Γ (b)

(1.1)

Trong đó tham số a, b được xác định như sau: Dựa theo kinh nghiệm và cái mà người ta
tin tưởng, phân phối tiên nghiệm có kỳ vọng π0 và phương sai σ20 . Theo công thức tính
kỳ vọng và phương sai của phân phối Beta ta có:
π0 =
σ20 =

a
a +b
ab
2

(a + b) (a + b + 1)

=

π0 (1 − π0 )
(a + b + 1)

Giải hệ trên ta sẽ tìm được a, b . Từ đó có phân phối nghiệm của tham số Π.

14


Suy luận Bayes cho tham số tỉ lệ

Thống kê Bayes

Theo công thức tính đặc trưng của phân phối nhị thức, ta cần chọn mẫu quan sát để
thu thập thông tin có kích thước là n = a + b + 1 và kết quả số lần thành công là M . Khi đó
ta có hàm hợp lý:

f (M |n, π) = 

1.3.2



n
m

 πm (1 − π)n−m , 0 ≤ π ≤ 1.

(1.2)

Hậu nghiệm

Theo định lý Bayes và công thức (1.1), (1.2) ta có phân phối hậu nghiệm của tham số Π
được xác định như sau:
g (Π|M = m) =

g (Π) × f (M |n, π)
1

g (Π) × f (M |n, π) d π

0

=

πa+m−1 (1 − π)n−m+b−1
1

πa+m−1 (1 − π)n−m+b−1 d π

0

=

Γ (n + a + b)
πa+m−1 (1 − π)n−m+b−1
Γ (m + a) Γ (n − m + b)

(1.3)

Như vậy, phân phối hậu nghiệm của tham số Π là phân phối B et a Π|a , b với a =

a + m và b = b + n − m

1.3.3

Ước lượng

• Ước lượng điểm cho tham số Π là π =

m
n

• Ước lượng khoảng cho tham số Π:

Phân phối hậu nghiệm xấp xỉ phân phối chuẩn N m , s
Kỳ vọng của phân phối hậu nghiệm là m =
Phương sai của phân phối hậu nghiệm là s

a
a +b
2

=

2

ab
2

(a + b ) (a + b + 1)
Với độ tin cậy (1 − α) × 100%, khoảng tin cậy của π xấp xỉ khoảng xác định như sau:

m − z α × s ;m + z α × s
2

2

15

(1.4)


Suy luận Bayes cho tham số tỉ lệ

Thống kê Bayes

Trong đó z α2 là phân vị trên mức α/2 của phân phối chuẩn tắc, ví dụ với độ tin cậy 95%
thì z α2 = 1.96. Xấp xỉ hiệu quả nếu ta có cả a ≥ 10 và b ≥ 10.

1.3.4

Kiểm định giả thiết

Kiểm định một phía
Bài toán kiểm định với mức ý nghĩa α
H 0 : π ≤ π0
H 1 : π > π0

Ta tính xác suất để giả thiết đúng bằng tích phân của mật độ hậu nghiệm (1.3) trên
miền giả thiết
π0

P (H0 : π ≤ π0 |m) =

g (Π|m)d π
0

Ta bác bỏ giả thiết nếu xác suất hậu nghiệm nhỏ hơn mức ý nghĩa α.
Kiểm định hai phía
Bài toán kiểm định với mức ý nghĩa α
H 0 : π = π0
H 1 : π = π0

Ta không tính xác suất hậu nghiệm mà tìm khoảng tin cậy của π với mức ý nghĩa α.
Nếu giá trị quan sát được không thuộc khoảng tin cậy (1.4) thì ta bác bỏ giả thiết; nếu giá
trị quan sát được thuộc khoảng tin cậy thì ta không thể bác bỏ giả thiết.

16


1.4. SUY LUẬN BAYES CHO KỲ VỌNG PHÂN PHỐI GAUSSIAN

1.4
1.4.1

Thống kê Bayes

Suy luận Bayes cho kỳ vọng phân phối Gaussian
Tiên nghiệm

Xét biến quan sát Y tuân theo quy luật phân phối chuẩn có kỳ vọng bằng µ và phương

sai bằng σ2 đã biết. Giả sử phân phối tiên nghiệm là phân phối chuẩn với kỳ vọng m và
phương sai s 2 . Khi đó hàm mật độ tiên nghiệm của µ có dạng:
g µ ∝

e

−

1
2s 2

(µ−m )2

(1.5)

Ở đây, ta bỏ qua phần không phụ thuộc µ vì tiên nghiệm nhân với hằng số bất kỳ sẽ
không ảnh hưởng đến kết quả hậu nghiệm.
Hàm hợp lý có dạng:
f Y |µ ∝

e

− 1 2 ( y−µ)2
2σ

(1.6)

Ở đây, ta bỏ qua phần không phụ thuộc µ vì tiên nghiệm nhân với hằng số bất kỳ sẽ
không ảnh hưởng đến kết quả hậu nghiệm.

1.4.2

Hậu nghiệm

Theo định lý Bayes hậu nghiệm tỷ lệ với tích tiên nghiệm và hàm hợp lý
g µ|y

∝ g µ

× f Y |µ

Do đó, theo (1.5) và (1.6) ta có:
2
2
µ−m
y−µ
g µ|y ∝ exp − 12 ( s 2 ) + ( σ2 )

σ2 m+s 2 y ) 2
σ2 +s 2

∝ exp − 2σ2 s 2 / 1σ2 +s 2 µ − (
(
)

Như vậy phân phối hậu nghiệm của tham số µ là phân phối chuẩn với kỳ vọng và

17

Suy luận Bayes cho kỳ vọng

Thống kê Bayes

phương sai xác định như sau:
m =

σ2 m + s 2 y

σ2 + s 2
σ2 s 2
2
s = 2
σ + s2
1
1
2 −1
= 2+ 2
s
σ
s

Công thức tính kỳ vọng có thể biến đổi sang dạng:
m =

σ2 m + s 2 y

σ2 + s 2
σ2
s2

= 2
m
+
y
σ + s2
σ2 + s 2
1/s 2
1/σ2
=
m
+
y
1/σ2 + 1/s 2
1/σ2 + 1/s 2

Một cách khác, với mẫu ngẫu nhiên y 1 , . . . y n phân phối chuẩn kỳ vọng µ và phương
sai σ2 đã biết, ta dùng hàm hợp lý của trung bình mẫu y . Trong đó y tuân theo quy luật
phân phối chuẩn với kỳ vọng µ và phương sai

σ2
. Phân phối hậu nghiệm xác định với kỳ
n

vọng và phương sai theo biểu thức sau:
1/s 2
n/σ2
×
m
+
×y

n/σ2 + 1/s 2
n/σ2 + 1/s 2
1
1
n
= 2+ 2
2
s
σ
(s )
m =

1.4.3

(1.7)
(1.8)

Ước lượng

Phương sai đã biết
Phân phối hậu nghiệm xấp xỉ phân phối chuẩn N m , s

2

Kỳ vọng của phân phối hậu nghiệm m được xác định theo công thức (1.7), thực hiện
theo 3 bước:
1. Độ chính xác bằng nghịch đảo của phương sai:

1
s2

2. Độ chính xác của hậu nghiệm bằng tổng độ chính xác của tiên nghiệm và độ chính
xác của trung bình mẫu:

1
n
+ 2
2
s
σ

3. Kỳ vọng hậu nghiệm bằng tổng có trọng số giữa kỳ vọng tiên nghiệm và trung bình
18


Suy luận Bayes cho kỳ vọng

Thống kê Bayes

mẫu, trọng số bằng tỷ lệ của độ chính xác với độ chính xác của hậu nghiệm:
1/s 2
n/σ2
×m +
×y
n/σ2 + 1/s 2
n/σ2 + 1/s 2

Phương sai s xác đinh theo công thức (1.8).
Từ đó, với độ tin cậy (1 − α) × 100%, khoảng tin cậy của π xấp xỉ khoảng xác định như
sau:

m − z α × s ;m + z α × s
2

2

(1.9)

Trong đó z α2 là phân vị trên mức α/2 của phân phối chuẩn tắc.
Phương sai chưa biết
Tìm phương sai mẫu:
σ2 =

1 n
yi − y
n − 1 i =1

2

Từ đó tìm m và s theo công thức (1.7), (1.8) trong đó dùng σ2 xác định như trên thay cho
phương sai σ2 chưa biết.
Khi đó, phân phối hậu nghiệm xấp xỉ phân phối Student. Với độ tin cậy (1 − α) × 100%,
khoảng tin cậy của µ xấp xỉ khoảng xác định như sau:
m − t α × s ;m + t α × s
2

2

Trong đó t α2 là phân vị trên mức α/2 của phân phối Student với hệ số tự do n − 1.

1.4.4

Kiểm định giả thiết

Kiểm định một phía
Bài toán kiểm định với mức ý nghĩa α
H0 : µ ≤ µ0
H1 : µ > µ0

19

(1.10)


1.5. HỒI QUY BAYES

Thống kê Bayes

Ta tính xác suất giả thiết đúng bằng tích phân của mật độ hậu nghiệm trên miền giả
thiết
µ0

P H0 : µ ≤ µ0 |y 1 , y 2 , . . . y n =

g µ|y 1 , y 2 , . . . y n d µ

−∞

µ−m
µ0 − m
≤

s
s
µ0 − m
=P Z ≤
s
=P

Ta bác bỏ giả thiết nếu xác suất hậu nghiệm nhỏ hơn mức ý nghĩa α. Nếu dùng ước
lượng cho phương sai mẫu thì Z tuân theo quy luật phân phối Student với hệ số tự do
bằng n − 1.
Kiểm định hai phía
Bài toán kiểm định với mức ý nghĩa α
H0 : µ = µ0
H1 : µ = µ0

Ta không tính xác suất hậu nghiệm mà tìm khoảng tin cậy của µ với mức ý nghĩa α
theo (1.9) hoặc (1.10). Nếu giá trị quan sát được không thuộc khoảng tin cậy thì ta bác
bỏ giả thiết; nếu giá trị quan sát được thuộc khoảng tin cậy thì ta không thể bác bỏ giả
thiết.

1.5

Hồi quy Bayes

Mô hình hồi quy tuyến tính biểu biễn mối liên hệ giữa hai biến X và Y quan sát được.
Với niềm tin rằng giá trị Y phụ thuộc vào giá trị của X ,

20

Hồi quy Bayes

1.5.1

Thống kê Bayes

Suy luận Bayes cho mô hình hồi quy tuyến tính Bayes đơn

Mô hình hồi quy đơn giữa hai biến X và Y
y = βx + α

Trước hết, ta thu thập thông tin n cặp giá trị x i , y i , i = 1, 2, . . . , n . Từ đó tìm hai tham
số β và α sao cho tổng bình phương sai số của các điểm quan sát được là nhỏ nhất.
n

y i − βx i + α

SS =

2

i =1

Theo định lý Bayes hậu nghiệm tỉ lệ với tích tiên nghiệm và hàm hợp lý.
Hàm hợp lý
Các quan sát là độc lập, với mỗi quan sát thứ i ta có
y i = α x + β x i − x + εi

Trong đó αx là giá trị trung bình của y khi x = x , β là hệ số góc và các εi độc lập với nhau,
tuân theo quy luật phân phối chuẩn với kỳ vọng bằng 0 và phương sai σ2 . Do đó các y i |x i

độc lập với nhau và tuân theo quy luật phân phối chuẩn với kỳ vọng bằng αx + β x i − x
và phương sai σ2
Ta có hàm hợp lý của quan sát thứ i
f i αx , β ∝

e

−

1
2σ2

y i − αx + β x i − x

2

Ở đây, ta bỏ qua phần không chứa tham số, αx . Các quan sát là độc lập nên ta có hàm

21