Phân tích nhận dạng với một số hữu hạn quần thể

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN



HUỲNH THỊ NGỌC LOAN


PHÂN TÍCH NHẬN DẠNG
VỚI MỘT SỐ HỮU HẠN QUẦN THỂ


Chuyên ngành: Lý Thuyết Xác Suất Và Thống Kê Toán Học
Mã số: 60. 46. 15


LUẬN VĂN THẠC SĨ TOÁN HỌC


NGƯỜI HƯỚNG DẪN KHOA HỌC
PGS.TS. Nguyễn Bác Văn





THÀNH PHỐ HỒ CHÍ MINH – 2011

LỜI CẢM ƠN

Lời đầu tiên, tôi xin trân trọng kính gởi đến Thầy Nguyễn Bác Văn, người đã
tận tình giảng dạy, giúp đỡ và hướng dẫn tôi trong suốt quá trình thực hiện luận văn
này, lòng biết ơn chân thành và sâu sắc nhất.
Xin bày tỏ lòng biết ơn đối với Quý Thầy, Cô trong và ngoài Trường Đại học
Khoa học Tự nhiên Thành phố Hồ Chí Minh đã tận tình giảng dạy, truyền đạt kiến
thức trong suốt thời gian tôi học tập tại trường.
Xin trân trọng cảm ơn Quý Thầy, Cô thuộc Phòng Sau Đại học và Khoa Toán
Tin học Trường Đại học Khoa học Tự nhiên Thành phố Hồ Chí Minh đã tạo mọi
điều kiện thuận lợi cho tôi về thủ tục hành chính trong toàn khóa học.
Xin chân thành cảm ơn Ban Giám Hiệu Trường TCKT&NV Nam Sài Gòn
đã tạo điều kiện thuận lợi mọi mặt để tôi có thể yên tâm học tập và làm việc.
Xin chân thành cảm ơn tập thể giáo viên khoa Khoa Học Tự Nhiên Trường
TCKT&NV Nam Sài Gòn; Các bạn học viên lớp Cao học Xác Suất Thống Kê khóa
18 đã luôn động viên và nhiệt tình giúp đỡ tôi trong suốt quá trình học.
Sau cùng, xin gởi đến gia đình tôi tất cả những tình cảm yêu thương, lòng
biết ơn, nơi đã cho tôi niềm tin và sức mạnh để tôi học tập và hoàn thành luận văn
này.
Vì kiến thức bản thân còn nhiều hạn chế nên luận văn khó tránh khỏi những
thiếu sót, rất mong được sự chỉ bảo của Quý Thầy, Cô và sự góp ý chân thành của các
bạn đồng nghiệp.




TP.HCM, ngày 15 tháng 6 năm 2011

Huỳnh Thị Ngọc Loan

MỞ ĐẦU
Xét một biến ngẫu nhiên X xác định trên một quần thể X có thể lấy
ngay là không gian giá trị của biến ngẫu nhiên X. Nhưng phân phối của
X trên X lại chưa biết. Chỉ biết rằng phân phối đó có thể là một trong
g phân phối P
1
, . . . , P
g
trên X. Bây giờ ta có một quan trắc thống kê x
về X, x ∈ X. Bài toán đặt ra là, từ dữ liệu x hãy phán đoán xem phân
phối chưa biết của X là phân phối nào trong số P
1
, , P
g
. Phán đoán về
phân phối chưa biết của X gọi là nhận dạng thống kê, cũng gọi là phân
tích phân biệt.
Bài toán nhận dạng lần đầu tiên được đưa ra bởi Fisher (1936) giải quyết
cho trường hợp hai quần thể với hàm phân biệt tuyến tính Fisher. Hàm
phân biệt này chỉ được thiết lập khi ma trận hiệp phương sai của hai
quần thể bằng nhau. Năm 1948, Rao đã mở rộng cho trường hợp nhiều
hơn hai quần thể, và cũng trên cơ sở giả thiết ma trận hiệp phương sai
của các quần thể bằng nhau. Đến năm 1975, Kendall đưa ra phương
pháp thống kê thứ tự, nhưng đây chỉ là phương pháp mang tính chất
thủ công, rất phức tạp và hầu như không thể thực hiện được trong thực
tế.
Nhờ sự hỗ trợ của máy tính, Andrews (1972) [4], Chen Kittler (1973) [8],
Devijer và Kittler (1982) [11], Fukunaga (1990) [19], đã tổng kết những
3

4
kết quả đạt được của bài toán nhận dạng, đồng thời mở ra nhiều hướng
nghiên cứu mới cho bài toán nhận dạng. Họ đã dùng phương pháp Bayes
đưa ra nhiều tiêu chuẩn nhận dạng mới như tiêu chuẩn về phần tử lân
cận gần nhất, tiêu chuẩn về độ mạo hiểm trong phân loại, tiêu chuẩn
Neyman-Pearson. . Hàm phân biệt tuyến tính, hàm phân biệt bậc hai
đã được nêu ra từ các tiêu chuẩn này. Ở đây xác suất sai lầm trong nhận
dạng đã được xem xét.
Phương pháp Bayes gán cho mỗi phân phối có thể lựa chọn P
1
, . . . , P
g
một xác suất tiên nghiệm q
1
, . . . , q
g
(q
1
+ ···+ q
g
= 1). Từ đó tìm ra xác
suất hậu nghiệm với điều kiện dữ liệu là x, để rút ra phương pháp phán
đoán phân phối chưa biết của X. Đây là phương pháp giải quyết được
yêu cầu của bài toán đồng thời tính được xác suất sai lầm của phân loại.
Bởi những ưu điểm vượt trội của phương pháp Bayes, luận văn này trình
bày cơ sở lý luận và một ứng dụng quan trọng của việc dùng phương
pháp Bayes để giải bài toán nhận dạng.
Mục lục
1 KIẾN THỨC CHUẨN BỊ 5
1.1 Một số khái niệm cơ bản về biến ngẫu nhiên . . . . . . . 5

1.1.1 Biến ngẫu nhiên . . . . . . . . . . . . . . . . . . . 5
1.1.2 Phân phối giá trị của một biến ngẫu nhiên trên
một quần thể . . . . . . . . . . . . . . . . . . . . 6
1.1.3 Quan trắc giá trị của một biến ngẫu nhiên . . . . 7
1.1.4 Không gian xác suất của một họ biến ngẫu nhiên 8
1.2 Độ đo và tích phân, lấy điều kiện . . . . . . . . . . . . . 9
1.2.1 Những khái niệm về độ đo và tích phân . . . . . . 9
1.2.2 Những khái niệm về lấy điều kiện . . . . . . . . . 13
1.3 Mô hình thống kê Bayes . . . . . . . . . . . . . . . . . . 20
1.3.1 Mô hình thống kê Bayes . . . . . . . . . . . . . . 20
1.3.2 Phân phối hậu nghiệm . . . . . . . . . . . . . . . 21
1.4 Vài kết quả cơ bản dùng trong bài toán nhận dạng . . . 23
2 BÀI TOÁN NHẬN DẠNG 27
2.1 Đặt bài toán nhận dạng . . . . . . . . . . . . . . . . . . 27
2.2 Phương pháp cổ điển của Fisher . . . . . . . . . . . . . . 28
1
2
2.3 Nhận dạng thống kê theo quan điểm Bayes . . . . . . . 28
2.3.1 Sai lầm trong phán đoán . . . . . . . . . . . . . 29
2.3.2 Tổn thất khi phân loại . . . . . . . . . . . . . . 34
3 ỨNG DỤNG 37
3.1 Mô hình toán học của dự báo . . . . . . . . . . . . . . . 37
3.2 Phân tích phân biệt có tham số . . . . . . . . . . . . . . 39
3.2.1 Biểu thức các giá trị mẫu của các tham cấp một
và cấp hai . . . . . . . . . . . . . . . . . . . . . . 40
3.2.2 Biểu thị ma trận tương quan theo ma trận hiệp
phương sai . . . . . . . . . . . . . . . . . . . . . . 42
3.3 Thực hành sơ đồ có tham số . . . . . . . . . . . . . . . . 46
3.4 Thông tin tiên nghiệm trong vectơ dấu hiệu . . . . . . . 47
3.5 Kiểm định giả thiết các ma trận hiệp phương sai bằng nhau 51

3.6 Kiểm định tính độc lập của các dấu hiệu . . . . . . . . . 52
3.7 Phân tích phân biệt phi tham số . . . . . . . . . . . . . . 53
3.7.1 Phương pháp điểm gần nhất . . . . . . . . . . . . 54
3.7.2 Phương pháp Fix-Hodges . . . . . . . . . . . . . 55
3.7.3 Phương pháp khoảng cách trung bình . . . . . . 56
3.7.4 Phương pháp đại diện . . . . . . . . . . . . . . . 57
3.7.5 Biến đổi các dấu hiệu trước khi phân tích . . . . 57
3.8 Thực hiện sơ đồ phi tham số . . . . . . . . . . . . . . . . 60
Chương 1
KIẾN THỨC CHUẨN BỊ
Trong chương này, chúng tôi sẽ trình bày một số phương tiện toán cơ
bản làm công cụ khi giải bài toán nhận dạng (hay bài toán phân biệt).
1.1 Một số khái niệm cơ bản về biến ngẫu nhiên
1.1.1 Biến ngẫu nhiên
Định nghĩa 1.1.1 (Biến ngẫu nhiên) Biến ngẫu nhiên X là một hàm
đo được xác định trên một không gian xác suất (Ω, A, P ) vào một không
gian đo được (X, B) nào đó, không gian đo được này gọi là không gian
giá trị của biến ngẫu nhiên X.
X : Ω → X
ω → X(ω)
X
−1
(B) ⊂ A
5
6
Đặc biệt, biến số ngẫu nhiên X là ánh xạ đo được
X : (Ω, A) → (R
1
, B
1

)
ω → X(ω)
X
−1
(B
1
) ⊂ A
1.1.2 Phân phối giá trị của một biến ngẫu nhiên trên một
quần thể
Xét một quần thể Ω gồm những phần tử (hay cá thể) ω. Biến ngẫu nhiên
ξ là một đặc trưng của cá thể. Mỗi cá thể ω mang một giá trị của đặc
trưng ξ, các giá trị này thuộc tập X, tập các giá trị có thể của ξ. Vậy ξ
đúng là ánh xạ ξ : Ω → X.
Trường hợp quần thể Ω hữu hạn, có N phần tử.
Phân phối giá trị của ξ trên quần thể Ω diễn tả như sau: S là tập con bất
kỳ của X, tỷ số
số cá thể có đặc trưng ξ∈S
số tất cả các cá thể
=
{ω:ξ(ω)∈S}
N
được viết là P (ξ ∈ S).
Lúc này, Ω hữu hạn, ta đã dùng một độ đo cơ sở đồng đều trên Ω, tức
ta không phân biệt giữa các cá thể, mỗi cá thể ω đều có độ đo
1
N
.
Trường hợp quần thể Ω vô hạn.
Ta phải lấy bộ phận hữu hạn Ω
N

(có N cá thể) của Ω, lập phân phối
P
N
(ξ ∈ S) của ξ trên Ω
N
như trên, rồi cho N tăng vô hạn, giới hạn của
P
N
(ξ ∈ S) sẽ cho biết phân phối giá trị của ξ trên quần thể vô hạn Ω.
Chẳng hạn, khi nói tầm cao ξ của một tập thanh niên là gần chuẩn (nói
đúng là xấp xỉ chuẩn) ta hiểu là
{ω:ξ(ω)∈S}
Ω
≈ Φ(S), với Φ là phân phối
chuẩn. Ở đây Ω là tập các thanh niên, ω là một thanh niên cụ thể.
7
1.1.3 Quan trắc giá trị của một biến ngẫu nhiên
Trường hợp quần thể Ω hữu hạn
Quan trắc giá trị của biến ngẫu nhiên ξ xác định trên Ω tức là rút ngẫu
nhiên một cá thể ω

từ Ω, ghi giá trị ξ
1
của đặc trưng ξ ứng với cá thể
đó. Rút ngẫu nhiên, tức đảm bảo mọi cá thể được rút với cùng khả năng
(là
1
N
). Giá trị quan trắc ξ
1

là biến ngẫu nhiên, vì cá thể ω

được rút
ngẫu nhiên.
Ta tính phân phối của ξ
1
. Lấy tập bất kỳ S ⊂ X ( tập giá trị của ξ), gọi
{ω : ξ(ω) ∈ S} = {ω
1
, , ω
s
}. Lúc đó
Xác suất (ξ
1
∈ S) = xác suất [cá thể được rút ω

thuộc {ω : ξ(ω) ∈ S}]
= xác suất [(ω

= ω
1
) ∪ ∪(ω

= ω
s
)]
= s.
1
N
=

{ω : ξ(ω) ∈ S}
Ω
= P(ξ ∈ S).
Vậy quan trắc ξ
1
có cùng phân phối như ξ. n lần quan trắc là n phép thử
lặp, mỗi phép thử là một lần rút ngẫu nhiên một cá thể từ Ω. Các phép
thử "lặp", tức điều kiện của mỗi phép thử phải như nhau, muốn vậy các
phép thử trước không được ảnh hưởng đến phép thử sau, tức các phép
thử phải độc lập, vậy kết quả của các phép thử độc lập đó là các quan
trắc ξ
1
, , ξ
n
, phải là n biến ngẫu nhiên độc lập. Phân phối của mỗi ξ
i
cũng như ξ
1
, vì điều kiện của phép thử thứ i như phép thử thứ 1.
8
Trường hợp quần thể Ω vô hạn
Quan trắc về ξ vẫn là phép thử rút ngẫu nhiên một cá thể ω

. Nhưng
rút ngẫu nhiên ω

bây giờ hiểu là xác suất (ω

∈ A) = P A, với P là một
độ đo xác suất có sẵn trên (Ω, A). Nếu cá thể ω


được rút, thì quan trắc
ξ
1
chính là ξ(ω

), quan trắc ξ
1
cùng phân phối như ξ, vì phân phối của
ξ(ω) được định nghĩa từ độ đo cơ sở P trên (Ω, A), mà ω

và ω có cùng
phân phối P, nên ξ
1
= ξ(ω

) và ξ(ω) có cùng phân phối.
n quan trắc là ξ(ω
1
), , ξ(ω
n
), với ω
i
là cá thể được rút lần thứ i từ
Ω theo luật cơ sở P, chúng cùng phân phối vì ω
1
, , ω
n
có cùng phân
phối P, chúng độc lập vì các phép thử lặp nên phải độc lập, thành thử

ω
1
, , ω
n
độc lập.
Vậy quan trắc về một biến ngẫu nhiên là một biến ngẫu nhiên có cùng
phân phối như biến ngẫu nhiên ban đầu và n lần quan trắc về một biến
ngẫu nhiên lại cho n biến ngẫu nhiên độc lập và cùng phân phối .
1.1.4 Không gian xác suất của một họ biến ngẫu nhiên
Để xét các biến ngẫu nhiên khác nhau trong cùng một hiện tượng, ta coi
chúng là những hàm trên một không gian xác suất cơ sở chung (Ω, A, P ).
Nhưng sau khi đã xác định họ tất cả các biến ngẫu nhiên phải xét, e.g
(X
u
, u ∈ U) = X, ta sẽ dùng không gian giá trị của X là X, một σ - đại
số thích hợp B trong X và phân phối xác suất P
X
của biến X. Lúc đó
(X, B, P
X
) gọi là không gian xác suất mẫu của họ X. Chẳng hạn, nghiên
cứu tầm cao X của thanh niên trên một quần thể, ta có thể không dùng
không gian Ω gồm các cá thể người của quần thể, mà dùng không gian
9
xác suất mẫu (X, B, P
X
), ở đây X = R
1
, B = B
1

, P
X
là phân phối của
tầm cao trên (R
1
, B
1
), lúc này với phần tử x ∈ X, ta có X(x) = x.
1.2 Độ đo và tích phân, lấy điều kiện
1.2.1 Những khái niệm về độ đo và tích phân
Xét không gian đo (X, A,µ) là bộ ba trong đó X là một tập tùy ý, A là
một σ− đại số các tập con của X, µ là độ đo định nghĩa trên A.
Đạo hàm Radon - Nicodym
Định nghĩa 1.2.1 Hàm tập ϕ là hàm số được định nghĩa trên một lớp
không rỗng C các tập con của không gian X bằng cách cho ứng với mỗi tập
A ∈ C một số hữu hạn hay vô hạn ϕ(A), tức là, ϕ : C → [−∞; +∞], với
[−∞; +∞] = (−∞; +∞) ∪{−∞}∪{+∞}, khoảng (−∞; +∞) là đường
thẳng thực R, tập {−∞} chỉ chứa số vô hạn âm −∞ và tập {+∞} chỉ
chứa số vô hạn dương +∞.
Định nghĩa 1.2.2 Hàm tập ϕ được gọi là σ− cộng tính nếu thỏa đẳng
thức ϕ(∪A
j
) =

ϕ(A
j
) với mỗi lớp đếm được các tập rời nhau A
j
∈ C.
Để cố định định nghĩa và để đảm bảo tổng


ϕ(A
j
) tồn tại, ta sẽ loại
bỏ giá trị −∞, tức là luôn luôn xem ϕ > −∞.
Định nghĩa 1.2.3 Xét không gian đo (X, A,µ), nếu một tập A ∈ A thỏa
µ(A) = 0 thì tập A được gọi là tập µ − không. Các mối quan hệ có giá
trị ngoài tập µ − không gọi là mối quan hệ có giá trị hầu khắp nơi đối
với độ đo µ.
Viết tắt: µ − a.e hay a.e
10
Xét tập các hàm từ không gian X vào không gian X

. Hai hàm X,Y được
gọi là µ − tương đương nếu X(ω) = Y (ω) µ − a.e với ω ∈ X.
Khái niệm này mang các tính chất thông thường của quan hệ tương
đương (phản xạ, bắc cầu, đối xứng) nên có thể nói tập hợp các hàm
được chia thành các lớp tương đương.
Tính chất
(i) Hai hàm tương đương nếu và chỉ nếu chúng thuộc cùng một lớp tương
đương.
(ii) Một hàm bất kỳ, đại diện cho một lớp tương đương, được gọi là hàm
xác định µ -a.e hay hàm xác định sai khác µ -tương đương
Xét không gian xác suất cơ sở (X, A,P ), hai hàm X, Y được gọi là bằng
nhau hầu chắc chắn nếu tồn tại một tập A ∈ A thỏa P (A) = 0 và
X(ω) = Y (ω) với ω /∈ A. Một tính chất nào đó xảy ra hầu chắc chắn
trên X nếu nó xảy ra ở bên ngoài một tập A ∈ A có xác suất không.
Viết tắt: P − a.s hay a.s.
Định nghĩa 1.2.4 Hàm tập ϕ trên A được gọi là µ− liên tục tuyệt đối
nếu

µ(A) = 0 ⇒ ϕ(A) = 0, (A ∈ A)
Ký hiệu: ϕ  µ.
Định nghĩa 1.2.5 Xét không gian đo (X, A,µ) và hàm đo được
f : (X, A) → (R, B), tức là f
−1
(B) ⊂ A (B là σ− đại số các tập Borel
trên R) và giả sử

X
fdµ tồn tại. Thì hàm ϕ(A) =

A
fdµ với A ∈ A là
11
hàm tập σ− cộng tính trên A, tích phân này được gọi là tích phân bất
định của f.
Định lý 1.2.1 (định lý Radon-Nicodym) Nếu trên σ− đại số A của
không gian đo (X, A,µ), độ đo µ và hàm tập σ−cộng tính ϕ là σ− hữu
hạn và ϕ  µ thì ϕ là tích phân bất định của một hàm đo được hữu hạn
f xác định sai khác µ− tương đương trên (X, A,µ), tức là
∀A ∈ A : ϕ(A) =

A
fdµ (1.1)
Định nghĩa 1.2.6 Hàm đo được f : (X, A) → (R, B), xác định sai khác
µ− tương đương bởi công thức (1.1), được gọi là đạo hàm Radon-Nicodym
dϕ
dµ
hay là hàm mật độ của hàm tập ϕ đối với độ đo µ.
Ký hiệu: f =

dϕ
dµ
hay f(x) =
dϕ
dµ
(x) (x ∈ X).
Khi đó (1.1) trở thành
∀A ∈ A : ϕ(A) =

A
dϕ
dµ
dµ (1.2)
Hệ quả 1.2.1 Cho λ và µ là các độ đo σ− hữu hạn trên không gian đo
được (X, A,µ) và hàm đo được f : (X, A) → (R, B). Giả sử tồn tại tích
phân

X
fdµ, thì
µ  λ ⇒

A
fdµ =

A
f
dµ
dλ
dλ ∀A ∈ A
Công thức chuyển tích phân

Định nghĩa 1.2.7 Xét hai không gian đo (X, A,µ) và (X

, A

,µ

) và hàm
đo được X : (X, A) → (X

, A

).
12
Độ đo ảnh µ
X
trên A

được xác định là
µ
X
(A

) = µ(X
−1
(A

)), ∀A

∈ A


.
Định lý 1.2.2 Xét hai không gian đo (X, A,µ) và (X

, A

,µ

), hàm đo
được X : (X, A) → (X

, A

) và độ đo ảnh µ
X
trên A

. Cho hàm đo được
g : (X

, A

) → (R, B), ta có công thức chuyển không gian

A

gdµ
X
=

X

−1
(A

)
g(X)dµ , ∀A

∈ A

(1.3)
Trong trường hợp này, nếu một trong hai tích phân tồn tại thì tích phân
còn lại tồn tại và chúng bằng nhau. Đặc biệt,

X

gdµ
X
=

X
g(X)dµ.
Độ đo tích và định lý Fubini
Định nghĩa 1.2.8 Tích trực tiếp E của n tập không rỗng X
1
, . . . , X
n
là
tập tất cả các dãy có thứ tự (x
1
, . . . , x
n

), trong đó x
i
∈ X
i
, i = 1, . . . , n.
Ký hiệu: E =

n
i=1
X
i
hay X
1
× . . . × X
n
.
Trong mỗi không gian X
i
trang bị một σ− đại số A
i
, i = 1, . . . , n. Gọi
X
i
là ánh xạ tọa độ từ E lên X
i
, i = 1, . . . , n. Tích của các σ− đại số
A
i
, i = 1, . . . , n, kí hiệu


n
i=1
A
i
hay A
1
⊗. . . ⊗A
n
, là σ− đại số bé nhất
trên E sao cho tất cả các ánh xạ tọa độ X
i
đo được.
Đưa vào mỗi không gian đo (X
i
, A
i
) một độ đo µ
i
, i = 1, . . . , n. Giả
sử các µ
i
hữu hạn hay σ− hữu hạn. Khi đó tồn tại duy nhất độ đo
tích µ trên

n
i=1
A
i
sao cho µ(A
1

× . . . × A
n
) = µ(A
1
) . . . µ(A
n
) với
A
i
∈ A
i
(i = 1, . . . , n). Ký hiệu

n
i=1
µ
i
hay µ
1
⊗ . . . ⊗ µ
n
.
13
Định lý 1.2.3 (định lý Fubini:) Cho các không gian đo được σ− hữu
hạn (X
i
, A
i
, µ
i

) i = 1, . . . , n. Nếu hàm

n
i=1
A
i
− đo được X trên

n
i=1
X
i
là hàm không âm hay

n
i=1
µ
i
khả tích thì với A
i
∈ A
i
,i = 1, . . . , n,
ta có

A
1
× ×A
n
X(x

1
, . . . , x
n
)d(µ
1
⊗ . . . ⊗ µ
n
)
=

A
1
dµ
1

A
2
dµ
2
. . .

A
n
X(x
1
, . . . , x
n
)dµ
n
=


A
1
dµ
1

A
2
dµ
2
. . .

A
n
dµ
n

A
n−1
X(x
1
, . . . , x
n
)dµ
n−1
. . .
=

A
2

dµ
2

A
3
dµ
3
. . .

A
n
dµ
n

A
1
X(x
1
, . . . , x
n
)dµ
1
.
(1.4)
1.2.2 Những khái niệm về lấy điều kiện
Xét không gian xác suất cơ sở (X, A,P ) và biến ngẫu nhiên thực ξ trên
không gian đo (X, A). Cho T : (X, A) → (Γ, C) là ánh xạ đo được, P
T
là độ đo ảnh của T trên (Γ, C).
Kỳ vọng có điều kiện

Định nghĩa 1.2.9 Cho ξ là biến số ngẫu nhiên khả tích trên (X, A,P )
và hàm đo được T : (X, A) → (Γ, C), kỳ vọng có điều kiện của ξ cho
trước ánh xạ T là biến số ngẫu nhiên g(T), trong đó g : (Γ, C) → (R, B)
là hàm số thực đo được xác định sai khác P
T
− tương đương bởi phương
trình
(∀C ∈ C),

C
gdP
T
=

T
−1
(C)
ξdP (1.5)
14
Ký hiệu g(t) là E(ξ|t) hay E(ξ|T = t), còn g(T ) là kỳ vọng có điều kiện
của biến số ngẫu nhiên ξ cho trước hàm T.
Ký hiệu g(T ) = E(ξ|T ) hay E
T
(ξ).
Lưu ý, g(t) = E(ξ|t) được xác định cho tất cả t ngoài một tập P
T
−không
trong (Γ, C, P
T
).

Xác suất có điều kiện
Định nghĩa 1.2.10 Cho A là một biến cố trong không gian (X, A, P),
A ∈ A, và hàm đo được T : (X, A) → (Γ, C). Xác suất có điều kiện của
A cho trước hàm T là biến số ngẫu nhiên g(T ), trong đó
g : (Γ, C) → (R, B) là hàm thực đo được xác định sai khác P
T
−tương
đương bởi g(T ) = E(I
A
|T ) với I
A
là hàm chỉ tiêu của biến cố A.
Phương trình (1.5) trở thành
(∀C ∈ C),

C
gdP
T
=

T
−1
(C)
I
A
dP = P

A ∩ T
−1
(C)


(1.6)
Ký hiệu: P (A|T ) hay P
T
A.
Khi T = t thì giá trị g(t) gọi là xác suất có điều kiện của biến cố A cho
trước giá trị t của hàm T. Ký hiệu P (A|t) hay (P A|T = t).
Một số tính chất của kỳ vọng có điều kiện
Xét không gian xác suất cơ sở (X, A,P ) và biến số ngẫu nhiên thực ξ
trên không gian đo (X, A), T : (X, A) → (Γ, C) là ánh xạ đo được. Ta có
(i) E

E(ξ|T )

= Eξ (1.7)
15
(ii) Cho hàm đo được h : (Γ, C) → (R, B) thỏa E|h(T)| < ∞
thì E

h(T )|T

= h(T ) P
T
− as (1.8)
(iii) Cho Y,Z là các hàm đo được với Y : (X, A) → (Y, E),
Z : (X, A) → (Z, F)
Thì E

ξ|Y


= E

E
(Y,Z)
ξ|Y

= E

E
Y
ξ|(Y, Z)

P − as (1.9)
Phân phối xác suất có điều kiện của một biến ngẫu nhiên
Định lý 1.2.4 Cho không gian Borel (X, A) ((X) là tích của một số
hữu hạn hay đếm được đường thẳng và A là σ− đại số các tập Borel
trong X )và không gian xác suất cơ sở được lấy là (X, A,P ), ánh xạ đo
được T : (X, A) → (Γ, C) và độ đo ảnh P
T
trên C. Khi đó tồn tại hàm
g : (A × Γ) → R
(i) Với mỗi tập cố định A ∈ A, g(A, t) : (Γ, C) → (R, B) là hàm số đo
được của t trên Γ.
(ii) Mỗi t ∈ Γ cố định, hàm g(A, t) là độ đo xác suất trên A.
(iii) (∀A ∈ A),

C
g(A, t)dP
T
(t) = P (A ∩ T

−1
(C)) (∀C ∈ C).
Định nghĩa 1.2.11 Trong định lý trên nếu thay độ đo P bằng độ đo
ảnh P
X
của biến ngẫu nhiên X nhận giá trị trong X thỏa
P
X
(A) = P (X ∈ A), ∀A ∈ A, và lấy không gian gốc là (X, A, P
X
), thì
hàm g(A, t) thỏa các tính chất (i),(ii) và (iii) trên, gọi là phân phối xác
suất có điều kiện của biến ngẫu nhiên X cho trước giá trị t của hàm T.
Ký hiệu: P
X
(.|t) hay P
X
(.|T = t) hay P
(X|t)
(.)
16
Phân phối xác suất có điều kiện của hai biến ngẫu nhiên
Xét không gian đo (X, A) với X= Y × Z, A = E ⊗ F trong đó E, F
lần lượt là các σ− đại số trên Y, Z. Xét ánh xạ T : X → Z thỏa
(∀x = (y, z) ∈ X) T (x) = z thì T (X) = Z. Giả sử (Y, E) và (Z, F) là
các không gian Borel. Cho z ∈ Z, ta gọi X
(z)
= {x : x ∈ X, T (x) = z} là
tập các điểm x mà tọa độ thứ hai là z, ta cũng có X
(z)

= Y × {z}.
Cho bất kì tập A ∈ A, A ∩X
(z)
là tập các điểm x trong A mà tọa độ thứ
hai là z, do đó A ∩X
(z)
= A
z
×{z} với A
z
là thiết diện của A tại z, tức
là
A
z
= {y : y ∈ Y, (y, z) ∈ A} ⊂ Y (1.10)
Xét không gian xác suất cơ sở (X, A,P ) với P = P
X
− độ đo ảnh của
biến ngẫu nhiên X lấy giá trị trong X, X = (Y, Z) với Y và Z lần lượt là
các biến ngẫu nhiên lấy giá trị trong (Y, E) và (Z, F). Ta có T (X) = Z
nên có thể viết Z thay cho T . Độ đo P
X|z
(.) = P
X
(.|Z = z) được định
nghĩa trên σ− đại số
A|X
(z)
= {A ∩ X
(z)

: A ∈ A} = {A
z
× {z} : A ∈ A} (1.11)
Vì thế, ta có thể định nghĩa một độ đo xác suất, P
Y |Z=z
(.) hay P
Y
(.|Z = z),
như sau
(∀A ∈ A) P
Y
(A
z
|Z = z) = P
Y |Z=z
(A
z
) = P
X
(A
z
×{z}|Z = z) (1.12)
Với X = (Y, Z), A
z
∈ E, A ∈ E ⊗ F.
Định nghĩa 1.2.12 Cho (Y, E) và (Z, F) là các không gian Borel, X = (Y, Z)
là biến ngẫu nhiên nhận giá trị trong (Y × Z, E ⊗ F) với phân phối
17
P
X

= P
(Y,Z)
trên E ⊗ F, miền giá trị của Z là Z. Độ đo xác suất
P
Y |Z=z
(.) xác định trên σ− đại số E bởi đẳng thức
(∀B ∈ E)P
Y |Z=z
(B) = P
(Y,Z)
(B ×{z}|Z = z) = P
X|z
(B ×{z}) (1.13)
với z ∈ Z, độ đo này được gọi là phân phối xác suất có điều kiện của Y
khi đã biết Z = z.
Định lý 1.2.5 Cho (Y, E) và (Z, F) là các không gian Borel, X = (Y, Z)
là biến ngẫu nhiên nhận giá trị trong (Y × Z, E ⊗ F) với phân phối
P
(X)
= P
(Y,Z)
trên E ⊗ F, miền giá trị của Z là Z. Khi đó tồn tại một
lớp các độ đo xác suất P
Y |Z=z
(.)(z ∈ Z), tức là phân phối xác suất có
điều kiện trên không gian (Y, E) của biến ngẫu nhiên Y khi cho biết
Z = z. Và ta có
(∀A ∈ E ⊗ F)P
(Y,Z)
(A) =


Z
P
Y |Z=z
(A
z
)dP
Z
(z) (1.14)
với P
Z
là phân phối biên duyên thứ hai của bộ (Y, Z) và A
z
là thiết diện
của A tại z.
Lưu ý: Chắc chắn miền giá trị của Z là Z do X = (Y, Z) và không
gian giá trị của X là Y × Z.
Định lý 1.2.6 Cho (Y, E) và (Z, F) là các không gian Borel, (Y, Z) là
biến ngẫu nhiên nhận giá trị trong Y ×Z và (Y ×Z, E ⊗F, P
(Y,Z)
) được
lấy làm không gian xác suất cơ sở. Khi đó phân phối đồng thời của bộ
(Y, Z) xác định khi biết:
(i) Phân phối biên duyên P
Z
của Z.
(ii) Lớp độ đo xác suất có điều kiện P
Y |Z=z
(.) định nghĩa cho tất cả
18

z ∈ Z
Cụ thể ta có đẳng thức (1.14):
(∀A ∈ E ⊗ F) P
(Y,Z)
(A) =

Z
P
Y |Z=z
(A
z
)dP
Z
(z)
Đặc biệt
(∀B ∈ E) (∀C ∈ F) P
(Y,Z)
(B ×C) =

C
P
Y |Z=z
(B)dP
Z
(z) (1.15)
Hàm mật độ xác suất có điều kiện của hai biến ngẫu nhiên
Cho không gian Borel (Y, E, µ
1
) và (Z, F, µ
2

) với µ
1
, µ
2
là hai độ đo
σ− hữu hạn, (Y, Z) là biến ngẫu nhiên nhận giá trị trong (Y×Z, E⊗F).
Với phân phối P
(Y,Z)
của bộ (Y, Z) trên E⊗F, ta chọn (Y × Z, E ⊗ F, P
(Y,Z)
)
làm không gian xác suất cơ sở. Xét phân phối biên duyên P
Z
của Z trên
(Z, F) và phân phối xác suất có điều kiện P
Y |Z=z
của Y khi đã biết
Z = z trên (Y, E).
Định lý 1.2.7 (i) Nếu P
(Y,Z)
có mật độ f(y, z) đối với độ đo tích µ
1
⊗µ
2
trên E ⊗ F thì P
Z
có mật độ f
2
(z) với độ đo µ
2

cho bởi
f
2
(z) =

Y
f(y, z)dµ
1
(y) (1.16)
và P
Y |Z=z
có mật độ f
Y |Z=z
(y) đối với độ đo µ
1
cho bởi
f
Y |Z=z
(y) =
f(y, z)
f
2
(z)
(1.17)
Chú ý: Với mọi C ∈ F, ta có P
Z
(C) =

C
f

2
(z)dµ
2
Gọi N = {z : z ∈ Z, f
2
(z) = 0} thì P
Z
(N) = 0. Bỏ qua mọi tập N
và tập P
Z
−không, ta có quyền xem f
2
(z) = 0 trong (1.17)
19
(ii) Ngược lại, nếu P
Z
có mật độ f
2
(z) đối với µ
2
và P
Y |Z=z
có mật
độ f
Y |Z=z
(y) đối với độ đo µ
1
thì P
(Y,Z)
có mật độ f(y, z) đối với

µ
1
⊗ µ
2
cho bởi
f(y, z) = f
Y |Z=z
(y)f
2
(z) (1.18)
Khi đó f
Y |Z=z
(y) gọi là mật độ xác suất có điều kiện của Y khi đã
biết Z = z.
Hàm mật độ có điều kiện của ba biến ngẫu nhiên
Cho ba không gian Borel (Y, E, µ
1
), (Z, F, µ
2
), (T , G, µ
3
) với µ
1
, µ
2
, µ
3
là ba độ đo σ− hữu hạn. X = (Y, Z, T ) là biến ngẫu nhiên nhận giá trị
trong (Y × Z × T , E ⊗ F ⊗ G).
Trên không gian giá trị của X, phân phối xác suất của X xác định bởi

độ đo xác suất P
(Y,Z,T )
và trên đó ta xét độ đo µ = µ
1
⊗µ
2
⊗µ
3
. Giả sử
P
(Y,Z,T )
 µ. Gọi f(y, z, t) là hàm mật độ của phân phối P
(Y,Z,T )
đối với
µ. Khi đó, P
Y
(phân phối biên duyên của Y trên (Y, E)) sẽ có hàm mật
độ f
1
(y) đối với độ đo µ
1
, còn P
T |Y =y
( phân phối có điều kiện của T cho
trước trị Y = y trên (T , G)) ta sẽ có hàm mật độ f
3
(t|y) đối với độ đo µ
3
và P
Z|Y =y,T =t

(phân phối có điều kiện của Z cho trước trị (Y, T) = (y, t)
trên (Z, F)) sẽ có hàm mật độ f
2
(z|t, y) đối với độ đo µ
2
. Ta có hệ thức:
f
(y,z,t)
(y) = f
2
(z|t, y)f
3
(t|y)f
1
(y) (1.19)
Mặt khác, P
(Z,T )|Y =y
(phân phối có điều kiện của (Z, T ) cho trước trị
Y = y ) sẽ có hàm mật độ g
(z,t|y)
đối với độ đo tích µ
2
⊗ µ
3
và ta có:
f(y, z, t) = g
(z,t|y)
f
1
(y) (1.20)

20
Từ đó ta có hệ thức:
g(z, t|y) = f
2
(z|t, y)f
3
(t|y)
g(z, t|y) = f
3
(t|y, z)f
2
(z|y)



(1.21)
với f
3
(t|y, z) là hàm mật độ có điều kiện của T cho trước trị (Y, Z) = (y, z)
Ta cũng có, giống công thức (1.16)
f
3
(z|y) =

T
g(z, t|y)dµ
3
(t) (1.22)
1.3 Mô hình thống kê Bayes
1.3.1 Mô hình thống kê Bayes

Xét mô hình thống kê (X, A, P
θ
) với
• X là không gian giá trị của biến ngẫu nhiên X, dữ liệu x được xem
như một giá trị quan trắc của X.
• A là σ− đại số gồm một số các tập con của X.
• P
θ
là phân phối xác suất không biết của biến ngẫu nhiên X, phân
phối này được xác định bởi một tham ẩn θ.
• Tham θ lấy giá trị trên tập Θ.
Mọi phán đoán đều được rút ra từ dữ liệu x. Mà x là một thể hiện ngẫu
nhiên của biến X.
Nhà thống kê cổ điển sẽ tính xấp xỉ xác suất để cho phán đoán đúng.
Nếu xác suất đó cao thì giả định lặp đi lặp lại hoàn cảnh, tỷ số lần phán
đoán đúng sẽ cao. Chẳng hạn xác suất đó là 90% thì số lần phán đoán
21
đúng sẽ bằng
90
100
của số lần lặp lại. Bởi thế những nhà thống kê cổ điển
được gọi là thuộc trường phái tần số. Đặc trưng cơ bản của quan điểm
này là coi tham ẩn θ là hằng không biết và dựa vào quan trắc ngẫu nhiên
x để mò tìm hằng θ trong biển Θ và đánh giá phán đoán dựa trên tần
số đúng toàn cục.
Nhà thống kê Bayes coi đầu vào của biện pháp thống kê là dữ liệu x và
thông tin sẵn có về tham θ. Dữ liệu x bao giờ cũng là số liệu cụ thể được
xem là điều kiện. Còn tham ẩn θ thì trường phái Bayes luôn xem là biến
ngẫu nhiên nên thông tin sẵn có (gọi là thông tin tiên nghiệm) về θ bao
giờ cũng diễn tả được bằng một phân phối xác suất gọi là phân phối tiên

nghiệm

trên không gian đo được (Θ, T ). Nhà thống kê Bayes không
chỉ rút ra phán đoán mà chọn một hành động. Vậy hành động Bayes
được xây dựng trên cơ sở điều kiện x và phân phối tiên nghiệm

. Bởi
thế quan điểm Bayes còn gọi là quan điểm có điều kiện. Như thế mô
hình thống kê Bayes là mô hình (X, A, P
θ
) với θ được xem là một biến
ngẫu nhiên lấy giá trị trong tập Θ. Trong mô hình này, mọi phân tích
được tiến hành bởi kết hợp giữa thông tin tiên nghiệm về θ và dữ liệu x
vào cái gọi là phân phối hậu nghiệm của θ cho trước giá trị x, từ phân
phối này tất cả các quyết định và kết luận sẽ được rút ra.
1.3.2 Phân phối hậu nghiệm
Cho θ là biến ngẫu nhiên lấy giá trị trên tập Θ và phân phối tiên nghiệm

của θ trên không gian đo được (Θ, T ). Giả sử trên T sẵn có một độ
đo σ− hữu hạn ν và

 ν. Lúc đó, đạo hàm Random-Nicodym
d

dν
là
hàm mật độ của θ. Đặt
d

dν

(θ) = π(θ) thì π(θ) gọi là mật độ phân phối
22
xác suất tiên nghiệm của θ.
Định nghĩa 1.3.1 Xét không gian xác suất (X, A, P
θ
), X là biến ngẫu
nhiên nhận giá trị trên X. Phân phối hậu nghiệm của θ là phân phối xác
suất có điều kiện của biến ngẫu nhiên θ cho trước trị x của biến ngẫu
nhiên X.
Ký hiệu: P
θ
(.|X = x) hay P
θ
(.|x) hay P
θ|x
(.), dùng định nghĩa (1.2.12)
Công thức: Xét hai không gian đo (X, A, P
µ
) và (Θ, T , ν) với µ và ν
lần lượt là các độ đo σ− hữu hạn trên A và T ; (X, θ) là biến ngẫu
nhiên nhận giá trị trong (X × Θ, A ⊗ T ). Giả sử θ có hàm mật độ đối
với ν là π(θ) và hàm mật độ có điều kiện của X cho trước θ đối với
µ là f(x|θ). Khi đó hàm mật độ đồng thời của (X, θ) đối với µ ⊗ ν là
h(x, θ) = f(x|θ)π(θ) (theo công thức (1.18)).
Mặt khác, theo (1.17) ta cũng có π(θ|x) =
h(x,θ)
m(x)
là hàm mật độ có điều
kiện của θ cho trước trị x của X, với m(x) =


Θ
h(x, θ)ν(dθ) theo (1.16)
là hàm mật độ biên duyên của X.
Nên π(θ|x) =
h(x,θ)
m(x)
=
f(x|θ)π(θ)
m(x)
.
Do đó, phân phối hậu nghiệm của θ cho trước x được xác định bởi
P
θ
(C|X = x) =

C
π(θ|x)ν(dθ) =

C
f(x|θ)π(θ)
m(x)
ν(dθ) (1.23)
với mỗi C ∈ T (C ⊂ Θ).
23
1.4 Vài kết quả cơ bản dùng trong bài toán nhận
dạng
Kết quả 1
Gọi (Ω, A, P ) là không gian xác suất cơ sở. X : Ω → X là một biến ngẫu
nhiên, P là họ các độ đo xác suất có thể của X. Ta có thể lấy ngay Ω là
không gian tích, Ω = X × P. W là một biến ngẫu nhiên lấy giá trị trên

P. Biến ngẫu nhiên (X, W ) lấy giá trị trên Ω = X ×P.
Trang bị cho X và P những σ−đại số, gọi
P
X
là phân phối biên duyên của X trên X
P
W
là phân phối biên duyên của W trên P
Lúc đó, áp dụng 1.2.7 (ii) trang 18, giả sử P
X
 µ, µ là một độ đo
σ− hữu hạn trên X; giả sử P
W
 ν, ν là một độ đo σ− hữu hạn trên
P, ta gọi
f(x) =
dP
X
dµ
(x) (hàm mật độ biên duyên của X),
f
w
(x) =
dP
X|W =w
dµ
(x) (hàm mật độ có điều kiện của X với điều kiện phân
phối đã cho là w ∈ P)
q
w

(x) =
dP
W |X=x
dν
(w) (hàm mật độ hậu nghiệm của W, cho trước trị x của X)
g(x, w) =
dP
(W,X)
d(µ×ν)
(x, w) (hàm mật độ đồng thời của W và X)
q
w
=
dP
W
dν
(w) (hàm mật độ xác suất tiên nghiệm của phân phối W trên P)
Theo công thức (1.18) ta có đẳng thức
g(x, w) = f(x)q
w
(x) = q
w
f
w
(x)