Phân tích phân biệt, phân loại và phân tích cụm

BỘ GIÁO DỤC VÀ ĐÀO TẠO
ĐẠI HỌC ĐÀ NẴNG

LÊ THỊ TUYẾT NHUNG

PHÂN TÍCH PHÂN BIỆT, PHÂN LOẠI
VÀ PHÂN TÍCH CỤM

Chuyên ngành: Phƣơng pháp Toán sơ cấp
Mã số: 60.46.01.13

LUẬN VĂN THẠC SĨ KHOA HỌC

Ngƣời hƣớng dẫn khoa học: TS. LÊ VĂN DŨNG

Đà Nẵng - Năm 2016


LỜI CAM ĐOAN

Tơi xin cam đoan đây là cơng trình nghiên cứu của riêng tôi.
Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng
được ai cơng bố trong bất kì cơng trình nào khác.

Tác giả

Lê Thị Tuyết Nhung


MỤC LỤC
MỞ ĐẦU ....................................................................................................... 1

1. Tính cấp thiết của đề tài.................................................................... 1
2. Mục đích nghiên cứu ........................................................................ 1
3. Đối tƣợng nghiên cứu ....................................................................... 2
4. Phạm vi nghiên cứu .......................................................................... 2
5. Phƣơng pháp nghiên cứu .................................................................. 2
6. Bố cục đề tài..................................................................................... 2
CHƢƠNG 1. KIẾN THỨC CHUẨN BỊ ..................................................... 3
1.1. VECTƠ VÀ MA TRẬN .......................................................................... 3
1.1.1. Vectơ .......................................................................................... 3
1.1.2. Ma trận ....................................................................................... 4
1.1.3. Căn bậc hai của ma trận .............................................................. 7
1.1.4. Các bất đẳng thức ma trận và maximum ..................................... 8
1.2. VECTƠ NGẪU NHIÊN .......................................................................... 9
1.2.1. Hàm xác suất đồng thời ........................................................... 10
1.2.2. Vectơ trung bình và ma trận hiệp phƣơng sai ........................... 11
1.2.3. Chia khối ma trận hiệp phƣơng sai .......................................... 14
1.2.4. Vectơ trung bình và ma trận hiệp phƣơng sai của tổ hợp tuyến
tính các vectơ ngẫu nhiên .................................................................. 15
1.3. PHÂN BỐ CHUẨN NHIỀU CHIỀU .................................................... 16
1.4. VECTƠ TRUNG BÌNH MẪU, MA TRẬN HIỆP PHƢƠNG SAI MẪU
..................................................................................................................... 19
1.5. ƢỚC LƢỢNG KHƠNG CHỆCH .......................................................... 20
1.6. PHÂN BỐ MẪU TRUNG BÌNH MẪU ................................................ 23
1.7. NHẬN DẠNG PHÂN BỐ CHUẨN NHIỀU CHIỀU ............................ 23


1.7.1. Sử dụng biểu đồ xác suất chuẩn ............................................... 23
1.7.2. Kiểm định

– bình phƣơng ...................................................... 24

1.8. KIỂM ĐỊNH GIẢ THIẾT VỀ VECTƠ TRUNG BÌNH ........................ 25
CHƢƠNG 2. PHÂN TÍCH PHÂN BIỆT, PHÂN LOẠI VÀ PHÂN
TÍCH CỤM ................................................................................................. 26
2.1. KHÁI NIỆM PHÂN TÍCH PHÂN BIỆT VÀ PHÂN LOẠI .................. 26
2.2. PHÂN LOẠI HAI LỚP ......................................................................... 26
2.3. PHÂN LOẠI HAI LỚP CÓ PHÂN BỐ CHUẨN .................................. 31
2.3.1.

............................................................................. 31

2.3.2.

..................................................................................... 37

2.4. ĐÁNH GIÁ HÀM PHÂN LOẠI ........................................................... 48
2.5. PHÂN LOẠI NHIỀU LỚP .................................................................... 44
2.6. ỨNG DỤNG CỦA PHÂN TÍCH PHÂN BIỆT VÀ PHÂN LOẠI ......... 51
2.7. KHÁI NIỆM PHÂN TÍCH CỤM .......................................................... 55
2.8. CÁC KHOẢNG CÁCH THƢỜNG DÙNG ........................................... 56
2.9. PHƢƠNG PHÁP PHÂN CỤM THEO THỨ BẬC ................................ 60
2.9.1. Phƣơng pháp phân cụm theo thứ bậc kết nối đơn ...................... 60
2.9.2. Phƣơng pháp phân cụm theo thứ bậc kết nối đầy đủ ................. 62
2.9.3. Phƣơng pháp phân cụm theo thứ bậc kết nối trung bình............ 64
2.10. PHƢƠNG PHÁP PHÂN CỤM K- TRUNG BÌNH .............................. 66
2.11. ỨNG DỤNG CỦA PHÂN TÍCH CỤM ............................................... 69
KẾT LUẬN ................................................................................................. 73
TÀI LIỆU THAM KHẢO.......................................................................... 74
QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN (bản sao)

DANH MỤC CÁC BẢNG

Số hiệu

Tên bảng

Trang

2.1

Phân lớp theo điểm GPA và GMAT

53

2.2

Ý nghĩa của hệ số tƣơng tự

58


DANH MỤC CÁC HÌNH
Số

Tên hình

hiệu

Trang

2.1

Miền giá trị của X

26

2.2

Xác suất phân loại sai

27

2.3

Biểu đồ phân tán các giá trị

(AHF hoạt động) và

(AHF kháng nguyên) của hai nhóm

34

2.4

Xác suất phân loại sai dựa trên Y

40

2.5

Biểu đồ phân tán của GPA, GMAT

53

2.6

2.7

2.8

2.9

2.10

2.11
2.12

Biểu đồ xác suất chuẩn của các giá trị GPA, GMAT trong
lớp
Biểu đồ xác suất chuẩn của các giá trị GPA, GMAT trong
lớp
Biểu đồ xác suất chuẩn của các giá trị GPA, GMAT trong
lớp
Sơ đồ phân cụm năm đối tƣợng theo phƣơng pháp kết nối
đơn
Sơ đồ phân cụm năm đối tƣợng theo phƣơng pháp kết nối
đầy đủ
Sơ đồ phân cụm năm đối tƣợng theo phƣơng pháp kết nối
trung bình

Phân cụm các đối tƣợng A, B, C, D

53

54

54

62

64

66
69


1

MỞ ĐẦU

1. Tính cấp thiết của đề tài
Ngày nay là thời đại của bùng nổ thông tin, sự phát triển của các
ngành khoa học và đặc biệt là sự phát triển của ngành khoa học máy tính
đã giúp chúng ta thu thập được lượng dữ liệu rất khổng lồ. Với một số
lượng dữ liệu lớn như vậy thì việc tìm hiểu thơng tin từ đó là rất khó khăn
và phức tạp. Vì vậy vấn đề xử lý số liệu khơng những được các ngành khoa
học nghiên cứu mà còn được cả xã hội quan tâm. Đó cũng là lý do cho sự
ra đời và phát triển của ngành phân tích thống kê.
Nhờ ứng dụng của bộ mơn phân tích thống kê này mà các ngành
sinh học, y học, kinh tế, bảo hiểm, phân loại ảnh. . . đã có nhiều bước phát

triển vượt bậc. Phương pháp phân tích phân biệt và phân loại cùng với
phương pháp phân tích cụm là một trong những phương pháp xử lý dữ
liệu trong phân tích thống kê được sử dụng phổ biến.
Vì lý do đó, dưới sự hướng dẫn của thầy Lê Văn Dũng, tơi chọn
nghiên cứu đề tài “Phân tích phân biệt, phân loại và phân tích cụm” làm
luận văn thạc sĩ khoa học của mình.
2. Mục đích nghiên cứu
Chúng tơi mong muốn tìm kiếm được nhiều tài liệu từ các nguồn
khác nhau, nghiên cứu kĩ các tài liệu đó, cố gắng lĩnh hội một số kỹ thuật
phân tích thống kê.
Hy vọng luận văn có thể được sử dụng như một tài liệu tham khảo
bổ ích cho sinh viên các trường Đại học, Cao đẳng.


2

3. Đối tượng nghiên cứu
- Kỹ thuật phân tích phân biệt và phân loại.
- Kỹ thuật phân tích cụm.
4. Phạm vi nghiên cứu
Luận văn nghiên cứu các khái niệm, định nghĩa, định lý liên quan.
5. Phương pháp nghiên cứu
Cơ bản sử dụng phương pháp nghiên cứu tài liệu (sách, báo và các
tài liệu trên internet có liên quan đến đề tài của luận văn) để thu thập
thông tin nhằm hệ thống lại các vấn đề lý thuyết.
6. Bố cục đề tài
Nội dung luận văn gồm hai chương:
Chương 1: Kiến thức chuẩn bị
Trình bày lại các kiến thức cần thiết cho chương 2, đó là các kiến thức về
vectơ, ma trận, biến ngẫu nhiên và phân bố chuẩn nhiều chiều.

Chương 2: Phân tích phân biệt, phân loại và phân tích cụm
Trong chương này có hai nhiệm vụ chính: thứ nhất là giải quyết bài toán
phân biệt, phân loại; thứ hai là giải quyết bài toán phân cụm. Ở cả hai
bài toán, luận văn đều đưa ra lý thuyết, phương pháp giải và các ví dụ
minh họa đi kèm. Tuy nhiên hai bài tốn này có khá nhiều phương pháp
giải quyết nên trong khn khổ luận văn chỉ có thể đề cập đến một vài
phương pháp phổ biến.


3

CHƯƠNG 1

KIẾN THỨC CHUẨN BỊ

1.1. VECTƠ VÀ MA TRẬN

1.1.1. Vectơ
Cho x = (x1 , x2 , ..., xn ) ∈ Rn . Ta viết dạng ma trận của x như sau:
 
x1
 x2 
x =  ..  hoặc xT = [x1 , x2 , ..., xn ]
.
xn
Các phép toán.
Cho


x1

x 
x =  ...2  ,
xn


 
y1
 y2 
y =  ... 
yn

- Phép cộng

   
x1 + y1
y1
x1
x  y   x + y 
x + y =  ...2  +  ...2  =  2 ... 2 
xn
yn
xn + y n
- Phép nhân với một số
 
cx1
 cx2 
cx =  ... 
cxn
- Phép nhân vô hướng


xy = x1 y1 + x2 y2 + ... + xn yn
Hệ trực chuẩn. n vectơ e1 , e2 ,..., en của không gian vectơ Rn được
gọi là hệ trực chuẩn nếu e2i = 1 với mọi i và ei ej = 0 với mọi i = j .


4

1.1.2. Ma trận
Ma trận A = [aij ]n×p là một bảng số hình chữ nhật gồm n hàng và

p cột có dạng như sau


a11
 a21
A =  ...
an1

a12
a22
...
an2

...
...
...
...



a1p
a2p 
... 
anp

Các phép toán
- Phép cộng hai ma trận. Cho hai ma trận A = [aij ]n×p và B =

[bij ]n×p


a11
 a21
A + B =  ...
an1

a12
a22
...
an2

...
...
...
...

 
b11
a1p
a2p   b21

...  +  ...
anp
bn1

b12
b22
...
bn2

...
...
...
...


b1p
b2p 
... 
bnp




a11 + b11 a12 + b12 ... a1p + b1p
a + b
a + b ... a + b 
=  21 ... 21 22 ... 22 ... 2p ... 2p 
an1 + bn1 an2 + bn2 ... anp + bnp
- Phép nhânmột số với một ma


 trận

ca11 ca12 ... ca1p
a11 a12 ... a1p
 a21 a22 ... a2p   ca21 ca22 ... ca2p 
cA = c  ...
... ... ... 
... ... ...  =  ...
can1 can2 ... canp
an1 an2 ... anp
- Phép nhân hai ma trận. Cho hai ma trận A = [aik ]n×p và B =
[bkj ]p×m . Tích của hai ma trận A và B , kí hiệu AB , là ma trận C = [cij ]n×m
với cij = pk=1 aik bkj .
Các loại ma trận
- Ma trận hàng là ma trận chỉ có một hàng, kí hiệu A = [aij ]1×n .
- Ma trận cột là ma trận chỉ có một cột, kí hiệu A = [aij ]n×1 .
- Ma trận vng là ma trận có số hàng bằng số cột, kí hiệu A =
[aij ]n×n = [aij ]n . Khi đó tập hợp các phần tử aii , i = 1, n được gọi là
đường chéo chính của A.
- Ma trận chuyển vị của ma trận A = [aij ]n×p , kí hiệu AT , là ma


5

trận AT = [bji ]p×n với bji = aij .
- Ma trận đối xứng. Ma trận vuông A = [aij ]n là ma trận đối xứng
nếu aij = aji .
- Ma trận nghịch đảo. Cho ma trận vuông A cấp n. Nghịch đảo của
ma trận A là ma trận vuông A−1 cấp
 n sao cho 

1 0 ... 0
 0 1 ... 0 
−1
−1
AA = A A = ... ... ... ... := In
0 0 ... 1
- Ma trận chéo. Nếu ma trận vng A cấp n có aij = 0 với mọi i = j
thì A được gọi là ma trận chéo. Nếu các phần tử trên đường chéo là aij
thì ta kí hiệu A = diag(a11 , ..., ann ).
- Ma trận trực giao. Ma trận vuông A cấp n gọi là ma trận trực giao
nếu AT = A−1 .
- Ma trận A cấp n được gọi xác định không âm nếu xT Ax ≥ 0 với
mọi x ∈ Rn . Kí hiệu A ≥ 0.
- Ma trận A cấp n được gọi là xác định dương nếu xT Ax > 0 với
mọi x ∈ Rn , xT An x = 0 ⇔ x = (0, ..., 0) ∈ Rn . Kí hiệu A > 0.
Giá trị riêng và vectơ riêng. Cho A là ma trận vuông cấp n.
Vectơ x = 0 được gọi là vectơ riêng tương ứng với giá trị riêng (số thực
hoặc phức) λ của A nếu Ax = λx.
- Các giá trị riêng λ1 , ..., λn là nghiệm của phương trình

|A − λIn | = 0
- Các vectơ riêng tương ứng là nghiệm của phương trình

Ax = λx
Vết của ma trận. Cho A = [aij ] là ma trận vuông cấp n, khi đó
vết của ma trận A là đại lượng tr(A) = a11 + ... + ann .
Định lý 1.1.1. Nếu A ≥ 0 thì các giá trị riêng của A là các số thực
không âm.
Định lý 1.1.2. Nếu ma trận An có n cặp giá trị riêng - vectơ riêng

6

(λ1 ; e1 ), (λ2 ; e2 ),..., (λn ; en ) với {e1 , e2 ,..., en } là hệ trực chuẩn thì ta được
phân tích phổ
A = λ1 e1 eT1 + λ2 e2 eT2 + ... + λn en eTn
Ví dụ 1.1.3. Cho ma trận đối xứng


13 −4 2



−4
13
−2
A=



2 −2 10
Ta có nghiệm của phương trình |A − λI| = 0 là λ1 = 9, λ2 = 9, λ3 = 18.
Gọi e1 , e2 , e3 là các vectơ riêng của A. Khi đó ta có Aei = λi ei , i = 1, 2, 3
Với Ae1 = λ1 e1 ta có

 
 
13 −4 2
e11
e11


 
 
−4 13 −2 e21  = 9 e21 

 
 
2

−2 10

e31

e31

hay

13e11 − 4e21 + 2e31 = 9e11
−4e11 + 13e21 − 2e31 = 9e21

2e11 − 2e21 + 10e31 = 9e31
Giải hệ ta được e11 = 1, e21 = 1, e31 = 0.
Suy ra

1 1
eT1 = √ ; √ ; 0
2 2
Tượng tự
+ Ứng với λ2 = 9 ta có

−1 −4
1
eT2 = √ ; √ ; √
18 18 18
+ Ứng với λ3 = 18 ta có
2 −2 1
eT3 = ;
;
3 3 3
Phân tích phổ của A:
A = λ1 e1 eT1 + λ2 e2 eT2 + λ3 e3 eT3

.


7

hay

1


 √2 
13 −4 2


 1 1





−4 13 −2 = 9 
1
 √ ; √ ;0



√ 
2 2
 2


2 −2 10
0


 
1
2
 √18 




 3 


 
 −1  1
 2 2 2 1

−1
−4



+ 18 
+ 9 √  √ ; √ ; √
− 3  3 ; − 3 ; 3
 18 
18
18
18
 


 


 1 
 −4 
√
3
18




1
4
1

1 1
−
−
 18
18
18 
 2 2 0









 1
1
4
 + 9 −

1
1
= 9


 18 18
0
18 
2 2 







 4
4
16 
0 0 0
−
18
 18 18

4 2
4
−
 9
9 9 





 4 4
2

+ 18 
−
−

 9 9
9




 2
2 1 
−
9
9 9


1.1.3. Căn bậc hai của ma trận
Cho An là ma trận đối xứng, xác định không âm. Đặt P T = [e1 , e2 , ..., en ],
√
√
Λ = diag(λ1 , ..., λn ), Λ1/2 = diag( λ1 , ..., λn ).
Phân tích phổ của A
n

λi ei eTi

A=
i=1


8

nên

A = P ΛP T
khi đó ma trận

A1/2 = P Λ1/2 P T
thỏa mãn A1/2 A1/2 = A.
Do đó ta gọi ma trận A1/2 là căn bậc 2 của ma trận A. Ta có các tính chất
sau:
(i) (A1/2 )T = A1/2
(ii) (A1/2 )−1 = P Λ−1/2 P T và kí hiệu (A1/2 )−1 = A−1/2
(iii) A−1/2 A1/2 = A1/2 A−1/2 = In ; A−1/2 A−1/2 = A−1 .

1.1.4. Các bất đẳng thức ma trận và maximum
Bất đẳng thức Cauchy-Schwarz
Cho b và d trong Rn . Ta có

(bT d)2 ≤ (bT b)(dT d)
dấu "=" xảy ra khi và chỉ khi b = cd hoặc d = cb với c là hằng số nào đấy.
Bất đẳng thức Cauchy-Schwarz mở rộng
Cho b, d ∈ Rn và B là ma trận xác định dương cấp n. Khi đó

(bT d)2 ≤ (bT Bb)(dT B −1 d)
Dấu "=" xảy ra khi và chỉ khi hoặc b = cB −1 d hoặc d = cBb, c là hằng
số.
Bổ đề về maximum
Giả sử B > 0 cấp n, d ∈ Rn . Khi đó ∀d ∈ Rn ta có
(xT d)2
= dT B −1 d
max T
x=0 x Bx

với giá trị max đạt được khi x = cB −1 d với bất kỳ hằng số c = 0.
Maximum của dạng thức tồn phương trên hình cầu đơn vị
Giả sử B > 0 cấp n với các giá trị riêng λ1 ≥ λ2 ≥ ... ≥ λn ≥ 0 và

e1 , e2 , ..., en là các vectơ riêng tương ứng sao cho nó tạo thành cơ sở trực


9

chuẩn của Rn . Khi đó

xT Bx
max T = λ1 (đạt được khi x = e1 )
x=0 x x
xT Bx
min T = λn (đạt được khi x = en )
x=0 x x

Hơn nữa

xT Bx
= λk+1 (đạt được khi x = ek+1 ), k = 1, 2, ..., n − 1
x⊥{e1 ,...,ek } xT x
trong đó x ⊥ y nếu xT y = (x, y) = 0.
max

1.2. VECTƠ NGẪU NHIÊN
Định nghĩa 1.2.1. Một không gian xác suất là một bộ ba (Ω, F, P ),
với Ω là một tập bất kỳ, F là một σ−đại số các tập con của Ω, và P :
F → [0, 1] là một độ đo xác suất trên F thỏa mãn:

(i) P (Ω) = 1 (và P (∅) = 0).
(ii) Với mọi A1 , ..., An , ... ∈ F sao cho Ai ∩ Aj = ∅, i = j :

Ai

P
i

=

P (Ai )
i

Tập Ω được gọi là không gian mẫu, tập rỗng ∅, các phần tử của F được
gọi là các biến cố và mỗi phần tử của Ω được gọi là một biến cố sơ cấp.
Định nghĩa 1.2.2. Cho không gian xác suất (Ω, F, P ). Ánh xạ
X : Ω → R được gọi là biến ngẫu nhiên nếu ∀a ∈ R:

X −1 ((−∞; a)) ∈ F
Định nghĩa 1.2.3. Cho X1 , X2 , ..., Xn là các biến ngẫu nhiên cùng
xác định trên khơng gian xác suất (Ω, F, P ). Kí hiệu X = (X1 , X2 , ..., Xn )
được gọi là vectơ ngẫunhiên
 n chiều. Dạng ma trận của X như sau
X1
X 
X =  ...2  hoặc X T = [X1 , X2 , ..., Xn ]
Xn
Định nghĩa 1.2.4. Cho Xij với i = 1, 2, ..., m; j = 1, 2, ..., n là

mn biến ngẫu nhiên cùng xác định trên không gian xác suất (Ω, F, P ) thì

X = [Xij ]m×n được gọi là ma trận ngẫu nhiên.


10

Định nghĩa 1.2.5. X được gọi là biến ngẫu nhiên rời rạc nếu X có
hàm phân phối F là hàm bước nhảy.
Định nghĩa 1.2.6. X được gọi là biến ngẫu nhiên liên tục nếu X
có hàm phân phối F là hàm liên tục tuyệt đối với độ đo Lebesgue của
đường thẳng.

1.2.1. Hàm xác suất đồng thời
Nếu X = (X1 , X2 , ..., Xn ) là vectơ ngẫu nhiên rời rạc có miền giá trị

X(Ω) = {xi = (x1i , x2i , ..., xni ) : i ≥ 1}
thì hàm xác suất đồng thời của X là hàm p : X(Ω) → R xác định bởi

p(xi ) = P (X = xi ).
Nếu X = (X1 , X2 , ..., Xn ) gồm n biến ngẫu nhiên liên tục và nếu
tồn tại hàm số không âm f (x) xác định trên Rn sao cho với mọi A =

[a1 ; b1 ] × ...[an ; bn ] ⊂ Rn ,
P (X ∈ A) =

f (x)dx
A

thì f (x) được gọi là hàm mật độ xác suất đồng thời của X .
Định nghĩa 1.2.7. X1 , X2 , ..., Xn được gọi là các biến ngẫu nhiên
độc lập nếu P (X1 < x1 , X2 < x2 , ..., Xn < xn ) = P (X1 < x1 )P (X2 <

x2 )...P (Xn < xn ).
Định lý 1.2.8. Nếu X1 , X2 ,..., Xn là các biến ngẫu nhiên độc lập
có hàm mật độ xác suất lần lượt là f1 (x1 ), f2 (x2 ), ..., fn (xn ) thì hàm mật
độ xác suất đồng thời của X là

f (x) = f1 (x1 )f2 (x2 )...fn (xn ), x = (x1 , x2 , ..., xn ) ∈ Rn .
Ví dụ 1.2.9. Cho X1 ∼ N (µ1 ; σ12 ), X2 ∼ N (µ2 ; σ22 ), X1 và X2 độc
lập. Tìm hàm mật độ xác suất đồng thời của X = (X1 ; X2 ).

1 (x1 − µ1 )2
1
X1 có hàm mật độ f1 (x1 ) = √
exp −
2
σ12
2πσ1
1
1 (x2 − µ2 )2
X2 có hàm mật độ f2 (x2 ) = √
exp −
2
σ22
2πσ2


11

Mà X1 và X2 độc lập nên X có hàm mật độ
f (x) = f1 (x1 )f2 (x2 )

1
1
1 (x1 − µ1 )2
1 (x2 − µ2 )2
√
=√
exp −
exp −
2
σ12
2
σ22
2πσ1
2πσ2

=

1
1
exp − 2 2 σ12 (x2 − µ2 )2 + σ22 (x1 − µ1 )2
2πσ1 σ2
2σ1 σ2

.

1.2.2. Vectơ trung bình và ma trận hiệp phương sai
Cho vectơ ngẫu nhiên X = (X1 , X2 , ..., Xn ). Giả sử E(Xi ) = µi là
kỳ vọng của Xi , V ar(Xi ) = σii = E(Xi − µi )2 là phương sai của Xi và

Cov(Xi ; Xj ) = σij = E(Xi − µi )(Xj − µj ) là hiệp phương sai của biến Xi

và Xj
+ Nếu (Xi , Xj ) là các biến ngẫu nhiên rời rạc với xác suất đồng thời

P (Xi = xi , Xj = xj ) = pij (xi , xj )
thì

(xi − µi )(xj − µj )pij (xi , xj )

σij =
xi

xj

xi xj pij (xi , xj ) − µi µj

=
xi

xj

+ Nếu (Xi , Xj ) là các biến ngẫu nhiên liên tục có hàm mật độ đồng
thời là fij (xi , xj ) thì
+∞

+∞

(xi − µi )(xj − µj )fij (xi , xj )dxi dxj

σij =
−∞

+∞

−∞
+∞

xi xj fij (xi , xj )dxi dxj − µi µj

=
−∞

−∞

Khi đó

µ = [µ1 , µ2 , ..., µn ]T
được gọi là vectơ trung bình và

σ11 σ12
σ
σ
Σ =  ...21 ...22
σn1 σn2

...
...
...
...


σ1n

σ2n 
... 
σnn


12

được gọi là ma trận hiệp phương sai.
σij
Gọi ρij = √
là hệ số tương
σii σjj

ρ11 ρ12
 ρ21 ρ22
ρ =  ... ...
ρn1 ρn2

quan của Xi và Xj . Khi đó

...
...
...
...


ρ1n
ρ2n 
... 
ρnn

được gọi là ma trận tương quan của vectơ X . Ta có thể tính ρ từ Σ bằng
cách sau:
Đặt


σ11 0 . . . 0
V =  0 σ22 . . . 0  = diag(σ11 , σ22 , . . . , σnn )
..
.. . .
. σnn
.
.
√
√
√
V 1/2 = diag( σ11 , σ22 , . . . , σnn )

1
1
1
V −1/2 = diag √ , √ , . . . , √
σ11 σ22
σnn

.

Khi đó

ρ = V −1/2 ΣV −1/2 .

Ví dụ 1.2.10. Cho X1 , X2 là hai biến ngẫu nhiên rời rạc với ma
trận xác suất đồng thời được cho như sau:

x2

x1

0

1

p1 (x1 )

-1

0,24 0,06

0,3

0

0,16 0,14

0,3

1

0,40 0,00

0,4

0,8

1,0

p2 (x2 )

0,2


13

Ta có
E(X1 ) = −1 × 0, 3 + 0 × 0, 3 + 1 × 0, 4 = 0, 1 = à1 ,

E(X2 ) = 0 ì 0, 8 + 1 ì 0, 2 = 0, 2 = à2 ,
σ11 = σ12 = (−1 − 0, 1)2 × 0, 3 + (0 − 0, 1)2 × 0, 3 + (1 − 0, 1)2 × 0, 4
= 0, 69,
σ22 = σ22 = (0 − 0, 2)2 × 0, 8 + (1 − 0, 2)2 × 0, 2 = 0, 16,
σ12 = σ21 = E(X1 X2 ) − µ1 µ2
= (−1) × 0 × 0, 24 + (−1) × 1 × 0, 06 + 0 × 0 × 0, 16 + 0 × 1
× 0, 14 + 1 × 0 × 0, 4 + 1 × 1 × 0 − 0, 1 × 0, 2 = −0, 08
. Vậy

Σ=

0, 69

−0, 08

−0, 08

0, 16

Ví dụ 1.2.11. Cho ma trận hiệp phương sai có giá trị

 

4 1 2
σ11 σ12 σ13

 

 = σ21 σ22 σ23 
1
9
−3
Σ=

 


2 −3 25
Tính V

1/2

σ31 σ32 σ33

và ρ

Ta có


2 0 0



0
3
0
=




V 1/2

0 0 5
và

V −1/2



1/2 0
0





=  0 1/3 0 


0
0 1/5


14

Khi đó

ρ = V −1/2 ΣV −1/2





1/2 0
0
1/2 0
0
4 1 2









0
1/3
0
=  0 1/3 0  1 9 −3






0
0 1/5 2 −3 25
0
0 1/5


1
1/6 1/5




1
−1/5
= 1/6


1/5 −1/5
1

1.2.3. Chia khối ma trận hiệp phương sai
Chia vectơ ngẫu nhiên X = (X1 , X2 , ..., Xn )T thành hai vectơ con p
chiều và n − p chiều như sau:
X1
Xp+1
X (1) = ... , X (2) = ...
Xp
Xn
Khi đó ta viết


X (1)
X =  ... 
X (2)


(1)
µ
Với cách kí hiệu như trên ta có µ =  ... , với
µ(2)
µ1
µp+1
(1)
(2)
...
µ =
, µ = ... .
µp
µn

Mặt khác

(X − µ)(X − µ)T


.
(X (1) − µ(1) )(X (1) − µ(1) )T .. (X (1) − µ(1) )(X (2) − µ(2) )T

···
···
···
=
.
(X (2) − µ(2) )(X (1) − µ(1) )T .. (X (2) − µ(2) )(X (2) − µ(2) )T
trong đó
(X (1) − µ(1) )(X (1) à(1) )T l ma trn cp p ì p
(X (1) − µ(1) )(X (2) − µ(2) )T là ma trn cp p ì (n p)
(X (2) à(2) )(X (1) − µ(1) )T là ma trận cấp (n − p) × p


15

(X (2) − µ(2) )(X (2) − µ(2) )T là ma trận cấp (n − p) × (n − p).
Ma trận hiệp phương sai cũng được chia khối như sau


.
Σ11 .. Σ12
Σ = ··· ··· ···,
.

Σ21 .. Σ22
trong đó
Σ11 = E[(X (1) − µ(1) )(X (1) − µ(1) )T ]
Σ12 = E[(X (1) − µ(1) )(X (2) − µ(2) )T ]
Σ21 = E[(X (2) − µ(2) )(X (1) − µ(1) )T ]
Σ22 = E[(X (2) − µ(2) )(X (2) − µ(2) )T ].
1.2.4. Vectơ trung bình và ma trận hiệp phương sai của tổ
hợp tuyến tính các vectơ ngẫu nhiên
Nếu X1 và X2 là hai biến ngẫu nhiên, a và b là các số thực thì
(i) E(aX1 + bX2 ) = aE(X1 ) + bE(X2 )
(ii) V ar(aX1 + bX2 ) = a2 σ11 + b2 σ22 + 2abσ12
(iii) Cov(aX1 , bX2 ) = abσ12
Đặt C T = [a, b], X T = [X1 , X2 ] ta có

aX1 + bX2 = C T X
và do đó

E(C T X) = C T E(X)
V ar(C T X) = C T cov(X)C
Một cách tổng quát, nếu C T = [c1 , c2 , ..., cn ] là vectơ các hằng số và X T =

[X1 , X2 , ..., Xn ] là vectơ ngẫu nhiên thì
E(C T X) = C T E(X) = C T µ
V ar(C T X) = C T cov(X)C = C T ΣC.


16

Nếu C = [cij ]m×n là ma trận các hằng số thì



c11 X1 + c12 X2 + ... + c1n Xn



c
X
+
c
X
+
...
+
c
X
CX = 
21
1
22
2
2n
n


·······
cm1 X1 + cm2 X2 + ... + cmn Xn
Khi đó E(CX) = CE(X), cov(CX) = Ccov(X)C T
1.3. PHÂN BỐ CHUẨN NHIỀU CHIỀU
Định nghĩa 1.3.1. Vectơ ngẫu nhiên X = [X1 , X2 , ..., Xp ]T được
gọi là có phân bố chuẩn p chiều với tham số µT = [µ1 , µ2 , ..., µp ] và Σ =

[σij ]p×p (Σ > 0) nếu X có hàm mật độ xác suất đồng thời
1
1
exp
−
(x − µ)T Σ−1 (x − µ) .
f (x) =
p/2
1/2
2
(2π) |Σ|
Kí hiệu X ∼ Np (µ; Σ).
Ví dụ 1.3.2. Xét mật độ chuẩn hai chiều với µ1 = E(X1 ), µ2 =
E(X2 ); σ11 = V ar(X1 ), σ22 = V ar(X2 ), σ12 = Cov(X1 , X2 ). Khi đó
σ12
là hệ số tương quan của X1 và X2 và
ρ12 = √
σ11 σ22

σ11 σ12
Σ=

>0
σ21 σ22

nếu |ρ12 | < 1, σ11 > 0, σ22 > 0. Dễ dàng thấy rằng

Σ

−1

=

σ22

1

2
σ11 σ22 − σ12
−σ21



=

−1
σ11

−σ12
σ11

1 
1 − ρ212 −ρ (σ σ )−1/2
12 11 22

Do đó
(x − µ)T Σ−1 (x − µ)

−ρ12 (σ11 σ22 )−1/2
−1

σ22





17

1
= [x1 à1 ; x2 à2 ]
ì
1 ρ212


−1
σ11
−ρ12 (σ11 σ22 )−1/2 x1 − µ1


−1
−1/2
x2 − µ2
−ρ12 (σ11 σ22 )
σ22
1
=
1 − ρ212

x1 − µ1
√

σ11

2

(x1 − µ1 )(x2 − µ2 )
− 2ρ12
+
√ √
σ12 σ22

x2 − µ2
√
σ22

2

Vì vậy hàm mật độ chuẩn hai chiều của (X1 , X2 ) là

1

×
2π σ11 σ22 (1 − ρ212 )
1
(x1 − µ1 )(x2 − µ2 ) (x2 − µ2 )2
(x1 − µ2 )2
exp −
− 2ρ12
+
2(1 − ρ212 )
σ11

σ22
(σ11 σ22 )1/2

f (x1 , x2 ) =

Mệnh đề 1.3.3. Nếu Σ xác định dương thì Σ−1 tồn tại, hơn nữa
(λ; e) là cặp giá trị riêng - vectơ riêng của Σ khi và chỉ khi (λ−1 ; e) là cặp
giá trị riêng - vectơ riêng của Σ−1 .
Chứng minh. Giả sử (λ; e) là cặp giá trị riêng - vectơ riêng của Σ. Ta có
1
Σe = λe ⇔ Σ−1 Σe = λΣ−1 e ⇔ Σ−1 e = e(vì λ > 0).
λ
Tính chất 1.1. Nếu X có phân bố chuẩn p chiều Np (µ; Σ) thì các
thành phần của X là X1 , X2 ,..., Xp có phân bố chuẩn 1 chiều.
Tính chất 1.2. Nếu X có phân bố chuẩn Np (µ; Σ) thì với mọi

aT = [a1 , a2 , ..., ap ] ta có
aT X = a1 X1 + a2 X2 + ... + ap Xp ∼ N (aT µ; aT Σa).
Ta cũng có nếu

aT X = a1 X1 + a2 X2 + ... + ap Xp ∼ N (aT µ; aT Σa).
với mọi aT = [a1 , a2 , ..., ap ] thì X có phân bố chuẩn Np (µ; Σ).


18

Tính chất 1.3. Nếu X có phân bố chuẩn Np (à; ) thỡ vi mi
A = [aij ]nìp ta cú

AX ∼ N (Aµ; AΣAT ).

Mệnh đề 1.3.4. Nếu X có phân bố chuẩn p chiều Np (µ; Σ) thì

χ2 = (X − µ)T Σ−1 (X − µ)
có phân bố χ2p (phân bố χ bình phương p bậc tự do). Do đó, với mức ý
nghĩa α, ta có

P ((X − µ)T Σ−1 (X − µ) > χ2p (α)) = α
hay

P ((X − µ)T Σ−1 (X − µ) ≤ χ2p (α)) = 1 − α.
Chứng minh. Giả sử (ei , λi ) là các cặp vectơ riêng và giá trị riêng của Σ.
Xét Y = Σ−1/2 (X − µ).
Khi đó Y = [Y1 , ..., Yp ]T có

E(Y ) = Σ−1/2 E(X − µ) = 0,
Cov(Y ) = Σ−1/2 Cov(X − µ)Σ−1/2 = Σ−1/2 ΣΣ−1/2 = Ip .
Theo các tính chất trên ta suy ra:
• Y có phân bố chuẩn N (0, Ip );
ã (X à)T 1 (X à) = (X à)T Σ−1/2 Σ−1/2 (X −µ) = Y T Y =

p
i

Đại lượng χ2 =

p
i

Yi2

Yi2 là tổng bình phương của p biến ngẫu nhiên độc lập

có phân bố chuẩn một chiều N (0, 1) nên χ2 có phân bố χ− bình phương
với p bậc tự do. Do đó
p

Yi2 ≤ χ2P (α)

P {X ∈ V (α)} = P
i
T

−1

với V (α) = {X : (X − µ) Σ (X − µ) ≤ χ2p (α)}.

= 1 − α.


19

1.4. VECTƠ TRUNG BÌNH MẪU, MA TRẬN HIỆP PHƯƠNG
SAI MẪU
Giả sử x1 , x2 ,...,xn là mẫu được chọn ngẫu nhiên từ tổng thể X T =
[X1 , X2 , ..., Xp ], trong đó

xTi = [xi1 , xi2 , ..., xip ]
Kí hiệu
 
xT1

x11
xT2   x21
x =   =  ...
...
xn1
xTn


Đặt

xj =

x12
x22
...
xn2

...
...
...
...


x1p
x2p 
... 
xnp

1
(x1j + x2j + ... + xnj ), j = 1, 2, ..., p.

n
n
1
sij =
(xki − xi )(xkj − xj )
n − 1 k=1
rij = √

Vectơ xT = [x1 , x2 , ..., xp ] được gọi
Ma trận

s11
s21
S =  ...
sp1

sij
sii sjj

là vectơ trung bình mẫu.

...
...
...
...


s1p
s2p 
... 

spp

được gọi là ma trận hiệp phương sai mẫu.
Ma trận

r11 r12 ...
r21 r22 ...
R =  ... ... ...
rp1 rp2 ...


r1p
r2p 
... 
rpp

s12
s22
...
sp2

được gọi là ma trận hệ số tương quan mẫu.
Ví dụ 1.4.1. Cho mẫu số liệu của X T = [X1 , X2 ] như sau


4 1


−1 3




3

5