Tách tín hiệu tiếng nói sử dụng phương pháp phân tích thành phần độc lập

Đại Học Quốc Gia TP. Hồ Chí Minh
TRƯỜNG ĐẠI HỌC BÁCH KHOA

WX

ĐÀO NGỌC MINH

TÁCH TÍN HIỆU TIẾNG NÓI SỬ DỤNG
PHƯƠNG PHÁP PHÂN TÍCH THÀNH PHẦN ĐỘC LẬP

Chuyên ngành : KỸ THUẬT VÔ TUYẾN VÀ ĐIỆN TỬ
Mã số ngành : 2.07.01

LUẬN VĂN THẠC SĨ

THÀNH PHỐ HỒ CHÍ MINH 07-2005


CÔNG TRÌNH ĐƯC HOÀN THÀNH TẠI
TRƯỜNG ĐẠI HỌC BÁCH KHOA
ĐẠI HỌC QUỐC GIA TP HỒ CHÍ MINH
------------***-------------

Cán bộ hướng dẫn khoa học : PGS-TSKH. NGUYỄN KIM SÁCH

Cán bộ chấm nhận xét 1 : PGS-TS. VŨ ĐÌNH THÀNH

Cán bộ chấm nhận xét 2 : TS. PHAN HỒNG PHƯƠNG

Luận văn thạc só được bảo vệ tại
HỘI ĐỒNG CHẤM BẢO VỆ LUẬN VĂN THẠC SĨ

TRƯỜNG ĐẠI HỌC BÁCH KHOA, ngày 22 tháng 07 naêm 2005


Đại Học Quốc Gia Tp. Hồ Chí Minh

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐẠI HỌC BÁCH KHOA

Độc Lập – Tự Do – Hạnh Phúc

------------------

------------------------

NHIỆM VỤ LUẬN VĂN THẠC SĨ
Họ và tên học viên: ĐÀO NGỌC MINH

Phái: Nam

Ngày, tháng, năm sinh: 23/06/1979

Nơi sinh: Bắc Ninh

Chuyên ngành: KỸ THUẬT VÔ TUYẾN-ĐIỆN TỬ Mã số: 2.07.01
TÊN ĐỀ TÀI: TÁCH TÍN HIỆU TIẾNG NÓI SỬ DỤNG PHƯƠNG PHÁP
PHÂN TÍCH THÀNH PHẦN ĐỘC LẬP
II-NHIỆM VỤ VÀ NỘI DUNG:
Tách tín hiệu tiếng nói của 2 người nói đồng thời được ghi bởi 2 microphone.
• Phương pháp phân tích thành phần độc lập.

• Ứng dụng phương pháp phân tích thành phần độc lập trong miền tần số
vào tách tín hiệu tiếng nói.
• Thực hiện mô phỏng bằng Matlab.
III-NGÀY GIAO NHIỆM VỤ:
IV-NGÀY HOÀN THÀNH NHIỆM VỤ:
V-HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: PGS-TSKH. NGUYỄN KIM SÁCH
CÁN BỘ HƯỚNG DẪN
(Ký tên và ghi rõ họ tên)

BỘ MÔN QUẢN LÝ NGÀNH
(Ký tên và ghi rõ họ tên)

Nội dung và đề cương luận văn thạc só đã được Hội Đồng Chuyên Ngành thông qua.
Ngày
PHÒNG ĐÀO TẠO SĐH

tháng

năm

KHOA QUẢN LÝ NGAØNH


Lời cảm ơn
Trước tiên, em xin chân thành bày tỏ lòng biết ơn sâu sắc đến thầy hướng
dẫn, PGS-TSKH. NGUYỄN KIM SÁCH, người đã trực tiếp hướng dẫn, tận tình
chỉ bảo và tạo mọi điều kiện thuận lợi để em hoàn thành luận văn tốt nghiệp này.
Em xin chân thành cảm ơn tất cả Phòng Sau Đại Học, cùng Quý thầy cô và
cán bộ của Khoa Điện-Điện Tử – Trường Đại Học Bách Khoa TP.HCM đã hết
lòng giảng dạy, truyền đạt kiến thức và giúp đỡ em trong suốt thời gian học tập

tại Trường.
Cuối cùng, xin gửi lời cảm ơn đến gia đình và bạn bè đã động viên, giúp đỡ
và hỗ trợ trong suốt quá trình học tập và thực hiện luận văn tốt nghiệp này.

Tác giả


LỜI NÓI ĐẦU
Trong nhiều ứng dụng, những tín hiệu ta ghi được là sự trộn lẫn của các
tín hiệu gốc với nhau và sự tác động của bản thân các tín hiệu gốc đó với độ trễ
khác nhau cùng với nhiễu theo một quy luật mà ta không biết. Chúng ta mong
muốn rằng có thể tách các tín hiệu bị lai tạp với nhau này, để từ đó khôi phục lại
tín hiệu gốc với độ chính xác cao nhất như có thể. Trong thời gian gần đây có
nhiều nghiên cứu tập trung vào việc tách các tín hiệu bị trộn lẫn này, còn được
gọi là tách/giải chập nguồn mù (BSS/BSD: Blind Source Separation/
Deconvolution). BSS/BSD là phương pháp tổng quát để ước lượng tín hiệu gốc
chỉ từ những tín hiệu ghi được mà không biết gì về sự trộn lẫn giữa các tín hiệu
gốc. Trong BSS/BSD, ta chỉ biết những tín hiệu ghi được x(n ) = [x1 (n )...x M (n )] từ
M

cảm biến sinh ra bởi hàm F là tương tác giữa R tín hiệu nguồn

s (n ) = [s1 (n )...s R (n )]
x( n) = F [s (n )]

Nhiệm vụ của BSS/BSD là ước lượng tối ưu Fˆ −1 , nghịch đảo của hàm tác động,
để có thể tìm ra (một cách gần đúng) những tín hiệu gốc, nghóa là
sˆ(n ) = Fˆ −1 [x(n )]

Hàm tương tác phụ thuộc vào cấu trúc vật lý chẳng hạn như vị trí của

nguồn và cảm biến, số lượng nguồn và cảm biến, hàm truyền từ nguồn đến cảm
biến.


BSS/BSD đang thu hút được sự chú ý trong khoảng một thập kỷ trở lại
đây bởi những ứng dụng to lớn của chúng trong rất nhiều lãnh vực như: xử lý tín
hiệu, viễn thông, y khoa, địa chất, khí tượng… BSS/BSD dựa trên phương pháp
ICA, được gọi là phân tích thành phần độc lập (Independent Component
Analysis).
ICA được giới thiệu đầu tiên vào những năm đầu thập niên 80 trong
những đề tài về mạng neural. Cho đến những năm giữa thập niên 90 có nhiều
giải thuật đạt được những thành công lớn được giới thiệu bởi một vài nhóm
nghiên cứu và nhanh chóng trở thành một đề tài hấp dẫn với nhiều ứng dụng cụ
thể. Nhiều nghiên cứu về ICA được công bố trong suốt 20 năm qua trong rất
nhiều các bài báo cũng như các hội thảo trong lónh vực xử lý tín hiệu, mạng
neural nhân tạo, lý thuyết thông tin, và nhiều lónh vực ứng dụng khác nhau. Nó
là một kỹ thuật thống kê và tính toán nhằm làm lộ ra những hệ số chưa biết về
một tập những biến ngẫu nhiên, những giá trị đo lường hay những tín hiệu. Trong
đó dữ liệu được giả sử là tổ hợp tuyến tính của những tín hiệu không biết cũng
như tổ hợp này là không biết. Một ví dụ điển hình là các microphone ghi được
tín hiệu tiếng nói của nhiều người nói đồng thời.
Đây là phương pháp đang nhận được sự quan tâm lớn và có sự phát triển
mạnh mẽ trong thời gian gần đây. Do đó, phần phân tích lý thuyết chủ yếu tập
trung vào tìm hiểu về ICA. Một số phương pháp cho ICA cũng được đưa ra giới
thiệu. Và cuối cùng là ứng dụng của phương pháp ICA vào tách tín hiệu tiếng
của nhiều người nói đồng thời được ghi bởi một mảng các microphone trong môi
trường thực tế. Phương pháp này được thực hiện với giả sử về sự độc lập thống
kê của mỗi nguồn và ước lượng tín hiệu gốc bởi tính độc lập.
Luận Văn gồm 2 phần với nội dung khái quát như sau:

™ Phần A: Lý thuyết tổng quan
Phần này gồm 6 chương, giới thiệu tổng quan các khái niệm toán học cần
thiết và phương pháp ICA.
Chương 1: Vector ngẫu nhiên và độc lập
Chương đầu tiên này trình bày các khái niệm về xác suất thống kê
như kỳ vọng, moment, tương quan, hiệp biến, độc lập và các đặc trưng
thống kê bậc cao. Chương này quan trọng đối với ICA, bởi vì ICA là
phương pháp dựa trên những tính toán thống kê để tìm ra những thành
phần độc lập.
Chương 2: Gradient và phương pháp tối ưu
Trình bày về vector và ma trận gradient cũng như các phương pháp
tối ưu không ràng buộc và có ràng buộc. Để tìm ra các thành phần độc lập
thì phải có phương pháp tìm ra cực trị của các hàm đối tượng và các
phương pháp này thường dựa trên gradient.
Chương 3: Lý thuyết thông tin
Trình bày các khái niệm cơ bản về lý thuyết thông tin. Trong đó có
lượng tin tương hỗ và negentropy là hai đại lượng cho hai phương pháp
ICA khác nhau.
Chương 4: Phân tích thành phần cơ bản và whitening
Whitening, một phương pháp trắng hoá dữ liệu, dựa trên phân tích
thành phần cơ bản mang ý nghóa quan trọng đối với ICA bởi vì nó là một
phần nhiệm vụ của ICA.
Chương 5: Phân tích thành phần độc lập
Từ chương này các khái niệm về ICA mới được trình bày rõ ràng
hơn, cùng với ví dụ minh họa giúp người đọc có thể hình dung về ICA một
cách trực quan.


Chương 6: Các nguyên lý ước lượng ICA

Chương 5 mới chỉ trình bày khái niệm về ICA một cách trực quan.
Trong chương này, một số nguyên lý ước lượng ICA khác nhau được trình
bày như: cực đại tính phi gaussian, cực tiểu lượng tin tương hỗ, cumulant
tensor.

™ Phần B: Ứng dụng ICA vào tách tín hiệu tiếng nói
ICA giải quyết bài toán với giả sử mô hình là tuyến tính nhưng mô hình thực
tế của tín hiệu tiếng nói ghi được lại không phải là như vậy mà đó là mô hình
tổng chập trong miền thời gian nên ICA không áp dụng được. ICA được áp dụng
trong miền tần số bởi trong miền này mô hình là tuyến tính.
Chương 7: Tách tín hiệu tiếng nói bằng phương pháp ICA trong miền
tần số
Trình bày phương pháp phân tích STFT, phương pháp chéo hoá
đồng thời các ma trận xác định dương, giải quyết vấn đề hoán vị của ICA.
Chương 8: Kết quả
Chương này trình bày giải thuật cho tách tín hiệu tiếng nói bằng
ICA, sử dụng phần mềm Matlab để thực hiện giải thuật và đưa ra một số
kết quả.

ICA tuy không phải là một đề tài mới nhưng trong thời gian gân đây mới
có sự phát triển mạnh mẽ. Đã có nhiều nghiên cứu áp dụng trong nhiều lónh vực
nhưng tiềm năng ứng dụng vẫn còn rất lớn. Việc tiếp tục nghiên cứu và ứng
dụng nó đang mở ra những hướng đi mới. Trong khuôn khổ Luận Văn, tôi đã cố
gắng tìm hiểu, nghiên cứu, trình bày ICA và một ứng dụng thực tiễn, trực quan


của ICA, nhưng chắc chắn rằng Luận Văn sẽ không tránh khỏi những sai sót, tôi
mong nhận được sự góp ý q báu của q Thầy Cô và các bạn.
Tôi xin chân thành cảm ơn!

ABSTRACT

Speech signal separation is one of the challenging areas of practical application.
Excellent solutions to these problems are always required for the spoken
communication between man and machine in the real world. The problem of
speech separation arises in the presence of multiple speakers and that of
enhancement pertains to reduce the effect of noise and other interfering signals.
In the read world applications these two problems are often occurring
simultaneously and their solutions are urgently required in the development of
full-fledged conversational interface. The aims and scope of this thesis is also in
the same context. Recently, Blind Signal Separation (BSS) based on the
Independent Component Analysis (ICA) has emerged as a potential engineering
solution for speech separation problem. Such algorithms word with the
assumption of statistical independence of each sources and estimate original
source as the independent or least dependent component. This thesis also
addresses development and application of ICA based algorithm for blind
separation of convoluted mixture of speech, observed by a two element linear
microphone array, under the over-determined situation. The proposed ICA
algorithm base on the joint diagonalization of time varying spectral matrices of
the observation records.
The thesis is organized as follows: Section A is an introduction on ICA and some
algorithms for ICA. Section B is speech signal separation using frequency
domain ICA.


MỤC LỤC
PHẦN A: LÝ THUYẾT TỔNG QUAN
Chương 1: Vector ngẫu nhiên và độc lập .......................................................... 2
1.1 Phân bố xác suất và mật độ xác suất .............................................................. 2

1.1.1 Phân bố của biến ngẫu nhiên ................................................................... 2
1.1.2 Phân bố của vector ngẫu nhiên ................................................................ 3
1.1.3 Phân bố đồng thời và phân bố biên .......................................................... 4
1.2 Kỳ vọng và moment ........................................................................................ 5
1.2.1 Định nghóa và tính chất tổng quát của kỳ vọng ........................................ 5
1.2.2 Vector trung bình và ma trận tương quan ................................................. 6
1.2.3 Hiệp biến và moment đồng thời ............................................................... 7
1.2.4 Ước lượng kỳ vọng.................................................................................... 8
1.3 Không tương quan và độc lập.......................................................................... 9
1.3.1 Không tương quan ..................................................................................... 9
1.3.2 Độc lập thống kê..................................................................................... 10
1.4 Mật độ gaussian đa biến................................................................................ 11
1.4.1 Tính chất của mật độ gaussian ............................................................... 11
1.4.2 Định lý giới hạn trung tâm ...................................................................... 12
1.5 Đặc trưng thống kê bậc cao........................................................................... 13
1.5.1 Kurtosis ................................................................................................... 13
1.5.2 Cumulant................................................................................................. 14
Chương 2: Gradient và phương pháp tối ưu .................................................... 17
2.1 Vector và ma trận gradient............................................................................ 17


2.2.1 Vector gradient ....................................................................................... 17
2.3.1 Ma traän gradient ..................................................................................... 18
2.2 Bài toán tối ưu không điều kiện .................................................................... 19
2.3 Bài toán tối ưu có điều kiện .......................................................................... 20
Chương 3: Lý thuyết thông tin.......................................................................... 22
3.1 Entropy ......................................................................................................... 22
3.1.1 Định nghóa của entropy........................................................................... 22
3.1.2 Vi phân entropy ...................................................................................... 23
3.2 Lượng tin tương hỗ ....................................................................................... 23

3.3 Negentropy ................................................................................................... 23
Chương 4: Phân tích thành phần cơ bản và whitening .................................. 25
4.1 Thành phần cơ bản ....................................................................................... 25
4.1.1 PCA bằng phương pháp cực đại năng lượng........................................... 26
4.1.2 PCA bằng phương pháp cực tiểu sai số trung bình bình phương ............ 27
4.1.3 Lựa chọn số thành phần cơ bản .............................................................. 29
4.2 Whitening ..................................................................................................... 29
4.3 Trực giao ....................................................................................................... 30
Chương 5: Phân tích thành phần độc lập ........................................................ 32
5.1 Giới thiệu vấn đề .......................................................................................... 32
5.2 Định nghóa ICA ............................................................................................. 35
5.2.1 Ước lượng ICA ........................................................................................ 35
5.2.2 Sự hạn chế của ICA ................................................................................ 36
5.2.3 Những vấn đề mà ICA không giải quyết được ....................................... 37
5.2.4 Biến có trị trung bình bằng không .......................................................... 38
5.3 Minh hoạ ICA ............................................................................................... 39


5.4 ICA và whitening ......................................................................................... 42
5.4.1 Không tương quan và trắng..................................................................... 42
5.4.2 Whitening chỉ là một phần nhiệm vụ của ICA ....................................... 44
5.5 Phương pháp ICA không thực hiện được với biến gaussian ......................... 46
Chương 6: Các nguyên lý ước lượng ICA......................................................... 48
6.1 ICA bằng cực đại tính phi gaussian ............................................................. 48
6.1.1 Phi gaussian là độc lập ........................................................................... 48
6.1.2 Đo tính phi gaussian bằng kurtosis ......................................................... 53
6.1.2.1 Cực trị kurtosis đưa ra các thành phần độc lập ................................ 53
6.1.2.2 Thuật toán Gradient ......................................................................... 55
6.1.3 Đo tính phi gaussian bằng negentropy.................................................... 56
6.1.3.1 Đánh giá kurtosis.............................................................................. 56

6.1.3.2 Đo tính phi gaussian bằng negentropy ............................................ 56
6.1.3.3 Xấp xỉ negentropy ........................................................................... 57
6.1.3.4 Thuật toán gradient ......................................................................... 59
6.1.3.5 Thuật toán fast fixed-point .............................................................. 59
6.2 ICA bằng cực tiểu lượng tin tương hỗ ......................................................... 59
6.2.1 Định nghóa ICA bởi lượng tin tương hỗ ................................................... 60
6.2.2 Lượng tin tương hỗ đo mức độ phụ thuộc giữa các biến ........................ 60
6.3 ICA bằng phương pháp cumulant tensor ..................................................... 61
6.3.1 Định nghóa của cumulant tensor ............................................................. 61
6.3.2 Trị riêng của cumulant tensor đưa ra các thành phần độc lập................ 62
PHẦN B: ỨNG DỤNG ICA VÀO TÁCH TÍN HIỆU TIẾNG NÓI
Chương 7: Tách tín hiệu tiếng nói bằng phương pháp ICA trong miền tần số
.......................................................................................................... 66


7.1 Lai và tách tín hiệu tiếng nói ....................................................................... 66
7.2 Mô hình trong miền tần số ............................................................................ 68
7.3 Phương pháp xấp xỉ chéo hoá đồng thời những ma trận .............................. 71
7.4 Vấn đề hoán vị ............................................................................................. 73
Chương 8: Kết quả............................................................................................. 76
8.1 Điều kiện ghi tiếng........................................................................................ 76
8.2 Các kết quả.................................................................................................... 77
8.4 Kết luận ......................................................................................................... 85
8.5 Hướng phát triển đề tài ................................................................................. 85
Tài liệu tham khảo ............................................................................................. 86


DANH MỤC HÌNH VẼ
Hình vẽ

Trang

Hình 2.1. Phương pháp gradient tìm cực trị........................................................19
Hình 5.1 Tín hiệu gốc s1 (t ) và s2 (t ) ..................................................................33
Hình 5.2 Tín hiệu lai x1 (t ) và x2 (t ) .....................................................................33
Hình 5.3 Tín hiệu được ước lượng bằng ICA .....................................................34
Hình 5.4 Phân bố đồng thời của s1 và s 2 ...........................................................39
Hình 5.5 Phân bố đồng thời của hai biến x1 và x 2 ..........................................40
Hình 5.6 Mật độ của một thành phần độc lập có phân bố supergaussian. Hàm
mật độ gaussian đưa ra bởi đường liền nét .......................................................41
Hình 5.7 Phân bố đồng thời của hai thành phần độc lập s1 và s 2 , với phân bố
supergaussian ....................................................................................................41
Hình 5.8 Phân bố của hai tín hiệu lai x1 và x 2 từ hai tín hiệu có phân bố
supergaussian s1 và s 2 .......................................................................................42
Hình 5.9 Phân bố đồng thời của x1 và x 2 sau khi được whitening ....................45
Hình 5.10 Phân bố đồng thời của hai biến có phân bố gaussian .......................46
Hình 5.11 Phân bố đồng thời của hai biến trộn lẫn (của hai biến gaussian). ....46
Hình 5.12 Phân bố đồng thời của hai biến trộn lẫn (của hai biến gaussian) sau
khi được trắng hoá..............................................................................................47
Hình 6.1 Phân bố đồng thời của hai thành phần độc lập với mật độ đồng nhất 51
Hình 6.2 Mật độ của phân bố đồng nhất. Đường đứt nét đưa ra mật độ gaussian
để so saùnh ...........................................................................................................52


Hình 6.3 Mật độ đồng thời của hai biến trộn lẫn sau khi được whitening........52
Hình 6.4 Mật độ biên của dữ liệu lai .................................................................52
Hình 7.1 Mô hình chập và giải chập cho tín hiệu tiếng nói tại hai microphone67
Hình 7.2 Phân tích phổ tiếng nói sử dụng STFT ................................................69
Hình 7.3 Các bước thực hiện tách phổ tín hiệu .................................................70
Hình 8.1 Sơ đồ phòng thu ...................................................................................76

Hình 8.2 Dạng sóng của tín hiệu thu tại phim trường ........................................78
Hình 8.3 Dạng sóng của tín hiệu sau khi tách....................................................78
Hình 8.4 W ( f ) (phần thực).................................................................................79
Hình 8.5 W ( f ) (phần ảo) ...................................................................................79
Hình 8.6 Đáp ứng xung của bộ lọc tách w(n) ....................................................80
Hình 8.7 Số lần hội tụ trong từng băng tần ........................................................80
Hình 8.8 Vị trí tần số xảy ra hoán vị ..................................................................81
Hình 8.9 Đáp ứng xung của phòng thu lấy từ ..................................................................................................................82
Hình 8.10 Chỉ số tách .........................................................................................83
Hình 8.11 Các băng tần xảy ra hoán vị..............................................................83


1

PHẦN A
LÝ THUYẾT TỔNG QUAN


2

Chương 1
VECTOR NGẪU NHIÊN VÀ ĐỘC LẬP
Chương này nhắc lại những khái niệm cơ bản về lý thuyết xác suất và
thống kê chẳng hạn như độc lập thống kê hay đặc trưng thống kê bậc cao. Nhấn
mạnh đến thống kê đa biến và vector ngẫu nhiên.

1.1 Phân bố xác suất và mật độ xác suất
1.1.1 Phân bố của biến ngẫu nhiên
Giả sử rằng biến ngẫu nhiên có giá trị liên tục. Hàm phân bố xác suất Fx
của biến ngẫu nhiên x tại điểm x = x0 được định nghóa là xác suất để x ≤ x0 :

Fx ( x0 ) = P( x ≤ x0 )

(1.1)

trong đó x0 thay đổi từ − ∞ đến + ∞ xác định trên toàn hàm phân bố xác suất Fx
cho tất cả các giá trị của x .
Rõ ràng là những biến ngẫu nhiên liên tục có hàm phân bố xác suất
không âm, không giảm (thường là đơn điệu tăng) và có giá trị nằm trong khoảng
0 ≤ Fx ( x) ≤ 1 . Từ định nghóa trên ta nhận thấy rằng Fx (−∞) = 0 và Fx (+∞) = 1 .

Hàm mật độ xác suất Px (x) của biến ngẫu nhiên liên tục là đạo hàm của
hàm phân bố xác suất:
Px ( x0 ) =

dFx ( x)
dx

x = x0

1.2)


3
Hàm phân bố xác suất được tính từ hàm mật độ xác suất đã biết bằng
cách sử dụng mối quan hệ nghịch đảo như sau:
x0

Fx ( x0 ) = ∫ p x (ξ )dξ
−∞

(1.3)

Để cho đơn giản Fx (x) thường được viết bằng F (x) và p x (x) được thay bằng
p(x) .

1.1.2 Phân bố của vector ngẫu nhiên
Giả sử rằng x là vector ngẫu nhiên n chiều
x = ( x1 , x 2 ,..., x n ) T

(1.4)

Trong đó T là phép chuyển vị (sử dụng chuyển vị là vì những vector sử dụng là
vector cột). Những thành phần x1 , x 2 ,..., x n của vector cột x là những biến ngẫu
nhiên liên tục.
Hàm phâm bố xác suất của vector ngẫu nhiên được định nghóa theo công
thức:
Fx ( x0 ) = P( x ≤ x0 )

(1.5)

Trong đó x là vector. x0 là những giá trị hằng của vector ngẫu nhiên x . Chú
thích x ≤ x0 có nghóa là mỗi thành phần của vector x nhỏ hơn hoặc bằng mỗi
thành phần tương ứng của vector x0 . Hàm phân bố xác suất của hàm đa biến có
những tính chất tương tự như hàm phấn bố xác suất đơn biến. Nó là hàm không
tăng của mỗi thành phần với giá trị nằm trong khoảng 0 ≤ Fx ( x) ≤ 1 .
Khi tất cả những thành phần của x tiến tới vô cùng thì Fx (x) đạt đến giới
hạn trên bằng 1 và khi bất kỳ thành phần xi → −∞, Fx ( x) = 0 .


4

Hàm mật độ xác suất đa biến p x ( x) của x được định nghóa như là đạo
hàm của hàm phân bố xác suất Fx ( x) trên tất cả các thành phần của vector ngẫu
nhiên x :
∂ ∂
∂
L
Fx ( x)
∂x1 ∂x 2 ∂x n

p x ( x) =

x = x0

(1.6)

Hay ngược lại
x0

Fx ( x0 ) = ∫ p x ( x)dx = ∫
−∞

x0 , 1

−∞

∫

x0 , 2

−∞

L∫

x0 , n

−∞

p x ( x)dx n L dx 2 dx1

(1.7)

Trong đó x0,i là thành phần thứ i của vector x0 . Vì vậy, ta có

∫

+∞

−∞

p x ( x)dx = 1

(1.8)

1.1.3 Phân bố đồng thời và phân bố biên
Phân bố đồng thời của hai vector ngẫu nhiên khác nhau có thể được hiểu
theo cách tương tự. Cho y là một vector ngẫu nhiên khác có số chiều là m để
phân biệt với n là số chiều của vector x . Vector x và y được ghép lại thành
vector z T = (x T , y T ) . Khi đó ta có hàm phâm bố xác suất đồng thời của x và y
được đưa ra bởi
Fx. y ( x0 , y 0 ) = P( x ≤ x0 , y ≤ y 0 )

(1.9)

Trong đó, x0 và y 0 là vector hằng có cùng chiều tương ứng như các vector x và
vector y .
Hàm mật độ xác suất đồng thời Px , y ( x, y ) của x và y liên hệ với hàm
phân bố xác suất Fx , y ( x, y ) theo công thức
Fx , y ( x0 , y 0 ) = ∫

x0

∫

y0

−∞ −∞

p x , y (ξ ,η )dηdξ

(1.10)


5
Mật độ biên p x (x) của x và p y ( y ) của y được tính bằng tích phân trên
vector ngẫu nhiên khác trong hàm mật độ đồng thời Px , y ( x, y ) của nó
+∞

p x ( x) = ∫ p x , y ( x,η )dη
−∞

+∞

p y ( y ) = ∫ p x , y (ξ , y )dξ

(1.11a,b)

−∞

1.2 Kỳ vọng và moment
1.2.1 Định nghóa và tính chất tổng quát của kỳ vọng
Trong thực tế, hàm mật độ xác suất của vector hay biến ngẫu nhiên vô
hướng thường không biết trước. Tuy nhiên, thay vào đó ta có thể sử dụng kỳ
vọng của một vài hàm của những biến ngẫu nhiên đó để biểu diễn trong phân
tích và xử lý. Một thuận lợi lớn của kỳ vọng là chúng có thể được tính toán trực
tiếp từ dữ liệu.
Kỳ vọng của hàm g (x) ( g (x) có thể là vô hướng, vector hay ma trận)
được định nghóa như sau:
+∞

E{g ( x)} = ∫ g ( x) p x ( x)dx
−∞

(1.12)

Trong đó, tích phân được tính trên tất cả các thành phần của x . Nếu g ( x) = x , ta
có kỳ vọng E (x) của x .
Kỳ vọng có một vài tính chất cơ bản sau
a. Tính chất tuyến tính
m

m

i =1

i =1

E{∑ ai xi } =∑ ai E{xi }

(1.13)

b. Tính chất biến đổi tuyến tính
E{ Ax} = AE{x}, E{xB} = E{x}B

c. Tính chất bất biến: cho y = g ( x)

(1.14a,b)


6

∫

+∞

−∞

+∞

yp y ( y )dy = ∫ g ( x) p x ( x )dx
−∞

(1.15)

1.2.2 Vector trung bình và ma trận tương quan
Moment bậc nhất của vector ngẫu nhiên x được gọi là vector trung bình
m x của x . Nó được định nghóa như là kỳ vọng của x :
+∞

m x = E{x} = ∫ xp x ( x)dx
−∞

(1.16)

Moãi thành phần m x của vector m x được tính bởi
i

+∞

+∞

−∞

−∞

m xi = E{xi } = ∫ xi p x ( x)dx = ∫ xi p xi ( xi )dxi

(1.17)

Trong đó p x ( xi ) là mật độ biên của thành phần xi của x .
i

Một tính chất quan trọng của moment là sự tương quan giữa những cặp
thành phần của x . Tương quan rij giữa thành phần thứ i và thành phần thứ j
của x được xác định bởi moment bậc hai
+∞

+∞ +∞

−∞

−∞ −∞

rij = E{xi x j } = ∫ xi x j p x ( x)dx = ∫

∫

xi x j p xi , x j ( xi , x j )dxi dx j

(1.18)

Tương quan có thể dương hay âm.
Ma trận tương quan n × n
R x = E{xx T }

(1.19)

của vector x là một sự biểu diễn thuận tiện cho tất cả những cặp tương quan rij .
Ma trận tương quan R x có một vài tính chất quan trọng
• Nó là ma trận đối xứng: R x = R xT .
• Xác định dương: a T R x a ≥ 0 .

• Tất cả các giá trị riêng của R x là thực và không âm. Tất cả các vector
riêng là thực và trực giao laãn nhau.


7
Moment bậc cao có thể được định nghóa tương tự.

1.2.3 Hiệp biến và moment đồng thời
Những moment trung tâm được tính trên những vector có trị trung bình
bằng không. Khi đó, ma trận tương quan R x trở thành ma trận hiệp biến C x
C x = E{( x − m x )( x − m x ) T }

(1.20)

Trong đó những thành phần cij của ma trận C x được tính theo
cij = E{( xi − mi )( x j − m j )}

(1.21)

của ma trận C x ( n × n ) được gọi là hiệp biến, và chúng là moment trung tâm
tương ứng với tương quan rij được định nghóa trong công thức (1.18). Ma trận
hiệp biến C x có cùng tính chất như ma trận tương quan R x . Sử dụng tính chất
của kỳ vọng ta coù:
R x = C x + m x m Tx

(1.22)

Nếu vector có trị trung bình m x = 0 thì ma trận tương quan và ma trận
hiệp biến giống nhau. Có thể dễ dàng làm cho vector dữ liệu có trị trung bình
bằng không bằng cách trừ đi vector trung bình như là một bước tiền xử lý. Điều

này hữu ích trong ICA.
Với biến ngẫu nhiên x , vector trung bình trở thành giá trị trung bình
m x = E{x} , ma trận tương quan trở thành moment bậc hai E{x 2 } và ma trận hiệp

biến trở thành phương sai của x
σ x2 = E{( x − m x ) 2 }

(1.23)

khi đó E{x 2 } = σ x2 + m x2
Kỳ vọng có thể được mở rộng cho hàm g ( x, y ) của hai vector ngẫu nhiên
khác nhau x và y


8
E{g ( x, y )} = ∫

+∞ +∞

∫

−∞ −∞

g ( x, y ) p x , y ( x, y )dydx

(1.24)

tích phân được tính trên tất cả các thành phần của x và y .
Ma trận tương quan chéo
(1.25)

R xy = E{xy T }

Ma trận hiệp biến chéo
C xy = E{( x − m x )( y − m y ) T }

(1.26)

Chiều của vector x và y có thể khác nhau. Vì vậy, ma trận tương quan
chéo và ma trận hiệp biến chéo không nhất thiết là ma trận vuông và không đối
xứng trong trường hợp tổng quát. Tuy nhiên, ta cũng nhận thấy rằng
R xy = R Tyx , C xy = C Tyx

(1.27)

Nếu vector trung bình của x và y bằng không thì ma trận tương quan
chéo và ma trận hiệp biến chéo bằng nhau. Ma trận hiệp biến C x + y của tổng hai
biến x và y có cùng số chiều và thường được sử dụng nhiều trong thực tế.
C x + y = C x + C xy + C yx + C y

(1.28)

Tương quan và hiệp biến đánh giá sự phụ thuộc giữa những biến ngẫu
nhiên.

1.2.4 Ước lượng kỳ vọng
Thông thường hàm mật độ xác suất của biến ngẫu nhiên x là không biết,
nhưng thường có sẵn tập K mẫu x1 , x 2 ,..., x K của x . do đó, kỳ vọng (1.12) có thể
được đánh giá bằng trung bình của tất cả các mẫu sử dụng công thức
E{g ( x)} ≈

1
K

K

∑ g(x
j =1

Ứng dụng công thức trên cho vector trung bình m x

j

)

(1.29)


9
mˆ x =

1
K

K

∑x
j =1

(1.30)

j

Tương tự, thay vào đó là hàm mật độ p x , y ( x, y ) của vector x và y , nếu
chúng ta biết K cặp mẫu ( x1 , y1 ), ( x 2 , y 2 ),K ( x K , y K ) , kỳ vọng được đánh gia bởi:
E{g ( x, y )} ≈

1
K

K

∑ g(x
j =1

j

, yj)

(1.31)

1.3 Không tương quan và độc lập
1.3.1 Không tương quan
Hai vector ngẫu nhiên x và y không tương quan nếu ma trận hiệp biến
chéo là ma traän zero:
C xy = E{( x − m x )( y − m y ) T } = 0

(1.32)

R xy = E{xy T } = E{x}E{ y T } = m x m Ty

(1.33)

tương đương với điều kiện

Trong trường hợp đặc biệt với hai biến vô hướng x và y khác nhau, x và
y không tương quan nếu hiệp biến của chúng c xy bằng không:
c xy = E{( x − m x )( y − m y )} = 0

(1.34)

rxy = E{xy} = E{x}E{ y} = m x m y

(1.35)

tương đương với

Một trường hợp quan trọng khác liên quan đến sự tương quan giữa những
thành phần của vector x được đưa ra bởi ma trận hiệp biến C x trong công thức
(1.20). Trong trường hợp này, (1.32) không bao giờ đạt được vì mỗi thành phần
của x là hoàn toàn tương quan với chính nó. Từ đó, điều kiện không tương quan
là: