Tách mù các nguồn tín hiệu dùng phương pháp phân tích các thành phần độc lập

TRƯỜNG ĐẠI HỌC BÁCH KHOA Tp.HCM
CAO HỌC NGÀNH VTĐT

\’[

Luận văn cao học:

GVHD
HVTH
MS
Lớp

: Thầy PGS.TS Lê Tiến Thường
: Đặng Việt Hùng
: 01403315
: Cao học K14 - VTĐT

Tháng 7 - 2005


LỜI CẢM ƠN
Y™Z

Đầu tiên em xin được bày tỏ lòng biết ơn đến quý Thầy Cô
trường Đại học Bách Khoa, đặc biệt là các quý Thầy Cô trong Khoa
Điện – Điện Tử trường Đại Học Bách Khoa TP.HCM, đã tận tình chỉ
dạy, truyền đạt kiến thức cũng như tạo điều kiện thuận lợi cho em
trong suốt quá trình học tập vừa qua.
Em xin chân thành cảm ơn Thầy Lê Tiến Thường đã quan tâm
theo dõi, tận tình hướng dẫn và động viên trong suốt quá trình thực
hiện luận án tốt nghiệp.

Và em xin gửi đến gia đình và các bạn bè xung quanh, những
người luôn bên cạnh và giúp đỡ về tinh thần cũng như vật chất để em
hoàn thành được luận văn này.


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

Mục Lục
Y[z\Z

Trang
Lời cám ơn
Abstract

PHẦN 0: GIỚI THIỆU……………………………………………………………………………………………………………………….1
1. Tổng quan về đề tài…………………………………………………………………………………………………………………… 1

2. Tổ chức báo cáo luận văn ……………………………………………………………………………………………1
3. Công việc liên quan………………………………………………………………………………………………………… 1

PHẦN I: LÝ THUYẾT……………………………………………………………………………………………………………………… 2
Chương1: Các thống kê sử dụng trong hệ thống thông tin số…………………………………………. 2
1.1 Các biến ngẫu nhiên và các hàm xác suất…………………………………………………………………… 2
1.1.1. Xác suất và tần suất tương ứng ………………………………………………………………………………… 2
1.1.2. Các biến ngẫu nhiên ……………………………………………………………………………………………………… 3
1.1.3. Hàm phân bố tích lũy CDF và hàm mật độ xác suất PDF ………………………… 3
1.1.4. Trung bình toàn bộ ………………………………………………………………………………………………………… 5
1.1.5. Moment ……………………………………………………………………………………………………………………………… 5

1.1.6. Variance σ2 (phương sai)……………………………………………………………………………………………… 5
1.1.7. Độ lệch tiêu chuẩn σ: bằng căn bậc hai của variance……………………………………… 5
1.2 Các PDF và CDF thường gặp trong hệ thống thông tin ………………………………………… 6
1.2.1. Gauss hay hàm mật độ xác xuất chuẩn………………………………………………………………… 6
Tách mù các thành phần độc lập

HVTH: Đặng Việt Hùng


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

1.2.2 Định lý giới hạn trung tâm………………………………………………………………………………………… 7
Chương 2: Không gian vector, không gian Euclid…………………………………………………………………. 9
2.1 Khái niệm không gian vector……………………………………………………………………………………………… 9
2.2 Không gian con và hệ sinh …………………………………………………………………………………………………… 10
2.2.1 Định nghóa không gian con…………………………………………………………………………………………… 10
2.2.2 Tổ hợp tuyến tính của một họ vector …………………………………………………………………… 10
2.2.3 Không gian con sinh bởi một họ vector…………………………………………………………………… 10
2.2.4 Định nghóa hệ sinh của không gian vector……………………………………………………………… 10
2.3 Họ vector độc lập tuyến tính và phụ thuộc tuyến tính………………………………………….. 11
2.4 Không gian hữu hạn chiều và cơ sở của nó…………………………………………………………………. 11
2.4.1 Khái niệm về không gian n chiều……………………………………………………………………………… 11
2.4.2 Cơ sở của không gian n chiều……………………………………………………………………………………… 11
2.4.3 Những tính chất về cơ sở và số chiều ……………………………………………………………………… 12
2.5 Tích vô hướng và không gian có tích vô hướng………………………………………………………….. 12
2.5.1 Nhắc lại tích vô hướng của hai vector hình học…………………………………………………… 12
2.5.2 Tích vô hướng trong không gian vector và không gian có tích vô hướng…… 13
2.5.3 Độ dài của vector……………………………………………………………………………………………………………… 13

2.5.4 Sự vuông góc của hai vector………………………………………………………………………………………… 14
2.5.5 Họ vector trực giao…………………………………………………………………………………………………………… 14
2.5.6 Quá trình trực giao hóa Gram–Smidt ……………………………………………………………………… 15
2.5.7 Tính độc lập tuyến tính của một họ vector trực giao………………………………………… 16
2.5.8 Sự tồn tại cơ sở trực chuẩn trong không gian Euclid n chiều ………………………… 16
2.5.9 Hình chiếu của một vector lên một không gian con…………………………………………… 17
2.6 Bài toán đổi cơ sở………………………………………………………………………………………………………………………. 18
2.6.1 Đặt bài toán………………………………………………………………………………………………………………………… 18
2.6.2 Ma trận chuyển ………………………………………………………………………………………………………………… 18
Chương 3: Trị riêng và vector riêng của toán tử tuyến tính……………………………………………. 21
3.1 Nhắc lại khái niệm toán tử tuyến tính và một số tính chất liên quan……………… 21
3.1.1 Định nghóa ánh xạ tuyến tính và toán tử tuyến tính…………………………………………… 21
3.1.2 Các phép toán về ánh xạ tuyến tính………………………………………………………………………… 21
3.1.3 Sự đẳng cấu của không gian n chiều với Rn ………………………………………………………… 21
3.2 Ma trận của ánh xạ tuyến tính…………………………………………………………………………………………… 22
3.2.1 Khái niệm ma trận của ánh xạ tuyến tính……………………………………………………………… 22
3.2.2 Ma trận đồng dạng…………………………………………………………………………………………………………… 22
3.3.2 Ma trận của ánh xạ tuyến tính thông qua phép biến đổi cơ sở……………………… 22
3.3 Trị riêng và vector riêng của ma trận …………………………………………………………………………. 23
3.3.1 Khái niệm trị riêng và vector riêng của ma trận………………………………………………… 23
3.3.2 Phương trình đặc trưng …………………………………………………………………………………………………… 24

Tách mù các thành phần độc lập

HVTH: Đặng Việt Hùng


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

3.3.3 Trị riêng của ma trận đồng dạng………………………………………………………………………………… 24
3.3.4 Tìm vector riêng của ma trận …………………………………………………………………………………… 25
3.3.5 trị riêng của ma trận đối xứng …………………………………………………………………………………… 26
3.4 Vấn đề chéo hoá ma trận ……………………………………………………………………………………………………… 27
3.4.1 Ma trận chéo hóa được …………………………………………………………………………………………………… 27
3.4.2 Quy trình chéo hóa một ma trận………………………………………………………………………………… 27
3.5 Vấn đề chéo hóa trực giao …………………………………………………………………………………………………… 27
3.5.1 Khái niệm chéo hóa trực giao …………………………………………………………………………………… 27
3.5.2 Chéo hóa trực giao ma trận đối xứng ……………………………………………………………………… 27
3.5.3 Một số tính chất của trị riêng của ma trận đối xứng…………………………………………… 28
3.5.4 Quy trình chéo hóa trực giao các ma trận đối xứng…………………………………………… 28
Chương 4: Tổng quan lý thuyết về ICA ……………………………………………………………………………………..29
4.1 Cơ sở và các định nghóa ………………………………………………………………………………………………………… 29
4.1.1 Mô tả bài toán…………………………………………………………………………………………………………………… 29
4.1.2 Tính không rõ ràng của ICA………………………………………………………………………………………… 29
4.1.3 Tính độc lập………………………………………………………………………………………………………………………… 30
4.1.4 Không tương quan – Dạng độc lập yếu hơn…………………………………………………………… 31
4.1.5 Vấn đề khôi phục tín hiệu Gauss…………………………………………………………………………………31
4.2 Tiền xử lý ICA …………………………………………………………………………………………………………………………… 31
4.2.1 Centering (chuyển khối joint density về trung tâm)…………………………………………… 31
4.2.2 Whitening …………………………………………………………………………………………………………………………… 32
4.2.2.1 Giới thiệu Principal Component Analysis (PCA) …………………………………… 32
i) Thực hiện PCA bằng phương pháp tối đa hóa phương sai…………………………32
ii) PCA bằng phương pháp nén sai số bình phương trung bình nhỏ nhất… 33
iii) Chọn lựa số các thành phần chính…………………………………………………………………… 33
iv) PCA bằng cách học trực tuyến (on-line learning)……………………………………… 34
4.2.2.2 Whitening ………………………………………………………………………………………………………………… 35
4.3 Tính Nongausss và ICA bằng cách đo tính Nongausss kinh điển ……………………… 36
4.3.1 Tính độc lập là tính Nongauss …………………………………………………………………………………… 36

4.3.2 Đo lường tính độc lập (Nongausss) và tối đa hóa tính độc lập……………………… 37
4.3.2a Đo lường tính Nongausss bằng Kurtosis ……………………………………………………… 37
4.3.2b Thuật toán Gradient sử dụng kurtosis…………………………………………………………… 38
4.3.2c Đo lường tính Nongausss bằng negentropy (entropy âm)……………………… 39
4.3.2d Thuật toán gradient cho negentropy……………………………………………………………… 40
4.3.3 ICA cho nhiều đơn vị……………………………………………………………………………………………………… 41
4.3.4 Tóm tắt ……………………………………………………………………………………………………………………………… 42
Chương 5: Giới thiệu FPGA Spartan-3 và ngôn ngữ VHDL …………………………………………… 43
5.1 FPGA và cấu trúc FPGA ……………………………………………………………………………………………………… 43
5.1.1 Giới thiệu FPGA Spartan-3 Starter Kit ………………………………………………………………… 44
5.1.2 Chi tiết về FPGA Spartan-3 Starter Kit cần dùng trong đề tài……………………… 45

Tách mù các thành phần độc lập

HVTH: Đặng Việt Hùng


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

a/ SRAM…………………………………………………………………………………………………………………………………… 45
b/ 4 LED 7 đoạn dùng để xuất dữ liệu ………………………………………………………………………… 47
c/ Các công tắc trượt, nút nhấn và các LED ……………………………………………………………… 48
d/ Các nguồn xung clock…………………………………………………………………………………………………… 49
e/ Các port lập trình, debug JTAG………………………………………………………………………………… 49
f/ Các chân mở rộng của Kit Spartan-3………………………………………………………………………… 50
5.2. Ngôn ngữ mô tả phần cứng VHDL ………………………………………………………………………………… 53
5.3. Phần mềm hỗ trợ …………………………………………………………………………………………………………………… 55
PHẦN II: THỰC THI ………………………………………………………………………………………………………………………….58

Chương 1: Lý thuyết bổ sung trong thực thi …………………………………………………………………………...58
1.1 Whitening ……………………………………………………………………………………………………………………………………… 58
a/ công thức tính R k , với k=2,3,…n ……………………………………………………………………………………… 57
b/ Tính R −1 ……………………………………………………………………………………………………………………………………… 58
c/ Tính R1 / k , với k = 2,3,... n …………………………………………………………………………………………………… 58
d/ Tính ma trận whitening Q …………………………………………………………………………………………………… 58
1.2. Một giải thuật ICA khác, (tạm gọi là) ICA không có vòng lặp ………………………… 59
1.2.1 Đặt vấn đề…………………………………………………………………………………………………………………………… 59
1.2.2 Tính chất……………………………………………………………..……………………………………………………………… 60
1.2.3 Chứng minh…………….………………………………………………………………………………………………………… 61
1.2.4 Nhận xét về phương pháp……………………………………………………………………………………………… 62
Chương 2: Thực hiện ICA trên Matlab ………………………………………………………………………………………63
2.1 Thực hiện ICA bằng phương pháp tối đa hóa tính Nongausss …………………………… 63
2.1.1 ICA với ước lượng tính Nongausss bằng kurtosis………………………………………………… 63
2.1.2 ICA với ước lượng tính Nongausss bằng negentropy ………………………………………… 68
2.2 ICA khác với ICA kinh điển, ICA không có vòng lặp……………………………………………… 70
Chương 3: Thực hiện ICA trên FPGA ………………………………………………………………………………………. 71
3.1 Cơ sở thực thi, đơn giản hóa vấn đề ………………………………………………………………………………… 71
3.2 Mạch A/D, D/A …………………………………………………………………………………………………………………………… 72
3.2.1 IC ADC0809 và mạch A/D…………………………………………………………………………………………… 72
3.2.2 IC DAC0808 và mạch D/A…………………………………………………………………………………………… 75
3.3 Thực thi trên FPGA ……………………………………………………………………………………………………………….. 76
3.3.1 Mô hình
76
3.3.2 Chương trình và thực hiện chương trình
77
PHẦN III: KẾT QUẢ THỰC HIỆN …………………………………………………………………………………………… 80
Chương 1: Kết quả thực hiện ICA trên Matlab …………………………………………………………………… 80
1.1 Thực hiện ICA bằng cách tối đa hóa tính Nongausss, đo bằng Kurtosis ……… 80
1.1.1 ICA từ công thức (II.2.49), lưu đồ hình (III.2.1) (kurtosis) ……………………………… 80

Tách mù các thành phần độc lập

HVTH: Đặng Việt Hùng


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

1.1.1.a/ ICA cho tín hiệu thu 2 chiều (kurtosis) ……………………………………………………… 80
1.1.1.b/ ICA cho tín hiệu thu 3 chiều (kurtosis) ……………………………………………………… 83
1.1.2 ICA từ công thức (II.4.49), lưu đồ Hình (II.2.3)…………………………………………………… 89
1.1.2.a/ ICA cho dữ liệu 3 chiều (kurtosis, có lồng ICA con)……………………………… 89
1.1.2.b/ ICA cho dữ liệu 4 chiều (kurtosis, có lồng ICA con) …………………………… 94
1.2 Thực hiện ICA bằng cách tối đa hóa tính Nongausss, đo bằng Negentropy… 96
1.2.1 ICA cho dữ liệu tín hiệu 2 chiều………………………………………………………………………………… 96
1.2.1.a/ Dùng hàm g1 ( y) = tanh(a1 y) …………………………………………………………………………… 96
1.2.1.b/ Dùng hàm g 2 ( y ) = y exp(− y 2 / 2) ………………………………………………………………… 98
1.2.2 Xử lý dữ liệu tín hiệu 3 chiều (negentropy)…………………………………………………………… 99
1.2.2.a/ Dùng hàm g1 ( y ) = tanh(a1 y ) ………………………………………………………………………… 100
1.2.2.b/ Dùng hàm g 2 ( y ) = y exp(− y 2 / 2) ……………………………………………………………… 101
1.2.3 Xử lý dữ liệu tín hiệu 4 chiều (negentropy)……………………………………………………… 102
1.2.3.a/ Dùng hàm g1 ( y) = tanh(a1 y) ……………………………………………………………………… 104
1.2.3.b/ Dùng haøm g 2 ( y ) = y exp(− y 2 / 2) ……………………………………………………………… 105
1.3 Thực hiện ICA khác kinh điển, ICA không có vòng lặp …………………………………… 106
1.3.1 ICA không vòng lặp cho dữ liệu tín hiệu 2 chiều …………………………………………… 106
1.3.2 ICA không vòng lặp cho dữ liệu tín hiệu 3 chiều …………………………………………… 108
1.3.3 ICA không vòng lặp cho dữ liệu tín hiệu 4 chiều …………………………………………… 110
Chương 2: Kết quả Mô phỏng ICA và các vấn đề liên quan khác ……………………………… 112

2.1 Số sensor nhiều hơn số nguồn ………………………………………………………………………………………… 112
2.2 Dấu của các phần tử trong ma trận tổ hợp A ………………………………………………………… 116
2.3 Ảnh hưởng của nguồn Gauss …………………………………………………………………………………………… 119
2.2.1 Ảnh hưởng của một nguồn Gauss…………………………………………………………………………… 119
2.2.2 Ảnh hưởng của nhiều hơn một nguồn Gauss……………………………………………………… 121
Chương 3: Kết quả thực hiện ICA trên FPGA …………………………………………………………………… 123
PHẦN IV: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN ……………………………………………………… 125
1. Kết luận chung ………………………………………………………………………………………………………………………………… 125
2. Hướng phát triển …………………………………………………………………………………………………………………………… 126

Tài liệu tam khảo……………………………………………………………………………………………………………. 127
PHỤ LỤC………………………………………………………………………………………………………………………. 128
Các từ viết tắt……………………………………………………………………………………………………………128
ADC0808……………………………………………………………………………………………………………………129
DAC0809……………………………………………………………………………………………………………………133
Spartan-3 Starter Kit ……………………………………………………………………………………………… 136
Tách mù các thành phần độc lập

HVTH: Đặng Việt Hùng


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

ABSTRACT
The achievement of signal processing has become much more powerful since
digital technique was put into any aspect of communications. Along with that,
countless techniques, algorithms have been developed and explicated to meet
the need of affecting, improving and modifying signal, Independent

Component Analysis (ICA) is one of them. This thesis will concentrate on
studying the Independent Component Analysis (ICA) approach, its
properties, advances, disadvances applied to practice by using VHDL and
FPGA, a morden way to design hardwares in the last few years. ICA is an
algorithm for separating linear dependent components among received signals,
so called the common way to solve the “Cocktail Party” problem. It can be
simply explained like this: in a cocktail party, at the same time, we can hear
many people talk simultaneously; if we have recorders, how can we separate
the sound source of each person? At a higher view, ICA can be applied in
getting and separating composite signals such as: electro-cardiogram (ECG),
electroencephalogram (EEG), seismal signal, or in whitening signals that were
received from remote sources … [1,2]

TÓM TẮT
Thành tựu thu được trong việc xử lý tín hiệu trở nên to lớn hơn nhiều kể từ lúc
kỹ thuật số được đưa vào mọi ngõ ngách của thông tin liên lạc. Theo đà của
dòng chảy phát triển đó, vô số kỹ thuật, thuật toán ra đời để đáp ứng nhu cầu
tác động, cải thiện và thay đổi các tín hiệu thông tin. Và thuật toán phân tích
thành phần đặc trưng (ICA) là một trong số chúng. Bài luận này sẽ tập trung
nghiên cứu cách thực hiện ICA, các tính chất, ưu nhược điểm khi ứng dụng vào
thực tế bằng VHDL và FPGA, là cách thiết kế phần cứng hiện đại trong những
năm gần đây. ICA là một thuật toán tách các thành phần phụ thuộc tuyến tính
giữa các nguồn thu dựa trên tính độc lập thống kê giữa các nguồn phát, được
gọi chung là cách giải bài toán “bữa tiệc cocktail”. Có thể giải thích ngắn gọn
như sau: tại bữa tiệc cocktail, trong cùng một lúc, ta có thể nghe thấy rất nhiều
người nói đồng thời; nếu có máy thu âm để thu tín hiệu thoại, làm sao tách
riêng từng nguồn thoại của mỗi người? Nhìn một cách rộng hơn, ICA có thể
ứng dụng trong việc đo tách tín hiệu tổng hợp như điện tâm đồ, điện não đồ, tín
hiệu địa chấn, tín hiệu thu từ những nguồn xa…[1,2]
Tách mù các thành phần độc lập

HVTH: Đặng Việt Hùng


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

PHẦN 0: GIỚI THIỆU

1. Tổng quan về đề tài:
Tách mù các thành phần độc lập chính là bài toán phân tích các thành phần độc lập
(ICA–Independence Component Analysis), là một kỹ thuật suy ra được những nhân tố bị
ẩn khuất trong một tập các biến ngẫu nhiên. Kỹ thuật tương đối mới, xuất hiện lần đầu
vào đầu thập niên 1980 trong phạm vi ứng dụng của mạng neural, và đã được nghiên cứu
khá nhiều. ICA với mục tiêu tách các thành phần độc lập chỉ dựa vào tín hiệu thu, là một
hỗn hợp pha tạp các tín hiệu với nhau đã trở thành một đề tài thú vị để nghiên cứu và ứng
dụng trên thế giơi. Tuy vậy nước ta hầu như chưa có đề tài tổng hợp và nghiên cứu phát
triển về vấn đề này và đặc biệt là chưa thực thi trên phần cứng. Bị lôi cuốn vì sự thú vị
đó, học viên đã chọn đề tài này để thực hiện như là một luận văn cao học.
Hơn nữa, theo xu hướng phát triển của các chip điện tử, công nghệ ASIC phát triển
như vũ bão nhằm đáp ứng tính đa dạng của nhu cầu trong thế giới của cơ chế thị trường.
Việc các loại FPGA mới ra đời đang rất mạnh và rẻ, mật độ logic cực cao cho phép các
phép tính được tính song song, cải thiện tốc độ xử lý,.. khiến cho việc thực thi mạch thử
nghiệm trở nên khả thi. Học viên quyết định chọn FPGA để thực hiện phần cứng nhằm
hướng theo xu thế phát triển mạch chuyên dụng ASIC, nâng cao kinh nghiệm về FPGA
và ngôn ngữ lập trình phần cứng VHDL, ngôn ngữ lập trình cho FPGA.
Đề tài này sẽ trình bày các loại thuật toán ICA kinh điển và trình bày một hướng mở
nhỏ cho ICA, đó là ICA không có vòng lặp.
2. Tổ chức báo cáo luận văn:

Luận văn chia làm 5 phần:
Phần 0: Giới thiệu tổng quan về đề tài
Phần I: Phần lý thuyết, trình bày các phần lý thuyết liên quan về lý thuyết xác suất,
không gian vector, trị riêng vector riêng, lý thuyết về ICA, giới thiệu lý thuyết FPGA và
ngôn ngữ VHDL, mỗi phần được gói trong một chương. Phần I gồm 5 chương tương ứng.
Phần II: Phần thực thi, bổ sung lý thuyết cho thực thi, phần này cụ thể hóa các thuật
toán, trình bày các cách thực hiện mô phỏng và thực hiện ICA trên FPGA.
Phần III: Phần kết quả: trình bày kết quả khảo sát ICA qua mô phỏng trên Matlab và kết
quả thi công trên FPGA Spartan-3 Starter Kit.
Phần IV: Phần kết luận chung và hướng phát triển cho đề tài.
3. Công việc liên quan:
Các ICA có nền tảng dựa trên nền tảng về lý thuyết xác suất, không gian vector, trị
riêng-vector riêng nên đây là những phần sẽ được học viên tìm hiểu và trình bày trong đề
tài luận văn. Ngoài ra học viên phải biết dùng ngôn ngữ VHDL và phải thực hiện mạch
cứng A/D và D/A giao tiếp với Kit FPGA. Các ICA đã trình bày sẽ được mô phỏng đầy
đủ với các loại tín hiệu 2 chiều, 3 chiều và 4 chiều cũng như các vẫn đề liên quan khác
nhằm khảo sát các ICA và các tính chất của nó.
Tách mù các thành phần độc lập

1

HVTH: Đặng Việt Hùng


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

PHẦN I : LÝ THUYẾT

Chương1

Các thống kê sử dụng trong
hệ thống thông tin số
1.1 Các biến ngẫu nhiên và các hàm xác suất:
1.1.1. Xác suất và tần suất tương ứng:
Xác suất đơn giản: xác suất của một sự kiện A được định nghóa là P(A) , là số lần
xảy ra sự kiện A trong n lần thử.
⎛n ⎞
(I.1.1)
P( A) = lim⎜ A ⎟
n →∞ n
⎝ ⎠
Xác suất của sự kiện giao: là xác suất xảy ra sự kiện A và sự kiện B , kí hiệu là
P(AB):
⎛n ⎞
(I.1.2)
P( AB ) = lim⎜ AB ⎟
n →∞
⎝ n ⎠
nAB là số lần cả hai sự kiện A và B cùng xảy ra
Xác suất của sự kiện hoặc: là xác suất xảy ra sự kiện A hoặc sự kiện B hoặc cả hai
cùng xảy ra, được định nghóa là P( A + B) :
⎛n ⎞
P( A + B ) = lim⎜ A+ B ⎟
(I.1.3)
n →∞
⎝ n ⎠
nA+B là số lần cả hai sự kiện A hoặc B hoặc cả hai cùng xảy ra
(I.1.4)

P( A + B) = P( A) + P ( B) − P( AB)
Neáu A và B là độc lập về mặt xác suất thì
P( AB ) = P( A) P( B)
(I.1.5)
(I.1.6)
P( A + B) = P( A) + P ( B) − P( A) P ( B)
Xác suất có điều kiện: là xác suất của sự kiện A khi sự kiện B đã xảy ra, ký hiệu là
P( A / B) :

•
•
•

⎛n ⎞
P( A / B) = lim⎜⎜ AB ⎟⎟
n →∞ n
⎝ B ⎠
Caùc tính chất:
P( A / B ) = P ( AB) / P ( B)
P( AB) = P ( B) P ( A / B) = P ( A) P ( B / A)
⎧ P ( A / B ) = P( A)
Nếu A và B là độc lập xác suất thì: ⎨
⎩P ( B / A) = P( B)

Tách mù các thành phần độc lập

2

(I.1.7)

(I.1.8)
(I.1.9)

HVTH: Đặng Việt Hùng


Independent Component Analysis

•

THD: PGS.TS. LÊ TIẾN THƯỜNG

Nếu các sự kiện A1 , A2 ,... An là độc lập xác suất thì
(I.1.10)

P( A1 A2 ... An ) = P( A1 ).P( A2 )...P ( An )

1.1.2. Các biến ngẫu nhiên :
Định nghóa: Biến ngẫu nhiên là một hàm giá trị thực được định nghóa trên các sự kiện
của hệ thống xác suất.
Ví dụ: Xét một sự kiện chắc chắn S = A + B + C + D + E + F + G + H . Mỗi sự kiện
được biểu thị bằng một giá trị của biến x, giá trị này có thể âm, dương, nguyên,
hữu tỉ hoặc vô tỉ. Khi đó x là biến ngẫu nhiên.
Giá trị của biến
Xác suất của sự
Sự kiện
ngẫu nhiên x
kiện P(x)
A
B

C
D
E
F
G
H

0.0
-3.0
-1.5
-2.0
+0.5
+1.0
+2.0
+3.0

0.10
0.05
0.20
0.15
0.10
0.10
0.00
0.30

Tổng cộng

1.00

P(S) = 1 = P(A) + P(B) + P(C) + P(D) + P(E) + P(F) + P(G) + P(H)

Các giá trị xác suất của các sự kiện này có thể được vẽ theo biến x,
Ví dụ P(C) = P(-1.5) = 0.2
Hàm P( x) có thể rời rạc hoặc liên tục.

1.1.3. Hàm phân bố tích lũy CDF (cumulative distribution function) và hàm mật độ
xác suất PDF (probability density function):
Định nghóa: Hàm phân bố tích luỹ (CDF) của một biến ngẫu nhiên x được kí hiệu là
F(a), trong đó
Δ
⎛n ⎞
(I.1.11)
F(a) = P(x≤a)≡ lim⎜ x≤ a ⎟
n →∞
⎝ n ⎠
* F(a)≤1
Định nghóa: Hàm mật độ xác suất (PDF) của biến ngẫu nhiên x được ký hiệu là f(x),
dP ( x ≤ a )
dF (a )
=
(I.1.12)
trong đó:
f ( x) =
a
=
x
a=x
da
da
Ví dụ: lấy ví dụ về phân bố đều liên tục trong đoạn [a,b]
f(x)

⎧1 /(b − a )
f ( x) = ⎨
⎩0

1/(b-a)
a

Tách mù các thành phần độc lập

b

x ∈ [ a, b]
x ∉ [ a, b]

(I.1.13)

x

3

HVTH: Đặng Việt Huøng


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

F(x)

1
x

0

a

Hình I.1: hàm phân phối của
hàm mật độ xác suất có phân
bố đều trong (a,b)

b

Với phân bố đều rời rạc, giả sử đối với hệ thống PAM 8 mức, nếu xác suất xảy ra các
mức là như nhau ta có một phân bố đều rời rạc theo biến là biên độ mức:
PDF

-7

-5

-3

-1

1

0.125

3

5

7

CDF

1.00
0.125

-7

-5

-3

-1

1

3

5

7

Các tính chất của CDF
1. F(a) là hàm tăng
2. F(a) là hàm liên tục về bên phải
lim F (a + ∈) = F (a) , ∈ >0

(I.1.14)

∈→0

3. F (a) = lim
∈→ 0

a +∈

∫ f ( x)dx

(I.1.15)

−∞

4. P(x1≤ x ≤ x2) = F(x2) - F(x1)
5. 0≤F(a)≤1
6. F(-∞)=0
7. F(+∞)=1
Tính chất của PDF:
1. f(x)≥0
2.

Hình I.2: PDF và CDF
của hàm phân bố rời rạc

(I.1.16)
(I.1.17)
(I.1.18)

(I.1.19)
(I.1.20)

∞

∫ f ( x)dx = F (+∞) = 1

(I.1.21)

−∞

3. Hàm phân bố của hai biến không độc lập:
F(x,y)=P(X≤x,Y≤y)=

∞

∞

∫ ∫ f (u, v)dudv

(I.1.22)

− ∞ −∞

Tách mù các thành phần độc lập

4

HVTH: Đặng Việt Hùng

Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

1.1.4. Trung bình toàn bộ:
Giá trị trung bình của hàm y = h(x ) là:
y = [h( x)] =

∞

∫ [h( x)] f ( x)dx

(I.1.23)

−∞

Với phân bố rời rạc, giá trị trung bình của hàm y được tính như sau:
M
________
y = [h( x)] = ∑ h( xi ) P( xi )
i =1

(I.1.24)

trong đó M là số điểm rời rạc trong phân bố.
1.1.5. Moment:
Moment thứ n của biến ngẫu nhiên xung quanh điểm x= xo được cho bởi:
∞

( x − xo ) = ∫ ( x − xo ) n f ( x)dx
n

(I.1.25)

−∞

Giá trị trung bình m : (kỳ vọng của x) là moment bậc 1 với xo=0
m= x =

∞

∫ xf ( x )dx

(I.1.26)

−∞

với phân bố rời rạc:
M

____

E(X)= X = ∑ xi P( X = xi )

(I.1.27)

i =1

1.1.6. Variance σ2 (phương sai): Là moment bậc hai xung quanh giá trị trung bình m

∞

σ 2 = ( x − x ) 2 = ∫ ( x − x ) 2 f ( x )dx

(I.1.28)

Với phân bố rời rạc: phương sai E[(X-E(X)2]

(I.1.29)

−∞

M

σ 2 = ∑ xi 2 P( X = xi )

(I.1.30)

i =1

1.1.7. Độ lệch tiêu chuẩn σ: bằng căn bậc hai của variance
(I.1.31)

σ = σ2
Các tính chất cơ bản:
____

2

σ 2 = ( x − x ) 2 = x 2 − x = E(X2) – E2(X)

__

c=

∞

∞

−∞

−∞

∫ cf ( x)dx = c ∫ f ( x)dx = c , với c là hằng số

(I.1.32)
(I.1.33)

Giá trị trung bình của tín hiệu chính là thành phần một chiều của tín hiệu, moment bậc
hai của tín hiệu (giá trị trung bình của bình phương tín hiệu) chính là công suất tín hiệu,
phương trình (I.1.32) biểu diễn cách tính công suất của thành phần xoay chiều của tín
hiệu = công suất tín hiệu – công suất thành phần một chiều. σ là giá trị RMS của thành
phần xoay chiều.

Tách mù các thành phần độc lập

5

HVTH: Đặng Việt Hùng

Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

1.2 Các PDF và CDF thường gặp trong hệ thống thông tin:
1.2.1. Gauss hay hàm mật độ xác xuất chuẩn:
Hàm mật độ xác xuất Gauss được sử dụng nhiều để mô tả các hệ thống tin vô tuyến vì
hàm này cho ta đặt trưng đầy đủ của tạp âm nhiệt sinh ra do chuyển động ngẫu nhiên của
các điện tử. Hàm mật độ xác xuất Gauss cho bởi phương trình:
⎧ (x − μ) 2 ⎫
1
f(x)=
(I.1.34)
exp⎨−
⎬ -∞ < x < ∞
2σ 2 ⎭
2πσ 2
⎩
Trong đó μ là giá trị trung bình và σ2 là phương sai của biến ngẫu nhiên liên tục f(x)
hoặc một pdf. Trị số của hàm phân bố xác suất tích luỹ được xác định khi sử dụng
phương trình trên đó là:
F(x) = P(X≤x) =
Nếu đặt z =

x−μ

σ

x

1
2πσ 2

∫e

−

( x− μ )2
2σ 2

(I.1.35)

dx

−∞

ta sẽ có phân bố chuẩn khi σ =1
f(z)=

1
2π

−

e

z2
2

(I.1.36)

2

F(z)=

1
2π

z −z
e 2

∫

(I.2.37)

dx

−∞

0.4

PDF chuẩn

0.3
0.2
0.1
-4

-3

-2

-1

0

1

1

CDF chuẩn

2

3

4

2

3

4

0.8
0.6
0.4
0.2
-4

-3

-2

-1

0

1

Hình I.3: PDF chuẩn và CDF chuẩn
Một hàm thườøng dùng trong tính toán lý thuyết là hàm Q(z), là hàm được định nghóa dựa
trên phân bố chuẩn Gauss dùng để tính sai số với z ≥ 0.

Tách mù các thành phần độc lập

6

HVTH: Đặng Việt Hùng


Independent Component Analysis

Q(z) =

THD: PGS.TS. LÊ TIẾN THƯỜNG
∞

1
2π

∫e

− x2 / 2

dx = 1 - F(z) , z ≥ 0

(I.1.38)

z

Q(z) laø phần diện tích nằm dưới PDF Gauss tính từ z ra ∞. Với hàm erf(z) và erfc(z) được
định nghóa trong Matlab thì:
1
z
1⎡
z ⎤
Q(z)= erfc( ) = ⎢1 − erf ( )⎥
(I.1.39)
2
2⎣
2
2 ⎦
trong đó:

erfc(z) =

∞

2

−x
∫e

π

2

/2

dx và erf(z) =

z

2

π

z

∫e

− x2 / 2

dx

(I.1.40ab)

0

Phân bố Gauss 2 chiều cũng có dạng tương tự, nếu vẽ phân bố Gauss 2 chiều ta có thể

tưởng tượng như hình một cái nón. Với giới hạn của đề tài, không cần thiết phải đề cập
đến phân bố Gauss nhiều hơn 2 chiều, mọi phương án xử lý liên quan cũng chỉ gói gọn
trong phân bố Gauss một chiều.
1.3 Định lý giới hạn trung tâm:
Định lý: Nếu các biến ngẫu nhiên độc lập với nhau thì hàm mật độ xác suất của tổng
các pdf của chúng có xu hướng trở thành Gauss, các hàm mật độ xác suất các biến có
thể không phải là Gauss. Hàm mật độ xác suất có trị trung bình bằng tổng các giá trị
trung bình độc lập, có phương sai bằng tổng các phương sai độc lập.
Hàm mật độ xác suất chung được xem như tích chập của các hàm mật độ độc lập:
f ( x) = f1 ( x) * f 2 ( x) * ... * f n ( x)
(I.1.41)
Hàm phân bố của hai biến không độc lập:
∞

F ( x, y ) = P ( X ≤ x, Y ≤ y ) =

∞

∫ ∫ f (u, v)dudv

(I.1.42)

−∞ −∞

Với định lý trung tâm, ta có thể suy ra rằng tín hiệu phụ thuộc vào các thành phần độc lập
có phân bố gần phân bố Gauss:

ej

ei

Hình I.4: Tín hiệu hai
chiều tổ hợp tuyến tính,
được xây dựng từ hai
biến có phân bố đều.

Tách mù các thành phần độc lập

7

HVTH: Đặng Việt Hùng


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

Hình (I.4) mô tả phân bố xác suất của tín hiệu tổ hợp từ 2 thành phần độc lập. Hình cho ta
khái niệm ban đầu về tính Gauss của tín hiệu mà ICA sẽ xử lý. Với số biến càng nhiều
thì tính Gauss của tín hiệu sinh ra từ cơ sở là các thành phần độc lập sẽ có tính Gauss
càng lớn (định lý giới hạn trung tâm phát biểu rằng khi số biến độc lập tiến tới vô hạn thì
phân bố của tổng các thành phần độc lập là phân bố Gauss)
Ta có thể xét tín hiệu là tổ hợp tuyến tính ba chiều để thấy rõ điều này:

ej

ek
ei
O

Hình I.5: Hình chiếu của tín hiệu 3 chiều, là tổ hợp tuyến tính được xây
dựng từ ba biến có phân bố xác suất đều, trong mặt phẳng tọa độ và phân
bố xác suất của 1 chiều theo ei.
Hình trên cho thấy tín hiệu 3 chiều của tổ hợp tuyến tính 3 thành phần độc lập khiến mỗi
chiều có xu hướng tiến tới phân bố Gauss một cách rõ nét. Các phân bố khác phân bố
đều cũng cho kết quả tương tự, do định lý giới hạn trung tâm không phân biệt các loại
phân bố, tổng của các biến độc lập của các phân bố bất kỳ đều cho phân bố Gauss.
Hình (I.5) chỉ mô tả một chiều đơn cử, các chiều còn lại cũng như vậy, đều cho phân bố
có xu hướng rất gần phân bố Gauss. Rõ ràng tín hiệu đa chiều là tổ hợp của các thành
phần độc lập mang tính phụ thuộc, nghóa là mỗi chiều đều là tổng của các thành phần độc
lập, do đó mỗi chiều sẽ cho phân bố Gauss. Điều này rất quan trọng trong ICA, các tiêu
chuẩn đánh giá tính phụ thuộc đều dựa trên tính “Nongausss”, nghóa là đối với các tín
hiệu đa chiều, mỗi chiều càng ít tính Gauss thì tính độc lập càng cao.

Tách mù các thành phần độc lập

8

HVTH: Đặng Việt Hùng


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

Chương 2

Không gian vector, không gian Euclid
và ánh xạ tuyến tính[7]
2.1 Khái niệm không gian vector:

Định nghóa: Xét tập V khác rỗng mà mỗi phần tử ta quy ước gọi là một vector và
trường số thực R. Giả sử trong V ta định nghóa được hai phép toán: phép cộng hai
vector và phép nhân một vector với một số thực.
Phép cộng hai vector là một luật hợp thành trên V cho phép tạo ra từ một cặp vector
x, y ∈ V một vector duy nhất gọi là tổng của chúng, kí hiệu là x + y .
Phép nhân một vector với một số, còn gọi là phép nhân với vô hướng, là một luật hợp
thành ngoài trên V cho phép tạo ra từ một vector x ∈ V và một số thực k ∈ R một
vector duy nhất gọi là tích của chúng, kí hiệu là kx .
Nếu 10 yêu cầu sau được thỏa mãn với mọi x, y, z ∈V và mọi k, l ∈ R thì tập V được gọi
là một không gian vector trên trường R.
(1) Nếu x, y ∈ V thì x + y ∈ V
(2) x + y = y + x, ∀x, y ∈ V
(3) x + ( y + z ) = ( x + y ) + z , ∀x, y , z ∈ V
(4) Toàn taïi vector θ ∈ V sao cho
θ + x = x + θ = x, ∀x ∈ V
phần tử θ được gọi là phần tử trung hòa của phép + (hay của V )
(5) Với mỗi x ∈ V tồn taïi vector − x ∈ V sao cho
x + ( − x) = ( − x ) + x = θ
phần tử − x được gọi là phần tử đối xứng (hay phần tử đối) của x
(6)Nếu k ∈ R và x ∈ V thì kx ∈ V
(7) k ( x + y ) = kx + ky
(8) (k + l ) x = kx + lx
(9) k (lx) = (kl ) x
(10) 1.x = x

(I.2.1)
(I.2.2)
(I.2.3)
(I.2.4)

(I.2.5)
(I.2.6)
(I.2.7)
(I.2.8)
(I.2.9)
(I.2.10)

10 yêu cầu này được gọi là 10 tiên đề của không gian vector. Có nhiều ví dụ thỏa mãn 10
tiên đề do đó được coi là không gian vector, nhưng ở đây ta chỉ xét không gian vector chủ
yếu là không gian Euclic.
Từ đây dẫn đến một số tính chất đầu tiên của không gian vector:
(a) Phần tử trung hòa θ là duy nhất
(b) Phần tử đối xứng của x ∈ V bất kỳ cũng là duy nhất

Tách mù các thành phần độc lập

9

HVTH: Đặng Việt Hùng


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

(c) ∀x ∈ V ta đều có 0 x = θ
(d) ∀x ∈ V ta đều có − x = (−1) x

(I.2.11)
(I.2.12)

(e) ∀k ∈ R ta đều có kθ = θ
(I.2.13)
(f) ∀x ∈ V , và ∀k ∈ R ta có:
(I.2.14)
Nếu kx = θ thì hoặc k = 0 hoặc x = θ
2.2 Không gian con và hệ sinh:
2.2.1 Định nghóa không gian con:
Định nghóa: V là một không gian vector với hai phép tính: cộng vector và nhân vector
với một số, W là một tập con của V . Nếu với hai phép tính trên, W cũng là một
không gian vector thì W được gọi là không gian con của V .
2.2.2 Tổ hợp tuyến tính của một họ vector:
Định nghóa: V là một không gian vector, S là một họ vector của V :
S = {x1 , x2 ,..., xn }
Biểu thức c1 x1 + c1 x2 + ... + cn xn , với ci = const ∈ R được gọi là một tổ hợp tuyến tính của
các vector họ S , hay tổ hợp tuyến tính của họ S .
2.2.3 Không gian con sinh bởi một họ vector:
Định nghóa: V là một không gian vector, S = {x1 , x2 ,..., xn } là một họ vector của V . Ta
gọi tất cả những tổ hợp tuyến tính của các vector S , kí hiệu là span ( S )
Khi đó ta có
Định lý: W = span(S ) là một không gian con của V
Trường hợp W trùng với V , sẽ dẫn đến khái niệm hệ sinh trong không gian vector:
2.2.4 Định nghóa hệ sinh của không gian vector
Định nghóa: V là một không gian vector, . Nếu span( S ) = V , tức là nếu ∀x ∈ V đều
có thể biểu diễn
x = c1 x1 + c1 x2 + ... + cn xn ,
(I.2.15)
thì ta nói họ S sinh ra V hay họ S là một hệ sinh của V .
Ví dụ a: Trong R2 xét i = (1,0) và j = (0,1) . Mọi x ∈ R2 có dạng x = ( x1 , x2 ) đều
có thể được viết như sau:

x = ( x1 , x2 ) = x1 (1,0) + x2 (0,1) = x1i + x2 j
Vậy họ {i, j} sinh ra R2 hay họ {i, j} là một hệ sinh của R2.

Ví dụ b: Xét x = (1,2) ∈ R2, mọi tổ hợp tuyến tính của x có dạng cx, c ∈ R. Vậy neáu
y = ( y1 , y2 ) ∈ span( x) = {cx} thì có ( y1 , y 2 ) = c(1,2) , suy ra y 2 = 2 y1 .
y
e2
Đó là đường thẳng đi qua gốc tọa độ. Vậy
2
span (1,2) chỉ là một đường thẳng đi qua gốc tọa
độ mà không sinh ra cả R2.

1

e1

Tách mù các thành phần độc lập

10

HVTH: Đặng Việt Hùng


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

Ví dụ c: Xét x = (1,2), y = (1,1) ∈ R2. Ta thử xét xem họ {x, y} có sinh ra R2 không:
Ta xét z = ( z1 , z 2 ) bất kì của R2 và đi tìm a và b thuộc R để có z = ax + by , nghóa
là:

( z1 , z2 ) = a(1,2) + b(1,1) = (a + b,2a + b)
⎧ a + b = z1
hay ⎨
,
⎩2a + b = z 2

hệ thức này luôn có nghiêm do định thức

1 1
2 1

= −1 ≠ 0 luôn có nghiệm.

Vậy họ {x, y} là một hệ sinh của R2.
2.3 Họ vector độc lập tuyến tính và phụ thuộc tuyến tính
Định nghóa: V là một không gian vector, S = {x1 , x2 ,..., xn } ⊂ V . Xeùt điều kiện:
(I.2.16)

c1 x1 + c1 x2 + ... + cn xn = θ

Nếu (I.2.16 ) xảy ra khi c1 = 0, c2 = 0,...cn = 0 thì ta nói S độc lập tuyến tính.
Nếu tồn tại các số thực c1 , c2 ,...cn không đồng thời bằng 0 để thỏa mãn (I.2.16) thì ta
nói họ S phụ thuộc tuyến tính.
Do đó ta có thể suy ra rằng nếu họ S phụ thuộc tuyến tính thì trong họ S có ít nhất một
vector biểu diễn được thành một tổ hợp tuyến tính của các vector còn lại (giả sử S có số
vector lớn hơn hoặc bằng 2).
2.4 Không gian hữu hạn chiều và cơ sở của nó
2.4.1 Khái niệm về không gian n chiều:
Đinh nghóa: không gian vector V được gọi là không gian n chiều ( 1 ≤ n nguyên) nếu
trong V tồn tại n vector độc lập tuyến tính và không tồn tại quá n vector độc lập

tuyến tính.
- Khi đó số chiều của không gian V là n và kí hiệu của nó là dim( V ).
- Tập {θ } chỉ gồm một phần tử θ của không gian bất kì cũng là một không gian
vector, với số chiều bằng 0.
- Các không gian n chiều, n ≥ 0 , gọi là không gian hữu hạn chiều, ngược lại, nếu
trong V có thể tìm được một số bất kì các vector độc lập tuyến tính thì ta nói V là
không gian vô hạn chiều. Ở phạm vi đề tài, ta chỉ đề cập đến không gian hữu hạn
chiều.
Ví dụ: Xét không gian R3, trong đó 3 vector không đồng phẳng thì độc lập tuyến
tính, 4 vector bất kì trong R3 thì phụ thuộc tuyến tính, ta có thể kết luận rằng
dim(R3) = 3.
2.4.2 Cơ sở của không gian n chiều
Trong không gian n chiều, số vector độc lập tuyến tính có thể có không vượt quá n. từ
đó ta đi đến định nghóa sau:
Định nghóa: Trong không gian n chiều V , mọi họ gồm n vector độc lập tuyến tính gọi là
một cơ sở của V .1

Tách mù các thành phần độc lập

11

HVTH: Đặng Việt Hùng


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

Ví dụ: trong không gian R3, trong đó 3 vector không đồng phẳng thì tạo nên một
cơ sở cho R3.

Đây một trong những khái niệm cơ bản và cũng rất quan trọng trong việc xét các mô hình
toán của ICA. Ta sẽ đi sâu hơn về tính chất của chúng:
2.4.3 Những tính chất về cơ sở và số chiều
Định lý: Giả sử V là một không gian vector, S = { f1 , f 2 ,.. f k } là một họ gồm k vector
của V . Nếu S sinh ra V và độc lập tuyến tính thì V là không gian k chiều và S là
một cơ sở của V .
Ví dụ: Trong R2 xét i = (1,0) và j = (0,1) . Mọi x ∈ R2 có dạng x = ( x1 , x2 ) đều có
thể được viết: x = ( x1 , x2 ) = x1 (1,0) + x2 (0,1) = x1i + x2 j , vaäy {i, j} sinh ra R2 do đó

dim(R2)=2. Họ {i, j} là một cơ sở (đây là một cở sở trực giao)
Định lý: Nếu V là không gian k chiều và S là một cơ sở thì ∀x ∈ V có biểu diễn duy
nhất:
x = c1 f 1+c2 f 2 + ... + ck f k
(I.2.17)
Ngược lại, nếu ∀x ∈ V có biểu diến duy nhất như (I.2.17): x = c1 f 1+c2 f 2 + ... + ck f k thì
V là không gian k chiều và S là một cơ sở.
Khi V là không gian k chiều và S = {u1 , u 2 ,..., u n } ⊂ V , ta hãy tìm điều kiện để S

độc lập tuyến tính, tức là điều kiện để S là một cơ sở của V.
Giả sử B = {v1 , v2 ,..., vn } là một cơ sở nào đó của V và u j ( j = 1,2,..., n) có phân
tích là:

u j = u1 j v1 + u 2 j v2 + ... + u nj vn

(I.2.18)

điều kiện để họ S độc lập tuyến tính là dẳng thức c1u1 + c2 u 2 + ... + cn u n = 0 xaûy ra
chæ khi c1 = 0, c2 = 0,...cn = 0 . Với cách phân tích u j như trên, điều này tương
đương với hệ
Ac = 0 có nghiêm tầm thường. Trong đó

⎡ c1 ⎤
⎡u11 u12 ... u1n ⎤
⎢c ⎥
⎥
⎢u
u 22 ... u 2 n ⎥
A = ⎢ 21
,c = ⎢ 2 ⎥
(I.2.19)
⎢ ... ⎥
⎢ ... ... ... ... ⎥
⎢ ⎥
⎥
⎢
⎣c n ⎦
⎣u n1 u n 2 ... u nn ⎦
Vaäy ta có định lý:
Định lý: điều kiện cần và đủ để các u i trong S độc lập tuyến tính là det( A) ≠ 0.
Đây là định lý rất quan trọng, là nền tảng cho các công thức chuyển cơ sở cũng như xét
xem một họ vector có độc lập tuyến tính hay không.
2.5 Tích vô hướng và không gian có tích vô hướng
2.5.1 Nhắc lại tích vô hướng của hai vector hình học
r
r r
r
Tích vô hướng của hai vector a và b là một số thực, kí hiệu là a , b , (xác định bởi

Tách mù các thành phần độc lập

12

HVTH: Đặng Việt Hùng


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

r r
r r
r r
a , b = a . b cos(a , b ) trong không gian Rn)
(a)
(b)
(c)
(d)
(e)

Các tính chất của tích vô hướng trong không gian Rn:
r
r r
r
a , b là một số xác định với mọi vector a và b (cụ thể ở đây là số thực)
r r
r r
a, b = b , a
r r
r r r
r r
a + b , c = a, c + b , c

r r
r r
ka , b = k a , b
r r
r
r r
a , a ≥ 0 , vaø a , a = 0 ⇔ a = θ
Từ định nghóa của tích vô hướng của 2 vector ta cuõng suy ra:
r
r r
a = (a , a )

(I.2.20)
(I.2.21)
(I.2.22)

(I.2.23)
(I.2.24)

Từ đó, người ta chứng minh được các biểu thức tọa độ của tích vô hướng:
Trong R2, nếu a = (a1 , a2 ), b = (b1 , b2 ) thì
r r
a , b = a1b1 + a2b2
(I.2.25)
Trong R3, neáu a = (a1 , a2 , a3 ), b = (b1 , b2 , b3 ) thì
r r
a , b = a1b1 + a 2 b2 + a3b3

(I.2.26)

Tổng quát trong Trong Rn, neáu a = (a1 , a2 ,..., a n ), b = (b1 , b2 ,..., bn ) thì
r r
a , b = a1b1 + a2 b2 + ... + an bn

(I.2.27)

2.5.2 Tích vô hướng trong không gian vector và không gian có tích vô hướng
Nó là suy rộng của khái niệm tích vô hướng của hai vector hình học.
Định nghóa: V là một không gian vector, u và v là hai vector của V . Tích vô hướng
của u và v là một số thực, kí hiệu là u, v , thỏa mãn các tính chất sau gọi là các tiền
đề của tích vô hướng.
(a) u, v là một số xác định với mọi vector u vaø v ∈ V
(b) u, v = v, u

(I.2.28)

(c) u + v, w = u , w + v, w

(I.2.29)

(d) ku, v = k u , v

(I.2.30)

(e) u , u ≥ 0 , vaø u, u = 0 ⇔ u = θ

(I.2.31)

Không gian vector V có trang bị tích vô hướng gọi là không gian có tích vô hướng.
Không gian n chiều có tích vô hướng được gọi là không gian Euclid, neáu:

r r
a = (a1 , a2 ,..., a n ), b = (b1 , b2 ,..., bn ) thì tích vô hướng a , b = a1b1 + a2 b2 + ... + an bn được
gọi là tích vô hướng Euclid trong Rn.
2.5.3 Độ dài của vector:
a/ Định nghóa: V một không gian vector có tích vô hướng và u ∈ V thì số không âm
được xác định bởi:

Tách mù các thành phần độc lập

13

HVTH: Đặng Việt Hùng


Independent Component Analysis

u = u ,u

THD: PGS.TS. LÊ TIẾN THƯỜNG
1

(I.2.32)

2

gọi là độ dài của vector u . Cần chú ý rằng độ dài của u cũng còn được gọi là chuẩn
của u , trong Matlab có hàm tính chuẩn của một vector a là norm(a).
Do đó trong Rn, u = (u1 , u 2 ,..., u n ) , ta coù:

u = u, u

1

2

2

2

= u1 + u 2 + ... + u n

2

(I.2.33)

được gọi là độ dài Euclid của u ∈ Rn.
b/ Bất đẳng thức Cauchy – Schwarz (C–S)
Nếu u và v là hai vector trong một không gian có tích vô hướng thì có bất đẳng thức
Cauchy – Schwarz:
u, v ≤ u . v
(I.2.34)
c/ Tính chất của độ dài: Độ dài của vector có các tính chất sau:
- u ≥0

(I.2.35)

- u = 0 ⇔ u =θ

(I.2.36)

- ku = k . u

(I.2.37)

- u +v ≤ u + v

(I.2.38)

Từ bất đẳng thức tam giác này có thể suy ra:
u−v ≤ u−w + v−w

(I.2.39)

2.5.4 Sự vuông góc của hai vector:
Định nghóa: Trong một không gian có tích vô hướng, hai vector u và v được gọi là
trực giao nếu u, v = 0 . Hơn nữa, nếu u trực giao với mọi vector của một họ W thì ta
nói u trực giao với W .
Cần chú ý rằng sự trực giao của hai vector định nghóa như vậy sẽ phụ thuộc định nghóa
của tích vô hướng. Hai vector cho trước có thể trực giao theo tích vô hướng này mà không
theo tích vô hướng khác.
Trong lý thuyết thông tin, khái niệm trực giao có ý nghóa rằng thông tin của vector thông
tin này và thông tin của vector thông tin kia là bán độc lập với nhau, giữa hai tin không có
sự dư thừa về lượng tin, nghóa là tin này không mang thêm bất cứ phần tin nào của tin kia.
Tính toán tích vô hướng giữa các vector thông tin đều dựa trên tích vô hướng Euclid.
2.5.5 Họ vector trực giao:
a/ Định nghóa: Một họ vector trong không gian có tích vô hướng gọi là một họ trực
giao nếu bất kì hai vector khác nhau nào của họ cũng trực giao.
Khi đó ta có định nghóa mới: Một họ vector trực giao trong đó mọi vector đều có
chuẩn bằng 1 được gọi là một họ trực chuẩn.
Ví dụ: Xét các vector sau trong R3:

1
1
1
1
v1 = (0,1,0) ; v2 = (
,0,
) , v3 = (
,0,−
)
2
2
2
2

Tách mù các thành phần độc lập

14

HVTH: Đặng Việt Hùng


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

Suy ra họ S = {v1 , v2 , v3 } trong R3 với tích vô hướng Euclid là một họ trực chuẩn,
điều này có thể được kiểm tra dễ dàng.
b/ Chuẩn hóa một vector:
Nếu v là một vector khác vector không trong không gian có tích vô hướng thì
v

u=
Vector
(I.2.40)
v
có chuẩn là 1.
Thật vậy:

v
v
=
= 1 , quá trình chuẩn hóa một vector rất đơn giản nhưng cần thiết để
v
v

biến một họ độc lập tuyến tính thành một họ trực chuẩn. Ta sẽ phải dùng công đoạn này
trong các vòng lặp của ICA.
2.5.6 Quá trình trực giao hóa Gram–Smidt:
Định lý: V là một không gian có tích vô hướng, S = {u1 , u 2 ,..., u n } là một họ vector độc
lập tuyến tính của V . Ta có thể thay S bằng họ trực chuẩn
S ' = {v1 , v2 ,..., vn }

(I.2.41)

sao cho span ( S ) = span ( S ' ) .
Ta sẽ chứng minh rằng ta làm được điều này bằng một cách, gọi là quá trình trực
giao hóa Gram–Smidt, quá trình này thực ra đồng thời tạo ra một họ trực chuẩn:
Bước 1:
u
Ta đặt v1 = 1
(I.2.42)

u1
Như vậy v1 = 1 và span( S1 ) = span( S '1 )
Bước 2: Tìm v2 sao cho họ {v1 , v2 } trực chuẩn
Muốn vậy ta đặt
v2 = u 2 + tv1
và chọn t sao cho v2 , v1 = 0 , tức là: u 2 + tv1 , v1 = 0

u 2 , v1 + t v1 , u1 = 0
suy ra t = −

u 2 , v1
v1

2

= − u 2 , v1

(I.2.43)

v2 = u 2 − u 2 , v1 v1

Sau đó chuẩn hóa vector vừa tìm được:
v
v2 = 2
v2

(I.2.44)

Đương nhiên v2 = u 2 − u 2 , v1 v1 ≠ θ vì nếu v2 = u 2 − u 2 , v1 v1 ≠ θ thì

Tách mù các thành phần độc lập

15

HVTH: Đặng Việt Hùng


Independent Component Analysis

u 2 = u 2 , v1 v1 =

THD: PGS.TS. LÊ TIẾN THƯỜNG

u 2 , v1
u1

u1 , nghóa là u1 và u 2 không độc lập tuyến tính, điều

này trái giả thiết.
Vậy ta đi đến kết luận: span( S 2 ) = span( S '2 )
Bước 3: Giả sử đã xây dựng được k − 1 vector trực chuẩn, (lúc này k − 1 ≥ 2 ),
nghóa là xây dựng được họ S ' k −1 = {v1 , v2 ,..., vk −1} maø
span( S k −1 ) = span( S ' k −1 )

Việc cần làm tiếp là xây dựng vk để cho họ S 'k = {v1 , v2 ,..., vk −1 , vk } laø một
họ trực chuẩn và span( S k ) = span( S ' k ) . Muốn vậy ta đặt:
vk = u k + t1v1 + t 2 v2 + ... + t k −1vk −1 và chọn các t i , i = 1,..., k − 1 , sao cho
vk , vi = 0 , i = 1,2,..., k − 1
⇔ u k , vi + t i vi , vi = 0 , i = 1,2,..., k − 1
⇒ t i = − u k , vi , i = 1,2,..., k − 1

Từ đó vk được xác định:
vk = u k − u k , v1 v1 − u k , v2 v2 − ... − u k , vk −1 vk −1

(I.2.45)

Chứng minh tương tự, cũng như ở bước 2, vk không thể bằng θ
Chuẩn hóa vk vừa tìm được:
v
vk = k
vk

(I.2.46)

Quá trình này sẽ tiếp tục cho tới khi k = n , ta nói S ' có được từ S bằng
chuẩn hóa Gram–Smidt.
Quá trình trực giao hóa bao gồm cả quá trình chuẩn hóa, là một trong những công đoạn
quan trọng trong việc giải quyết bài toán ICA, công đoạn này được thực hiện trong những
vòng lặp sau mỗi lần tìm kiếm hướng mới cho một vector. Ta sẽ thấy rõ điều này ở
chương 4 của phần lý thuyết.
2.5.7 Tính độc lập tuyến tính của một họ vector trực giao:
Định lý: Nếu S = {u1 , u 2 ,..., u n } là một họ trực giao các vector khác vector không trong
một không gian có tích vô hướng thì S là độc lập tuyến tính.
Từ định lý này, ta suy ra một định lý hệ quả và một định nghóa quan trọng sau:
Định lý hệ quả: Trong một không gian Euclid n chiều, mọi hoï S = {u1 , u 2 ,..., u n } gồm n
vector khác vector không mà trực giao đều là một cơ sở của không gian đó.
Trong đó, cơ sở đó là cơ sở trực giao của không gian Euclid. Nếu đồng thời độ dài của
mỗi vector ui bằng 1 nữa thì nó là cơ sở trực chuẩn của không gian Euclid.
2.5.8 Sự tồn tại cơ sở trực chuẩn trong không gian Euclid n chiều.
Định lý: Trong mọi không gian Euclid n chiều khác {θ } đều tồn tại ít nhất một cơ sở

trực chuẩn.

Tách mù các thành phần độc lập

16

HVTH: Đặng Việt Hùng


Independent Component Analysis

THD: PGS.TS. LÊ TIẾN THƯỜNG

Ta có thể kiểm chứng định lý này một cách dễ dàng, giả sử V là một không gian Euclid n
chiều khác rỗng và S = {u1 , u 2 ,..., u n } là một cơ sở bất kỳ của V . Áp dụng quá trình trực
giao hóa Gram–Smidt, ta sẽ được họ trực chuẩn gồm n vector.
Định lý: Nếu S ' = {v1 , v2 ,..., vn } là một cơ sở trực chuẩn của một không gian Euclid V n
chiều thì với mọi u ∈ V ta có
u = u , v1 v1 + u , v2 v2 + ... + u, vn vn

(I.2.47)

Ví dụ: cho một họ trực chuẩn gồm:
4 3
3 4
v1 = (0,1,0) , v2 = (− ,0, ) , v3 = ( ,0, )
5 5
5 5
Biểu diễn vector u = (1,1,1) thành tổ hợp tuyến tính của các vector của họ đã cho
như sau:

1
7
Ta có: u , v1 = 1 , u, v2 = − , u, v3 =
5
5
Vậy theo định lý vừa nêu thì:
1
7
u = u, v1 v1 + u, v2 v2 + u , v3 v3 = v1 − v2 + v3
5
5
1 7
Ta cũng có thể thấy rằng tọa độ (1,− , ) chính là tọa độ của vector u trong
5 5
không gian mới. Các tích vô hướng u, v1 , u, v2 , u , v3 chính là độ lớn của hình

chiếu của u ` lên từng trục tọa độ của không gian mới. Đây là nền tảng cơ bản cho
bài toán đổi cơ sở được đề cập ở phần sau.
2.5.9 Hình chiếu của một vector lên một không gian con:
Định nghóa: Ta gọi a1 là hình chiếu trực giao của u lên W = {w1 , w2 ,..., wk } , kí hiệu

hchW u , khi đó
(I.2.48)

a1 = hchW u = u , w1 w1 + u, w2 w2 + ... + u , wk wk
còn w2 = w1 − hchW u

(I.2.49)

gọi là thành phần của u trực giao với W .

u
a2

a1

W
Hình I.6: Hình chiếu của một vector lên một không gian
con và thành phần của nó vuông góc với không gian đó.
Tách mù các thành phần độc lập

17

HVTH: Đặng Việt Hùng