BÀI tập lớn đề bài NGHIÊN cứu THUẬT TOÁN ICA và ỨNG DỤNG ước LƯỢNG độ sâu ẢNH mặt NGƯỜI

BỘ MÔN LÝ THUYẾT MẠCH ĐO LƯỜNG
MÔN HỌC KỸ THUẬT XỬ LÝ ẢNH

BÀI TẬP LỚN
ĐỀ BÀI:
NGHIÊN CỨU THUẬT TOÁN ICA VÀ ỨNG DỤNG ƯỚC
LƯỢNG ĐỘ SÂU ẢNH MẶT NGƯỜI

Giáo viên hướng

: Trung tá, PGS.TS Phạm Minh Nghĩa

dẫn Học viên

: Đại úy Ngô Trường Sơn

thực hiện Lớp

: Kỹ thuật Điện tử K33

Hà Nội, tháng 11 năm 2022



MỤC LỤC
I. NGHIÊN CỨU THUẬT TOÁN ICA (INDEPENDENT COMPONENT

ANALYSIS)................................................................................................................................................................................ 1
1.1. Giới thiệu về ICA..................................................................................................................................... 1
1.2. Phân tích thành phần độc lập (ICA)..................................................................... 3
1.3. Sự độc lập thống kê......................................................................................................................... 4

1.4. Ước lượng ICA........................................................................................................................................... 5
1.5. Tiền xử lý ICA............................................................................................................................................... 9
II. ỨNG DỤNG CỦA ICA VÀO ƯỚC LƯỢNG ĐỘ SÂU ẢNH MẶT
NGƯỜI.......................................................................................................................................................................................... 12
2.1. Xây dựng mơ hình cICA......................................................................................................... 12
2.2. Xây dựng mơ hình và khởi tạo ma trận hủy trộn.....................15
2.3. Tích hợp mơ hình cho nhiều hình ảnh khn mặt khơng nhìn trực diện
............................................................................................................................................................................................................. 18

2.4. Kết quả thực hiện............................................................................................................................... 19


DANH MỤC HÌNH VẼ
Hình 1. 1. Tín hiệu gốc........................................................................................................................................ 1
Hình 1. 2. Tín hiệu sau trộn....................................................................................................................... 2
Hình 1. 3. Tín hiệu phục hồi...................................................................................................................... 2
Hình 1. 4. Phân bố siêu Gauss............................................................................................................. 6
Hình 2. 1. Mơ hình CANDIDE-3 với 113 đỉnh và 168 bề mặt tam giác 12
Hình 2. 2. Vị trí của 22 điểm đặc trưng được đánh dấu trong cơ sở dữ liệu 17
Hình 2. 3. So sánh các tín hiệu tham chiếu dựa trên mơ hình CANDIDE và giá
trị độ sâu thực cho 4 khn mặt riêng biệt.............................................................. 17

Hình 2. 4. Lưu đồ của phương pháp tích hợp mơ hình......................18
Hình 2. 5. Hình ảnh khn mặt của một đối tượng dưới các tư thế khác nhau
trong cơ sở dữ liệu Bosphorus..................................................................................................... 20
Hình 2. 6. So sánh kết quả hoạt động của FastICA và cICA về mối tương quan.
Các điểm đánh dấu đại diện cho các mối tương quan trung bình và đường thẳng
đứng đi qua một điểm đánh dấu thể hiện phạm vi của hệ số tương quan tương ứng

21

Hình 2. 7. So sánh các hoạt động của FastICA có và khơng sử dụng ma trận
khơng trộn ban đầu.............................................................................................................................................. 22
Hình 2. 8. So sánh hiệu suất của gICA và cICA đối với các đối tượng khn mặt
khác nhau............................................................................................................................................................................... 22
Hình 2. 9. So sánh các hoạt động của gICA khi sử dụng và khơng sử dụng thao
tác làm trắng...................................................................................................................................................................... 23
Hình 2. 10. So sánh hiệu suất của thuật toán SM và cICA...........23
Hình 2. 11. Các đường cong lặp lại của các Đối tượng 1, 6, 11, 16, 21 và 26
bằng cách sử dụng mơ hình phương pháp tích hợp............................24

Hình 2. 12. So sánh hiệu suất của thuật toán cICA và cICA_MI 25
Hình 2. 13. Giá trị độ sâu thực và giá trị độ sâu ước lượng của đặc điểm khuôn

mặt có cơ sở dữ liệu Bosphorus................................................................................................ 25
Hình 2. 14. So sánh các hoạt động của thuật toán cICA dựa trên mơ hình ICA
q mức và bình thường........................................................................................................................... 27
Hình 2. 15. So sánh các hệ số tương quan c (MZb, Mzc) và c (Mxfn Mz) cho 30
đối tượng................................................................................................................................................................................ 27
Hình 2. 16. So sánh các hệ số tương quan thu được bằng cách sử dụng 4 thống
kê bậc nhất khác nhau với phương pháp tích hợp mơ hình cho 30 đối tượng 28
Hình 2. 17. Hệ số tương quan của Đối tượng 1,6, 11,16,21 và 26 thu được bằng
cách sử dụng phương pháp tích hợp mơ hình với số lượng mẫu khác nhau 29


DANH MỤC BẢNG BIỂU
Bảng 2. 1. Hệ số tương quan của gia trị độ sâu thực và giá trị ước lượng thu được

với hình ảnh khn mặt người khác nhau cho FastICA, gICA, SM, và cICA
.................................................................................................................................................................................................................... 24
Bảng 2. 2. Gía trị trung bình μ và độ lệch chuẩn σ thu được bằng 5 phương pháp

và hệ số lương quan cMzbzb,, Mzc của 105 đối tượng....................................30



1
I. NGHIÊN CỨU THUẬT TOÁN ICA
(INDEPENDENT COMPONENT
ANALYSIS)
1.1. Giới thiệu về ICA
Independent Component Analysis (phân
tích thành phần độc lập) là một phương pháp
thống kê được xây dựng để tách rời tín hiệu
nhiều chiều thành các thành phần tín hiệu độc lập
ẩn sâu bên dưới dữ liệu. Kỹ thuật này đòi hỏi
phải đặt ra giả thuyết tồn tại các nguồn tín hiệu bên
dưới nongaussianity và độc lập thống kê từng đôi
một. Thuật tốn ICA có nhiều ứng dụng rộng rãi
trong

nhiều bài tốn khác nhau như xử lý tín hiệu,
kinh tế học, sinh tin học,…
Ví dụ trong phịng mà trong đó có 3
người đang nói chuyện với nhau. Bạn dùng
3 micro, đặt tại 3 vị trí khác nhau. Các
microphone sẽ thu được 3 tín hiệu đồng
thời. Ta phải xác định được x1(t), x2(t) và
x3(t) với x1 ,x2, x3 là cường độ âm thanh, t
là thời gian. Chúng ta có thể biểu diễn nó
bằng hệ phương trình tuyến tính.

x1 ( t )=a11 s1 +a12 s2+
a13 s3
x2 ( t )=a21 s1 +a22
s2+a23 s3
x3 ( t )=a31 s1 +a32 s2+
a33 s3
a

,a

,a

,a

,a

,a

,a

,a

,a

Trroonng đó 11 12 13 21 22 23 31 32 33
là các chỉ số phụ thuộc vào khoảng cách từ


microphone đến người nói. Điều này rất tiện lợi
trong việc xấp

xỉ 3 nguồn tín hiệu gốc (tiếng nói của 3
người trong phòng ) s1 ( t) ,,s2 ( t ) s3 ( t ) từ
các tín hiệu thu được x1 ( t ) ,,x2 (t ) ,,x3 ( t) . Ví
dụ này được gọi là bài tốn cocktailparty. Theo thời gian ta có thể bỏ qua thời
gian trễ và nhiễu thêm vào từ mơ hình
trộn đơn giản.

Hình 1. 1. Tín
hiệu gốc


2

Hình 1. 2. Tín hiệu sau
trộn
Vấn đề ở đây là chúng ta cần
khơi phục lại tín hiệu gốc như như
hình 1.1 từ tín hiệu trộn như hình 1.2.
Nếu như chúng ta biết các hệ số aij, chúng ta
có thể giải hệ phương trình tuyến tính trên theo
phương pháp thơng thường và tìm đươc các tín
hiệu ban đầu. Tuy nhiên ở đây ta khơng biết các
hệ số aij do đó bài tốn trở nên phức tạp.

Kỹ thuật phân tích thành phần độc
lập ICA có thể xấp xỉ aij dựa trên các thơng
tin độc lập của chính tín hiệu đó. Điều này

cho phép chúng ta chia các tín hiệu gốc từ
tín hiệu đã trộn

x
1

(

t

)

,,x t
2

( )

,,x

t

3

( )

Hình 1. 3. Tín hiệu phục
hồi


3

1.2. Phân tích thành phần độc lập
x1 ,, x2 ,, x3 ,… xn

(ICA)
Để định nghĩa ICA ta có thể dùng mơ hình
thống kê “làm chậm biến số””latent varialbe”. Giả sử, ta quan sát n tổ hợp tuyến tính
của n

thành phần độc lập.
x j=a j1 s1 +a j 2 s2 +a
+…+a jn sn (1.1)

j 3

s3

Chúng ta bỏ qua chỉ số thời gian t (trong
mơ hình ICA), ta giả sử mỗi tổ hợp x j ứng với
mỗi thành phần độc lập sk là biến ngẫu nhiên,
thay cho tín hiệu
theo thời gian thících hợp. Giá trị quan x j (t ),
x1 ,, x2 ,, x3 ,… xn

những tín hiệu thu được từ microphone trong
bài tốn cocktail-party, là mẫu của biến số
ngẫu nhiên. Khơng mất tính tổng quát, ta giả
sử cả biến trộn lẫn và thành phần độc lập có
giá trị kỳ vọng bằng 0. Nếu thực tế khơng
đúng, có thể đưa các biến số quan sát x j về gía
trị trung tâm bằng cách trừ với kỳ vọng.

Điều đó rất thuận tiện khi dùng ký hiệu ma
trận vector thay cho dạng tổng như các công thức
trước đây. Điều này cho thấy với vector ngẫu nhiên
x, các
thành phần của nó là tổ hợp

các thành phần

tương tự như vector ngẫu nhiên s với

s,,s ,, s ,, … s
2

trận A với các phần tử

3

a

n

ij

. Chúng ta quan sát ma

. Tất
τ


x

cả các vector được
được hiểu như vector cột; do đó
là
chuyển vị của x ,là vector hàng, sử dụng ký hiệu ma trận
vector, mơ hình hỗn hợp ở trên sẽ được

viết lại là:

x= A s(1.2)

Điều đó có nghĩa là mơ hình a j có thể được viết
lại như sau
n

i=1

X

=∑ai si (1.3)

Mơ hình thống kê (1.2) được gọi là phân
tích các thành phần độc lập, hay mơ hình ICA. Mơ
hình ICA mơ tả cách thức tạo ra dữ liệu quan sát
bằng quá trình trộn các đối tượng si. Các đối
tượng độc lập là các biến số ẩn, có nghĩa là ta
khơng thể quan sát chúng một cách trực tiếp. Vì
vậy ma trận trộn cũng được
xem như là không biết. Tất cả những gì ta quan
sát được chỉ là vector ngẫu nhiên x, và chúng ta

phải dùng x để xấp xỉ cả Avà s. Điểm khởi đầu của
ICA là
sự thừa nhận rất đơn giản rằng các thành phần
si là độc lập thống kê. Tiếp theo chúng ta phải
thừa nhận các thành phần độc lập phải có phân
bố khơng Gauss. Tuy nhiên, ở mơ hình cơ bản
chúng ta khơng cần biết sự phân bố này. Một
cách đơn giản, chúng ta chỉ cần giả thiết ma trận
trộn chưa biết là ma trận vng. Sau đó ta xấp xỉ
ma trận A, chúng ta có thể tính ma trận ngược (là
W ), các thành phần độc lập có thể được tính
bằng cơng thức:
ICA cũng tương tự phương pháp
“phân chia nguồn mù” (BBS)

hoặc phân chia tín hiệu chưa
biết.”Nguồn” có nghĩa là các tín hiệu
gốc, là các thành phần độc lập,
tương tự như trong bài toán cocktail-


party.”Mù” có nghĩa là biết rất ít. ICA
là một phương pháp có thể được
ứng dụng rất rộng rãi trong việc trình
bày quá trình phân chia nguồn mù.


4
Trong nhiều ứng dụng, chúng ta giả
thiết có thêm nhiễu trong q trình đo đạc,

có nghĩa là phải thêm thành phần nhiễu vào
mơ hình tính tốn. Để đơn giản đơi khi ta có
thể bỏ qua thành phần nhiễu.

*Các điểm khơng xác định trong ICA:
Trong mơ hình ICA (1.2), chúng ta
có thể thấy các điểm không xác định
như sau:
- Chúng ta không thể xác định được thành
phần biến (số cột ma trận tương quan) của các
thành phần độc lập. Lý do là cả S và A đều không
được
biết, phép nhân vô hướng của nguồn si có thể
khử bằng cách chia cho cột tương ứng ai của A
với cùng hướng (1.3). Hệ quả, chúng ta phải
hiệu chỉnh biên độ của thành phần độc lập;
như ta biết, các ICA đều là các biến ngẫu nhiên,
cách đơn giản ta giả sử mỗi nguồn đều có
thành phần biến số đơn vị. Sau đó ma trận A sẽ
đáp ứng với phương pháp giải ICA để khắc
A P− 1

phục các hạn chế này. Ta có thể loại bỏ những
dấu hiệu bất định này: ta có thể nhân thành
phần độc lập với -1 mà không làm ảnh hưởng
đến mơ hình tính. Trong hầu hết các ứng dụng
yếu tố dấu khơng có nghĩa.

Chúng ta khơng thể xác định được thứ tự của các
thành phần độc lập. Lý

S

A

do là cả và đều khơng được biết, chúng ta có thể thay đổi
tùy ý trật tự của phép tính trong cơng thức (1.3), và có thể gọi
bất cứ thành phần độc lập nào là


thành phần đầu tiên. Ma trận hoán vị P và phép
biến đổi ngược của nó có thể được thay thế trong
công thức x= A P−1 PS. Các phần tử của PS là các
thành phần
biến độc lập gốc s j, nhưng theo thứ tự khác. Ma trận
được biết như là một

ma trận trộn mới chưa biết được dùng để
giải bài toán ICA.
1.3. Sự độc lập thống kê
1.3.1. Bất tương quan
Các phân bố xác suất đều giả sử có kỳ vọng
bằng 0. Nếu khơng phải như vậy thì ta trừ phân bố
với kỳ vọng của nó, đây là sự qui tâm (centering).
Để ý là hiệp phương sai (covariance) chính là tương
quan (correlation) khi kỳ vọng bằng

0. Đối với một vector ngẫuτ
Cx x=E {( x−mx) ( x−mx ) } (1.5)
vector trung bình. Hiệp phương sai
của hai vector ngẫu nhiênx1,, x2 (có kỳ

vọng bằng không) là:
Cx

1

=E

x2

{ x1 x2 }(1.6)

C =0
Khi x x hai vector bất tương quan
(uncorrelated). Đối với vector ngẫu nhiên x
khi các thành phần xi của nó bất tương
quan thì:
1

2

Cx x=D (1.7)

Trong đó D là ma trận chéo n×n,
với các phương sai của các thành
phần nằm trên đường chéo chính.
1.3.2. Độc lập thống kê


5
Tính bất tương quan nêu trên chưa đủ để

ước lượng các thành phần độc lập ICA. Ta cần một
đặc tính mạnh hơn, đó là sự độc lập thống kê,
nghĩa là khi biết một thành phần nào đó ta khơng
thể suy ra các thành phần còn lại. Xem hai vector
ngẫu nhiên x1 ,, x2 với hàm mật độ xác suất riêng biệt
p ( x1),, p ( x2 ) và hàm mật độ xác suất liên kết p ( x1 x2 )
là độc lập thống kê nếu và chỉ nếu khi thỏa mãn:

( x 1 x 2 )= p ( x 1 )
p ( x2 )
Khi có nhiều vector thì sự thừa
số hóa cũng tương tự.
p

Định nghĩa ở trên dẫn đến một đặc tính sau
của các biến ngẫu nhiên. Xem

( x1 )và f ( x2 )là biến đổi phi tuyến nào đó
trên hai vector ngẫu nhiên x1 và x2 có hàm
phân bố đã nói ở trên, thì có thể chứng
minh được:
f

{ f ( x1) f ( x2 ) }=E
{ f ( x1 ) } E { f ( x2 ) }
E

Như vậy sự độc lập là có thể thừa số hóa
tương quan phi tuyến. Đây là đặc tính quan trọng vì
nó giải thích và nhấn mạnh vai trị các phi tuyến

trong ICA. Khi đặt f ( x1 ) =x1 và f ( x2 ) =x2 ta thấy là sự
độc lập bao gồm luôn sự bất tương quan (nhưng
bất tương quan không đương nhiên là độc lập). Cụ
thể là ta giả sử s ở phương trình (1.2) là độc lập
thống kê nên các tín hiệu nguồn si là các thành phần
độc lập. Chính nhờ sự độc lập thống kê mà ta có
thể phân ly ra s từ


(1.2).
1.3.3. Phi Gauss là độc lập
Mơ hình ICA đặt ra một hạn chế là các
thành phần độc lập phải có tính

phi
Gauss (non-gaussianity), tức khơng có phân bố
(hàm mật độ xác suất) là Gauss.

Lý do tính phi Gauss nằm ở chổ là các
biến ngẫu nhiên Gauss được xác định hoàn
toàn bởi các thống kê bậc một (trị trung
bình) và bậc hai (phương sai), các thống kê
bậc cao hơn bằng 0. Như sẽ thấy ở sau, mơ
hình ICA cần các thống kê bậc cao hơn của
các thành phần độc lập để thực hiện sự
phân ly (ước lượng các thành phần độc
lập). Như vậy, sự phi tuyến, tính phi Gauss
dẫn đến sự độc lập thống kê.

1.3.4. Các giả sử trong mơ hình

ICA
Mơ hình ICA tuyến tính cơ bản đặt ra
địi hỏi các giả thiết sau cho việc phân ly
(ước lượng) các thành phần độc lập: Các
nguồns độc lập thống kê nhau, nghĩa là biết
được một nguồn khơng thể suy ra các nguồn
cịn lại.Các hàm phân bố xác suất của các
nguồn có kỳ vọng bằng 0. Khơng có nguồn
(thành phần độc lập) nào có phân bố Gauss
(thật ra mơ hình cho phép có tối đa một thành
phần có phân bố Gauss)

Ma trận trộn A là ma trận vuông tức
số lượng nguồn và số lượng trộn bằng
nhau. Nếu khơng phải vậy, bài tốn sẽ
khó hơn.


1.4. Ước lượng ICA
Ước lượng ICA là một công việc
khá chi li. Người ta đã phát triển nhiều
cách để giải quyết bài tốn ở phần 1:
- Cực đại hóa tính phi Gauss
(nongaussianity)


6
-

-

Ước lượng khả năng cực đại
(maximum likelihood)
Cực tiểu hố thơng tin hỗ tương
(mutual information)…

Trong các phương pháp, trước tiên định ra
một hàm đối tượng (objective function), còn gọi
hàm trị giá (cost function), rồi dùng một thuật
tốn tối ưu hóa để cực đại hóa hoặc cực tiểu
hóa (nói chung là cực đại hóa trị tuyệt đối) hàm
đối tượng này để ước lượng các thành phần độc
lập.
Theo định lý giới hạn trung tâm (central
limit theorem), tổng của nhiều biến ngẫu nhiên có
phân bố gần Gauss hơn bất cứ biến ngẫu nhiên
gốc nào. Ở
mơ hình ICA (1.2) vector ngẫu nhiên x gồm các
biến ngẫu nhiên là trộn tuyến tính của các vector
biến ngẫu nhiên nguồn s. Các nguồn được giả
sử độc lập nhau nhưng khi trộn lại (cộng nhau)
thì các trộn trở nên gần Gauss hơn. Nếu việc
trộn được đảo ngược lại theo cách nào đó thì
các tín hiệu nhận được sẽ ít Gauss hơn. Do đó
ước lượng ICA nhắm đến cực tiểu hóa tính
Gauss tức cực đại hóa tính phi Gauss bởi vì
điều này sẽ cho ta các thành phần độc lập.

1.4.1. Đo tính phi Gauss bằng kurtosis
Đầu tiên là phép đo dựa trên

kurtosis của một biến ngẫu nhiên y có
kỳ vọng bằng 0 là cumulant bậc bốn:
kurt
1.10( y )=E

(

)

{ y 4 }−

3

E

{( y

2

)2

}


Thật ra vì ta giả sử y có phương sai đơn
vị, nên kurtosis là:
kurt ( y)=E { y 4 }−3
Tức là kurtosis là phiên bản chuẩn hóa của
momen thứ tư E { y4 }. Khi y có phân bố Gauss momen
thứ tư bằng 3 E {( y2 )2 } nên kurtosis bằng 0 đối với

các biến ngẫu nhiên Gauss. Hầu hết các biến ngẫu
nhiên không phải Gauss kurtosis khác
1.
Nếếu kuurrttoossiis là dưươơnng biiếến nggẫẫu

nhhiiêên có phhâân bố siiêêu Gaauusss
(supergaussian), cịn nếu kurotsis là âm thì biến
ngẫu nhiên có phân bố dưới Gauss (subgaussian).
Phân bố siêu Gauss khơng cịn dạng hình chuông
như Gauss mà tăng nhanh ở trung tâm tương tự
như phân bố Laplace, cịn phân bố
dướibiên
độGaussrấtnhỏkhơngởxanhơtrunglêntâmởphần.HìnhgiữadướinhưđâyGaussthểhiệnmà
rõtiếnđiềuđếnđóphân. bố đều với

Hình 1. 4. Phân bố siêu
Gauss


7
Việc đo tính phi Gauss bằng kurtosis
có vài bất lợi khi các giá trị của nó được tính
từ các mẫu quan sát được, vì kurtosis rất bị
ảnh hưởng bởi các trị biên (outlier) quan sát
được ở hai đuôi của phân bố.

1.4.2. Đo tính phi Gauss bằng
Negentropy
Một số đo tính phi Gauss quan trọng hơn là
negentropy. Negentropy là đại lượng dựa trên lý

thuyết thông tin gọi là entropy vi sai. Entropy của
một biến

ngẫu nhiên là số đo lượng thông tin trung bình
của nó. Càng ngẫu nhiên, các biến càng khơng
có cấu trúc thì entropy càng lớn. Các biến chặt
chẽ entropy

càng gần chiều dài mã hóa của biến
ngẫu nhiên.
Entropy (vi sai) H của vector ngẫu
nhiên y có hàm phân bố f ( y ) định
nghĩa như sau:
H ( y )=−∑ P ( y =ai )
logP( y=ai)

Trong đó ai là giá trị có thể có của y.
Đây là định nghĩa nổi tiếng dùng để tổng
hợp cho các biến hay các vector ngẫu
nhiên có giá trị liên tục, trong trường
hợp đó thường gọi là entropy vi phân.
Entropy vi phân của vector ngẫu nhiên y
với mật độ f ( y ):

∫

H ( y )=− f ( y )log f
( y )d y

Đặc tính quan trọng của entropy là biến
ngẫu nhiên Gauss có entropy lớn nhất trong
các biến ngẫu nhiên có cùng phương sai. Như
vậy entropy, và negentropy định nghĩa theo
entropy, có thể dùng để đo tính phi Gauss của
một biến ngẫu nhiên. Thực tế, điều đó chỉ ra
rằng phân bố Gauss là “ngẫu nhiên nhất” hay
ít cấu trúc nhất trong tất cả phân bố.
Entropy là nhỏ, trong đó các phân bố hầu
như chỉ tập trung trong một số giá trị nhất định,
biến số hội tụ, hay hàm mật độ phân bố có dạng
nhọn.
Để có được một số đo tính phi Gauss sao
cho bằng không đối với biến Gauss và luôn không
âm, người ta định nghĩa negentropy của vector
ngẫu nhiên
y:

J =H

−H y
y
y
( Gauss ) ( ) Trong đó Gauss là một vector
ngẫu nhiên Gauss cùng ma trận
hiệp phương sai (hay ma trận tương quan vì các
dữ liệu được giả sử có trung
y

bình là

khơng).
Do đặc tính đề cập ở trên, negentropy sẽ
khơng bao giờ âm, nó chỉ bằng 0 nếu và chỉ
nếu y có phân bố dạng Gauss. Negentropy có
đặc tính rất hay, chính là đại lượng bất biến
trong phép biến đổi tuyến tính ngược.
Ưu điểm của negentropy, hay tương đương
entropy vi phân, như một đại lượng đo đạc tính phi
Gauss thỏa mãn lý thuyết thống kê. Trong thực tế,
negentropy là số chiều trong xấp xỉ tối ưu hóa phi
Gauss. Khó khăn trong việc ứng dụng negentropy
là việc tính tốn rất phức tạp. Việc xấp xỉ


negentropy bằng định nghĩa cần phải xấp xỉ hàm
mật độ xác xuất. Cho nên, việc đơn giản hóa việc
xấp xỉ negentropy là rất cần thiết. Tuy nhiên tính
tốn negentropy lại khó

khăn. Một số tính tốn xấp xỉ đã được
phát triển, mà một là:
J ( y ) ≈[ E { G( y)}−E

{ G( yGauss)}]2


8
Hàm phi tuyến G(.) có thể chọn theo một
hai biểu thức sau:
G

( y )=

a

1

1

log cosh a y

1

1

( −2y )

G2 ( y )=−exp

2

G2 ( y )= y3

a =1
1 a 2
Với ≪ i ≪ và thường chọn 1
Trong mơ hình ICA, ta muốn tìm
các hàng của ma trận W . Khi dùng
negentropy người ta xây dựng thuật
toán FastICA dựa trên thuật toán điểm

cố định (fixed-pointalgorithm).
- FastICA cho một đối tượng:
Chúng ta sẽ xem xét loại một đơn vị của
FastICA. Chúng ta quy việc tính tốn về mức đơn vị,
như mạng neural nhân tạo, có vector trọng số mà
các neural có thể cập nhật theo luật học. Đối với
fastICA luật học là tìm ra hướng vector đơn vị w sao
cho hình chiếu wτ x cực đại tính phi Gauss. Tính phi
Gauss ở đây đo đạc theo xấp xỉ negentropy J (wτ x).
Các phương sai của wτ x phải đưa về dạng đơn vị.
Tương tự q trình làm trắng hóa cũng đưa w về
dạng chuẩn đơn vị.

FastICA dựa trên mơ hình điểm cố định
được lập đi lập lại nhiều lần nhằm tìm ra giá trị
cực đại của wτ x. Nó cũng bắt nguồn từ phép lặp
Newton.


+

Bước 1: Chọn một vector ngẫu nhiên
w

Bước 2:
w=E { z g ( wτ z) }−E {g' ( wτ z ) w}

+

w ←w /‖w‖

Nếu khơng hội tụ thì quay lại bước 2
Hội tụ có nghĩa là giá trị mới và cũ của điểm
wphải

có cùng hướng , tích vơ hướng của chúng là

1. Tuy nhiên thực tế ta chọn ngưỡng hội tụ Sig cho
trước

sao cho:

Sig≥‖wnew−wold‖

Trong đó g là
đạo hàm của
các hàm G1,
G2, G3 - Fast
ICA cho nhiều
đối tượng
Tuy nhiên thường ta không có một
thành phần độc lập đơn (chỉ một mà thơi),
do đó phải tính nhiều hơn một hàng của W
. Lúc bấy giờ các hàng w khác nhau của
ma trận W có thể hội tụ đến cùng các cực
đại của hàm đối tượng. Để khắc phục vấn
đề này, các vector w1,, w2, … wn phải được
trực giao hóa sau mỗi lần lặp.
Để tránh trường hợp các vector cùng hội tụ về một
hướng duy nhất chúng

τ

w x w x

τ

τ

w x

ta phải giải tương quan ngõ ra 1 ,, 2 …, n sau mỗi lần
lặp lại. Chúng ta sẽ đề cập đến các phương pháp giải
quyết vấn đề này. Một cách giải tương quan đơn

giản là mơ hình hạ cấp ma trận dựa trên lý thuyết giải
tương quan của Gram