NGHIÊN cứu THUẬT TOÁN ICA và ỨNG DỤNG ước LƯỢNG độ sâu ẢNH mặt NGƯỜI

 

NGHIÊN CỨU THUẬT TOÁN ICA
VÀ ỨNG
DỤNG
ƯỚC
LƯỢNG
ĐỘ
SÂU ẢNH MẶT NGƯỜI.
Họ và tên: Ngô Trường
Trường Sơn
Cấp bậc: Đại úy
Chức vụ: Học viên
Đơn vị: Lớp Kỹ thuật điện tử ứng dụng


 

NỘI DUNG
I. NGHIÊN CỨU
THUẬT TOÁN
ICA (INDEPENDENT
COMPONENT
ANALYSIS)
II. ỨNG DỤNG CỦA ICA VÀO ƯỚC LƯỢNG ĐỘ SÂU ẢNH MẶT
 NGƯỜI
III. DEMO
2


 

I. NGHIÊN CỨU THUẬT TOÁN ICA (INDEPENDENT
COMPONENT
COMPON
ENT ANALYSIS
ANALYSIS))
Independent Component Analysis (phân tích thành phần độc
lập) là một phương pháp thống kê được xây dựng để tách rời tín hiệu
nhiều chiều thành các thành phần tín hiệu độc lập ẩn sâu bên dưới dữ
liệu. Kỹ thuật này đòi hỏi phải đặt ra giả thuyết tồn tại các nguồn tín
hiệu bên dưới nongaussianity và độc lập thống kê từng đôi một.

3


MỤC ĐÍCH

 

Tín hiệu gốc

Tín hiệu sau trộn


KẾT QUẢ

 

Tín hiệu sau trộn

Tín hiệu phục hồi


 

1.2. Phân tích thành phần độc lập (ICA)
Để định nghĩa ICA ta có thể dùng mơ hình thống kê “làm chậm biến số””latent varialbe”. Giả sử, ta quan sát n tổ hợp tuyến tính
tính của n thành phần
độc lập.
Mơ hình ICA
Điều đó có nghĩa là mơ
mơ hình có thể được viết lại như sau

 là ma trận ngược của ma trận . Các thành phần độc lập có thể được tính
 bằng công thức:

1.4)


6
 

*Các điểm không xác định trong ICA:
- Chúng ta không thể xác định được thành phần biến (số cột ma trận
tương quan) của các thành phần độc lập.
- Chúng ta không thể xác định được thứ tự của các thành phần độc
lập.
Ma trận hoán vị và phép biến đổi ngược của nó có thể được thay thế
trong cơng thức . Các phần tử của là các thành phần biến độc lập
lập gốc ,

nhưng
theo
thứ dùng
tự khác.
Ma bài
trậntoán
được
biết như là một ma trận trộn mới
chưa biết
được
để giải
ICA.


7
 

1.3. Sự độc lập thống kê
Xem hai vector ngẫu nhiên với hàm mật độ xác suất riêng biệt , và
hàm
mật độ xác suất liên kết là độc lập thống kê nếu và chỉ nếu khi
thỏa mãn:
Xem và là biến đổi phi tuyến nào đó trên hai
hai vector
vector ngẫu nhiên và có
hàm phân bố đã nói ở trên, thì có thể chứng minh được:


8
 

 Phi Gauss là độc lập
Mơ hình ICA đặt ra một hạn chế là các thành phần độc lập phải có
tính
Gauss (non-gaussianity), tức khơng có phân bố (hàm mật độ xác
suất)phi
là Gauss.
Lý do tính phi Gauss nằm ở chổ là các biến ngẫu nhiên Gauss được
xác định hoàn toàn bởi các thống kê bậc một (trị trung bình) và bậc hai
(phương sai), các thống kê bậc cao hơn bằng 0. Như sẽ thấy ở sau, mơ
hình ICA cần các thống kê bậc cao hơn của các thành phần độc lập để
thựctuyến,
hiện sự
ly (ướcdẫn
lượng
cácđộc
thành
phần độc
 phi
tínhphân
phi Gauss
đến sự
lập thống
kê. lập). Như vậy, sự


9
 

1.4. Ước lượng ICA

- Cực đại hóa tính phi Gauss (nongaussianity)
- Ước lượng hợp lý cực đại (maximum likelihood)
- Cực tiểu hố thơng tin tương hỗ (mutual information)…
Ở mơ hình ICA vector ngẫu nhiên gồm các biến ngẫu nhiên là trộn
tuyến tính của các vector biến ngẫu nhiên nguồn . Các nguồn được giả sử
độc lập nhau nhưng khi trộn lại (cộng nhau) thì các trộn trở nên gần
Gauss hơn. Nếu việc trộn được đảo ngược lại theo cách nào đó thì các tín
hiệu nhận được sẽ ít Gauss hơn. Do đó ước lượng ICA nhắm đến cực tiểu
hóa tính Gauss tức cực đại hóa tính phi Gauss bởi vì điều này sẽ cho ta
các thành phần độc lập.


10
 

Ước lượng hợp lý cực đại (maximum likelihood)
Giả định một bộ dữ liệu gồm N quan sát đầu vào là  biết trước
tr ước
được mô phỏng bởi một phân bố chuẩn (PDF) được đặc trưng bởi
một véc tơ tham số . Tập hợp tất cả những giá trị có thể
của được gọi là khơng gian tham số ( parameter
 parameter space) . Mục
ước
lượngsốhợp
tối đa
tiêu
củagian
 làtrị
tìmhàm
kiếm

véclý tơ
số trong
khơng
gia
n tham
saolý cho
giá
hợp
  là tham
 là
lớn nhất.
Lớn
nhất có nghĩa là phù hợp nhất. Thông thường Hàm hợp lý  được
 được

ký
mộtquan
hàmsát
đốithuộc
với , hàm
sốliệu
nàyđầu
đo xác
thờihiệu
củalàtấtL()cảlàcác
tập dữ
vào suất
. Mụcđồng
tiêu
là đi tìm bộ vector tham số

=P(/ )


11

 

Ước lượng hợp lý cực đại (maximum likelihood)
Trong trường hợp các quan sát ngẫu nhiên có phân phối độc lập và xác
định (independent
định (
independent and identically distributed ) viết tắt là iid, thì hàm hợp
lý sẽ
lý
 sẽ bằng tích xác suất trên từng quan sát:
  

∏

  (  )=  ( 
 | )=  ( {  1 , 2 , … . ,   }| ) =  =1   (  | )
Bộ véc tơ tham số phù hợp nhất là nghiệm của bài toán tối ưu hàm hợp
lý::
lý

^

=

arg

ar
g ma
max
xL()



12

 

Ước lượng hợp lý cực đại (maximum likelihood)
Giải bài toán MLE
- Tìm ln của hàm hợp lý , sau đó xét trường hợp đạo hàm của hàm này
 bằng 0

^

=


arg
ar
g max
ma
x lnL(


)

Trong trường hợp các quan sát ngẫu nhiên có phân phối độc lập và xác
định (
định
 (independent
independent and identically distributed )
  

 = ar
arg
g ma
max
x lnL(  ) = ar
arg
g ma
max
x 
^





=1

arg
g 

  (  | ) ¿ ar

  

=1

  ( | )


∏
 

∑

13

FastICA cho một đối tượng
FastICA dựa trên mơ hình điểm cố định được lập đi lập lại nhiều lần
nhằm tìm ra giá trị cực đại của .
+ Bước 1: Chọn một vector ngẫu nhiên
+ Bước 2:
 Nếu khơng hội tụ thì quay lại bước 2
Hội tụ có nghĩa là giá trị mới và cũ của điểm phải có cùng hướng ,
tích vô hướng của chúng là 1. Tuy nhiên thực tế ta chọn ngưỡng hội tụ
Sig cho trước sao cho:


14
Trong đó g 
đó g  là đạo hàm của các hàm G1, G2, G3
1.5. Tiền xử lý ICA
Qui tâm
 Nếu các tín hiệu chưa có kỳ vọng bằng 0 ta thực hiện
h iện phép qui tâm tức

là trừ phân bố của các biến ngẫu nhiên với các kỳ vọng của chúng:


 

trong đó là vector ngẫu nhiên chưa
chưa có kỳ vọng bằng 0. Sau khi đã ước
lượng ma trận và các thành phần ta có thể thêm trở lại các kỳ vọng của
của
chúng. Khi vector ngẫu nhiên (hoặc ) có kỳ vọng bằng 0 thì hiệp
 phương sai và tương quan của nó giống nhau.


15
 

1.5. Tiền xử lý ICA
Trắng hóa
Giả sử ta
ta có vector ngẫu nhiên bất tương quan, tức là xuyên phương sai
của các phần tử bằng 0, dẫn đến ma trận hiệp phương sai là ma trận
chéo có các số hạng chéo tương ứng với các phương sai của các phần tử
của . Nếu các phương sai này được cho bằng 1, nghĩa là ma trận hiệp
 phương sai được cho bằng với ma trận đơn vị
vị   thì vector ngẫu nhiên là
trắng:
Việc làm trắng là một biến đổi tuyến
tu yến tính
Tronghóa
đó là dữ liệu cần làm trắng, là ma trận làm trắng, là dữ liệu

đã trắng


16
 

1.5. Tiền xử lý ICA
Trắng hóa
Sau khi đã ước lượng ma trận trắng hóa, thì việc ước lượng các thành
 phần độc lập trở thành:
trong đó là khả đảo.
Với các ma trận vuông việc lấy nghịch đảo rất thuận lợi. Sau khi có
được , việc ước
ước lượng ma trận gốc cho bởi
Suy ra
Do trực giao nên


17
 

II. ỨNG DỤNG CỦA ICA VÀO ƯỚC LƯỢNG ĐỘ SÂU
ẢNH MẶT NGƯỜI
Phiên bản thứ ba của mơ hình CANDIDE,
được gọi là CANDIDE-3, bao gồm 113 đỉnh và
168 bề mặt tam giác, như thể hiện trong Hình
1. Mỗi đỉnh được biểu diễn bằng tọa độ 3-D
của nó. Xem xét các giá trị độ sâu (tọa độ z)
của mơ hình CANDIDE như một đầu vào của
cICA (constrained ICA – ICA có điều kiện),

 bài tốn ICA
I CA khơng đầy đủ có thể được chuyển
đổi thành bài tốn cICA thơng thường


18

2.1. Xây dựng mơ hình cICA
  Giả sử rằng n điểm đặc trưng được đánh dấu trên các hình ảnh khuôn
mặt.đại diện cho điểm đặc trưng thứ i của một mơ hình mặt 3-D xem
trực diện M và ) là điểm đặc trưng thứ i của mặt 2-D khơng nhìn trực
diện q. Ma trận quay đối với q được cho như sau:
 

[ ] [  ] [ ] [ ]
     0    0   − 

= −     0 ×
0

0

1

0

1 0
   0   

1

×

0

0   
0   − 

0

 11    12    13

 =  2211    2222    2233
          
31

32

33


19

2.1. Xây dựng mơ hình cICA
 


  

( )





=



(

 11    12     13
  21    22     23

)(

   
     
     







)(
+


   

)

Dạng ma trận của có thể được viết như sau:
Về phương pháp tiếp cận căn chỉnh hình dạng, có thể bị loại bỏ nếu cả
và đều có tâm tại điểm gốc, tức là


 

 

20

2.1. Xây dựng mơ hình cICA
Cho n tín hiệu hỗn hợp đối với bài toán ICA quá đầy đủ, một cách tiếp
cận để giải bài toán là ước lượng ma trận trộn và m tín hiệu nguồn
hoặc thơng qua ước lượng khả năng tối đa xảy ra (ML). Cho trước và
một ma trận trộn ban đầu , ước lượng ML của các tín hiệu nguồn có
thể được đưa ra bởi

 =

∑ ( ) ( ) ∑ ( ) ( )
  −1













 


 

(

)

21

2.1. Xây dựng mơ hình cICA
Dựa trên những xem xét ở trên, cICA là một cách tiếp cận phù hợp để
ước lượng cấu trúc 3-D. Ký hiệu y
hiệu y là
 là tín hiệu ước tính của , tức là:
trong
đódụng
là ma
trộn. Tphản
rongvàthuật
cICA,

entropy
()
được sử
nhưtrận
mộtkhơng
hàm tương
cICAtốn
được
xây dựng
nhưâm
một
 bài tốn tối ưu hóa có điều kiện như sau:
sau:

Sử dụng hệ số nhân Lagrange ta có:


22
 

2.1. Xây dựng mơ hình cICA
Trong mỗi lần lặp, sự thay đổi của hệ số nhân và được cho bởi:
Và
trong đó và là tốc độ học tập
tập (Sử dụng ttrong
rong học máy). Gradient của
đối với được cho như sau:
trong đó , và là đạo hàm của đối
đối với . Quy
Quy tắc học tập giống Newton

của có thể được
được đưa ra bởi:


23

2.2. Xây dựng mơ hình và khởi tạo ma trận hủy trộn
Chúng ta sử dụng các giá trị độ sâu của các điểm đặc trưng trong mơ
 

hình CANDIDE như một hỗn hợp. Sau đó, và được kết hợp để tạo
thành đầu vào của thuật tốn cICA. Cơng thức:

{


  

  




(  )

=

=

  = 

 là hỗn hợp chứa đủ thông tin về độ sâu
Theo giả thiết này, số lượng tín hiệu nguồn bằng số lượng tín hiệu hỗn
hợp. Do đó, mơ hình cICA đã xây dựng trở thành một bài tốn ICA bình
thường chứ khơng phải là một bài toán quá đầy đủ.


24
 

2.2. Xây dựng mơ hình và khởi tạo ma trận hủy trộn
Thuật tốn cICA
Vì
là mơ
3-D Trước
chung,tiên,
các giá
trị độ
nó mơ
phùhình
hợp CANDIDE
để lấy làm tín
hiệuhình
thammặt
chiếu.
chúng
tơisâu
trừ của
giá
trị trung bình của , từ , tức là:

trong đó là vectơ 1 x  p sao cho tất cả các phần tử đều là . Sau đó, các
dấu hiệu của được sử dụng làm tín hiệu tham chiếu , tức là
trong đó sign (.) là hàm dấu hiệu (hàm lẻ)