NGHIÊN CỨU THUẬT TOÁN ICA
VÀ ỨNG
DỤNG
ƯỚC
LƯỢNG
ĐỘ
SÂU ẢNH MẶT NGƯỜI.
Họ và tên: Ngô Trường
Trường Sơn
Cấp bậc: Đại úy
Chức vụ: Học viên
Đơn vị: Lớp Kỹ thuật điện tử ứng dụng
TIEU LUAN MOI download : moi nhat
NỘI DUNG
I. NGHIÊN CỨU
THUẬT TOÁN
ICA (INDEPENDENT
COMPONENT
ANALYSIS)
II. ỨNG DỤNG CỦA ICA VÀO ƯỚC LƯỢNG ĐỘ SÂU ẢNH MẶT
NGƯỜI
III. DEMO
TIEU LUAN MOI download : moi nhat
2
I. NGHIÊN CỨU THUẬT TOÁN ICA (INDEPENDENT
COMPONENT
COMPON
ENT ANALYSIS
ANALYSIS))
Independent Component Analysis (phân tích thành phần độc
lập) là một phương pháp thống kê được xây dựng để tách rời tín hiệu
nhiều chiều thành các thành phần tín hiệu độc lập ẩn sâu bên dưới dữ
liệu. Kỹ thuật này đòi hỏi phải đặt ra giả thuyết tồn tại các nguồn tín
hiệu bên dưới nongaussianity và độc lập thống kê từng đôi một.
TIEU LUAN MOI download : moi nhat
3
MỤC ĐÍCH
TIEU LUAN MOI download : moi nhat
Tín hiệu gốc
Tín hiệu sau trộn
KẾT QUẢ
TIEU
download :
Tín moi
hiệunhat
phục
TínLUAN
hiệu MOI
sau trộn
hồi
1.2. Phân tích thành phần độc lập (ICA)
Để định nghĩa ICA ta có thể dùng mơ hình thống kê “làm chậm biến số””latent varialbe”. Giả sử, ta quan sát n tổ hợp tuyến tính
tính của n thành phần
độc lập.
Mơ hình ICA
Điều đó có nghĩa là mơ
mơ hình có thể được viết lại như sau
là ma trận ngược của ma trận . Các thành phần độc lập có thể được tính
bằng công
TIEUthức:
LUAN MOI download :
1.4)
moi nhat
6
*Các điểm không xác định trong ICA:
- Chúng ta không thể xác định được thành phần biến (số cột ma trận
tương quan) của các thành phần độc lập.
- Chúng ta không thể xác định được thứ tự của các thành phần độc
lập.
Ma trận hoán vị và phép biến đổi ngược của nó có thể được thay thế
trong cơng thức . Các phần tử của là các thành phần biến độc lập
lập gốc ,
nhưng
theo
thứ dùng
tự khác.
Ma bài
trậntoán
được
biết như là một ma trận trộn mới
chưa biết
được
để giải
ICA.
TIEU LUAN MOI download : moi nhat
7
1.3. Sự độc lập thống kê
Xem hai vector ngẫu nhiên với hàm mật độ xác suất riêng biệt , và
hàm
mật độ xác suất liên kết là độc lập thống kê nếu và chỉ nếu khi
thỏa mãn:
Xem và là biến đổi phi tuyến nào đó trên hai
hai vector
vector ngẫu nhiên và có
hàm phân bố đã nói ở trên, thì có thể chứng minh được:
TIEU LUAN MOI download : moi nhat
8
Phi Gauss là độc lập
Mơ hình ICA đặt ra một hạn chế là các thành phần độc lập phải có
tính
Gauss (non-gaussianity), tức khơng có phân bố (hàm mật độ xác
suất)phi
là Gauss.
Lý do tính phi Gauss nằm ở chổ là các biến ngẫu nhiên Gauss được
xác định hoàn toàn bởi các thống kê bậc một (trị trung bình) và bậc hai
(phương sai), các thống kê bậc cao hơn bằng 0. Như sẽ thấy ở sau, mơ
hình ICA cần các thống kê bậc cao hơn của các thành phần độc lập để
thựctuyến,
hiện sự
ly (ướcdẫn
lượng
cácđộc
thành
phần độc
phi
tínhphân
phi Gauss
đến sự
lập thống
kê. lập). Như vậy, sự
TIEU LUAN MOI download : moi nhat
9
1.4. Ước lượng ICA
- Cực đại hóa tính phi Gauss (nongaussianity)
- Ước lượng hợp lý cực đại (maximum likelihood)
- Cực tiểu hố thơng tin tương hỗ (mutual information)…
Ở mơ hình ICA vector ngẫu nhiên gồm các biến ngẫu nhiên là trộn
tuyến tính của các vector biến ngẫu nhiên nguồn . Các nguồn được giả sử
độc lập nhau nhưng khi trộn lại (cộng nhau) thì các trộn trở nên gần
Gauss hơn. Nếu việc trộn được đảo ngược lại theo cách nào đó thì các tín
hiệu nhận được sẽ ít Gauss hơn. Do đó ước lượng ICA nhắm đến cực tiểu
hóa tính Gauss tức cực đại hóa tính phi Gauss bởi vì điều này sẽ cho ta
các thành
phần
độc
lập.
TIEU
LUAN
MOI
download : moi nhat
10
Ước lượng hợp lý cực đại (maximum likelihood)
Giả định một bộ dữ liệu gồm N quan sát đầu vào là biết trước
tr ước
được mô phỏng bởi một phân bố chuẩn (PDF) được đặc trưng bởi
một véc tơ tham số . Tập hợp tất cả những giá trị có thể
của được gọi là khơng gian tham số ( parameter
parameter space) . Mục
ước
lượngsốhợp
tối đa
tiêu
củagian
làtrị
tìmhàm
kiếm
véclý tơ
số trong
khơng
gia
n tham
saolý cho
giá
hợp
là tham
là
lớn nhất.
Lớn
nhất có nghĩa là phù hợp nhất. Thông thường Hàm hợp lý được
được
ký
mộtquan
hàmsát
đốithuộc
với , hàm
sốliệu
nàyđầu
đo xác
thờihiệu
củalàtấtL()cảlàcác
tập dữ
vào suất
. Mụcđồng
tiêu
là đi tìm bộ vector tham số
TIEU LUAN MOI download : moi nhat
=P(/ )
11
Ước lượng hợp lý cực đại (maximum likelihood)
Trong trường hợp các quan sát ngẫu nhiên có phân phối độc lập và xác
định (independent
định (
independent and identically distributed ) viết tắt là iid, thì hàm hợp
lý sẽ
lý
sẽ bằng tích xác suất trên từng quan sát:
∏
( )= (
| )= ( { 1 , 2 , … . , }| ) = =1 ( | )
Bộ véc tơ tham số phù hợp nhất là nghiệm của bài toán tối ưu hàm hợp
lý::
lý
^
=
arg
ar
g ma
max
xL()
TIEU LUAN MOI download : moi nhat
12
Ước lượng hợp lý cực đại (maximum likelihood)
Giải bài toán MLE
- Tìm ln của hàm hợp lý , sau đó xét trường hợp đạo hàm của hàm này
bằng 0
^
=
arg
ar
g max
ma
x lnL(
)
Trong trường hợp các quan sát ngẫu nhiên có phân phối độc lập và xác
định (
định
(independent
independent and identically distributed )
= ar
arg
g ma
max
x lnL( ) = ar
arg
g ma
max
x
^
arg
g
( | ) ¿ ar
=1
=1
TIEU LUAN MOI download:
moi nhat
( | )
∏
∑
13
FastICA cho một đối tượng
FastICA dựa trên mơ hình điểm cố định được lập đi lập lại nhiều lần
nhằm tìm ra giá trị cực đại của .
+ Bước 1: Chọn một vector ngẫu nhiên
+ Bước 2:
Nếu khơng hội tụ thì quay lại bước 2
Hội tụ có nghĩa là giá trị mới và cũ của điểm phải có cùng hướng ,
tích vô hướng của chúng là 1. Tuy nhiên thực tế ta chọn ngưỡng hội tụ
Sig cho trước sao cho:
TIEU LUAN MOI download : moi nhat
14
Trong đó g
đó g là đạo hàm của các hàm G1, G2, G3
1.5. Tiền xử lý ICA
Qui tâm
Nếu các tín hiệu chưa có kỳ vọng bằng 0 ta thực hiện
h iện phép qui tâm tức
là trừ phân bố của các biến ngẫu nhiên với các kỳ vọng của chúng:
trong đó là vector ngẫu nhiên chưa
chưa có kỳ vọng bằng 0. Sau khi đã ước
lượng ma trận và các thành phần ta có thể thêm trở lại các kỳ vọng của
của
chúng. Khi vector ngẫu nhiên (hoặc ) có kỳ vọng bằng 0 thì hiệp
phương sai và tương quan của nó giống nhau.
TIEU LUAN MOI download : moi nhat
15
1.5. Tiền xử lý ICA
Trắng hóa
Giả sử ta
ta có vector ngẫu nhiên bất tương quan, tức là xuyên phương sai
của các phần tử bằng 0, dẫn đến ma trận hiệp phương sai là ma trận
chéo có các số hạng chéo tương ứng với các phương sai của các phần tử
của . Nếu các phương sai này được cho bằng 1, nghĩa là ma trận hiệp
phương sai được cho bằng với ma trận đơn vị
vị thì vector ngẫu nhiên là
trắng:
Việc làm trắng là một biến đổi tuyến
tu yến tính
TIEUđó
LUAN
MOIliệu
download
:
moi
nhatlà dữ liệu
T
rong
là
dữ
cần
làm
trắng,
là
ma
trận
làm
trắng,
đã trắng hóa
16
1.5. Tiền xử lý ICA
Trắng hóa
Sau khi đã ước lượng ma trận trắng hóa, thì việc ước lượng các thành
phần độc lập trở thành:
trong đó là khả đảo.
Với các ma trận vuông việc lấy nghịch đảo rất thuận lợi. Sau khi có
được , việc ước
ước lượng ma trận gốc cho bởi
Suy ra
Do trực giao nên
TIEU LUAN MOI download : moi nhat
17
II. ỨNG DỤNG CỦA ICA VÀO ƯỚC LƯỢNG ĐỘ SÂU
ẢNH MẶT NGƯỜI
Phiên bản thứ ba của mơ hình CANDIDE,
được gọi là CANDIDE-3, bao gồm 113 đỉnh và
168 bề mặt tam giác, như thể hiện trong Hình
1. Mỗi đỉnh được biểu diễn bằng tọa độ 3-D
của nó. Xem xét các giá trị độ sâu (tọa độ z)
của mơ hình CANDIDE như một đầu vào của
cICA (constrained ICA – ICA có điều kiện),
bài tốn ICA
I CA khơng đầy đủ có thể được chuyển
đổi thành bài tốn cICA thơng thường
TIEU LUAN MOI download : moi nhat
18
2.1. Xây dựng mơ hình cICA
Giả sử rằng n điểm đặc trưng được đánh dấu trên các hình ảnh khuôn
mặt.đại diện cho điểm đặc trưng thứ i của một mơ hình mặt 3-D xem
trực diện M và ) là điểm đặc trưng thứ i của mặt 2-D khơng nhìn trực
diện q. Ma trận quay đối với q được cho như sau:
[ ] [ ] [ ] [ ]
0 0 −
= − 0 ×
0
0
1
0
1 0
0
1
×
0
0
0 −
0
11 12 13
= 2211 2222 2233
TIEU LUAN MOI download : moi nhat31
32
33
19
2.1. Xây dựng mơ hình cICA
( )
=
(
11 12 13
21 22 23
)(
)(
+
)
Dạng ma trận của có thể được viết như sau:
Về phương pháp tiếp cận căn chỉnh hình dạng, có thể bị loại bỏ nếu cả
và đều có tâm tại điểm gốc, tức là
TIEU LUAN MOI download : moi nhat
20
2.1. Xây dựng mơ hình cICA
Cho n tín hiệu hỗn hợp đối với bài toán ICA quá đầy đủ, một cách tiếp
cận để giải bài toán là ước lượng ma trận trộn và m tín hiệu nguồn
hoặc thơng qua ước lượng khả năng tối đa xảy ra (ML). Cho trước và
một ma trận trộn ban đầu , ước lượng ML của các tín hiệu nguồn có
thể được đưa ra bởi
=
∑ ( ) ( ) ∑ ( ) ( )
−1
TIEU LUAN MOI download
moi nhat
:
(
)
21
2.1. Xây dựng mơ hình cICA
Dựa trên những xem xét ở trên, cICA là một cách tiếp cận phù hợp để
ước lượng cấu trúc 3-D. Ký hiệu y
hiệu y là
là tín hiệu ước tính của , tức là:
trong
đódụng
là ma
trộn. Tphản
rongvàthuật
cICA,
entropy
()
được sử
nhưtrận
mộtkhơng
hàm tương
cICAtốn
được
xây dựng
nhưâm
một
bài tốn tối ưu hóa có điều kiện như sau:
sau:
Sử dụng hệ số nhân Lagrange ta có:
TIEU LUAN MOI download : moi nhat
22
2.1. Xây dựng mơ hình cICA
Trong mỗi lần lặp, sự thay đổi của hệ số nhân và được cho bởi:
Và
trong đó và là tốc độ học tập
tập (Sử dụng ttrong
rong học máy). Gradient của
đối với được cho như sau:
trong đó , và là đạo hàm của đối
đối với . Quy
Quy tắc học tập giống Newton
của có thể được
được đưa ra bởi:
TIEU LUAN MOI download : moi nhat
23
2.2. Xây dựng mơ hình và khởi tạo ma trận hủy trộn
Chúng ta sử dụng các giá trị độ sâu của các điểm đặc trưng trong mơ
hình CANDIDE như một hỗn hợp. Sau đó, và được kết hợp để tạo
thành đầu vào của thuật tốn cICA. Cơng thức:
{
( )
=
=
=
là hỗn hợp chứa đủ thông tin về độ sâu
Theo giả thiết này, số lượng tín hiệu nguồn bằng số lượng tín hiệu hỗn
hợp. Do đó, mơ hình cICA đã xây dựng trở thành một bài tốn ICA bình
:
moi nhat
thườngTIEU
chứ LUAN
khơngMOI
phảidownload
là một bài
tốn q đầy đủ.
24
2.2. Xây dựng mơ hình và khởi tạo ma trận hủy trộn
Thuật tốn cICA
Vì
là mơ
3-D Trước
chung,tiên,
các giá
trị độ
nó mơ
phùhình
hợp CANDIDE
để lấy làm tín
hiệuhình
thammặt
chiếu.
chúng
tơisâu
trừ của
giá
trị trung bình của , từ , tức là:
trong đó là vectơ 1 x p sao cho tất cả các phần tử đều là . Sau đó, các
dấu hiệu của được sử dụng làm tín hiệu tham chiếu , tức là
trong đó sign (.) là hàm dấu hiệu (hàm lẻ)
TIEU LUAN MOI download : moi nhat