mô hình chiếu sáng cho nhận diện khuôn mặt

GVHD : TS. Lê Hoàng Thái
Sinh viên thực hiện :
•
Huỳnh Cao Thế Cường
•
Đặng Thanh Minh
•
Phạm Thiện Niên Trị
•
Trần Thanh Tâm
Nội dung :
Nội dung :

Giới thiệu.

Nền tảng về phản xạ và chiếu sáng.

Sử dụng PCA cho mô hình chiếu
sáng tuyến tính.

Mô hình chiếu sáng tuyến tính :
Không có bóng.

Thêm bóng : Mô hình phi tuyến.

Mô hình chiếu sáng tuyến tính :
Hàm điều hòa cầu.

Ứng dụng.

Kết luận.

Giới thiệu :
Giới thiệu :

Trong chương này, chúng ta sẽ thảo luận về các giải
pháp cho các vấn đề :
◦
Mô tả 3 chiều của gương mặt, tư thế của nó.
◦ Tính phản xạ
◦ Và truy vấn hình ảnh 2D
Giới thiệu : (cont)
Giới thiệu : (cont)

Một cách để đánh giá những khó khăn do ánh sáng,
hoặc biến đổi bất kỳ, là số bậc tư do cần thiết để
đánh giá nó. Chúng ta phải mô tả cường độ sáng tác
động lên mỗi điểm trên khuôn mặt .

Hỗ trợ cho mô hình cấp thấp cả thực nghiệm và lý
thuyết. Chúng ta sử dụng PCA lên những bức hình
của một khuôn mặt thu được trong các điều kiện sáng
khác nhau cho thấy rằng tập hình ảnh cũng tương
đương như là một không gian tuyến tính thấp chiều
của không gian các hình ảnh .

Một hướng khác dựa trên việc bù sáng cho các hiệu
ứng ánh sáng mà không sử dụng các mô hình khuôn
mặt 3D. Công việc này phù hợp với việc sử dụng trực
tiếp hình ảnh 2D của các hình đại diện mà không
nhạy cảm với sự thay đổi ánh sáng.
Nội dung :

Nội dung :

Giới thiệu.

Nền tảng về phản xạ và chiếu sáng.

Sử dụng PCA cho mô hình chiếu
sáng tuyến tính.

Mô hình chiếu sáng tuyến tính :
Không có bóng.

Thêm bóng : Mô hình phi tuyến.

Mô hình chiếu sáng tuyến tính :
Hàm điều hòa cầu.

Ứng dụng.

Kết luận.
Nền tảng về phản xạ và
Nền tảng về phản xạ và
chiếu sáng :
chiếu sáng :

Chúng ta chỉ xét những nguồn sáng xa.

Xét 2 điều kiện ánh sáng. Một nguồn điểm được mô
tả bằng một hướng duy nhất, đại diện là vector đơn vị
u

l
, và cường độ là l. Những yếu tố này kết hợp thành
một vector với 3 thành phần, .

Ánh sáng có thể tới từ nhiều nguồn, bao gồm các
nguồn khuyếch tán (như bầu trời). Trong trường hợp
đó chúng ta mô tả cường độ của ánh sáng như là một
hàm chỉ phương hướng, , mà không phụ thuộc
vào các vị trí trong cảnh.

Hầu hết phân tích trong chương này cho việc sử lý đổ
bóng. Nếu một điểm có hướng bề mặt bình thường là
v
r
và nguồn sáng tới là u
l
khi v
r
. u
l
<0 có nghĩa là
không có áng sáng tới bề mặt
l
lul
=
)(
l
ul
Nền tảng về phản xạ và
Nền tảng về phản xạ và

chiếu sáng : (cont)
chiếu sáng : (cont)

Để xây dựng mô hình thực sự chính xác của việc
phản xạ ánh sáng trên gương mặt là một việc phức
tạp.

Trong chương này chúng ta sẽ thảo luận về phân tích
nguồn gốc đại diện của hình ảnh dựa vào một lồi, đối
tượng Lambertian được chiếu sáng bởi một nguồn
sáng xa. Giả định là bề mặt của đối tượng phản xạ
theo luật Lambert – trong đó nêu rằng các vật liệu
hấp thụ ánh sáng và phản xạ nó thống nhất trong tất
cả các hướng.

Cụ thể, nếu một tia sáng có cường độ là l đến từ các
hướng u
l
đạt đến một điểm trên bề mặt với phản xạ
bề mặt (albedo) p và hướng bình thường v
r
, cường
độ phản xạ i bởi các điểm do ánh sáng này được định
bởi
)0,.max()(
rll
vupuli
=
)1(
Nền tảng về phản xạ và

Nền tảng về phản xạ và
chiếu sáng : (cont)
chiếu sáng : (cont)

Nếu giải quyết được chiếu sáng và bỏ qua phản xạ bề
mặt p , phản xạ ánh sáng cũng chỉ là một hàm xử lý
bề mặt thông thường, và hàm này được viết là
hay là .

Nếu ánh sáng đi tới một điểm từ vô số các hướng, thì
ánh sáng phản xạ của điểm này sẽ là tích phân của
các hướng tới. Nếu thì :
với biểu thị tích hợp trên bề mặt của hình cầu .
∫
=
2
)().()(
S
llrlr
duulvukvr
),(
rr
r
φθ
)(
r
vr
)0,.max().( vuvuk
=
∫

2
S
)2(
Nội dung :
Nội dung :

Giới thiệu.

Nền tảng về phản xạ và chiếu sáng.

Sử dụng PCA cho mô hình chiếu
sáng tuyến tính.

Mô hình chiếu sáng tuyến tính :
Không có bóng.

Thêm bóng : Mô hình phi tuyến.

Mô hình chiếu sáng tuyến tính :
Hàm điều hòa cầu.

Ứng dụng.

Kết luận.
Sử dụng PCA cho mô hình
Sử dụng PCA cho mô hình
chiếu sáng tuyến tính :
chiếu sáng tuyến tính :

Principal component analysis (PCA) :

◦
PCA là một phương pháp thống kê làm giảm chiều, trong đó tạo
ra sự phân tích những ô tuyến tính tối ưu trong tập mẫu .
◦
Trong một thuật toán nhận diện khuôn mặt dựa trên PCA, đầu
vào là một tập học t
1
,…,t
n
của N hình ảnh khuôn mặt, mỗi hình
ảnh được xem như là một điểm trong không gian R
(nxm)
, mỗi ảnh
có kích thước là nxm pixel .
◦
PCA tìm những ô tuyến tính tối ưu nhất trong không gian (n-1)
chiều .
◦ Các đại diện PCA được đặt trưng bởi một tập hợp của n-1 các
vector riêng và giá trị riêng
◦ Trong nhận diện khuôn mặt, các vector riêng có thể được gọi là
các đặc trưng khuôn mặt riêng. Các vector riêng được sắp xếp
để
), ,(
1 n
ee
), ,(
1 n
λλ
1
+

>
ii
λλ
Sử dụng PCA cho mô hình
Sử dụng PCA cho mô hình
chiếu sáng tuyến tính: (cont)
chiếu sáng tuyến tính: (cont)

PCA lần đầu tiên được Sirovitch và Kirby (1990) áp
dụng để biểu diễn khuôn mặt . Turk và Pentland
(1991) mở rộng PCA nhận diện khuôn mặt .

Hallinan sử dụng PCA cho tập các hình ảnh có khuôn
mặt duy nhất trong một tư thế được chiếu sáng bởi
một đèn pha đặt ở các vị trí khác nhau.

Epstein et al. và Yuille et al. mô tả một loạt các đối
tượng cho thấy các hình ảnh của đối tượng
Lambertain tương đương với một không gian con
tuyến tính từ 3 tới 7 chiều.

Đại diện tuyến tính dựa trên PCA có thể được sử dụng
để bù đắp cho sự biến đổi ánh sáng.
Nội dung :
Nội dung :

Giới thiệu.

Nền tảng về phản xạ và chiếu sáng.


Sử dụng PCA cho mô hình chiếu
sáng tuyến tính.

Mô hình chiếu sáng tuyến tính :
Không có bóng.

Thêm bóng : Mô hình phi tuyến.

Mô hình chiếu sáng tuyến tính :
Hàm điều hòa cầu.

Ứng dụng.

Kết luận.
Mô hình chiếu sáng tuyến
Mô hình chiếu sáng tuyến
tính : Không có bóng.
tính : Không có bóng.

Xem xét một đối tượng Lambertian được chiếu sáng
bởi một điểm nguồn được mô tả bởi vector , p
i
là
một điểm của đối tượng, n
i
là một vector đơn vị mô tả
bề mặt thông thường tại p
i
, phản xạ bề mặt tại p
i

được định nghĩa là .

Trong trường hợp không có bóng, phản xạ
Lambertian được biểu diễn bởi .

Nếu chúng ta kết hợp tất cả các tuyến bề mặt của
một đối tượng vào một ma trận đơn N, cột thứ I của
N là n
i
thì toàn bộ hình ảnh được mô tả bởi .
Điều này cho thấy hình ảnh bất kỳ là một sự kết hợp
tuyến tính ba hàng của N. Đây là 3 vector x,y,z và
các thành phần của tuyến bề mặt của đối tượng.
l
ii
i
npn
=
i
T
nl
NlI
T
=
NlNlI
i
i
i
i

)()(
∑∑
==
Nội dung :
Nội dung :

Giới thiệu.

Nền tảng về phản xạ và chiếu sáng.

Sử dụng PCA cho mô hình chiếu
sáng tuyến tính.

Mô hình chiếu sáng tuyến tính :
Không có bóng.

Thêm bóng : Mô hình phi tuyến.

Mô hình chiếu sáng tuyến tính :
Hàm điều hòa cầu.

Ứng dụng.

Kết luận.
Thêm bóng : Mô hình phi
Thêm bóng : Mô hình phi
tuyến.
tuyến.

Belhumeur và Kriegman đã tiến hành phân tích các

hình ảnh của một đối tượng khi có bóng. Họ gọi là tập
hợp các hình ảnh chiếu sáng hình nón.

Sau đó, họ cho rằng với một lồi, đối tượng
Lambertian có kèm theo bóng nhưng không có chiều
của bóng diễn viên của hình nón chiếu sáng là ,
trong đó n là số tuyến bề mặt khác biệt nhìn thấy
trên đối tượng. Điều này chứng minh rằng hình ảnh
của một đối tượng đơn giản, thậm chí không nằm
trong một không gian con tuyến tính thấp chiều. Họ
tiếp tục cho thấy làm thế nào để xây dựng hình nón
bằng cách sử dụng các đại diện của Shashua
)(
2
nO
Thêm bóng : Mô hình phi
Thêm bóng : Mô hình phi
tuyến. (cont)
tuyến. (cont)

Georghiades và đồng nghiệp trình bày một số thuật
toán sử dụng các hình nón chiếu sáng để nhận diện
khuôn mặt, điều này tương ứng với việc vẽ mặt theo
một số lượng lớn các nguồn sáng điểm.

Cũng quan tâm vấn đề này là cách tiếp cận của
Blicher và Roy, với một số lượng lớn các bề mặt gần
thông thường và nêu ra một mô hình dựa trên cường
độ trung bình của các điểm ảnh đã được xuất hiện với
một số lượng lớn các pháp tuyến. Phương pháp này

giả định các pháp tuyến tương tự thì có cường độ
tương tự, vì vậy nó phù hợp cho sử lý bóng kèm theo,
và nhanh .
Nội dung :
Nội dung :

Giới thiệu.

Nền tảng về phản xạ và chiếu sáng.

Sử dụng PCA cho mô hình chiếu
sáng tuyến tính.

Mô hình chiếu sáng tuyến tính :
Không có bóng.

Thêm bóng : Mô hình phi tuyến.

Mô hình chiếu sáng tuyến tính :
Hàm điều hòa cầu.

Ứng dụng.

Kết luận.
Mô hình chiếu sáng tuyến
Mô hình chiếu sáng tuyến
tính : Hàm điều hòa cầu.
tính : Hàm điều hòa cầu.

Các bằng chứng thực nghiệm cho thấy các đối tượng

chiếu sáng hình non chung là “mỏng”, ngay cả trong
sự hiện diện của bóng vẫn không giải thích đươ cho
tới ngày nay.

Khi Basri và Jacobs, và Ramamoorthi và Hanrahan,
phân tích chiếu sáng hình nón trong giới hạn các hàm
điều hòa cầu. Phân tích này cho thấy, khi thêm bóng,
các hình ảnh của một đối tượng Lambertian lồi có thể
có độ chính xác cao bằng cách sử dụng 9 (hay thậm
chí ít hơn) hình ảnh cơ sở .
Hàm điều hòa cầu và định lý
Hàm điều hòa cầu và định lý
Funk-Hecke :
Funk-Hecke :

Với mỗi bề mặt, sự phản chiếu v
r
được xác định bởi sự hợp
thành của ánh sáng tới từ mọi hướng và được đo lường bởi
kernel với mỗi v
r
là một hoán vị của
hàm, trong đó có sự tham gia của hàm cosin . k(u
l
) (là hàm
mà trong đó v
r
được xác định tại cực bắc) và xem đó là
hàm bán cosin.


Các hàm điều hòa cầu là 1 tập hợp của các hàm mà tạo
thành một tiên đề trực chuẩn cho tập hợp các hàm trên bề
mặt cầu. Tập hợp các hàm này là Y
nm
với n =0, 1, 2, và
−n ≤ m ≤ n

Trong đó Pnm là các liên kết hàm Legendre, được định
nghĩa :
)0,.max().(
rlrl
vuvuk
=
φ
θ
π
φθ
im
mnnm
eP
mn
mnn
Y )(cos
|)!|(
|)!|(
4
)12(
),(
||
+

−+
=
n
mn
mn
n
m
nm
z
dz
d
n
z
zP )1(
!2
)1(
)(
2
2
2
−
−
=
+
+
)3(
)4(
Hàm điều hòa cầu và định lý
Hàm điều hòa cầu và định lý
Funk-Hecke : (cont)

Funk-Hecke : (cont)

Y
nm
là một hàm điều hòa mệnh lệnh cấp n

Đôi khi Y
nm
thích hợp là 1 hàm của không gian các tọa độ (x,
y, z) hơn là các góc. Các hàm điều hòa cầu, được viết là
Y
nm
(x, y, z) là đa thức bậc n trong (x, y, z). 9 hàm điều hòa
đầu tiên như sau:

Các ký hiệu e và o dùng để chỉ hàm điều hòa chẵn lẻ. Vì
vậy , trong thực tế các hàm điều hòa chẳn và
lẽ được sử dụng thuận tiện hơn vì chức năng phản xạ là có
thật .
π
4
1
00
=
Y
zY
π
4
3
10

=
)13(
4
5
2
1
2
20
−=
zY
π
xzY
e
π
12
5
3
21
=
yzY
o
π
12
5
3
21
=
xzY
e
12

5
5
22
=
xyeY
o
π
12
5
22
=
xY
e
π
4
3
11
=
yY
o
π
4
3
11
=
o
mn
e
mnnm
iYYY

||||
±=
)5(
Hàm điều hòa cầu và định lý
Hàm điều hòa cầu và định lý
Funk-Hecke : (cont)
Funk-Hecke : (cont)

Bởi vì các hàm điều hòa cầu tạo thành cơ sở các sợi xoắn
không đều, bất kỳ hàm thành phần liên lục, f, trên bề mặt
khối cầu có thể được viết như là sự kết hợp tuyến tính của
một dãy vô hạn các hàm điều hòa.

Với f
nm
là một giá trị vô hướng, được định bởi công thức
Và là lượng liên hợp của

Việc quay một hàm f dẫn đến việc đổi pha. Với mỗi n, biên
độ bậc thứ n của hàm f được định nghĩa
∑ ∑
∞
= −=
=
0
)()(
n
n
nm
nmnm

uYfuf
∫
=
2
)()(
*
S
nmnm
duuYuff
)(
*
uY
nm
)(uY
nm
∑
−=
+
=
n
nm
nm
def
n
f
n
A
2
12
1

)6(
)7(
)8(
Hàm điều hòa cầu và định lý
Hàm điều hòa cầu và định lý
Funk-Hecke : (cont)
Funk-Hecke : (cont)

Cả hàm ánh sáng l , và hạt nhân Lambertian, k, có thể
được viết như là tổng của các hàm điều hòa cầu
Là sự triển khai hàm điều hòa của l, và công thức :

Lưu ý rằng, bởi vì k(u) là tính đối xứng tròn về cực bắc, chỉ
các hàm điều hòa có tính đối xứng như vậy mới tham dự
vào sự khai triển

Theo định lý Funk-Hecke, sự triển khai hàm điều hòa của
hàm phản chiếu, r, có thể được viết lại :
∑ ∑
∞
= −=
=
0n
n
nm
nmnm
Yll
∑
∞
=

=
0
0
)(
n
nn
Ykuk
∫
=
2
0)()(
*
S
nm
duuYuk
0
≠
m
∑∑
∞
= −=
+
==
0
)
12
4
(*
n
nmnmn

n
nm
Ylk
n
lkr
π
)9(
)10(
)11(
)12(
Các tính chất của
Các tính chất của
Convolution Kernel :
Convolution Kernel :

Chúng ta sử dụng định lý Funk-Hecke để suy ra theo phép
giải tích giá trị tần số vượt trội r . Để đạt được điều này, ta
xem l như là 1 ký hiệu và k như là 1 bộ lọc, và tìm hiểu
biên độ thay đổi như thế nào qua bộ lọc .

Triển khai hàm điều hòa của Lambertian kernel có thể chia
thành các trường hợp sau :












+−
+
−
=
+
0
)(
)2)(1(2
)12(
)1(
3
2
2
1
2
n
n
n
n
n
nn
n
k
π
π
π
0

=
n
1
=
n
evenn ,2
≥
oddn ,2
≥
)13(
Các tính chất của
Các tính chất của
Convolution Kernel : (cont)
Convolution Kernel : (cont)

Với k
3
= k
5
= k
7
=0, |k
n
| đạt tới ngưỡng , đồ thị trong
hình 5.2 mô tả các hệ số :

Tổng năng lượng vuông trong hàm bán cosine được tính
như công thức
)(
2

−
nO
∫ ∫ ∫
==
π π
π
π
θθθπφθθθ
2
0 0
2
0
22
3
2
sincos2sin)( dddk
)15(
Hàm phản xạ xấp xỉ:
Hàm phản xạ xấp xỉ:

Chúng ta có hàm xấp xỉ theo chiều thấp từ hàm phản xạ bỏ
bớt tổng trong công thức (12), theo đó ta có công thức :

Trong trường hợp này, ánh sáng chỉ là một hàm delta đơn
giản mà đỉnh cao nhất là cực bắc .

Xấp xỉ tốt hơn khi ánh sáng bao gồm thành phần tăng
cường độ khuyết tán của tần số thấp, ngược lại sẽ xấu đi .

Cận dưới về tính chính xác của sự xấp xỉ đối với bất kỳ hàm

ánh sáng nào cũng được cho bởi công thức :
∑∑
= −=
+
≈=
N
n
nmnmn
n
nm
Ylk
n
lkr
0
)
12
4
(*
π
)17(
)0(
==
φθ
)(*)( vkkvr
==
δ
)18(
∑
=
−

N
n
n
k
k
1
2
2
2
0
π
)19(