Luận Văn Cử Nhân Tin Học Nghiên Cứu Và Xây Dựng Hệ Thống Nhận Dạng Mặt Người Dựa Trên FSVM Và ADABOOST

NG ANH

H

LU BOUN VINH – HOÀNG PH

K
H
TN

I H C QU C GIA TP. H CHÍ MINH
TR
NG
I H C KHOA H C T NHIÊN
KHOA CÔNG NGH THÔNG TIN
B MÔN CÔNG NGH TRI TH C

LU N V N C

NHÂN TIN H C

K

H

O

A

C
N

TT

–

NGHIÊN C U VÀ XÂY D NG
H TH NG NH N D NG M T NG
D A TRÊN
FSVM VÀ ADABOOST

TP. H

CHÍ MINH - 07/2004

I


K
H
TN

I H C QU C GIA TP. H CHÍ MINH
TR
NG
I H C KHOA H C T NHIÊN
KHOA CÔNG NGH THÔNG TIN
B MÔN CÔNG NGH TRI TH C

LU N V N T T NGHI P
C NHÂN TIN H C

H

TÀI:

I

K

H

O

A

C
N
TT

–

NGHIÊN C U VÀ XÂY D NG
H TH NG NH N D NG M T NG
D A TRÊN
FSVM VÀ ADABOOST

GIÁO VIÊN H
NG D N
TS. LÊ HOÀI B C

SINH VIÊN TH C HI N

LU BOUN VINH
0012129
HOÀNG PH
NG ANH 0012005

TP. H

CHÍ MINH - 07/ 2004


L ic m n
w(v

Xin chân thành c m n các th y, các cô thu c khoa Công Ngh Thông Tin,
i H c Khoa H c T Nhiên đã t n tình d y d , truy n đ t cho chúng tôi

ng

nhi u ki n th c quý báu.

K
H
TN

tr

Xin t lòng bi t n sâu s c đ n th y Lê Hoài B c, ng
và truy n đ t nhi u kinh nghi m đ đ tài có th đ
Xin chân thành c m n th y D
c Hoàng H , anh Tr n Ph

c th c hi n và hoàn thành.
c, th y Tr n

c Du n, th y

c Long, b n Hà Giang H i và b n Tr n

H

Nguy n

ng Anh

i đã t n tình giúp đ

Công Ngh a đã giúp đ , đ ng viên chúng tôi r t nhi u trong quá trình th c hi n đ

–

tài.

C
N
TT

L i c m n sâu s c nh t xin dành cho b m vì n sinh thành và giáo d

ng.

Xin c m n t t c .

TP. H Chí Minh tháng 07 n m 2004.

A

Lu Boun Vinh

K

H

O

Hoàng Ph

1

ng Anh


L im đ u
w(v

Trong nh ng n m g n đây, các ng d ng v nh n d ng m t ng
ngày càng phát tri n và đ
i d a trên các ph

d a trên ph
dù đ

ã có các h th ng nh n d ng m t

ng pháp dò tìm n ron, SVM.v.v… và nh n d ng m t ng

K
H
TN

ng

c đánh giá cao.

i

i

ng pháp n ron, HMM, SVM v.v… Các ng d ng v a nêu trên m c

c d a trên các lý thuy t khá c đi n nh HMM, n ron nh ng ng d ng th c

t thì ch a đ

c nhi u vì gi i h n v t c đ .
H th ng nh n d ng khuôn m t ng

i v n có ph m vi ng d ng l n
i theo các ph

H

nên vi c phát tri n h th ng nh n d ng khuôn m t ng

ng pháp m i

có ý ngh a h t s c quan tr ng. n u ó là lý do chúng tôi ch n đ tài :

“NGHIÊN C U VÀ XÂY D NG H TH NG NH N D NG
I D A TRÊN FSVM VÀ ADABOOST”

–

M T NG

C
N
TT

có h th ng nh n d ng khuôn m t v i ch t l
nhanh, chúng tôi đã ti p c n b ng các mô hình x lý đ

ng t t trong th i gian khá
c đánh giá là m nh và x

lý t c đ nhanh trong l nh v c trí tu nhân t o, đó là mô hình phân cách v i thu t
toán FSVM và mô hình h c AdaBoost làm công c x lý chính cho vi c nh n d ng
i d a vào thông tin khuôn m t trên nh.

K

H

O

A

và dò tìm ng

2


tài đ

c t ch c thành tám ch

ng v i n i dung :

Ü Ch

ng 1: Phát bi u bài toán.

Ü Ch

ng 2: Mô t d li u.

Ü Ch

ng 3: Dò tìm khuôn m t theo ph

Ü Ch

ng 4: Rút trích đ c tr ng t khuôn m t theo các ph

K
H
TN

ng pháp AdaBoost.

toàn c c – PCA c c b .
Ü Ch

ng 5: Ph

ng pháp PCA

ng pháp FSVM (Fuzzy SVM) và ng d ng nh n d ng

Ü Ch

ng 6: Thi t k ch

Ü Ch

ng 7: Th c nghi m và k t qu .

Ü Ch

ng 8: Nh n xét và h

–

ng trình và h

H

khuôn m t.

ng d n s d ng.

K

H

O

A

C
N
TT

ng phát tri n.

3


M cl c
L i c m n .............................................................................................................................1
L i m đ u.............................................................................................................................2

M c l c ..................................................................................................................................4
Danh sách các hình ................................................................................................................9

Ch

K
H
TN

Danh sách các b ng..............................................................................................................10
ng 1 .............................................................................................................................11

Phát bi u bài toán................................................................................................................11
1.1. T ng quan và các khái ni m liên quan đ n nh n d ng khuôn m t ...........................11
1.1.1. H th ng sinh tr c h c .......................................................................................11
1.1.2. H th ng nh n d ng khuôn m t .........................................................................11

H

1.1.3. H th ng xác minh.............................................................................................11
1.1.4. H th ng nh n d ng t nh-t nh, t nh-đ ng, đ ng-đ ng .......................................11
1.1.4.1. H th ng nh n d ng t nh t nh......................................................................11

–

1.1.4.2. H th ng nh n d ng t nh-đ ng....................................................................12

C
N
TT

1.1.4.3. H th ng nh n d ng đ ng-đ ng..................................................................12
1.2. Nh ng thách th c trong bài toán nh n d ng khuôn m t...........................................12
1.3. Các h

ng ti p c n chính trong l nh v c nh n d ng khuôn m t ..............................13

1.3.1. Các công trình nghiên c u v ph
1.3.2. H
Ch

ng ti p c n đ

ng pháp dò tìm và nh n d ng khuôn m t...13

c th nghi m trong lu n v n ..............................................15

ng 2 .............................................................................................................................17

A

Mô t d li u.......................................................................................................................17

O

2.1. Thu th p d li u........................................................................................................17
2.2. Bi u di n d li u khuôn m t trong máy tính ............................................................17
ng 3 .............................................................................................................................19

H

Ch

K

Dò tìm khuôn m t nhanh theo ph

ng pháp AdaBoost .....................................................19

3.1. Gi i thi u ..................................................................................................................19
3.1.1. Các v n đ trong vi c dò tìm khuôn m t nhanh ................................................19
3.1.2. Các h
3.1.3. H

ng ti p c n dò tìm khuôn m t nhanh ....................................................20

ng ti p c n theo ph

ng pháp AdaBoost....................................................20

3.2. Ph

ng pháp ch n đ c tr ng cho AdaBoost ............................................................21

3.3. Ph

ng pháp AdaBoost ............................................................................................23

4

3.3.1. Gi i thi u ...........................................................................................................23
3.3.2. Thu t toán AdaBoost .........................................................................................23
3.4. B dò tìm phân t ng AdaBoost.................................................................................28
3.5. Dò tìm khuôn m t v i AdaBoost ..............................................................................32
3.5.1. Hu n luy n b dò tìm khuôn m t.......................................................................32

3.6. ánh giá và h

K
H
TN

3.5.2. Quá trình dò tìm khuôn m t...............................................................................32
ng phát tri n....................................................................................34

3.6.1. ánh giá.............................................................................................................34
3.6.1.1.

u đi m ......................................................................................................34

3.6.1.2. Khuy t đi m................................................................................................34
3.6.2. H

ng phát tri n ................................................................................................34

H

3.6.2.1. V m t thu t toán h c .................................................................................34
3.6.2.2. V m t thu t toán h c .................................................................................34

Ch

ng 4 .............................................................................................................................35

Rút trích đ c tr ng t khuôn m t theo các ph

c toán đ i s tuy n tính trong th ng kê ..........................................................35

–

4.1. S l

ng pháp PCA toàn c c– PCA c c b ......35

C
N
TT

4.1.1. Vector riêng, tr riêng và s chéo hoá c a ma tr n ............................................35
4.1.2. Kì v ng và ph

ng sai trong th ng kê đa chi u ................................................36

4.1.2.1. Kì v ng .......................................................................................................36
4.1.2.2. Ma tr n hi p ph
4.2. Ph

ng sai .............................................................................37

ng pháp phân tích thành ph n chính (Principal Component Analysis hay PCA)

.........................................................................................................................................37

A

4.2.1. Yêu c u ..............................................................................................................37

O

4.2.2. Trích đ c tr ng b ng ph

ng pháp PCA ...........................................................37

4.2.3. K thu t trích đ c tr ng b ng PCA ...................................................................41

K

H

4.3. Ph

ng pháp PCA toàn c c và c c b ......................................................................43

4.3.1. Ph

ng pháp PCA toàn c c...............................................................................43

4.3.2. Ph

ng pháp PCA c c b ..................................................................................43

4.4. ánh giá....................................................................................................................44
4.4.1. Các đánh giá quan tr ng v rút trích đ c tr ng b ng ph
4.4.2. So sánh ph

ng pháp PCA ..........44

ng pháp PCA toàn c c và PCA c c b ........................................45

Ch

ng 5 .............................................................................................................................46

Ph

ng pháp FSVM (Fuzzy SVM) và ng d ng nh n d ng khuôn m t............................46
5


5.1. S l

c lý thuy t SVM .............................................................................................46

5.1.1. Gi i thi u ...........................................................................................................46
5.1.2. S l

c lý thuy t SVM ......................................................................................46

5.1.2.1. SVM tuy n tính...........................................................................................46
5.1.2.2. SVM phi tuy n............................................................................................49

K
H
TN

5.2. FSVM – SVM m (Fuzzy SVM) .............................................................................50
5.2.1. FSVM ................................................................................................................50
5.2.1.1. Các v n đ n y sinh c a SVM ....................................................................50
5.2.1.2. M hóa t p d li u......................................................................................51
5.2.1.3. FSVM .........................................................................................................51
5.2.2. Thu t toán m hóa d li u .................................................................................53
5.2.2.1.1. Xác đ nh t p m u v

H

5.2.2.1. M hóa t p d li u áp d ng KNN – ODM .................................................54
t.........................................................................54

5.2.2.1.2. Hàm thành viên....................................................................................58
ng pháp Kernel ......................................59

5.2.2.3. M hóa t p d li u áp d ng ph

ng pháp SVM ........................................60

ng pháp FSVM nhi u l p ....................................................61

C
N
TT

5.2.3. Phân tích các ph

–

5.2.2.2. M hóa t p d li u áp d ng ph

5.2.3.1. Phân tích c ch 1 đ i t t c .......................................................................61
5.2.3.2. Phân tích ph

ng pháp phân l p theo c p..................................................66

5.3. Nh n d ng khuôn m t ng

i v i FSVM ..................................................................70

5.3.1. Nh n d ng đa l p dùng FSVM v i cây nh phân ..............................................70
5.3.2. Nh n d ng đa l p dùng FSVM v i ph

ng pháp b u c ..................................71

A

5.3.3. Nh n d ng khuôn m t dùng FSVM v i ph

ng pháp b u c ...........................71

O

5.3.3.1. Giai đo n hu n luy n h th ng ...................................................................71

K

H

5.3.3.1.1. Hu n luy n FSVM phi tuy n cho bài toán nh n d ng khuôn m t.......71

5.3.3.1.2. Véct hóa t p m u khuôn m t thô .......................................................72
5.3.3.1.3. Rút trích đ c tr ng khuôn m t .............................................................73
5.3.3.1.4. T o các b phân lo i nh phân cho ph

ng pháp b u c .....................76

5.3.3.1.5. Hu n luy n cho m i b phân lo i FSVM nh phân t các t p m u nh
phân hóa hai l p khuôn m t v i nhau..................................................................76
5.3.3.2. Giai đo n nh n d ng khuôn m t .................................................................77
5.3.3.2.1. Nh n d ng khuôn m t dùng FSVM .....................................................78
5.3.3.2.2. Véct hoá khuôn m t thô.....................................................................78
6


5.3.3.2.3. Rút trích đ c tr ng khuôn m t .............................................................78
5.3.3.2.4.

a m u th nghi m khuôn m t x vào c u trúc nh phân và th c hi n

đ i sánh trên t ng mô hình nh phân FSVM .......................................................78
5.3.4. Nh n xét và h

ng phát tri n t

ng lai .............................................................79

u đi m ......................................................................................................79

5.3.4.1.

c đi m ................................................................................................79

5.3.4.3. H

ng phát tri n .........................................................................................80

K
H
TN

5.3.4.2. Nh

5.3.4.3.1. V m t thu t toán h c ..........................................................................80
5.3.4.3.2. V ch
Ch

ng trình ng d ng ...................................................................81

ng 6 .............................................................................................................................82

Thi t k ch

ng trình và h

ng d n s d ng .....................................................................82

6.2. Thi t k và cài đ t ch

ng trình ...............................................................................82

6.3. Giao di n màn hình và h
Ch

H

6.1. Gi i thi u ..................................................................................................................82

ng d n s d ng ..............................................................83

ng 7 .............................................................................................................................91

–

Th c nghi m và k t qu ......................................................................................................91

C
N
TT

7.1. Th nghi m b dò tìm khuôn m t ............................................................................91
7.1.1. D li u ...............................................................................................................91
7.1.2. Th c nghi m trên t ng b tham s ....................................................................91
7.1.3. Nh n xét.............................................................................................................93

7.2. Th nghi m b nh n d ng khuôn m t ......................................................................93
7.2.1. D li u ...............................................................................................................93
ng pháp FSVM ..........................................................................................93

A

7.2.2. Ph

K

H

O

7.2.2.1. Tham s Heuristic Fuzzy Kernel sau khi hu n luy n .................................94
7.2.2.2. Ph

ng pháp FSVM so sánh các Kernel ....................................................94

7.2.2.3. Ph

ng pháp FSVM so sánh cách trích đ c tr ng .....................................95

7.2.2.4. Ph

ng pháp FSVM so sánh các t p nh 44 ng

7.2.2.5. Ph

ng pháp FSVM so sánh các đo n videoclip .......................................98

i và t p nh 10 ng

i ...96

7.2.3. Nh n xét.............................................................................................................99
Ch

ng 8 ...........................................................................................................................100

Nh n xét và h

ng phát tri n............................................................................................100

8.1. Thu n l i.................................................................................................................100
8.2. Khó kh n.................................................................................................................101
7


8.3. H

ng phát tri n .....................................................................................................102

8.4. T ng k t ..................................................................................................................103

K

H

O

A

C
N
TT

–

H

K
H
TN

TÀI LI U THAM KH O .................................................................................................104

8


Danh sách các hình
Hình 1-S đ h th ng nh n d ng khuôn m t .....................................................................16
Hình 2-Các mi n hình h c đ c tr ng Haar-like...................................................................21
Hình 3-Ý ngh a hình h c c a đ o hàm nh .........................................................................22
Hình 4-Cách tính giá tr m t ô đ c tr ng.............................................................................23

K
H
TN

Hình 5-Hình v minh ho thu t toán AdaBoost ..................................................................28
Hình 6-Hình v minh ho b dò tìm phân t ng ...................................................................29
Hình 7-Hình v các đ c tr ng Haar-let đ

c s d ng.........................................................32

Hình 8-Hình v minh ho h

ng c a véct riêng ...............................................................40

Hình 9-hình v minh h a nh

c đi m v đi m v

t c a SVM...........................................50

Hình 10-S đ di n t cách m hoá t p h c ........................................................................53
th di n t 3 lu t m xác đ nh đ đo thành viên...............................................54

H

Hình 11-

Hình 12-Hình minh h a l i c a SVM 1-t t c .....................................................................62
Hình 13-Hình minh h a tr c đ đo thành viên ....................................................................63

–

Hình 14-Hình minh h a cách kh c ph c c a FSVM ...........................................................64
Hình 15-Hình minh h a l i c a SVM 1 đ i 1 .....................................................................67

C
N
TT

Hình 16- Hình minh h a đ th DDAG SVM 1 đ i 1 .........................................................68
Hình 17-Hình minh h a h

ng gi i quy t c a FSVM cho SVM 1 đ i 1............................68

Hình 18-Hình minh h a b phân lo i đa l p d ng cây ........................................................71
Hình 19-S đ hu n luy n FSVM đa l p ............................................................................72
Hình 20 –Cách véct hóa nh đ nh n d ng........................................................................73

A

Hình 21-S đ nh n d ng khuôn m t dùng FSVM .............................................................78

O

Hình 22-Màn hình chính......................................................................................................84
Hình 23-Màn hình c s d li u ..........................................................................................85

H

Hình 24-Màn hình ch n thông s ........................................................................................85

K

Hình 25-Màn hình nh n d ng nh t nh ................................................................................86

Hình 26-Màn hình nh n d ng Video ...................................................................................87

Hình 27-Màn hình nh n d ng webcam................................................................................88
Hình 28-Màn hình test nh t nh ...........................................................................................89
Hình 29-Màn hình hu n luy n FSVM .................................................................................90

9


Danh sách các b ng
B ng 1-Thu t toán Adaboost ...............................................................................................27
B ng 2-Thu t toán hu n luy n b dò tìm phân t ng............................................................31
B ng 3-B ng k t qu detect v i t p d li u CBCL .............................................................91
B ng 4-B ng k t qu detect v i t p d li u 44 ng

i .........................................................92

K
H
TN

B ng 5-B ng k t qu detect các nh to trên Internet ...........................................................92
B ng 6-B ng k t qu detect khuôn m t trong webcam - video ...........................................93
B ng 7-B ng k t qu các tham s Fuzzy Kernel đ

c hu n luy n .....................................94

B ng 8-B ng k t qu so sánh các kernel khác nhau v i FSVM..........................................95
B ng 9-B ng k t qu so sánh các cách trích đ c tr ng .......................................................96
B ng 10-B ng k t qu so sánh hai t p d li u 44 ng

i và 10 ng

i .................................98

K

H

O

A

C
N
TT

–

H

B ng 11-B ng k t qu so sánh các đo n video clip.............................................................99

10


Phát bi u bài toán

Ch

ng 1
Phát bi u bài toán

K
H
TN

1.1. T ng quan và các khái ni m liên quan đ n nh n
d ng khuôn m t
1.1.1. H th ng sinh tr c h c
H th ng sinh tr c h c là m t h th ng đ

i d a vào nh ng đ c tr ng sinh h c duy nh t c a ng

H

d ng m t ng

c thi t k đ xác minh và nh n
i đó.

1.1.2. H th ng nh n d ng khuôn m t

c thi t k đ tìm thông

–

H th ng nh n d ng khuôn m t là m t h th ng đ

i. K thu t nh n d ng là ki m tra s phù h p d a trên phép so sánh

C
N
TT

tin c a m t ng

m t-nhi u c th là tìm ra m t ng

i là ai trong s nh ng ng

i đã đ

c l u tr

trong h th ng d a vào thông tin khuôn m t.

1.1.3. H th ng xác minh

H th ng xác minh/xác th c khuôn m t là m t h th ng đ

A

minh thông tin c a m t ng

i . K thu t xác minh là ki m tra s phù h p trên phép

O

so sánh m t-m t c th là đ i chi u thông tin m i nh n v m t ng

đã l u tr v ng

c thi t k đ xác
i v i thông tin

i này có kh p hay không d a trên thông tin khuôn m t.

K

H

1.1.4. H th ng nh n d ng t nh-t nh, t nh-đ ng, đ ng-đ ng

1.1.4.1. H th ng nh n d ng t nh t nh
H th ng nh n d ng t nh-t nh là h th ng đ
m ts

c thi t k b ng cách s d ng

nh t nh làm m u đ nh n d ng khuôn m t ng

11

i trong nh t nh. K thu t


Phát bi u bài toán

nh n d ng này ki m tra s phù h p d a trên phép so sánh m t nhi u nh h th ng
nh n d ng nói chung

trên.

1.1.4.2. H th ng nh n d ng t nh-đ ng
H th ng nh n d ng t nh-đ ng là h th ng đ

nh t nh làm m u đ nh n d ng khuôn m t ng

i trong nh đ ng. K thu t

K
H
TN

m ts

c thi t k b ng cách s d ng

nh n d ng này ki m tra s phù h p d a trên phép so sánh m t nhi u nh h th ng
nh n d ng nói chung

trên, song nh c n ki m tra là các khung nh đ ng trong các

đo n phim t các máy camera. K thu t này d nhiên không th chính xác vì chuy n
đ ng c a m t ng

i trong đo n phim khá ph c t p song th hi n trong nh t nh đ

1.1.4.3. H th ng nh n d ng đ ng-đ ng

H

hu n luy n l i ít.

H th ng nh n d ng đ ng-đ ng là h th ng đ

i trong nh đ ng. K thu t

–

các nh đ ng làm m u đ nh n d ng khuôn m t ng

c thi t k b ng cách s d ng

nh n d ng này ki m tra s phù h p d a trên phép so sánh m t nhi u nh h th ng
trên. Tuy nhiên, k thu t này chính xác h n k thu t s d ng

C
N
TT

nh n d ng nói chung

trong h th ng nh n d ng t nh-đ ng do s chuy n đ ng ph c t p c a khuôn m t
ng

i c ng đ

c hu n luy n b ng các khung nh đ ng.

m t

A

1.2. Nh ng thách th c trong bài toán nh n d ng khuôn

O

Nh ng bi n đ i quá l n gi a các nh khuôn m t khác nhau t m t ng

ic n

H

nh n d ng g m tr ng thái c m xúc trên khuôn m t, ánh sáng, và các thay đ i v trí

K

c a khuôn m t..vv.
Gi i h n v s
đ

nh c n thi t cho vi c nh n d ng, t p h c không th bao quát

c t t c các bi n đ i có th có trên khuôn m t c a m t ng

trong th gi i th c.

12

i c n nh n d ng


Phát bi u bài toán

1.3. Các h

ng ti p c n chính trong l nh v c nh n d ng

khuôn m t
1.3.1. Các công trình nghiên c u v ph

ng pháp dò tìm và

K
H
TN

nh n d ng khuôn m t
Bài toán nh n d ng khuôn m t c n xác đ nh hai v n đ chính: dùng thông tin
nào đ nh n d ng: chân mày, c p m t, m i, môi, tai, hay k t h p các thông tin trên.
Và dùng ph

ng pháp nào đ hu n luy n cho máy nh n d ng dùng ngu n thông tin

đó. Nh n d ng khuôn m t trên máy tính đã trãi qua nhi u b

H

k t qu nh sau:

c th ng tr m v i các

Ü Wenyi Zhao, Arvindh Krishnaswamy, Rama Chellappa, Danie L.Swets, John
Weng (1998)[1] s d ng ph

ng pháp PCA (phân tích thành ph n chính) k t
c 1, chi u nh khuôn m t t

–

h p LDA (phân tích đ c l p tuy n tính). B

không gian nh thô sang không gian các không gian khuôn m t (M i l p
c nh n d ng s đ

C
N
TT

khuôn m t đ

m t) dùng PCA. B

c mô hình hóa b ng m t không gian khuôn

c 2, s d ng ph

ng pháp LDA đ t o b phân lo i

tuy n tính có kh n ng phân l p các l p khuôn m t.
Ü Emmanuel Viennet và Francoise Fogelman Soulie (1998),[3] s
ng pháp m ng neural nhân t o đ x lý và nh n d ng khuôn m t.

A

ph

d ng

O

Ü Antonio J.Colmenarez và Thomas S.Huang (1998),[4] s d ng k thu t h c

K

H

th giác và phù h p m u 2-D. Ông quan ni m bài toán dò tìm khuôn m t là
thao tác phân lo i khuôn m t trong đó khuôn m t thu c v m t l p và các
đ it

ng khác thu c v l p còn l i b ng cách

cl

ng mô hình xác su t

cho m i l p, và vi c dò tìm s d ng lu t quy t đ nh Maximum-likelihood.
Ü Kazunori Okada, Johannes Steffens, Thomas Maurer, Hai Hong, Egor

Elagin, Hartmut Neven, and Christoph (1998),[5] nh n d ng khuôn m t d a
vào sóng Gabor và ph

ng pháp phù h p đ th bó. V i ý t

13

ng dùng đ th


Phát bi u bài toán

đ bi u di n khuôn m t, nh khuôn m t đ
xác đ nh tr

c đánh d u t i các v trí đã đ

c

c trên khuôn m t, g i các v trí này chính là các v trí chu n.

Khi th c hi n thao tác so kh p đ th v i m t nh, các đi m chu n (Jets) s
nh và so sánh các đi m chu n này v i t t c các đi m chu n

trích ra t

ng ng trong các đ th khác nhau, và đ th nào phù h p nh t v i nh s

đ

c ch n.

K
H
TN

t

Ü Jeffrey Huang, Chengjun Liu, và Harry Wechsler (1998)[8], đ xu t thu t
toán c n c

trên tính ti n hóa (Evolutionary computation) và di truy n

(Genetic) cho các tác v nh n d ng khuôn m t.
hai m t s đ

c dò tìm tr

i v i cách ti p c n này,

c tiên và thông tin này đ

c xem là v t đ quan

H

sát khuôn m t, trình x lý dò ti p m t b ng cách s d ng m t thu t toán lai
đ k t h p thao tác h c và ti n hóa trong quá trình h c.
Ü Oi Bin Sun, Chian Prong Lam và Jian Kang Wu (1998)[10], s d ng ph

ng

ng cho tr

và biên d

c, đ th bi u di n theo tr c ngang s đ nh v v trí biên trên

i c a hình ch nh t bao các đ c tr ng c c b khuôn m t. T

t v i chi u đ ng đ tìm ra đ
tr ng.

nh khuôn m t

c chi u theo chi u ngang đ tìm các giá tr đi m nh th a

C
N
TT

th ng ban đ u đ

–

pháp tìm vùng hai chân mày, hai m t, m i, mi ng và c m.

ng

ng

ng biên bên trái và ph i cho các vùng đ c

ng ti p c n

A

Ü Ara V.Nefian và Monson H.Hayes III (1998)[12] trình bày h

c

O

theo mô hình mô hình Markov n (HMM) trong đó nh m u khuôn m t đ

K

H

l

ng hóa thành chu i quan sát trên khuôn m t theo quan ni m d a trên th

t xu t hi n các đ c tr ng khuôn m t {hai chân mày, hai lông mi, m i,
mi ng, c m}. Trong chu i quan sát đó, m i quan sát l i là m t vector nhi u
chi u và m i vector quan sát này đ

c s d ng đ đ c tr ng cho m i tr ng

thái trong chu i tr ng tr ng thái c a HMM. M i ng

m t mô hình c a HMM.

14

iđ

c

cl

ng b ng


Phát bi u bài toán

Ü Guodong Guo, Stan Z.Li, Kap Luk Chan (17 January 2001) [13], dùng
ph

ng pháp SVM đ nh n d ng khuôn m t. S d ng chi n l

ck th p

nhi u b phân lo i nh phân đ xây d ng b phân lo i SVM đa l p.
ng pháp SVM đ dò tìm

Ü Hichem Sahbi (7 April 2003) [14] s d ng ph

c đa c p đ t i u hóa t c đ .

K

H
TN

khuôn m t, áp d ng các chi n l

Ü ZhenQiu Zhang, Long Zhu, Stan Z.Li, và HongJiang Zhang (2001) [15] s
d ng ph

ng pháp AdaBoost đ dò tìm khuôn m t trong th i gian th c v i

nhi u góc nhìn khác nhau.
Ü Tr n Ph

c Long – Nguy n V n L

ng (2003)[27], nh n d ng khuôn m t

1.3.2. H

ng ti p c n đ

c th nghi m trong lu n v n

Trong đ tài này chúng tôi th

nghi m ph

ng pháp nh n d ng FSVM

ng pháp PCA (phân tích thành ph n chính) đ

–

(Fuzzy SVM). Ph

ng pháp SVM và HMM.

H

d a vào thông tin xu t hi n trên nh b ng ph

c s d ng

C
N
TT

d ng PCA-toàn c c (Global PCA) và d ng c i ti n c i ti n PCA-c c b (Local
PCA) đ rút ra các vector đ c tr ng làm đ u vào cho b nh n d ng trên nh m t ng
t c đ x lý.

Vi c cô l p khuôn m t trong nh đ u vào ( nh ch a khuôn m t) đ
hi n v i ph

ng pháp dò tìm khuôn m t trong nh dùng AdaBoost.

K

H

O

A

S đ h th ng nh n d ng khuôn m t đ

15

c minh h a trong hình sau:

c th c


Phát bi u bài toán

ph

nh t nh

ng

pháp dò tìm

Video

ph
?

ng pháp

nh n d ng

Trích đ c tr ng s d ng
PCA –PCA c c b

H

FSVM

K
H
TN

AdaBoost

Webcam

K

H

O

A

C
N
TT

–

Hình 1-S đ h th ng nh n d ng khuôn m t

16


Mô t d li u

Ch

ng 2

2.1. Thu th p d li u
C s d li u nh khuôn m t g m nhi u ng

iđ

khác nhau.
T p nh đ hu n luy n b

K
H
TN

Mô t d li u

c thu th p t nhi u ngu n

dò tìm khuôn m t đ

c l y t

c a trung tâm CBCL thu c tr

ph i m t ng

ng đ i h c MIT.

nh nh sau : nh hu n luy n (2.429 m t ng

i) và nh th nghi m (472 m t ng

H

T p nh g m hai b

–

i bao g m 10-15 nh khác nhau. 25 ng

i, 4.548 không

i, 23,573 không ph i m t ng

C s d li u nh đ nh n d ng khuôn m t g m 44 ng
ng

trang web

i đâu tiên có nh đ

i).

i, trong đó m i
c trích t ngu n

C
N
TT

d li u ORL c a AT&T. ( Ngu n
d li u này chuyên ph c v cho các ng d ng nh n d ng khuôn m t. 19 ng
theo có nh đ

i ti p

c ch p t webcam.

Ngoài ra, còn có t p d li u do chúng tôi t o ra trong lúc th c hi n đ tài. ó
là d li u đ

c thu th p b ng webcam g m 10 ng

A

trong vi c t o m u nên s l

i khác nhau. Chính s ch đ ng

ng nh trung bình kho ng trên 15 nh / 1 ng

i..

O

Nh n xét v t p m u d li u: H u h t các khuôn m t xu t hi n trong nh là

H

khuôn m t tr c di n v i m t ph ng nh và m i khuôn m t đ u đ y đ thông tin đ c

K

tr ng nh {Hai chân mày, hai m t, m i, mi ng, c m}. M t s khuôn m t quay v i
m t góc không đáng k và có các s c thái vui,bu n, c
Kích th

i khác nhau.

c chu n hoá c a m i m u trong t p hu n luy n 30×30 (pixels)

2.2. Bi u di n d li u khuôn m t trong máy tính

17


Mô t d li u

D li u nh bi u di n bên trong máy tính là c

ng đ sáng c a đi m nh, t i

v tr x và y: (I(x,y)).
bi u di n d li u cho các thu t toán h c nh n d ng, ta dùng cách t ch c
d li u nh sau:
c b trí liên

K
H
TN

c t ng dòng nh theo th t t trên xu ng, m i dòng nh đ
t c nhau trên m t m ng s th c m t chi u. Nh v y t

nh có kích th

c 30×30

(pixels) ta bi u di n thành m ng vector m t chi u trong máy tính x=(x1,x2,….,x900).
ng pháp PCA và FSVM.

K

H

O

A

C

N
TT

–

H

ây là cách b trí đ thí nghi m cho ph

18


Dò tìm khuôn m t nhanh theo ph

Ch

ng pháp AdaBoost

ng 3
Dò tìm khuôn m t nhanh theo ph

ng pháp

K
H
TN

AdaBoost
3.1. Gi i thi u
Dò tìm đ i t

ng là bài toán c b n và quan tr ng trong l nh v c th giác

máy tính. Các k thu t đã đ

c áp d ng có th chia thành m t trong hai ti p c n: so

Dyer, 1986, Besl và Jain, 1985], hay ph

H

kh p các mô hình hình h c hai, ba chi u vào nh [Seutens at al., 1992, Chin và
ng pháp so kh p các mô hình khung vào

nh có ch a khuôn m t c n dò tìm. Các nghiên c u tr

ng pháp d a trên khung nhìn có th dò tìm các khuôn m t th ng trong n n

C
N
TT

ph c t p m t cách hi u qu .

–

ph

c đây cho th y r ng các

Bài toán dò tìm khuôn m t nhanh trên nh là bài toán quan tr ng vì là quá
trình nh n d ng đ i t
đ

cđ it

ng s thi u chính xác n u nh thi u b

c dò tìm và đ nh v

ng. Bài toán dò tìm khuôn m t nhanh có ý ngh a r t quan tr ng trong

vi c nh n d ng, theo v t các đ i t
camera.

ng chuy n đ ng trong các đo n video hay

O

A

3.1.1. Các v n đ trong vi c dò tìm khuôn m t nhanh

K

H

B n thân vi c dò tìm khuôn m t trên nh đã có nhi u v n đ nh
o Bi n đ i m t ph ng nh (quay, h

ng.v.v.. c a khuôn m t)

o Bi n đ i đ sáng và ng c nh
o Bi n đ i n n
o Bi n đ i hình dáng (các s c thái khuôn m t khác nhau)
Ngoài ra vi c dò tìm khuôn m t nhanh còn ch u ràng bu c v th i

gian x lý. Tuy nhiên, n u nh vi c dò tìm đ

19

c ti n hành trên các đo n video hay


Dò tìm khuôn m t nhanh theo ph

ng pháp AdaBoost

camera ta có th áp d ng các ph
lúc nh theo v t đ i t

3.1.2. Các h
Ü H

ng, tr

ng pháp x lý các khung hình liên t c cùng m t

nh v.v….

ng ti p c n dò tìm khuôn m t nhanh

ng dò tìm khuôn m t trên nh màu d a trên s phân tích màu s c c a

x lý trên nh màu và th
làm các b

ng nh y c m v i ánh sáng, th

c ti n x lý cho các h

ng khác.

ng dò tìm khuôn m t d a trên đ c tr ng ch y u d a vào các đ c

tr ng c a khuôn m t ng
dò tìm khuôn m t ng

iđ

c quy đ nh tr

c. Thành công nh t trong

i trong th i gian th c là ph

(Active shape Models).

ng pháp ASM

ng dò tìm khuôn m t d a trên thông tin hình nh g m m ng n ron,

các h

ng th ng kê (SVM, AdaBoost…). Ph

c k t qu cao trong th i gian khá nhanh song c ng ch

C
N
TT

n ron c ng đ t đ

ng pháp SVM và m ng

–

Ü H

ng ch s d ng

H

Ü H

ng này có gi i h n ch

K
H

TN

vùng da. M c dù vi c x lý khá nhanh nh ng h

vài nh trong m t giây nên khó có th áp d ng trong vi c nh n d ng th i
gian th c. Riêng ph

ng pháp AdaBoost cho k t qu kh quan vì có th

x lý đ n kho ng 15-20 khung hình trong m t giây.

3.1.3. H

ng ti p c n theo ph

ng pháp AdaBoost

A

Chúng tôi ti n hành dò tìm khuôn m t ng

i theo ph

ng pháp AdaBoost

O

v i các lý do nh sau:

K

H

Ü Ph

ng pháp dò tìm AdaBoost d a trên ý t

ng xây d ng các b dò tìm y u

m c dù đ chính xác không cao nh ng có th i gian x lý r t nhanh. Tuy
nhiên khi k t h p các b dò tìm l i có th đ t đ chính xác cao.

Ü Ph

ng pháp AdaBoost s d ng k t h p các đ c tr ng v n d tính toán r t

nhanh, thích h p cho vi c dò tìm trong th i gian th c.

20


Dò tìm khuôn m t nhanh theo ph

ng pháp AdaBoost

Ü Các b phân lo i AdaBoost có th xây d ng phân t ng v i đ ph c t p x lý
t th p đ n cao, nh m lo i nhanh các ng viên x u (không ph i m t ng

i)

v n d nhi u h n nhi u các ng viên là m t ngu i đ đ n b phân lo i ph c
t p h n (ch còn l i ít ng viên ch a b lo i).

ng pháp ch n đ c tr ng cho AdaBoost

K
H
TN

3.2. Ph

ng pháp ch n đ c tr ng thích h p cho AdaBoost là phép bi n đ i

M t ph

Haar-like. Phép bi n đ i Haar-like d a trên ý t

ng r t đ n gi n, đ c tr ng đ

c

tính b ng đ chênh l ch gi a t ng các mi n hình h c. Có 3 t p h p mi n hình h c

O

A

C
N
TT

–

H

chính nh sau:

Hình 2-Các mi n hình h c đ c tr ng Haar-like

Gi s mi n đen là d

ng và mi n tr ng là âm thì đ c tr ng Haar-let tính

K

H

b ng t ng giá tr pixel các ô đen tr cho t ng giá tr các pixel các ô tr ng. Cách tính
nhanh ph

ng pháp Haar-like d a trên đ o hàm nh b c nh t ii(x,y) c a nh i(x,y).

o hàm ii(x,y) c a nh i(x,y) chính là t ng giá tr các pixel tính t góc trái trên đ n
(x,y) :
ii ( x, y ) = ∑ ∑ i ( x' , y ' )
x '≤ x y '≤ y

21

ng pháp AdaBoost

K
H
TN

Dò tìm khuôn m t nhanh theo ph

Hình 3-Ý ngh a hình h c c a đ o hàm nh

c th c hi n r t nhanh b ng vi c c ng tích l y

H

Vi c tính toán đ o hàm nh đ
nh sau:
Sau khi có đ
c tính nh sau:

–

đ

c đ o hàm nh, vi c tính toán trên m t kh i hình ch nh t

C
N
TT

s(x,y) = s(x,y-1) + i(x,y)

ii(x,y) = ii(x-1,y) + s(x,y)

trong đó s(x,y) là t ng c a c t x tính t đ u dòng đ n v trí (x,y).
Sau khi có đ

c đ o hàm nh, ta ch vi c tính giá tr m t ô ch nh t b ng

cách nh sau: ch ng h n ô ch nh t D ta có val(D) = val(ABCD) – val(AC) –
ng trình sau:

sr = (ii(x,y) + ii(x-W,y-L)) – (ii(x-W,y) + ii(x,y-L))

K

H

O

A

val(AB) + val(A) , do đó n u tính theo t a đ (x,y) ta có ph

22


Dò tìm khuôn m t nhanh theo ph

ng pháp AdaBoost

Hình 4-Cách tính giá tr m t ô đ c tr ng

Cu i cùng, vi c tính các đ c tr ng Haar-like ch còn là tr giá tr t ng
các ô ch nh t đ

c tính nh trên.

Chú ý, v i cái nhìn đ i s tuy n tính v ph

ng pháp tính giá tr t ng

ng <i>’*<r> trong đó <A> chính là ma tr n có

c a nh i chính là phép nhân vô h
đ

K
H
TN

c a m t ô trong nh, giá tr t ng m t ô r(trong ô có giá tr 1, ngoài ô có giá tr 0)

c b ng cách chuy n ma tr n A kích th

c mxn thành ma tr n kích th

1x(m.n) và A’ là ma tr n chuy n v c a A.

ng pháp AdaBoost

H

3.3. Ph

3.3.1. Gi i thi u
Cho hai t p nh, m t là khuôn m t ng

i và m t không ph i là m t ng

C
N
TT

tr ng d a trên 5 đ c tr ng c b n trong nh kích th
t ng đ c tr ng là r t nhanh song s l
tr ng là không th . Ph

i.

ng pháp trích đ c tr ng nh trên, có t t c trên 50.000 đ c

–

Sau khi áp d ng ph

c

c 24x24. M c dù vi c x lý

ng đ c tr ng l n nên áp d ng t t c các đ c

ng pháp AdaBoost d a trên ý t

ng k t h p tuy n tính các

b phân lo i, trong đó m i b phân lo i bao g m các đ c tr ng trên. V n đ còn l i
là hu n luy n t ng b phân lo i.

A

3.3.2. Thu t toán AdaBoost

O

Xét bài toán hai l p, m u hu n luy n bao g m M b (xi,yi) đã đ

c gán nhãn,

K

H

v i i∈ {1,2,..,M} trong đó yi ∈ {+1,-1} là nhãn và xi ∈Rn là các m u hu n luy n.
Trong AdaBoost, m t b phân lo i m nh h n đ

c xây d ng d a trên

s k t h p tuy n tính gi a M b phân lo i y u h n:
M

H M ( x) = ∑ hm ( x)
m =1

23

(1)