XÂY DỰNG HỆ THỐNG NHẬN DẠNG MẶT TỰ ĐỘNG SỬ DỤNG LPQ (LOCAL PHASE QUANTIZATION )

TR

NG

I H C HÀNG H I VI T NAM

KHOA CÔNG NGH THÔNG TIN

THUY T MINH
TÀI NCKH C P TR

NG

TÀI

XÂY D NG H TH NG NH N D NG M T T
NG S
D NG LPQ (LOCAL PHASE QUANTIZATION)
Ch nhi m đ tài: TS. NGUY N H U TUÂN

Thành viên tham gia: ThS. NGUY N V N TH Y

H i Phòng, tháng 4/2016


M CL C
M

U ............................................................................................................... 1

1. Tính c p thi t c a v n đ nghiên c u ............................................................ 1

2. T ng quan v tình hình nghiên c u thu c l nh v c đ tài ............................. 1
3. M c tiêu, đ i t
4. Ph

ng pháp nghiên c u, k t c u c a công trình nghiên c u ....................... 2

5. K t qu đ t đ
CH

ng, ph m vi nghiên c u ...................................................... 1

c c a đ tài ............................................................................ 2

NG 1: C S LÝ THUY T C A NH N D NG M T NG

1. Bài toán nh n d ng m t ng

I .......... 4

i – nh ng v n đ c b n .................................. 4

1.1. Gi i thi u ................................................................................................. 4
1.2. Thách th c trong nh n d ng m t ng

i ................................................... 5

1.3. Các cách ti p c n cho bài toán nh n d ng m t ng
CH

NG 2: CÁC THÀNH PH N C A M T H

M TT

i .............................. 6

TH NG NH N D NG

D NG ................................................................................................. 10

1. H th ng nh n d ng m t t đ ng ................................................................. 10
2. Phát hi n m t ng

i s d ng đ c tr ng HOG.............................................. 11

3. Chu n hóa ánh sáng v i b l c Retinal filter ............................................... 15
4. Ph

ng pháp trích ch n đ c tr ng LPQ (Local Phase Quantization) ......... 17

5. B phân l p k-NN ........................................................................................ 20
CH

NG 3: XÂY D NG H TH NG ........................................................... 23

1. Th vi n OpenCV và dlib ............................................................................ 23
1.1. Th vi n OpenCV .................................................................................. 23
1.2. Th vi n dlib .......................................................................................... 26
2. D li u và giao th c đánh giá hi u n ng c a h th ng ................................ 30
i

3. K t qu nh n d ng........................................................................................ 32
K T LU N ......................................................................................................... 34
TÀI LI U THAM KH O ................................................................................... 36

ii


DANH SÁCH B NG BI U
B ng 3.1: So sánh t l nh n d ng c a h th ng đ xu t v i các k t qu đã công
b khác. ............................................................................................................... 32

iii


DANH SÁCH HÌNH NH
Hình 1.1: Các thông tin có trong nh m t ng

i.................................................. 5

Hình 1.2: Các b

c trong m t h th ng nh n d ng m t ...................................... 8

Hình 2.1: Các b

c trong h th ng nh n d ng m t t đ ng. ............................. 10

Hình 2.2: nh input và hai đ o hàm c a nó....................................................... 12
Hình 2.3: nh input và k t qu phát hi n và c n ch nh nh m t v i HOG. ...... 14

Hình 2.4: Các b

c trong b l c Retinal filter................................................... 15

Hình 2.5: K t qu c a vi c ti n x lý v i b l c Retina filter. .......................... 17
Hình 2.6: M t s

nh LPQ thu đ

Hình 2.7: Các b

c trong ph

c t các toán t LPQ. ................................. 19

ng pháp trích ch n đ c tr ng LPQ. .................. 20

Hình 2.8: Minh h a b phân l p kNN ............................................................... 21
Hình 3.1: C u trúc c a th vi n OpenCV. ......................................................... 23
Hình 3.2: C u trúc c a th vi n dlib. ................................................................. 27
Hình 3.3: M t s

nh m t ng

i t c s d li u FERET. ................................ 31

Hình 3.4: M t s k t qu v phát hi n m t ng

i trong CSDL FERET............ 32

iv


DANH SÁCH THU T NG , CH

VI T T T

Ch vi t t t

HOG – Histogram of Oriented Gradient
kNN – k-nearest neighbors
LPQ – Local Phase Quantization
FERET – FacE Recognition Technology
PCA – Principal Components Analysis

LDA – Linear Discriminant Analysis
LBP – Local Binary Pattern
SVM – Support Vector Machine

Trang
2
2
2
3
6
7
7
8

v

Thuy t minh đ tài NCKH c p tr

ng 2016

M

U

1. Tính c p thi t c a v n đ nghiên c u

Nh n d ng m t là bài toán có nhi u ng d ng trong th c t và nh n đ

c

s quan tâm l n t c ng đ ng các nhà khoa h c nghiên c u v Th giác máy tính
trong th i gian g n đây. M t h th ng nh n d ng m t có nhi u b

c và m i b

c

l i là m t l nh v c nghiên c u v i các cách ti p c n khác nhau. Do vây, h u h t
các nghiên c u đ u th c hi n các th c nghi m trên các c s d li u chu n, có
s n các d li u c n thi t, mà không t p trung vào vi c xây d ng m t h th ng t
đ ng nh n d ng t các d li u thô ban đ u (các nh m t ch a qua x lý).
2. T ng quan v tình hình nghiên c u thu c l nh v c đ tài

Hi n nay các nghiên c u v nh n d ng m t đ

c chia thành các h

ng ti p

c n khác nhau cho t ng khâu c a m t h th ng hoàn ch nh v n g m có nhi u
b

c, m i b

c có m t ch c n ng và nh h

ng khác nhau t i hi u n ng chung

c a h th ng. Các th nghi m v t l nh n d ng c a các cách ph
xu t th

ng đ

c ti n hành trên các t p d li u đ

ch v ánh sáng, h
th

ng pháp đ

c thu nh n trong đi u ki n h n

ng, …, do đó khi áp d ng vào th c t thì k t qu thu đ

ng kém xa so v i môi tr

c

ng th nghi m. Chính vì v y, trong đ tài này,

chúng tôi t p trung vào vi c xây d ng m t h th ng t đ ng nh n d ng và th
nghi m v i các đi u ki n nh thu nh n đ
3. M c tiêu, đ i t

c trong các đi u ki n th c t .

ng, ph m vi nghiên c u

M c tiêu c a đ tài là xây d ng m t h th ng nh n d ng m t hoàn toàn t
đ ng v i d li u đ u vào là các nh m t ng

i s d ng LPQ, m t ph

ng pháp

trích ch n đ c tr ng nh m t có kh n ng làm vi c t t v i các nh b m hay b
nh h

ng b i ánh sáng. H th ng s g m các module th c hi n: phát hi n vùng

nh m t, ti n x lý, trích ch n đ c tr ng, h c và nh n d ng.

Trang 1

Thuy t minh đ tài NCKH c p tr
4. Ph

ng 2016

ng pháp nghiên c u, k t c u c a công trình nghiên c u

Nh m xây d ng m t ch

ng trình nh n d ng m t t đ ng, đ tài th c hi n

nghiên c u các v n đ sau:
+ Nghiên c u k

thu t phát hi n nh m t d a trên đ c tr ng HOG

(Histogram of Oriented Gradients).
+ Nghiên c u k thu t ti n x lý đ chu n hóa nh m t
+ Nghiên c u áp d ng LPQ (Local Phase Quantization) cho bài toán nh n
d ng m t.
+ Nghiên c u th vi n mã ngu n m OpenCV.
+ Xây d ng ch
5. K t qu đ t đ

ng trình

c c a đ tài

ã nghiên c u kh o sát các b

c c a m t h th ng nh n d ng m t t đ ng

và các k thu t khác nhau có th áp d ng cho t ng b

c.

thành công m t h th ng nh n d ng m t t đ ng v i các b

xu t và xây d ng
c c th nh sau:

+ T đ ng phát hi n và c n ch nh khuôn m t b ng ph

ng pháp HOG

(Histograms of Oriented Gradients).
+ Chu n hóa đi u ki n ánh sáng c a các nh m t ng

i sau b

c phát hi n

và c n ch nh b ng k thu t retina filter.
+ Trích ch n đ c tr ng c a nh m t nh m bi u di n các b c nh thành các
vector đ c tr ng s d ng ph

ng pháp trích ch n đ c tr ng LPQ, m t ph

ng

pháp cho k t qu nh n d ng t t trong nhi u đi u ki n khó kh n, ch ng h n nh
thay đ i c a ánh sáng và nh b m .
+ S d ng ph

ng pháp phân l p kNN (k-nearest neighbors) cho b

c nh n

d ng đ đ a ra danh tính c a b c nh c n nh n d ng.
H th ng đ

c cài đ t b ng ngôn ng C++ s d ng b công c Visual

Studio 2015 update 2 và hai th vi n mã ngu n m OpenCV và dlib. Hi u n ng
nh n d ng c a h th ng đ

c th nghi m đánh giá b ng protocol chu n trên c
Trang 2


Thuy t minh đ tài NCKH c p tr
s d li u nh m t ng

ng 2016

i công c ng FERET (FacE Recognition Technology) và

so sánh v i các k t qu đã công b c a các ph

ng pháp có liên quan. K t qu so

sánh cho th y r ng h th ng đ xu t có hi u n ng khá t t đ i v i các nh m t có
góc nhìn th ng đ

c thu nh n trong các đi u ki n trong nhà và có ki m soát.

M c dù v y khi so sánh v i các h th ng bán t đ ng thì k t qu nh n d ng
c a h th ng v n ch a cao b ng.

i u này là h p lý vì vi c c n ch nh nh trong

các h th ng bán t đ ng d a trên các t a đ c a m t ng

iđ

c xác đ nh b ng

tay v n cho k t qu chính xác cao h n so v i vi c phát hi n và c n ch nh t đ ng.

Trang 3


Thuy t minh đ tài NCKH c p tr

ng 2016

CH
C

S

NG 1:

LÝ THUY T C A NH N D NG M T NG

1. Bài toán nh n d ng m t ng

I

i – nh ng v n đ c b n

1.1. Gi i thi u
Nh n d ng m t ng

i (Face recognition) là m t ch đ nghiên c u thu c

l nh v c th giác máy tính (Computer Vision) đã đ
n m 90 c a th k tr
m nh n đ

c phát tri n t đ u nh ng

c [1]. Cho t i hi n nay, đây v n là m t ch đ nghiên c u

c s quan tâm c a nhi u nhà nghiên c u t nhi u l nh v c nghiên

c u khác nhau nh nh n d ng m u (Pattern Recognition), h c máy (Machine
Learning), th ng kê (Statistics), sinh tr c h c (Biometrics). i u này là do có r t
nhi u ng d ng th c t c n t i m t h th ng nh n d ng m t, t các h th ng qu n

lý đ ng nh p đ n gi n cho t i các ng d ng giám sát t i các đ a đi m công c ng
(public areas surveillance) ho c qu n lý dân s (population management) và pháp
lý (forsensics). Bên c nh đó, so v i các h th ng nh n d ng d a trên các đ c đi m
sinh tr c h c khác c a con ng

i, nh nh n d ng m ng m t và vân tay (fingerprint

and iris recoginitions), dáng đi (gait recognition), nh n d ng m t có nhi u u
đi m:
+ M t h th ng nh n d ng m t không đòi h i có s t
đ it

ng đ

ng tác tr c ti p gi a

c nh n d ng và h th ng.

+ Vi c thu nh n d li u ( nh m t) cho quá trình nh n d ng m t con ng

i

d th c hi n h n so v i thu nh n các đ c đ c đi m sinh tr c h c khác (nh thu
nh n d u vân tay và m ng m t).
+ D li u v m t ng

i ph bi n h n so v i các đ c tr ng khác do s bùng

n các m ng xã h i (facebook, twitter …), các d ch v chia s d li u đa ph

ng

ti n (youtube, vimeo …) và s phát tri n m nh m c a các thi t b thu nh n hình
nh.
+T

nh khuôn m t c a m t ng

i ta có th khai thác nhi u thông tin liên

quan ch không ch là danh tính, ch ng h n nh gi i tính (gender), màu da (skin
Trang 4


Thuy t minh đ tài NCKH c p tr
color), h

ng 2016

ng nhìn (gaze direction), ch ng t c, hành vi, s c kh e, đ tu i, c m

xúc và m c đ thông minh … (xem thêm trong hình minh h a 1.1).

Hình 1.1: Các thông tin có trong nh m t ng
1.2. Thách th c trong nh n d ng m t ng

i

i

Tuy nhiên vi c xây d ng m t h th ng nh n d ng m t hoàn toàn t đ ng
v i kh n ng nh n d ng chính xác cao th c s là m t thách th c đ i v i các nhà
nghiên c u.

i u này là do các y u t (ch quan và khách quan) nh h

ng t i

quá trình thu nh n nh và t o ra các b c nh có đ khác bi t r t l n c a cùng m t
khuôn m t. Có th li t kê ra đây các y u ch y u nh h

ng t i đ chính xác c a

m t h th ng nh n d ng m t [2]:
+ ánh sáng (light conditions). Các b c nh m t thu nh n

các đi u ki n

sáng khác nhau s r t khác nhau và làm gi m s chính xác trong quá trình nh n
d ng.
+ thay đ i v tu i (aging changes). Khuôn m t ng

i có các thay đ i l n

khi tu i thay đ i và khó nh n d ng h n ngay c đ i v i h th ng th giác c a con
ng

i.
+ các v n đ v h

ng (pose variations). Vi c nh n d ng v i các nh có

góc ch p th ng (frontal) có k t qu t t h n r t nhi u so v i các nh đ

c ch p

góc nghiêng l n h n 45o. Gi i pháp th

ng ch p

ng th y đ i v i các nh có h

l n là s d ng các thu t toán n i suy đ c g ng bù đ p ph n khuôn m t b che
khu t.

Trang 5


Thuy t minh đ tài NCKH c p tr

ng 2016

+ c m xúc (facial expresion variations).

các tr ng thái c m xúc khác nhau,

các đ c đi m quan tr ng cho nh n d ng m t (nh m t, m i, m m) có th b bi n
d ng (deformed) và d n t i các k t qu nh n d ng sai.
+ che khu t (occlusions). Các nh m t có th b che khu t b i các y u t
khách quan nh v t ch n

tr

c m t ho c ch quan nh các ph ki n trên khuôn

m t (kh n, kính m t) và làm cho quá trình nh n d ng b sai.
Các h th ng nh n d ng m t đ

c chia thành hai lo i: xác đ nh danh tính

(face identification) và xác th c (face verification). Bài toán xác đ nh danh tính là
bài toán d ng 1-N trong đó h th ng s đ a ra k t qu là danh tính c a nh đ
nh n d ng d a trên s t

c

ng đ ng c a nh input v i m t danh sách N nh đã bi t

danh tính chính xác. Trong khi đó,

bài toán xác th c danh tính, h th ng s đ a

ra câu tr l i đúng ho c sai d a vào vi c xác đ nh xem 2 b c nh có thu c v cùng
m t ng

i hay không. Trong ph m vi c a đ tài này, chúng tôi ch t p trung vào

bài toán xác đ nh danh tính.
1.3. Các cách ti p c n cho bài toán nh n d ng m t ng

i

D a vào vi c s d ng các đ c tr ng c a khuôn m t trong khi nh n d ng,
các h th ng nh n d ng m t đ

c chia thành hai h

c n toàn c c (global approaches) và h
approaches) [2]. Các ph

ng ti p c n chính: h

ng ti p

ng ti p c n c c b (local features based

ng pháp theo h

ng ti p c n toàn c c s s d ng các

đ c đi m toàn c c c a khuôn m t (hình d ng, màu s c, các đ

ng nét chính …)

trong khi các h th ng theo cách ti p c n d a vào các đ c tr ng c c b s d ng
các đ c đi m c c b c a khuôn m t (các đi m nh, các chi ti t nh m t, m i, m m,
lông mày …) đ nh n d ng. Trong s các h th ng nh n d ng m t d a trên các
đ c đi m toàn c c Eigengaces [3] và Fisherfaces [4] là các h th ng tiêu bi u nh t.
Eigenfaces s d ng phép phân tích thành ph n chính PCA (Principal Components
Analysis) đ bi u di n m i nh m t nh là m t t h p tuy n tính c a các vector

riêng thu đ

c t phép phân gi i ma tr n hi p ph

ng sai đ

c tính t các nh

m t sau khi đã chu n hóa. Do PCA là m t thu t toán h c không có giám sát nên
không t n d ng đ

c các thông tin v l p khi t p nh hu n luy n có nhi u h n 1
Trang 6


Thuy t minh đ tài NCKH c p tr

ng 2016

m u cho m i l p nên trong Fisherfaces ph
bi t LDA (Linear Discriminant Analysis) đã đ

ng pháp phân tích tuy n tình khác
c s d ng nh m khai thác t t h n

các thông tin này. V các h th ng nh n d ng m t d a trên các đ c đi m c c b
thì ph

ng pháp m u nh phân c c b LBP (Local Binary Pattern) [5] và bi n đ i

sóng nh Gabor (Gabor wavelets) [6] là các k thu t đi n hình dùng đ trích xu t
các đ c đi m c c b t

nh m t.

Các nghiên c u cho th y các h th ng d a trên các đ c đi m c c b cho k t
qu t t h n các h th ng theo cách ti p c n toàn c c, đ c bi t là khi làm vi c v i
các nh b

nh h

ng b i các đi u ki n nh đã đ c p

trên. M t cách ti p c n

khác là k t h p c hai đ c tr ng c c b và toàn c c đ nh n đ
lai ghép (hybrid system) nh m đ t đ

c m t h th ng

c hi u qu cao h n. H th ng đ

c xây

d ng trong tài li u này d a trên các đ c tr ng c c b .
V c b n, m t h th ng nh n d ng m t ng
th giác c a con ng
b c nh.

b

i làm vi c gi ng nh h th ng

i khi c n nh n d ng (nh n ra) m t ai đó khi nhìn vào m t

c đ u tiên h th ng c n xác đ nh xem có m t ng

input hay không, sau đó n u có thì ch vùng nh đó s đ

i trong b c nh

c quan tâm, x lý, b

c

này g i là phát hi n khuôn m t (face detection). Ti p đ n, các đ c đi m là đ c
tr ng nh t c a khuôn m t (giúp phân bi t nh m t ng
các nh thu c v cùng m t ng

i) s đ

i này v i ng

i khác và

c trích ch n (extract) đ nh n d ng, b

này g i là trích ch n đ c tr ng (feature extraction). Trong b

c ti p theo, g i là

nh n d ng (recognition), h th ng s đ i sánh các đ c tr ng v a nh n đ
m t kho d li u các đ c tr ng c a nh ng ng

ng

ng đ ng l n nh t. T l các nh nh n d ng đúng

danh tính (so v i d li u th c t ) trên t ng s
d ng (recognition rate) và đ

cv i

i đã bi t rõ danh tính đ xác đ nh

xem các đ c tr ng đó là c a khuôn m t này và đ a ra k t lu n v danh tính t
ng v i khuôn m t có t l t

c

nh c n nh n d ng g i là t l nh n

c dùng đ đánh giá hi u n ng (đ chính xác) c a

m t h th ng nh n d ng.

Trang 7


Thuy t minh đ tài NCKH c p tr

Hình 1.2: Các b

ng 2016

c trong m t h th ng nh n d ng m t

Trên th c t , vi c xây d ng m t h th ng nh n d ng m t s g m nhi u b
chi ti t h n nh đ

c ch ra trong hình 1.2. Tr

thu t toán ti n x lý (preprocessing) s đ

cb

c

c trích ch n đ c tr ng, m t

c s d ng đ th c hi n l c nhi u và

chu n hóa các đi u ki n ánh sáng c a các b c nh sao cho chúng có cùng đi u
ki n ánh sáng nh t có th . Ti p đó, sau b
đ

c bi u di n d

c trích ch n đ c tr ng, m i nh m t s

i d ng m t vector đ c tr ng có s chi u l n (t vài nghìn cho

t i hàng tr m nghìn) và ch a nhi u thông tin d th a, không c n thi t cho quá
trình nh n d ng. Do đó, m t thu t toán h c s đ

c s d ng đ lo i b các đ c

đi m d th a và đ ng th i làm t ng tính phân bi t (discriminative) c a các thu c
tính đ

c gi l i nh m làm t ng hi u n ng c a h th ng v c t c đ x lý (do ch

c n làm vi c v i các vector có s chi u nh h n r t nhi u) và đ chính xác. Cu i
cùng, b

c nh n d ng (classification stage), có nhi u thu t toán có th s d ng,

ch ng h n nh b phân l p k-láng gi ng g n nh t (k Nearest Neighbors – k-NN),
SVM (Support Vector Machine) ho c m ng n ron (neural network).
Do m t h th ng nh n d ng m t g m nhi u b

c nên các nghiên c u v

nh n d ng m t c ng chia thành các l nh v c nh h n ch t p trung vào các ph
pháp đ gi i quy t t ng b

ng

c trong c h th ng. Vì th , m c dù đã có nhi u nghiên

c u v nh n d ng m t, song vi c xây d ng hoàn ch nh m t h th ng hoàn toàn t
đ ng t b
tôi h

c đ u tiên t i cu i cùng v n còn ch a nhi u. Trong đ tài này, chúng

ng t i vi c xây d ng m t h th ng nh n d ng m t hoàn toàn t đ ng v i

các k thu t đ

c áp d ng cho các b

c nh sau:

Trang 8


Thuy t minh đ tài NCKH c p tr

ng 2016

+ phát hi n khuôn m t: s d ng các đ c tr ng HOG (Histogram of Oriented
Gradients) [7].
+ ti n x lý: s d ng ph

ng pháp retinal filter [8].

+ trích ch n đ c tr ng: nghiên c u áp d ng k thu t LPQ (Local Phase
Quantization) [9].
+ nh n d ng đ i t

Trong ch
và các b

ng v i b phân l p k-NN.

ng này, các v n đ liên quan t i bài toán nh n d ng m t ng

i

c c b n đ xây d ng m t h th ng nh n d ng m t t đ ng cùng v i

các cách ti p c n liên quan đã đ

c trình bày. Ch

s trình bày chi ti t v các k thu t đ

ng ti p theo c a tài li u này

c áp d ng khi tri n khai h th ng.

Trang 9


Thuy t minh đ tài NCKH c p tr

ng 2016

CH

NG 2:

CÁC THÀNH PH N C A M T H TH NG NH N D NG M T
T

D NG

1. H th ng nh n d ng m t t đ ng

Hình 2.1: Các b

c trong h th ng nh n d ng m t t đ ng.

M c tiêu c a đ tài này là xây d ng m t h th ng nh n d ng m t t đ ng
v i các b
đ

cđ

c mô t nh trong hình 2.1. T

nh input, các nh m t ng

is

c phát hi n b ng cách s d ng các đ c tr ng HOG (Histogram of Oriented

Gradient). Sau đó ph

ng pháp chu n hóa ánh sáng Retinal filter s đ

đ gi m b t các nh h

c s d ng

ng x u c a ánh sáng t i hi u n ng nh n d ng.

trích ch n đ c tr ng, ph

b

ng pháp Local Phase Quantization (LPQ) s đ

c

cs

d ng đ trích xu t các đ c tr ng quan tr ng nh t c a m i b c nh m t. B phân
l p kNN (k=1) s đ
đ

c s d ng

c dùng đ đánh giá đ t

b

c phân l p trong đó hàm Chi Square s

ng đ ng c a các nh m t theo công th c sau:

( , )=

(

)

,

trong đó X=[x1, x2, …, xM] và Y = [y1, y2, …, yM] là hai vector đ c tr ng t

ng

ng v i 2 b c nh m t.
Trong các ph n ti p theo c a ch
c a các thu t toán đ

ng này chúng tôi s trình bày chi ti t các b

c

c s d ng cho h th ng nh n d ng m t t đ ng.

Trang 10


Thuy t minh đ tài NCKH c p tr
2. Phát hi n m t ng

ng 2016

i s d ng đ c tr ng HOG

Các đ c tr ng HOG [7] ban đ u đ

c thi t k đ phát hi n ng

detection) trong d li u nh nh ng sau đó đ
rãi cho các bài toán phát hi n đ i t

c m r ng và đ

i (human

c s d ng r ng

ng nói chung (object detection). Ph

HOG d a trên vi c đ m s l n xu t hi n c a các h

ng pháp

ng đ o hàm (gradient

orientation) trong các vùng c c b c a nh.
B n ch t c a ph
ngoài c a các đ i t

ng pháp HOG là các thông tin v hình dáng và v b

ng c c b trong nh có th đ

thông tin v s phân b c a các c
các h

c mô t b ng cách s

ng đ gradient (intensity gradients) ho c c a

ng biên (edge directions). Các toán t HOG đ

nh m t b c nh thành các vùng con đ
cell đó m t histogram v các h

d ng

c cài đ t b ng cách chia

c g i là các “t bào” (cells) và v i m i

ng c a gradients s đ

c tính cho các đi m n m

trong cell. Ghép các histogram này l i ta s có m t bi u di n cho b c nh ban đ u.
t ng c
v đ t

ng hi u n ng nh n d ng, các histogram c c b có th đ
ng ph n b ng cách tính m t ng

ng c

ng đ trong m t vùng l n h n

c a nh, g i là các kh i (blocks) và s d ng giá tr ng
các cell trong kh i. K t qu c a b

c chu n hóa

ng đó đ chu n hóa t t c

c chu n hóa này là vector đ c tr ng s có tính

b t bi n cao h n đ i v i các thay đ i v đi u ki n ánh sáng.
Các b

c c b n c a vi c tính m t vector HOG cho m t nh g m có: Tính

gradient, gán h

ng vào các vùng giá tr khác nhau, tính histogram c a các kh i

và cu i cùng là chu n hóa các kh i.
Tính gradient:
đ

ây là b

c đ u tiên trong ph

ng pháp HOG và th

c th c hi n b ng hai phép nhân ch p nh g c v i 2 nhân 1 chi u t

v i các toán t l y đ o hàm nh theo hai h

ng

ng ng

ng Ox và Oy, c th là:

Dx = [-1 0 1] và Dy = [1 0 -1]T,
trong đó T là ký hi u c a phép chuy n v ma tr n.
V i m t nh input I, ta s có 2 nh đ o hàm riêng theo 2 h

ng đ

c tính

b ng các công th c: Ix = I*Dx và Iy = I*Dy.

Trang 11


Thuy t minh đ tài NCKH c p tr
Thành ph n c

ng 2016

ng đ (magnitude) và h

ng (orientation) s đ

c tính theo

các công th c: |G| = sqrt(Ix2 + Iy2) và θ=arctan(Iy, Ix). Ví d v k t qu c a phép
l y đ o hàm có th xem

hình sau:

Hình 2.2: nh input và hai đ o hàm c a nó.
Gán h

ng: Sau khi tính đ o hàm, ta có thành ph n h

trong m i cell c a nh input. Các giá tr h
h

ng này đ

ng các đi m nh

c chia thành các vùng

ng đ u nhau trong kho ng t 0 t i 360o. Theo các tác gi c a HOG, thì 9 vùng

chia cho k t qu t t nh t đ i v i các bài toán nh n d ng. Có ngh a là các giá tr
h

ng n m trong kho ng [0, 360/9) s đ

tr h

c gán b ng 1 (coi là nh nhau), các giá

ng trong kho ng [360/9, 2*360/9) s đ

histogram c a m i cell s đ

c tính đ c l p.

Tính histogram c a các kh i:
ki n ánh sáng và đ t

c gán b ng 2, vân vân. Sau đó

đáp ng t t h n v i các thay đ i v đi u

ng ph n, các giá tr gradient c n ph i đ

c chu n hóa c c

b , đi u này đòi h i vi c nhóm các cell thành các vùng liên k t không gian v i
nhau g i là các kh i. Vector HOG do đó s là t ng h p các histogram c a các cell
đã đ

c chu n hóa t t t c các kh i. Các kh i s đ

c chia và không tách bi t

nhau, nói cách khác m i cell s đóng góp thông tin v các h

ng (t i các đi m

nh c a nó) nhi u h n 1 l n.
Chu n hóa kh i: Có nhi u ph

ng pháp có th đ

c dùng cho vi c chu n

hóa kh i. G i v là vector c n chu n hóa ch a t t c các histogram c a m t kh i,
Trang 12


Thuy t minh đ tài NCKH c p tr

ng 2016

||vk|| là giá tr chu n c a nó theo các chu n k=1, 2 và e là m t h ng s nh , khi đó
các giá tr chu n hóa có th tính b ng 1 trong các công th c sau:

Phát hi n m t ng

i v i các đ c tr ng HOG: đ phát hi n m t ng

các đ c tr ng HOG ta ti n hành các b
B

iv i

c nh sau:

c 1: Chu n b P m u là nh m t ng

i và trích xu t các vector đ c tr ng

HOG t các b c nh này.
B

c 2: Chu n b N m u không ph i là nh m t ng

i (N r t l n so v i P)

và trích xu t các vector HOG t các nh này.
B

c 3: S d ng m t b phân lo i SVM tuy n tính đ h c v i các vector

c a các m u tích c c (là nh m t ng
ng

i) và tiêu c c (các nh không ph i m t

i) đã chu n b .
B

c 4:

i v i m i b c nh trong b

nh tiêu c c, s d ng m t c a s

tr

t di chuy n qua t t c các v trí có th c a nh input. T i m i v trí c a c a s

tr

t, tính vector HOG c a c a s và đ a vào b phân l p. N u b phân l p phân

l p sai m t c a s là nh m t thì ghi l i vector t

ng ng cùng v i xác su t phân

l p.
B

c 5: L y các m u nh n d ng sai

b

c 4 và s p x p chúng theo m c

xác su t nh n d ng sai và cho b phân l p h c l i s d ng các m u sai này.

Trang 13

Thuy t minh đ tài NCKH c p tr
B
m t ng

ng 2016

c 6: Áp d ng b phân l p đã đ

c h c l i v i các nh c n phát hi n

i.

Trong đ tài này, toàn b ph n phát hi n m t ng
phân l p đã đ
này có th xem

c h c tr

cđ

i s d ng các d li u

c cung c p b i th vi n dlib. K t qu c a b

c

các hình minh h a sau:

Hình 2.3: nh input và k t qu phát hi n và c n ch nh nh m t v i HOG.

Trang 14


Thuy t minh đ tài NCKH c p tr

ng 2016

3. Chu n hóa ánh sáng v i b l c Retinal filter
B l c Retinal filter ban đ u đ
th

ng d a vào vi c mô ph ng các b

con ng

i [8]. Sau đó nó đ

chu n hóa ánh sáng b

c phát tri n nh m t b l c nh thông
c trong h th ng nh n d ng hình nh c a

c áp d ng cho bài toán nh n d ng m t v i m c đích

c ti n x lý và đã ch ng t đ

c tính hi u qu c a mình.

V c b n b l c th c hi n mô ph ng ho t đ ng c a hai l p chính c a h

th ng th giác c a con ng

i là l p Photoreceptor và Outer Plexiform b ng cách

áp d ng liên ti p hai hàm phi tuy n, b l c DoG và m t hàm c t h u x lý nh
đ

c minh h a trong hình 3.

Hình 2.4: Các b
Hàm Naka-Rushton [10] đ

c trong b l c Retinal filter
c s d ng đ t ng c

ng đ t

ng ph n c c

b c a b c nh theo công th c sau:
=

+ 0

Trong đó X là nh input, X0 là tác nhân đi u ch nh và có giá tr thay đ i
v i m i đi m nh còn Y là nh output.
T

nh input I ban đ u, b l c Retinal filter s d ng hai b l c thông th p

liên ti p v i công th c (xu t phát t công th c c a hàm Naka-Rushton trên) nh
sau:
= (max( ) +

( ))

( )
( )+ ( )

Trang 15


Thuy t minh đ tài NCKH c p tr
= (max(

ng 2016
)+

( )
( )+ ( )

( ))

Trong đó các bi u th c (max(I)+F1(p)) và (max(Ila1)+F2(p)) đóng vai trò là
các nhân t chu n hóa và hàm max là hàm tr v giá tr c
c a nh. Hai bi u th c F1(p) và F2(p) đ

ng đ sáng l n nh t

c tính theo các công th c sau:

( )= ( )
( )=

+

( )

+

2
2

Ký hi u ‘*’ là ký hi u c a phép nhân ch p, là ký hi u c a hàm tính trung
bình, G1, G2 là các b l c Gaussian t

ng ng v i hai đ l ch chu n σ1 = 1 và σ2

= 3 nh sau:
( , )=

( , )=
nh Ila2 sau đó đ

σ

πσ

, và
σ

πσ

.

c x lý b ng m t b l c DoG đ c i thi n các thu c tính

s c nét nh sau:
=
trong đó DoG đ

,

c tính theo công th c:
=

σ

πσ

σ

πσ

.

V i σPh = 0.5 và σH = 4. Vì b l c DoG làm gi m đ t
c a b c nh nh n đ
sau khi nh đ

c nên m t b

ng ph n toàn c c

c c t b các giá tr quá l n s đ

c th c hi n

c chu n hóa đ có giá tr trung bình b ng 0 nh sau:
=

(

)

=

(

.

)

Trang 16


Thuy t minh đ tài NCKH c p tr
( )=

ng 2016

max( , |
max( , |

( )|
( )|

( )

0

.

K t qu c a b l c Retina filter trong vi c chu n hóa ánh sáng c a các nh
m tđ

c thu nh n trong các đi u ki n sáng khác nhau có th th y trong hình minh

h a 2.3. Có th th y r ng k t qu c a b l c này khá t t và đ t đ

c 2 m c đ ch:

+ đ a các b c nh m t có đi u ki n ánh sáng khác nhau v cùng m t vùng
giá tr khá g n nhau.
+ t ng c

ng các đ

toán nh n d ng m t ng

ng nét quan tr ng c a khuôn m t khi áp d ng cho bài
i, ch ng h n nh lông mày, m t, m i và m m.

Hình 2.5: K t qu c a vi c ti n x lý v i b l c Retina filter.
4. Ph

ng pháp trích ch n đ c tr ng LPQ (Local Phase Quantization)
Ph

ng pháp LPQ d a trên tính b t bi n đ i v i đ m c a thành ph n ph

pha trong bi u di n Fourier c a nh. Ph
b v pha đ

ng pháp này s d ng các thông tin c c

c trích xu t b ng cách s d ng các bi n đ i DFT 2 chi u, hay c th

h n, m t bi n đ i Fourier “ng n h n” (short-term), ký hi u là STFT, đ
trên m t vùng lân c n kích th
nh f(x) và đ

c tính

c MxM ký hi u là Nx t i m i v trí đi m nh x c a

c xác đ nh b i công th c:
( , )=

(

)

=

Trang 17


Thuy t minh đ tài NCKH c p tr

ng 2016

trong đó wu là vector c s c a bi n đ i DFT 2 chi u t i t n s u, và fx là m t
vector khác ch a t t c M2 m u t Nx.
Có th th y đ

c t công th c trên m t cách hi u qu khác đ cài đ t k
π

thu t STFT là s d ng các phép nhân ch p 2 chi u ( )

v i t t c các

giá tr t n s u. Vì các hàm c s là có th tách bi t nên vi c tính toán có th đ

c

th c hi n hi u qu h n n a b ng cách s d ng các phép nhân ch p 1 chi u cho
các hàng và các c t m t cách liên ti p.
Trong LPQ ch có 4 h s ph c đ

c s d ng t

ng ng v i 4 t n s 2

chi u là u1 = [a, 0]T, u2 = [0, a]T, u3 = [a, a]T, u4 = [a, -a]T, trong đó a là m t t n s
vô h

ng th a mãn đi u ki n b t bi n v i đ m c a nh.
G i:
=[ (

, ), (

, ), (
= [Re{

, ), (
}, Im{

, )] , và

}] ,

v i Re{.} và Im{.} là các hàm tr v ph n th c và o c a m t s ph c
t

ng ng. Ma tr n bi n đ i có kích th
= [Re{

,

,

các thu c tính c a ph

c 8xM2 s là:
}, Im{

,

,

,

,

}] .

ng pháp LPQ m nh h n cho các bài toán nh n

d ng, m t quá trình chu n hóa s đ

c s d ng đ tách s t

ng quan c a các h

s Fx nh sau:
=

,

trong đó V, m t ma tr n tr c giao, s đ

c tính b ng cách s d ng m t bi n

đ i SVD t ma tr n D nh sau:
=
D là ma tr n hi p ph

ng sai c a các h s Fx và đ
=

trong đó C, là ma tr n hi p ph
Nx, đ

.
c tính nh sau:

,
ng sai kính th

c MxM c a các m u trong

c tính b ng công th c sau:
Trang 18


Thuy t minh đ tài NCKH c p tr
=

ng 2016
1

,

,

1
…

…
,

M i ph n t c a m tr n C, đ

,

…
…
…
…

,
,

…
1

.

c xác đ nh b ng công th c

( . là ký hi u c a hàm chu n hóa L2 và

là h s t

,

=

ng quan gi a các giá tr

đi m nh lân c n khi gi s r ng hàm nh f(x) là k t qu c a m t chu i Markov
b c 1 và ph

ng sai c a m i m u b ng 1), chính là hi p ph

xi và xj c a

.

T các h s đã đ
l

ng sai gi a hai v trí

c tách bi t Gx, m t nh LPQ s đ

c sinh b ng cách

ng t hóa các thành ph n c a nó theo công th c:
=
trong đó qk là m t toán t l

2

,

ng t hóa th c hi n trên thành ph n th k c a

Gx theo công th c:
=

0

1
0

.

Hình 2.6: M t s

nh LPQ thu đ

c t các toán t LPQ.

Trên hình 2.2 là m t s

nh LPQ thu đ

c t các toán t LPQ v i các tham

s khác nhau.
Ti p đ n, t
s đ

nh LPQ nh n đ

c, các vùng con không giao nhau c a nh

c s d ng đ tính các histogram c c b . Các histogram c c b s đ

c ghép

Trang 19