PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẶT NGƯỜI VÀ ỨNG DỤNG TRONG QUẢN LÝ NHÂN SỰ LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN

 

 

ĐẠI HỌC QUỐC GIA HÀ NỘI 
TRƯỜNG ĐẠI
ĐẠI HỌ
HỌC CÔNG NGHỆ
NGHỆ 

NGUYỄ
NGUY
ỄN THỊ
THỊ THU
 THUỶ
Ỷ 

PHƯƠNG PHÁP NHẬN
NHẬN DẠ
DẠNG KHUÔN MẶT
MẶT NGƯỜ I
VÀ Ứ NG
NG DỤ
DỤNG TRONG QUẢ
QUẢN LÝ NHÂN SỰ 
SỰ  
 Ngành: Khoa học máy tính
Chuyên Ngành: Khoa học máy tính
Mã Số: 8480101.01

LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN

NGƯỜI HƯỚ NG
NG DẪ
DẪN KHOA HỌ
HỌC: 
Ts. Nguyễn
Nguyễn Văn Vinh 

HÀ NỘI- NĂM
 NĂM 2018 

 Nguyễn Thị Thủy

i

Đại Học Công Nghệ 


 

 

LỜI CAM ĐOAN 
ĐOAN 
Luận văn thạc sĩ đê  ̀ ta  ̀i “ Nhận dạng khuôn mặt ngườ i va  ̀  ư ́ ng du  ng
̣ trong qua ̉ n l y ́  
nhân sư  ”̣ la  ̀ công trình cá nhân tôi. Các nội dung nghiên cứu và k ết quả trình bày trong

luân văn này là trung thự c va  ̀ rõ ràng. Các tài li ệu tham khảo đượ c trích dẫn đầy đủ và
ghi rõ nguồn gốc.

Tác giả luận văn ký và ghi rõ họ tên  

 Nguyễn Thị Thủy

ii

Đại Học Công Nghệ 


 

 

MỤC LỤ
LỤC
LỜI CAM ĐOAN .................................................................................................
ĐOAN ................................................................................................. i
MỤC LỤ
LỤC ........................................................................................................... iii
DANH MỤ
MỤC HÌNH VẼ,
VẼ, ĐỒ TH
ĐỒ THỊỊ ...................................................................... v
DANH MỤ
MỤC CÁC TỪ 
TỪ  VIẾ
 VIẾT TẮ
TẮT ...............................
.............. .................................
.................................

..................... vii
PHẦ
PH
ẦN MỞ 
MỞ  ĐẦ
ĐẦU
U .................................................................................................. 1
1. Lý do chọn đề tài ............................................................................................... 1
2. M ục đích nghiên cứu c ủa lu ận văn, đối tượ ng,
ng, phạm vi nghiên cứu M ục đích
của luận văn: .......................................................................................................... 1
3. Nội dung luân văn ............................................................................................. 2

CHƯƠNG 1: BÀI TOÁN NHẬN ĐỐI TƯỢ NG
NG NHẬ
NHẬN DẠNG KHUÔN
MẶT ...................................................................................................................... 3
1.1. Tổng quan và các khái niệm liên quan đến nhận dạng khuôn mặt ................ 3
1.1.1. Hệ thống sinh tr ắc học ................................................................................. 3
1.1.2. Hệ thống nhận dạng khuôn mặt .................................................................. 3
1.1.3. Hệ thống xác minh hay xác thực khuôn mặt là gì................................
............... ........................
....... 3
1.1.4. Những thách thức trong bài toán nhận dạng khuôn mặt ................
.............................
............. 4
1.2. Tổng quan về các ứng dụng tương tác ngườ i máy liên quan t ớ i khuôn mặt . 4
1.3. Hướ ng
ng tiế p cận chính trong lĩnh vực nhận dạng khuôn mặt ...............
..........................

........... 4
1.3.1. Các công trình nghiên cứu về Phương pháp nhận dạng và kiểm chứng chất

lượ ng
ng cho một hệ thống nhận dạng khuôn mặt ................
................................
................................
.....................
..... 4
1.3.2. Hướ ng
ng tiế p cận của luận văn ....................................................................... 7

CHƯƠNG 2: CÁC KỸ THU
KỸ THUẬ
ẬT CHO NHẬ
NHẬN DẠ
DẠNG KHUÔN MẶ
MẶT ..........
.......... 8
I. Học máy ............................................................................................................. 8
1.1. Phương pháp Deep Learning (CNN) ............................................................. 8
1.2. Phương pháp truyền thống ............................................................................. 8
II. Các k ỹ thuật sử dụng trong nhận dạng khuôn mặt ........................................... 9
 Nguyễn Thị Thủy

iii

Đại Học Công Nghệ 

 

 

2.1. Phát hiện khuôn mặt (Viola Jone Face detection) ........................
..................................
.................
....... 9
2.2. Trích chọn đặc trưng Weber local Descripor - WLD ................................... 12
2.3. Giớ i thiệu phương pháp phân tích thành phần chính PCA ............
......................
..............
.... 15
2.3.1. Giớ i thiệu phương pháp PCA .................................
................ .................................
................................
...................
... 15
2.3.2. Đặc trưng PCA .......................................................................................... 19
2.3.3. Phương pháp phân tích thành phần chính(PCA).............
chính(PCA)......................
...................
.................
....... 19
2.3.4. Các bướ c thực hiện trích chọn đặc trưng PCA ......................................... 21
2.4. Ho  c̣ ma ́ y hộ tr ợ 
ợ vestor
  vestor SVM ........................................................................ 23
2.4.1. Cơ sở  lý
 lý thuyết .......................................................................................... 23

2.4.2. SVM tuyến tính ......................................................................................... 23
2.4.3. SVM Phi Tuyến tính ................................................................................. 25

CHƯƠNG 3: Ứ NG
NG DỤNG CÁC K Ỹ  THUẬ
THUẬT TRONG NHẬ
NHẬN DẠNG
KHUÔN MẶ
MẶT ................................................................................................... 30
3.1. Phát hiện khuôn mặt (Viola Jone Face Detection)...................
.............................
...................
........... 30
3.2. Trích chọn đặc trưng (WLD) ....................................................................... 30
3.3. Phân tích thành phần chính PCA và nhận dạng/phân lớ  p SVM ..................
.................. 31
3.4. Mô ta ̉  d   ư   li
̃ ê  ụ ................................................................................................ 32
3.4.1. Thu nhâ   p̣ d   ư   li
̃ ê  ụ ....................................................................................... 32
3.4.2. Biê ̉ u di   ê ñ d   ư   li
̃ ê  ụ khuôn mă  t ̣ trong ma ́ y t ́nh ............................................ 34
3.4.3. Dữ liệu huấn luyện .................................................................................... 35
3.5. K ết quả thực nghiệm .................................................................................... 35
3.6. Ứ ng
ng dụng trong quản lý nhân sự .................................................................. 37
3.6.1. Mô hình nhận dạng trong quản lý nhân sự .................................
.............. .................................
................ 37
3.6.2. Giao diện màn hình chức năng nhận dạng ................................

............... .................................
................ 38
3.6.3. Giao diện màn hình chức năng quản lý bộ phận ...............
...............................
........................
........ 39
3.6.4. Giao diện màn hình chức năng quản lý phòng ban ..................
............................
.................
....... 40
3.6.5. Giao diện màn hình chức năng quản lý nhân sự ...............
...............................
........................
........ 41

K ẾT LUẬ
LUẬN ........................................................................................................ 42
42  
DANH MỤ
MỤC TÀI LIỆ
LIỆU THAM KHẢO…………………………………….43
KHẢO…………………………………….43  
 Nguyễn Thị Thủy
iv
Đại Học Công Nghệ 


 

 

DANH MỤ
MỤC HÌNH VẼ,
VẼ, ĐỒ TH
ĐỒ THỊỊ 
Hình 0.1 So sách tác vụ nhận dạng khuôn mặt và xác minh khuôn mặt ..........
..............
.... 3
Hình 0.2 Mô phỏng nhận dạng khuôn mặt...............................
.............. .................................
.............................
............. 7
Hình 0.3 Haar Features sử dụng trong Violo Jones ................
..........................
....................
...................
........... 9
Hình 0.4 Applying on a give image .................
..........................
...................
...................
..................
...................
................
...... 9
Hình 0.5 V ́ du   ṿ ề  Haar
 Haar features .......................................................................... 91
91
91
Hình 0.6 V ́ du   a ̣ ̉ nh Integral ................................................................................. 91

92
Hình 0.7 A ̉ nh v ́ du   ṭ  ́nh Ô pixcel ........................................................................ 92
Hình 0.8 Ca ́ c bươ 
93
 ́ c loa  i ̣ khuôn mă  t ̣ hay không .................................................... 93
Hình 0.9 K ế t qua ̉  pha ́ t hiê  ṇ khuôn mă  t ̣ ............................................................... 93
93
95
Hình 0.10 T ́nh k  ́ch th ́ch sai kha ́ c ..................................................................... 95
Hình 0.11 A ̉ nh trên la  ̀ a ̉ nh gố c, a ̉ nh thư ́  2 la  ̀ a ̉ nh tr  ́ch cho  ṇ đă  c̣ trưng .............. 95
95
Hình 0.12 Minh ho  ạ về   tt ́nh toa ́ n cu ̉ a WLD ................................
............... ................................
........................
......... 9966
Hình 0.13 Lụa chọn các tr ục toạ độ mới để biểu diễn dữ liệu [11] .............
..................
..... 17
1788
Hình 0.14 Siêu măt phân cách tuyến tính cho trườ ng
ng h ợp phân cách đượ c và ký
Hiệu các support vestor chính là các diểm đượ c bao bằng viền tròn........
tròn................
........ 24
2422
Hình 0.15 ảnh, trong H, vớ i hình vuông [1,-1] €R 2 dướ i ánh xạ ϴ .................
....................
... 27
Hình 0.16 cây nhị phân: Cấu trúc cây nhị phân vớ i số  lớ  p bằng số  mũ của 2.
Phải: số mũ không bằng số mũ của 2 .................................................................. 29

Hình 0.17 Mô hình quá trình tạo các đặc trưng mặt .......................................... 31
Hình 0.18 Mô h nh
̣ trong nhâ  ṇ da  ng̣ khuôn mă  t ̣ ................................... 31
̀ sư ̉  du  ng
Hình 0.19 Mô hình
hình quá trình tạo các đặc trưng mặt ........................................ 312
312



Hình 0.20 ảnh ban đầu đượ c biểu diễn theo các tr ọng số 

 và eigenface ..... 323
 và
323

Hình 0.21 Ví dụ về ảnh của một ngườ i trong Yale face Database ...................
................... 33
3344
Hình 0.22 Ảnh 12 khuôn mặt người được đánh thứ tự từ 1 đến 12 ...........
.................
........ 33
3344
Hình 0.23 Kích thướ c chuẩn hóa của một mẫu khuôn mặt trong học tậ p ........
........ 34
3455
Hình 0.24 Một phần của tậ p ảnh luyện ............................................................. 356
356
 Nguyễn Thị Thủy
v

Đại Học Công Nghệ 


 

 

Hình 0.25 Một phần của tậ p ảnh thử nghiệm ...............
...............................
................................
....................
.... 35
3566
Hình 0.26 Bảng 1.1. Bảng Thực nghiệm nhận dạng số lượ ng
ng ảnh ...................
................... 36
3677
Hình 0.27 k ết quả thực nghiệm so vớ i chỉ sử dụng PCA ................................
................ .................. 36
3677
Hình 0.28 Mô hình nhận dạng ở   ccửa ra vào tại cơ quan ................................
............. ....................
... 37
3788

 Nguyễn Thị Thủy

vi

Đại Học Công Nghệ 

 

 

DANH MỤ
MỤC CÁC TỪ 
TỪ  VIẾ
 VIẾT TẮ
TẮ T
PCA

Principal Component Analysis

SVM

Support Vector Machine

WLD

Weber Local Description

CNN

Convolutional Neural Network

 Nguyễn Th ị Thủy
 Nghệ 

vii

Đại Học Công


 

 

ĐẦU
PHẦN MỞ 
PHẦ
MỞ  ĐẦ
U
1.  Lý do chọn
chọn đề tài
đề tài
 Nhận dạng khuôn mặt là một trong những lĩnh vực mớ i của xử lý ảnh. Và
ngày nay nhận dạng đượ c sử  dụng r ộng rãi trong nhiều lĩnh vực của đờ i sống

như nhận dạng trong lĩnh vực thương mại, hay phát hiện trong lĩnh vực an ninh,
hay trong xử lý video, hình ảnh. Một trong những ứng dụng tiểu biểu nhận dạng
đang sử d ụng phổ bi ến hi ện này trong nhận d ạng khuôn mặt ngườ i là ứng d ụng
trong điện thoại di động cụ thể như IphoneX và Sangsung đang sử dụng.
Hiện nay có r ất nhiều các Phương pháp nhận dạng khác nhau đượ c xây
dựng để nhận dạng một ngườ i cụ thể trong thế giớ i thực. ta có thể nói tớ i một số 

 phương pháp như: ho  c̣ ma ́ y va  ̀   ho  c̣ sâu.Tuy nhiên hai phương pháp này lại có
nhược điểm lớ n là phải xây dựng một tập cơ sở  d
 dữ liệu lớn và đồng thờ i việc xử 

lý dữ liệu lớn đòi hỏi phải nhanh và chính xác. V ậy nên hai phương pháp trên sẽ 
mất thời gian để  nhận dạng. nhiệm vụ  đặt ra là nghiên c ứu và xây dựng một

chương trình sử  dụng Phương pháp nhận dạng có độ  chính xác cao mà khối
lượ ng
ng và thờ i gian tính toán lại ít.
Để giải quyết vấn đề  trên tôi xin đề xuất ra phương pháp phát hiện khuôn
mặt sư ̉   du  ng
̣ phương pha  p
́ Viola jone face detection, trích chọn đặc trưng sư ̉  
du  ng
̣ phương pha  p
́ Weber local Descriptor và k ết hợ  p phân tích thành phần
chính sư ̉   du  ng
̣ phương pha  p
́ PCA và ho  c̣ ma ́ y vestor (SVM) để  nhận dạng
khuôn mặt.

2.  Mục đích nghiên cứ u củ
của luận
luận văn, đối tượ ng,
ng, phạ
phạm vi nghiên cứ 
cứ u Mụ
Mục
đích của
của luận
luận văn: 
văn: 
 Nghiên cứu đề tài này nhằm mục đích tìm hiểu bài toán nhận dạng khuôn

mặt, từ  đó xây dựng các hệ  thống ứng dụng trong thực tiễn như: điểm danh,

giám sát ngườ i ra vào, an ninh trong sân bay
Đối tượ ng
ng va
v   a  ̀ ph
 phạạm vi áp dụ
dụng:

 Nguyễn Thị Thủy

1

Đại Học Công Nghệ 


 

 

Đề tài tậ p trung tìm hiểu một số  phương
phương pháp nhận dạng khuôn mặt ngườ i
 phổ biến hiện nay và đưa ra phương án nhận dạng cho bài toán nhận dạng khuôn
mặt ngườ i.i.

Để  đặt đượ c mục
Để
mục tiêu trên đề tài
đề tài tậ
tập trung tìm hiể

hiểu các nộ
nội dung sau:
ng pha  p
-  Tìm hiểu phương pháp phát hiện khuôn mặt sư ̉  d u  ng
̣ phươ ng
́ Viola
Jones Face Detection
Description
-  Trích chọn đặc trưng  sư ̉  du  ng
̣ phương pha  p
́ Weber Local Description
-  Phương pháp phân tích thành phần chính
-  Phương pháp ho  c̣ máy vestor (SVM)

3.  Nội dung luân văn
Luâ  ṇ văn này gồm 3 chương, cụ thể như sau: 

Chương 1: BÀI TOÁN NHẬN
NHẬN ĐỐI TƯỢ NG
NG NHẬ
NHẬN DẠ
D ẠNG KHUÔN
MẶT
Giớ i thiệu các cách thức nhận dạng khuôn mă  t ̣ ngườ i,i, vì sao nên nhận
dạng ngườ i bằng khuôn mặt, tầm quan tr ọng của bài toán trong thực tiễn, một số 

ứng dụng thực tiễn của bài toán nhận dạng khuôn mặt
Chương 2: CÁC K Ỹ THU
ẬT CHO NHẬ
 THUẬ

NHẬN DẠ
DẠNG KHUÔN MẶ
M ẶT
Giớ i thiệu về 4 phương pháp sử dụng nhận dạng khuôn mặt đượ c sử dụng
trong luận văn là phương pháp phát hiệ n khuôn mặt( Viola Jone Face
Detection), phương pháp trích chọn đặc trưng  (WLD), phân tích thành phần

ợ  (SVM)
chính (PCA) và máy vector h ỗ tr ợ 
(SVM)
Chương 3: Ứ NG
NG DỤNG CÁC K Ỹ  THUẬ
THUẬT TRONG NHẬ
NHẬN DẠNG
KHUÔN MĂ
MĂ
   Ṭ
   
Đưa ra mô h nh
̣ khuôn mă  t ̣ ngươ 
  ̀ i, các bướ c
̀ xây dựng bài toán nhâ  ṇ da  ng
thực hiện và đánh giá thử nghiệm

 Nguyễn Thị Thủy

2

Đại Học Công Nghệ 

 

 

CHƯƠNG 1: BÀI TOÁN NHẬN ĐỐI TƯỢ NG
NG NHẬ
NHẬN DẠ
DẠNG
KHUÔN MẶ
MẶT
đến nhậ
1.1.  Tổng quan và các khái niệm
niệm liên quan đến
nhận dạ
dạng khuôn mặ
mặt
1.1.1.  Hệ th
 thốống sinh trắ
trắc họ
học
Hệ thống sinh tr ắc học là một hệ thống đượ c thiết k ế để xác minh và nhận
dạng một ngườ i dựa vào những đặc trưng sinh học duy nhất của người đó. 

1.1.2.  Hệ th
 thốống nhậ
nhận dạ
dạng khuôn mặ
mặt
Hệ  thống nhận dạng khuôn mặt là một hệ  thống đượ c thiết k ế  để  tìm

thông tin của một người. Kĩ thuật nhận dạng là kiểm tra sự  phù hợ  p dựa trên
 phép so sánh một-nhiều cụ thể là tìm ra một ngườ i là ai trong số những người đã

được lưu trữ trong hệ thống dựa vào thông tin khuôn mặt.
1.1.3.  Hệ th
 thốống xác minh hay xác thự 
thự c khuôn mặ
mặt là gì
Hệ th ống xác minh/xác th ực khuôn mặt là một h ệ th ống đượ c thiết k ế  để 
xác minh thông tin của một người .Kĩ thuật xác minh là kiểm tra sự phù hợ  p trên
 phép so sánh một-một c ụ th ể  là đối chiếu thông tin mớ i nhận về  một ngườ i v ớ i

thông tin đã lưu trữ  về  ngườ i này có khớ  p hay không dựa trên thông tin khuôn
mặt.

Hình 0.1 So sách tác vụ nhận dạng khuôn mặt và xác minh khuôn mặt 
mặt 

 Nguyễn Thị Thủy

3

Đại Học Công Nghệ 


 

 

1.1.4.  Nh

Nhữ 
ữ ng
ng thách thứ 
thứ c trong bài toán nhậ
nhận dạ
dạng khuôn mặ
mặt
 Những biến đổi quá lớ n giữa các ảnh khuôn mặt khác nhau từ một ngườ i
cần nhận dạng gồm tr ạng thái cảm xúc trên khuôn mặt, ánh sáng, và các thay đổi
vị trí của khuôn. Giớ i hạn về số ảnh cần thiết cho việc nhận dạng, tậ p học không
thể  bao
bao quát đượ c tất cả các biến đổi có thể có trên khuôn mặt của một ngườ i
cần nhận dạng trong thế giớ i thực. 

1.2. Tổng quan về
về các ứ ng
ng dụng tương tác ngườ i máy liên quan tớ 
tớ i khuôn
mặt
Từ nh ững năm 1990 trở   llại đây, chúng ta đã chứ ng kiến sự phát triển như

vũ bão của các ngành công nghiệp, đặc bi ệc là ngành công nghi ệ p chế  tạo điện
tử.Tuy nhiên hiện nay các thiết bị  điện tử cao cấp như máy ảnh số, camera kĩ
thuậtsố,vànhiều sản phẩm khác dường như chỉ  phù hợ  p cho các phòng thí
nghiệm, các công ty sản xuất kinh doanh, thương mại, tài chính, ngân hàng, ...
Trong thờ i gian không xa từ  3 đến 10 năm nữa, chi phí cho các thiết bị này sẽ 
giảm đáng kể. Khi đó sẽ  mở  ra
  ra nhiều hướ ng
ng nghiên cứu về  thị giác máy tính,

đồng thờ i sẽ  có nhiều ứng dụng trong giao tiế p giữa ngườ i vớ i máy tính mà
trong đó hệ  thống nhận dạng mặt người đóng một vai trò không nhỏ. Dưới đây
chúng tôi liệt kê một số ứng dụng.


  Các ứng dụng chuyên biệt trong ngành hàng không



  Ứ ng
ng dụng sử dụng trong nhà thông minh,… 

1.3.  Hướ ng
ng tiế
tiếp cận
cận chính trong lĩnh vự c nhậ
nhận dạ
dạng khuôn mặ
mặt
1.3.1.  Các công trình nghiên cứ 
cứ u về  Phương pháp nhận
nhận dạng và kiể
kiểm
ứ ng
chứ 
ch
ng chất
chất lượ ng
ng cho mộ
một hệ

hệ th
 thốống nhậ
nhận dạ
dạng khuôn mặ
mặt
Bài toán nhận dạng khuôn mặt cần xác định hai vấn đề chính: dùng thông

tin nào để nh
 n hận dạng: chân mày, cặ p mắt, mũi, môi, tai, hay k ết hợ  p các thông
tin trên.Và dùng phương pháp nào để   huấn luyện cho máy nhận dạng dùng
nguồn thông tin đó. Nhận d ạng khuôn mặt trên máy tính đã trãi qua nhiều bướ c

thăng trầm vớ i các k ết quả như sau: 
 Nguyễn Thị Thủy

4

Đại Học Công Nghệ 


 

 
  Wenyi

Zhao, Arvindh Krishnaswamy, Rama Chellappa, Danie L.Swets,

ohn Weng (1998)[1] sử  dụng phương pháp PCA (phân tích thành phần
chính) k ết hợp LDA (phân tích độc lậ p tuyến tính). Bướ c 1, chiếu ảnh
khuôn mặt t ừ không gian ảnh thô sang không gian các không gian khuôn

mặt (M ỗi l ớ  p khuôn mặt đượ c nh ận d ạng s ẽ  đượ c mô hình hóa b ằng một
không gian khuôn mặt) dùng PCA. Bướ c 2, sử  dụng phương pháp LDA 

để tạo bộ phân loại tuyến tính có khả năng phân lớ  p các lớ  p khuôn mặt.
  Emmanuel

Viennet và Francoise Fogelman Soulie (1998),[3] s ử  dụng

 phương pháp mạng neural nhân tạo để xử lý và nhận dạng khuôn mặt
  Antonio

J.Colmenarez và Thomas S.Huang (1998),[4] s ử  dụng k ỹ  thuật

học thị giác và phù hợ  p mẫu 2-D. Ông quan niệm bài toán dò tìm khuôn
mặt là thao tác phân lo ại khuôn mặt trong đó khuôn mặt thuộc về  một
lớ  p và các đối tượ ng
ng khác thuộc về  lớ  p còn lại bằng cách ước lượ ng
ng mô
hình xác suất cho mỗi lớ  p, và việc dò tìm sử  dụng luật quyết định
Maximum-likelihood.
  Kazunori

Okada, Johannes Steffens, Thomas Maurer, Hai Hong, Egor

Elagin, Hartmut Neven, and Christoph (1998),[5] nh ận dạng khuôn mặt
dựa vào sóng Gabor và phương pháp phù hợp đồ  thị  bó. Với ý tưở ng
ng

dùng đồ  thị  để  biểu diễn khuôn mặt, ảnh khuôn mặt được đánh dấu tại
các vị  trí đã được xác định trướ c trên khuôn mặt, g ọi các vị trí này chính

là các vị trí chuẩn. Khi thực hiện thao tác so kh ớp đồ  thị  vớ i một ảnh,

các điểm chuẩn (Jets) sẽ trích ra từ  ảnh và so sánh các điểm chuẩn này
vớ i tất cả  các điểm chuẩn tương ứng trong các đồ  thị  khác nhau, và đồ 
thị nào phù hợ  p nhất vớ i ảnh sẽ đượ c chọn.
  Baback

Moghaddam và Alex Pentland (1998) [6], đưa ra phương pháp 

 phù hợ  p thị  giác tr ực tiế p từ  các ảnh cần sử  dụng cho mục đích nhận
dạng khuôn mặt và dùng độ đo xác suất để tính độ tương tự.
 

Massimo Tistaelli và Enrico Grosso (1998) [7], đưa ra kỹ  thuật thị giác
động. Vì khả năng quan sát các chuyển động c ủa khuôn mặt và xử lý các
 Nguyễn Thị Thủy
5
Đại Học Công Nghệ 


 

 

tính huống theo dự  định là thông tin r ất quan tr ọng, từ  đó nhận đượ c mô
tả đầy đủ hơn về khuôn mặt cho m1ục đích thu thậ p mẫu và nhận dạng.
  Jeffrey

Huang, Chengjun Liu, và Harry Wechsler (1998)[8], đề  xuất

thuật toán căn cứ  trên tính tiến hóa (Evolutionary computation) và di
truyền (Genetic) cho các tác vụ  nhận dạng khuôn mặt. Đối vớ i cách tiế p
cận này, hai mắt sẽ  được dò tìm trước tiên và thông tin này đượ c xem là
vết để  quan sát khuôn mặt, trình xử  lý dò tiế p mắt bằng cách sử  dụng
một thuật toán lai để  k ết hợ  p thao tác học và tiến hóa trong quá trình
học
  Daniel

Bgraham và Nigel M Allinson (1998)[9], s ử  dụng phương pháp 

đượ c gọi là tạo bản sao không gian đặc trưng để  biểu diễn và nhận dạng
hướ ng
ng di chuyển của khuôn mặt.
  Oi

Bin Sun, Chian Prong Lam và Jian Kang Wu (1998)[10], s ử  dụng
 phương pháp tìm vùng hai chân mày, hai mắt, mũi, miệng và cằm. Ảnh
khuôn mặt thẳng ban đầu đượ c chiếu theo chiều ngang để tìm các giá tr ị 

điểm ảnh thỏa ngưỡng cho trước, đồ  thị  biểu diễn theo tr ục ngang sẽ 
định vị  vị  trí biên trên và biên dướ i của hình chữ  nhật bao các đặc trưng 
cục bộ  khuôn mặt. Tương tự  vớ i chiều đứng để  tìm ra đườ ng
ng biên bên
trái và phải cho các vùng đặc trưng. 
  Ara

V.Nefian và Monson H.Hayes III (1998)[12] trình bày hướ ng
ng tiế p

cận theo mô hình mô hình Markov ẩn (HMM) trong đó ảnh mẫu khuôn

mặt được lượ ng
ng hóa thành chuỗi quan sát trên khuôn mặt theo quan
niệm dựa trên thứ  tự  xuất hiện các đặc trưng khuôn mặt {hai chân mày,

hai lông mi, mũi, miệng, cằm}. Trong chuỗi quan sát đó, mỗi quan sát
lại là một vector nhiều chiều và mỗi vector quan sát này đượ c sử  dụng

để  đặc trưng cho mỗi tr ạng thái trong chuỗi tr ạng tr ạng thái của HMM.
Mỗi người được ước lượ ng
ng bằng một mô hình của HMM.

 Nguyễn Thị Thủy

6

Đại Học Công Nghệ 


 

 
  Guodong

Guo, stan Z.LI, Kap luk chan(17 january 2001), dùng phương

 pháp SVM để   nhận dạng khuôn mặt . S ử d ụng chiến lượ c k ết h ợ  p nhiều
 bộ phận loại nhị phân
 phân để xây dựng bộ phân loại SVM đa lớ  p.

1.3.2.  Hướ ng

ng tiế
tiếp cậ
cận củ
của luận
luận văn 
văn 
Trong đề tài này chúng tôi sử dụng phương pha  p
́ Ph a ́ t hi ê  ṇ khuôn mă  t ̣ s ư ̉  
du  ṇ g phương pha  p
̣
́ Viola Jone Face Detection, Tr ích cho  ṇ đă  c̣ trưng sử  du  ng
 phương pha  p
́ Weber Local Descripor, phân tích thành phần chính va  ̀   phương
 pháp phân lơ 
̣
  p
́ SVM đê ̉  nhâ  ṇ da  ng.

Sơ đồ hệ thống nhận dạng khuôn mặt đượ c minh họa trong hình sau:

Hình 0.2 Mô h
h  nh
nh   
d   
m   
 â  ṇ da
 a  ng
 ă  t ̣ ngươ 
̣ khuôn mă
   ̀ i

̀ nhâ

 Nguyễn Thị Thủy

7

Đại Học Công Nghệ 


 

 

CHƯƠNG 2: CÁC KỸ THU
KỸ THUẬ
ẬT CHO NHẬ
NHẬN DẠ
DẠNG KHUÔN MẶ
M ẶT
I.  Học máy
1.1.  Phương pháp Deep Learning (CNN) 
(CNN) 
CNN là một trong những mô hình deep learning tiên tiến giúp xây dựng
hệ th ống thông minh với độ chính xác cao trong x ử lý ảnh. CNN đượ c s ử d ụng
nhiều trong các bài toán nh ận dạng object trong ảnh. Tuy nhiên phương pháp
này lại có nhược điểm l ớ n là phải xây dựng một tập cơ sở   dữ  liệu lớ n (mỗi tậ p
dữ  liệu huấn luyện phải sử  dụng ít nhất 1000 nhãn mớ i mang lại hiệu quả cao)

và đồng thờ i việc xử lý dữ liệu lớn đòi hỏi phải nhanh và chính xác.
Mạng CNN là là một tậ p hợ  p các lớ  p Convolution ch ồng lên nhau và sử 

dụng các hàm nonlinear activation như ReLU và tanh để  kích hoạt các tr ọng s ố 
trong các node. Mỗi một lớ  p sau khi thông qua các hàm
h àm kích hoạt s ẽ t ạo ra các
ừu tượng hơn cho các lớ  p tiế p theo. Mỗi một lớ  p sau khi thông qua
thông tin tr ừu
các hàm kích hoạt sẽ  tạo ra các thông tin tr ừu
ừu tượng hơn cho các lớ  p tiế p theo.
Trong mô hình mạng truyền ngượ c (feedforward neural network) thì mỗi neural

đầu vào (input node) cho mỗi neural đầu ra trong các lớ  p tiế p theo. Mô hình này
gọi là mạng k ết nối đầy đủ (fully connected layer) hay mạng toàn vẹn (affine

layer). Còn trong mô hình CNNs thì ngượ c lại. Các layer liên k ết
ết đượ c vớ i nhau
thông qua cơ chế convolution. Layer tiế p theo là k ết quả convolution từ layer
trướ c đó, nhờ   vvậy mà ta có đượ c các k ết nối cục bộ. Như vậy mỗi neuron ở  l lớ  p
k ế  tiế p sinh ra từ  k ết quả  của filter áp đặt lên một vùng ảnh cục bộ  của neuron
trước đó. 
truyền thố
1.2.  Phương pháp truyền
thống
PCA và SVM: Phương pháp PCA giảm bớ t số  thành phần không cần
thiết tạo ra hiệu quả tính toán nhanh mà v ẫn đảm bảo được độ chính xác. Sau khi

PCA đưa ra được các đặc trưng tốt sẽ  dùng SVM để phân lớ  p và nhận khuôn
mặt.
 Nguyễn Thị Thủy

8

Đại Học Công Nghệ 


 

 

II.  Các k ỹ thu
 thuậật sử 
sử  dụ
 dụng trong nhậ
nhận dạ
dạng khuôn mặ
mặt
2.1. Phát
Phát hiệ
hiện khuôn mặ
mặt (Viola Jone Face detection)
-  Haar features: ý tưởng : độ sáng tối c ủa các vùng trên gương mặt là khác
nhau. Ví dụ: vùng mắt tối hơn vùng má, vùng mũi sáng hơn vùng hai bên  
-  K ết quả  của mỗi đặc trưng đượ c tính bằng hiệu của tổng các pixel trong
miền ô tr ắng tr ừ đi tổng các pixel trong miền ô đen. 

Hình 0.3 Haar
Haar Features sử dụng trong Viola Jones
Viola Jones (Nguô
(Ngu   ô  ̀n: ba
b   a  ̀i b
baa ́ o Viola Jone face detection)

   ô  ̀n: ba
b   a  ̀i b
Hình 0.4 Applying on a give image (Ngu
(Nguô
baa ́ o Viola Jone face detection)

Thuật toán viola jones sử  dụng cửa sổ  24x24 để  đánh giá các đặc trưng
của ảnh. Nếu xem xét tất cả các tham số của các đặc trưng, ta tính đượ c khoảng

160.000+ đặc trưng cho mỗi cửa sổ.

 Nguyễn Thị Thủy

9

Đại Học Công Nghệ 


 

 

H  nh
Ví  du
 d   
v   ê   ca
 c
(Ngu   ô  ̀n: Ba
B   a  ̀i b
baa ́ o Viola Jone face detection)

 u  ng
̣ vê
̀ a ́ c haar features (Nguô
̀ 0.5 Ví 

- Integral Image: giá tr ị  ở  pixel
  pixel (x, y) là tổng của các pixel ở  trên
  trên và bên
trái (x,y). Cho phép tính t ổng của các pixel trong bất kì hình chữ nh
 n hật ch ỉ v ớ i 4
giá tr ị ở  4
 4 góc.

H  nh
V ́  du
 d   
 u   a ̣ ̉ nh Integral 
̀ 0.6 V

 Nguyễn Thị Thủy

10

Đại Học Công Nghệ 


 

 

V ́  du
 d   
 t̣  ́ nh 1 ô pixcel
H  nh
 u   t
̀ 0.7 A ̉ nh V

Trong ca ́ c pixels: D=1 + 4 –  (2+3)
 (2+3) = A + (A + B +C + D)- (A+C + B) = D
- Có r ất nhiều đặc trưng đượ c lấy ra từ 1 cửa sổ nhưng chỉ có 1 số ít là hữu
dụng trong viê  c̣ nhâ  ṇ diê  ṇ khuôn mă  t.̣
- Sư ̉  dụng thuâ  t ̣ toa ́ n adaboost để t m
̀ những đặc trưng tố t nhất. Sau đo ́  các
đặc trưng này đượ c gán cho các tr o  ng
̣ số  đê ̉   ta  ọ nên ha  ̀m đánh gia ́   quyết đi    nḥ
xem một cửa sổ  có  la  ̀  khuôn mă  t ̣ hay không. M   ô ĩ đă  c̣ trưng cho  ṇ nế u chu ́ ng  ́t
nhấ t thê ̉  hiện tố t hơn đoa ́ n ng   â ũ nhiên (pha ́ t hiện nhiều hơn mô  t ̣ nửa).
- Ca ́ c đặc trưng đượ c gọi là các bộ phân lơ 
  c̣ tô ̉  hợ  p tuyế n
  p
́ yếu. Chu ́ ng đươ 
lơ 
t ́nh đê ̉  tạo ra mô  t ̣ bô   phân
̣
  p
́ mạnh.

F(x) =

(x) +

(x) +

(x)





3
3
∆ ∝   ∝∆   ∝  
 

 

Strong clasifier Weak classifier

- Mă  c̣ du  ̀  mô  t ̣ a ̉ nh c o ́  thê ̉  chư ́ a mô  t ̣ hoă  c̣ nhiề u khuôn mă  t ̣ nhưng số  lươ 
  ng
̣
vâ  t ̣ không pha ̉ i khuôn mă  t ̣ v   â ñ lớn hơn rấ t nhiều => thuâ  t ̣ toa ́ n nên tâ   p̣ trung vào
viê  c̣ bo ̉  nh   ư  ng
̃ vâ  t ̣ không pha ̉ i khuôn mặt mô  t ̣ ca ́ ch nhanh cho ́ ng.
- Mô  t ̣ bộ phân lớp cascade (cascade classifier) đượ c sư ̉  du  ng
̣ tấ t ca ̉  các đă  c̣

trưng đươ 
  c̣ nho ́ m va  ̀o va  ̀i stage. M   ô ĩ stage gồm mô  t ̣ số  các đă  c̣ trưng. 

 Nguyễn Thị Thủy

11

Đại Học Công Nghệ 


 

 

- M   ô ĩ stage đượ c sử  dụng đê ̉   xa ́ c đi   nh
  ̣ mô  t ̣ cửa số   co ́   pha ̉ i la  ̀ khuôn mă  t ̣
hay không

H  nh
ca ́ c bướ c loa
lo   
m   
 a  i ̣khuôn mă
 ă  t ̣ hay không
̀ 0.8 ca

H  nh
qua ̉  Ph
 Phaa ́ t hiê
hi   
m   
(Ngu   ô  ̀n: ba
b   a  ̀i b

baa ́ o Viola Jone Face Detection)
 ê  ṇ khuôn mă
 ă  t ̣ (Nguô
̀ 0.9 K ết qua

2.2.  Trích chọn
chọn đặc
đặc trưng Weber local Descripor- WLD
Weber local Description (WLD): vi ệc nhận thức của con ngườ i về một vật
mẫu không chỉ  phụ  thuộc vào sự  thay đổi của một kích thích (âm thanh, ánh

sáng…) mà còn phụ thuộc vào cường độ gốc của kích thích. WLD gồm 2 thành
 Nguyễn Thị Thủy

12

Đại Học Công Nghệ 


 

 

 phần chính: differential excitation và gradient orientation c ủa ảnh và xây dựng
histogram dựa trên thành phần đó. 
-  Different excitations
  Sử d ụng

s ự khác nhau về  cường độ gi ữa pixel hiện t ại và các hàng

xóm để  miêu tả  sự  thay đổi của pixel hiện tại => mô phỏng quá
trình nhận dạng mẫucủa con ngườ i.i. 
  Ic:

cường độ của pixel hiện tại 

  Ii:

cường độ của pixel lân cận I = (0,1,…p-1) p: số pixel lân cận. 

  Sự khác

nhau giữa thành phần tử tâm và lân cận 

  ∆  
(I) =

 =

  Tỉ lệ điểm

(

 -  

sự sai khác vớ i phần tử tâm

)=

 

 (∆∆) = ∆−= ∆∆ 




∆
∆

=
−

[
)]
=
arctan
[(
 = 
=  )]

  Tổng

các sự sai khác:

  ∑ 
  ∑  ∑

  Sử dụng

hàm arctangent như 1 hàm lọc để giảm nhiễu:

-  Orientation

  Để đơn

giản, các giá tr ị của  được lượ ng
ng tử hoá về T hướng. trướ c

Ɵ Ɵ

khi lượ ng
ng tự giá tr ị   được đưa về [0, II]

 Nguyễn Thị Thủy

13

Đại Học Công Nghệ 


 

 

H  nh
nh 0.10 Tí 
Tí nh
nh k í í ch
ch thí 
thí ch

ch sai kha
kha ́ c (Nguô
(Ngu   ô  ̀n WLD, ta
ta ́ c gia
gia ̉  Jie Chen, Member, IEEE,
Shiguang Shan, Member, IEEE, Chu He, Guoying Zhao, Matti Pietikäinen, Senior
Member, IEEE, Xilin Chen, Senior Member, IEEE, Wen Gao, Fellow, IEEE)

(Ngun WLD, ta
thư 
ch   
 o  ṇ đă
   c ̣ trưng (Ngun
   
ta ́ c gia
H  nh
nh 0.11 nh trên là
là nh gô
gô ́ c a ̉ nh thư 
là g
 gôô ́ c tr
gia ̉  
tr ́ ch cho
 ́  2 là
Jie Chen, Member, IEEE, Shiguang Shan, Member, IEEE, Chu He, Guoying Zhao, Matti
Pietikäinen, Senior Member, IEEE, Xilin Chen, Senior Member, IEEE, Wen Gao, Fellow,
IEEE)

-  WLD histogram
  Phần

0, 5: biến đổi của tần số cao.

  Phần

1, 4: biến đổi của tần số trung bình

  Phần

2, 3: biến đổi của tần số thấ p

 Nguyễn Thị Thủy

14

Đại Học Công Nghệ 


 

 
  Mỗi

phần có những vài trò khác nhau trong
trong từng nhiệm vụ phân

lớ  p. cần đánh giá trọng số cho từng phần.
  Một



cách phổ biến là tính tỉ lệ nhận dạng cho từng phần R={ }

 =

/

 

  ∑

   ô  n
H  nh
h   
về t
 t ́ nh toa
toa ́ n cu
cu ̉ a WLD (Ngu
Nguô
ta ́ c gi
gi Jie Chen, Member, IEEE,
 o  ạ về
̀ WLD, ta
̀ 0.12 Minh ho
Shiguang Shan, Member, IEEE, Chu He, Guoying Zhao, Matti Pietikäinen, Senior Member,
IEEE, Xilin Chen, Senior Member, IEEE, Wen Gao, Fellow, IEEE) 

2.3.  Gi
Giớ 
ớ i thiệu

thiệu phương pháp phân tích thành phần
phần chính PCA
ớ i thiệu
PCA 
2.3.1.  Gi
Giớ 
thiệu phương pháp PCA 
Phương pháp trích chọn đặc trưng được phát minh năm 1901 bở i Karl
Pearson,và đượ c phát triển một cách độc lậ p bở i Hotelling (1933). Hiện nay nó
đượ c sử dụng như một công cụ để phân tích dữ liệu nghiên cứu và thực hiện các
mô hình dự  đoán. PCA còn bao gồm c ả  việc tính toán phân tích các giá tr ị  đặc

trưng của một ma tr ận
ận tương quan dữ li ệu hay phân tính các giá tr ị  đơn của ma
tr ận d ữ liệu thườ ng
ng sau khi tính trung bình d ữ liệu của mỗi thuộc tính [11],[15].

PCA là phương pháp đơn giản nhất phân tích đa biến dựa trên các vector đặc
trưng. Thông thườ ng
ng hoạt động c ủa nó có thể  đượ c hi ểu nh ằm khám phá ra cấu
 Nguyễn Thị Thủy

15

Đại Học Công Nghệ 


 

 

trúc bên trong của dữ  liệu. Nếu một tậ p dữ  liệu đa biến được xem xét như tậ p
các tọa độ trong một không gian dữ  liệu nhiều chiều (mỗi tr ục biểu diễn một
 biến) thì phương pháp PCA cung cấ p cho chúng ta một bức ảnh ít chiều, một cái
 bóng c ủa v ật th ể khi quan sát từ chính những đặc trưng cơ bản nh ất c ủa v ật th ể 

đó.
Mục tiêu của phương pháp PCA là thự c hiện giảm số  chiều nhưng vẫn

đảm bảo tối đa sự phân tán dữ liệu. Có thể nói phương pháp trích chọn đặc trong
tìm cách giữ lại những thành phần thống kê quan tr ọng nhất của tậ p d ữ liệu ban

đầu.
Giả  sử  ta cần giảm số  chiều của dữ  liệu từ N chiều xuống còn K (Kchiều nghĩa là ta cần tìm một ánh xạ  từ không gian N chiều sang không gian K
chiều.
Trong vấn đề  đang xét của lu ận văn này, PCA là mộ t thuật toán đượ c s ử 
dụng để tạo ra một ảnh mớ i từ ảnh ban đầu. Ảnh mới này có kích thướ c nhỏ hơn
r ất nhiều so vớ i ảnh đầu vào và vẫn mang những đặc trưng cơ bản nh ất c ủa ảnh
cần nh ận d ạng. Phương pháp PCA không cần quan tâm đến việc tìm ra các đặc

điểm c ụ  thể  của thực thể  cần nhận dạng và mối quan hệ  giữa các đặc điểm đó.
Tất cả các chi tiết của thực thể đều đượ c thể hiện ở  ảnh mới đượ c tạo ra từ PCA.
Bản chất của PCA là tìm ra một không gian mới theo hướ ng
ng biến thiên
mạnh nhất của một tậ p hợp các vector trong không gian cho trướ c.
c. Ở không gian
mớ i,i, ta hi vọng r ằng việc phân loại sẽ cho ta bộ dữ liệu tốt hơn so vớ i bộ dữ liệu

trong không gian ban đầu.

Ví dụ: giả sử tậ p dữ liệu ban đầu đượ c quan sát trong không gian ba chi ều

như hình bên trái. Rõ ràng ba trục này (các tr ục có tên Databases, Data minning,
Language trong hình 3) không biểu diễn đượ c tốt nhất mức độ biến thiên của dữ 
liệu. Phương pháp PCA sẽ  tìm hệ tr ục tọa độ mớ i (là hệ tr ục không có tên trong

hình bên trái) để  biểu diễn tốt nhất mức độ  biến thiên của dữ  liệu. Sau khi tìm
đượ c không gian mớ i,i, dữ liệu sẽ đượ c chuyển sang không gian này để  đượ c biểu
diễn như trong hình bên phải. Rõ ràng hình bên phải chỉ  cần hai tr ục tọa độ 
 Nguyễn Thị Thủy
16
Đại Học Công Nghệ 


 

 

nhưng biểu diễn tốt hơn độ biến thiên của dữ liệu so vớ i hệ tr ục toạ độ chiều ban
đầu.
Một ưu điểm của PCA là các tr ục to ạ  độ mới trong không gian luôn đảm
 bảo tr ực giao từng đôi một. mặc dù trong không gian ban đầu các tr ục có thể 
không tr ục giao vớ i nhau.

Hình 0.13 Lụa chọn các trục toạ độ mới để biểu diễn dữ liệu

Xem tậ p mẫu gồm K vestors trong không gian M chi ều [5], [17]:

       
   

  =   …33.     …33     …33
 
   
       
O= {  , ,… ,… } (2.1)

Giả sử cơ sở   ccủa không gian tậ p mẫu là:
 = {

, ….

 ,

  } (2.2)

Ta có:

.  =

Trong đó

dạng:

 =

,…  =

  (2.3)

 là thành phần th ứ m của vestor

 +

 + …+

. M ỗi

 có thể vi ết dướ i

  (2.4)

 Như vậ
v ậy mỗi phần tử  của t ậ p mẫu bây giờ   như là một vestor trong hệ  cơ
sở  



.

 Nguyễn Thị Thủy

17

Đại Học Công Nghệ 


 

 

Bằng cách sử dụng M vectors cơ sở  ta
 ta có thể biểu diễn mỗi quan sát. Điều

này cũng đúng khi ta chọn cơ sở   gồm M-vectors tr ực
ực giao đượ c thể  hiện trong
2.2.
Trong thực tế chúng ta không thể đưa tất cả các cơ sở  M-chi
 M-chiều do nhiều lý

do khác nhau như M quá lớ n hay có chứa một số thông tin không quan tr ọng. Vì
vậy chúng ta chuyển sang không gian có s ố  chiều nhỏ  hơn là N chiều. Khi đó
tậ p mẫu là:

       
    ,  б
б  0 ếế #,б  1 ế   
∑ =    




∑==   ∑== 
, …, ,… } (2.5)

O={ ,

ở   đây chúng ta quan tâm đế n việc tìm một cơ sở   tr ực giao (OrthNormal-

ON)

.

={

,…

,

} vớ i {

=

  (2.8)

(2.9)

 đượ c gọi là cắt (truncated) khi có nhận ít nhất vestor cơ sở  hơn. Vậy ta

thể hiện O trong cơ sở  nh
 nhỏ hơn vớ i sai số.
  (2.9)

Ta có (
K 

 vậy

, )=
S

 ≤ K 

 (2.10)

Ma tr ận phân bố các phần tử của tậ p mẫu O là:
S=

  (2.11)

 ∑==  


 ∑=       ∑=   ∑=
=  ∑=+
=+ 

Để sai số xấ p xỉ bé nhất thì phải chọn

 là N vestor riêng có ý nghĩa nhất

của S thoả mãn công thức:

  ≥  -

  =

(2.12)

 

 

Khi ta chon N-vestor riêng
riêng và sai
sai số xấ p xỉ là nhỏ nhất và bằng tổng M-N
tr ị riêng bé nhất của S thì ta đượ cc::

 Nguyễn Thị Thủy

18

Đại Học Công Nghệ