Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (LV thạc sĩ)

HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THÔNG
---------------------------------------

TRẦN THỊ VÂN ANH

PHÁT HIỆN KHUÔN MẶT CHO XÁC ĐỊNH
SỐ LƢỢNG SINH VIÊN TRONG LỚP HỌC

LUẬN VĂN THẠC SĨ KỸ THUẬT
(Theo định hướng ứng dụng)

TP.HỒ CHÍ MINH - 2017


HỌC VIỆN CÔNG NGHỆ BƢU CHÍNH VIỄN THÔNG
---------------------------------------

TRẦN THỊ VÂN ANH

PHÁT HIỆN KHUÔN MẶT CHO XÁC ĐỊNH
SỐ LƢỢNG SINH VIÊN TRONG LỚP HỌC

CHUYÊN NGÀNH : HỆ THỐNG THÔNG TIN
MÃ SỐ:

0

60.48.01.04

LUẬN VĂN THẠC SĨ KỸ THUẬT
(Theo định hướng ứng dụng)

NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS LÊ HOÀNG THÁI

TP. HỒ CHÍ MINH - 2017


i

LỜI CAM ĐOAN
Tôi cam đoan đây là công trình nghiên cứu của riêng tôi.
Các số liệu, kết quả nêu trong luận văn là trung thực và chƣa từng đƣợc ai
công bố trong bất cứ công trình nào.

TPHCM, Ngày 26 tháng 5 năm 2017
Học viên thực hiện luận văn

Trần Thị Vân Anh


ii

LỜI CẢM ƠN
Lời đầu tiên em xin gửi lời cảm ơn đến toàn thể các thầy, các cô giảng viên
Học viện Công nghệ Bƣu chính Viễn thông đã tận tình chỉ bảo em trong suốt thời
gian học tập tại nhà trƣờng.
Em xin gửi lời cảm ơn sâu sắc đến thầy PGS.Lê Hoàng Thái thầy đã
tận tình hƣớng dẫn, tạo mọi điều kiện thuận lợi và chỉ bảo em trong suốt thời gian
làm luận văn tốt nghiệp.
Bên cạnh đó, để hoàn thành luận văn tốt nghiệp, em cũng đã nhận đƣợc
sự giúp đỡ tận tình cùng với những lời động viên quý báu của bạn bè cùng gia đình

và đồng nghiệp. Em xin chân thành cảm ơn.
Tuy vậy, do thời gian có hạn, mặc dù đã cố gắng hết sức nhƣng chắc rằng
luận văn không tránh khỏi sự thiếu sót. Em rất mong nhận đƣợc sự thông cảm và
chỉ bảo tận tình của quý thầy cô và các bạn.
Trân trọng cảm ơn.

TPHCM, Ngày 26 tháng 5 năm 2017
Học viên thực hiện luận văn

Trần Thị Vân Anh


iii

MỤC LỤC
LỜI CAM ĐOAN ....................................................................................................... i
LỜI CẢM ƠN ............................................................................................................ ii
DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT ................................................v
DANH SÁCH BẢNG ............................................................................................... vi
DANH SÁCH HÌNH VẼ ......................................................................................... vii
CHƢƠNG 1 - TỔNG QUAN ..................................................................................4
1.1

Giới thiệu .......................................................................................................4

1.1.1

Đặc trƣng của mặt ngƣời ........................................................................5

1.1.2

Thách thức trong bài toán nhận dạng mặt ngƣời ....................................6

1.1.3

Các giai đoạn trong nhận dạng mặt ngƣời ..............................................7

1.2

Độ đo đánh giá hiệu quả nhất ........................................................................9

1.3 Kết thúc chƣơng 1 ...........................................................................................10
CHƢƠNG 2 - CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN ....................11
2.1

Giới thiệu các hƣớng tiếp cận chung ...........................................................11

2.2

Phƣơng pháp tiếp cận ..................................................................................15

2.3

Kết luận chƣơng 2 .......................................................................................25

CHƢƠNG 3 - PHƢƠNG PHÁP ĐỀ XUẤT .........................................................26
3.1

Ý tƣởng ........................................................................................................26

3.2

Thuật toán ....................................................................................................27

3.2.1

Gabor cong ............................................................................................27

3.2.2

Phƣơng pháp (2D)2LDA: ......................................................................30


iv

3.2.3
3.3

Các bƣớc thực hiện của thuật toán ........................................................32

Áp dụng chƣơng trình thực nghiệm điểm danh mặt ngƣời .........................33

3.3.1

Nhu cầu sử dụng phần mềm .................................................................33

3.3.2

Phần mềm đề xuất .................................................................................34

3.3.3

Thiết kế cơ sở dữ liệu ...........................................................................34

3.3.4

Thiết kế giao diện .................................................................................35

3.3.5

Chức năng của phần mềm .....................................................................36

3.4

Quy trình xử lý ............................................................................................44

3.4.1

Quy trình điểm danh đƣợc thực hiện nhƣ sau.......................................44

3.4.2

Mô hình xử lý nhận dạng khuôn mặt ....................................................45

3.5

Kết luận chƣơng 3 .......................................................................................46

CHƢƠNG 4 - KẾT QUẢ THỰC NGHIỆM VÀ HƢỚNG PHÁT TRIỂN .........47
4.1

Cơ sở dữ liệu thực nghiệm...........................................................................47

4.2

Kết quả độ chính xác ...................................................................................49

4.3

Kết quả thực nghiệm: ..................................................................................51

KẾT LUẬN VÀ KIẾN NGHỊ...................................................................................52
DANH MỤC CÁC TÀI LIỆU THAM KHẢO .........................................................53


v

DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT
Viết tắt

Tiếng anh

Tiếng việt
Thêm cá nhân (Không gian chỉ

ES

Extra - personal

sự khác biệt giữa các bức ảnh của

cùng các đối tƣợng)

FAR

false accept ratio

Tỷ lệ chấp nhận sai

FRR

false reject radio

Tỷ lệ từ chối sai

HOG

Histogram of Orientend Gradients

Biểu đồ mật độ hƣớng
Trong nội bộ (Không gian chỉ

IS

Intra - personal

sự khác biệt giữa các bức ảnh của
cùng một đối tƣợng)

k-NN

k Nearest Neighbors

K láng giềng gần

LBP

Local Binary Pattern

Mẫu nhị phân cục bộ

LDA

Linear Discriminant Analysis

Phân tích tách lớp tuyến tính

LPQ

Local Phase Quantization

Lƣợng tử hóa cục bộ

ORL

Olivetti Research Laboratory

Phòng nghiên cứu Olivetti

PCA

Principal Components Analysis

Phân tích thành phần chính

SVM

Support Vector Machine

Máy vectơ hỗ trợ


vi

DANH SÁCH BẢNG
Bảng 4.1: So sánh năm phƣơng pháp trên cơ sở dữ liệu ORL [10] .........................49
Bảng 4.2: So sánh các phƣơng pháp tiếp cận khác nhau về độ chính xác công nhận
trên cơ sở dữ liệu ORL [10] ......................................................................................49
Bảng 4.3: So sánh năm phƣơng pháp trên cơ sở dữ liệu YALE [10] ......................50
Bảng 4.4: So sánh các phƣơng pháp tiếp cận khác nhau về độ chính xác công nhận
trên cơ sở dữ liệu YALE [10] ...................................................................................50
Bảng 4.5: Kết quả độ chính xác của phần mềm thực tế áp dụng trong lớp học ......51


vii

DANH SÁCH HÌNH VẼ
Hình 1.1 : Các đặc trƣng của mặt ngƣời .....................................................................6
Hình 1.2: Hình ảnh khuôn mặt bị nhiễu [4] ................................................................6
Hình 1.3: So sánh tác vụ định danh và xác thực khuôn mặt .......................................8
Hình 1.4 : Hệ thống nhận dạng cơ bản........................................................................9

Hình 2.1: Ảnh đầu vào, kết quả phát hiện và cân chỉnh ảnh mặt với HOG [14] .....13
Hình 2.2: Các bƣớc trong bộ lọc Retinal filter [14] ..................................................14
Hình 2.3: Kết quả của việc tiền xử lý với bộ lọc Retina filter [14] ..........................14
Hình 2.4: Một số ảnh thu đƣợc từ phƣơng pháp LPQ [14] .......................................14
Hình 2.5: Minh họa bộ phân lớp kNN [14] ...............................................................15
Hình 2.6: Ví dụ về Gabor wavelet trong miền không gian và miền tần số [9] ........15
Hình 2.7: Tập hợp 40 Gabor wavelet. a - cƣờng độ ở 5 cận b - bộ phận thực ở cƣờng
độ 5 cận và 8 hƣớng [9] ............................................................................................16
Hình 2.8: Gabor wavelet biểu diễn của một hình ảnh mặt ngƣời. a - biểu diễn độ
lớn. b - biểu diễn phần thực [9] .................................................................................17
Hình 2.9: Hình ảnh khuôn mặt đƣợc biểu diễn bằng đồ thị. a - mô hình đồ thị. b biểu đồ biến dạng mô tả khuôn mặt ngƣời [9] ..........................................................18
Hình 2.10: a - biểu đồ gƣơng mặt với các vị trí khác nhau. b - ví dụ về một mô hình
bó lại [9] ....................................................................................................................18
Hình 2.11: Nhóm chuyển đổi/ thuật toán biến dạng [9]............................................19
Hình 2.12: 17 đặc trƣng của khuôn mặt và kết quả của phép biến đổi tự động [9] .19
Hình 2.13: Các vị trí trên ảnh đƣợc lựa chọn [1] ......................................................20
Hình 2.14 : Một số cấu trúc khuôn mặt của một ngƣời [6] .......................................21


viii

Hình 2.15: So sánh phƣơng pháp 2D-LDA và 2D-PCA trên cơ sở dữ liệu ORL [6]
...................................................................................................................................21
Hình 2.16: Sắp xếp hình ảnh theo hƣớng dọc và ngang [10] ....................................22
Hình 2.17: Phƣơng pháp đề xuất trích chọn tính năng cả hình gốc [10] ..................22
Hình 2.18: Ảnh gốc trong cơ sở dữ liệu [4] ..............................................................23
Hình 2.19: Ảnh sau khi biến đổi theo PCA [4] .........................................................23
Hình 2.20: Ảnh sau khi biến đổi theo LDA [4] ........................................................24
Hình 2.21: Ảnh mặt ngƣời sau khi biến đổi hình thái [4] .........................................24
Hình 3.1 :Hệ thống nhận dạng mặt ngƣời .................................................................26

Hình 3.2: Ví dụ Gabor cong kernels đƣợc thể hiện với thông số: σ = л và c = 0.1 [5]
...................................................................................................................................28
Hình 3.3: Ví dụ thực tế của 12 ECG wavelet kernels đƣợc đề xuất hiển thị [5] ......28
Hình 3.4: Hình minh họa áp dụng Gabor Cong ........................................................29
Hình 3.5: Phƣơng pháp (2D)2-LDA ..........................................................................31
Hình 3.6: Thực nghiệm kết hợp Gabor Cong và (2D)2-LDA ...................................32
Hình 3.7: Sơ đồ cơ sở dữ liệu....................................................................................34
Hình 3.8: Giao diện chính của chƣơng trình .............................................................35
Hình 3.9: Thẻ Home va thẻ Tasks .............................................................................35
Hình 3.10: Thẻ Help ..................................................................................................36
Hình 3.11: Quản lý môn học .....................................................................................37
Hình 3.12: Quản lý khoa ...........................................................................................38
Hình 3.13: Quản lý lớp ..............................................................................................40
Hình 3.14: Quản lý giảng viên ..................................................................................41
Hình 3.15: Quản lý sinh viên ....................................................................................42


ix

Hình 3.16: File excel danh sách điểm danh của sinh viên ........................................43
Hình 3.17: Các tƣ thế của ảnh huấn luyện ................................................................44
Hình 3.18: Mô hình nhận dạng khuôn mặt tại lớp học .............................................45
Hình 3.19: Mô hình các bƣớc xử lý của hệ thống nhận dạng khuôn mặt .................46
Hình 4.1: Ảnh mặt ngƣời trong cơ sở dữ liệu ORL [15] ..........................................47
Hình 4.2: Ảnh mặt ngƣời trong cơ sở dữ liệu YALE [16] ........................................48


1

MỞ ĐẦU

1. Tính cấp thiết của đề tài
Bài toán xác thực cá nhân là bài toán cốt lõi trong nhiều ứng dụng của
cuộc sống. Phƣơng pháp xác thực cá nhân truyền thống là dựa vào vật sở hữu (thẻ,
con dấu, chìa khóa...) hoặc mã cá nhân (mật khẩu, mã số PIN...). Tuy nhiên những
phƣơng pháp này có nhiều hạn chế nhƣ: độ bảo mật kém, dễ quên, mất, dễ
giả mạo... Do vậy, hƣớng tiếp cận đặc trƣng sinh trắc học cho nhận diện cá nhân
ngày càng đƣợc quan tâm nghiên cứu và ứng dụng. Đặc trƣng sinh trắc học (nhƣ
ảnh mặt ngƣời, ảnh dấu vân tay, ảnh vân lòng bàn tay, ảnh móng mắt, giọng nói,
dáng đi ...) có tính duy nhất, độ chính xác và an toàn rất cao. Trong các đặc trƣng
sinh trắc học này thì công nghệ nhận dạng mặt ngƣời đƣợc áp dụng trong rất nhiều
ứng dụng thƣơng mại, an ninh và hành pháp. Nhận dạng mặt ngƣời có mức độ
an ninh thấp khi điều kiện thu nhận ảnh là không ràng buộc nhƣng có rất nhiều
thuận lợi có thể áp dụng ở nhiều ngữ cảnh khác nhau.

Hình 1: Các đặc trƣng sinh trắc học phổ biến [11]

Trong nhiều thập kỷ qua nhiều thành tựu nâng cao trong nhận dạng
mặt ngƣời đã đạt đƣợc. Nhiều hệ thống nhận dạng mặt ngƣời đã đạt đƣợc
độ chính xác trên 90%. Tuy nhiên, khi áp dụng thực tế thì vẫn có rất nhiều thách
thức bởi vì việc thu nhận ảnh mặt ngƣời có thể nằm trong nhiều điều kiện
môi trƣờng khác nhau, ví dụ nhƣ điều kiện chiếu sáng, tƣ thế, thời gian trì hoản, bị
che khuất... Do vậy, việc nghiên cứu bài toán nhận dạng mặt ngƣời là cấp thiết.


2

2. Mục đích nghiên cứu
Mục tiêu nghiên cứu của đề tài là phát triển thuật toán biểu diễn đặc trƣng
mặt ngƣời hiệu quả cho việc so khớp nhanh và đạt độ chính xác cao. Minh họa
ứng dụng của kỹ thuật nhận dạng mặt ngƣời này vào phần mềm điểm danh sinh

viên trong lớp học.

3. Đối tƣợng và phạm vi nghiên cứu
3.1 Đối tượng nghiên cứu
Đối tƣợng nghiên cứu là ảnh mặt ngƣời, các kỹ thuật xử lý biểu diễn
đặc trƣng mặt ngƣời (biểu diễn đặc trƣng hình học, mắt, mũi, miệng,...).Thực
nghiệm trên cơ sở dữ liệu chuẩn ORL và YALE để đánh giá hiệu quả của phƣơng
pháp rút trích đặc trƣng trong đề tài.

3.2 Phạm vi nghiên cứu
Đề tài tập trung vào việc nghiên cứu rút trích mặt ngƣời nhìn thẳng.
Thực nghiệm minh họa trong ứng dụng điểm danh sinh viên trong một lớp
dƣới 50 sinh viên.

3.3 Phương pháp nghiên cứu
Đề tài chọn hƣớng tiếp cận kết hợp đặc trƣng toàn cục và đặc trƣng cục bộ
để tạo ra đặc trƣng bền vững với nhiễu và có tính phân biệt cao. Bộ lọc Gabor Cong
đƣợc áp dụng để tạo ra đặc trƣng cục bộ có tính bền vững với nhiễu. Kỹ thuật học
thống kê phân tích tách lớp tuyến tính (LDA) đƣợc áp dụng để trích chọn đặc trƣng
toàn cục có tính phân biệt cao của các đối tƣợng.

4. Cấu trúc luận văn
Cấu trúc của luận văn gồm phần mở đầu, 4 chƣơng và phần kết luận nhƣ sau:
-

Phần mở đầu: Giới thiệu tính cấp thiết, mục tiêu nghiên cứu, phạm vi
nghiên cứu và bố cục luận văn.


3

-

Chƣơng 1: Trình bày tổng quan về hệ thống nhận dạng mặt ngƣời. Các độ do
đánh giá hiệu quả của việc nhận dạng mặt ngƣời.

-

Chƣơng 2: Trình bày các công trình nghiên cứu liên quan về kỹ thuật
rút trích đặc trƣng mặt ngƣời.

-

Chƣơng 3: Trình bày phƣơng pháp rút trích đặc trƣng mặt ngƣời đƣợc thực
hiện trong đề tài.

-

Chƣơng 4: Kết quả thực nghiệm trên cơ sở dữ liệu chuẩn.

- Phần kết luận: Trình bày tóm tắt các nội dung đã làm đƣợc và hƣớng
phát priển trong đề tài.


4

CHƢƠNG 1 - TỔNG QUAN
1.1 Giới thiệu
Ngày nay ngành công nghiệp đã và đang phát triển kéo theo các thiết bị
thông minh, máy ảnh số, camera kĩ thuật số ra đời. Các thiết bị có tích hợp hỗ trợ

camera rất phổ biến. Do vậy sẽ mở ra nhiều hƣớng nghiên cứu về thị giác máy tính,
đồng thời sẽ có nhiều ứng dụng trong giao tiếp giữa ngƣời với máy tính mà trong đó
hệ thống nhận dạng mặt ngƣời đóng một vai trò không nhỏ. Dƣới đây là một số
ứng dụng trong công nghệ nhận dạng mặt ngƣời:
-

Các ứng dụng chuyên biệt cho ngành hàng không
 Đảm bảo sự truy cập và tính hợp lệ trong công việc cho từng nhânviên:
Mỗi nhân viên làm việc tại cảng hàng không cũng nhƣ nhân viên
phi hành đoàn đƣợc cung cấp quyền truy cập để đến vị trí làm việc.
 Kiểm soát an ninh tại các khu vực ra vào.

-

Bảo vệ trẻ em ở nhà trẻ từ bọn bắt cóc
 Quy định rằng, chỉ có những nhân viên của nhà trẻ mới đƣợc phép dẫn
trẻ em ra ngoài và trao tận tay cho bố mẹ đón về. Nhờ công nghệ
nhận dạng mặt ngƣời có thể kiểm soát đƣợc việc này.

-

Nhận dạng khuôn mặt đƣợc sử dụng kèm với thẻ truy cập
 Hầu nhƣ mọi ngƣời dân đều dùng thẻ tín dụng để mua bán, rút tiền,
trao đổi hàng hóa. Điều này rất nguy hiểm khi thẻ truy cập này bị ngƣời
khác nhặt đựợc hay biết đƣợc mật khẩu của chủ sở hữu thẻ này?
Làm cách nào có thể bảo đảm an toàn nhất?
 Có thể dùng song song mật khẩu: Có nghĩa sử dụng khuôn mặt nhƣ là
một mật khẩu thứ hai để truy cập vào hệ thống cùng với thông tin từ
card truy cập.

5

-

Ngăn chặn việc xuất/nhập cảnh bất hợp pháp
 Một số ngƣời không đƣợc xuất/nhập cảnh vào nƣớc, song họ cố tình
khai gian giấy tờ để xuất/nhập cảnh bất hợp pháp. Ứng dụng nhận dạng
mặt ngƣời giúp để ngăn chặn đƣợc sự gian lận này.

-

Lần dấu vết đi tìm kẻ khủng bố
 Từ những bức ảnh số hay những đoạn video số đã đƣợc ghi lại tự động
về hiện trƣờng trƣớc khi vụ khủng bố xảy ra. Cần nhận dạng những
đối tƣợng khả nghi của vụ khủng bố này.

-

Hệ thống giám sát công nhân và chấm công tự động
 Ở các công ty sản xuất lớn có hàng ngàn công nhân vào ra mỗi ngày nên
việc giám sát kẻ gian vào công ty cũng nhƣ công việc chấm công rất
phức tạp. Dựa vào công nghệ nhận dạng để nhận ra từng nhân viên của
công ty.

 Tóm lại: nhu cầu sử dụng các hệ thống xử lý dùng trí tuệ nhân tạo ngày càng
phát triển, mà trong đó nhận dạng khuôn mặt để mã hóa mật khẩu cá nhân là
một nhu cầu thiết yếu hiện nay và trong tƣơng lai.

1.1.1 Đặc trưng của mặt người

Có nhiều lĩnh vực khác nhau nhƣ sinh học, tâm lý học, khoa học thần kinh,
xã hội học và khoa học máy tính đã phân tích đặc trƣng biểu hiện khuôn mặt ngƣời.
Mặc dù đã có nhiều nghiên cứu để biểu diễn khuôn mặt ngƣời, nhƣng bài toán
mã hóa khuôn mặt ngƣời vẫn là bài toán mở. Nhìn chung có ba kiểu biểu diễn
đặc trƣng khuôn mặt ngƣời: đặc trƣng tổng thể, đặc trƣng thành phần và đặc trƣng
cấu trúc mối quan hệ giữa các thành phần. Đặc trƣng tổng thể là xem khuôn mặt là
một thực thể duy nhất để phân biệt. Đặc trƣng thành phần là xem xét các thành phần
(mắt, mũi, miệng) riêng lẻ. Đặc trƣng cấu trúc mối quan hệ giữa các thành phần là
xem xét mối quan hệ không gian hình học giữa các thành phần khuôn mặt. Khi xem
xét đặc trƣng tổng thể hay đặc trƣng từng thành phần thì đặc trƣng kết cấu mẫu
vẫn thƣờng đƣợc sử dụng.


6

Hình 1.1 : Các đặc trƣng của mặt ngƣời

1.1.2 Thách thức trong bài toán nhận dạng mặt người
Khuôn mặt ngƣời là nơi biễn diễn sắc thái và tình cảm của con ngƣời rõ ràng
nhất, vì vậy bài toán nhận dạng mặt ngƣời gặp không ít những thách thức về biểu
hiện cảm xúc cũng nhƣ các yếu tố tác nhân bên ngoài nhƣ:

Hình 1.2: Hình ảnh khuôn mặt bị nhiễu [4]

- Hƣớng của khuôn mặt ngƣời nhƣ: nhìn thẳng, nhìn nghiêng trái hoặc nhìn
nghiêng phải, cuối xuống, ngƣớc lên. Trong cùng một đối tƣợng đƣợc nhận dạng
có thể có nhiều tƣ thế khác nhau của khuôn mặt.


7

- Xét dữ liệu video: thông tin khuôn mặt ngƣời trong dữ liệu video là vô
cùng nhiều, tuy vậy các phƣơng pháp nhận dạng vẫn làm việc với ảnh tĩnh là ảnh
đƣợc trích xuất từ video, nhƣng các phƣơng pháp nhận dạng không thể tận dụng hết
ƣu thế của ảnh với dữ liệu là video.
- Số lƣợng ảnh là yếu tố ảnh hƣởng đến tốc độ xử lý, trong cùng một
đối tƣợng đang xét thì ban đầu dữ liệu khuôn mặt ngƣời sẽ ít nhƣng theo thời gian
thì khuôn mặt của đối tƣợng có thể thay đổi. Vì vậy mà số lƣợng ảnh lƣu trữ đƣợc
tăng lên đáng kể. Do vậy dữ liệu lớn ảnh hƣởng nhiều đến tốc độ xử lý cũng nhƣ
việc lƣu trữ sẽ gặp khó khăn.
- Có những chi tiết không phải là đặc trƣng riêng của khuôn mặt ngƣời nhƣ
ngƣời có râu quai nón, ngƣời đeo kính cận hay khuôn mặt ngƣời của đối tƣợng
đƣợc xét bị che khuất bởi đối tƣợng khác.
- Tại các thời điểm khác nhau thì biển hiện cảm xúc khuôn mặt ngƣời cũng
khác nhau nhƣ: vui, buồn, ngạc nhiên, ngơ ngác... ảnh hƣởng rất nhiều trong việc
nhận dạng.
- Chịu sự tác động điều kiện về độ sáng tối cũng cho ta có kết quả khác nhau
của khuôn mặt ngƣời cũng nhƣ màu sắc môi trƣờng ở nhiều nơi là khác nhau hay
màu sắc của quần áo cũng ảnh hƣớng đến quá trình nhận dạng mặt ngƣời.
- Kích thƣớc khác nhau của khuôn mặt ngƣời cũng là yếu tố tác động đến
quá trình nhận dạng mặt ngƣời.
Các khó khăn trên chứng tỏ việc nhận dạng mặt ngƣời không tránh đƣợc các
khuyết điểm nhất định. Để đánh giá và so sánh giữa các phƣơng pháp xác định mặt
ngƣời, ta thƣờng dựa trên độ đo FAR hay FRR ...

1.1.3 Các giai đoạn trong nhận dạng mặt người
Một hệ thống sinh trắc học là hệ nhận dạng dựa trên hành vi, thuộc tính vật
lý của ngƣời đƣợc nhận dạng. Hệ sinh trắc học đƣợc phân thành hai loại chính:
hệ xác thực (Verification) và hệ định danh (Indentification).

8

Hệ xác thực (Verification): đầu vào gồm có ảnh truy vấn và định danh. Hệ
thống đối sánh 1-1 giữa mẫu mặt ngƣời đã thu nhận đƣợc với mẫu mặt ngƣời trong
hệ thống ứng với định danh đầu vào. Hệ thống xác thực trả lời kết qủa phải hay
không phải mặt ngƣời ứng với định danh đó.
Định danh (Indentification): đầu vào chỉ có mẫu truy vấn. Hệ thống so sánh
mẫu truy vấn với các mẫu huấn luyện (1-n). Hệ thống sẽ cho biết định danh với mẫu
truy vấn đó nếu có, ngoài ra thì trả lời là không biết.
Chƣa biết trƣớc thông tin

Đã biết trƣớc thông tin

Ngƣời này là ai?

Đây là Jon phải không?

Jon

Kết quả

Xác minh ngƣời

Kết quả

Nhận dạng ngƣời

Đúng/Sai

Hình 1.3: So sánh tác vụ định danh và xác thực khuôn mặt

Nhận dạng mặt ngƣời thông qua các giai đoạn:
- Face Detection (Phát hiện mặt ngƣời): nhận dạng đâu là vùng mặt có trong
dữ liệu đầu vào và thực hiện cắt lấy vùng ảnh mặt để thực hiện nhận dạng.
- Preprocessing (Tiền xử lý ảnh): chuẩn hóa mẫu ảnh về tƣ thế chuẩn nhƣ
chuẩn hóa kích cỡ ảnh, hiệu chỉnh độ sáng, tối của ảnh, lọc nhiễu, vị trí và tƣ thế


9

mẫu ảnh trong cơ sở dữ liệu và ảnh cần đƣợc nhận dạng để giúp cho việc tìm kiếm
dễ dàng và hiệu quả hơn.
- Feature Extraction (Trích chọn đặc trƣng): ở bƣớc này sử dụng phƣơng
pháp Adaboost kết hợp với Haar like để trích chọn đặc trƣng của khuôn mặt (vùng
mặt, mắt trái, mắt phải, mũi và miệng), sau đó sử dụng phƣơng pháp Gabor Cong
kết hợp với phƣơng pháp (2D)2LDA... với mục đích trích chọn các đặc trƣng cho
ảnh đƣơc biểu diễn dƣới dạng vectơ, dựa trên vectơ đặc điểm để đối sánh sự giống
và khác nhau của mẫu ảnh cần nhận dạng và mẫu ảnh trong cơ sở dữ liệu.
- Comparison (Đối sánh): thực hiện so sánh giữa vectơ đặc trƣng để chọn ra
độ tƣơng tự của mẫu ảnh cần tìm và mẫu ảnh chứa trong cơ sở dữ liệu.

Ảnh

Phát

Rút

Đối

Nhận

đầu

hiện mặt

trích

sánh

dạng

vào là

ngƣời

đặc

(so

khuôn

ảnh

và Tiền

trƣng

khớp)

mặt

tĩnh

xử lý
khuôn
mặt

Hình 1.4 : Hệ thống nhận dạng cơ bản

1.2 Độ đo đánh giá hiệu quả nhất
Trong quá trình nhận dạng thì thƣờng gặp phải vấn đề về lỗi nhƣ sau:
- Phát sinh lỗi khi so sánh mẫu khuôn mặt của hai ngƣời khác nhau
nhƣng kết quả là của cùng một ngƣời. Lỗi này đƣợc gọi là loại bỏ sai (false
reject).


10

- Phát sinh lỗi khi so sánh mẫu gƣơng mặt cùng một ngƣời nhƣng kết quả
là không phải đối tƣợng đó. Lỗi này đƣợc gọi là chấp nhận sai (false accept).
Để đo đƣợc lỗi phát sinh trong quá trình nhận dạng thì ở đây nói đến độ đo
lƣờng thƣờng đƣợc định nghĩa:
- FAR (false accept ratio): tỷ lệ chấp nhận sai cho biết tỉ lệ trả lời đúng
đối với dữ liệu đầu vào là sai.
- FRR (false reject radio): tỷ lệ từ chối sai cho biết tỉ lệ trả lời sai đối với
dữ liệu đầu vào là đúng.

1.3 Kết thúc chƣơng 1
Chƣơng này giới thiệu tổng quan về nhận dạng mặt ngƣời, các đặc trƣng của

mặt ngƣời, các giai đoạn và độ đo đánh giá hiệu quả nhất trong hệ thống nhận dạng
mặt ngƣời. Từ đó, đƣa ra các phƣơng pháp tiếp cận của bài toán nhận dạng mặt
ngƣời.


11

CHƢƠNG 2 - CÁC CÔNG TRÌNH NGHIÊN CỨU
LIÊN QUAN
2.1 Giới thiệu các hƣớng tiếp cận chung
Dựa vào việc sử dụng đặc trƣng của khuôn mặt trong khi nhận dạng, các hệ
thống nhận dạng mặt đƣợc chia thành hai hƣớng tiếp cận chính: hƣớng tiếp cận toàn
cục (global approaches) và hƣớng tiếp cận cục bộ (local features based approaches).
Các phƣơng pháp theo hƣớng toàn cục sẽ sử dụng các đặc điểm toàn cục của khuôn
mặt (hình dạng, màu sắc, các đƣờng nét chính…) trong khi các hệ thống theo cách
tiếp cận dựa vào các đặc trƣng cục bộ sử dụng các đặc điểm cục bộ của khuôn mặt
(các điểm ảnh, các chi tiết nhƣ mắt, mũi, miệng, lông mày…) để nhận dạng. Trong
số các hệ thống nhận dạng mặt dựa trên các đặc điểm toàn cục Eigengaces và
Fisherfaces là các hệ thống tiêu biểu nhất. Eigenface sử dụng phép phân tích thành
phần chính PCA để biểu diễn mỗi ảnh mặt nhƣ là một tổ hợp tuyến tính của các
vectơ riêng thu đƣợc từ phép phân giải ma trận hiệp phƣơng sai đƣợc tính từ các
ảnh mặt sau khi đã chuẩn hóa. Do PCA là một thuật toán học không có giám sát nên
không tận dụng đƣợc các thông tin về lớp khi tập ảnh huấn luyện có nhiều hơn một
mẫu cho mỗi lớp nên trong Fisherfaces phƣơng pháp phân tích tuyến tính khác biệt
LDA đƣợc sử dụng nhằm khai thác tốt hơn các thông tin này. Về các hệ thống nhận
dạng mặt dựa trên các đặc điểm cục bộ thì phƣơng pháp mẫu nhị phân cục bộ LBP
và biến đổi sóng nhỏ Gabor (Gabor wavelet) là các kỹ thuật điển hình dùng để trích
xuất các đặc điểm cục bộ từ ảnh mặt [14].
Các nghiên cứu cho thấy các hệ thống dựa trên các đặc điểm cục bộ cho kết
quả tốt hơn các hệ thống theo cách tiếp toàn cục, đặc biệt là khi làm việc với các

ảnh bị ảnh hƣởng bởi các điều kiện nhƣ đã đề cập ở trên. Một cách tiếp cận khác là
kết hợp cả hai đặc trƣng cục bộ và toàn cục để nhận đƣợc một hệ thống lai ghép
(hybrid system) nhằm đặt đƣợc hiệu quả cao hơn.


12

Một hệ thống nhận dạng mặt ngƣời làm việc giống nhƣ hệ thống thị giác của
con ngƣời khi cần nhận ra một ai đó khi nhìn vào một bức tranh. Ở bƣớc đầu tiên hệ
thống cần xác định xem có mặt ngƣời trong bức ảnh hay không, sau đó nếu có thì
chỉ vùng ảnh đó sẽ đƣợc quan tâm. Các bƣớc của quá trình nhận dạng tự động nhƣ
thị giác của con ngƣời khi tiếp nhận ảnh và xử lý (ảnh đầu vào - xử lý và nhận
dạng). Tiếp đến, các đặc điểm là đặc trƣng nhất của khuôn mặt (giúp phân biệt ảnh
mặt ngƣời này với ngƣời khác và các ảnh thuộc về cùng một ngƣời) sẽ đƣợc trích
chọn (extract) để nhận dạng, bƣớc này gọi là trích chọn đặc trƣng (feature
extraction). Trong bƣớc tiếp theo, gọi là nhận dạng (recognition), hệ thống sẽ đối
sánh các đặc trƣng vừa nhận đƣợc với một kho dữ liệu các đặc trƣng của những
ngƣời đã biết rõ danh tính để xác định xem các đặc trƣng đó là của khuôn mặt này
và đƣa ra kết luận về danh tính tƣơng ứng với khuôn mặt có tỉ lệ tƣơng đồng lớn
nhất. Tỉ lệ các ảnh nhận dạng dùng danh tính (recognition rate) và đƣợc dùng để
đánh giá hiệu năng (độ chính xác) của một hệ thống nhận dạng.
Trên thực tế, việc xây dựng một hệ thống nhận dạng mặt sẽ gồm nhiều bƣớc
chi tiết hơn. Trƣớc bƣớc trích chọn đặc trƣng, một thuật toán tiền xử lý
(preprocessing) nhƣ đƣa khuôn mặt về phƣơng nhìn thẳng (đối với khuôn mặt nhìn
nghiêng), sau đó thực hiện lọc nhiễu và chuẩn hoá các điều kiện ánh sáng của các
bức ảnh sao cho chúng có cùng điều kiện ánh sang nhất có thể. Tiếp đó, sau bƣớc
trích chọn đặc trƣng, mỗi ảnh mặt sẽ đƣợc biểu diễn dƣới dạng một vectơ đặc trƣng
có số chiều lớn (từ vài nghìn cho tới hàng trăm nghìn) và chứa nhiều thông tin dƣ
thừa không cần thiết cho quá trình nhận dạng. Do đó, một thuật toán học sẽ đƣợc sử
dụng để loại bỏ các đặc điểm dƣ thừa và đồng thời làm tăng tính phân biệt

(discriminative) của các thuộc tính đƣợc giữ lại nhằm làm tăng hiệu năng của hệ
thống về cả tốc độ xử lý (do chỉ cần làm việc với các vectơ có số chiều nhỏ hơn rất
nhiều) và độ chính xác. Cuối cùng, ở bƣớc nhận dạng (classification stage), có
nhiều thuật toán có thể sử dụng, chẳng hạn nhƣ bộ phận lớp k-láng giềng gần nhất
k-NN, SVM hoặc mạng nơron (neural network) [14].


13

Do một hệ thống nhận dạng mặt gồm nhiều bƣớc nên các nghiên cứu về nhận
dạng mặt cũng chia thành các lĩnh vực nhỏ hơn chỉ tập trụng vào các phƣơng pháp
để giải quyết từng bƣớc trong cả hệ thống. Vì thế, mặc dù đã có nhiều nghiên cứu
về nhận dạng mặt, song việc xây dựng hoàn chỉnh một hệ thống hoàn toàn tự động
từ bƣớc đầu tiên tới cuối cùng vẫn còn chƣa nhiều. Ở đây để hƣớng tới việc xây
dựng một hệ thống nhận dạng mặt hoàn toàn tự động với các kỹ thuật đƣợc áp dụng
cho các bƣớc nhƣ sau:
 Phát hiện khuôn mặt: sử dụng các đặc trƣng HOG [14].

Hình 2.1: Ảnh đầu vào, kết quả phát hiện và
cân chỉnh ảnh mặt với HOG [14]

 Tiền xử lý: sử dụng phƣơng pháp retinal filter .


14

Hình 2.2: Các bƣớc trong bộ lọc Retinal filter [14]

Hình 2.3: Kết quả của việc tiền xử lý với bộ lọc Retina filter [14]

 Trích chọn đặc trƣng: nghiên cứu áp dụng kỹ thuật LPQ.

Hình 2.4: Một số ảnh thu đƣợc từ phƣơng pháp LPQ [14]

 Nhận dạng đối tƣợng với bộ phận lớp k-NN.