xây dựng hệ thống tách và nhận dạng mặt người từ camera

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH

BÁO CÁO TỔNG KẾT
ĐỀ TÀI KH&CN CẤP TRƯỜNG TRỌNG ĐIỂM

XÂY DỰNG HỆ THỐNG TÁCH
VÀ NHẬN DẠNG MẶT NGƯỜI TỪ CAMERA
S

K

C

0

0

3

9

5

9

MÃ SỐ: T2011 - 02TĐ

S KC 0 0 3 6 2 8

Tp. Hồ Chí Minh, 2012


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH

BÁO CÁO TỔNG KẾT

ĐỀ TÀI KH&CN CẤP TRƯỜNG TRỌNG ĐIỂM

XÂY DỰNG HỆ THỐNG TÁCH VÀ NHẬN DẠNG
MẶT NGƯỜI TỪ CAMERA

Mã số: T2011- 02TĐ

Chủ nhiệm đề tài: ĐẬU TRỌNG HIỂN
Người tham gia: TRẦN TÙNG GIANG

TP. HCM, 2012


-1-

DANH SÁCH CÁN BỘ THAM GIA THỰC HIỆN ĐỀ TÀI

STT

1.

2.

MSCB

Họ và tên
Ths. Đậu
Trọng Hiển

GVC.ThS.Trần
Tùng Giang

Đơn vị công tác
ĐT-Viễn thông-khoa
Điện-Điện tửĐHSPKT tpHCM

Nội dung công việc

Xây dựng thuật
toán.
Thiết kế phần
mềm.

Kỹ Thuật Cơ Sở-khoa
Điện-Điện tử-

Nghiên cứu đặc tính

ĐHSPKT tpHCM

mặt ngƣời

-2-

MỤC LỤC
DANH SÁCH CÁN BỘ THAM GIA THỰC HIỆN ĐỀ TÀI ....................................1
DANH MỤC HÌNH ....................................................................................................5
DANH MỤC BẢNG BIỂU ........................................................................................7
DANH MỤC CHỮ VIẾT TẮT...................................................................................8
THÔNG TIN KẾT QUẢ NGHIÊN CỨU ...................................................................9
MỞ ĐẦU ...................................................................................................................13
PHẦNI ......................................................................................................................21
CƠ SỞ LÝ THUYẾT ..............................................................................................21
CHƢƠNG 1: TỔNG QUAN VỀ CÁC PHƢƠNG PHÁP XÁC ĐỊNH MẶT
NGƢỜI ......................................................................................................................22
1.1 Các phƣơng pháp chính để xác định mặt ngƣời: ...........................................22
1.2 Hƣớng tiếp cận dựa trên tri thức: ..................................................................22
1.3 Hƣớng tiếp cận dựa trên đặc trƣng không thay đổi: ......................................24
1.4 Hƣớng tiếp cận dựa trên so sánh khớp mẫu: .................................................25
1.5 Hƣớng tiếp cận dựa trên diện mạo: ...............................................................25
CHƢƠNG 2: GIỚI THIỆU CÁC THUẬT TOÁN TÁCH VÀ NHẬN DẠNG
KHUÔN MẶT ..........................................................................................................27
2.1 Các thuật toán tách khuôn mặt ......................................................................27
2.1.1 Tiếp cận Boosting ....................................................................................27


-3-

2.1.2 Adaboost .................................................................................................28
2.1.3 Các đặc trƣng Haar-Like.........................................................................32

2.1.4 Cascade of Classifiers .............................................................................35
2.1.5 Cascade of boosting classifiers ...............................................................37
2.2 Các thuật toán nhận dạng khuôn mặt ............................................................38
2.2.1 PCA: ........................................................................................................38
2.2.2 Adaboost .................................................................................................39
2.2.3 Mạng Neural ...........................................................................................40
2.2.4 Support Vector Machine .........................................................................40
2.2.5 Thuật toán Mô hình Markov ẩn (HMM) ................................................41
2.2.6 Phân loại Bayes .......................................................................................41
PHẦNII ....................................................................................................................43
THIẾT KẾ PHẦN MỀM VÀ THỬ NGHIỆM .....................................................43
CHƢƠNG 3: THIẾT KẾ HỆ THỐNG TÁCH VÀ NHẬN DẠNG KHUÔN MẶT
TỪ CAMERA ...........................................................................................................44
3.1. Giới thiệu .......................................................................................................44
3.2. Thuật toán đề nghị .........................................................................................45
3.2.1. Tách Frame .............................................................................................46
3.2.2. Phát hiện và tách khuôn mặt(Haar-Like) ................................................46
3.2.3. Tiền xử lý ................................................................................................46


-4-

3.2.4. Trích đặc trƣng(PCA) .............................................................................46
3.2.5. Huấn luyện mạng nơ ron.........................................................................48
3.4 Kết quả thử nghiệm ........................................................................................51
PHẦNIII ...................................................................................................................52
KẾT LUẬN VÀ KIẾN NGHỊ ................................................................................52
Tài liệu tham khảo .....................................................................................................54
Phụ lục .......................................................................................................................55

-5-

DANH MỤC HÌNH
Hình 1.1: Phương pháp xác định khuôn mặt điển theo hướng tiếp cận top-down. ..23
Hình 1.2 Phương pháp chiếu: ...................................................................................24
Hình 2.1: Boosting ....................................................................................................28
Hình 2.2: 4 đặc trưng Haar-like cơ bản ...................................................................32
Hình 2.3: Các đặc trưng mở rộng của các đặc trưng Haar-like cơ sở .....................33
Hình 2.4: Cách tính Integral Image của ảnh ............................................................34
Hình 2.5: Ví dụ cách tính nhanh tổng các điểm ảnh của vùng D trên ảnh ...............34
Hình 2.6: Ví dụ cách tính nhanh tổng điểm ảnh của vùng D trên ảnh với các đặc
trưng xoay 45o ...........................................................................................................34
Hình 2.7: cascade of classifiers ................................................................................36
Hình 2.8: Cascade of boosting classifiers .................................................................37
Hình 3.1:Các bƣớc chính trong một hệ thống nhận dạng mặt ngƣời ........................44
Hình 3.2: Sơ đồ huấn luyện mạng và nhận dạng khuôn mặt trong video .................45
Hình 3.3:Tách khuôn mặt dùng Haar-Like. ..............................................................46
Hình 3.4: Ảnh các khuôn mặt và ảnh trung bình ......................................................47
Hình 3.5: Kiến trúc mạng nơ ron ..............................................................................48
Hình 3.6: Tổng sai số bình phƣơng trong quá trình luyện tại chu kỳ thứ 362 ..........48
Hình 3.7: Quá trình huấn luyện .................................................................................49


-6-

Hình 3.8: Giao diện phần mềm .................................................................................49
Hình 3.9: Kiểm tra thuật toán tách khuôn mặt ..........................................................50
Hình 3.10: Giao diện nhận dạng khuôn mặt trong luồng video ................................50

-7-

DANH MỤC BẢNG BIỂU
Bảng 3.1: Kết quả thử nghiệm ..................................................................................51


-8-

DANH MỤC CHỮ VIẾT TẮT
SVM

: Super Vector Machine

PCA

:Principal component analysis

HMM

:Hidden Markov Model

ANN

: Artificial Neural network


-9-

BỘ GIÁO DỤC VÀĐÀO TẠO

TRƢỜNG ĐẠI HỌC SƢ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH

THÔNG TIN KẾT QUẢ NGHIÊN CỨU
I. Thông tin chung:
1. Tên đề tài: Xây dựng hệ thống tách và nhận dạng mặt ngƣời từ camera
 Mã số: T2011-02TĐ
 Chủ nhiệm: ThS.Đậu Trọng Hiển
 Cơ quan chủ trì: Trƣờng Đại học Sƣ Phạm Kỹ Thuật TP. Hồ Chí Minh
 Thời gian thực hiện:4/2011 – 12/2011
2. Mục tiêu:
Thiết kế, xây dựng phần mềm tách và nhận dạng mặt ngƣời trong video từ cameara.
Giải pháp sẽ đƣợc thực hiện từ cấp độ nghiên cứu đặc tính mặt ngƣời trong video,
xây dựng các giải thuật phù hợp đểphát hiện vàtách mặt ngƣời ra khỏi hậu cảnhtrên
các khung hình của video từđó dùng các phƣơng pháp nhận dạng kết hợp tiền xử
lýảnh để nhận dạng.
3. Tính mới và sáng tạo:
So với việc nhận dạngảnh truyền thống thì việc nhận dạngảnh dựa trên video có thể
cải thiện đƣợc độ chính xác cũng nhƣ sựổn định vì có nhiều thông tin hơn. Tuy
nhiên việc nhận dạngảnh qua video cũng có rất nhiều khó khăn vì sự thay đổi trong
tỉ lệ hình rất lớn, chất lƣợng ảnh rất thấp, sự thay đổi về độ chói, các tƣ thế của
khuôn mặt cũng nhƣ độ bị che phủ của khuôn mặt.
Chính vì vậy đề tàikết hợp các giải thuật tiền xử lýảnh để nâng cao chất lƣợng ảnh
trong video và chuẩn hóa khuôn mặt phát hiện đƣợc. Ngoài ra đề tài cũng kết hợp
lai các phƣơng pháp nhận dạngcũng nhƣ dựa trên thông tin của nhiều khung hình
liên tiếp để cho ra kết quả chính xác hơn.


- 10 -

4. Kết quả nghiên cứu:

Xây dựng mô ̣t modul phần mềm tách và nhận dạng mặt ngƣời trong video để tích
hợp vào trong các bộ phần mềm quản lý vào ra, bộ phần mềm an ninh, bộ phần
mềm tìm kiếm tội phạm…Modul phần mềm này còn là mẫu để sinh viên tham khảo
phƣơng phápáp dụng các thuật toán về xử lý, tách, nhận dạngảnh, xử lý video vào
trong bài toán thực tế.
5. Sản phẩm:
-

Thiết bị camera vàđĩa CD phần mềm nhận dạng mặt ngƣời.

-

Sản phẩm đào tạo: 2 SV làm Luận văn tốt nghiệp

-

01 bài báo khoa học: đăng tạp chí Khoa học và công nghệ trƣờng Đại học Sƣ
phạm kỹ thuật tp HCM

6. Hiệu quả, phƣơng thức chuyển giao kết quả nghiên cứu và khả năng áp
dụng:
Áp dụng ở các trƣờng đại học kỹ thuật có đào tạo ngành Viễn thông – Công nghệ
thông tin, đồng thời các trung tâm đào tạo, có thể phát triển thành bài thí nghiệm
về hệ thống nhận dạng hay máy học.

Ngày 10 tháng 12 năm 2011
Cơ quan chủ trì

Chủ nhiệm đề tài

(ký, họ và tên, đóng dấu)

(ký, họ và tên)


- 11 -

INFORMATION ON RESEARCH RESULTS
1. General information:
-

Project title: Design avideo-based face detection and recognition system.

-

Code number: T2011-03TĐ

-

Coordinator: Dau Trong Hien

-

Implementing institution: University of Technical Education Ho Chi Minh
City

-

Duration: from 4/2011 to 12/2011

2. Objective(s):
Design a complete face detection and recognition system based on video from
camera.
This solution has realized by studying face features on video, design and apply
approriate algorithms to detect and extract human face from the background on the
video frame so that we can use image preprocessing and recognition algorithms for
face recognition.
3. Creativeness and innovativeness:
Compared to traditional face analysis,video based face recognition has advantages
of more abundant information to improve accuracy and robustness, but also suffers
from large scale variations, low quality of facial images, illumination changes, pose
variations and occlusions. So that in this research we use preprocessing to improve
image quality and normalize the detected face. We also use hybrid recognition
algorithms and use multiframe for better performance.
4. Research results:
Design a complete video-based face detection and recognitionmodule to integrate
intoI/O management, security, finding criminal system…This module can be used
as a sample for students about the way to apply image processing, detecting,
recognizing algorithmson practices.
5. Products:
-

A camera equipment withvideo based recognition programs CD.

-

Education result: 2 student‟s graduate thesis.


- 12 -

-

01 Scientific paper: Design a video-based face detection and recognition.
system
6. Effects, transfer alternatives of research results and applicability:

The research results might be applied at technical universities and information
technology - telecommunications training centres. It also isa sample about computer
vision system.


`Mở đầu

- 13 -

MỞ ĐẦU
Ngày nay cùng với sự bùng nổ thông tin, sự phát triển công nghệ cao, sự giao tiếp
giữa con ngƣời và máy tính đang thay đổi rất nhanh, giờ đây giao tiếp này không
còn đơn thuần dùng những thiết bị cơ học nhƣ chuột, bàn phím… mà có thể thông
qua các biểu hiện của khuôn mặt. Bên cạnh đó, công nghệ càng phát triển thì giá cả
ngày càng giảm, thêm vào đó tốc độ xử lý của máy tính ngày càng cao, do đó hệ
thống xử lí khuôn mặt đang đƣợc phát triển rất nhiều.
Trong số đó, có thể nói đến hệ thống phát hiện và nhận dạng khuôn mặt, hệ thống
này có thể giúp máy tính và con ngƣời giao tiếp với nhau tốt hơn. Những nghiên
cứutrong hệ thống này chủ yếu dựa trên những thông tin trong ảnh để phát hiện vị
trí khuôn mặt, tách khuôn mặt ra khỏi hậu cảnh, nhận dạng khuôn mặt đã tách.Rất
nhiều nghiên cứu và ứng dụng đƣợc phát triển dựa trên hệ thống này. Tuy nhiên,
đây cũng là một thử thách rất lớn bởi phát hiện và nhận dạngđƣợc khuôn mặt còn
dựa vào nhiều yếu tố nhƣ tỉ lệ, vị trí, hƣớng nhìn (từ trên xuống, quay,…), kiểu

chụp (chụp đối diện, chụp ngang,…). Ngoài ra, những cảm xúc của khuôn mặt, một
số phần bị che, hoặc hƣớng ánh sáng cũng ảnh hƣởng đến bài toán phát hiện khuôn
mặt.
Bài toán tìm, phát hiện và nhận dạng mặt ngƣời hiện đang là vấn đề thách thức
trong những nghiên cứu gần đây.Nhận dạng mặt ngƣời rất đƣợc quan tâm so với các
nhận dạng sinh học khác vì bản chất nhận dạng không cần tiếp xúc( no human
touch)
Một số ứng dụng của hệ thống nhận dạng mặt ngƣời trong video:
 Hệ thống quản lý thời gian làm việc (Time Attendance System)
o Quản lý nhân sự và chấm công dễ dàng
o Tiết kiệm chi phí
o Không tiếp xúc với các bộ phận trên ngƣời.
 Hệ thống quản lý an ninh đóng mở cửa(Access Control System)
 Hệ thống quản lý khách viếng thăm(Visitor Management System)
o Thống kê đƣợc lƣợng khách


`Mở đầu

- 14 -

o Lập hồ sơ số lần viếng thăm của khách
o Báo động khi có khách trong danh sách đen của doanh nghiệp
 Tìm kiếm tội phạm
o Tốc độ nhanh chóng
o Tiết kiệm thời gian và công sức
o Có thể làm việc liên tục.
 Cứu hộ
o Giám sát và phát hiện nạn nhân 24/24
Tình hình nghiên cứu trong và ngoài nƣớc:

Ngoài nước:
Đã có nhiều công trình nghiên cứu việc nhận dạng khuôn mặt bằng các mô hình
toán khác nhau. Tuy nhiên kết quả thu đƣợc vẫn chƣa có độ chính xác cao. Các
công trình nghiên cứu sâu về thuật toánvẫn tiếp tục đƣợc tìm tòi nhằm nâng cao độ
chính xác của hệ thống nhận dạng. Sau đây là một số công trình nghiên cứu về nhận
dạng mặt ngƣời trong những năm gần đây:
A Novel Subspace Method for Face Recognition
2010 International Conference on Communications and Intelligence Information
Security By Yusheng Lin , Guang Li
Issue Date:October 2010 pp. 275-278
Hardware-Based Speed Up of Face Recognition Towards Real-Time
Performance
2010 13th Euromicro Conference on Digital System Design: Architectures,
Methods and ToolsBy I. Sajid , Sotirios G. Ziavras , M.M. Ahmed
Issue Date:September 2010 pp. 763-770
Directional Two-dimensional Neighborhood Preserving Projection for Face
Recognition
2010 International Conference on Computational Aspects of Social NetworksBy Li
Yiying , Tian Qichuan , Gao Quanxue , Xu Jing
Issue Date:September 2010 pp. 357-360


`Mở đầu

- 15 -

Two-dimensional Exponential Discriminant Analysis and its Application to
Face Recognition
2010 International Conference on Computational Aspects of Social NetworksBy
Lijun Yan , Jeng-Shyang Pan

Issue Date:September 2010 pp. 528-531
Face Recognition Based on Mixed between Selected Feature by Multiwavelet
and Particle Swarm Optimization
2010 Developments in E-systems Engineering
By Adil Abdulwahhab Ghidan Azzawi , Muneera Abed Hmdi Al-Saedi
Issue Date:September 2010 pp. 199-204
A Secure Face Recognition Algorithm Based on Adaptive Non-uniform
Quantization
2010 First International Conference on Pervasive Computing, Signal Processing and
ApplicationsBy Zhifang Wang , Shuangshuang Wang , Quan Ding
Issue Date:September 2010 pp. 1115-1118
Nhìn chung các công trình trên khai thác các hƣớng khác nhau trong việc nhận dạng
nhƣng kết quả vẫn chƣa đƣợc nhƣ mong đợi.
Về mặt thƣơng mại việc nhận dạng khuôn mặt đã đƣợc áp dụng trong các sản
phẩm:
Máy chấm công: nhận diện khuôn mặt từ video nhƣng từng ngƣờiđơn lẻ.
Đóng mở cửa tự động: cũng nhận dạng từng khuôn mặt đơn lẻ trong video
Hệ thống quản lý khách viếng thăm
Phát hiện khuôn mặt trong máyảnh
Truy nhập máy tính dùng khuôn mặt


`Mở đầu

- 16 -

Nhận xét về các sản phẩm thƣơng mại: về phần phát hiện khuôn mặt cho độ chính
xác tƣơng đối cao. Về phần nhận dạng khuôn mặt chỉ có thể nhận dạng cho từng
ngƣờiđơn lẻ và phải quay khuôn mặt chính diện vào máy quay.
Trong nước: Các công trình trong nƣớc chủ yếu là nghiên cứu về lý thuyết và khai

thác các hƣớng khác nhau trong mô hình toán học để cải thiện hiệu quả của việc
nhận dạng. Sau đây là một số công trình tiêu biểu:
Nghiên cứu phƣơng pháp tra cứu ảnh dựa trên nội dung
Mã số: CSCL‟03.02
Cấp quản lý: Viện Công nghệ thông tin
Chủ nhiệm: PGS TS Ngô Quốc Tạo.
Tóm tắt những kết quả chính:
Nghiên cứu các phƣơng pháp nâng cao chất lƣợng ảnh, phƣơng pháp tách cạnh,
phƣơng pháp phân đoạn, phƣơng pháp biến hình, tổng quan về phƣơng pháp tra cứu
ảnh theo nội dung, phƣơng pháp phát hiện khuôn mặt ngƣời trong ảnh.
Nghiên cứu thiết kế thuật toán nhận dạng khuôn mặt dựa trên mạng nơ ron
Đậu Trọng Hiển Tạp chí khoa học kỹ thuật 2010.
Tóm tắt: nhận dạngđạt độ chính xác trên 98% tuy nhiên tốc độ bị giới hạn nếu số
lƣợng mẫu nhận dạng lớn, góc quay khuôn mặt không quá 10 độ.
Tổng quan các phƣơng pháp xác định khuôn mặt ngƣời
Phạm Thế Bảo, Nguyễn Thành Nhựt, Cao Minh Thịnh, Trần Anh Tuấn, Phan Phúc
Doãn,TCBCVT2007.
Tóm tắt: tổng hợp các phƣơng pháp phát hiện khuôn mặt ngƣời trong ảnh.
Nghiên cứu, phát triển phƣơng pháp phát hiện và bám đối tƣợng xác định
Nguyễn Thiện Minh Luận văn Thạc sĩ Công nghệ thông tin, ĐH CNTT, 2007.
Tóm tắt: dùng phƣơng pháp Adaboost để phát hiện và bám đối tƣợng xác định
Điều khiển camera bám mặt ngƣời


`Mở đầu

- 17 -

Lý Đa Tạo, , Luận văn Thạc sĩ, ĐH BK TP.HCM
Tóm tắt: sử dụng phƣơng pháp PCA để phát hiện đối tƣợng

Tính cấp thiết
Việc tìm kiếm và nhận dạng mặt ngƣời có rất nhiều ứng dụng trong dân sự và an
ninh. Các đề tài và thuật toán tách và nhận dạng mặt ngƣời trong ảnh vẫn đang đƣợc
nghiên cứu cải tiến để đạt đƣợc độ chính xác cao hơn. Hiện nay việc sử dụng
camera theo dõi tại các cửa hàng, siêu thị và các công ty và một số khu vực công
cộng đã trở nên phổ biến chính vì vậy việc tìm kiếm ngƣời trong video mang lại rất
nhiều lợi ích trong lĩnh vực an ninh và cứu hộ.
Mục tiêu đề tài
Thiết kế, xây dựng modul phần mềm tách và nhận dạng mặt ngƣời trong video từ
cameara.Hệ thống sẽ nhận video từ camera đƣa về và phân đoạn thành từng khuôn
hình sau đó phát hiện khuôn mặt trong các khung hình và tách ra. Khuôn mặt sau
khi đƣợc tách sẽ qua khâu tiền xử lý để nâng cao chất lƣợng ảnh và sau đó đƣợc
chuẩn hóa về kích thƣớc chuẩn cho trƣớc. Giai đoạn kế tiếp là sẽ qua khâu PCA để
trích đặc trƣng của khuôn mặt để làm ngõ vào cho mạng nơ ron nhận dạng khuôn
mặt. Modul nhận dạng này có thể tích hợp vào hệ thống chấm công và tính lƣơng,
hệ thống an ninh, hệ thống quản lý vào ra…
Cách tiếp cận, phƣơng pháp nghiên cứu, phạm vi nghiên cứu:
-

Cách tiếp cận: Nghiên cứu tổng quan các khâu tiền xử lýảnh, khâu phát hiện
và tách khuôn mặt, khâu nhận dạng. Nghiên cứu các chuẩn video vàđặc tính
camera để chọn thông số phù hợp cho việc nhận dạng. Giải pháp thực hiện
từ cấp độ tự thiết kế module phần mềm để đạt đƣợc sự tối ƣu cao nhất và
hoàn toàn chủ động khi ứng dụng rộng rãi.

-

Phƣơng pháp nghiên cứu : Nghiên cứu tài liệu, chạy mô phỏng thuật toán,
Xây dựng phần mềm, Thử nghiệm đánh giá độ chính xác..

`Mở đầu

-

- 18 -

Phạm vi nghiên cứu: Nghiên cứu các công trình liên quan trong nƣớc.
Nghiên cứu các công trình liên quan trên thế giới, Nghiên cứu xây dựng phần
mềm và thiết kế hệ thống nhận dạng hoàn chỉnh.

Nội dung nghiên cứu :
 Nghiên cứu đặc trƣng mặt ngƣời.
 Nghiên cứu các phƣơng pháp trích đặc trƣng khuôn mặt và xây dựng
thuật toán
 Nghiên cứu các phƣơng pháp tách ảnh khuôn mặt và xây dựng thuật toán.
 Nghiên cứu các phƣơng pháp nhận dạng khuôn mặt và xây dựng thuật
toán.
 Thiết kế và viết phần mềm tìm và nhận dạng mặt ngƣời.
Nội dung báo cáo có cấu trúc nhƣ sau:
Phần I: Cơ sở lý thuyết
Phần II: Thiết kế phần mềm và thử nghiệm
Phần III: Tổng kết


- 21 -

PHẦNI
CƠ SỞ LÝ THUYẾT

Chương 1: Tổng quan về các phƣơng pháp xác định mặt ngƣời

- 22 -

CHƢƠNG 1: TỔNG QUAN VỀ
CÁC PHƢƠNG PHÁP
XÁCĐỊNHMẶT NGƢỜI
1.1 Các phƣơng pháp chính để xácđịnh mặt ngƣời:
Dựa vào tính chất của các phƣơng pháp xác định mặt ngƣời trên ảnh, các
phƣơng pháp này đƣợc chia thành bốn loại chính, tƣơng ứng với bốn hƣớng tiếp cận
khác nhau. Ngoài ra cũng có rất nhiều nghiên cứu mà phƣơng pháp xác định mặt
ngƣời không chỉ dựa vào một hƣớng mà có liên quan đến nhiều hƣớng.
 Hƣớng tiếp cận dựa trên tri thức: Dựa vào các thuật toán, mã hóa các đặc
trƣng và quan hệ giữa các đặc trƣng của khuôn mặt thành các luật. Đây là
hƣớng tiếp cận theo kiểu top-down.
 Hƣớng tiếp cận dựa trên đặc trƣng không thay đổi: Xây dựng các thuật toán
để tìm các đặc trƣng của khuôn mặt mà các đặc trƣng này không thay đổi
khi tƣ thế khuôn mặt hay vị trí đặt camera thay đổi.
 Hƣớng tiếp cận dựa trên so sánh khớp mẫu: Dùng các mẫu chuẩn của khuôn
mặt (các mẫu này đã đƣợc chọn và lƣu trữ) để mô tả các khuôn mặt hay các
đặc trƣng của khuôn mặt (các mẫu này đƣợc chọn tách biệt theo tiêu chuẩn
đã đƣợc các tác giả đề ra để so sánh). Phƣơng pháp này có thể dùng để xác
định vị trí hay dò tìm khuôn mặt trên ảnh.
Hƣớng tiếp cận dựa trên diện mạo: Trái ngƣợc với hƣớng tiếp cận dựa trên khuôn
mẫu, các mô hình (hay các mẫu) sẽ đƣợc học từ một tập ảnh huấn luyện mà thể hiện
tính chất tiêu biểu của sự xuất hiện của mặt ngƣời trong ảnh. Sau đó hệ thống (mô
hình) sẽ xác định mặt ngƣời. Phƣơng pháp này còn đƣợc biết đến với tên gọi tiếp
cận theo các phƣơng pháp học máy.
1.2 Hƣớng tiếp cận dựa trên tri thức:

1.2.1 Ý tƣởng
Trong hƣớng tiếp cận này, các phƣơng pháp xác định mặt ngƣời đƣợc xây
dựng dựa vào các luật, các luật này phụ thuộc vào tri thức của các tác giả nghiên
cứu về bài toán xác định khuôn mặt. Dễ dàng xây dựng các luật cơ bản để mô tả các
đặc trƣng của khuôn mặt và các quan hệ tƣơng ứng. Ví dụ, một khuôn mặt thƣờng


Chương 1: Tổng quan về các phƣơng pháp xác định mặt ngƣời

- 23 -

có hai mắt đối xứng qua trục thẳng đứng giữa khuôn mặt và có một mũi một miệng.
Các quan hệ đặc trƣng có thể là quan hệ về vị trí và khoảng cách tƣơng đối. Khó
khăn của hƣớng tiếp cận này đó là làm thế nào để chuyển các tri thức của con ngƣời
về khuôn mặt sang các luật cho máy tính một cách hiệu quả. Nếu các luật này quá
chi tiết, chặt chẽ thì sẽ có thể xác định thiếu các khuôn mặt có trong ảnh, nhƣng nếu
các luật quá tổng quát thì sẽ dẫn đến xác định sai khu vực không phải là khuôn mặt
thành khuôn mặt. Ngoài ra cũng khó để mở rộng phạm vi của bải toán để xác định
các khuôn mặt có nhiều tƣ thế khác nhau.
1.2.2 Các nghiên cứu
Có nhiều cách để xây dựng chƣơng trình xác định mặt ngƣời theo hƣớng tiếp
cận dựa trên tri thức. Thông thƣờng chƣơng trình sẽ đƣợc xây dựng theo hƣớng dựa
vào một phƣơng pháp nào đấy chọn ra các ứng viên trong bức ảnh trƣớc, sau đó sẽ
áp dụng các luật để xác định ứng viên nào là khuôn mặt, ứng viên nào không phải là
khuôn mặt. Quá trình này có thể đƣợc áp dụng nhiều lần để giảm sai sót.

Hình 1.1: Phương pháp xác định khuôn mặt điển theo hướng tiếp cận top-down.
Yang và Huang đã sử dụng hƣớng tiếp cận dựa trên tri thức để xác định khuôn
mặt [1]. Hệ thống của hai tác giả bao gồm ba mức luật. Đầu tiên các ông sử dụng
một khung cửa sổ để quét trên bức ảnh và thông qua một số tập luật để xác định các

ứng viên có thể là mặt ngƣời, ví dụ nhƣ tìm phần trung tâm của khuôn mặt (phần tối
hơn trong hình 1.1). Tiếp theo, dùng một tập luật để mô tả tổng quát hình dáng
khuôn mặt, lọc các ứng viên ở mức một thành một tập các ứng viên mới có xác xuất
là khuôn mặt cao hơn. Cuối cùng, các ông lại dùng một tập luật khác để xem xét ở
mức chi tiết các đặc trƣng khuôn mặt ( có thể là đặc trƣng về mắt, mũi, miệng … ),
từ đó lọc ra các ứng viên chính xác nhất. Có thể nói cách làm của hai ông là một
cách làm mịn dần để đạt đƣợc kết quả tốt nhất, mặc dù tỷ lệ chính xác chƣa cao,
nhƣng đây là tiền đề cho nhiều nghiên cứu sau này.


Chương 1: Tổng quan về các phƣơng pháp xác định mặt ngƣời

- 24 -

Có rất nhiều công trình nghiên cứu sử dụng phƣơng pháp chiếu để xác định
khuôn mặt. Kotropoulos và Pitas đƣa ra một phƣơng pháp gần tƣơng tự với Yang và
Huang. Đầu tiên, các vùng của khuôn mặt đƣợc định vị bởi phƣơng pháp chiếu (đã
đƣợc Kanade sử dụng thành công) để xác định biên của khuôn mặt. Với I(x,y) là giá
trị xám của một điểm trong ảnh có kích thƣớc m x n ở tại vị trí (x,y), các hàm để
chiếu ảnh theo phƣơng ngang và thẳng đứng đƣợc định nghĩa nhƣ sau: HI(x) =
𝑛
𝑦=1 𝐼(𝑥, 𝑦)

và VI(y) =

𝑚
𝑥=1 𝐼(𝑥, 𝑦).

Dựa trên biểu đồ hình chiếu ngang, khi xét

biểu đồ biến thiên của HI hai ông tìm đƣợc hai cực tiểu địa phƣơng tƣơng ứng với
hai đỉnh đầu bên trái và bên phải của khuôn mặt. Còn theo hình chiếu dọc, xét biến
thiên và tìm cực tiểu địa phƣơng của VI cũng cho ta các vị trí của miệng, đỉnh mũi
và hai mắt. Các đặc trƣng này đủ để xác định khuôn mặt. Hình 2.a cho một ví dụ về
cách xác định nhƣ trên. Cách xác định này có tỷ lệ xác định chính xác là 86.5% cho
trƣờng hợp chỉ có một khuôn mặt thẳng trong ảnh và hình nền không phức tạp. Nếu
hình nền phức tạp nhƣ hình 2.b thì rất khó tìm. Còn nếu ảnh có nhiều khuôn mặt
(hình 1.2.c) thì sẽ không xác định đƣợc.

Hình 1.2 Phương pháp chiếu:
(a) Ảnh chỉ có một khuôn mặt và hình nền đơn giản;
(b) Ảnh chỉ có một khuôn mặt và hình nền phức tạp;
(c) Ảnh có nhiều khuôn mặt
1.3 Hƣớng tiếp cận dựa trên đặc trƣng không thay đổi:
Tiếp cận dựa trên các đặc trƣng không thay đổi là tiếp cận theo kiểu bottom
up. Dựa trên thực tế, chúng ta cố gắng tìm ra những đặc điểm không thay đổi khi
của khuôn mặt khi ở các tƣ thế khác nhau và các điều kiện môi trƣờng nhƣ ánh sáng
khác nhau. Đã có rất nhiều nghiên cứu về hƣớng tiếp cận này, các đặc điểm không
thay đổi đƣợc tìm thấy nhƣ lông mày, mắt, mũi, miệng hay các đƣờng viền trên
tóc… Trên cơ sở các đặc trƣng này, các nhà nghiên cứu xây dựng lên một mô hình
thống kê mô tả quan hệ của các đặc trƣng và từ đó xác định sự xuất hiện của khuôn
mặt trong bức ảnh. Khó khăn của hƣớng tiếp cận này đó là phải mô tả các đặc trƣng


Chương 1: Tổng quan về các phƣơng pháp xác định mặt ngƣời

- 25 -

không thay đổi và quan hệ giữa chúng phù hợp với điều kiện ánh sáng, độ nhiễu hay
bị che khuất.

1.4 Hƣớng tiếp cận dựa trên so sánh khớp mẫu:
Trong hƣớng tiếp cận dựa trên so sánh khớp mẫu, các mẫu chuẩn của khuôn mặt
(thƣờng là khuôn mặt đƣợc chụp thẳng) sẽ đƣợc xác định trƣớc hoặc đƣợc biểu diễn
thành một hàm với các tham số cụ thể. Từ một ảnh đƣa vào, tính các giá trị tƣơng
quan so với các mẫu chuẩn về đƣờng viền khuôn mặt, mắt, mũi và miệng. Thông
qua các giá trị tƣơng quan này mà hệ thống sẽ quyết định có hay không có tồn tại
khuôn mặt trong ảnh. Hƣớng tiếp cận này có lợi thế là rất dễ cài đặt, nhƣng không
hiệu quả khi tỷ lệ, tƣ thế, và hình dáng thay đổi.
1.5 Hƣớng tiếp cận dựa trên diện mạo:
Trái ngƣợc với hƣớng tiếp cận dựa trên so sánh khớp mẫu (các mẫu đã đƣợc
các nhà nghiên cứu định nghĩa trƣớc), các mẫu trong hƣớng tiếp cận này đƣợc học
từ một tập ảnh mẫu. Có thể nói hƣớng tiếp cận dựa trên diện mạo áp dụng các kỹ
thuật theo hƣớng xác suất thống kê và học máy để tìm những đặc tính liên quan của
khuôn mặt và không phải là khuôn mặt. Các đặc tính đã đƣợc học ở trong hình thái
các mô hình phân bố hay các tham số của một hàm số nên có thể dùng các đặc tính
này để xác định khuôn mặt ngƣời. Đồng thời, bài toán giảm số chiều thƣờng đƣợc
quan tâm để tăng hiệu quả tính toán cũng nhƣ hiệu quả xác định.
Trong hƣớng tiếp cận này, phƣơng pháp xác xuất tiếp tục đƣợc nhiều nhà
nghiên cứu sử dụng. Một bức ảnh hoặc một vector (đặc trƣng cho bức ảnh) đƣợc
xem nhƣ một biến ngẫu nhiên. Biến ngẫu nhiên này sẽ đƣợc xác định là có mô tả
các đặc tính của khuôn mặt hay không thông qua các xác xuất có điều kiện p(x/face)
và p(x/nonface). Có thể dùng bộ phân loại Bayesian để phân loại các ứng viên là
khuôn mặt hay không phải khuôn mặt. Tuy nhiên, việc cài đặt bộ phân loại
Bayesian với số chiều x lớn là một điều khá khó khăn, do đó có rất nhiều nghiên
cứu theo hƣớng tiếp cận này quan tâm tới việc tham số hóa hay không tham số các
xác xuất p(x/face) và p(x/nonface).
Một cách tiếp cận khác trong hƣớng tiếp cận dựa trên diện mạo là tìm một hàm
biệt số ví dụ nhƣ các hàm mô tả mặt phẳng hay siêu phẳng quyết định (các ranh
giới) để phân biệt hai lớp khuôn mặt và không phải khuôn mặt. Thông thƣờng, một
bức ảnh đƣợc chiếu vào không gian có số chiều ít hơn rồi sau đó dùng một hàm biệt