Nhận dạng khuôn mặt sử dụng PCA – SVM

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
------------***------------

NGÔ THANH TÂN

NHẬN DẠNG KHUÔN MẶT
SỬ DỤNG PCA – SVM

LUẬN VĂN THẠC SĨ KỸ THUẬT

HÀ NỘI - 2016


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
------------***------------

NGÔ THANH TÂN

NHẬN DẠNG KHUÔN MẶT
SỬ DỤNG PCA – SVM

Chuyên ngành: CÔNG NGHỆ THÔNG TIN
LUẬN VĂN THẠC SĨ KỸ THUẬT

GIÁO VIÊN HƢỚNG DẪN
TS. NGUYỄN THỊ OANH

HÀ NỘI - 2016

LỜI CAM ĐOAN
Luận văn thạc sỹ “Nhận dạng khuôn mặt sử dụng PCA – SVM”, chuyên
ngành Công nghệ thông tin là công trình của cá nhân tôi. Các nội dung nghiên cứu
và kết quả trình bày trong luận văn là trung thực, rõ rang. Các tài liệu tham khảo đã
đƣợc trích dẫn đầy đủ và ghi rõ nguồn gốc.

Hà Nội, ngày 18/01/2016
TÁC GIẢ

Ngô Thanh Tân

1


MỤC LỤC

LỜI CAM ĐOAN .......................................................................................................1
MỤC LỤC ...................................................................................................................2
DANH MỤC CÁC TỪ VIẾT TẮT ............................................................................4
DANH MỤC HÌNH VẼ, ĐỒ THỊ ..............................................................................5
1. Lý do chọn đề tài ................................................................................................6
2. Lịch sử nghiên cứu..............................................................................................6
3. Mục đích nghiên cứu của luận văn, đối tƣợng, phạm vi nghiên cứu. .................8
4. Tóm tắt cô đọng các luận điểm cơ bản và đóng góp mới của tác giả .................9
5. Phƣơng pháp nghiên cứu ....................................................................................9
6. Nội dung luận văn ...............................................................................................9
CHƢƠNG 1. PHÁT BIỂU BÀI TOÁN ....................................................................11
1.1. Hệ thống sinh trắc học ...................................................................................11
1.2 Nhận dạng ngƣời qua khuôn mặt ....................................................................12

1.3 Ứng dụng của hệ thống nhận dạng mặt ngƣời ................................................12
CHƢƠNG 2. CÁC PHƢƠNG PHÁP NHẬN DẠNG KHUÔN MẶT ....................17
2.1 Phƣơng pháp trích chọn đặc trƣng Principal Components Analysis – PCA ..17
2.1.1 Giới thiệu phƣơng pháp trích chọn đặc trƣng PCA .................................17
2.1.2 Các bƣớc thực hiện trích chọn đặc trƣng bằng PCA ...............................22
2.2 Máy vector hỗ trợ SVM ..................................................................................26
2.2.1 SVM tuyến tính [4],[6],[9] ......................................................................26
2.2.2 SVM phi tuyến ........................................................................................34

2


2.2.3 SVM cho vấn đề nhận dạng đa lớp..........................................................35
CHƢƠNG 3. ĐỀ XUẤT PHƢỚNG ÁN NHẬN DẠNG MẶT NGƢỜI .................38
3.1 Phát hiện khuôn mặt (face detection) .............................................................38
3.2 Tiền xử lý ảnh (preprocessing) .......................................................................39
3.3 Trích rút đặc trƣng (feature extraction) ..........................................................40
3.4 Nhận dạng/Phân lớp (recognition/classification) ...........................................40
3.5 Dữ liệu hệ thống nhận dạng ............................................................................40
CHƢƠNG 4. ĐÁNH GIÁ THỬ NGHIỆM ..............................................................42
4.1 Độ đo đánh giá hiệu năng ...............................................................................42
4.2 Bộ dữ liệu thử nghiệm ....................................................................................42
4.2.1 Bộ dữ liệu AT&T ....................................................................................42
4.2.2 Bộ dữ liệu ảnh YaleB ..............................................................................43
4.3 Kết quả thử nghiệm .........................................................................................43
4.3.1 Thử nghiệm với bộ ảnh AT&T................................................................43
4.3.2 Thử nghiệm với bộ ảnh YaleB ................................................................44
KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ................................................................47
TÀI LIỆU THAM KHẢO .........................................................................................48

3


DANH MỤC CÁC TỪ VIẾT TẮT
PCA

Principal Component Analysis

SVM

Support Vector Machine

US visits

United States Visitors and Immigrant Status Indicator
Technology

FBI

Federal Bereau of Investigation

NGI

Next Generation Identification

KKT

Karush Kuhn Tucker

4

DANH MỤC HÌNH VẼ, ĐỒ THỊ

Hình 1.1 Các đặc tính sinh trắc học của ngƣời .........................................................11
Hình 1.2 Hệ thống xác minh nhân thân của công dân nhập cảnh [19] .....................14
Hình 2.1 Lựa chọn các trục tọa độ mới để biểu diễn dữ liệu [11] ............................18
Hình 2.2 Phân cách theo siêu phẳng (w,b) trong không gian hai chiều của tập mẫu
[4] ..............................................................................................................................27
Hình 2.3 Siêu mặt phân cách tuyến tính cho trƣờng hợp phân cách đƣợc [4] ..........28
Hình 2.4 Không thể phân hoạch tập mẫu bằng một siêu phẳng [6] ..........................31
Bảng 2.5 Một số hàm nhân thƣờng dùng ..................................................................35
Hình 2.6 Mẫu cần nhận dạng là SVM 2-vs-rest vì có giá trị bé nhất [10] ................36
Hình 2.7 Cấu trúc 1 cây nhị phân cho nhận dạng khuôn mặt 8 lớp [10] ..................37
Hình 3.1 Mô hình hệ thống nhận dạng khuôn mặt....................................................38
Hình 3.2 Phát hiện khuôn mặt trong ảnh ..................................................................39
Hình 4.1 Một số ảnh trong bộ dữ liệu AT&T ...........................................................42
Hình 4.2 Một số ảnh trong bộ dữ liệu YaleB ............................................................43
Biểu đồ 4.3 Kết quả thử nghiệm với bộ dữ liệu AT&T ............................................44
Biểu đồ 4.4 Kết quả thử nghiệm trên bộ dữ liệu YaleB ............................................45

5


PHẦN MỞ ĐẦU
1. Lý do chọn đề tài
Ngày nay, khoa học kỹ thuật ngày càng phát triển, lƣợng thông tin ngày càng
lớn thì nhu cầu bảo vệ thông tin lại càng đƣợc chú trọng. Nó đòi hỏi mọi lúc, mọi
nơi thông tin phải đƣợc đảm bảo an ninh, an toàn. Một trong những phƣơng pháp
bảo vệ an ninh là xác thực ngƣời sử dụng trong hệ thống thông tin đó. Có nhiều

phƣơng pháp để xác thực ngƣời sử dụng. Nhận dạng mặt ngƣời là một phƣơng pháp
để xác nhận quyền truy nhập của một ngƣời có hợp pháp hay không. Vì nhận dạng
mặt ngƣời là một trong những cách mà con ngƣời sử dụng để nhận biết nhau. Ngày
nay, việc thu thập và xử lý thông tin qua ảnh đang đƣợc quan tâm và ứng dụng rộng
rãi. Với phƣơng pháp này chúng ta có thể thu thập đƣợc nhiều thông tin mà ít tác
động đến đối tƣợng, vì đối tƣợng sẽ đƣợc nhận dạng một cách thụ động.
2. Lịch sử nghiên cứu
Nhận dạng mặt ngƣời là một vấn đề đầy thách thức và hứa hẹn trong lĩnh vực
phân tích hình ảnh và thị giác máy tính, do đó nó đã nhận đƣợc rất nhiều sự chú ý
trong thời gian gần đây vì nó có nhiều ứng dụng trong các lĩnh vực khác nhau. Kỹ
thuật nhận dạng mặt ngƣời có thể đƣợc phân chia thành ba loại dựa trên phƣơng
pháp thu thập dữ liệu mặt: phƣơng pháp hoạt động dựa trên cƣờng độ hình ảnh; xử
lý với chuỗi video; và những yêu cầu dữ liệu giác quan khác nhƣ thông tin 3D hoặc
hình ảnh hồng ngoại.
Có lẽ ví dụ đầu tiên nổi tiếng nhất của một hệ thống nhận dạng khuôn mặt là
do T.Kohonen (1989) [21], ngƣời đã chứng minh rằng một mạng neural đơn giản có
thể thực hiện nhận dạng khuôn mặt cho ra hình ảnh khuôn mặt đã đƣợc sắp xếp và
chuẩn hóa. Hệ thống của T.Kohonen mô tả khuôn mặt bằng các vector riêng của ma
trận tƣơng quan hình ảnh khuôn mặt, là các eigenfaces. Hệ thống của T.Kohonen
không phải là một thành công trong thực tế, tuy nhiên, nó thực sự cần thiết cho mối
liên hệ giữa độ chính xác và chuẩn hóa. Trong những năm sau nhiều nhà nghiên cứu
đã thử chƣơng trình nhận dạng khuôn mặt dựa trên các cạnh, khoảng cách giữa các

6


thuộc tính, và cách tiếp cận mạng neural khác. Trong khi một nhà nghiên cứu khác
đã thành công với cơ sở dữ liệu ảnh có quy mô nhỏ, chƣa ai giải quyết thành công
các vấn đề thực tế với về cơ sở dữ liệu ảnh quy mô lớn, hay vị trí của khuôn mặt là
không rõ ràng.

M.Turk và A.Pentland (1991) [17] sau đó chứng minh rằng các lỗi còn sót lại
khi mã hóa bằng cách sử dụng eigenfaces có thể đƣợc sử dụng để phát hiện khuôn
mặt trong hình ảnh tự nhiên lộn xộn, cũng nhƣ để xác định vị trí chính xác của các
khuôn mặt trong ảnh. Sau đó, họ đã chứng minh rằng bằng cách kết hợp phƣơng
pháp này để phát hiện và khoanh vùng khuôn mặt với các phƣơng pháp nhận dạng
eigenface, ngƣời ta có thể đạt đƣợc độ tin cậy cao,thời gian xác thực khuôn mặt
trong một môi trƣờng bị hạn chế khá nhanh.
Wenyi Zhao, Arvindh Krishnaswamy, Rama Chellappa, Danie L.Swets, John
Weng (1998) [22] sử dụng phƣơng pháp PCA (phân tích thành phần chính) kết hợp
LDA (phân tích độc lập tuyến tính). Bƣớc 1, ánh xạ khuôn mặt từ không gian ảnh
thô sang không gian các ảnh khuôn mặt (mỗi lớp khuôn mặt đƣợc nhận dạng sẽ
đƣợc mô hình hóa bằng một không gian khuôn mặt) dùng PCA. Bƣớc 2, sử dụng
phƣơng pháp LDA để tạo bộ phân loại tuyến tính có khả năng phân lớp các lớp
khuôn mặt.
Emmanuel Viennet và Francoise Fogelman Soulie (1998) [8], sử dụng
phƣơng pháp mạng neural nhân tạo để xử lý và nhận dạng khuôn mặt.
Antonio J.Colmenarez và Thomas S.Huang (1998) [1], sử dụng kỹ thuật học
thị giác và phù hợp mẫu 2-D. Ông quan niệm bài toán dò tìm khuôn mặt là thao tác
phân loại khuôn mặt trong đó khuôn mặt thuộc về một lớp và các đối tƣợng khác
thuộc về lớp còn lại bằng cách ƣớc lƣợng mô hình xác suất cho mỗi lớp, và việc dò
tìm sử dụng luật quyết định Maximum-likelihood.
Kazunori Okada, Johannes Steffens, Thomas Maurer, Hai Hong, Egor
Elagin, Hartmut Neven, and Christoph (1998) [13], nhận dạng khuôn mặt dựa vào
sóng Gabor và phƣơng pháp phù hợp đồ thị bó. Với ý tƣởng dùng đồ thị để biểu

7


diễn khuôn mặt, ảnh khuôn mặt đƣợc đánh dấu tại các vị trí đã đƣợc xác định trƣớc
trên khuôn mặt, gọi các vị trí này chính là các vị trí chuẩn. Khi thực hiện thao tác so

khớp đồ thị với một ảnh, các điểm chuẩn (Jets) sẽ trích ra từ ảnh và so sánh các
điểm chuẩn này với tất cả các điểm chuẩn tƣơng ứng trong các đồ thị khác nhau, và
đồ thị nào phù hợp nhất với ảnh sẽ đƣợc chọn.
Jeffrey Huang, Chengjun Liu, và Harry Wechsler (1998) [12], đề xuất thuật
toán căn cứ trên tính tiến hóa (Evolutionary computation) và di truyền (Genetic) cho
các tác vụ nhận dạng khuôn mặt. Đối với cách tiếp cận này, hai mắt sẽ đƣợc dò tìm
trƣớc tiên và thông tin này đƣợc xem là vết để quan sát khuôn mặt, trình xử lý dò
tiếp mắt bằng cách sử dụng một thuật toán lai để kết hợp thao tác học và tiến hóa
trong quá trình học.
Daniel Bgraham và Nigel M Allinson (1998) [7], sử dụng phƣơng pháp đƣợc
gọi là tạo bản sao không gian đặc trƣng để biểu diễn và nhận dạng hƣớng di chuyển
của khuôn mặt.
Guodong Guo, Stan Z.Li, Kap Luk Chan (17/1/2001) [9], dùng phƣơng pháp
SVM để nhận dạng khuôn mặt. Sử dụng chiến lƣợc kết hợp nhiều bộ phân loại nhị
phân để xây dựng bộ phân loại SVM đa lớp.
3. Mục đích nghiên cứu của luận văn, đối tƣợng, phạm vi nghiên cứu.
Mục đích nghiên cứu của luận văn
Nghiên cứu đề tài này nhằm mục đích tìm hiểu bài toán nhận dạng khuôn
mặt, từ đó xây dựng các hệ thống ứng dụng trong thực tiễn nhƣ: điểm danh, giám
sát ngƣời ra vào,…
Đối tượng, phạm vi áp dụng
Đề tài tập trung tìm hiểu một số phƣơng pháp nhận dạng mặt ngƣời phổ biến
hiện nay và đƣa ra phƣơng án nhận dạng cho bài toán nhận dạng mặt ngƣời.
Để đạt đƣợc mục tiêu trên, đề tài tập trung tìm hiểu các nội dung sau:

8




Tìm hiểu phƣơng pháp trích chọn đặc trƣng PCA, cơ sở

toán học của PCA.


Tìm hiểu phƣơng pháp phân lớp dữ liệu SVM, cơ sở

toán học của SVM.
4. Tóm tắt cô đọng các luận điểm cơ bản và đóng góp mới của tác giả
Luận văn đã nghiên cứu một số phƣơng pháp nhận dạng khuôn mặt, đề xuất
mô hình kết hợp hai phƣơng pháp PCA – SVM. Đây cũng là cơ sở cho việc thực
hiện kết hợp một số phƣơng pháp khác nhau cho bài toán nhận dạng khuôn mặt, là
nền tảng cho việc hiện thực hóa mô hình bài toán vào ứng dụng thực tiễn.
5. Phƣơng pháp nghiên cứu
Phƣơng pháp nghiên cứu lý thuyết: Nghiên cứu tài liệu, ngôn ngữ và công
nghệ liên quan. Tổng hợp các tài liệu lý thuyết về các phƣơng pháp nhận dạng ảnh.
Phƣơng pháp nghiên cứu thực nghiệm: Phân tích bài toán nhận dạng khuôn
mặt ngƣời. Cài đặt mô phỏng, thử nghiệm trên một bộ dữ liệu tham khảo từ thực tế.
6. Nội dung luận văn
Luận văn gồm 04 chƣơng, cụ thể nhƣ sau:
CHƢƠNG 1. PHÁT BIỂU BÀI TOÁN
Giới thiệu các cách thức nhận dạng ngƣời. Vì sao nên nhận dạng ngƣời bằng
khuôn mặt. Tầm quan trọng của bài toán trong thực tiễn. Một số ứng dụng thực tiễn
của bài toán nhận dạng khuôn mặt.
CHƢƠNG 2. CÁC PHƢƠNG PHÁP NHẬN DẠNG KHUÔN MẶT
Giới thiệu về hai phƣơng pháp nhận dạng khuôn mặt đƣợc sử dụng trong
luận văn là phƣơng pháp trích chọn đặc trƣng và máy vector hỗ trợ.
CHƢƠNG 3. ĐỀ XUẤT PHƢỚNG ÁN NHẬN DẠNG MẶT NGƢỜI
Đƣa ra phƣơng án xây dựng bài toán, mô hình bài toán, các bƣớc thực hiện.
CHƢƠNG 4. ĐÁNH GIÁ THỬ NGHIỆM

9


Đƣa ra các độ đo đánh giá tính đúng đắn của chƣơng trình dựa trên các bộ dữ
liệu thử nghiệm là AT&T, YaleB.

10


CHƢƠNG 1. PHÁT BIỂU BÀI TOÁN
1.1. Hệ thống sinh trắc học
Có rất nhiều phƣơng pháp đƣợc sử dụng để nhận dạng ngƣời, sinh trắc học là
một phƣơng pháp hiệu quả trong việc nhận dạng ngƣời. Sinh trắc học hay Công
nghệ sinh trắc học (Biometric) là công nghệ sử dụng những thuộc tính vật lý, đặc
điểm sinh học riêng của mỗi cá nhân nhƣ vân tay, mống mắt, khuôn mặt... để nhận
diện. Đây đƣợc coi là công cụ xác thực nhân thân hữu hiệu và phổ biến nhất hiện
nay do mỗi ngƣời có những đặc điểm sinh trắc học duy nhất [18].

MẮT
MẶT

Mống mắt,
võng mạc

Ảnh, video

NGÓN TAY

Vân tay

TAY

TAI

Hình bàn tay,
hình ven

Ảnh tai

CÁC ĐẶC TÍNH
SINH TRẮC
HỌC

AND

CHỮ KÝ
Hình và động
thái

Cấu trúc gen

GIỌNG NÓI

MÙI

DÁNG ĐI

Hình 1.1 Các đặc tính sinh trắc học của ngƣời
Những năm gần đây, kỹ thuật sinh trắc học trong nhận dạng cá nhân nổi lên
một cách đầy hứa hẹn, thay vì chứng thực ngƣời và cho phép họ truy cập vào các hệ

thống dựa vào các phƣơng thức nhƣ thông qua mật khẩu, thẻ thông minh,..., thì
phƣơng pháp kiểm tra một đặc tính sinh lý cá nhân và/hoặc hành vi để xác định

11


danh tính của ngƣời dùng. Mật khẩu thì khó nhớ và có thể bị đánh cắp hoặc đoán ra.
Thẻ thông minh, chìa khóa và những cái tƣơng tự có thể bị làm giả, đánh cắp hay
thất lạc. Tuy nhiên, đặc điểm sinh học của cá nhân không thể bị mất, bị đoán ra hay
giả mạo. Hệ thống sinh trắc học nhận dạng dựa trên đặc điểm sinh lý nhƣ khuôn
mặt, dấu vân tay, hình ngón tay, hình học mặt, mống mắt, võng mạc và giọng nói;
hay đặc điểm hành vi nhƣ dáng đi, chữ ký …
Tuy nhiên, hầu hết các phƣơng pháp sinh trắc học yêu cầu phải có một hoặc
nhiều hành động chủ quan của ngƣời sử dụng, ví dụ nhƣ ngƣời sử dụng cần đặt tay
lên thiết bị quét vân tay để vân tay, hình tay đƣợc phát hiện hoặc phải đứng ở một vị
trí cố định ở phía trƣớc của một máy ảnh cho mống mắt hoặc võng mạc đƣợc xác
định. Bên cạnh đó, việc thu dữ liệu cho hệ thống nhận dạng bằng vân tay có thể trở
nên vô dụng khi mô biểu bì bị hƣ hỏng bởi một lý do nào đó (nhƣ bị thƣơng, khuyết
tay, …); việc thu dữ liệu cho hệ thống nhận dạng bằng mống mắt, võng mạc có thể
không thể thực hiện khi đối tƣợng cần nhận diện chuyển động.
1.2 Nhận dạng ngƣời qua khuôn mặt
Đây cũng là một phƣơng pháp nhận dạng ngƣời dựa trên những đặc trƣng
sinh học của mỗi các nhân. Khác với những phƣơng pháp khác trong hệ thống nhận
dạng ngƣời bằng sinh trắc học, nhận dạng mặt ngƣời qua khuôn mặt có thể thực
hiện một cách thụ động mà không cần bất kì hành động rõ ràng, hoặc sự chủ động
tham gia của ngƣời sử dụng kể từ khi camera thu đƣợc hình ảnh khuôn mặt từ xa.
Điều này đặc biệt có lợi cho mục đích an ninh, giám sát. Việc sử dụng hệ thống
nhận dạng bằng mặt ngƣời còn hạn chế đƣợc việc lây nhiễm virus, các vấn đề ảnh
hƣởng tới sức khỏe có thể xảy ra trong các hệ thống nhận diện sinh trắc học khác
[18].

1.3 Ứng dụng của hệ thống nhận dạng mặt ngƣời
- Xác nhận cá nhân (one to one mathing): khi đƣa ra một khuôn mặt của cá
nhân và yêu cầu nêu ra danh tính của họ, đòi hỏi hệ thống trả về kết quả họ là ai.

12


- Xác định (one to many mathing): Khi đƣa ra hình ảnh của một cá nhân
không rõ danh tính, xác định danh tính ngƣời đó bằng cách so sánh (có thể sau khi
mã hóa) với một cơ sở dữ liệu hình ảnh của các cá nhân đã biết [18].
Có rất nhiều lĩnh vực ứng dụng của hệ thống nhận dạng mặt ngƣời, trong đó
nhận dạng khuôn mặt có thể đƣợc khai thác cho hai mục đích trên, một vài ứng
dụng tiêu biểu đã đƣợc triển khai ở một số quốc gia nhƣ:
Các ứng dụng chuyên biệt cho ngành hàng không
Thời gian gần đây, vấn đề an toàn hàng không đang đƣợc cả thế giới quan
tâm, là một đề tài nóng bỏng của xã hội. Có nhiều vụ tấn công khủng bố đƣợc thực
hiện đối với ngành hàng không do việc đảm bảo an ninh, an toàn hàng không có
những thiếu sót. Một số nƣớc trên thế giới đã ứng dụng công nghệ nhận dạng khuôn
mặt trong lĩnh vực hàng không nhƣ [19]:
Một chƣơng trình tên US visits (United States Visitors and Immigrant Status
Indicator Technology) áp dụng cho công dân du lịch tới Mỹ hoặc xin nhập cƣ vào
Mỹ. Chƣơng trình này đƣợc bắt đầu thực hiện từ tháng 5 năm 2004 tại các lãnh sự
quán của Mỹ ở nƣớc ngoài. Khi một công dân đến lãnh sự quán xin cấp visa thì họ
sẽ đƣợc thu thập thông tin sinh trắc học, ảnh khuôn mặt để kiểm tra, đối chiếu với
một cơ sở dữ liệu của bọn tội phạm nổi tiếng và những nghi can khủng bố. Nếu quá
trình kiểm tra, đối chiếu đƣợc thông qua thì công dân này sẽ đƣợc cấp visa để tới
Mỹ. Khi khách tới cửa khẩu, sân bay thì các thông tin sinh trắc học của họ sẽ đƣợc
sử dụng để xác minh xem họ có phải là chủ sở hữu của visa không, có phải tội phạm
nguy hiểm, nghi can khủng bố không. Chƣơng trình US visits tăng cƣờng sự an toàn
của công dân Mỹ và du khách bằng cách xác minh nhận dạng của khách có visa,

đồng thời nó tạo điều kiện đi lại và thƣơng mại hợp pháp bằng cách tận dụng công
nghệ và phát triển sử dụng sinh trắc học để tiến hành giám sát ngay tại biên giới,
trƣớc khi nhập cảnh vào Mỹ.
Ứng dụng tƣơng tự đƣợc sử dụng tại Úc là SmartGate. Nó đã đƣợc thử
nghiệm bởi Hải quan sân bay quốc tế Sydney từ năm 2002. Mục tiêu chính của thử

13


nghiệm này là để phát triển và giới thiệu một hệ thống tự xử lý sử dụng công nghệ
sinh trắc học nhận dạng khuôn mặt để xác nhận danh tính và tinh giản thủ tục hải
quan cho công dân nhập cảnh. Mất khoảng 17 giây để SmartGate thực hiện so sánh
một hình ảnh thực của công dân đƣợc hệ thống tự động chụp tại điểm giao dịch
SmartGate với một hoặc nhiều hình ảnh của họ đã đƣợc lƣu trữ. Nếu những bức ảnh
này cho kết quả là trùng khớp thì họ đƣợc chấp nhận nhập cảnh vào Úc.

Hình 1.2 Hệ thống xác minh nhân thân của công dân nhập cảnh [19]
Nhận dạng khuôn mặt được sử dụng kèm với thẻ truy cập

14


Tại các nƣớc phát triển, hầu nhƣ mọi ngƣời dân đều dùng thẻ tín dụng để
mua bán, rút tiền [2], trao đổi hàng hóa; trong tƣơng lai gần, Việt Nam chúng ta có
lẽ cũng áp dụng hình thức thanh toán này. Điều này rất nguy hiểm khi thẻ truy cập
này bị ngƣời khác nhặt đựợc hay biết đƣợc mật khẩu của chủ sở hữu thẻ này. Do đó
vấn đề tiềm ẩn đó là không phải chủ thẻ cũng có thể sử dụng đƣợc thẻ. Để đảm bảo
an toàn hơn cho việc phổ cập sử dụng thẻ trong toàn xã hội là chúng ta có thể dùng
thêm một phƣơng pháp nữa để xác minh tính xác thực của ngƣời sử dụng thẻ song
song với mật khẩu, đó là sử dụng khuôn mặt nhƣ là một mật khẩu thứ hai để truy

cập vào hệ thống cùng với thông tin từ thẻ truy cập. Để rút đƣợc tiền, ngƣời dùng
cần thực hiện các bƣớc sau:
• Đƣa thẻ vào hệ thống
• Đứng trƣớc camera để nhận dạng
• Xác minh ngƣời này có phải là chủ sở hữu của thẻ hay không?
Nếu thông tin về ngƣời sử dụng thẻ khớp với thông tin của chủ thẻ thì cho
thực hiện việc rút tiền, ngƣợc lại thì không cho rút tiền và tự động thông báo tới nhà
chức trách.
Lần dấu vết đi tìm kẻ phạm tội
Từ những bức ảnh hay những đoạn video đã đƣợc ghi lại tự động tại hiện
trƣờng trƣớc khi vụ khủng bố xảy ra, lực lƣợng an ninh có thể tìm đƣợc những kẻ
khả nghi xuất hiện trong những bức ảnh hay đoạn video này. Nếu trong cơ sở dữ
liệu của hệ thống có thông tin về những ngƣời xuất hiện trong đó, chúng ta có thể dễ
dàng hơn trong việc tìm ra họ vì chúng ta biết họ là ai [24].
Tháng 2 năm 2012 FBI triển khai chƣơng trình NGI Facial Recognition Pilot
là để tiến hành tìm kiếm nhận dạng khuôn mặt dựa trên hình ảnh của kho lƣu trữ
quốc gia của FBI (có khoảng 12,8 triệu bức ảnh đƣợc lƣu trữ) và cung cấp danh
sách những đối tƣợng khả nghi cho cơ quan điều tra. Ảnh truy vấn là các hình ảnh
thu đƣợc từ hiện trƣờng, từ các trang mạng…và các yêu cầu truy vấn đƣợc hệ thống

15


xử lý kín (không có sự can thiệp của con ngƣời), và kết quả đƣợc trả về cho cơ quan
điều tra nhƣ là một gợi ý về đối tƣợng tình nghi.
Hệ thống giám sát công nhân và chấm công tự động
Hiện nay trong các khu công nghiệp hay những công ty sản xuất lớn có hàng
ngàn công nhân vào ra mỗi ngày nên việc giám sát kẻ gian vào công ty cũng nhƣ
công việc chấm công rất phức tạp. Vậy làm thế nào để nhận ra từng nhân viên của
công ty? Ngƣời ta đã xây dựng hệ thống có thể nhận dạng và chấm công tự động

cho công nhân khi họ đi qua khu vực làm việc của hệ thống chấm công tự động.

16


CHƢƠNG 2. CÁC PHƢƠNG PHÁP NHẬN DẠNG KHUÔN MẶT
2.1 Phƣơng pháp trích chọn đặc trƣng Principal Components Analysis –
PCA
2.1.1 Giới thiệu phƣơng pháp trích chọn đặc trƣng PCA
Phƣơng pháp trích chọn đặc trƣng đƣợc phát minh năm 1901 bởi Karl
Pearson,và đƣợc phát triển một cách độc lập bởi Hotelling (1933). Hiện nay nó
đƣợc sử dụng nhƣ một công cụ để phân tích dữ liệu nghiên cứu và thực hiện các mô
hình dự đoán. PCA còn bao gồm cả việc tính toán phân tích các giá trị đặc trƣng của
một ma trận tƣơng quan dữ liệu hay phân tính các giá trị đơn của ma trận dữ liệu
thƣờng sau khi tính trung bình dữ liệu của mỗi thuộc tính [11],[15].
PCA là phƣơng pháp đơn giản nhất phân tích đa biến dựa trên các vector đặc
trƣng. Thông thƣờng hoạt động của nó có thể đƣợc hiểu nhằm khám phá ra cấu trúc
bên trong của dữ liệu. Nếu một tập dữ liệu đa biến đƣợc xem xét nhƣ tập các tọa độ
trong một không gian dữ liệu nhiều chiều (mỗi trục biểu diễn một biến) thì phƣơng
pháp PCA cung cấp cho chúng ta một bức ảnh ít chiều, một cái bóng của vật thể khi
quan sát từ chính những đặc trƣng cơ bản nhất của vật thể đó.
Mục tiêu của phƣơng pháp PCA là thực hiện giảm số chiều nhƣng vẫn đảm
bảo tối đa sự phân tán dữ liệu. Có thể nói phƣơng pháp trích chọn đặc trƣng tìm
cách giữ lại những thành phần thống kê quan trọng nhất của tập dữ liệu ban đầu.
Giả sử ta cần giảm số chiều của dữ liệu từ N chiều xuống còn K (Knghĩa là ta cần tìm một ánh xạ từ không gian N chiều sang không gian K chiều.
Trong vấn đề đang xét của luận văn này, PCA là một thuật toán đƣợc sử
dụng để tạo ra một ảnh mới từ ảnh ban đầu. Ảnh mới này có kích thƣớc nhỏ hơn rất
nhiều so với ảnh đầu vào và vẫn mang những đặc trƣng cơ bản nhất của ảnh cần
nhận dạng. Phƣơng pháp PCA không cần quan tâm đến việc tìm ra các đặc điểm cụ

thể của thực thể cần nhận dạng và mối quan hệ giữa các đặc điểm đó. Tất cả các chi
tiết của thực thể đều đƣợc thể hiện ở ảnh mới đƣợc tạo ra từ PCA.

17


Bản chất của PCA là tìm ra một không gian mới theo hƣớng biến thiên mạnh
nhất của một tập hợp các vector trong không gian cho trƣớc. Ở không gian mới, ta
hi vọng rằng việc phân loại sẽ cho ta bộ dữ liệu tốt hơn so với bộ dữ liệu trong
không gian ban đầu.
Ví dụ: giả sử tập dữ liệu ban đầu đƣợc quan sát trong không gian ba chiều
nhƣ hình bên trái. Rõ ràng ba trục này (các trục có tên Databases, Data minning,
Language trong hình 2.4) không biểu diễn đƣợc tốt nhất mức độ biến thiên của dữ
liệu. Phƣơng pháp PCA sẽ tìm hệ trục tọa độ mới (là hệ trục không có tên trong
hình bên trái) để biểu diễn tốt nhất mức độ biến thiên của dữ liệu. Sau khi tìm đƣợc
không gian mới, dữ liệu sẽ đƣợc chuyển sang không gian này để đƣợc biểu diễn nhƣ
trong hình bên phải. Rõ ràng hình bên phải chỉ cần hai trục tọa độ nhƣng biểu diễn
tốt hơn độ biến thiên của dữ liệu so với hệ trục ba chiều ban đầu.
Một ƣu điểm của PCA là các trục tọa độ trong không gian mới luôn đảm bảo
trực giao từng đôi một, mặc dù trong không gian ban đầu các trục có thể không trực
giao với nhau.

Hình 2.1 Lựa chọn các trục tọa độ mới để biểu diễn dữ liệu [11]
Xem tập mẫu gồm K vectors trong không gian M chiều [5],[17]:

18


o   f1 , f 2 ,..., f k ,..., f K 

(2.1)

Giả sử cơ sở của không gian tập mẫu là:

BM   1 , 2 ,..., M 

(2.2)

Ta có:
 f11

 f12
f1   f13

 .....
f
 1M

 f k1 

 f 21 





 fk 2 

 f 22 
 , f 2   f 23  ,..., f k   f k 3 






 ..... 

 ..... 

f 
f 

 2M 
 kM 

(2.3)

Trong đó f km là thành phần thứ m của vector f k . Mỗi vector f k có thể viết
dƣới dạng:

f k  f k1 1  f k 2 2  ...  f kM M

(2.4)

Nhƣ vậy mỗi phần tử của tập mẫu bây giờ nhƣ là một vector trong hệ cơ sở

BM .
Bằng cách sử dụng M vectors cơ sở ta có thể biểu diễn mỗi quan sát. Điều
này cũng đúng khi ta chọn cơ sở gồm M-vectors trực giao đƣợc thể hiện trong 2.2.
Trong thực tế chúng ta không thể đƣa tất cả các cơ sở M-chiều do nhiều lý

do khác nhau nhƣ M quá lớn hay có chứa một số thông tin không quan trọng. Vì
vậy chúng ta chuyển sang không gian có số chiều nhỏ hơn là N chiều. Khi đó tập
mẫu là:



~

~

~

~

o  f 1 , f 2 ,..., f k ,..., f K



(2.5)

Cơ sở tập mẫu khi đó là BN , lúc này mỗi phần tử của mẫu đƣợc viết dƣới
dạng:

19


~

~

~

~

f k  f k1 1  f k 2  2  ...  f KN  N

(2.6)

Nhƣ vậy, sai số của mỗi phần tử của mẫu là:
~

fk  fk

(2.7)

Ở đây chúng ta quan tâm đến việc tìm một cơ sở trực giao (OrthNormal-ON)
N :
BN   1 , 2 ,..., N  với  i , j   ij

(2.8)

 ij  0 nếu i  j ,  ij  1 nếu i  j .
 N đƣợc gọi là cắt (truncated) của  M khi nó nhận ít vector cơ sở hơn. Vậy

ta thể hiện  trong cơ sở nhỏ hơn với sai số:

1
K

K


k 1

Ta có

f k  f k~

2

(2.9)

 m , f k   mT f k

N

vậy
N

K  S m  K  ( m )
m 1

T
m

(2.10)

m 1

Ma trận phân bố các phần tử của tập mẫu O là:

1
S
K

K

f
k 1

k

f kT

(2.11)

Để sai số xấp xỉ bé nhất thì ta phải chọn  N là N vectors riêng có ý nghĩa
nhất của S thỏa mãn công thức sau:

20


1
K

K


k 1

fk  f

~ 2
k

T 1
 
K K

K


k 1

f k~

2

N
M
T
   ( m )   ( m )
K m 1
m  N 1

T 1 K
  fk
K K k 1

Với

2

(2.12)

 1  2  ...  M

(2.13)

Khi ta chọn N-vectors riêng và sai số xấp xỉ là nhỏ nhất và bằng tổng M-N trị
riêng bé nhất của S thì ta đƣợc:

1
S
K

K


k 1

 f1 
f 
1
1
T
f k f k   f1 , f 2 ,..., f K   2   T
...  K
K
 

 fK 

(2.14)

Do S là đối xứng nửa xác định riêng nên những vector riêng là trực giao điều
này đảm bảo cơ sở tối ƣu là trực giao.
Nhƣ vậy cơ sở mới đƣợc xây dựng từ cơ sở quan sát ban đầu theo phƣơng
trình:

 
~

T

 T  N

(2.15)

Với

~   f1~ , f 2~ ,..., f K~  ,    f1 , f 2 ,..., f N  , N   1 , 2 ,..., N 

(2.16)

Với  1 , 2 ,..., K  là K-vectors riêng tƣơng ứng với K-trị riêng lớn nhất của
S, là ma trận hiệp phƣơng sai của tập quan sát ban đầu.

21

Nhƣ ta biết phép biến đổi trực giao không làm thay đổi Trace-Vết của ma
trận mà phép biến đổi cơ sở này giữ lại K-vectors riêng ứng với K-trị riêng lớn nhất.
Nghĩa là sự phân bố các mẫu trong tập dữ liệu mới thu đƣợc luôn là lớn nhất.
Theo các kết quả nghiên cứu thông thƣờng ta chọn K sao cho.
K


i 1
N

i

 i

 nguong (e.g.., 0.90or 0.95)

(2.17)

i 1

Với

i là các trị riêng của ma trận hiệp phƣơng sai và 1  2  ....  N

Tóm lại, phƣơng pháp PCA ánh xạ một vector từ không gian M chiều xuống
không gian N chiều sẽ đi tìm các giá trị riêng và vector riêng của ma trận hiệp
phƣơng sai C của tập mẫu và giữ lại N vector riêng tƣơng ứng với N giá trị riêng
lớn nhất làm cơ sở cho không gian N chiều này.
2.1.2 Các bƣớc thực hiện trích chọn đặc trƣng bằng PCA
Giả sử ta có N ảnh khuôn mặt, là tập ảnh huấn luyện X1 , X 2 ,..., X N

Biểu diễn mỗi ảnh thành ma trận Mx1 có dạng:

X i  ( xi1 , xi 2 ,..., xiM )T với i = 1,…,N

(2.18)

Bƣớc 1: Tính vector khuôn mặt trung bình của tập ảnh huấn luyện
X

1 N
 Xi
N i 1

(2.19)

Bƣớc 2: Tính vector độ lệch của mỗi khuôn mặt so với vector khuôn mặt
trung bình

i  X i  X với i = 1,…,N

(2.20)

22


Bƣớc 3: Tạo thành ma trận MxN
A  [ 1 2 ...  N ]

(2.21)

Sau đó tính ma trận hiệp phƣơng sai MxM
C

1
A. AT
N

(2.22)

Bƣớc 4: Tính các giá trị riêng của ma trận hiệp phƣơng sai C ta đƣợc

1 , 2 ,..., M
Các giá trị riêng đƣợc sắp xếp theo chiều giảm dần. Ta chỉ giữ lại K giá trị
riêng lớn nhất, thể hiện K đặc trƣng quan trọng nhất là:

1 , 2 ,..., K ,

K  M

Có hai cách để xác định K:
Cách 1: Sắp xếp theo thứ tự giảm dần của các giá trị riêng tìm đƣợc. Theo
dõi sự biến thiên của dãy trên, khi dãy không còn biến thiên hoặc biến thiên xấp xỉ
bằng 0 thì lúc đó ta đã chọn đủ K.
Cách 2: Ta có thể chọn K theo công thức sau:
K


i 1
M

i


i 1

 nguong , (0.9  nguong  0.95)

i

Phƣơng châm ở đây là chọn làm sao cho số lƣợng thành phần chính là thấp
nhất, đủ để giải thích khả năng phân tán của tập mẫu thành các lớp mẫu riêng cần
thiết.
Bƣớc 5: Tính các vector riêng của ma trận hiệp phƣơng sai C

23