Nhận dạng khuôn mặt người bằng trích chọn đặc trưng PCA

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC NHA TRANG
KHOA CÔNG NGHỆ THÔNG TIN

BÁO CÁO ĐỒ ÁN MÔN HỌC
ĐỀ TÀI: PHÁT HIỆN KHUÔN MẶT NGƯỜI
Giảng viên hướng dẫn: Tiến Sỹ Đinh Đồng Lưỡng
Sinh viên thực hiện: Nguyễn Duy Hồ
Phạm Đình Thông
Nguyễn Văn Phi
Nguyễn Văn Trâm
Nguyễn Hữu Tân
Trần Ngọc Sơn
Ngô Minh Hiếu

Khánh Hòa – 2021


BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC NHA TRANG
KHOA CÔNG NGHỆ THÔNG TIN

BÁO CÁO ĐỒ ÁN MÔN HỌC
ĐỀ TÀI: PHÁT HIỆN KHUÔN MẶT NGƯỜI
Giảng viên hướng dẫn: Tiến Sỹ Đinh Đồng Lưỡng
Sinh viên thực hiện: Nguyễn Duy Hồ
Phạm Đình Thông
Nguyễn Văn Phi
Nguyễn Văn Trâm

Nguyễn Hữu Tân
Trần Ngọc Sơn
Ngô Minh Hiếu

Khánh Hòa – 2021


MỤC LỤC


DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

ATM
CSDL
EBGM
LDA
MSL
PCA
PDM
SVM

Automatic Teller Machine
Cơ sở dữ liệu
Elastic Bunch Graph Matching
Linear Discriminate Analysis
Multilinear Subspace Learning
Principal Component Analysis
Point Distribution Model
Support Vector Machine

DANH MỤC CÁC HÌNH


DANH MỤC CÁC BẢNG


LỜI CẢM ƠN
Trên thực tế khơng có sự thành cơng nào mà không gắn liền với những sự hỗ trợ, sự
giúp đỡ dù ít hay nhiều, dù là trực tiếp hay gián tiếp của người khác. Trong suốt thời
gian từ khi bắt đầu học tập, chúng em đã nhận được rất nhiều sự quan tâm, giúp đỡ
của Thầy Đinh Đồng Lưỡng và bạn bè.
Chúng em xin chân thành gửi lời cảm ơn sâu sắc tới thầy Đinh Đồng Lưỡng đã tận
tình giảng dạy và truyền đạt cho chúng em những kiến thức, kinh nghiệm quý báu
trong suốt thời gian học tập và rèn luyện.
Sau cùng, chúng em xin kính chúc các thầy cô trong Khoa Công Nghệ Thông Tin
dồi dào sức khỏe, niềm tin để tiếp tục thực hiện sứ mệnh của mình là truyền đạt
kiến thức cho thế hệ mai sau.
Chúng em xin chân thành cảm ơn.

7


BẢNG ĐÁNH GIÁ NHĨM
Họ và tên
Nguyễn Duy Hồ

MSSV
61130318

Phạm Đình Thơng

61131158

Nguyễn Văn Phi

61134168

Ngô Minh Hiếu
Nguyễn Hữu Tân

61133637
61134319

Nguyễn Văn Trâm

61131314

Trần Ngọc Sơn

61130999

8

Công việc
Tìm thuật tốn, làm
word, làm powerpoint,
tổ chức cơng việc, làm
chương trình
Tìm demo, thuyết trình,

làm chương trình, lập kế
hoạch cơng việc
Tìm tổng quan, thuyết
trình, đóng góp ý kiến
Thuyết trình
Thuyết trình, đóng góp ý
kiến
Tìm ưu nhược điểm,
thuyết trình, đóng góp ý
kiến, làm powerpoint
Thuyết trình


MỞ ĐẦU
1. Lý do chọn đề tài
Cùng với các thành tựu về khoa học của nhân loại, ngành Công nghệ Thông
tin ngày càng phát triển mạnh mẽ. Ở các nước phát triển, các hệ thống lưu trữ và xử
lý thông tin đã được xây dựng và sử dụng rất hiệu quả. Một trong những ứng dụng
của công nghệ thông tin là xử lý ảnh được dùng để hỗ trợ trong nhiều lĩnh vực khác
nhau. Hơn một thập kỷ qua có rất nhiều cơng trình nghiên cứu về bài tốn nhận
dạng khuôn mặt người từ ảnh đen trắng đến ảnh màu như ngày hơm nay.Các nghiên
cứu đi từ bài tốn đơn giản, mỗi ảnh chỉ có một khn mặt người nhìn thẳng vào
thiết bị thu hình và đầu ở tư thế thẳng đứng trong ảnh đen trắng. Cho đến ngày hôm
nay bài tốn được mở rộng cho ảnh màu, có nhiều khn mặt trong cùng một ảnh,
có nhiều tư thế thay đổi trong ảnh. Khơng những thế mà cịn mở rộng cả phạm vi
môi trường xung quanh khá đơn giản cho đến môi trường xung quanh rất phức tạp
nhằm đáp ứng nhu cầu của con người. Công nghệ nhận diện khuôn mặt (face
detection), hay nói chính xác hơn là khu biệt hóa khn mặt (khả năng tìm và nhận
biết đâu là khn mặt trong tồn bộ một khung hình), đã có tới hơn 30 năm phát
triển và đây là pha đầu tiên trong hệ thống nhận dạng khuôn mặt người (face

recognition hoặc face identification). Ở hệ thống này, từ một đầu vào là bức ảnh,
máy tính có thể khu biệt hóa khn mặt nằm ở vị trí nào, sau đó dựa trên các thuật
toán phức tạp khác như xác định đặc điểm của mắt, mồm hay mũi, so sánh với cơ sở
dữ liệu các khn mặt đã có, từ đó có thể nhận dạng khn mặt đó là ai. Cơng nghệ
này vốn được dùng trong ngành an ninh, nhưng nay đã được ứng dụng ngày càng
rộng rãi trong dân dụng. Có rất nhiều thuật toán đã được phát triển nhằm cải thiện
q trình nhận dạng khn mặt ngày càng tốt hơn, trong đó có cả cách tiếp cận dùng
mạng thần kinh (neural network) xử lý các vấn đề về giới tính, cảm xúc...Với cơ sở
dữ liệu so sánh lớn, thuật toán phức tạp, sự hỗ trợ từ phần cứng hay chíp xử lý
riêng, hệ thống nhận diện có thể nhận diện ngay cả khi mặt người quay ngang hay
nhìn lên, nhìn xuống, chuyển động hay đứng yên, thậm chí mặt chỉ chiếm một phần
rất nhỏ trong tồn bộ khung hình.
Với mong muốn tiếp cận các công nghệ mới, đồng thời bổ sung kiến thức về
khoa học kỹ thuật hiện đại, cũng như tổng kết những kỹ năng, kiến thức trong suốt

9


quá trình học tập tại trường, em xin chọn đề tài “Xây dựng phần mềm phát hiện
khuôn mặt người trong ảnh”.
2. Mục tiêu nghiên cứu
- Tìm hiểu bài tốn phát hiện khn mặt người trong ảnh.
- Tìm hiểu về thuật tốn nhận dạng khn mặt trong ảnh.
- Xây dựng chương trình thử nghiệm phát hiện khn mặt trong ảnh.
3. Đối tượng nghiên cứu
- Thuật tốn nhận dạng khn mặt dựa trên các trích chọn đặc trưng PCA.
- Thư viện mã nguồn mở OpenCV
4. Phạm vi nghiên cứu
Chương trình nhận dạng khuôn mặt được xây dựng để ứng dụng trong các
thiết bị nhận dạng và có thể áp dụng cho các lĩnh vực an tồn, bảo mật thơng tin.

Trong phạm vi đề tài này nhóm em xây dựng chương trình nhận dạng khn mặt để
tìm kiếm một khn mặt từ tập các ảnh khn mặt đã có sẵn.
5. Phương pháp nghiên cứu
- Phương pháp nghiên cứu tài liệu: Tham khảo một số tài liệu trên mạng, sách,
tư liệu, chuyên ngành, các bài báo khoa học có liên quan.
- Phương pháp phỏng vấn (lấy ý kiến chuyên gia): Lấy ý kiến từ các thầy cô
giáo Khoa Công nghệ thông tin, giáo viên hướng dẫn đề tài để định hướng quá trình
nghiên cứu và đảm bảo kết quả nghiên cứu chính xác hơn.
6. Ý nghĩa khoa học và thực tiễn của đề tài
- Ý nghĩa khoa học: thuật tốn PCA được tìm hiểu, nghiên cứu sẽ bổ sung
thêm một phương pháp nhận dạng khn mặt người để giải quyết bài tốn xác định
khn mặt người.
- Ý nghĩa thực tiễn: chương trình thử nghiệm nếu thành cơng sẽ góp một phần
nhỏ trong việc nhận dạng khuôn mặt đang được áp dụng trong lĩnh vực an tồn và
bảo mật thơng tin. Qua đó có thể áp dụng rộng rãi trong các thiết bị số.
7. Bố cục của đề tài

10


Với mục tiêu chính là tìm hiểu thuật tốn PCA. Đồng thời áp dụng vào bài
tốn nhận dạng khn mặt người, đề tài được trình bày trong ba chương với bố cục
như sau:
Chương 1: Tổng quan về bài toán phát hiện khn mặt người trong ảnh
Chương 2: Thuật tốn nhận dạng khn mặt người.
Chương 3: Xây dựng chương trình thử nghiệm.

11

CHƯƠNG 1: TỔNG QUAN VỀ BÀI TỐN PHÁT HIỆN KHN MẶT
NGƯỜI TRONG ẢNH
Phát hiện các đối tượng trong ảnh nói chung và phát hiện khn mặt người nói
riêng là một bước quan trọng trong q trình xử lý phân tích và nhận dạng đối
tượng. Quá trình phát hiện và nhận dạng một đối tượng nói chung trong ảnh có thể
được mơ tả qua sơ đồ sau:

Hình 1.1.1.1. Q trình phát hiện và nhận dạng một đối tượng
Thơng thường, bài tốn phát hiện đối tượng nói chung và phát hiện khn mặt
người nói riêng được chia thành hai bước:
Bước 1: Trích chọn đặc trưng
Trích chọn đặc trưng là kỹ thuật sử dụng các thuật tốn để lấy ra những thơng
tin mang những đặc điểm riêng biệt của một đối tượng.
Các giải thuật này có nhiệm vụ biểu diễn ảnh của đối tượng dưới dạng một
vector đặc trưng (bộ mô tả đặc trưng). Để hiệu quả nhận dạng được tốt nhất, các đặc
trưng này phải có tính bất biến với sự thay đổi của các điều kiện thu nhận ảnh.
Một số giải thuật trích chọn đặc trưng khn mặt như: Phương pháp trích chọn
đặc trưng hình học, Phương pháp trích chọn đặc trưng diện mạo, Phương pháp trích
chọn đặc trưng bằng PCA...
Bước 2: Phân lớp đối tượng
Bộ phân lớp có nhiệm vụ phân loại các đối tượng dựa trên vector đặc trưng đã
được xây dựng. Các bộ phân lớp phải cho phép thực hiện nhanh và phân loại đúng
các đối tượng trong một lớp.

12


Q trình “phân lớp đối tượng” gồm hai nhánh chính: Huấn luyện và phát
hiện. Trong khâu huấn luyện, bộ dữ liệu huấn luyện được xử lý để đưa ra mô hình
huấn luyện, phục vụ cho cơng việc phát hiện đối tượng sau này.

Có hai kiểu thuật tốn cho phương pháp phân lớp: Học có giám sát và khơng
có giám sát.
Học có giám sát là phương pháp học mà ta ln xác định trước được các lớp
cần quan tâm. Nhiệm vụ của học có giám sát là dự đốn xem đối tượng nào đó có
thuộc lớp này hay khơng. Học có giám sát gồm có một số phương pháp phổ biến
sau: SVM, Cascaded Adaboost, Neural Network.
Học không giám sát là phương pháp nhóm các vector thành các cụm (cluster)
để phân lớp đối tượng. Khác với học có giám sát, đầu ra của ký thuật này là tập các
đối tượng cùng lớp, nhưng chưa xác định được lớp đó là gì. Kĩ thuật này gồm một
số phương pháp phổ biến như sau: K – means, C – mean, Mean Shift.

Hình 1.1.1.2. Quá trình “phân lớp đối tượng”

13


Các phương pháp đề xuất thường khác nhau ở loại đặc trưng lựa chọn, bộ mô
tả đặc trưng và phương pháp phân lớp đối tượng.
Nhận dạng mặt người (Face recognition) được nghiên cứu từ những năm
1980, là một lĩnh vực nghiên cứu của ngành thị giác máy tính (Computer Vision),
và cũng được xem là một lĩnh vực nghiên cứu của ngành sinh trắc học (Biometrics)
tương tự như nhận dạng vân tay (Fingerprint recognition), hay nhận dạng tròng mắt
(Iris recognition).
Trong số các kỹ thuật sinh trắc học, nhận dạng khuôn mặt có thể khơng đáng
tin cậy và thiếu hiệu quả. Tuy nhiên, một trong những lợi thế quan trọng là nó
khơng đòi hỏi sự hợp tác của các đối tượng thử nghiệm. Các hệ thống nhận dạng
được được lắp đặt tại nơi cơng cộng có thể xác định một cá nhân giữa đám đông.
Sinh trắc học khác như dấu vân tay, qt mống mắt, và nhận dạng giọng nói khơng
thể thực hiện được như vậy.
Từ khi ra đời đến nay, đã có rất nhiều cơng trình nghiên cứu về bài tốn xác

định khuôn mặt người từ ảnh đen trắng, xám đến ảnh màu. Ban đầu chỉ là những bài
toán đơn giản, mỗi ảnh chỉ có một khn mặt nhìn thẳng và đầu luôn phải ở tư thế
thẳng đứng trong ảnh đen trắng, không đáp ứng được nhu cầu ngày càng cao trong
cuộc sống, khoa học ngày nay.
Vì thế đã có nhứng cải tiến nghiên cứu về bài tốn phát hiện khn mặt người
trong những mơi trường phức tạp hơn, có nhiều khn mặt người trong ảnh hơn, và
có nhiều tư thế thay đổi trong ảnh.
Vậy, bài tốn phát hiện khn mặt người trong ảnh là gì?
1

Khái niệm
Phát hiện khn mặt người là một kỹ thuật máy tính để xác định vị trí và kích

thước khn mặt người trong các ảnh bất kỳ. Kỹ thuật này chỉ nhận biết về các đặc
trưng của khuôn mặt và bỏ qua những vật thể khác như tịa nhà, cây cối...và tồn bộ
cơ thể người.
1.2. Ứng dụng
Trước đây, các cơ quan thực thi pháp luật, những người sử dụng hệ thống nhận
diện khuôn mặt để chụp lại những khuôn mặt ngẫu nhiên trong đám đông. Một số

14


cơ quan chính phủ cũng đã sử dụng hệ thống này để bảo mật và hạn chế gian lận
bầu cử.
Bộ Ngoại giao Mỹ điều hành một trong các hệ thống nhận dạng khuôn mặt lớn
nhất trên thế giới với hơn 75 triệu bức ảnh được chủ động sử dụng để xử lý visa.
Dấu vân tay và hình ảnh của du khách được đối chiếu với cơ sở dữ liệu tội phạm và
nghi can khủng bố. Sau đó dữ liệu này sẽ được kiểm tra ở cửa khẩu để đảm bảo
người được cấp thị thực và trên thực tế là một. Hệ thống nhận dạng khuôn mặt cũng

được nâng cấp khả năng tương thích với hệ thống camera và máy tính đã được sử
dụng ở ngân hàng và các sân bay.
Công nghệ nhận dạng khn mặt có thể được sử dụng như một biện pháp an
ninh tại các máy ATM. Thay vì sử dụng một thẻ ngân hàng hoặc số nhận dạng cá
nhân, máy ATM sẽ chụp một hình ảnh của khn mặt của khách hàng, và so sánh
nó với các bức ảnh của chủ tài khoản ngân hàng trong cơ sở dữ liệu để xác nhận
danh tính của khách hàng.
Như vậy, có thể thấy các ứng dụng cơ bản của xác định mặt người có thể kể
đến là:
- Xác minh tội phạm: Dựa vào ảnh của một người, nhận dạng xem người đấy
có phải là tội phạm hay khơng bằng cách so sách với các ảnh tội phạm đang được
lưu trữ. Hoặc có thể sử dụng camera để phát hiện tội phạm trong đám đông. Ứng
dụng này giúp cơ quan an ninh quản lý con người tốt hơn.
- Camera chống trộm: Các hệ thống camera sẽ xác định đâu là con người và
theo dõi xem con người đó có làm gì phạm pháp khơng, ví dụ như lấy trộm đồ, xâm
nhập bất hợp pháp vào một khu vực nào đó.
- Bảo mật: Các ứng dụng về bảo mật rất đa dạng, một trong số đó là cơng
nghệ nhận dạng mặt người của laptop, công nghệ này cho phép chủ nhân của máy
tính chỉ cần ngồi trước máy là có thể đăng nhập được. Để sử dụng công nghệ này,
người dùng phải sử dụng một webcam để chụp ảnh khuôn mặt của mình và cho máy
“học” thuộc các đặc điểm của khn mặt giúp cho q trình đăng nhập sau này.
- Lưu trữ khn mặt: Xác định mặt người có thể được ứng dụng trong các
trạm rút tiền tự động (ATM) để lưu trữ khuôn mặt của người rút tiền. Hiện nay có
những người bị người khác lấy trộm thẻ ATM và mã PIN, và bị rút tiền trộm, hoặc
15


có những chủ tài khoản đi rút tiền nhưng lại báo với ngân hàng là bị mất thẻ và bị
rút tiền trộm. Nếu lưu trữ được khuôn mặt của người rút tiền, ngân hàng có thể đối
chứng và xử lý dễ dàng hơn.

- Các ứng dụng khác:
+ Điều khiển vào ra: văn phịng, cơng ty, trụ sở, máy tính, Palm, …. Kết hợp
thêm vân tay và tròng mắt. Cho phép nhân viên được ra vào nơi cần thiết.
+ An ninh sân bay, xuất nhập cảnh (hiện nay cơ quan xuất nhập cảnh Mỹ đã áp
dụng). Dùng camera quan sát để xác thực người nhập cảnh và kiểm tra xem người
đấy có phải là tội phạm hay phần tử khủng bố khơng. Tìm kiếm và tổ chức dữ liệu
liên quan đến con người thông qua khuôn mặt người trên nhiều hệ cơ sở dữ liệu lưu
trữ thật lớn, như internet, các hãng truyền hình, …
+ Kiểm tra trạng thái người lái xe có ngủ gật, mất tập trung hay khơng, và hỗ
trợ thông báo khi cần thiết.
+ Tương lai sẽ phát triển các loại thẻ thơng minh có tích hợp sẵn đặc trưng của
người dùng trên đó, khi bất cứ người dùng khác dùng để truy cập hay xử lý tại các
hệ thống sẽ được yêu cầu kiểm tra các đặc trưng khn mặt so với thẻ để biết nay
có phải là chủ thẻ hay khơng. người
+ Hãng máy chụp hình Canon đã ứng dụng bài tốn xác định khn mặt người
vào máy chụp hình thế hệ mới để cho kết quả hình ảnh đẹp hơn, nhất là khn mặt
người.
1.3. Khó khăn trong phát hiện khuôn mặt
Việc xác định khuôn mặt người có những khó khăn nhất định:
- Nền ảnh phức tạp: nền của ảnh phức tạp là một trong những khó khăn nhất
trong bài tốn nhận diện khn mặt người trong ảnh, khuôn mặt người sẽ dễ bị
nhầm lẫn với nhiều khung cảnh phức tạp xung quanh và ảnh hưởng rất nhiều đến
q trình phân tích và rút trích các đặc trưng của khn mặt trong ảnh, có thể dẫn
đến không nhận ra khuôn mặt hoặc là nhận nhầm các khung cảnh xung quanh thành
khuôn mặt người. Mặt người bị che khuất bởi các đối tượng khác có trong ảnh.
- Hướng (pose) của khuôn mặt đối với máy ảnh, như: nhìn thẳng, nhìn nghiêng
hay nhìn từ trên xuống. Cùng trong một ảnh có thể có nhiều khn mặt ở những tư
thế khác nhau.
16

Hình 1.3.1.1. Ảnh hưởng của tư thế và góc chụp
- Sự thể hiện cảm xúc quá nhiều và phụ kiện đi kèm: sự thể hiện cảm xúc quá
nhiều sẽ làm biến đổi khn mặt so với bình thường khá nhiều, gây ra khơng ít khó
khăn cho việc nhận diện khn mặt một cách đơn giản, tuy nhiên nó cũng là thách
thức để phát triển nên các hệ thống thông minh nhận biết cảm xúc của con người.
ngoài ra việc dùng nhiều các phục kiện đi kèm trang trí trên khn mặt cũng là một
khó khăn đối với việc nhận biết khn mặt, ví dụ một người săm đầy mặt và đeo
nhiều khun trên mặt, tóc tai bù xù…

Hình 1.3.1.2. Ảnh hưởng do biến đổi khuôn mặt
- Điều kiện ánh sáng và môi trường xung quanh: điều kiện của môi trường lúc
chụp ảnh có ảnh hưởng rất nhiều đến q trình phân tính và nhận biết các đặc trưng
của khn mặt. Trong đó ánh sáng là một phần rất quan trong để nhận biết được
khuôn mặt dể dàng, những bức ảnh chụp trong điêu kiện thiếu hoặc thừa ánh sáng
quá nhiều đều gây khó khăn rất nhiều, ngồi ra các điều kiện về thời tiết ( mưa to,
17


tuyết rơi…) đều gây ảnh hưởng tới quá trình phân tích và nhận biết khn mặt
người.
- Kích thước khác nhau của các khuôn mặt người, và đặc biệt là trong cùng
một ảnh.

Hình 1.3.1.3. Ảnh hưởng do kích thước khn mặt
- Giới hạn về số ảnh cần thiết cho tập huấn luyện, tập các ảnh khuôn mặt huấn
luyện không thể bao quát được tất cả các biến đổi có thể có trên khuôn mặt của một
người cần nhận dạng trong thế giới thực.
- Màu sắc của da mặt: màu sắc của da mặt quá tối hoặc gần với màu sắc của
khung cảnh mơi trường xung quanh cũng là một khó khăn với bài toán nhận diện

mặt người. Nếu màu sắc của da người q tối thì thuật tốn sẽ gặp khó khăn trong
việc nhận diện các đặc trưng và có thể khơng tìm ra được khn mặt người

Hình 1.3.1.4. Ảnh hưởng của màu sắc da mặt

18


1.4. Giới hạn bài tốn nghiên cứu
Vì những khó khăn gặp phải trong phát hiện khuôn mặt trong nghiên cứu này
tôi đưa ra những giả định và ràng buộc sau làm giảm độ phức tạp của bài tốn như
sau:
- Góc ảnh trực diện (frontal) hoặc gần như trực diện, không bị che khuất (no
occlusion);
- Ảnh được chụp trong điều kiện ánh sáng bình thường;
- Cơ sở dữ liệu ảnh nhỏ, khoảng trăm ảnh, tự xây dựng;
- Ảnh được xét là ảnh số, nghĩa là ảnh mặt người được chụp từ các thiết bị như
máy ảnh số, camera,... và không xem xét các ảnh mặt người nhân tạo như vẽ, điêu
khắc

19


CHƯƠNG 2: THUẬT TỐN NHẬN DẠNG KHN MẶT NGƯỜI TRONG
ẢNH
2.1. Một số phương pháp phát hiện khuôn mặt người trong ảnh
Cùng với sự phát triển của lĩnh vực thị giá máy tính (computer vision) và học
máy (machine learning), có rất nhiều các hệ thống nhận dạng khuôn mặt khác nhau
đã được phát triển. Kết quả nhận dạng của từng hệ thống cũng rất khác nhau vì tùy
thuộc vào dữ liệu thử.

Do đó bài tốn nhận dạng khn mặt hiện nay càng ngày càng phát triển theo
rất nhiều hướng nghiên cứu nhằm nâng cao hiệu suất nhận dạng và tối ưu hóa hệ
thống.
2.1.1. Dựa theo kỹ thuật nhận dạng
Dựa vào kỹ thuật nhận dạng, có thể phân chia thành 3 phương pháp chính đó
là:
- Kỹ thuật truyền thống:
Một số thuật tốn nhận dạng khuôn mặt xác định các đặc điểm khuôn mặt
bằng cách trích xuất các ranh giới, hoặc đặc điểm, từ một hình ảnh khn mặt của
đối tượng. Ví dụ, một thuật tốn có thể phân tích các vị trí tương đối, kích thước,
và/hoặc hình dạng của mắt, mũi, gị má, và cằm. Những tính năng này sau đó được
sử dụng để tìm kiếm các hình ảnh khác với các tính năng phù hợp. Các thuật tốn
bình thường hóa một bộ sưu tập các hình ảnh khn mặt và sau đó nén dữ liệu
khn mặt, chỉ lưu dữ liệu hình ảnh nào là hữu ích cho việc nhận dạng khn mặt.
Một hình ảnh mẫu sau đó được so sánh với các dữ liệu khuôn mặt. Một trong những
hệ thống thành công sớm nhất dựa trên các kỹ thuật phù hợp với mẫu áp dụng cho
một tập hợp các đặc điểm khuôn mặt nổi bật, cung cấp một dạng đại diện của khn
mặt được nén.
Các thuật tốn nhận dạng có thể được chia thành hai hướng chính, là hình học,
đó là nhìn vào tính năng phân biệt, hoặc trắc quang (đo sáng), là sử dụng phương
pháp thống kê để “chưng cất” một hình ảnh thành những giá trị và so sánh các giá
trị với các mẫu để loại bỏ chênh lệch.
Các thuật toán nhận dạng phổ biến bao gồm Principal Component Analysis
(Phép phân tích thành phần chính) sử dụng các khn mặt riêng, Linear
20


Discriminate Analysis (Phân tích biệt tuyến tính), Elastic Bunch Graph Matching sử
dụng thuật tốn Fisherface, các mơ hình Markov ẩn, Multilinear Subspace Learning
(Luyện nhớ không gian con đa tuyến) sử dụng đại diện cơ căng, và theo dõi liên kết

động thần kinh.
- Nhận dạng 3D:
Một xu hướng mới nổi lên, tuyên bố cải thiện được độ chính xác, là nhận dạng
khuôn mặt ba chiều. Kỹ thuật này sử dụng các cảm biến 3D để nắm bắt thơng tin về
hình dạng của khn mặt. Thơng tin này sau đó được sử dụng để xác định các tính
năng đặc biệt trên bề mặt của một khuôn mặt, chẳng hạn như các đường viền của
hốc mắt, mũi và cằm.
Một lợi thế của nhận dạng khn mặt 3D là nó khơng bị ảnh hưởng bởi những
thay đổi trong ánh sáng như các kỹ thuật khác. Nó cũng có thể xác định một khn
mặt từ một loạt các góc nhìn, trong đó có góc nhìn nghiêng. Các điểm dữ liệu ba
chiều từ một khuôn mặt cải thiện lớn độ chính xác cho nhận dạng khn mặt.
Nghiên cứu 3D được tăng cường bởi sự phát triển của các bộ cảm biến tinh vi giúp
nắm bắt hình ảnh chụp khuôn mặt 3D được tốt hơn. Các cảm biến hoạt động bằng
cách chiếu ánh sáng có cấu trúc lên gương mặt. Hàng chục hoặc nhiều hơn nữa các
bộ cảm biến hình ảnh này có thể được đặt lên trên cùng một con chip CMOS-mỗi
cảm biến sẽ thu một phần khác nhau của hình ảnh.
- Phân tích kết cấu da:
Một xu hướng mới nổi sử dụng các chi tiết hình ảnh của da, được chụp trong
các hình ảnh kỹ thuật số hoặc máy scan tiêu chuẩn. Kỹ thuật này được gọi là phân
tích kết cấu da, đưa các đường đặc trưng, hình dạng, và các điểm nốt trên làn da của
một người vào một khơng gian tốn học.
Các thử nghiệm đã chỉ ra rằng với việc bổ sung các phân tích cấu trúc của da,
hiệu quả trong việc nhận ra khn mặt có thể tăng 20 - 25 %.
2.1.2. Dựa vào hướng tiếp cận
Dựa vào hướng tiếp cận của các phương pháp xác định mặt người trên ảnh,
các phương pháp này được chia thành bốn loại chính, tương ứng với bốn hướng tiếp
cận khác nhau. Ngồi ra cũng có rất nhiều nghiên cứu mà phương pháp xác định
mặt người khơng chỉ dựa vào một hướng mà có liên quan đến nhiều hướng.
21

a. Hướng tiếp cận dựa trên tri thức
Dựa vào các thuật tốn, mã hóa các đặc trưng và quan hệ giữa các đặc trưng
của khuôn mặt thành các luật. Đây là hướng tiếp cận theo kiểu top-down.
trong hướng tiếp cận này, phương pháp phát hiện khuôn mặt dựa trên các quy
tắc rút ra từ những tri thức về khuôn mặt được các nhà khoa học nêu ra. Dễ dàng để
có được luật đơn giản để thể hiện các đặc trưng mặt người và mối quan hệ của
chúng. Chẳng hạn, một khn mặt thường có 2 mắt đối xứng nhau, 1 mũi, và 1
miệng. Quan hệ giữa chúng thể hiện qua quan hệ khoảng cách hay vị trí. Thường thì
các đặc trưng khn mặt của ảnh đầu vào được trích chọn trước để đưa ra các ứng
viên, tiếp đó là dùng tập luật trên đây để loại bỏ tiếp các ứng viên khơng phải khn
mặt. Thơng thường có một giai đoạn kiểm tra lại kết quả các ứng viên khuôn mặt đó
để tăng độ chính xác của hệ thống.
Tuy nhiên, hướng tiếp cận này gặp một khó khăn đó là việc chuyển từ tri thức
về mặt người thành tập luật xác định tốt cho nhiều trường hợp. Tập luật quá chi tiết
sẽ rất dễ dẫn đến bỏ sót các khn mặt thật, ngược lại nếu tập luật sơ sài sẽ dẫn đến
kêt quả có rất nhiều khn mặt mà trong số đó có cả các ứng viên khơng phải khn
mặt. Thêm vào đó hướng tiếp cận này là khá khó khăn khi mở rộng bài toán trong
các trường hợp tư thế chụp khác nhau vì tư thế chụp có thể dẫn đến luật trên đây áp
dụng không đúng nữa.
Theo hướng tiếp cận này, chúng ta sẽ xem xét 2 nghiên cứu sau đây:
* Phương pháp của Yang và Huang
Hai nhà khoa học Yang và Huang đã dung phương pháp có thứ tự theo hướng
tiếp cận này để phát hiện khuôn mặt. Hệ thống của hai ông bao gồm 3 tầng luật:
Tầng đầu tiên: Tìm ra các ứng viên bằng cách quét 1 cửa sổ khắp ảnh đầu
vào, các ứng viên phải thỏa tập luật tầng này.
Tầng giữa: Sử dụng các tập luật mô tả chung về khuôn mặt.
Tầng cuối cùng: Dùng các tập luật xem xét một cách chi tiết các đặc trưng
khuôn mặt.
Một hệ thống ảnh đa phân giải được xây dựng theo các mẫu con với độ xám

của cả mẫu đó được thay bằng mức xám trung bình của mẫu. Ví dụ như dưới đây:

22


Hình 2.1.2.1. Các ảnh với độ phân giải khác nhau
Các mẫu với được mã hóa theo quy tắc n x n pixels có giá trị trung bình của
các pixels trong mẫu. Trái qua phải n=1,4,8,16.

Hình 2.1.2.2. Một tri thức về khuôn mặt
Hai ông sử dụng tri thức về khuôn mặt với một số tính chất độ sáng như hình
trên và kết luận rằng:
Tầng đầu tiên: Tìm ứng viên khn mặt trong mức phân giải thấp nhất gồm
có phần trung tâm của mặt với 4 phần có mức sáng tương đối đều nhau, tiếp theo là
phần xung quanh, sáng hơn chút cũng có độ sang gần như nhau (chênh lệch độ sáng
giữa 2 vùng nói trên là đủ lớn).
Tầng giữa: Dùng biểu đồ historgram để xem xét tiếp các ứng viên trên đây,
đồng thời tìm ra đường cạnh bao ứng viên.
Tầng cuối cùng: Dùng các tập luật của tầng này xem xét đặc trưng khuôn mặt
các ứng viên qua được tầng giữa. Ví dụ đặc trưng về mắt, miệng…
Nhận xét: phương pháp này khá đơn giản, dễ thực hiện, tuy nhiên , kết quả lại
chưa cao. Song các ý tưởng của phương pháp đã làm nền tảng cho các nghiên cứu
23


sau này như ý tưởng sử dụng ảnh đa phân giải hay các tri thức về khuôn mặt đã
dùng ...
* Phương pháp của Kotropoulos và Pitas
Hai ông khá thành công trong việc định vị vùng chứa khuôn mặt bằng phương
pháp chiếu. Ta xem xét phương pháp này với ảnh đa mức xám. Cơ sở của phương

pháp có thể hiểu như sau:
Giả thiết I(x,y) là độ xám tại vị trí tọa độ (x,y) của ảnh kích thước mxn
Định nghĩa:
HI(x)= : đặc trưng xám ngang.
VI(y)= : đặc trưng xám dọc.
Với nhận xét mức xám vùng da mặt chỉ nằm trong 1 khoảng nhất định, từ đó
dựa trên sự thay đổi của đường cong HI(x), tìm ra 2 cực trị địa phương tương ứng
với hai bên của phần đầu người. Tương tự với sự thay đổi của VI(y), tìm ra các cực
trị địa phương tương ứng với vùng đôi mắt, đôi môi và đỉnh mũi. Các đặc trưng này
đủ để phát hiện được các ứng viên khn mặt.
Xem ví dụ dưới đây cho giải thuật này. Hình dưới đây sẽ minh họa cho cách
xác định biên của khuôn mặt ứng với các cựu trị địa phương như đã nêu trên đây.
Sau đó dùng vài luật đơn giản để kiểm tra lại ví như việc tồn tại của lông mày/ mắt,
lỗ mũi/ mũi hay cái miệng … Tuy nhiên ở hai hình b và c việc xác định các cực trị
địa phương như đã nêu là rất khó khăn do sự thay đổi của các đường cong HI(x) và
VI(y) phụ thuộc vào nhiều yếu tố. Trường hợp hình 4.b là ảnh với nền phức tạp,
trường hợp hình c là ảnh với sự có mặt của nhiều khn mặt trong ảnh.

Hình 2.1.2.3. Minh họa giải thuật chiếu

24


Phương pháp được đưa ra kiểm tra trên một tập khuôn mặt trong trong video
gồm 37 người khác nhau. Mỗi ảnh chỉ chứa 1 khuôn mặt trên 1 nền không đổi.
Phương pháp của họ tìm ra được đúng các ứng viên khuôn mặt. Tỷ lệ phát hiện
đúng là 86.5% và định vị đúng các đặc trưng của khuôn mặt như mắt, mũi, môi …
Nhận xét: phương pháp của Kotropoulos Pitas khá đơn giản, dễ thực hiện, tuy
nhiên, phương pháp này lại chỉ cho hiệu quả cao với các ảnh có một khuôn mặt, tư
thế chụp thẳng và nền ảnh không quá phức tạp. Sau này, phương pháp này đã được

cải tiến, kết hợp với ý tưởng đa phân giải, hay tiền xử lí sáng tạo trước khi chiếu.
* Ưu điểm của phương pháp dựa trên tri thức:
- Dễ dàng xây dựng những nguyên tắc đơn giản để mô tả các đặc trưng của
khuôn mặt và mối quan hệ giữa chúng.
- Định vị tốt cho mặt trước của khuôn mặt trong ảnh có nền khơng hỗn tạp.
- Giải thuật đơn giản, dễ triển khai, thời gian xử lí chấp nhận được.
* Nhược điểm của phương pháp dựa trên tri thức:
- Việc chuyển đổi tri thức con người thành những nguyên tắc chính xác là khó
khăn. Dẫn đến độ chính xác trong phát hiện chưa cao.
- Khó có thể mở rộng phương pháp này cho bài tốn phát hiện khn mặt
trong các trường hợp, tư thế khác nhau.
b. Hướng tiếp cận dựa trên đặc trưng khơng thay đổi
Xây dựng các thuật tốn để tìm các đặc trưng của khn mặt mà các đặc trưng
này không thay đổi khi tư thế khuôn mặt hay vị trí đặt camera thay đổi.
Khác với hướng tiếp cận dựa trên tri thức, theo hướng tiếp cận này các nhà
khoa học cố gắng tìm ra các đặc trưng bất biến của khuôn mặt phục vụ việc phát
hiện khuôn mặt. Trên tư tưởng các đặc trưng bất biến này vẫn tồn tại và có thể được
nhận biết trong nhiều trường hợp và tư thế khác nhau, đã có nhiều nghiên cứu trước
là nhằm xác định các sự tồn tại đặc trưng khn mặt và sau là chỉ ra có khuôn mặt
hay không. Các đặc trưng như lông mày, mắt, mũi, miệng, và đường viền của tóc
được trích bằng phương pháp xác định cạnh. Từ đó xây dựng một mơ hình thống
kê để mơ tả các quan hệ giữa chúng để kiểm tra sự tồn tại của khuôn mặt. Vấn đề ở
đây là các đặc trưng này có thể bị sai khác đi tùy thuộc điều kiện chiếu sáng, nhiễu,
hay có thể bị che khuất, bên cạnh đó, bóng của ảnh cũng có thể tạo ra các cạnh gây
25