Luận văn thạc sĩ công nghệ thông tin Phát hiện mặt người trong ảnh dựa vào đặc trưng 3d

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC LẠC HỒNG
***





TRẦN VĂN MINH



PHÁT HIỆN MẶT NGƢỜI TRONG ẢNH DỰA VÀO ĐẶC TRƢNG 3D









LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN







Đồng Nai, Năm 2013

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC LẠC HỒNG
***




TRẦN VĂN MINH





PHÁT HIỆN MẶT NGƢỜI TRONG ẢNH DỰA VÀO ĐẶC TRƢNG 3D

Chuyên ngành: Công Nghệ Thông Tin
Mã số: 60.48.02.01




LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN




Người hướng dẫn khoa học:
PGS.TS Đỗ Năng Toàn

Đồng Nai, Năm 2013
LỜI CẢM ƠN
Lời đầu tiên cho tôi gửi lời cảm ơn chân thành đến quý thầy cô đã cho tôi có
kiến thức làm nền tảng để đi đến thực hiện luận văn ngày hôm nay.
Xin tỏ lòng biết ơn sâu sắc, chân thành đến thầy PGS.TS Đỗ Năng Toàn
người đã tận tình giúp đỡ, chỉ dạy và động viên tôi trong suốt thời gian thực hiện
luận văn này.
Con xin cảm ơn ba mẹ và những thành viên trong gia đình của mình đã cùng
con chia sẽ nhưng khó khăn khi thực hiện luận văn này.
Tôi xin cảm ơn các anh chị và đồng nghiệp đã tạo điều kiện và giúp đỡ tôi có
được những khoảng thời gian để hoàn thành khóa học.
Qua đây tôi xin gửi đến quý thầy cô cùng ba mẹ và các anh chị em đồng
nghiệp cành hoa để cảm ơn những gì tốt đẹp nhất mà mọi người dành cho tôi với tất
cả tấm lòng mình!

Trân trọng !
Đồng Nai, ngày 10 tháng 6 năm 2013.

Trần Văn Minh







LỜI CAM ĐOAN

Tôi xin cam đoan : Luận văn này là công trình nghiên cứu thật sự của cá nhân, được

thực hiện dưới sự hướng dẫn khoa học của PGS.TS Đỗ Năng Toàn.
Các số liệu và thông tin thứ cấp sử dụng trong luận văn được trích dẫn rõ ràng. Tôi
hoàn toàn chịu trách nhiệm về tính xác thực và nguyên bản của luận văn.

Học viên


Trần Văn Minh












DANH MỤC CÁC BẢNG
Trang
Bảng 2.1 Các thông tin trên một vùng không gian nút 34
Bảng 2.2 Khoảng cách Euclide của mỗi nút so với các nút cùng mức 34
Bảng 2.3 Vị trí tương đối của nút con so với nút gốc 35
Bảng 3.1 Kết quả thử nghiệm trên thư viện Markus Weber 52
Bảng 3.2 Kết quả thử nghiệm trên tập không có khuôn mặt 53
DANH MỤC HÌNH ẢNH
Trang
Hình 1.1 Mô phỏng quá trình xử lý ảnh 3

Hình 1.2 Mô phỏng các bước trong một hệ thống xử lý ảnh 4
Hình 1.3 Ví dụ hệ thống phát hiện khuôn mặt 6
Hình 1.4 Hệ thống kiểm soát ra vào dựa vào kỹ thuật phát hiện mặt người 8
Hình 1.5 Mô hình tổng quát các phương pháp giải quyết phát hiện mặt người 9
Hình 1.6 Phương pháp sử dụng đa độ phân giải 10
Hình 1.7 Tri thức của chuyên gia nghiên cứu phân tích trên khuôn mặt 11
Hình 1.8 Mô tả phương pháp chiếu 11
Hình 1.9 Chiếu từng phần ứng viên để xác thực thành phần khuôn mặt 12
Hình 1.10 Mẫu so sánh khớp sử dụng 23 quan hệ 16
Hình 1.11 Mô hình mạng nơ ron của Rowley 18
Hình 1.12 Kiến trúc hệ thống phát hiện khuôn mặt dựa trên mạng nơ ron 19
Hình 1.13 Dùng HMM xác định khuôn mặt 22
Hình 1.14 Mô hình Markow ẩn 22
Hình 2.1 Những điểm tương quan giữa các thành phần trên khuôn mặt 2D và 3D 25
Hình 2.2 Thông tin các điểm xương và rãnh trên ảnh vệ tinh 26
Hình 2.3 Thông tin các điểm xương và rãnh trên ảnh khuôn mặt 26
Hình 2.4 Dò tìm trên từng vùng 27
Hình 2.5 Tập các bộ lọc kích thước S 28
Hình 2.6 Tìm vùng 3D bằng nhiều mức giá trị dò 30
Hình 2.7 Khối 3D và kết xuất khung lưới tương ứng 31
Hình 2.8 Ví dụ về khuôn mặt 3D và kết xuất khung lưới 3D của khuôn mặt 31
Hình 2.9 Cách tạo cây bậc D cỡ K 32
Hình 2.10 Cấu trúc cây rút các đặc trưng 3D từ hình 2.6 33
Hình 2.11 Mô tả cách quét để lưu thông tin mức sáng 35
Hình 2.12 Một số kết xuất khung lưới cơ bản 36
Hình 2.13 Các nút tạo thành từ xương và rãnh được rút trích theo mức 36
Hình 2.14 Ảnh phân tích 37
Hình 2.15 Tính tổng mức sáng của hình chữ nhật R(l,t,r,b) 37
Hình 2.16 Một số ảnh trong thư viện của Markus Weber 39
Hình 2.17 Mẫu hình canh biên tại các vị trí trên khuôn mặt 43

Hình 2.18 Gán nhãn bằng phương pháp thủ công 44
Hình 2.19 Các bước tiền xử lý để hiệu chỉnh độ sáng và cân bằng lược đồ 45
Hình 2.20 Kiểm tra phát hiện khuôn mặt 46
Hình 2.21 Mô tả thuật toán giảm các ứng viên trùng lắp 48
Hình 2.22 Luồng xử lý việc dò tìm khuôn mặt 50
Hình 3.1 Một số ảnh của tập ảnh Markus Weber 52
Hình 3.2 Tổ chức thư viện OpenCV 53
Hình 3.3 Giao diện chính của chương trình 54
Hình 3.4 Một số trường hợp phát hiện đúng 55
Hình 3.5 Một số kết quả phát hiện thiếu 56
Hình 3.6 Một số kết quả không phát hiện được khuôn mặt 57
MỤC LỤC
PHẦN MỞ ĐẦU 1
1. Lý do chọn đề tài 1
2. Mục tiêu đề tài 1
3. Phạm vi nghiên cứu 2
4. Những đóng góp mới của đề tài 2
CHƢƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN KHUÔN MẶT 3
1.1 CÁC KHÁI NIỆM LIÊN QUAN ĐẾN XỬ LÝ ẢNH 3
1.1.1 XỬ LÝ ẢNH LÀ GÌ? 3
1.1.2 CÁC KHÁI NIỆM CƠ BẢN 4
1.2 BÀI TOÁN PHÁT HIỆN KHUÔN MẶT 5
1.2.1 GIỚI THIỆU 5
1.2.2 BÀI TOÁN PHÁT HIỆN KHUÔN MẶT TRONG ẢNH 5
1.2.3 NHỮNG KHÓ KHĂN VÀ THÁCH THỨC TRONG QUÁ TRÌNH
PHÁT HIỆN KHUÔN MẶT 7
1.2.4 CÁC LĨNH VỰC ỨNG DỤNG BÀI TOÁN PHÁT HIỆN KHUÔN
MẶT 7
1.2.4.1 HỆ THỐNG QUAN SÁT VÀ THEO DÕI HÀNH VI 8
1.2.4.2 HỆ THỐNG TƢƠNG TÁC GIỮA NGƢỜI VÀ MÁY 8

1.2.4.3 BẢO MẬT 8
1.2.4.4 MỘT SỐ ỨNG DỤNG KHÁC 9
1.3 CÁC PHƢƠNG PHÁP PHÁT HIỆN MẶT NGƢỜI TRONG ẢNH 9
1.3.1 PHƢƠNG PHÁP TIẾP CẬN DỰA TRÊN CÁC LUẬT TRI THỨC . 10
1.3.2 PHƢƠNG PHÁP TIẾP CẬN DỰA TRÊN CÁC ĐẶC TRƢNG
BẤT BIẾN 12
1.3.2.1 CÁC ĐẶC TRƢNG KHUÔN MẶT 13
1.3.2.2 ĐẶC TRƢNG KẾT CẤU 14
1.3.2.3 ĐẶC TRƢNG SẮC MÀU CỦA DA 14
1.3.2.4 ĐA ĐẶC TRƢNG 14
1.3.3 PHƢƠNG PHÁP TIẾP CẬN DỰA TRÊN ĐỐI SÁNH MẪU 15
1.3.3.1 XÁC ĐỊNH MẪU TRƢỚC 15
1.3.3.2 CÁC MẪU BỊ BIẾN DẠNG 17
1.3.4 PHƢƠNG PHÁP TIẾP CẬN DỰA TRÊN KỸ THUẬT HỌC MÁY . 18
1.3.4.1 KIẾN TRÚC HOẠT ĐỘNG CỦA HỆ THỐNG 19
1.3.4.2 TIỀN XỬ LÝ 20
1.3.4.3 XÂY DỰNG MÔ HÌNH QUÁ TRÌNH HỌC 20
1.3.4.4 SUPPORT VECTOR MACHINE (SVM) 20
1.3.4.5 MẠNG LỌC THƢA (SPARSE NETWORK OF
WINNOWS – SNOW) 21
1.3.4.6 MÔ HÌNH MARKOW ẨN ( HIDDEN MARKOW MODEL
– HMM) 21
1.3.4.7 PHÂN LOẠI BAYES 22
1.3.5 PHƢƠNG PHÁP TIẾP CẬN DỰA VÀO ĐẶC TRƢNG 3D 23
1.3.6 NHẬN XÉT CHUNG CÁC PHƢƠNG PHÁP TIẾP CẬN HIỆN
TẠI 23
1.4 PHẠM VI CỦA ĐỀ TÀI 24
CHƢƠNG 2: PHÁT HIỆN KHUÔN MẶT DỰA VÀO ĐẶT TRƢNG 3D 25
2.1 RÖT TRÍCH CÁC ĐẶC TRƢNG 3D 25
2.1.1 ĐIỂM 3D 27

2.1.2 DÒ TÌM VÀ RÚT TRÍCH CÁC VÙNG 3D 27
2.1.3 DÒ TÌM VÀ RÚT TRÍCH CÁC VÙNG 3D Ở NHIỀU MỨC
KHÁC NHAU 28
2.2 MÔ HÌNH KHUNG TRONG TIẾP CẬN 3D 31
2.2.1 MÔ HÌNH KHUNG LƢỚI 31
2.2.2 XÂY DỰNG CẤU TRÚC CÂY 3D 32
2.2.3 XÂY DỰNG KHUNG LƢỚI 35
2.2.4 TỐI ƢU HÓA VIỆC DÕ TÌM CÁC ĐẶC TRƢNG 36
2.2.5 CẮT TỈA CẤU TRÚC CÂY 3D 38
2.3 XÂY DỰNG TẬP MẪU 38
2.4 CÁC KỸ THUẬT DÒ BIÊN 39
2.4.1 KỸ THUẬT PHÁT HIỆN BIÊN TRỰC TIẾP 40
2.4.2 KỸ THUẬT PHÁT HIỆN BIÊN GIÁN TIẾP 42
2.5 GÁN NHÃN CANH BIÊN CÁC ĐẶC TRƢNG CỦA KHUÔN MẶT 42
2.5.1 ĐỊNH NGHĨA CANH BIÊN GIỮA HAI ĐIỂM ĐẶC TRƢNG 42
2.5.2 GÁN NHÃN 44
2.6 XỬ LÝ ĐỘ SÁNG VÀ ĐỘ TƢƠNG PHẢN TRÊN TẬP MẪU 44
2.7 ÁP DỤNG MÔ HÌNH THỐNG KÊ 45
2.7.1 THỐNG KÊ 45
2.7.2 ĐÁNH GIÁ DỰA TRÊN SỐ LIỆU THU THẬP ĐƢỢC 47
2.8 HUẤN LUYỆN DÒ TÌM KHUÔN MẶT 48
2.8.1 GIỚI THIỆU 48
2.8.2 HUẤN LUYỆN DÒ TÌM KHUÔN MẶT 48
2.9 QUÁ TRÌNH DÒ TÌM KHUÔN MẶT 49
CHƢƠNG 3: THỬ NGHIỆM VÀ KẾT QUẢ 50
3.1 MÔI TRƢỜNG THỬ NGHIỆM 50
3.2 KẾT QUẢ 52
3.3 NHẬN XÉT 53
3.4 GIAO DIỆN CHÍNH 53
3.5 MỘT SỐ MÀN HÌNH KẾT QUẢ VỀ. 54

CHƢƠNG 4: KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN 58
4.1 KẾT LUẬN 57
4.2 HƢỚNG PHÁT TRIỂN 57
4.2.1 ĐẶT VẤN ĐỀ 57
4.2.2 PHƢƠNG PHÁP THỰC HIỆN 58
1

PHẦN MỞ ĐẦU

1. Lý do chọn đề tài
Bài toán phát hiện mặt người được bắt đầu nghiên cứu từ những năm 1970,
và đã có rất nhiều công trình nghiên cứu về việc phát hiện mặt người trong ảnh, tuy
nhiên cho đến hôm nay do sự đa dạng và tính phức tạp của thực tế do đó giải pháp
toàn diện vẫn đang còn là một thách thức và đang trong giai đoạn nghiên cứu.
Gần đây, lĩnh vực nghiên cứu nhận dạng đang được quan tâm nhiều nhất là
nhận dạng khuôn mặt, vân tay, giọng nói …Trong đó phát hiện khuôn mặt chiếm
một vị trí đáng kể và cũng không kém quan trọng. Nó được ứng dụng trong nhiều
lĩnh vực cho các hệ thống an toàn bảo mật, hình sự…
Xuất phát từ nhu cầu thực tế khoa học kỹ thuật phát triển những ứng dụng của
nó trong đời sống trở nên phổ biến và tình hình tội phạm đang ngày càng phát triển,
tinh vi hơn, ứng dụng phát hiện người trong ảnh, camera trở nên quan trọng vì nó
giúp cho cơ quan an ninh nhanh chóng xác định được mục tiêu và hỗ trợ con người
trong việc cảnh báo và bảo mật thông tin.
Việc phát hiện khuôn mặt trong ảnh còn được dùng để đếm số người trong
ảnh, việc đếm số người này có ý nghĩa thực tiễn trong cuộc sống như xác định được
số lượng khách ra vào siêu thị, mật độ lưu thông trên đường…
Như chúng ta đã biết khuôn mặt đóng vai trò quan trọng trong quá trình giao
tiếp giữa người với người, và nó cũng mang một lượng thông tin trong đó như tuổi
tác, giới tính, trạng thái cảm xúc…Nếu chúng ta để ý hơn thì khi hai người đối diện
nói chuyện với nhau mình có thể biết người đó đang muốn nói cái gì. Do đó mà

phát hiện khuôn mặt là một lĩnh vực nghiên cứu hấp dẫn và được nhiều người quan
tâm.
2. Mục tiêu đề tài
Nghiên cứu các đặc trưng 3D trên mặt người và kỹ thuật rút trích đặc trưng 3D
phục vụ cho bài toán phát hiện mặt người. Trên cơ sở các kiến thức tìm hiểu được,
xây dựng thử nghiệm chương trình phát hiện mặt người trong ảnh theo tiếp cận 3D.
2


3. Phạm vi nghiên cứu
Trong luận văn này tôi hướng đến một tiếp cận mới hiệu quả cho việc giải
quyết bài toán phát hiện khuôn mặt trong ảnh mà không giải quyết bài toán nhận
dạng.
4. Những đóng góp mới của đề tài
Đề tài giới thiệu hướng tiếp cận mới nhằm áp dụng các ưu điểm của một số
phương pháp tiếp cận đã được nghiên cứu trước đó vào hướng tiếp cận mới 3D, góp
phần nâng cao khả năng xử lý phát hiện và nhận dạng khuôn mặt. Là một nỗ lực
nghiên cứu và tìm hiểu nhằm cung cấp nền tảng và tài nguyên cho các nghiên cứu
sâu hơn.
Với mục tiêu chính là tìm hiểu, nghiên cứu các đặc trưng 3D trên mặt người
và kỹ thuật rút trích đặc trưng 3D, đồng thời áp dụng để phục vụ cho bài toán phát
hiện mặt người trong ảnh, luận văn trình bày trong bốn chương với bố cục như sau:
Chƣơng 1: Tổng quan về phát hiện khuôn mặt trong ảnh: Giới thiệu tổng
quan về bài toán phát hiện mặt người trong ảnh, các ứng dụng, những khó khăn và
thách thức mới trong việc giải bài toán trên, đồng thời xác định phạm vi của đề tài,
cũng như xác định mục tiêu.
Chƣơng 2: Phát hiện khuôn mặt dựa vào đặc trƣng 3D: Nói chi tiết bài
toán phát hiện mặt người, các nghiên cứu và những kết quả đạt được của các nhà
nghiên cứu trước đây từ đó rút ra các hướng tiếp cận trong việc giải quyết bài toán
phát hiện mặt người trong ảnh. Đi sâu vào nghiên cứu các đặc trưng 3D và các kỹ

thuật rút trích đặc trưng 3D đó, cách áp dụng vào bài toán phát hiện khuôn mặt
trong ảnh.
Chƣơng 3: Thử nghiệm và kết quả: Xây dựng thử nghiệm chương trình phát
hiện mặt người trong ảnh theo tiếp cận dựa trên đặc trưng 3D. Nêu lên các phân tích
– thiết kế của chương trình.
Cuối cùng là Phần kết luận và hƣớng phát triển :Tóm tắt những kết quả đạt
được, những khó khăn, hạn chế và đưa ra hướng phát triển trong tương lai.
3

CHƢƠNG 1: TỔNG QUAN VỀ PHÁT HIỆN KHUÔN MẶT
1.1 Các khái niệm liên quan đến xử lý ảnh
Trong những năm gần đây, khái niệm ảnh kỹ thuật số đã trở nên thân thiện
với mọi người trong xã hội việc thu nhận ảnh và lưu trữ vào máy tính trở nên đơn
giản hơn bao giờ hết. Với điều kiện như vậy xử lý ảnh trở thành một lĩnh vực được
quan tâm và nghiên cứu bởi nhiều tác giả. Một câu hỏi mà mọi người đều muốn
hiểu, xử lý ảnh là gì?
1.1.1 Xử lý ảnh là gì?
Con người thu nhận thông tin qua các giác quan, trong đó thị giác đóng
vai trò quan trọng nhất. Việc phần cứng phát triển kéo theo đồ họa và xử lý ảnh
phát triển theo một cách mạnh mẽ, đã có nhiều ứng dụng trong cuộc sống. Quá
trình xử lý ảnh được xem là một quá trình thao tác trên ảnh đầu vào nhằm cho ra
một kết quả theo ý muốn. Kết quả đầu ra của một quá trình xử lý như vậy ảnh có
thể tốt hơn hoặc là một kết luận nào đó.

Hình 1.1 Mô phỏng quá trình xử lý ảnh
Một ảnh được xem là một tập hợp các điểm ảnh và mỗi điểm ảnh được xem là
đặc trưng cường độ ánh sáng hay một dấu hiệu nào đó tại một vị trí của đối tượng
trong không gian. Do đó ảnh trong xử lý ảnh có thể được xem là ảnh n chiều. Các
bước cơ bản trong một hệ thống xử lý ảnh:

Xử lý ảnh
Ảnh tốt hơn
Kết luận
4


Hình 1.2 Mô phỏng các bƣớc trong một hệ thống xử lý ảnh
1.1.2 Các khái niệm cơ bản
+ Ảnh và điểm ảnh: Điểm ảnh được xem là một dấu hiệu hay cường độ sáng
tại một tọa độ trong không gian của đối tượng và ảnh được xem là một tập
hợp các điểm ảnh.
+ Màu, mức xám: Là số giá trị có thể có của các điểm ảnh.
+ Khử nhiễu: Có hai loại nhiễu cơ bản là:
- Nhiều hệ thống: Là nhiễu có quy luật và có thể khử nhiễu bằng các
phép biến đổi.
- Nhiễu ngẫu nhiên: Là các vết không rõ nguyên nhân có thể khử
bằng các phép lọc.
+ Nén ảnh: Nhằm giảm thiểu không gian lưu trữ, thường được tiến hành theo
cả hai khuynh hướng là nén có bảo toàn và nén không bảo toàn thông tin.
+ Phân tích ảnh: là khâu quan trọng trong quá trình xử lý ảnh nhằm tiến tới
hiểu ảnh. Trong quá trình phân tích việc trích chọn các đặc điểm là bước
quan trọng.
+ Chỉnh mức xám: Nhằm khắc phục tính không đồng đều của hệ thống. Có
hai cách tiếp cận cơ bản:
- Giảm số mức xám: Thực hiện bằng cách nhóm các mức xám gần
nhau thành một mức chung.
Ảnh đầu vào
Tiền xử lý
Phân đoạn
Hậu xử lý

Kết luận
Hỗ trợ ra
quyết định
Lưu trữ
5

- Tăng số mức xám: Thực hiện nội suy ra các mức xám trung gian
bằng kỹ thuật nội suy. Kỹ thuật này nhằm tăng cường độ mịn cho
ảnh.
1.2 Bài toán phát hiện khuôn mặt
1.2.1 Giới thiệu
Trong cuộc sống những ứng dụng về nhận dạng khuôn mặt đang được chú
tâm phát triển. Đây là lớp bài toán để giải quyết trong hệ thống máy và quan sát
đám đông. Để nhận dạng được khuôn mặt trong ảnh thì vấn đề cốt lõi là làm sao
phát hiện ra khuôn mặt đó trong ảnh, trước khi nhận dạng nó là ai, là cái gì…Và
vấn đề phát hiện khuôn mặt trong ảnh là cần thiết cho bất cứ hệ thống xử lý nhận
dạng khuôn mặt như xác thực người dùng, xác định các thành phần đặc trưng của
khuôn mặt,…
Cốt lõi trong hệ thống phát hiện mặt người là xác định xem có khuôn mặt
người trong ảnh đầu vào hay không và nếu có thì chỉ ra vị trí, kích thước khuôn
mặt có trong ảnh đó.
Trong gần hai thập kỷ gần đây, vấn đề này được các nhà khoa học trên thế
giới quan tâm nghiên cứu về bài toán phát hiện khuôn mặt người trong ảnh, từ
ảnh đen trắng, xám đến ảnh màu và trong chuỗi ảnh video. Tuy nhiên do sự đa
dạng và tính phức tạp của thực tế do đó giải pháp toàn diện vẫn đang còn là một
thách thức và đang trong giai đoạn nghiên cứu. Xuất phát từ yêu cầu thực tế trên
người thực hiện đã tìm hiểu và tập trung vào vấn đề nghiên cứu để phát hiện mặt
người trong ảnh dựa vào đặc trưng 3D.
1.2.2 Bài toán phát hiện khuôn mặt trong ảnh
Bài toán phát hiện mặt người là hệ thống nhận vào là một ảnh hoặc một

đoạn video, qua xử lý trên máy tính thuật toán xác định được tất cả vị trí, kích
thước khuôn mặt người trong ảnh đó, nhưng sẽ bỏ qua những thứ khác như ngôi
nhà, mặt con vật, cơ thể con người ,…


6

















Hình 1.3 Ví dụ hệ thống phát hiện khuôn mặt





Hệ thống phát hiện

khuôn mặt trong ảnh
7

1.2.3 Những khó khăn và thách thức trong quá trình phát hiện khuôn
mặt
Tuy được nghiên cứu từ những năm 70 nhưng do đây là một bài toán khó
nên những nghiên cứu từ đó đến nay vẫn chưa đạt kết quả mong muốn, vì vậy
việc xác định khuôn mặt trong ảnh có những khó khăn nhất định:
- Nét mặt trong quá trình chụp hình sẽ khác nhau tùy thuộc vào tâm trạng
của của người đó như lúc vui, buồn,…do đó khuôn mặt sẽ không giống
với trạng thái mẫu lý tưởng.
- Hướng của khuôn mặt đối với máy ảnh khi chụp: như nhìn thẳng, nhìn
nghiên, dó đó cùng trong một ảnh mà có nhiều khuôn mặt ở nhiều tư thế
khác nhau.
- Điều kiện chụp ảnh thiếu ánh sáng làm cho chất lượng ảnh kém hoặc
chụp ngược ánh sáng.
- Trong quá trình chụp ảnh khuôn mặt bị che bởi một số vật chắn.
- Sự có mặt của các chi tiết đi kèm với khuôn mặt như mắt kính, khảo
trang,…
Từ những khó khăn cơ bản được nêu ở trên chứng tỏ rằng bất cứ thuật
toán xác định khuôn mặt nào cũng gặp phải những khuyết điểm nhất định. Do
vậy để so sánh với các thuật toán xác định mặt người khác ta thường dựa trên các
tiêu chí đánh giá sau:
- Tỷ lệ phần trăm về vị trí xác định chính xác khuôn mặt, có xác định được
tất cả khuôn mặt có trong ảnh không để so sánh với số lượng thực tế
khuôn mặt trong ảnh đó.
- Tổng thời gian để máy tính xác định được tất cả các khuôn mặt trong ảnh.
1.2.4 Các lĩnh vực ứng dụng bài toán phát hiện khuôn mặt
Xác định mặt người là một phần của hệ thống nhận dạng khuôn mặt. Nó
được dùng trong giám sát video, giao tiếp giữa người và máy, các ứng dụng cơ

bản của xác định khuôn mặt có thể kể đến là:

8

1.2.4.1 Hệ thống quan sát và theo dõi hành vi
Hệ thống quan sát và theo dõi hành vi sử dụng camera để xác định đâu
là con người và theo dõi người đó có xâm nhập bất hợp pháp vào một khu vực
nào đó hay không. Hoặc dựa vào ảnh của một người để nhận dạng xem họ có
phải là tội phạm hay không bằng cách so sánh với các ảnh tội phạm được lưu
trữ trước đó và đưa ra cảnh báo giúp cơ quan an ninh quản lý tốt con người.
1.2.4.2 Hệ thống tƣơng tác giữa ngƣời và máy
Sử dụng các biểu cảm của khuôn mặt như nháy mắt để giúp những
người bị bại liệt có thể giao tiếp với máy tính từ đó thể hiện được những gì họ
đang muốn. Ngoài ra giúp những người bị tật hoặc khiếm khuyết có thể dùng
ngôn ngữ tay chân trao đổi giao tiếp với những người bình thường
1.2.4.3 Bảo mật
Ứng dụng phát hiện khuôn mặt trong ảnh vào bảo mật rất đa dạng, một
trong số đó là hệ thống nhận dạng mặt người của laptop, với hệ thống này cho
phép chủ nhân của máy tính ngồi trước webcam là có thể đăng nhập được.
Điều kiển ra vào công ty, văn phòng… kết hợp với nhận dạng vân tay để cho
phép từng người ra vào khu vực mà họ được phép.
Xác định mặt người có thể được ứng dụng trong các trạm rút tiền tự
động (ATM) để lưu trữ khuôn mặt của người rút tiền, nhằm giảm hiện tượng
bị rút trộm tiền rồi đổ lỗi cho ngân hàng.

Hình 1.4 Một hệ thống kiểm soát vào/ra dựa vào kỹ thuật phát hiện mặt ngƣời
9

1.2.4.4 Một số ứng dụng khác
Tại Mỹ cơ quan an ninh sân bay xuất nhập cảnh sử dụng camera quan

sát để xác thực người nhập cảnh mục đích để kiểm tra xem người đó có phải là
phần tử khủng bố hay tội phạm không.
- Kiểm tra trạng thái của tài xế có mất cảnh giác hay ngủ gật khi đang lái xe
không để ra thông báo hỗ trợ khi cần thiết.
- Hệ thống tìm kiếm dữ liệu liên quan đến con người thông qua ảnh khuôn
mặt hay đoạn video.
- Một số hãng sản xuất máy chụp ảnh như Canon, fuijfilm đã ứng dụng thuật
toán xác định mặt người trong ảnh vào máy chụp hình của mình để cho kết quả
ảnh tại vị trí khuôn mặt đẹp và rõ hơn hơn .
- Hiện nay số lượng người bị mất thẻ và mã PIN ngày càng nhiều, và một số
chủ tài khoản thì tham rút tiền rồi nhưng báo là bị rút trộm tiền. Ứng dụng
trong hệ thống ATM để lưu trữ khuôn mặt người rút tiền sẽ giúp cho ngân
hàng dễ xử lý và đối chứng hơn.
1.3 Các phƣơng pháp phát hiện mặt ngƣời trong ảnh
Theo Ming-Hsuan Yang [28], dựa vào tính chất của các phương pháp có thể
phân loại các phương pháp phát hiện khuôn mặt trong ảnh thành 4 nhóm chủ
sau:

Hình 1.5 Mô hình tổng quát các phƣơng pháp giải quyết phát hiện mặt ngƣời
10

1.3.1 Phƣơng pháp tiếp cận dựa trên các luật tri thức
Nhóm phương pháp này chủ yếu dựa trên các luật được người nghiên cứu
định nghĩa trước về khuôn mặt. Những thuộc tính được định nghĩa thường có
mối quan hệ giữa các thành phần trên khuôn mặt. Một số nghiên cứu áp dụng
theo hướng tiếp cận này như G .Yang 1994 [10], Kotropoulos 1997 [5].
Hình 1.6 Phƣơng pháp sử dụng đa độ phân giải
Ảnh a có độ phân giải n=1, b=4, c=8, d= 16.
Trong phương pháp tiếp cận này, người nghiên cứu sẽ đưa ra các tập luật dựa
vào tri thức mà họ thu nhận được và cách làm thế nào để chuyển tri thức con

người sang các tập luật. Đây là hướng tiếp cận dạng top – down, đại diện nhà
nghiên cứu Yang đã sử dụng cách tiếp cận này để xác định khuôn mặt trong ảnh.
Hệ thống của tác giả sử dụng ba mức tập luật. Ở mức đầu tiên tác giả đã dùng
một khung cửa sổ quét trên toàn ảnh thông qua một tập luật để tìm các đối tượng
được cho là khuôn mặt. Qua mức thứ hai tác giả đã sử dụng một tập luật khác để
mô tả tổng quát hình thể khuôn mặt. Mức cuối cùng tác giả sử dụng tập luật khác
để phân tích chi tiết các đặc trưng được xác định ở bước hai. Hệ thống đa độ
phân giải có thứ tự được dùng để xác định hình 1.6. Các luật ở mức cao dùng để
tìm các ứng viên như là vùng trung tâm khuôn mặt, phần xung quanh bên trên
của một khuôn mặt, mức độ khác nhau giữa các giá trị xám trung bình của phần
vùng trung tâm và phần bao xung quanh bên trên. Sang mức thứ hai, xem xét
biểu đồ của các ứng viên để loại bớt ứng viên nào không phải là khuôn mặt, đồng
thời dò ra cạnh bao xung quanh các ứng viên đó. Ở mức cuối cùng, những ứng
viên nào còn lại sẽ được xem xét các đặc trưng của khuôn mặt về mắt, mũi và
miệng, hai ông đã dùng chiến thuật làm rõ dần để giảm bớt số lượng tính toán xử
lý.
11


Hình 1.7 Tri thức của chuyên gia nghiên cứu phân tích trên khuôn mặt
Pitas và Kotropoulos đưa ra một phương pháp dùng trên độ phân giải thấp.
Hai tác giả dùng phương pháp chiếu để xác định các đặc trưng khuôn mặt.
Phương pháp này được thể hiện như sau:
Gọi I(x,y) là giá trị mức xám của một điểm ảnh có kích thước m x n tại vị trí
(x,y) các hàm chiếu ảnh theo phương ngang và thẳng đứng được định nghĩa như
sau:
HI(x)=





và VI(y)=




(1.1)

Hình 1.8 Mô tả phƣơng pháp chiếu
a) Ảnh có khuôn mặt và nền đơn giản
b) Ảnh có khuôn mặt và nền khá phức tạp
c) Ảnh có quá nhiều khuôn mặt
Dựa vào biểu đồ phương ngang ta thấy có hai giá trị cực tiểu cục bộ khi hai
tác giả đang xét quá trình thay đổi độ dốc của HI đó chính là cạnh bên trái và bên
12

phải của hai bên đầu. Tương tự với phương chiếu thẳng đứng VI các cực tiểu cục
bộ cũng cho ta biết vị trí miệng, mũi và hai mắt. Với các đặc trưng này đã đủ để
xác định khuôn mặt.
Chicote và Mateos dùng kết cấu để xác định ứng viên trong ảnh màu, sau đó
phân tích hình dáng , kích thước và thành phần khuôn mặt để xác định khuôn
mặt. Khi tìm được ứng viên khuôn mặt, hai tác giả trích ra các ứng viên của từng
thành phần khuôn mặt, sau đó dùng phép chiếu ở trên chiều từng phần để xác
thực lại lần nữa đó có phải là thành phần khuôn mặt hay không hình 1.9.

Hình 1.9 Chiếu từng phần ứng viên để xác thực thành phần khuôn mặt
1.3.2 Phƣơng pháp tiếp cận dựa trên các đặc trƣng bất biến
Với nhóm phương pháp này tác giả tập trung tìm các đặc trưng không phụ
thuộc vào tư thế của khuôn mặt, cũng như điều kiện về ánh sáng trong ảnh. Các
đặc trưng này sẽ được gọi là bất biến. Một số nghiên cứu áp dụng theo hướng

tiếp cận này như K. C. Yow và R. Cipolla 1997[22], T. K. Leung 1995[32]. Đây
là hướng tiếp cận theo kiểu bottom – up. Dựa trên nhận xét trong thực tế, con
người dễ dàng nhận biết khuôn mặt trong các khuôn mặt khác nhau và điều kiện
ánh sáng khác nhau, do đó khuôn mặt sẽ phải có các thuộc tính hay đặc trưng
không thay đổi nào đó. Theo các nghiên cứu thì đầu tiên phải xác định được các
đặc trưng khuôn mặt rồi chỉ ra có khuôn mặt trong ảnh hay không. Các đặc trưng
như: lông mày, mắt, mũi, miệng và đường viền của tóc được rút trích bằng
phương pháp xác định cạnh. Trên cơ sở các đặc trưng này sẽ xây dựng được mô
hình thống kê để mô tả quan hệ của các đặc trưng này và xác định sự tồn tại của
khuôn mặt trong ảnh. Một khuyết điểm mà thuật toán theo hướng tiếp cận này
13

phải làm là điều chỉnh lại độ sáng ảnh cho phù hợp, giảm nhiễu và bị che khuất.
Vì bóng của khuôn mặt sẽ tạo thêm một cạnh mới mà cạnh này lại rõ hơn cạnh
thật của khuôn mặt do đó nếu dùng cạnh để xác định sẽ bị sai.
1.3.2.1 Các đặc trƣng khuôn mặt
Sirohey đưa ra một phương pháp xác định khuôn mặt từ một ảnh có
hình nền phức tạp [18]. Đây là phương pháp dựa trên đường biên và phương
pháp Candy và heuristics để loại bỏ các cạnh để còn lại duy nhất đường bao
xung quanh khuôn mặt. Dùng một hình ellipse để bao khuôn mặt, tách biệt
vùng đầu và hình nền.
Graf đưa ra một phương pháp xác định các đặc trưng rồi xác định
khuôn mặt trong ảnh xám. Dùng bộ lọc để làm nổi biên, sau đó sử dụng các
phép toán hình thái học để làm nổi bật các vùng có cường độ cao và hình dáng
chắc chắn. Thông qua biểu đồ tìm ra các thành phần nổi bật rồi xác định các
ngưỡng để chuyển ảnh xám thành hai ảnh nhị phân. Các thành phần dính nhau
đều xuất hiện trong ảnh nhị phân thì được xem là vùng ứng viên khuôn mặt để
phân tích xem có phải là khuôn mặt hay không.
Leung đưa ra một mô hình xác suất để xác định khuôn mặt trong ảnh có
hình nên phức tạp dựa trên việc tìm kiếm các đặc trưng không thay đổi của

khuôn mặt trong ảnh, sau đó dùng đồ thi ngẫu nhiên để xác định khuôn mặt.
Phương pháp này xem bài toán xác định khuôn mặt là bài toán tìm kiếm thứ tự
các đặc trưng không thay đổi của khuôn mặt. Ông đã dùng 2 cặp đặc trưng
mắt, mũi và miệng để mô tả khuôn mặt. Đồng thời tính khoảng cách cho tất cả
các cặp đặc trưng sau đó dùng phân bố Gauuss để mô hình hóa. Với mỗi mẫu
khuôn mặt đưa ra được thông qua trung bình tương ứng cho một tập đa hướng,
đa tỷ lệ của đạo hàm Gauuss. Từ một ảnh, các đặc trưng của ứng viên được
xác định bằng cách so khớp từng điểm ảnh khi lọc tương ứng với vector mẫu.
Từ các đặc trưng không thay đổi này, các đặc trưng khác sẽ được xác định
thông qua sự đánh giá xác suất khoảng cách giữa các đặc trưng.
Bên cạnh khoảng cách để mô tả quan hệ giữa các đặc trưng như Leung.
Kendall[8], Mardia and Dryden[24] dùng lý thuyết xác suất thống kê về hình
dáng, dùng hàm mật độ xác suất qua N điểm đặc trưng, tương ứng tại I(x, y)
14

giả sử phân bố Gauss có 2N chiều, hai tác giả đã áp dụng phương thức cực đại
khả năng để xác định vị trí khuôn mặt, ưu điểm của phương pháp này là các
khuôn mặt bị che có thể phát hiện được.
Juan và Narciso xây dựng một không gian màu mới YCg’Cr’ để lọc các
vùng là ứng viên khuôn mặt dựa trên sắc thái của màu da người. Sau khi có
ứng viên, hai ông dùng các quan hệ về hình dáng khuôn mặt, mức độ cân đối
của các thành phần khuôn mặt để xác định khuôn mặt người. Tương tự,
Chang, Hwang và Jin xây dựng một bộ lọc để xác định ứng viên khuôn mặt
người theo màu da người. Từ ứng viên này tác giả xác định khuôn mặt người
theo hình dáng khuôn mặt và các quan hệ đặc trưng về thành khuôn mặt, với
mắt phải được chọn làm gốc tọa độ để xét quan hệ.
1.3.2.2 Đặc trƣng kết cấu
Khuôn mặt luôn có những đặc trưng kết cấu riêng biệt mà có thể dùng
phân loại so với các đối tượng khác, có ba loại đặc trưng được xem xét: màu
da, tóc và những thứ khác. Augusteijin và Skufca dùng mạng nơ ron về mối

tương quan cascade cho phân loại có giám sát các kết cấu và một ánh xạ đặc
trưng tự thực hiện để gom nhóm các lớp kết cấu khác nhau.
Mark và Andrew dùng phân bố màu da và thuật toán Difference of
Gauss để tìm các ứng viên, rồi xác thực bằng một hệ thống học kết cấu của
khuôn mặt. Manian và Ross dùng biến đổi wavelet để xây dựng tập dữ liệu kết
cấu của khuôn mặt trong ảnh xám thông qua nhiều độ phân giải khác nhau, kết
hợp với xác suất thống kê để xác định khuôn mặt trong ảnh.
1.3.2.3 Đặc trƣng sắc màu của da
Mục đích của việc sử dụng đặc trưng sắc màu của da là để giảm thiểu
dữ liệu của vùng ứng viên có thể là khuôn mặt.
1.3.2.4 Đa đặc trƣng
Yachida đưa ra phương pháp xác định khuôn mặt trong ảnh màu bằng
lý thuyết logic mờ. Ông dùng hai mô hình mờ để mô tả phân bố màu da và
màu tóc trong không gian màu CIE XYZ. Có năm mô hình dùng để mô tả hình
dáng của mặt trong ảnh. Mỗi mô hình là một mẫu hai chiều bao gồm các ô
15

vuông kích thước m x n, mỗi ô có thể chứa nhiều hơn một điểm ảnh. Hai thuộc
tính được gán trên mỗi ô là tỷ lệ màu da và tỷ lệ tóc so với diện tích của ô.
Mỗi điểm ảnh sẽ được phân loại thành tóc, khuôn mặt, tóc/khuôn mặt và
tóc/nền và phân bố đều trên mô hình, với cách làm như vậy sẽ có các vùng
giống khuôn mặt và giống tóc. Mô hình hình dáng của đầu sẽ được so sánh với
vùng giống khuôn mặt và giống tóc này.
Pitas và Sobottke dùng các đặc trưng về hình dáng và màu sắc để xác
định khuôn mặt. Hai tác giả dùng một ngưỡng để phân đoạn ảnh trong không
gian màu HSV để xác định các vùng có thể là màu da người. Các thành phần
liên kết với nhau sẽ được xác định bằng thuật toán tăng vùng ở độ phân giải
thấp. Sau khi phân đoạn ảnh sẽ tìm ứng viên vừa khớp với hình ellipse chọn
làm ứng viên của khuôn mặt. Từ ứng viên này sẽ sử dụng các đặc trưng bên
trong như mắt, mũi , được trích ra trên cơ sở vùng mắt và miệng sẽ tối hơn

các vùng khác, sau cùng phân loại dựa trên mạng nơ ron để biết vùng ứng viên
nào là khuôn mặt thật sự.
1.3.3 Phƣơng pháp tiếp cận dựa trên đối sánh mẫu
Nhóm phương pháp này nghiên cứu kỹ thuật đối sánh mẫu dựa trên sự đối
sánh khuôn mặt nhận được với các mẫu được xây dựng trước bằng cách quét qua
toàn bộ ảnh và tính toán giá trị tương đồng cho mỗi vị trí. Một số nghiên cứu
điển hình theo hướng tiếp cận này như I.Craw 1992[15], A. Lanitis 1995[1].
Trong hướng tiếp cận này, các mẫu khuôn mặt sẽ được xác định trước
hoặc xác định các tham số thông qua một hàm nào đó. Từ một ảnh đầu vào tính
ra các giá trị tương quan so với các mẫu chuẩn về đường viền khuôn mặt, mắt,
mũi và miệng. Thông qua các giá trị này tác giả quyết định có hay không có
khuôn mặt trong ảnh.
1.3.3.1 Xác định mẫu trƣớc
Sakai đã cố gắng thử xác định khuôn mặt người được chụp thẳng đứng
trong ảnh. Ông dùng mẫu về con mắt, mũi, miệng và đường viên khuôn mặt để
mô hình một khuôn mặt. Một mẫu con được định nghĩa trong giới hạn các
đoạn thẳng. Các đường thẳng trong ảnh được trích bằng phương pháp xem xét