LUẬN VĂN: TRÍCH CHỌN ĐẶC TRƯNG TRÊN KHUÔN MẶT NGƯỜI pdf

ĐẠI HỌC CÔNG NGHỆ
ĐẠI HỌC QUỐC GIA HÀ NỘI





Nguyễn Thành Trung


TRÍCH CHỌN ĐẶC TRƯNG TRÊN KHUÔN MẶT
NGƯỜI



KHÓA LUẬN TỐT NGHIỆP HỆ CHÍNH QUY

Ngành: Công Nghệ Thông Tin



Hà Nội – 2010
ĐẠI HỌC CÔNG NGHỆ
ĐẠI HỌC QUỐC GIA HÀ NỘI




Nguyễn Thành Trung

TRÍCH CHỌN ĐẶC TRƯNG TRÊN KHUÔN MẶT

NGƯỜI


KHÓA LUẬN TỐT NGHIỆP HỆ CHÍNH QUY


Ngành: Công Nghệ Thông Tin
GV hướng dẫn: PGS.TS. Bùi Thế Duy




Hà Nội – 2010
Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung


i


Lời cảm ơn

Trước tiên, em xin gửi lời cảm ơn sâu sắc nhất đến thầy Bùi Thế Duy, người đã
không quản vất vả hướng dẫn em trong suốt thời gian làm khóa luận tốt nghiệp vừa
qua. Em cũng xin chân thành cảm ơn các anh chị, thầy cô trong phòng tương tác người
- máy đã luôn chỉ bảo mỗi khi em có những vấn đề vướng mắc.
Em xin bày tỏ lời cảm ơn sâu sắc đến các thầy cô giáo trong Trường Đại Học Công
Nghệ đã tận tình dạy dỗ em suốt bốn năm học qua.
Con xin cảm ơn bố, mẹ và gia đình đã luôn bên con, cho con động lực để làm việc
tốt hơn. Cảm ơn tất cả bạn bè đã luôn sát cánh cùng tôi.

Hà Nội, ngày 20 tháng 5 năm 2010
Nguyễn Thành Trung













Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung


ii



Tóm tắt


Bài toán trích chọn đặc trưng trên ảnh mặt người là bài toán cơ bản và quan trọng
trong nhóm các bài toán về xử lý ảnh mà đầu vào là ảnh 2D. Đầu ra của nó được sử
dụng làm đầu vào cho bài toán nhận dạng mặt, nhận dạng cảm xúc, Trong khóa luận
này chúng tôi đưa ra một phương pháp lai và xây dựng hệ thống áp dụng phương pháp
lai này nhằm mục đích nhận dạng các điểm đặc trưng trong các bức ảnh mặt người

thông qua hướng tiếp cận trích chọn đặc trưng hình học. Hệ thống của chúng tôi đã
được xây dựng hoàn chỉnh và các kết quả chạy thử nghiệm trên bộ dữ liệu Cohn –
Kanade thu được là khả quan.


Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung


iii


Mục lục

Lời cảm ơn i
Tóm tắt ii
Mục lục iii
Danh sách hình vẽ v
Danh sách bảng vii
Chương 1 Giới thiệu 1
Chương 2 Phát hiện khuôn mặt người trong ảnh 2D 3
2.1 Giới thiệu 3
2.2 Tổng quan về công nghệ phát hiện khuôn mặt 3
2.2.1 Chiến lược phát hiện khuôn mặt 3
2.2.2 Xác định hướng quay của đầu 5
2.2.3 Một số phương pháp dùng phát hiện khuôn mặt 7
2.3 Nhận dạng khuôn mặt dùng đặc trưng giống Haar và Adaboost 8
2.3.1 Cơ sở lý thuyết đặc trưng giống Haar 8
2.3.2 Phương pháp học máy Adaboost 9
Chương 3 Tổng quan về các phương pháp trích chọn đặc trưng 13
3.1 Các hướng tiếp cận 13

3.2 Phương pháp trích chọn đặc trưng hình học 14
3.2.1 Tổng quan 14
3.2.1 Xác định các điểm đặc trưng trên khuôn mặt 14
3.2.2 Phát hiện hình dáng các bộ phận trên khuôn mặt 16
3.2.3 Nhân trắc học và áp dụng với phương pháp trích chọn đặc trưng hình học 17
3.3 Trích chọn đặc trưng diện mạo 19
3.3.1 Tổng quan 19
3.3.2 Mã LBP 19
3.3.3 Bộ lọc Gabor 23
Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung


iv


Chương 4 Xây dựng hệ thống nhận dạng các điểm đặc trưng 25
4.1 Tổng quan về hệ thống 25
4.2 Thiết kế hệ thống 27
4.3 Thực nghiệm 33
4.3.1 Phát hiện khuôn mặt trong ảnh 33
4.3.2 Xác định các vùng đặc trưng 36
4.3.3 Xác định 6 điểm đặc trưng 41
4.3.3 Xác định 14 điểm đặc trưng 46
Chương 5 Tổng kết và hướng phát triển 55
Tài liệu tham khảo 56
Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung


v

Danh sách hình vẽ

Hình 1 Xác định đường cắt của đầu. 6
Hình 2  Ví dụ về 3 hướng quay của đầu. 7
Hình 3 – Ảnh tích hợp 9
Hình 4  Sơ đồ hệ thống nhận dạng khuôn mặt. 10
Hình 5  Hệ thống nhận dạng khuôn mặt. 12
Hình 6  Lặp để xác định ngưỡng trên cửa sổ tìm kiếm 14
Hình 7  Phép chiếu toàn bộ 15
Hình 9  Sơ đồ hệ thống tự động xác định điểm đặc trưng. 16
Hình 10 – Mô hình nhiều trạng thái với mặt trực diện. 17
Hình 11 – Mô hình nhân trắc học của mặt (a) Các điểm mốc, (b) Khoảng cách. 18
Hình 12 - Ví dụ về LBP và độ tương phản cục bộ C 20
Hình 13 - Tập hợp các điểm xung quanh P
tt
. 20
Hình 14 – Phần thực của bộ lọc Gabor với 5 tần xuất và 8 hướng với w
max
= /2, hàng ứng với sự thay đổi tần
suất, cột ứng với sự thay đổi hướng. 23
Hình 15 – Một ví dụ về ảnh sau khi nhân xoắn với 48 bộ lọc Gabor 24
Hình 16 – 20 điểm đặc trưng. 25
Hình 17 – Hệ thống nhận dạng 20 điểm đặc trưng. 27
Hình 18 – Vị trị, kích thước con ngươi. 28
Hình 19 – Các vùng đặc trưng trên khuôn mặt. 29
Hình 20 – Thuật toán 2 đỉnh. 30
Hình 21 – Xác định đường biên chính bằng thuật toán đồ thị liên thông. 31
Hình 22 – Một số ví dụ phát hiện khuôn mặt bằng đặc trưng giống Haar trên hệ cơ sở dữ liệu Conh – Kanade . 36
Hình 23 – Kết quả nhận dạng khuôn mặt thời gian thực (sử dụng camera). 36

Hình 24 – Chia khuôn mặt thành 3 phần. 37
Hình 25 – Một số ví dụ về xác định vùng mắt phải. 39
Hình 26 – Một số ví dụ về xác định vùng mắt trái 40
Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung


vi


Hình 27 – Một số ví dụ xác định vùng miệng (a) đúng, (b) sai. 41
Hình 28 – Đánh dấu hàng có histogram lớn nhất. 41
Hình 29 – Xác định vị trí mống mắt bằng histogram. 42
Hình 32 – Xác định mống mắt là tâm vùng đặc trưng. 42
Hình 31 – Một ví dụ dùng thuật toán phát hiện cạnh Canny sau khi lấy ngưỡng. 43
Hình 32 – Ví dụ về xác định 2 lỗ mũi. 43
Hình 33 – Xác định đường mép bằng histogram (a)Trường hợp chính xác, (b) Trường hợp không chính xác. 44
Hình 34 – Ví dụ lấy ngưỡng trong khoảng [5 50] 45
Hình 35 – Ví dụ xác định cạnh bằng thuật toán Canny. 45
Hình 36 – Ví dụ xác định 2 điểm khóe miệng. 46
Hình 37 – Thực nghiệm 8 điểm đặc trưng. 46
Hình 38 – Ví dụ về xác định 8 điểm đặc trưng. 54
Nhận dạng các điểm đặc trưng trên khuôn mặt người Nguyễn Thành Trung


vii


Danh sách bảng

Bảng 1 – Tỷ lệ khoảng cách giữa các mốc. 18

Bảng 2 – Danh sách các điểm đặc trưng. 26
Bảng 3 - Bộ cơ sở dữ liệu Cohn – Kanade. 34
Bảng 4 – Kết quả nhận dạng khuôn mặt trên bộ cơ sở dữ liệu Cohn – Kanade. 35
Bảng 5 – Các bộ phân lớp cascade. 38
Bảng 6 – Kết quả xác định vùng mắt phải. 39
Bảng 7 – Kết quả xác định vùng mắt trái. 39
Bảng 8 – Kết quả xác định vùng miệng. 40
Bảng 9 – Kết quả nhận dạng điểm mống mắt 42
Bảng 10 – Kết quả nhận dạng 2 lỗ mũi. 43
Bảng 11 – Kết quả xác định 2 khóe miệng 44
Bảng 12 – Danh sách kích thước ảnh mẫu kiểm tra 50
Bảng 13 – Sai số trung bình. 53
Bảng 14 – Kết quả xác định 2 điểm P7,P8 với 10 mẫu. 54






Chương 1. Giới thiệu Nguyễn Thành Trung


1


Chương 1
Giới thiệu

Trong tất cả các nền văn minh từ trước đến nay, giao tiếp là một hoạt động không
thể thiếu, nó xuất hiện mọi nơi mọi lúc, trong mọi lĩnh vực và ảnh hưởng trực tiếp tới

cuộc sống của từng cá thể. Giao tiếp là một nhu cầu xã hội cơ bản, nó xuất hiện sớm
nhất trong đời sống của mỗi người và là yếu tố ảnh hưởng trực tiếp tới quá trình hình
thành lên tâm sinh lý của con người. Hơn thế nữa, giao tiếp giúp con người có thể
truyền tải thông tin, học hỏi tri thức và thể hiện cảm xúc. Nhờ có giao tiếp làm cho con
người văn hóa, xã hội văn minh và đất nước phát triển. Nhận thấy tầm quan trọng của
hoạt động giao tiếp nên con người đã bỏ rất nhiều thời gian và công sức vào nghiên
cứu yếu tố quyết định thành công của việc giao tiếp, không chỉ trong lĩnh vực giao tiếp
giữa con người với con người, mà ngày nay con người đã bắt đầu nghiên cứu về các hệ
thống tương tác người – máy. Mặt khác, trong giao tiếp thì khuôn mặt là nơi con người
thể hiện suy nghĩ, tình cảm, thái độ nên để con người và máy tính có thể tương tác với
nhau tự nhiên hơn thì các hệ thống được xây dựng dựa trên nền tảng là những thay đổi
của khuôn mặt. Muốn xác định được các thay đổi đó cần trích chọn được ra các yếu tố
riêng biệt của từng khuôn mặt, trên khía cạnh đó bài toán Trích chọn đặc trưng trên
khuôn mặt ra đời là động lực to lớn thúc đẩy sự phát triển của các hệ thống tương tác
người – máy tự động. Là một bài toán cơ bản và đã có rất nhiều các giải pháp trích
chọn đặc trưng khác nhau được đưa ra nhưng hầu hết các giải pháp trước đó đều gặp
khó khăn trong việc xử lý các bức ảnh khuôn mặt với độ phân giải khác nhau hay với
những điều kiện ánh sáng không thuận lợi. Trong khóa luận này, chúng tôi sẽ trình bày
về phương pháp lai để xác định các điểm đặc trưng trên khuôn mặt. Phương pháp lai
này sẽ khắc phục được những khó khăn mà các phương pháp trước đó gặp phải như
ảnh hưởng của điều kiện ánh sáng hay một số nhiễu trong ảnh. Dựa vào phương pháp
lai này chúng tôi xây dựng lên một hệ thống để xác định 20 điểm đặc trưng, hệ thống
đã được chạy thử nghiệm trên bộ dữ liệu Cohn – Kanade và cho kết quả khả quan.
Phần còn lại của khóa luận được trình bày như sau: tại Chương 2 chúng tôi giới thiệu
tổng quan về bài toán phát hiện khuôn mặt người trong ảnh 2D. Tiếp theo, chúng tôi
Chương 1. Giới thiệu Nguyễn Thành Trung


2

trình bày tổng quan về các phương pháp trích chọn đặc trưng trên khuôn mặt người
trong Chương 3. Sau đó, tại Chương 4 chúng tôi trình bày về hệ thống nhận dạng các
đặc trưng trên khuôn mặt của mình. Cuối cùng là phần tổng kết, đánh giá và hướng
phát triển chúng tôi trình bày trong Chương 5.

Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung


3


Chương 2
Phát hiện khuôn mặt người trong ảnh 2D
2.1 Giới thiệu
Bài toán trích trọn đặc trưng trên ảnh khuôn mặt người đã được quan tâm từ khá lâu do
có rất nhiều ứng dụng như: Sử dụng trong hệ thống nhận dạng cảm xúc, hệ thống
tương tác giữa người và máy (điều khiển máy tính qua các cử động của khuôn mặt), hệ
thống nhận dạng người (giúp cho các cơ quan an ninh quản lý con người), hệ thống
quan sát theo dõi như hệ thống quản lý việc ra vào cho các cơ quan và công ty, hệ
thống kiểm tra người lái xe có ngủ gật hay không, hệ thống phân tích cảm xúc trên
khuôn mặt, hệ thống nhận dạng khuôn mặt cho các máy ảnh kỹ thuật số,
Ngày nay, đã có rất nhiều các phương pháp trích chọn đặc trưng với những cách thức
rất khác nhau nhưng tất cả các phương pháp đó đều bao gồm hai công đoạn chính là:
 Phát hiện khuôn mặt người trong ảnh,
 Trích chọn đặc trưng.
Để hiểu rõ hơn về bài toán trích chọn đặc trưng và các công đoạn trong bài toán trích
chọn đặc trưng, đầu tiên chúng tôi sẽ trình bày tổng quan về công nghệ phát hiện
khuôn mặt trong ảnh 2D.
2.2 Tổng quan về công nghệ phát hiện khuôn mặt

2.2.1 Chiến lược phát hiện khuôn mặt
Hiện nay có rất nhiều phương pháp nhận dạng khuôn mặt người, dựa vào các tính chất
của các phương pháp, ta có thể chia ra làm hai hướng tiếp cận chính như sau:
Hướng tiếp cận dựa trên đặc trưng cơ bản
Đây là phương pháp dựa chủ yếu trên những hiểu biết của con người về khuôn mặt. Ví
dụ như những bộ phận trên khuôn mặt mắt, mũi, miệng, ngoài ra còn có thể về hình
Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung


4


dạng, đường nét hay cấu tạo của khuôn mặt. Trong phướng pháp này có 2 chiến lược
tiếp cận khác nhau là:
Từ dưới lên (Bottum-up): Cố gắng xác định từng đặc trưng riêng biệt sau đó nhóm
chúng lại với nhau và kiểm tra lại. Phương pháp này có ưu điểm là không bị ảnh
hưởng của hướng xoay hay di chuyển của khuôn mặt nhưng có một số giới hạn
sau:
 Thứ nhất, các đặc trưng dễ bị ảnh hưởng bởi các yếu tố như độ sáng tối, hay
nhiễu trong ảnh.
 Thứ hai, các bước thực hiện trong cách tiếp cận này đòi hỏi chi phí quá đắt
về thời gian nên không đáp ứng được yêu cầu thời gian thực.
Từ trên xuống (Top-down): Tạo ra một mẫu hay model về khuôn mặt chuẩn có thể
là 2 chiều hoặc 3 chiều, sau đó cố gắng ghép mẫu đó vào bức ảnh. Phương pháp
này có những nét chính sau:
 Xây dựng mẫu,
 Tìm kiếm trên toàn bộ ảnh đề ghép mẫu với những thực thể trên ảnh đề tìm
ra.
Một phương pháp tiếp cận theo hướng từ trên xuống là Active Shape Model
được đưa ra bởi Cootes tại [24].

Hướng tiếp cận dựa trên diện mạo
Phương pháp này nhận dạng khuôn mặt tập trung vào vấn đề phân lớp chính là phân
lớp một bức ảnh (có kích thước cố định) vào 2 lớp là mặt hoặc không. Phương pháp
học từ một tập ảnh huấn luyện mẫu để xác định khuôn mặt người. Phương pháp này
gồm một số bước chính sau:
 Tạo ra bộ phân lớp mặt – không phải mặt bằng cách dùng một số phương
pháp biểu diễn khuôn mặt như LBP, Gabor.
 Sử dụng một cửa sổ có kích thước cố định quét trên toàn bộ bức ảnh đầu vào
ở vị trí và tỷ lệ khác nhau hoặc dùng trên toàn bộ bức ảnh.
 Bước cuối cùng là xử lý các trường hợp phát hiện trùng lặp.
Trong hai hướng tiếp cận trên, hướng tiếp cận dựa trên đặc trưng diện mạo có ưu điểm
vượt trội hơn so hướng tiếp cận cơ bản là không phụ thuộc vào hướng quay của đầu
Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung


5


trong bức ảnh. Để trích chọn đặc trưng cơ bản được chính xác, chúng ta cần có thêm
một bước tiền xử lý là xác định hướng quay của đầu trong ảnh, cụ thể về các phương
pháp xác định hướng quay sẽ được trình bày trong phần 2.2.2.
2.2.2 Xác định hướng quay của đầu
Xác định hướng nhìn là một vấn đề nảy sinh cần giải quyết trong nhận dạng khuôn
mặt. Một số phương pháp nhận dạng khuôn mặt trình bày ở trên có thế không bị ảnh
hưởng của hướng nhìn thông thường là những phương pháp tiếp cận theo hướng diện
mạo nhưng xác định hướng nhìn cần được xem xét như một phần riêng biệt trong nhận
dạng khuôn mặt. Hiện nay có rất nhiều phương pháp xác định hướng nhìn được đưa ra,
tổng quan về các phương pháp được trình bày bởi Murphy – Chutorian và Trivedi [16]
Tian [15] đã đưa ra một phương pháp xác định hướng nhìn. Phương pháp trình bày xác
định hướng của khuôn mặt đầu tiên thay vì xác định khuôn mặt như các phương pháp

thông thường. Những bước sử dụng để xác định được đường cắt của phần đầu trong
bức ảnh:
 Xác định đường viền bao xung quanh trọng tâm C và trục tọa độ theo chiều dọc
(trục y) của bóng.
 Xác định những phần cho đường cong lõm (có đạo hàm âm) nhỏ nhất trên
đường viền của bóng.
 Tính độ thừa của những phần nhô ra đề xác định tỷ lệ chu vi (trừ những phần
cắt) mục đích là đo độ dài của đường cắt.
 Kiểm tra những phần nhô ra vượt quá ngưỡng thấp.
 Kiểm tra những đường cắt giao với trục y của bóng.
 Chọn đường cắt đầu tiên nếu có nhiều đường cắt thỏa mãn.
Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung


6



Hình 1 Xác định đường cắt của đầu.

Sau khi đường cắt L của đầu được xác định vùng đầu được xác định dễ dàng – là phần
trên tính từ đường cắt. Để xác định được vùng đầu chính xác đưa ra một trọng số của
đầu là H = α * W với W là độ rộng của đầu và α = 1.4. Sau khi xác định được vị trí của
phần đầu thì bức ảnh được chuyển sang định dạng gray-scale (đen - trắng) sau đó cân
bằng histogram và điều chỉnh kích thước về độ phân giải đánh giá. Sau đó sử dụng
mạng nơron 3 tầng đề xác định hướng của đầu. Đầu vào là bức ảnh (sau khi đã nhân
xoắn với ma trận mặt nạ Gauss và 3 mẫu quay – bất biến Gabor). Đầu ra của mạng là 3
hướng quay của đầu : 1) trực diện hoặc gần trực diện 2) Nhìn sang hoặc nhìn nghiêng
3) Trường hợp nhìn ra sau hoặc không xác định được.
Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung

7



Hình 2  Ví dụ về 3 hướng quay của đầu.
2.2.3 Một số phương pháp dùng phát hiện khuôn mặt
Ngày nay có rất nhiều các phương pháp nhận dạng khuôn mặt như: Eigenface [25],
FA (factor Analsys) [26], FLD (Fisher‟s Linear Discriminant) [27], Active Apperance
Model [24],
Các phương pháp trên có một số nhược điểm như:
 Tốc độ chậm, không đáp ứng được yêu cầu thời gian thực,
 Xây dựng hệ thống quá phức tạp.
Vượt lên trên các phương pháp khác với tốc độ thực hiện nhanh và độ chính xác chấp
nhận được. Viola và Jones [30] đưa ra phương pháp nhận dạng khuôn mặt dùng đặc
trưng giống Haar kết hợp với phương pháp học máy Adaboost. Phương pháp gồm 2
bước cơ bản: Đầu tiên là trích chọn đặc trưng giống Haar của ảnh khuôn mặt người và
không phải mặt người trong cơ sở dữ liệu. Sau đó dùng bộ học máy mạnh là Adaboost
để xây dựng mô hình phân loại. Cụ thể phương pháp được trình bày trong phần 2.3.
Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung


8


2.3 Nhận dạng khuôn mặt dùng đặc trưng giống Haar và
Adaboost
2.3.1 Cơ sở lý thuyết đặc trưng giống Haar
Một số đặc trưng giống Haar thường dùng như:

+ Đặc trưng cạnh (Edge Features):

+ Đặc trưng đường thẳng (Line Features):

+ Đặc trưng tâm – xung quanh (Center – surround Features):

Dùng các đặc trưng trên ta có thế tính được các giá trị của đặc trưng giống Haar bằng
cách lấy hiệu tổng giá trị điểm ảnh trong vùng màu đen và tổng giá trị điểm ảnh trong
vùng màu trắng theo công thức sau:
f
giống Haar
=

 ù đ –

 ù ắ
Như vậy, để tính giá trị của đặc trưng giống Haar thì phải tính tổng giá trị từng pixel
để tính giá trị của đặc trưng giống Haar cho tất cả vị trí trên ảnh cần chi phí tính toán
quá lớn, không đáp ứng được yêu cầu thời gian thực. Do đó Viola [25] đưa ra một
cách thức tính mới như sau:
+ Tính từ một bức ảnh bình thường thông qua một số các toán tử trên pixel ta thu đuợc
một bức ảnh mới gọi là ảnh tích hợp:
ii(x,y) = ∑(x‟,y‟) (x‟ < x,y „ <y)
Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung


9


s(x,y) = s(x,y-1) + i(x,y) s(x,-1) = 0

ii(x,y) = ii(x-1,y)+s(x,y) ii(-1,y) = 0
s(x,y) là tổng các pixel theo hàng.
+ Sau khi tính được ảnh tích hợp thì việc tính toán giá trị mức xám là rất đơn giản.
Ví dụ:

Hình 3 – Ảnh tích hợp
Ta muốn tính tổng giá các pixel trong miền D:
D = A + B + C + D – ( A + B) – ( A + C ) + A
Hay



=



+



+



+



- {




+



} - {



+



} +




Nhưng trong ảnh tích hợp chúng ta chỉ phải thực hiện phép tính đơn giản:



= P4 – (P1 + P2) + P3
Tiếp theo để lựa chọn đặc trưng giống Haar dùng cho thiết lập ngưỡng Viola và Jones
[25] dùng phương pháp học máy AdaBoost.
2.3.2 Phương pháp học máy Adaboost
Tổng quan
Adaboost là phương pháp học máy được xây dựng bởi Yoav Freund và Robert
Schapire [31] vào năm 1995. Là một cải tiến của hướng tiếp cận kết hợp các bộ phân

lớp đơn giản để tạo thành một bộ phân lớp chung mà khả năng phân lớp của bộ chung
tăng lên đáng kể.
Trong phương pháp Adaboost Yoav và Robrert [31] đưa thêm khái niệm trọng số
để đánh dấu các mẫu khó nhận dạng. Trong quá trình huấn luyện, Adaboost gọi các bộ
phân lớp yếu lặp lại trong t lần t = 1,2, … T. Trong mỗi lần gọi đó, các trọng số D
t

Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung


10


được cập nhật lại theo nguyên tắc: tăng trọng số của các mẫu nhận dạng sai và giảm
trọng số của các mẫu nhận dạng đúng. Mục tiêu là sau mỗi lần lặp thì bộ phân lớp yếu
sau sẽ tập trung trên các mẫu nhận dạng sai để tăng độ chính xác.
Thuật toán
Viola và Jones [30] dùng Adaboost kết hợp các bộ phân loại yếu và đặc trưng
giống Haar như sau:


Hình 4  Sơ đồ hệ thống nhận dạng khuôn mặt.

Mỗi một đặc trưng f
j
bộ phân lớp yếu xây dựng một hàm phân lớp tối ưu ngưỡng h
j
(x)
(ví dụ điều kiện tối ưu có thế là số mẫu sai là ít nhất)
h

j
(x)

= {
0 ượ ạ
1 ế 



<




Trong đó :
Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung


11


+ x : cửa sổ con (thường dùng là 24x24 pixel),
+ 

: ngưỡng,
+ f
j
: giá trị đặc trưng giống Haar,
+ p
j

: hệ số quyết định chiều của phương trình.




Mô tả thuật toán :

Có một tập các bức ảnh (x
1
, y
1
) , … , (x
n
,y
n
) với y
i
=

0,1 ứng với các mẫu không
là khuôn mặt hoặc là khuôn mặt.
Khởi tạo các trọng số w
1,I
= 1/2m, 1/2l với y
i
tương ứng là 0 hoặc 1 với m, l là
tổng các mẫu là khuôn mặt hoặc không là khuôn mặt ( m + l = n).
For t = 1,…, T
1. Chuẩn hóa trọng số
Wt,I = Wt,I /


, 

=1

2. Với mỗi đặc trưng j, huấn luyện bộ phân lớp h
j
ứng với đặc trưng j. Lỗi
được đánh giá như sau : wt, ej =

|



|


3. Chọn bộ phân lớp ht với lỗi et là nhỏ nhất
4. Cập nhật lại trọng số
Wt+1,I = Wt,I 

1
với ei = 0 nếu mẫu xi được phân lớp đúng và ei=1
trường hợp ngược lại.
=

1 

5. Bộ phận lớp cuối cùng là bộ phân lớp mạnh được xác định như sau
H(x) = 

1





>
1
2



=1

=1
0  



Chương 2. Phát hiện khuôn mặt người trong ảnh Nguyễn Thành Trung


12


Xây dựng hệ thống

Hình 5  Hệ thống nhận dạng khuôn mặt.

Trong sơ đồ trên, từ ảnh gốc chúng ta tính được ảnh tích hợp, mục đích để tính

nhanh các chênh lệch độ xám của các hình chữ nhật trong ảnh gốc. Ước lượng các đặc
trưng giống Haar. Kết quả ước lượng sẽ được đưa qua bộ điều chỉnh Adaboost để loại
bỏ bớt các đặc trưng không cần thiết để giảm số lượng các đặc trưng. Các đặc trưng
còn lại sẽ được đưa qua bộ phân lớp đề có quyết định xem có là mặt hay không. Mỗi
bộ phân loại yếu sẽ quyết định kết quả cho một đặc trưng giống Haar, được xác định
ngưỡng đủ nhỏ sao cho có thể vượt qua tất cả các bộ dữ liệu trong tập mẫu huấn luyện.
Trong quá trình xác định khuôn mặt người, mỗi vùng ảnh con sẽ được kiểm tra với các
đặc trưng trong chuỗi đặc trưng giống Haar, nếu có một đặc trưng giống Haar nào đó
không cho ra kết quả là khuôn mặt người thì các đặc trưng khác không cần xét nữa.
Thứ tự xét các đặc trưng giống Haar trong chuỗi sẽ được xác định dựa vào trọng số
của đặc trưng đó, do Adaboost quyết định dựa vào số lần và thứ tự xuất hiện của các
đặc trưng giống Haar.
Chương 3 : Trích chọn đặc trưng trên khuôn mặt Nguyễn Thành Trung


13


Chương 3
Tổng quan về các phương pháp trích chọn đặc
trưng

Trong chương này phần đầu chúng tôi sẽ trình bày tổng quan về các hướng tiếp cận
để trích chọn đặc trưng. Tiếp đó chúng tôi sẽ trình bày về hai hướng tiếp cận chính là
trích chọn đặc trưng là trích chọn đặc trưng hình học và đặc trưng diện mạo.

3.1 Các hướng tiếp cận

Hiện nay có rất nhiều các phương pháp trích dẫn dữ liệu từ khuôn mặt, mỗi phương
pháp có những ưu nhược điểm và đặc điểm riêng nhưng theo cách thức mà những

phương pháp và hình thức của dữ liệu được trích dẫn thì chia ra làm 2 hướng tiếp cận
chính:
Thứ nhất, hướng tiếp cận dựa trên đặc trưng hình học là hướng tiếp cận dựa vào
các bức ảnh trực diện khuôn mặt lấy từ khâu phát hiện khuôn mặt, trích chọn đặc trưng
về hình học biểu diễn hình dáng, vị trí các phần của khuôn mặt như mắt, mũi, miệng,
lông mày. Cụ thể xác định một số các điểm đặc trưng trên khuôn mặt: 2 mống mắt,
điểm chính giữa miệng, khóe miệng, một số các điểm khác ở vùng trán, mắt,…
Thứ hai, hướng tiếp cận dựa trên đặc trưng diện mạo là hướng tiếp cận dựa vào cấu
trúc phân bổ của cường độ sáng của điểm ảnh trên bề mặt của bức ảnh để trích chọn
các đặc trưng.
Trong đó trích chọn đặc trưng diện mạo có ưu điểm là ít phức tạp hơn phương pháp
trích chọn đặc trưng hình học, các khâu ít hơn nhưng độ chính xác thường thấp hơn.
Tùy thuộc vào yêu cầu hệ thống chúng ta có thể áp dụng các phương pháp khác nhau,
Tuy nhiên kết quả tối ưu nếu chúng ta áp dụng cả hai phương pháp trên xuất hiện
phương pháp thứ ba là phương pháp lai (hybrid) giữa hai phương pháp sử dụng đặc
trưng hình học và đặc trưng diện mạo.
Chương 3 : Trích chọn đặc trưng trên khuôn mặt Nguyễn Thành Trung


14


3.2 Phương pháp trích chọn đặc trưng hình học
3.2.1 Tổng quan
Những đặc trưng hình học thường là những vị trí đặc biệt trên khuôn mặt như góc của
mắt, miệng,… hoặc là hình dáng của các bộ phận trên khuôn mặt như mắt, miệng, lông
mày,…
3.2.1 Xác định các điểm đặc trưng trên khuôn mặt
Yang [3] đã phát triển một hệ thống thời gian thực để xác định và theo vết các điểm
đặc trưng như mống mắt, khóe miệng hay lỗ mũi. Phương pháp tìm kiếm 2 vùng mắt

là 2 vùng tối nhất và sử dụng các điều kiện về hình học như vị trí bên trong mặt, kích
thước và hình dáng để xác định. Phương pháp dùng phép lặp lấy ngưỡng để phát hiện
ra vùng tối nhất với điều kiện ánh sáng thay đổi. Xác định lỗ mũi cũng tương tự như
xác định 2 mống mắt.

Hình 6  Lặp để xác định ngưỡng trên cửa sổ tìm kiếm

Để xác định khóe môi, xác định vị trí theo chiều dọc sử dụng phép chiếu toàn bộ theo
trục x. Vị trí theo trục x được xác định bằng phép chiếu toàn bộ trên ảnh của cạnh
miệng.
Chương 3 : Trích chọn đặc trưng trên khuôn mặt Nguyễn Thành Trung


15



Hình 7  Phép chiếu toàn bộ.
Để dò tìm khóe miệng sử dụng hai phương pháp:
+ Tìm điểm ảnh có độ xám lớn nhất trong các vùng dự kiến sau đó tìm xác định điểm
khóe miệng sẽ nằm trên đường giữa 2 môi.
+ Tìm phần có giá trị điểm ảnh tối nhất trên đường giữa hai môi, chắc chắn khoảng
cách giữa 2 vùng đảm bảo điều kiện thỏa mãn về khoảng cách giữa 2 khóe miệng trên
thực tế và chọn vị trí có độ tương phản là cao nhất.

Hình 8  Xác định 2 đường biên ngang của môi.

Phương pháp trên có một số những ưu điểm như thỏa mãn điều kiện thực thi với thời
gian thực. Một số phương pháp có thể áp dụng với những độ phân giải khác nhau (với
cả độ phân giải thấp), tuy nhiên vẫn có trường hợp phát hiện ra lông mày thay vì mắt.

Tian [4] đã giải quyết vấn đề bằng cách phát hiện cả vùng mắt và lông mày. Bằng cách
đó, không chỉ trích chọn được thêm đặc trưng mà tỷ lệ chính xác còn được tăng lên.
Đối với xác định khóe miệng, trường hợp sai là khi miệng không ở trạng thái bình
thường và phương pháp áp dụng đối với mặt trực diện hoặc gần trực diện.
Vukadinovic & Pantic [5] sử dụng Gabor – wavalets và Gentle – Boost để xây dựng hệ
thống nhận dạng tự động 20 điểm đặc trưng. Trong phương pháp, họ chia khuôn mặt
thành 20 vùng nhỏ (ROIs) và mỗi vùng ứng với một điểm đặc trưng. Mỗi một vector
Chương 3 : Trích chọn đặc trưng trên khuôn mặt Nguyễn Thành Trung


16


đặc trưng ứng với vùng ảnh kích thước 13x13 pixel, có độ lớn là 13x13x(18+1) =
8281. Những vector đặc trưng được sử dụng để xây dựng một mô hình và dự đoán một
điểm có là điểm đặc trưng hay không. Trong khi huấn luyện, mô hình đặc trưng Gentle
– boost sử dụng các vector đặc trưng trích chọn từ các ví dụ huấn luyện. Trong khi
kiểm tra, một của sổ kích thước 13x13 pixel được quét trên toàn bộ vùng quan tâm.
Với mỗi một vị trí của cửa sổ trượt, so sánh sự giống nhau giữa giá trị của cửa sổ trượt
và mô hình mẫu. Sau khi quét hết vùng quan tâm thì điểm có độ lệch với mẫu là nhỏ
nhất sẽ được chọn.

Hình 9  Sơ đồ hệ thống tự động xác định điểm đặc trưng.
3.2.2 Phát hiện hình dáng các bộ phận trên khuôn mặt
Tian [17] phát triển phương pháp nhiều trạng thái để trích chọn đặc trưng hình học
trong hình Hình 10. Một mô hình môi 3 trạng thái miêu tả trạng thái của môi: mở,
đóng, ngậm chặt. Mô hình 2 trạng thái được dùng cho mỗi mắt, mô hình một trạng thái
cho má và lông mày. Một số đặc trưng diện mạo sử dụng mô hình 2 trạng thái: có thể
hiện và vắng mặt. Đường viền của các đặc trưng và thành phần được điều chỉnh bằng
tay trong bước khởi tạo. Sau khi khởi tạo, tất cả các thay đổi của đặc trưng sẽ được dò

tìm và phát hiện trong chuỗi ảnh. Thuật toán sử dụng các trạng thái dò tìm khác nhau
là cải tiển của thuật toán Lucas-Kanade [11]. Tuy nhiên có giới hạn là chuyển động
của đầu.