Tiểu luận môn Nhận dạng Tìm hiểu phương pháp trích chọn đặc trưng cho khuôn mặt áp dụng PCA và ứng dụng xác thực thẩm định khuôn mặt

Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
Trường đại học Bách Khoa Hà Nội
Viện công nghệ thông tin và truyền thông
Đề tài môn nhận dạng:
Tìm hiểu phương pháp trích chọn đặc trưng cho khuôn mặt áp
dụng PCA và ứng dụng xác thực thẩm định khuôn mặt.
Giảng viên hướng dẫn:
Học viên : Lê Xuân Bách.
Đặng Văn Huy.
Trương Quang Thịnh.
Hà Nội 14-12-2012
1
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
Bảng phân công công việc.
Công việc Người thực hiện.
Tìm hiểu các đặc khuôn mặt. Đặng Văn Huy
Tìm hiểu phương pháp trích chọn
đặc trưng-PCA
Trương Quang Thịnh.
Ứng dụng thẩm định khuôn mặt Lê Xuân Bách
2
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
Phụ lục.
3
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
1 Mở đầu.
Hơn một thập kỷ qua, có rất nhiều công trình nghiên cứu về bài toán xác
định khuôn mặt người từ ảnh đen trắng, ảnh xám, đến ảnh màu như ngày nay.

Các nghiên cứu đi từ bài toán đơn giản là ảnh chỉ chứa một khuôn mặt người
nhìn thẳng vào thiết bị thu hình và đầu ở tư thế thẳng đứng, cho đến ảnh màu
với nhiều khuôn mặt người trong cùng ảnh, khuôn mặt có quay một góc nhỏ,
hay bị che khuất một phần, và với ảnh nền của ảnh phức tạp (ảnh chụp ngoài
thiên nhiên) nhằm đáp ứng nhu cầu thật sự cần thiết của con người.
Bài toán xác định khuôn mặt người (Face detection) là một kỹ thuật máy
tính để xác định các vị trí và các kích thước của khuôn mặt trong ảnh bất kỳ
(ảnh kỹ thuật số). Kỹ thuật này nhận biết các đặt trưng khuôn mặt và bỏ qua
những thứ khác như: toàn nhà, cây cối, cơ thể
Một số ứng dụng của bài toán xác định khuôn mặt là: hệ thống tương tác
giữa người và máy (điều kiển máy tính qua các cử động của khuôn mặt), hệ
thống nhận dạng người (giúp cho các cơ quan an ninh quản lý con người), hệ
thống quan sát theo dõi, hệ thống quản lý việc ra vào cho các cơ quan và công
ty, hệ thống kiểm tra người lái xe có ngủ gật hay không, hệ thống phân tích cảm
xúc trên khuôn mặt, và hệ thống nhận dạng khuôn mặt cho các máy ảnh kỹ
thuật số
4
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
2 Các đặc trưng khuôn mặt.
2.1 Đặc trưng của khuôn mặt và độ đo giữa các đặc trưng.
Các đặc trưng của khuôn mặt được chia thành hai nhóm:
o Các đặc trưng của các phần tử của khuôn mặt.
o Các đặc trưng tổng thể của khuôn mặt.
Ngoài ra còn có thể xác định các đặc trưng khuôn mặt theo mô hình khuôn
mặt(thường áp dụng trong các ứng dụng 2D,3D). Ta sẽ tìm hiểu một số đặc tưng
sau:
2.1.1 Đặc trưng màu sắc.
Một bức ảnh được phân tích dựa trên các lược đồ màu. Một số lược đồ màu
được sử dụng như: lược đồ màu RGB, lược đồ màu HSI, lược đồ HSI cải tiến.

Trong đó, lược đồ màu RGB được sử dụng phổ biến nhất.
Trong đó N là số lượng điểm ảnh.
Lược đồ màu này được tính bằng cách rời rạc hóa từng màu trong ảnh, sau
đó đếm số điểm ảnh của mỗi màu. Khi mà số lượng màu là có hạng, để thuận tiện
hơn, người ta thường chuyển đổi ba kênh màu thành một biến giá trị duy nhất. Một
cách khác để tính lược đồ màu của ảnh RGB là ta phân ra làm 3 lượt đồ riêng
biệt ,,. Khi đó, mỗi lược đồ được tính bằng cách đếm kênh màu tương ứng trong
mỗi điểm ảnh.
Độ đo:
Một số độ đo tương đồng được sử dụng như: Đ ộ đo khoảng cách Ơclit, độ
đo Jensen-Shannon divergence (JSD).
Gọi h(I) và h(M) tương ứng là 2 lượt đồ màu của hai ảnh I và ảnh M. Khi đó
các loại độ đo màu được định nghĩa là một số nguyên (hoặc số thực) theo các loại
độ đo tương ứng như sau:
5
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
o Khoảng cách Ơclit: Đây là khoảng cách Ơclit thông thường giữa các K
bin.
.
Hoặc
.
o Độ đo Jensen-Shannon divergence (JSD):
Trong đó : H và H’ là 2 biểu đồ màu được so sánh, Hm
là bin thứ m của biểu đồ H.
2.1.2 Đặc trưng kết cấu.
Hiện tại, vẫn chưa có một định nghĩa chính thức cụ thể về kết cấu. Kết cấu là
một đối tượng dùng để phân hoạch ảnh ra thành những vùng quan tâm để phân lớp
những vùng đó.
Kết cấu cung cấp thông tin về sự sắp xếp về mặt không gian của màu sắc và

cường độ một ảnh. Kết cấu được đặc trưng bởi sự phân bổ không gian của những
mức cường độ trong một khu vực láng giềng với nhau. Kết cấu gồm các kết cấu
gốc hay nhiều kết cấu gộp lại đôi khi gọi là texel.
Một số phương pháp dùng để trích xuất các đặc trưng kết cấu như[18]:
o Kim tự tháp "có thể lái được" (the steerable pyramid)
o Biến đổi đường viền (the cotourlet transform)
o Biến đổi sóng Gabor (The Gabor Wavelet transform)
o Biểu diễn ma trận đồng hiện (co-occurrence matrix)
o Hệ thống bộ lọc định hướng phức tạp (The complex directional fillter bank)
Độ đo: Để đo độ tương đồng theo kết cấu giữa các ảnh, người ta thường sử
dụng độ đo Ơclit. Kết cấu được trích xuất từ các bức ảnh sẽ được biểu diễn thành
các vector nhiềuchiều và khoảng cách Ơclit được dùng để đo độ tương đồng giữa
các đặc trưng của ảnh truy vấn với đặc trưng của ảnh trong cơ sở dữ liệu.
6
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
2.1.3 Đặc trưng hình dạng.
Màu sắc và kết cấu là những thuộc tính có khái niệm toàn cục trong một ảnh.
Trong khi đó, hình dạng không phải là một thuộc tính của ảnh. Nói tới hình dạng
không phải là nhắc đến hình dạng của một ảnh. Thay vì vậy, hình dạng có khuynh
hướng chỉ đến một khu vực đặc biệt trong ảnh, hay hình dạng chỉ là biên của một
đối tượng nào đó trong ảnh.
Hình dạng là một cấp cao hơn so với màu sắc và kết cấu. Nó đòi hỏi sự phân
biệt giữa các vùng để tiến hành xử lý về độ đo của hình dạng. Các hệ thống tìm
kiếm ảnh theo nội dung thường khai thác hai nhóm biểu diễn hình dạng sau :
o Biểu diễn hình dạng theo đường biên (cotour-based descriptor) : Biểu diễn
các đường biên bao bên ngoài.
o Biểu diễn theo vùng (region-based descriptor): Biểu diễn một vùng toàn vẹn.
Độ đo: Độ đo về hình dạng rất nhiều trong phạm vi lý thuyết của bộ môn xử lý
ảnh. Chúng trải rộng từ những độ đo toàn cục dạng thô với sự trợ giúp của việc

nhận dạng đối tượng, cho tới những độ đo chi tiết tự động tìm kiếm những hình
dạng đặc biệt. Lược đồ hình dạng là một ví dụ của độ đo đơn giản. Kỹ thuật dùng
đường biên hiệu quả hơn phương pháp trước, chúng tìm kiếm những hình dạng đối
tượng gần giống với đường biên nhất. Phương pháp vẽ phác họa là phương pháp có
nhiều đặc trưng rõ ràng hơn, không chỉ tìm kiếm những đường biên đối tượng đơn,
mà còn đối với tập những đối tượng đã được phân đoạn trong một ảnh mà người
dùng vẽ hay cung cấp.
2.1.4 Đặc trưng cục bộ bất biến.
Người ta thường chia đặc trưng cụ bộ thành 2 loại là những điểm trích xuất
được từ điểm "nhô ra" (salient points) của ảnh và đặc trưng SIFT được trích chọn
từ các điểm hấp dẫn Haris (interest points). Trong phần này, chúng tôi sẽ trình bày
chi tiết về việc trích chọn các đặc trưng cục bộ bất biến (Scale Invariant Feature
Transform SIFT)của ảnh.
Phần này trình bày phương pháp trích rút các đặc trưng cục bộ bất biến SIFT
của ảnh. Các đặc trưng này bất biến với việc thay đổi tỉ lệ ảnh, quay ảnh, đôi khi là
thay đổi điểm nhìn và thêm nhiễu ảnh hay thay đổi cường độ chiếu sáng của ảnh.
Phương pháp được lựa chọn có tên là Scale-Invariant Feature Transform (SIFT) và
đặc trưng trích rút đựợc gọi là đặc trưng SIFT (SIFT Feature). Các đặc trưng SIFT
7
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
này được trích rút ra từ các điểm hấp dẫn cục bộ (Local Interest Point). Điểm hấp
dẫn (Interest Point (Keypoint)): Là vị trí (điểm ảnh) "hấp dẫn" trên ảnh. "Hấp dẫn"
ở đây có nghĩa là điểm đó có thể có các đặc trưng bất biến với việc quay ảnh, co
giãn ảnh hay thay đổi cường độ chiếu sáng của ảnh.
Phương pháp trích rút các đặc trưng bất biến SIFT được tiếp cận theo
phương pháp thác lọc, theo đó phương pháp được thực hiện lần lượt theo các bước
sau:
Phát hiện các điểm cực trị Scale-Space (Scale-Space extrema detection):
Bước đầu tiên này tiến hành tìm kiếm các điểm hấp dẫn trên tất cả các tỉ lệ và vị trí

của ảnh. Nó sử dụng hàm different-of-Gaussian để xác định tất cả các điểm hấp
dẫn tiềm năng mà bất biến với quy mô và hướng của ảnh.
Định vị các điểm hấp dẫn (keypoint localization): Một hàm kiểm tra sẽ
được đưa ra để quyết định xem các điểm hấp dẫn tiềm năng có được lựa chọn hay
không?
Xác định hướng cho các điểm hấp dẫn (Orientation assignment): Xác
định hướng cho các điểm hấp dẫn được chọn
Mô tả các điểm hấp dẫn (Keypoint descriptor): Các điểm hấp dẫn sau
khi được xác định hướng sẽ được mô tả dưới dạng các vector đặc trưng nhiều
chiều.
Độ đo tương đồng cho đặc trưng cục bộ bất biến:Một số độ đo tương
đồng cho ảnh sử dụng đặc trưng SIFT:
o Độ đo Cosin:
o Khoảng cách góc:
o Độ đo Euclide:
o Độ đo Jensen-Shannon divergence :
8
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
2.2 Lựa chọn đặc trưng
Sau khi trích chọn được các đặc trưng nội dung của ảnh, tập các đặc trưng có
thể được tối ưu hóa bằng các phương pháp lựa chọn đặc trưng để tăng chất lượng
và hiệu quả khi sử dụng các tập đặc trưng.
Một cách tổng quát, lựa chọn đặc trưng là phương pháp giảm thiểu các đặc
trưng nhằm chọn ra một tập con các đặc trưng phù hợp trong học máy để xây dựng
mô hình học tốt nhất. Mục đích của lựa chọn đặc trưng là tìm ra không gian con
các đặc trưng tối ưu sao cho các tập ảnh “thích hợp” và “không thích hợp” được
tách biệt nhất.
Có nhiều phương pháp lựa chọn đặc trưng được đề xuất như: phương pháp
tăng khuyếch đại (boosting manner) kết hợp với nền tảng Real Adaboost của Wei

Jian và Guihua Er. Mingjing đưa ra tiêu chí lựa chọn các đặc trưng là: Mô hình
tương phản đặc trưng được tổng quát hóa (Generalized Feature Contrast Model)
dựa trên mô hình tương phản đặc trưng (Feature Contrast Model). Một số phương
pháp cổ điển khác như phương pháp dựa vào phân phối (distribution based).
Phương pháp dựa vào phân tích biệt thức (Discriminant analysis DA) ví dụ như
Phân tích đa biệt thức (Mutiple Discriminant analysis MDA)), phân tích biệt thức
không đối xứng (biased Discriminant analysis BDA). Phương pháp tối đa khoảng
cách tối thiểu đối xứng trong không gian con (symmetric maximized minimal
distance in subspace SMMS).
Hai mô hình phổ biến cho lựa chọn đặc trưng là: Mô hình Filter và mô hình
Wrapper.
o Mô hình Filter: đánh giá mỗi phần tử bằng một vài tiêu chuẩn hay độ đo nào
đó, rồi chọn ra tập con các thuộc tính được đánh giá cao nhất.
o Mô hình Wrapper: Sử dụng một thuật toán tìm kiếm để đánh giá tập con các
thuộc tính coi như là một nhóm hơn là một phần tử riêng lẻ. Cốt lõi của mô
hình Wrapper là một thuật toán học máy cụ thể. Nó đánh giá độ tốt của
những tập con đặc trưng tùy theo độ chính xác học của tập con, điều này
xác định thông qua một tiêu chí nào đó
9
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
3 Phương pháp trích chọn đặc trưng.
Sau khi phát hiện được khuôn mặt trong ảnh đầu vào ta cần phải biểu diễn ảnh
khuôn mặt thành một véc tơ đặc trưng, tuy nhiên vì kích thước ảnh khuôn mặt quá
lớn nếu biểu diễn véc tơ là các pixel của ảnh khuôn mặt thì có thể làm cho quá
trình huấn luyện và nhận dạng rất chậm, và xảy ra trường hợp quá khớp vì vậy bài
toán đặt ra là cần phải có phương pháp để biểu diễn ảnh khuôn mặt thành véc tơ
đặc trưng mà vẫn giữ lại được những thành phần quan trọng của ảnh.
Có nhiều phương pháp đã được nghiên cứu để giải quết bài toán này, điển
hình là một số phương pháp sau: Sử dụng các đơn vị vận động trên khuôn mặt

(Action units – AU), sử dụng PCA, AAM kết hợp tương quan điểm, sử dụng các
phương pháp học,… Mỗi phương pháp đều có ưu và nhược điểm riêng. Đối với
các phương pháp sử dụng PCA kết hợp mạng nơron, cần một tập dữ liệu chuẩn để
huấn luyện. Việc xây dựng các tập huấn luyện này cũng tương đối khó khăn và tốn
kém vì cần nhiều người làm mẫu, những người này phải có khả năng diễn đạt cảm
xúc tốt, ngoài ra còn cần sự đánh giá của các chuyên gia tâm lý. Hiện nay có một
số tập huấn luyện chuẩn thường được dùng như JAFFE (Japanese Female Facial
Expression) hay Cohn-kanade.
Chúng ta sẽ tìm hiểu phương pháp phân tích thành phần chính PCA.
3.1 Phương pháp phân tích thành phần chính PCA.
3.1.1 Đặc điểm.
PCA là 1 phương pháp để nhận dạng các mẫu trong dữ liệu và biểu diễn dữ
liệu bằng cách làm nổi bật sự giống và khác nhau. Khi các mẫu trong dữ liệu rất
khó nhận ra trong không gian nhiều chiều thì PCA là một công cụ mạnh để phân
tích chúng.
Các bước cơ bản trong PCA:
o Bước1: Lấy dữ liệu
o Bước2: Trừ trung bình mẫu.
o Với mỗi chiều dữ liệu giả sử ở chiều x, ta đều có 1 trung bình mẫu,
công việc trong bước này là trừ tất cả giá trị trong chiều x cho trung
10
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
bình mẫu x. Kết thúc bước này ta sẽ có trung bình mẫu ở tất cả các
chiều là 0.
o Bước 3: Tính ma trận hiệp phương sai
o Bước 4: Tính các vectơ riêng và giá trị riêng của ma trận hiệp phương sai.
o Bước 5: Chọn các thành phần chính
Đây là bước cuối cùng trong PCA. Trong bước này, tùy thuộc vào số lượng
thành phần chính cần lấy, ta lấy lần lượt các thành phần (vectơ riêng) tương

ứng với các giá trị riêng cao nhất.
3.1.2 Một số khái niệm toán học trong PCA:
3.1.2.1 Độ lệch chuẩn.
Để hiểu độ lệch chuẩn, chúng ta cần một tập dữ liệu. Giả sử ta có tập
X = [1 2 4 6 12 15 25 45 68 67 65 98]
X là ký hiệu đại diện cho tập số, mỗi số riêng biệt được ký hiệu X
i
(Ví dụ X
3
=
4). Phần tử đầu tiên là X
1
và n là số lượng phần tử của tập hợp. Khi đó trung bình
của mẫu có công thức:
Là ký hiệu trung bình của mẫu, tuy nhiên trung bình mẫu không nói lên
được nhiều điều ngoại trừ cho ta biết nó là một điểm giữa. Ví dụ với 2 tập dữ liệu
[0 8 12 20] và [8 9 11 12] có trung bình mẫu bằng nhau nhưng lại khá
khác nhau. Sự khác biệt ở đây chính là khoảng cách của dữ liệu. Và độ lệch chuẩn
là đại lượng để đo khoảng cách này. Ta có thể hiêu độ lệch chuẩn là khoảng cách
trung bình từ trung bình mẫu đến các điểm của dữ liệu. Ta có công thức:
Tập hợp 1
11
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
Tập hợp 2
Ta có thể dễ dàng nhận thấy tập dữ liệu 1 có độ lệch chuẩn lớn hơn có
khoảng cách lớn hơn tập dữ liệu 2.
3.1.2.2 Phương sai.
Phương sai là một đại lượng khác dùng để đo khoảng cách của dữ liệu. Ta
có công thức:

Dễ thấy phương sai chính là bình phương độ lệch chuẩn.
3.1.2.3 Hiệp phương sai.
Ta thấy rằng 2 đại lượng độ lệch chuẩn và phương sai chỉ sử dụng được trong 1
chiều. Trong thực tế dữ liệu có thể có rất nhiều chiều. Một ví dụ đơn giản ta có dữ
liệu về cân nặng và điểm số của toàn bộ sinh viên trong lớp K51-KHMT. Đối với
dữ liệu này, độ lệch chuẩn và phương sai chỉ tính được trên từng chiều riêng biệt
và ta không thấy được mối liên hệ giữa 2 chiều này.
Tương tự phương sai, hiệp phương sai là đại lượng đo sự biến thiên giữa 2
chiều. Nếu tính hiệp phương sai giữa 1 chiều với chính nó ta được phương sai của
chiều đó. Nếu tập dữ liệu có 3 chiều x, y, z ta có thể tính hiệp phương sai của từng
cặp chiều (x, y), (y, z), (z, x). Công thức của hiệp phương sai tương tự công thức
của phương sai. Công thức của phương sai được khai triển như sau:
12
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
Và công thức của hiệp phương sai:
Từ công thức hiệp phương sai ta thấy, nếu dương thì X, Y đồng biến, âm thì
X, Y nghịch biến, nếu bằng 0 thì X, Y độc lập.
3.1.2.4 Ma trận hiệp phương sai.
Hiệp phương sai đó sự biến thiên giữa 2 chiều, do đó đối với tập dữ liệu có n
chiều ta có giá trị hiệp phương sai khác nhau. Và để thuận tiện cho việc
tính toán ta biểu diễn các giá trị này thông qua một ma trận gọi là ma trận hiệp
phương sai. Định nghĩa của ma trận như sau:
Trong đó là 1 ma trận với n hàng, n cột và Dim
x
là chiều thứ x. Ví dụ
ma trận hiệp phương sai của 1 tập dữ liệu có 3 chiều x, y, z:
3.1.2.5 Vector riêng, trị riêng.
Cho A là ma trận vuông cấp n trên trường số K. Số K được gọi là giá trị
riêng (gọi tắt là trị riêng – kí hiệu GTR) của ma trận A, nếu tồn tại một vectơ sao

cho: λ.u
Khi đó vectơ u được gọi là vectơ riêng (VTR) của ma trận A ứng với giá trị
riêng .
 Giá trị riêng chính là nghiệm của phương trình:
được gọi là phương trình đặc trưng của ma trận A.
 Một giá trị riêng có thể có nhiều vectơ riêng.
 Mỗi vectơ riêng chỉ ứng với một giá trị riêng duy nhất.
 Ma trận A là nghiệm của đa thức đặc trưng của chính nó (trong trường
hợp này đa thức đặc trưng được coi là đa thức ma trận, nghĩa là biến
số của nó không phải là biến số thực mà là biến ma trận)
13
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
 Nếu là giá trị riêng của ma trận A thì A không khả nghịch. Ngược lại,
nếu mọi GTR của A đều khác không thì A khả nghịch.
 Nếu là GTR của ma trận A thì là giá trị riêng của ma trận
3.1.3 Áp dụng trong xử lý ảnh.
Mỗi bức ảnh được coi là một ma trận NxN, nhưng do thuật toán PCA áp
dụng cho các vector một chiều nên ta thực hiện phép biến đổi:
Ta coi mỗi bức ảnh là 1 vector NxN và quy về vector x1, và áp dụng phương
pháp PCA để xác định các đặc trưng của ảnh.Với mỗi bức ảnh ta coi đó là 1
vector .
Giả sử ta có một tập các bức ảnh S={,,… }. Ta thực hiện các bước như sau:
o Tính ảnh trung bình : .
o Tính sai lệch của các ảnh đầu vào so với trung bình: .
o Tính ma trận hiệp phương sai: ; A={}
Vì ma trận C có kích thước lớn (NxN) nên để tìm vector riêng của C ta
tìm vector riêng và trị riêng của ma trận L:
o với
Ma trận L có kích thước MxM << NxN nên việc tính vector riêng sẽ nhanh

chóng hơn.
o Gọi là vector riêng của L thì vector rieng của C là : với i=1 M
Sau khi tìm được các vector riêng và trị riêng, các ảnh trong tập cơ sở dữ liệu
sẽ được chiếu lên không gian các vector riêng này để tạo ra vector đặc trưng.
Vector này có kích thước nhỏ hơn nhiều so với kích thước ảnh nhưng vẫn mang
nhiều nhất thông tin chứa trong ảnh.
14
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
3.2 Đánh giá.
Ưu điểm của phương pháp PCA:
 Tìm được các đặc tính tiêu biểu của đối tượng cần nhận dạng mà không cần
phải xác định các thành phần và mối quan hệ giữa các thành phần đó.
 Thuật toán có thể thức hiện tốt với các ảnh có độ phân giải cao, do PCA sẽ
thu gọn ảnh thành một ảnh có kích thước nhỏ hơn.
 PCA có thể kết hợp với các phương pháp khác như mạng Noron, Support
Vector Machine … để mang lại hiệu quả nhận dạng cao hơn.
Nhược điểm của PCA:
 PCA phân loại theo chiều phân bố lớn nhất của tập vector. Tuy nhiên, chiều
phân bố lớn nhất không phải lúc nào cũng mang lại hiệu quả tốt nhất cho bài
toán nhận dạng. Đây là nhược điểm cơ bản của PCA.
 PCA rất nhạy với nhiễu.
15
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
4 Ứng dụng thẩm định khuôn mặt.
4.1 Giới thiệu.
Ứng dụng được miêu tả ở đây là việc xác định nhân viên thực hiện công
việc, nhiệm vụ tại một nơi làm việc của một doanh nghiệp, việc xác dịnh nhân
viên được thực hiện qua camera quan sát tại nơi làm việc đó.

Công việc này sẽ được thực hiện bởi một số nhân viên nhất định của doanh
nghiệp , những nhân viên này sẽ được doanh nghiệp xác định và cung cấp cho
nhóm xây dựng ứng dụng. Ngoài ra doanh nghiệp còn được cung cấp các đoạn
video đã được ghi lại trong quá trình làm việc của các nhân viên, và ảnh thẻ của
các nhân viên đó.
4.2 Hệ thống xác thực thẩm định khuôn mặt.
16
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Đề tài tiểu luận môn nhận dạng. Giảng viên: PSG.TS. Nguyễn Thị Hoàng Lan.
4.3 Quá trình học.
4.3.1 Phân tích các thành phần chính.
Áp dụng quá trình phân tích
các đặc trưng chính(PCA) để phân
tích đặc trưng của ảnh. Với mỗi
ảnh đầu vào ta xác định khuôn
mặt.
Mỗi bức ảnh được coi là một
ma trận NxN, nhưng do thuật toán
PCA áp dụng cho các vector một
chiều nên ta thực hiện phép biến
đổi:
Ta coi mỗi bức ảnh là 1 vector
NxN và quy về vector x1, và áp
dụng phương pháp PCA để xác
định các đặc trưng của ảnh.Với
mỗi bức ảnh ta coi đó là 1 vector .
17
Học viên: Lê Xuân Bách, Đặng Văn Huy, Trương Quang Thịnh.
Bây giờ ta đã có một tập các bức ảnh S={,,… }. Ta sẽ thực hiện phân tích các
thành phần chính như thuật toán PCA (đã miêu tả ở trên) để trích chọn các đặc

trưng của ảnh khuôn mặt người được phát hiện trên các frame ảnh của video. Sau
đó ta sẽ thực hiện quá trình học, huấn luyện với các tập ảnh đã trích chọn đặc trưng
từ các video, ảnh mẫu mà doanh nghiệp cung cấp. Và thực hiện xác định khuôn
mặt với các ảnh từ các video quan sát.
4.3.2 Học, huấn luyện.
Thực hiện học, huấn luyện theo phương pháp học không giám sát. Lý do học
không có giám sát ở đây là vì tập dữ quan sát được cung cấp là tập các video, các
ảnh trong video không có sự phân biệt rõ ràng về các thuộc tính để có thể huấn
luyện theo phương pháp học có giám sát.
Dữ liệu đầu vào là các ảnh thẻ của các nhân viên ( giả sử có K nhân viên
tương ứng là K ảnh thẻ của các nhân viên đó) và tập video chứa quá trình làm việc
của K nhân viên mà doanh nghiệp cung cấp( giả sử có N bức ảnh trong các video).
Giả sử mỗi bức ảnh được miêu tả thành vector: với p là số đặc trưng sau khi
rút gọn của ảnh ở thuật toán PCA.
Thực hiện học theo thuật toán K-trung bình:
Bước đầu: Khởi tạo K nhóm ban đầu, để thực hiện gom nhóm ảnh trong video.
Do ta có K ảnh thẻ của K nhân viên mà doanh nghiệp cung cấp, ta coi K ảnh này
là ảnh đại diện cho K nhóm này: gọi là Z(i) i=1 K.
Bước 2: Thực hiện lặp phân nhóm từng phần tử của tập ảnh trong các video
vào K nhóm theo luật phân lớp dựa trên khoảng cách tới ảnh dại diện nhỏ nhất:
 Với mỗi ảnh Ti ta tính khoảng cách tới ảnh đại diện của một nhóm j –
Z(j) theo công thức Euclidean:
 Sau khi xác định được ảnh thuộc vào nhóm nào thì tính lại ảnh đại
diện cho nhóm đó theo công thức trung bình
 Trong đó M là số ảnh trong nhóm j, T(i) là ảnh trong nhóm j.
 Dừng lặp sau khi các ảnh đã được xác định nhóm của ảnh.
Các ảnh ở quá trình học đều là các ảnh khuôn mặt người, và đã được xử lý
qua thuật toán PCA để trích chọn đặc trưng.
Kết thúc quá trình học ta xác định được K phân nhóm ảnh cho K nhân viên
là với i=1 K tương ứng với đó là các ảnh đại diện cho nhóm .

4.4 Quá trình nhận dạng.
Với quá trình nhận cung tuân thủ các bước đầu tiên về phân tích các thành phần
chính như phần 4.3.1. Như đã nói ở trên kết thúc quá trình học ta có K nhóm: với
i=1 K tương ứng với đó là các ảnh đại diện cho nhóm , giả sử tại một thời điểm ta
có bức ảnh là ảnh chứa khuôn mặt được lấy từ video quan sát trong quá trình làm
việc. Ta cần xác định ảnh X chứa khuôn mặt nhân viên nào trong số K nhân viên.
Tại quá trình nhận dạng này ta xác định một ảnh bất kỳ thuộc nhóm nào theo lý
thuyết ra quyết định Bayes.
.
Trong đó:
Trong trường hợp tổng quát, doanh nghiệp sử dụng luân phiên giữa các nhân
viên, nên có thể coi tại một thời điểm ảnh thu được qua camera quan sát có xác
suất thuộc nhóm là tuân theo luật phân phối chuẩn.
(*)
là định thức của ma trận hiệp phương sai của nhóm thứ k, là vector
trung bình của nhóm k.
Và có thể coi xác suất các lớp cân bằng:
(**)
Từ (*) và (**) ta tính được , từ đó ta sử dụng lý thuyết ra quyết định để xác
định ảnh thuộc nhóm nào.
4.5 Đánh giá hệ thống.
Hệ thống kế thừa thư viện OpenCV để thực hiện xác định khuôn mặt trên mỗi
bức ảnh thu được từ camera và sử dụng hàm phân tích thành phần chính của
OpenCV để trích rút đặc trưng. Sau đó mới thực hiện học và nhận dạng ảnh.
Do có sự sử dụng lại thư viện OpenCV nên việc các bức ảnh khuôn mặt xác
định có thể bị nghiêng, lệch, hoặc các bức ảnh có khôn mặt mờ, không rõ nét vẫn
được OpenCV xác định, khi đưa những bức ảnh này vào quá trình học có thể gây
ra các hiệu ứng làm sai lệch phân nhóm, thay đổi vector chính của nhóm… Ngoài
ra các bức ảnh có nghiêng lệch, mờ… trong quá trình nhận dạng sẽ cho độ chính
xác thấp, có thể gây ra nhận dạng nhầm.

Do tồn tại khả năng nhận dạng sai, nên ta đưa ra một đánh giá sai số như sau:
Giả sử nhóm Wk có vector chính Zk và có bức ảnh thẻ(ảnh chuẩn) của nhân
viên thứ K là Tk, tại một thời điểm bức ảnh X bất kỳ được xác định thuộc nhóm
Wk sẽ có sai số:
Ngoài ra quá trình theo dõi nhân viên làm việc là quá trình liên tục, các bức ảnh
khuôn mặt được thay đổi liên tục từng vị này sang vị trí khác, do đó khả năng một
nhân viên trong làm việc bị nhận sai làm toàn bộ là rất thấp. Do đó các bức ảnh
khuôn mặt có sai số nhận dạng >0.2 sẽ được bỏ qua không cần thiết cho quá trình
nhận dạng.
5 Kết luận.
Qua thời gian nghiên cứu về các phương pháp nhận dạng cảm xúc khuôn mặt,
đặc biệt là qua quá trình thực hiện khóa luận tốt nghiệp, em đã tìm hiểu được một
số thuật toán học và áp dụng các thuật toán này cho bài toán phân lớp để nhận dạng
cảm xúc. Những kết quả chính mà khóa luận đã đạt được có thể được tổng kết như
sau:
Tìm hiểu được các đặc trưng của khuôn mặt và cách thức sử dụng các đặc
trưng của khuôn mặt.
Giới thiệu chi tiết về phương pháp trích chọn đặc trưng (PCA), sử dụng để
trích chọn các thành phần chính của ảnh, khuôn mặt. Là phương pháp tiền đề cho
hệ thống nhận dạng.
Tìm hiểu, thấy được một ứng trong thực tế của việc nhận dạng là thực hiện các
chức năng quan sát, theo dõi, xác định khuôn mặt ngưới trong các hoạt động
thường ngày của một doanh nghiệp
6 Tài liệu tham khảo.
1. Giáo trình nhận dạng -
2. G.Zhao, M.Pietikäinen. Dynamic texture recognition using local binary
patterns with an application to facial expressions. IEEE Transactions on
Pattern Analysis and Machine Intelligence. 2007.
3. Y.L.Tian, T.Kanade, J.Cohn. Recognizing action units for facial expression
analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence.

2001.
4. Z.Wen, T. Huang. Capturing Subtle Facial Motions in 3D Face Tracking.
International Conference on Computer Vision. 2003.
5. Y.Zhang, Q.Ji. Active and dynamic information fusion for facial expression
understanding from image sequence. IEEE Transactions on Pattern Analysis
and Machine Intelligence. 2005.
6. M.S.Bartlett, J.C.Hager, P.Ekman, T.J.Sejnowski. Measuring facial
expressions by computer image analysis. Psychophysiology. 1999.
7. Z.Zhang, M.Lyons, M.Schuster, S.Akamatsu. Comparison Between
Geometry-Based and Gabor-Wavelets-Based Facial Expression Recognition
Using Multi-Layer Perceptron. IEEE International Conference on Automatic
Face and Gesture Recognition. 1998.
8. M.Pantic, I.Patras. Dynamics of facial expression: Recognition of facial
actions and their temporal segments from face profile image sequences. IEEE
Transactions on Systems, Man and Cybernetics. 2006.
9. E.Holden, R.Owens. Automatic Facial Point Detection, Asian Conference on
Computer Vision. 2002.
10. D.Vukadinovic, M.Pantic. Fully Automatic Facial Feature Point Detection
Using Gabor Feature Based Boosted Classifiers. IEEE International
Conference on Systems, Man and Cybernetics. 2005.
11. L.Chen, L.Zhang, H.Zhang, M.Abdel-Mottaleb. 3D Shape Constraint for
Facial Feature Localization using Probabilistic-like Output. IEEE International
Workshop Analysis and Modeling of Faces and Gestures. 2004.