Phát Hiện Khuôn Mặt Cho Xác Định Số Lượng Sinh Viên Trong Lớp Học (tt)

HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG
---------------------------------------

TRẦN THỊ VÂN ANH

PHÁT HIỆN KHUÔN MẶT CHO XÁC ĐỊNH
SỐ LƢỢNG SINH VIÊN TRONG LỚP HỌC

CHUYÊN NGÀNH :

HỆ THỐNG THÔNG TIN

MÃ SỐ:

60.48.01.04

0

LUẬN VĂN THẠC SĨ KỸ THUẬT
(Theo định hướng ứng dụng)

NGƢỜI HƢỚNG DẪN KHOA HỌC: PGS.TS LÊ HOÀNG THÁI


TP.HỒ CHÍ MINH – 2017

Luận văn được hồn thành tại:
HỌC VIỆN CƠNG NGHỆ BƢU CHÍNH VIỄN THƠNG

Người hướng dẫn khoa học: PGS.TS. LÊ HOÀNG THÁI

Phản biện 1: ………………………………………………
Phản biện 2: ………………………………………………

Luận văn sẽ được bảo vệ trước Hội đồng chấm luận văn thạc sĩ tại
Học viện Cơng nghệ Bưu chính Viễn thông
Vào lúc: ... giờ .... ngày ..... tháng .... năm ….....
Có thể tìm hiểu luận văn tại:
- Thư viện của Học viện Cơng nghệ Bưu chính Viễn thơng


1

MỞ ĐẦU
1. Tính cấp thiết của đề tài
Bài tốn xác thực cá nhân là bài toán cốt lõi trong nhiều ứng dụng của cuộc sống.
Phương pháp xác thực cá nhân truyền thống là dựa vào vật sở hữu (thẻ, con dấu, chìa
khóa...) hoặc mã cá nhân (mật khẩu, mã số PIN...). Tuy nhiên những phương pháp này có
nhiều hạn chế như: độ bảo mật kém, dễ quên, mất, dễ giả mạo... Do vậy, hướng tiếp cận đặc
trưng sinh trắc học cho nhận diện cá nhân ngày càng được quan tâm nghiên cứu và ứng
dụng. Đặc trưng sinh trắc học (như ảnh mặt người, ảnh dấu vân tay, ảnh vân lòng bàn tay,
ảnh móng mắt, giọng nói, dáng đi ...) có tính duy nhất, độ chính xác và an tồn rất cao.
Trong các đặc trưng sinh trắc học này thì cơng nghệ nhận dạng mặt người được áp dụng
trong rất nhiều ứng dụng thương mại, an ninh và hành pháp. Nhận dạng mặt người có mức
độ an ninh thấp khi điều kiện thu nhận ảnh là khơng ràng buộc nhưng có rất nhiều thuận lợi
có thể áp dụng ở nhiều ngữ cảnh khác nhau.

Hình 1: Các đặc trƣng sinh trắc học phổ biến [11]

Trong nhiều thập kỷ qua nhiều thành tựu nâng cao trong nhận dạng mặt người đã đạt
được. Nhiều hệ thống nhận dạng mặt người đã đạt được độ chính xác trên 90%. Tuy nhiên,

khi áp dụng thực tế thì vẫn có rất nhiều thách thức bởi vì việc thu nhận ảnh mặt người có thể
nằm trong nhiều điều kiện mơi trường khác nhau, ví dụ như điều kiện chiếu sáng, tư thế,
thời gian trì hoản, bị che khuất... Do vậy, việc nghiên cứu bài toán nhận dạng mặt người là
cấp thiết.

2. Mục đích nghiên cứu
Mục tiêu nghiên cứu của đề tài là phát triển thuật toán biểu diễn đặc trưng mặt người
hiệu quả cho việc so khớp nhanh và đạt độ chính xác cao. Minh họa ứng dụng của kỹ thuật
nhận dạng mặt người này vào phần mềm điểm danh sinh viên trong lớp học.


2

3. Đối tƣợng và phạm vi nghiên cứu
3.1 Đối tượng nghiên cứu
Đối tượng nghiên cứu là ảnh mặt người, các kỹ thuật xử lý biểu diễn đặc trưng mặt
người (biểu diễn đặc trưng hình học, mắt, mũi, miệng,...).Thực nghiệm trên cơ sở dữ liệu
chuẩn ORL và YALE để đánh giá hiệu quả của phương pháp rút trích đặc trưng trong đề tài.

3.2 Phạm vi nghiên cứu
Đề tài tập trung vào việc nghiên cứu rút trích mặt người nhìn thẳng.
Thực nghiệm minh họa trong ứng dụng điểm danh sinh viên trong một lớp dưới 50
sinh viên.

3.3 Phương pháp nghiên cứu
Đề tài chọn hướng tiếp cận kết hợp đặc trưng toàn cục và đặc trưng cục bộ để tạo ra
đặc trưng bền vững với nhiễu và có tính phân biệt cao. Bộ lọc Gabor Cong được áp dụng để
tạo ra đặc trưng cục bộ có tính bền vững với nhiễu. Kỹ thuật học thống kê phân tích tách lớp
tuyến tính (LDA) được áp dụng để trích chọn đặc trưng tồn cục có tính phân biệt cao của
các đối tượng.

4. Cấu trúc luận văn
Cấu trúc của luận văn gồm phần mở đầu, 4 chương và phần kết luận như sau:
-

Phần mở đầu: Giới thiệu tính cấp thiết, mục tiêu nghiên cứu, phạm vi nghiên cứu và
bố cục luận văn.

-

Chương 1: Trình bày tổng quan về hệ thống nhận dạng mặt người. Các độ do đánh
giá hiệu quả của việc nhận dạng mặt người.

-

Chương 2: Trình bày các cơng trình nghiên cứu liên quan về kỹ thuật rút trích đặc
trưng mặt người.

-

Chương 3: Trình bày phương pháp rút trích đặc trưng mặt người được thực hiện
trong đề tài.

-

Chương 4: Kết quả thực nghiệm trên cơ sở dữ liệu chuẩn.

Phần kết luận: Trình bày tóm tắt các nội dung đã làm được và hướng phát priển trong đề tài.

3

CHƢƠNG 1 -

TỔNG QUAN

1.1 Giới thiệu
Ngày nay ngành công nghiệp đã và đang phát triển kéo theo các thiết bị thông minh,
máy ảnh số, camera kĩ thuật số ra đời. Các thiết bị có tích hợp hỗ trợ camera rất phổ biến.
Do vậy sẽ mở ra nhiều hướng nghiên cứu về thị giác máy tính, đồng thời sẽ có nhiều ứng
dụng trong giao tiếp giữa người với máy tính mà trong đó hệ thống nhận dạng mặt người
đóng một vai trị khơng nhỏ. Một số ứng dụng trong cơng nghệ nhận dạng mặt người trong
các lĩnh vực của cuộc sống hiện nay như ngành hàng không, bảo vệ trẻ em từ bọn bắt cóc,
tìm kẻ khủng bố, hệ thống chấm cơng...
 Tóm lại: nhu cầu sử dụng các hệ thống xử lý dùng trí tuệ nhân tạo ngày càng phát
triển, mà trong đó nhận dạng khn mặt để mã hóa mật khẩu cá nhân là một nhu cầu
thiết yếu hiện nay và trong tương lai.

1.1.1 Đặc trưng của mặt người
Có nhiều lĩnh vực khác nhau như sinh học, tâm lý học, khoa học thần kinh, xã hội
học và khoa học máy tính đã phân tích đặc trưng biểu hiện khn mặt người. Mặc dù đã có
nhiều nghiên cứu để biểu diễn khn mặt người, nhưng bài tốn mã hóa khn mặt người
vẫn là bài tốn mở. Nhìn chung có ba kiểu biểu diễn đặc trưng khuôn mặt người: đặc trưng
tổng thể, đặc trưng thành phần và đặc trưng cấu trúc mối quan hệ giữa các thành phần. Đặc
trưng tổng thể là xem khuôn mặt là một thực thể duy nhất để phân biệt. Đặc trưng thành
phần là xem xét các thành phần (mắt, mũi, miệng) riêng lẻ. Đặc trưng cấu trúc mối quan hệ
giữa các thành phần là xem xét mối quan hệ khơng gian hình học giữa các thành phần
khuôn mặt. Khi xem xét đặc trưng tổng thể hay đặc trưng từng thành phần thì đặc trưng kết
cấu mẫu vẫn thường được sử dụng.

4

Hình 1.1 : Các đặc trƣng của mặt ngƣời

1.1.2 Thách thức trong bài tốn nhận dạng mặt người
Khn mặt người là nơi biễn diễn sắc thái và tình cảm của con người rõ ràng nhất, vì
vậy bài tốn nhận dạng mặt người gặp khơng ít những thách thức về biểu hiện cảm xúc cũng
như các yếu tố tác nhân bên ngồi như: hướng của khn mặt, số lượng hình ảnh quá lớn,
các đặc trung không phải là khuôn mặt như người đeo kính hay rau quai nón, gương mặt bị
che khuất, điều kiện về độ sáng tối.

Hình 1.2: Hình ảnh khn mặt bị nhiễu [4]

Các khó khăn trên chứng tỏ việc nhận dạng mặt người không tránh được các khuyết
điểm nhất định. Để đánh giá và so sánh giữa các phương pháp xác định mặt người, ta
thường dựa trên độ đo FAR hay FRR ...


5

1.1.3 Các giai đoạn trong nhận dạng mặt người
Một hệ thống sinh trắc học là hệ nhận dạng dựa trên hành vi, thuộc tính vật lý của
người được nhận dạng. Hệ sinh trắc học được phân thành hai loại chính:
Hệ xác thực (Verification): đầu vào gồm có ảnh truy vấn và định danh. Hệ thống đối
sánh 1-1 giữa mẫu mặt người đã thu nhận được với mẫu mặt người trong hệ thống ứng với
định danh đầu vào. Hệ thống xác thực trả lời kết qủa phải hay không phải mặt người ứng
với định danh đó.
Hệ định danh (Indentification): đầu vào chỉ có mẫu truy vấn. Hệ thống so sánh mẫu
truy vấn với các mẫu huấn luyện (1-n). Hệ thống sẽ cho biết định danh với mẫu truy vấn đó

nếu có, ngồi ra thì trả lời là khơng biết.
Chưa biết trước thông tin

Đã biết trước thông tin

Người này là ai?

Đây là Jon phải khơng?

Jon

Kết quả

Xác minh ngƣời

Kết quả

Nhận dạng ngƣời

Đúng/Sai

Hình 1.3: So sánh tác vụ định danh và xác thực khuôn mặt

Nhận dạng mặt người thông qua các giai đoạn:
- Face Detection (Phát hiện mặt người): nhận dạng đâu là vùng mặt có trong dữ liệu
đầu vào và thực hiện cắt lấy vùng ảnh mặt để thực hiện nhận dạng.


6

- Preprocessing (Tiền xử lý ảnh): chuẩn hóa mẫu ảnh về tư thế chuẩn như chuẩn hóa
kích cỡ ảnh, hiệu chỉnh độ sáng, tối của ảnh, lọc nhiễu, vị trí và tư thế mẫu ảnh trong cơ sở
dữ liệu và ảnh cần được nhận dạng để giúp cho việc tìm kiếm dễ dàng và hiệu quả hơn.
- Feature Extraction (Trích chọn đặc trưng): ở bước này sử dụng phương pháp
Adaboost kết hợp với Haar like để trích chọn đặc trưng của khuôn mặt (vùng mặt, mắt trái,
mắt phải, mũi và miệng), sau đó sử dụng phương pháp Gabor Cong kết hợp với phương
pháp (2D)2LDA... với mục đích trích chọn các đặc trưng cho ảnh đươc biểu diễn dưới dạng
vectơ, dựa trên vectơ đặc điểm để đối sánh sự giống và khác nhau của mẫu ảnh cần nhận
dạng và mẫu ảnh trong cơ sở dữ liệu.
- Comparison (Đối sánh): thực hiện so sánh giữa vectơ đặc trưng để chọn ra độ tương
tự của mẫu ảnh cần tìm và mẫu ảnh chứa trong cơ sở dữ liệu.

Ảnh

Phát

Rút

Đối

Nhận

đầu

hiện mặt

trích

sánh

dạng

vào là

người

đặc

(so

khn

ảnh

và Tiền

trưng

khớp)

mặt

tĩnh

xử lý
khn
mặt
Hình 1.4 : Hệ thống nhận dạng cơ bản

1.2 Độ đo đánh giá hiệu quả nhất

Trong quá trình nhận dạng thì thường gặp phải vấn đề về lỗi như sau:
- Phát sinh lỗi khi so sánh mẫu khuôn mặt của hai người khác nhau nhưng kết quả
là của cùng một người. Lỗi này được gọi là loại bỏ sai (false reject).
- Phát sinh lỗi khi so sánh mẫu gương mặt cùng một người nhưng kết quả là
khơng phải đối tượng đó. Lỗi này được gọi là chấp nhận sai (false accept).
Để đo được lỗi phát sinh trong quá trình nhận dạng thì ở đây nói đến độ đo lường
thường được định nghĩa:


7

- FAR (false accept ratio): tỷ lệ chấp nhận sai cho biết tỉ lệ trả lời đúng đối với dữ
liệu đầu vào là sai.
- FRR (false reject radio): tỷ lệ từ chối sai cho biết tỉ lệ trả lời sai đối với dữ liệu
đầu vào là đúng.

1.3 Kết thúc chƣơng 1
Chương này giới thiệu tổng quan về nhận dạng mặt người, các đặc trưng của mặt
người, các giai đoạn và độ đo đánh giá hiệu quả nhất trong hệ thống nhận dạng mặt người.
Từ đó, đưa ra các phương pháp tiếp cận của bài toán nhận dạng mặt người.


8

CHƢƠNG 2 - CÁC CƠNG TRÌNH NGHIÊN CỨU
LIÊN QUAN
2.1 Giới thiệu các hƣớng tiếp cận chung
Dựa vào việc sử dụng đặc trưng của khuôn mặt trong khi nhận dạng, các hệ thống
nhận dạng mặt được chia thành hai hướng tiếp cận chính: hướng tiếp cận tồn cục (global
approaches) và hướng tiếp cận cục bộ (local features based approaches). Các phương pháp

theo hướng toàn cục sẽ sử dụng các đặc điểm tồn cục của khn mặt (hình dạng, màu sắc,
các đường nét chính…) trong khi các hệ thống theo cách tiếp cận dựa vào các đặc trưng cục
bộ sử dụng các đặc điểm cục bộ của khuôn mặt (các điểm ảnh, các chi tiết như mắt, mũi,
miệng, lông mày…) để nhận dạng.
Các nghiên cứu cho thấy các hệ thống dựa trên các đặc điểm cục bộ cho kết quả tốt
hơn các hệ thống theo cách tiếp toàn cục, đặc biệt là khi làm việc với các ảnh bị ảnh hưởng
bởi các điều kiện như đã đề cập ở trên.
Một hệ thống nhận dạng mặt người làm việc giống như hệ thống thị giác của con
người khi cần nhận ra một ai đó khi nhìn vào một bức tranh. Ở bước đầu tiên hệ thống cần
xác định xem có mặt người trong bức ảnh hay khơng, sau đó nếu có thì chỉ vùng ảnh đó sẽ
được quan tâm. Các bước của quá trình nhận dạng tự động như thị giác của con người khi
tiếp nhận ảnh và xử lý (ảnh đầu vào - xử lý và nhận dạng).
Do một hệ thống nhận dạng mặt gồm nhiều bước nên các nghiên cứu về nhận dạng
mặt cũng chia thành các lĩnh vực nhỏ hơn chỉ tập trụng vào các phương pháp để giải quyết
từng bước trong cả hệ thống. Vì thế, mặc dù đã có nhiều nghiên cứu về nhận dạng mặt, song
việc xây dựng hoàn chỉnh một hệ thống hoàn toàn tự động từ bước đầu tiên tới cuối cùng
vẫn còn chưa nhiều. Ở đây để hướng tới việc xây dựng một hệ thống nhận dạng mặt hoàn
toàn tự động với các kỹ thuật được áp dụng cho các bước như sau:
 Phát hiện khuôn mặt: sử dụng các đặc trưng HOG [14].
 Tiền xử lý: sử dụng phương pháp retinal filter .
 Trích chọn đặc trưng: nghiên cứu áp dụng kỹ thuật LPQ.


9

 Nhận dạng đối tượng với bộ phận lớp k-NN.
Trong chương này, các vấn đề liên quan tới bài toán nhận dạng mặt người và các
bước cơ bản để xây dựng một hệ thống nhận dạng mặt tự động cùng với các cách tiếp cận
liên quan đã được trình bày. Chương tiếp theo của tài liệu này sẽ trình bày chi tiết về các kỹ
thuật được áp dụng khi triển khai hệ thống.

2.2 Phƣơng pháp tiếp cận

 Một bài đánh giá về Gabor wavelet để nhận dạng khuôn mặt của Linlin Shen - Li Bai
[9], bài đánh gái đã đăng 6/12/2004, được chấp nhận 17/05/2006 và công bố trực tuyến
18/08/2006. Bài đánh giá đo được tính mãnh mẽ của các tính năng Gabor chống lại biến
dạng làm thay đổi dưới những tác động của ánh sáng, biến thể áp dụng thành công để nhận
dạng mặt người. Các đánh giá công nghệ nhận dạng (FERET) và cuộc thi xác nhận mặt
người gần đây (FVC2004) đã chứng kiến hiệu suất cao nhất của phương pháp dựa trên tính
năng Gabor. Bài báo nhằm mục đích đưa ra một cuộc khảo sát chi tiết các thuật tốn nhận
dạng khn mặt 2D cơng nghệ tiên tiến sử dụng Gabor wavelet để trích chọn đặc trưng.
 2D-LDA: Phân tách tuyến tính tĩnh cho ma trận hình ảnh của tác giả Ming Li *,
Baozong Yuan [6]. Bài báo đề xuất thuật tốn sáng tạo có tên 2D-LDA chiết xuất trực tiếp
các tính năng thích hợp từ ma trận hình ảnh dựa trên phân tách phân loại tuyến tính và đồng
thời so sánh phương pháp 2D-LDA với các phương pháp phân tách khác như 2D-PCA,
Eigenfaces Fisherfaces, trong đó phương pháp 2D-LDA cho kết quả có hiệu suất là tốt nhất.

Hình 2.1 : Một số cấu trúc khn mặt của một ngƣời [6]

Bài báo sử dụng 5 hình cho tập huấn luyện và 5 hình cho việc thực nghiệm. Vì vậy
kích thước của tập huấn luyện và tập kiểm tra là 200. Từ hình 2. cho thấy tỷ lệ công nhận
của 2D-LDA đạt hiệu suất là tốt nhất và phương pháp 2D-LDA đạt 94% tốt hơn so với kết
quả của 2D-PCA 92.25% minh họa tại hình 2.15.


10

Hình 2.2: So sánh phƣơng pháp 2D-LDA và 2D-PCA
trên cơ sở dữ liệu ORL [6]

 Bài báo nói về sự kết hợp của ma trận hình ảnh hai chiều và 2D-LDA [10]: một cách
tiếp cận hiệu quả để nhận dạng khuôn mặt của tác giả Trương Phước Hưng và PGS.TS Lê
Hồng Thái. Bài báo trình bày cách tiếp cận hiệu quả để khai thác tính năng nhận dạng
khn mặt, cách tiếp cận phân biệt hai giai đoạn mới: xử lý ảnh gốc để có được hai ma trận
hình ảnh mới và biểu diễn những hình dạng bằng hai kỹ thuật 2D-LDA hai chiều. Với đề
xuất này, có thể sử dụng ý tưởng về các tính năng chặn cục bộ và các cấu trúc hình ảnh tồn
cục 2D để có thể bảo vệ các tính năng khn mặt 2D tại chỗ.

Hình 2.3: Sắp xếp hình ảnh theo hƣớng dọc và ngang [10]

Hình 2.4: Phƣơng pháp đề xuất trích chọn tính năng cả hình gốc [10]


11

Kết quả thực nghiệm trên ORL và cơ sở dữ liệu của Yale chứng minh rằng phương
pháp đề xuất đạt được độ chính xác về hình thái tốt mặc dù số lượng hệ số ít và ít mẫu huấn
luyện (khoảng hai mẫu cho mỗi lớp) [10].

2.3 Kết luận chƣơng 2
Chương này giới thiệu các hướng tiếp cận và cơng trình nghiên cứu liên quan trong
hệ thống nhận dạng mặt người. Từ đó, đề xuất mơ hình kết hợp các phương pháp áp dụng
trong hệ thống nhận dạng mặt người để đưa ra kết quả nhận dạng có tính chính xác cao và
thời gian xử lý nhanh.


12

CHƢƠNG 3 - PHƢƠNG PHÁP ĐỀ XUẤT
3.1 Ý tƣởng

Hình 3.1: Hệ thống nhận dạng mặt ngƣời


13

Hệ thống nhận dạng mặt người với đầu vào là ảnh của đối tượng hoạt động như sau:
ban đầu sử dụng giải thuật Adaboost và đặc trưng Haar like (sử dụng thư viện open CV) để
phát hiện mặt người trên ảnh đồng thời canh chỉnh khn mặt với phương nhìn thẳng, rút
trích khn mặt được các vectơ đặc trưng của khuôn mặt như (vùng mặt, mắt trái, mắt phải,
mũi, miệng). Từ các vectơ đặc trưng của khuôn mặt là khác nhau nên áp dụng phương pháp
Gabor Cong lên khuôn mặt với các thông số độ cong khác nhau, với các vùng đặc trưng của
khn mặt là hình cong thì áp dụng Gabor cong với tỷ lệ đường cong là khác không và tỷ lệ
cong bằng không với các vectơ đặc trưng nhìn thẳng, kết quả khi áp dụng phương pháp
Gabor Cong là ta thu được các đặc trưng khuôn mặt không chịu sự ảnh hưởng của nhiễu.
Tiếp tục áp dụng phương pháp (2D)2LDA lên các đặc trưng khuôn mặt sau khi đã được áp
dụng phương pháp Gabor Cong nhằm làm tăng lên tối đa sự khác nhau giữa các ảnh của
những người khác nhau và làm tăng sự giống nhau giữa các ảnh của cùng một người hay nói
cách khác giúp đặc trưng khn mặt có tính phân tách cao. Tiếp theo, tiến hành nhận dạng
bằng cách so khớp khuôn mặt đã được xử lý với khn mặt có trong cơ sở dữ liệu để xác
minh danh tính của đối tượng.

3.2 Thuật toán
3.2.1 Gabor cong
Gabor Cong là phương pháp sử dụng Gabor Wavelet nhưng có thêm một tham số độ
cong cho đối tượng [5]. Từ đặc trưng của khuôn mặt có những vùng quan trọng biểu diễn là
đường cong như mắt, góc mũi, miệng... đồng thời những vùng biểu diễn là đường thẳng như
mũi và các thành phần khác.
Phương trình của Wavelet đường cong như sau:
(3.1)

(3.2)
Trong đó:


14

c: tỷ lệ đường cong

Hình 3.2: Ví dụ Gabor cong kernels đƣợc thể hiện với thông số:
σ = л và c = 0.1 [5]

Hình 3.3: Ví dụ thực tế của 12 ECG wavelet kernels đƣợc đề xuất hiển thị [5]

Phương trình (3.2) có nguồn gốc:


15

(3.3)
Trong đó:
và
Ta có thể tạo ra bộ rời rạc 5x16, với 5 tần số khác nhau là v = {0,...,4} và 16 hướng
là u = {0,...,15}. Bán kính của Gaussian thường là σ = 2л. Minh họa tại hình 3.2.
Minh họa thực nghiệm áp dụng Gabor Cong với hệ số cong được gán cố định (Lông
mày: 0.1; miệng: 0.15; mắt: 0.2; hóc mũi: 0.25) với các vùng khn mặt biểu diễn là đường
cong, các vùng cịn lại của khn mặt biểu diễn là đường thẳng thì hệ số cong là 0.

Hình 3.4: Hình minh họa áp dụng Gabor Cong

Tóm lại: trong giai đoạn rút trích đặc trưng sử dụng phương pháp Gabor Cong, giúp
cho việc rút trích đặc trưng thực hiện nhanh, giúp phát hiện được sự thay đổi nổi bật giữa
các giá trị điểm ảnh và hạn chế tác động sự thay đổi độ sáng của ảnh. Kết quả sau khi áp


16

dụng phương pháp Gabor Cong lên từng vùng đặc trưng của khuôn mặt thu được đặc trưng
khuôn mặt chống nhiễu. Sau đó, tiếp tục áp dụng phương pháp (2D)2LDA lên đặc trưng
khn mặt để ta thu được khn mặt có tính phân tách cao.

3.2.2 Phương pháp (2D)2LDA:
Với 2DLDA chủ yếu hoạt động theo hướng hàng ngang của hình ảnh, và sau đó đề
xuất một 2DLDA thay thế hoạt động theo hướng hàng dọc của hình ảnh. Bằng cách kết hợp
đồng thời hoạt động theo hai hướng ngang và dọc của hình ảnh, phát triển hai chiều 2DLDA
hay gọi là (2D)2LDA cho kết quả hiệu quả và được công nhận.
Kết quả thực nghiệm trên cơ sở dữ liệu ORL và YALE cho thấy phương pháp có kết
quả đạt được độ chính xác nhận dạng tương dương hoặc thậm chí tốt hơn của phương pháp
2DLDA, trong khi số lượng các yếu tố cần thiết để nhận dạng thì ít hơn nhiều [8].
2DLDA hoạt động hàng của hình ảnh để tìm ra một ma trận tối ưu X từ một tập hợp
các hình ảnh huấn luyện, và sau đó chiếu một ảnh m × n hình ảnh A lên X, cho ra m bởi ma
trận d, Tức là Ym × d = Am × n · Xn × d. Tương tự như vậy, sự thay đổi 2DLDA học ma
trận chiếu tối ưu Z, thơng tin giữa các cột của hình ảnh và sau đó chiếu hình ảnh A lên Z,
mang lại một ma trận q bởi n, tức là Bq × n = ZT, m × q · Am × n. Giả sử chúng ta đã thu
được các ma trận chiếu X và Z, chiếu m bằng hình ảnh A lên X và Z đồng thời, cho ra một
q bởi ma trận D [8].
(3.4)


17

Hình 3.5: Phƣơng pháp (2D)2-LDA

Ma trận C được gọi là ma trận điểm ảnh trong khi biểu diễn hình ảnh. Khi sử dụng để
nhận dạng mặt người thì ma trận C được gọi là ma trận đặc trưng. Sau khi chiếu mỗi ảnh
trong tập huấn luyện Ak = {k = 1,2,3,...,N} vào X và Z, ta có được ma trận đặc trưng Ck =
{k = 1,2,3,...,N}. Kiểm tra với một hình ảnh mặt người A, hình (3.4) đầu tiên sử dụng Eq để
lấy ma trận đặc trưng C. Sau đó lớp gần nhất được sử dụng để phân loại. Ở đây, khoảng
cách C và Ck được xác định bởi công thức:
(3.5)
Kết quả minh họa cho thực nghiệm ảnh mặt người khi kết hợp phương pháp Gabor
Cong và phương pháp (2D)2-LDA. Hình (b) thể hiện khn mặt sau khi áp dụng phương
pháp Gabor Cong, các hình (c, d, e, f, g, i, j) biểu diễn khuôn mặt sau khi áp dụng phương
pháp Gabor Cong và (2D)2-LDA.


18

Hình 3.6: Thực nghiệm kết hợp Gabor Cong và (2D)2-LDA

3.2.3 Các bước thực hiện của thuật toán
Ba giai đoạn xử lý với ảnh đầu vào là người: (1) tiền xử lý ảnh mặt người về tư thế
mặt nhìn thẳng, (2) áp dụng phương pháp Gabor cong để trích chọn các đặc trưng của mặt
người (khuôn mặt, mắt trái, mắt phải, mũi, miệng), với các đặc điểm như mắt, góc mũi,
miệng là những đường cong thì áp dụng phương pháp Gabor cong để chuẩn hóa ảnh rõ nét
hơn, những đặc điểm cịn lại sử dụng Gabor để chuẩn hóa ảnh như mũi, (3) sau đó áp dụng
phương pháp (2D)2LDA để trích chọn đặc trưng giúp loại bỏ các vùng dữ liệu trùng lấp.
Các bước xử lý của lược đồ áp dụng được trình bày tóm tắt như sau:
 Với ảnh đầu vào là mặt người với tập dữ liệu

sử dụng

phương pháp Adaboost và đặc trưng Haar like để trích chọn các đặc trưng của mặt
người để đươc tập dữ liệu đặc trưng của các vùng mặt, mắt trái, mắt phải, mũi và
miệng.
tập dữ liệu vùng mặt
tập dữ liệu vùng mắt trái
tập dữ liệu vùng mắt phải


19

tập dữ liệu vùng miệng
tập dữ liệu vùng mũi

 Áp dụng bộ lọc Gabor Cong với công thức (3.1) lên tập huấn luyện ta thu đươc là tập
ảnh
 Áp dụng phương pháp (2D)2LDA lên tập dữ liệu

bằng

công thức (3.4) nhận được tập ảnh

3.3 Áp dụng chƣơng trình thực nghiệm điểm danh mặt ngƣời
3.3.1 Nhu cầu sử dụng phần mềm
Hiện nay, tại các trường học, việc điểm danh sinh viên hầu hết được
thực hiện bằng cách thơng thường, đó là đọc tên từng người để điểm danh vào giấy. Việc
này sẽ gây mất nhiều thời gian khi cần điểm danh, không kiểm sốt được việc sinh viên có
thể điểm danh thay thế cho bạn khác, hoặc các giảng viên quên mang theo danh sách lớp,…
Như vậy để giải quyết vấn đề này, ý tưởng xây dựng phần mềm điểm danh dựa vào

khuôn mặt sẽ cải thiện và mang lại hiệu quả tốt hơn như:
-

Giảm mất thời gian của giảng viên cũng như sinh viên khi thực hiện điểm danh.

-

Điểm danh được thực hiện tự động.

-

Giảm thiểu các trường hợp điểm danh thay thế cho bạn.

-

Tránh các trường hợp như giảng viên khơng có danh sách lớp,…

3.3.2 Phần mềm đề xuất
Chương trình nhận dạng khuôn mặt được viết bằng C# với sự hỗ trợ của thư viện của
OpenCV và lưu dữ liệu thơng qua SQL Server. Chương trình có thể sử dụng camera có sẵn
của laptop (hoặc camera rời).


20

3.3.3 Thiết kế cơ sở dữ liệu
3.3.4 Thiết kế giao diện
3.3.5 Chức năng của phần mềm
 Chức năng quản lý môn học
 Chức năng quản lý khoa

 Chức năng quản lý lớp
 Chức năng quản lý giảng viên
 Chức năng quản lý sinh viên
 Các chức năng khác

3.4 Quy trình xử lý
3.4.1 Quy trình điểm danh được thực hiện như sau
Thu thập dữ liệu ảnh sinh viên:
Mỗi sinh viên sẽ cung cấp cho nhà trường 10 ảnh khuôn mặt trực diện qua camera
với các tư thế khác nhau (ảnh trực diện, nghiêng trái, nghiêng phải, hướng nhìn lên, hướng
nhìn xuống dưới…). Cần phải thu thập nhiều ảnh từ sinh viên để đạt được kết quả chính xác
hơn khi sinh viên đứng trước camera điểm danh với nhiều tư thế khác nhau.

Hình 3.7: Các tƣ thế của ảnh huấn luyện

Ảnh chụp của sinh viên phải dùng camera với độ phân giải phải ít nhất 2Mpx. Vì ảnh
nhiều mật độ điểm ảnh sẽ xử lý tốt hơn.


21

Nhập dữ liệu của mỗi lớp học:
Danh sách sinh viên trong lớp học có thể được thêm bằng cách nhập bằng tay kèm
theo việc chụp ảnh của từng sinh viên.
Ngoài ra cịn có thể thêm danh sách sinh viên thơng qua file Excel hoặc tải từ cơ sở
dữ liệu của nhà trường (lọc theo mã số sinh viên). Sau đó ta có thể chọn sinh viên và cập
nhật ảnh.
Quy trình điểm danh:
Tại mỗi buổi học, giảng viên sẽ chọn lọc ra dữ liệu của sinh viên trong lớp. Yêu cầu
sinh viên đứng trước camera để nhận dạng (sinh viên có thể thực hiện thay đổi tư thế trước

camera). Sau khi nhận dạng hệ thống sẽ thực hiện điểm danh và hiển thị tên của sinh viên
lên màn hình để sinh viên kiểm tra. Nếu nhận dạng không thành công, sinh viên có thể liên
hệ với giảng viên để được điểm danh thủ cơng.

Hình 3.8: Mơ hình nhận dạng khn mặt tại lớp học

3.4.2 Mơ hình xử lý nhận dạng khn mặt
Ảnh kiểm tra: Là bước camera thu ảnh khuôn mặt của sinh viên (10 ảnh với các
hướng khác nhau), để làm cơ sử dữ liệu đầu vào cho các bước sau.
Tiền xử lý ảnh: Chức năng này để chuẩn hóa ảnh cần tìm giúp cho việc tìm kiếm
được hiệu quả hơn. Các cơng việc trong bước tiền xử lý có thể là: Chuẩn hóa kích cỡ giữa
ảnh trong cơ sở dữ liệu và ảnh cầm tìm, hiệu chỉnh độ sáng, tối của ảnh; lọc nhiễu, chuẩn
hóa về vị trí, tư thế ảnh mặt.
Phát hiện khuôn mặt: Chức năng này làm nhiệm vụ xác định vị trí, kích cỡ của một
hoặc nhiều mặt trên ảnh chụp từ đó tách ra phần mặt, mắt (trái/phải), mũi, miệng. Phần ảnh


22

mặt đươc tách ra thường nhỏ hơn nhiều so với ảnh chụp ban đầu và chức năng trích chọn
đặc trưng sẽ sử dụng các ảnh được tách ra này.
Rút trích đặc trưng: Tìm ra các đặc trưng chính của ảnh đã tách, từ các đặc trưng này
hình thành các vector đặc trưng/ma trận hướng, các vector/ma trận hướng này sẽ được sử
dụng để đối sánh sự giống nhau giữa ảnh mặt cần tìm và ảnh mặt trong CSDL.
So khớp: Thực hiện việc so sánh giữa vector đặc trưng (các ma trận hướng) để chọn
ra độ tương tự, từ đó đưa ra kết quả cuối cùng giữa ảnh cần tìm và ảnh trong CSDL (Dữ liệu
đã huấn luyện).

Hình 3.9: Mơ hình các bƣớc xử lý của hệ thống nhận dạng khuôn mặt

3.5 Kết luận chƣơng 3
Chương này tôi tiến hành đưa ra sự kết hợp phương pháp Gabor Cong và phương
pháp (2D)2LDA để từ đó xây dựng thực nghiệm hệ thống nhận dạng mặt người để áp dụng
cho đếm số lượng sinh viên trong lớp học. Từ đó tơi trình bày rõ phần và hướng dẫn cụ thể
phần mềm điểm danh dựa vào khuôn mặt. Cuối cùng, tôi khẳng định sự kết hợp phương
pháp Gabor Cong và phương pháp (2D)2LDA cho ra kết quả có độ chính xác cao.


23

CHƢƠNG 4 - KẾT QUẢ THỰC NGHIỆM VÀ
HƢỚNG PHÁT TRIỂN
4.1 Cơ sở dữ liệu thực nghiệm
Đánh giá kết quả thực nghiệm với Gabor Wavelet với cơ sở dữ liệu là ORL, YALE.
Thực nghiệm minh họa thực hiện trên máy tính có bộ xử lý Intel® Core™ 2 Dou CPU
P8600 @ 2.40GHz, Ram 4.00Gb và Visual Studio 2012.
Cơ sở dữ liệu cho bài toán nhận dạng mặt người được phân thành tập huấn luyện và
ảnh mẫu sử dụng nhận dạng với cơ sở dữ liệu chuẩn như ORL của AT&T [15]. Cơ sở dữ
liệu ORL bao gồm 400 ảnh của 40 người, mỗi người gồm có 10 ảnh khác nhau về thời
điểm, độ sáng, biểu cảm khuôn mặt (buồn, vui...) và các chi tiêt trên khn mặt (đeo kính
hoặc khơng đeo kính).
Dưới đây là một số hình ảnh mặt người trong cơ sở dữ liệu ORL:

Hình 4.1: Ảnh mặt ngƣời trong cơ sở dữ liệu ORL [15]

Cơ sở dữ liệu Yale [16] chứa 165 hình ảnh màu xám của 15 người trong điều kiện
biểu hiện khuôn mặt và cấu trúc ánh sáng khác nhau. Mỗi người có 11 ảnh với kích thước
của mỗi hình ảnh là 320 x 243 pixel. Cơ sở dữ liệu này được sử dụng để đánh giá hiệu suất
của các phương pháp nhận dạng dưới điều kiện khác nhau khi biểu hiện khuôn mặt và điều