nghien cuu va ung dung nhan dien khuon mat de mo khoa tep tin

NGUYỄN
THỊ HIỀN

KỸ THUẬT
MÁY TÍNH
VÀ
TRUYỀN
THÔNG

KHOÁ
2013B

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC
BÁCH KHOA HÀ NỘI
---------------------------------------

NGUYỄN THỊ HIỀN

NGHIÊN CỨU VÀ ỨNG DỤNG NHẬN DIỆN KHUÔN MẶT

LUẬN VĂN THẠC SĨ KỸ THUẬT
KỸ THUẬT MÁY TÍNH VÀ TRUYỀN THÔNG

Hà Nội – Năm 2015


BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC BÁCH
KHOA HÀ NỘI --------------------------------------Nguyễn Thị Hiền

NGHIÊN CỨU VÀ ỨNG DỤNG NHẬN DIỆN KHUÔN MẶT

Chuyên ngành: Kỹ thuật Máy tính và Truyền thông

LUẬN VĂN THẠC SĨ KỸ THUẬT
Kỹ thuật Máy tính và Truyền thông

NGƢỜI HƢỚNG DẪN KHOA HỌC :
PGS.TS. Nguyễn Thị Hoàng Lan

Hà Nội – Năm 2015


CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc

BẢN XÁC NHẬN CHỈNH SỬA LUẬN VĂN THẠC SĨ
Họ và tên tác giả luận văn : Nguyễn Thị Hiền
Đề tài luận văn: Nghiên cứu và ứng dụng nhận diện khuôn mặt
Chuyên ngành: Kỹ thuật máy tính và truyền thông
Mã số SV: CB130032
Tác giả, Ngƣời hƣớng dẫn khoa học và Hội đồng chấm luận văn
xác nhận tác giả đã sửa chữa, bổ sung luận văn theo biên bản họp Hội
đồng ngày 25/04/2015 với các nội dung sau:
Không phải chỉnh sửa, bổ sung
Ngày 11 tháng

05

năm

2015

Giáo viên hƣớng dẫn

CHỦ TỊCH HỘI ĐỒNG

Tác giả luận văn


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

MỤC LỤC
LỜI CAM ĐOAN................................................................................................. 3
LỜI CẢM ƠN.......................................................................................................4
DANH MỤC CÁC TỪ VIẾT TẮT.......................................................................5
DANH MỤC CÁC HÌNH VẼ, BẢNG.................................................................6
MỞ ĐẦU...............................................................................................................7
Chƣơng 1 - TỔNG QUAN VỀ NHẬN DẠNG KHUÔN MẶT.........................10
1.1 Tìm hiểu chung về nhận dạng................................................................... 10
1.2 Tìm hiểu về nhận dạng mặt ngƣời qua ảnh...............................................11
1.3 Một số kỹ thuật trong hệ thống nhận dạng khuôn mặt..............................13
1.3.1 Phát hiện khuôn mặt

13

1.3.2 Trích chọn đặc trƣng

15

1.3.3 Phân loại, nhận dạng (Classification) 23
1.4 Những khó khăn của nhận dạng khuôn mặt..............................................23
Chƣơng 2 – GIẢI PHÁP NHẬN DIỆN KHUÔN MẶT TRONG KIỂM TRA

THẺ THƢ VIỆN.................................................................................................26
2.1 Khảo sát hiện trạng thƣ viện và phân tích nhu cầu ứng dụng nhận diện
khuôn mặt............................................................................................................26
2.2 Mô tả hoạt động mƣợn trả sách thƣ viện..................................................27
2.3 Đề xuất giải pháp ứng dụng nhận diện khuôn mặt kiểm tra thẻ thƣ viện . 27

2.4 Sơ đồ khối và chức năng hệ thống nhận diện khuôn mặt..........................28
2.4.1 Phát hiện khuôn mặt (face detection)

29

2.4.2 Tiền xử lý ảnh (preprocessing) 33
2.4.3 Trích rút đặc trƣng ( feature extraction)

34

2.4.4 Đối sánh (Matching)

37

2.4.5 Cơ sở dữ liệu 37

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

1


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

Chƣơng 3 – CHƢƠNG TRÌNH ỨNG DỤNG NHẬN DIỆN KHUÔN MẶT
KIỂM TRA THẺ THƢ VIỆN.............................................................................39
3.1 Phân tích chƣơng trình ứng dụng nhận diện khuôn mặt...........................39
3.2 Triển khai cài đặt thử nghiệm....................................................................40
3.3 Giao diện chức năng đăng ký....................................................................43
3.4 Giao diện chức năng nhận diện trên máy trạm (Client)............................ 45
3.5 Kiểm tra và đánh giá................................................................................. 47
KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN.......................................................... 50
TÀI LIỆU THAM KHẢO...................................................................................52

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

2


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

LỜI CAM ĐOAN
Tôi xin cam đoan đề tài nghiên cứu của tôi hoàn toàn do tôi t làm dƣới s
hƣớng dẫn của cô giáo PGS.TS Nguyễn Thị Hoàng Lan. Những kết quả tìm hiểu và
nghiên cứu trình bày trong luận văn là hoàn toàn trung th c và chƣa từng đƣợc công
bố trong bất cứ công trình nào.
Nếu xảy ra bất cứ điều không đúng nhƣ những lời cam đoan trên, tôi xin
chịu hoàn toàn trách nhiệm trƣớc Viện và Nhà trƣờng.

Ngày

tháng 4 năm 2015

Tác giả luận văn

Nguyễn Thị Hiền

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

3


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

LỜI CẢM ƠN
Lời đầu tiên, em xin chân thành cảm ơn trƣờng đại học Bách Khoa Hà Nội,
viện Công nghệ Thông tin – Truyền thông, chuyên ngành Kỹ thuật Máy tính và
Truyền thông và toàn thể các thầy cô đã ân cần dạy dỗ, chỉ bảo, định hƣớng nghiên
cứu cho em trong suốt một năm học vừa qua, truyền đạt cho chúng em những kiến
thức quý báu.
Em xin chân thành cảm ơn PGS.TS. Nguyễn Thị Hoàng Lan đã giành
nhiều tâm huyết, kinh nghiệm của cô để chỉ dẫn, định hƣớng nghiên cứu cũng nhƣ
luôn luôn góp ý cho em để hoàn thành đề tài luận văn này.
Cuối cùng em cũng xin gửi lời cảm ơn tới gia đình, những ngƣời đã luôn
động viên và tạo mọi điều kiện tốt cho em học tập và nghiên cứu thật tốt. Và gửi lời
cảm ơn tới những ngƣời bạn đã giúp đỡ em trong quá trình học tập cũng nhƣ hoàn
thành đề tài luận văn.
Em xin chân thành cảm ơn !

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

4


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

DANH MỤC CÁC TỪ VIẾT TẮT
PCA (Principal Components Analysis): Phân tích thành phần chính
SVM (support vector machine): Máy hỗ trợ vector
FAR (False Acceptance Rate): Tỷ lệ chấp nhận sai
FRR (False Rejection Rate): Tỷ lệ từ chối sai
LBP (Local Binary Pattern): Mẫu nhị phân cục bộ
HMM (Hidden Markov Model): Mô hình Markov ẩn
LDA (Linear Discriminant Analysis): Phân tích phân lớp tuyến tính

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

5


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

DANH MỤC CÁC HÌNH VẼ, BẢNG
Hình 1.1 Sơ đồ chung của hệ thống nhận dạng............................................................ 10
Hình 1.2 Cấu trúc hệ thống nhận dạng khuôn mặt...........Error! Bookmark not defined.

Hình 1.3 Mô hình Markov cho định vị khuôn mặt....................................................... 17
Hình 1.4 Ví dụ s tính toán LBP.................................................................................. 18
Hình 1.5 Minh họa toán tử LBP mở rộng vớị P và R khác nhau................................... 19
Hình 1.6 Ví dụ LBP8,1................................................................................................. 19
Hình 1.7 LBP giống nhau với các độ sáng khác nhau.................................................. 20
Hình 1. 8 Ví dụ mẫu đồng nhất và mẫu không đồng nhất............................................. 20
Hình 1.9 58 Mẫu đồng nhất của................................................................................... 21
Hình 1.10 Trích rút đặc trƣng khuôn mặt bằng LBP.................................................... 22
Hình 1.11 Không gian mới (u1,u2) theo hƣớng phân bố mạnh.................................... 23
Hình 2.1 Sơ đồ khối hệ thống....................................................................................... 28
Hình 2.2 Ví dụ cách tính nhanh tổng các điểm ảnh của vùng D trên ảnh.....................31
Hình 2.3 Mô hình phân tầng kết hợp các bộ phân loại yếu để xác định khuôn mặt......32
Hình 2.4 Thuật toán trích chọn đặc trƣng sử dụng PCA.............................................. 35
Hình 3.1 Sơ đồ khối chức năng nhận diện khuôn mặt.................................................. 39
Hình 3.2 Giao diện chính của chƣơng trình................................................................. 41
Hình 3.3 Thƣ mục lƣu ảnh trên máy chủ..................................................................... 42
Hình 3.4 Cơ sở dữ liệu SQL......................................................................................... 42
Hình 3.5 Giao diện chức năng thu nhận ảnh................................................................. 43
Hình 3.6 Giao diện thông báo đủ số lƣợng ảnh............................................................ 44
Hình 3.7 Giao diện chỉnh sửa thông tin........................................................................ 45
Hình 3.8 Giao diện chức năng nhận diện thành công................................................... 46
Hình 3.9 Giao diện chức năng nhận diện thành công................................................... 46
Hình 3.10 Giao diện chức năng nhận diện không thành công......................................47
Bảng 1 Kết quả thử nghiệm ứng dụng nhận diện khuôn mặt........................................ 48

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

6

Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

MỞ ĐẦU
1. Lý do chọn đề tài
Ngày nay, với s tiến bộ vƣợt bậc của công nghệ thông tin, ngày càng có nhiều
những ứng dụng của công nghệ thông tin trong nhiều lĩnh v c của cuộc sống. Con
ngƣời ngày càng tạo ra những cỗ máy thông minh có khả năng t nhận biết và xử lý
đƣợc các công việc một cách t động, phục vụ cho lợi ích của con ngƣời. Trong
những năm gần đây, một trong những bài toán nhận đƣợc nhiều s quan tâm và tốn
nhiều công sức nhất của lĩnh v c công nghệ thông tin, đó chính là bài toán
nhận dạng. Tuy mới xuất hiện chƣa lâu nhƣng nó đã rất đƣợc quan tâm vì tính ứng
dụng th c tế của bài toán cũng nhƣ s phức tạp của nó. Bài toán nhận dạng có rất
nhiều lĩnh v c nhƣ: nhận dạng vật chất, nhận dạng chữ viết, nhận dạng giọng nói,
nhận dang hình dáng, nhận dạng khuôn mặt.. .trong đó phổ biến và đƣợc ứng dụng
nhiều hơn cả là bài toán nhận dạng khuôn mặt.
Nhận dạng khuôn mặt đƣợc ứng dụng rộng rãi trong đời sống hằng ngày của con
ngƣời nhƣ các hệ thống giám sát, quản lý vào ra, trong điều tra an ninh…Không giới
hạn giải pháp sử dụng, vận dụng kiến thức linh hoạt trong nhiều lĩnh v c, đã thách thức
nhiều ngƣời nghiên cứu và đƣa ra những ứng dụng có ích trong th c tế.

Với mong muốn tìm hiểu, nghiên cứu, khám phá công nghệ này và mong
muốn xây d ng một ứng dụng nhận diện khuôn áp dụng vào cơ quan, nơi học viên
đang làm việc. Chính vì thế, học viên đã l a chọn đề tài “Nghiên cứu và ứng dụng
nhận diện khuôn mặt” làm luận văn tốt nghiệp của mình.
2. Mục tiêu của đề tài
Đề tài tập trung nghiên cứu và ứng dụng nhận diện khuôn mặt để kiểm tra thẻ thƣ
viện. Để đạt đƣợc mục tiêu trên, đề tài tập trung vào các nhiệm vụ cụ thể nhƣ sau:
+ Nghiên cứu tổng quan về nhận dạng khuôn mặt.

+ Nghiên cứu, Xây d ng giải pháp ứng dụng nhận diện khuôn mặt kiểm tra thẻ
thƣ viện.
Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

7


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

+ Thiết kế chƣơng trình ứng dụng nhận diện khuôn mặt kiểm tra thẻ thƣ viện.
3. Đối tƣợng phạm vi nghiên cứu
- Đối tượng:
Các ảnh khuôn mặt ngƣời trong thẻ thƣ viện.
- Phạm vi:
Trong luận văn này, tôi xin đƣợc nghiên cứu đến các vấn đề sau:
(i) Tổng quan về nhận dạng khuôn mặt.
(ii) Xây d ng giải pháp ứng dụng nhận diện khuôn mặt kiểm tra thẻ thƣ viện.
(iii)Thiết kế chƣơng trình ứng dụng nhận diện khuôn mặt kiểm tra thẻ thƣ
viện.
4. Phƣơng pháp nghiên cứu:
a. Phương pháp nghiên cứu lý thuyết:
Nghiên cứu tổng quan về nhận dạng khuôn mặt.
b. Phương pháp nghiên cứu thực nghiệm:
Khảo sát, đánh giá hoạt động th c tế; Phân tích, thiết kế hệ thống ứng dụng
nhận diện khuôn mặt kiểm tra thẻ thƣ viện.
5. Kết quả dự kiến
Xây d ng đƣợc giải pháp ứng dụng nhận diện khuôn mặt kiểm tra thẻ thƣ viện.
Thiết kế chƣơng trình ứng dụng và thử nghiệm nhận diện khuôn mặt kiểm tra thẻ thƣ

viện.
6. Ý nghĩa khoa học và thực tiễn
Tiếp cận công nghệ nhận dạng khuôn mặt, một công nghệ mới của lĩnh v c
công nghệ thông tin. Đồng thời xây d ng chƣơng trình ứng dụng nhận diện khuôn
để mặt kiểm tra thẻ thƣ viện, áp dụng vào trƣờng Đại học Công nghệ thông tin và
Truyền thông Thái Nguyên.
Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

8


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

7. Bố cục luận văn
Bố cục luận văn đƣợc chia thành 3 chƣơng nhƣ sau:
Chƣơng 1: Tổng quan về nhận dạng khuôn mặt: Nghiên cứu lý thuyết tổng
quan về nhận dạng , nhận dạng khuôn mặt.
Chƣơng 2: Giải pháp nhận diện khuôn mặt trong kiểm tra thẻ thƣ viện:
Khảo sát và phân tích quy trình mƣợn sách thƣ viện trƣờng Đại học Công nghệ
thông tin và truyền thông Thái Nguyên. Từ đấy đề xuất giải ứng dụng nhận diện
khuôn mặt kiểm tra thẻ sinh viên áp dụng cho thƣ viện trƣờng Đại học Công nghệ
thông tin và truyền thông thái Nguyên.
Chƣơng 3: Chƣơng trình ứng dụng nhận diện khuôn mặt kiểm tra thẻ thƣ
viện: Trình bày ứng dụng nhận diện khuôn mặt kiểm tra thẻ thƣ viện, thiết kế giao diện,

Kết quả kiểm tra và đánh giá ứng dụng nhận diện khuôn mặt.

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

9


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

Chƣơng 1 - TỔNG QUAN VỀ NHẬN DẠNG KHUÔN MẶT
1.1 Tìm hiểu chung về nhận dạng
1.1.1 Khái niệm về nhận dạng
Nhận dạng là phƣơng pháp để xây d ng các hệ thống máy tính có khả năng cảm
nhận, nhận biết và nhận dạng phân biệt đƣợc các đối tƣợng gần nhƣ con ngƣời.
Các đối tƣợng đƣợc nhận dạng ở đây chính là âm thanh, tiếng nói, hình ảnh, tín
hiệu… mà con ngƣời có thể quan sát, đo lƣờng và nhận biết đặc trƣng. Quá trình nhận
dạng đƣợc d a trên quá trình cảm nhận, nhận thức và nhận biết của con ngƣời.

1.1.2 Sơ đồ chung của hệ thống nhận dạng
Một hệ thống nhận dạng mẫu hoàn thiện gồm một thiết bị cảm nhận (sensor)
để thu thập các quan sát cần cho việc phân loại hay miêu tả; một cơ chế trích rút đặc
trƣng (feature extraction) để tính toán các thông tin dƣới dạng số hay dạng tƣợng
trƣng (symbolic) từ các dữ liệu quan sát đƣợc; và một bộ phân loại (hay lƣợc đồ
mô tả) nhằm th c hiện công việc phân loại th c s (hay miêu tả các quan sát đó) d a
vào các đặc tính đã đƣợc trích rút.
Sơ đồ chung của hệ thống nhận dạng đƣợc minh hoạ nhƣ hình 1.1 dƣới đây.

Đối
tượng

vật lý

Quan sát
cảm biến,
thu nhận tín
hiệu, số hóa

Tiền xử lý,
phân tích,
chuẩn hóa
dữ liệu

Học phân lớp
Biểu diễn,
Trích chọn
đặc trưng
Quyết định
Cơ sở Dữ liệu
(DB)

nhận dạng,
phân lớp
Kết quả

Hình 1.1 Sơ đồ chung của hệ thống nhận dạng

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

10


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

1.1.3 Phạm vi ứng dụng nhận dạng
Nhận dạng đƣợc áp dụng rộng rãi trong đời sống hằng ngày của con ngƣời.
Cụ thể nhận dạng áp dụng trong y tế, an ninh, quốc phòng, ngƣời máy, thị giác máy
tính…Nhận dạng có rất nhiều lĩnh v c nhƣ:
Nhận dạng tiếng nói: Nhận dạng các từ riêng biệt, nhận dạng các câu, các
cụm từ, nhận dạng tiếng nói liên tục, nhận dạng giọng nói (nhận dạng ngƣời nói)..
Xử lý phân tích hình dạng trong ảnh, phân tích cảnh
Nhận dạng đối tƣợng ảnh
• Nhận dạng chữ, ký hiệu: Nhận dạng các ký t chữ in, nhận dạng chữ viết tay,
nhận dạng chữ ký…
Phân loại t động đối tƣợng theo đặc trƣng
Nhận dạng vân tay: Phân loại vân tay; thẩm định, xác th c vân tay; nhận
dạng vân tay…
Nhận dạng khuôn mặt: Phát hiện khuôn mặt; định vị khuôn mặt; thẩm định,
xác th c ảnh khuôn mặt; Nhận dạng ảnh khuôn mặt.
1.2 Tìm hiểu về nhận dạng mặt ngƣời qua ảnh
Nhận dạng mặt ngƣời đƣợc nghiên cứu từ nhƣng năm 1980, là một lĩnh v c
nghiên cứu của ngành thị giác máy tính (Computer Vision), và cũng đƣợc xem là
một lĩnh v c nghiên cứu của ngành sinh trắc học (Biometrics) tƣơng t nhƣ nhận
dạng vân tay – Fingerprint recognition, hay nhận dạng mống mắt – Iris
recognition. . Trong khi nhận dạng vân tay và mống mắt có thể áp dụng trên th c tế
một cách rộng rãi thì nhận dạng mặt ngƣời vẫn còn nhiều thách thức. So với nhận
dạng vân tay và mống mắt, nhận dạng mặt có nguồn dữ liệu phong phú hơn và ít đòi
hỏi s tƣơng tác có kiểm soát hơn. Vấn đề nhận dạng mặt ngƣời có thể trình bày một
cách tổng quan nhƣ sau: Cho một ảnh tĩnh hay một đoạn video, hãy phát hiện và

nhận ra những ngƣời trong đoạn video hay trong ảnh đó d a trên một tập cho trƣớc
các dữ liệu về các mặt ngƣời đã biết.

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

11


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

Nhận dạng mặt ngƣời chia làm hai loại: định danh khuôn mặt và nhận diện khuôn
mặt. Định danh khuôn mặt là cố gắng tìm ra danh tính của một ngƣời bằng cách so
sánh đặc trƣng của ngƣời đấy với tất cả những ngƣời trong cơ sở dữ liệu (đối sánh 1:
nhiều, one-to-many matching). Còn đối với nhận diện khuôn mặt, thì danh tính của một
ngƣời đƣợc tuyên bố trƣớc. Nhiệm vụ của nhận diện khuôn mặt là xác định xem hai
ảnh khuôn mặt có thuộc về một ngƣời hay không. Tức là ảnh cần kiểm tra chỉ so sánh
với mẫu cá nhân của ngƣời đó (đối sánh 1:1, one-to-one matching).
Ngày nay, nhận dạng mặt ngƣời đƣợc ứng dụng nhiều trong đời sống hiện đại, có
thể kể ra một số ứng dụng thông dụng nhất của bài toán nhận dạng mặt ngƣời nhƣ sau:

Hệ thống giao tiếp thông minh giữa ngƣời và máy: con ngƣời có thể xây d
ng những hệ thống thông giao tiếp giữa ngƣời và máy tính thông qua viêc nhận
diện khuôn mặt, biểu cảm trên khuôn mặt ngƣời để d đoán, nhận biết trạng thái tâm
lí hiện thời của ngƣời đó. Một ngôi nhà thông minh trong tƣơng lai có thể nhận biết
đƣợc chủ nhân của nó thông qua nhận biết khuôn mặt, dáng ngƣời, giao tiếp qua
giọng nói, vân tay…
Nhận dạng tội phạm: hệ thống có thể nhận diện ra một khuôn mặt ngay tức
thì và đối chiếu với hàng triệu bản ghi có sẵn trong cơ sở dữ liệu để chỉ ra đó có thể

là một tội phạm đang truy tìm hay không, hoặc đó có thể là một nhân vật nào đó đặc
biệt cần quan tâm..vv..
Giải trí: trong hẩu hết các máy ảnh hiện đại ngày nay đều có chức năng t
động nhận diện mặt ngƣời để có thể lấy độ nét, điều chỉnh ánh sáng cho phù hợp
với khung cảnh xung quanh. Trên một số trang web cũng đã áp dụng công nghệ t
động nhận diện mặt ngƣời và so sánh với kho dữ liệu khổng lồ của mình để đƣa ra
những lời chào, dịch vụ thông mình nhất cho ngƣời sử dụng.
Hệ thống quan sát, theo dõi và bảo vệ: các hệ thống camera sẽ xác định đâu
là con ngƣời và theo dõi ngƣời đó…

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

12


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

Điều khiển ra vào các cơ quan, văn phòng: cho phép nhân viên ra vào các
khu v c quan trong mà không cần phải đăng nhập hay dùng thẻ. Nếu kết hợp với sử
dụng vân tay hay hốc mắt thì sẽ đem lại kết quả chính xác cao.
Tổ chức tìm kiếm liên quan đến con ngƣời thông qua khuôn mặt trên nhiều
hệ cơ sở dữ liệu lớn.
Phân tích cảm xúc của khuôn mặt ngƣời..v..v..
1.3 Một số kỹ thuật trong nhận dạng khuôn mặt
1.3.1 Phát hiện khuôn mặt
Phát hiện mặt ngƣời là một kỹ thuật để phát hiện vị trí và kích thƣớc khuôn
mặt ngƣời trong các ảnh hoặc video bất kỳ. Kỹ thuật này nhận biết về các đặc
trƣng của khuôn mặt và bỏ qua những thứ khác.

1.3.1.1 Các hƣớng tiếp cận liên quan đến phát hiện khuôn mặt
D a vào tính chất của các phƣơng pháp xác định mặt ngƣời trên ảnh, các
phƣơng pháp này đƣợc chia thành bốn loại chính, tƣơng ứng với bốn hƣớng tiếp cận

khác nhau.
Hƣớng tiếp cận d a trên tri thức: Trong hƣớng tiếp cận này, các phƣơng pháp
xác định mặt ngƣời đƣợc xây d ng d a vào các luật, các luật này phụ thuộc vào tri
thức của các tác giả nghiên cứu về bài toán phát hiện khuôn mặt. Dễ dàng xây d ng
các luật cơ bản để mô tả đặc trƣng của khuôn mặt và các quan hệ tƣơng ứng. Ví dụ,
một khuôn mặt ngƣời thƣờng có hai mắt đối xứng qua trục thẳng đứng giữa khuôn
mặt và có một mũi một miệng. Các quan hệ đặc trƣng có thể là quan hệ về vị trí và
khoảng cách tƣơng đối. Khó khăn của hƣớng tiếp cận này đó là làm thế nào để
chuyển các tri thức của con ngƣời về khuôn mặt sang các luật cho máy tính một
cách hiệu quả. Nếu các luật này quá chi tiết, chặt chẽ thì sẽ có thể xác định thiếu các
mặt có trong ảnh, nhƣng nếu các luật quá tổng quát thì sẽ dẫn đến xác định sai khu
v c không phải là khuôn mặt thành khuôn mặt. Ngoài ra cũng khó để mở rộng
phạm vi của bài toán để xác định các khuôn mặt có nhiều tƣ thế khác nhau.

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

13


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

Hƣớng tiếp cận d a trên đặc trƣng không thay đổi: Tiếp cận d a trên các đặc
trƣng không thay đổi là tiếp cận theo kiểu bottom up. D a trên th c tế, chúng ta tìm
ra những đặc điểm không thay đổi của khuôn mặt khi ở tƣ thế khác nhau và các

điều kiện môi trƣờng nhƣ ánh sáng khác nhau. Đã có nhiều nghiên cứu về hƣớng
tiếp cận này, các đặc trƣng không thay đổi đƣợc tìm thấy nhƣ lông mày, mắt, mũi,
miệng hay các đƣờng viền trên tóc…Trên cơ sở các đặc trƣng này, các nhà nghiên
cứu xây d ng nên một mô hình thống kê mô tả quan hệ của các đặc trƣng từ đó xác
định s xuất hiện của khuôn mặt trong bức ảnh.
Hƣớng tiếp cận d a trên so sánh khớp mẫu: Trong hƣớng tiếp cận d a trên so
khớp mẫu, các mẫu chuẩn của khuôn mặt (thƣờng là khuôn mặt đƣợc chụp thẳng)
sẽ đƣợc xác định trƣớc hoặc đƣợc biểu diễn thành một hàm với các tham số cụ thể.
Từ ảnh đầu vào, ta tính các giá trị tƣơng quan so với các mẫu chuẩn về đƣờng viền
khuôn mặt, mắt, mũi và miệng. Thông qua các giá trị tƣơng qua này mà hệ thống sẽ
quyết định có hay không có tồn tại khuôn mặt trong ảnh.
Hƣớng tiếp cận d a trên diện mạo: Trái với hƣớng tiếp cận d a trên khuôn
mẫu, các mô hình hay các mẫu sẽ đƣợc học từ một tập ảnh huấn luyện mà thể hiện
tính chất tiêu biểu của s xuất hiện của mặt ngƣời trong ảnh. Sau đó hệ thống sẽ xác
định mặt ngƣời. Phƣơng pháp này còn đƣợc biết đến với tên gọi theo tiếp cận theo
các phƣơng pháp học máy.
1.3.1.2 Một số phƣơng pháp phát hiện khuôn mặt
Phƣơng pháp phát hiện mặt ngƣời d a trên màu da: mặc dù những ngƣời khác
nhau thì màu da khác nhau nhƣng rất nhiều nghiên cứu chỉ ra rằng s khác nhau này
phần lớn là do s khác nhau về cƣờng độ ánh sáng giữa chúng hơn là về thành phần
màu da, từ đó ta có thể xác định màu da của con ngƣời nằm ở một dãy màu cố định.
Kết hợp việc tra trong bảng màu của từng điểm ảnh kết hợp với kỹ thuật phân vùng
và các kết quả nghiên cứu về độ tƣơng quan giữa chiều rộng và chiều cao khuôn
mặt ngƣời sẽ xác định đƣợc có mặt ngƣời trong ảnh hay không.
Phát hiện mặt ngƣời d a trên các đặc trƣng Haar-like: tạo tập huấn luyện d a
vào các đặc trƣng haar like sau đó d a vào tập huấn luyện này để phát hiện khuôn
Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

14


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

mặt. Để làm nhƣ đƣợc vậy, ảnh đầu vào trƣớc hết phải đƣợc xám hóa, sau đó cho
một hoặc nhiều hình chữ nhật chứa đặc trƣng haar-like chạy khắp bức ảnh, những
chỗ khác biệt sẽ đƣợc lƣu trữ lại. Tập hợp hàng nghìn điểm khác biệt của hàng trăm
khuôn mặt khác nhau sẽ cho ta một tập dữ liệu dùng cho việc phát hiện mặt ngƣời.
1.3.2 Trích chọn đặc trƣng
Trích chọn đặc trƣng là kỹ thuật sử dụng các thuật toán để lấy ra những thông
tin mang những điểm riêng biệt của một ngƣời. Thông thƣờng hệ thống nhận dạng
mặt ngƣời thƣờng phải xử lý trên một cơ sở dữ liệu ảnh lớn về số lƣợng và kích
thƣớc. Quá trình trích chọn đặc trƣng nhằm giảm số chiều của không gian dữ liệu
bằng cách loại bỏ bớt những thành phần dƣ thừa trong dữ liệu sao cho lƣợng thông
tin sau khi trích trích rút vẫn đảm bảo các đặc trƣng của dữ liệu ban đầu. Có một số
hƣớng tiếp cận liên quan đến trích chọn đặc trƣng:
Phƣơng pháp tiếp cận bằng màu da (Skin Color Approaches Model)
Phƣơng pháp tiếp cận bằng phân tách, phân vùng các đặc trƣng khuôn mặt
(Classification Approaches Model)
Phƣơng pháp tiếp cận theo mô hình đƣờng viền linh hoạt (Active Shape
Model)
Phƣơng pháp tiếp cận theo mô hình xuất hiện linh hoạt (Active Appearance
Model)
Một số phƣơng pháp trích chọn đặc trƣng nhƣ sau:
Mô hình Markov ẩn
Mẫu nhị phân cục bộ (LBP)
Phân tích thành phần chính(PCA)
1.3.2.1 Trích chọn đặc trƣng sử dụng mô hình Markov ẩn
Mô hình Markov ẩn (HMM: Hidden Markov Model) phân loại một đặc trƣng mặt

ngƣời bằng tính chất của chuỗi Markov [4]. Một dãy ngẫu nhiên các biến lấy trên các
giá trị điểm ảnh tƣơng ứng tạo nên chuỗi Markov, nếu xác suất để hệ thống đạt trạng
thái xn+1 tại thời điểm n+1 chỉ phụ thuộc vào xác suất để hệ thống đạt trạng thái x n tại
thời điểm n. Trong một chuỗi Markov, việc chuyển hệ thống từ trạng thái này sang
trạng thái khác tƣơng ứng với một xác suất nào đó, nhƣng kết quả của một
Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

15


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

ký hiệu ra lại xác định đƣợc trƣớc. Nhƣ vậy, kết quả là một phân bố xác suất của
tất cả các ký hiệu ra tại mỗi trạng thái và kết quả này đƣợc dùng để so sánh giữa hai
khuôn mặt.
Trong s phát triển của một HMM cho bài toán nhận dạng khuôn mặt, số các
trạng thái ẩn đầu tiên cần đƣợc quyết định để thiết lập một mô hình, sau đó một
trạng thái ẩn có thể huấn luyện HMM để học xác suất chuyến hóa giữa các trạng
thái từ các ví dụ trong mỗi ví dụ đƣợc biểu diễn nhƣ là một chuỗi quan sát. Mục
đích huấn luyện một HMM là làm tối đa xác suất quan sát huấn luyện dữ liệu bằng
cách điều chỉnh các tham số trong một HMM với phƣơng pháp phân đoạn chuẩn
Viterbi và các thuật toán Baum-Welch. Sau khi HMM đƣợc huấn luyện, xác suất
đầu ra của một quan sát xác định đƣợc lớp mà nó thuộc vào.
Bằng tr c giác, một ảnh khuôn mặt có thể đƣợc phân chia thành các vùng khác
nhau ví dụ nhƣ trán, mắt, mũi, miệng và cằm. Một ảnh khuôn mặt có thể đƣợc nhận
dạng bởi một tiến trình mà các vùng đó đƣợc quan sát theo một thứ t thích hợp (từ
trên xuống dƣới, từ trái qua phải). Thay vì d a vào s liên kết xác đáng nhƣ một đối
sánh mẫu hay các phƣơng pháp d a trên cơ sở diện mạo (ở đó các đặc trƣng khuôn

mặt nhƣ mắt và mũi cần đƣợc sắp thẳng hàng về các điểm tham chiếu), cách tiếp
cận này cố gắng liên kết các vùng thuộc khuôn mặt với các trạng thái của HMM mật
độ liên tục. Các phƣơng pháp d a trên cơ sở HMM thƣờng xem xét một mẫu khuôn
mặt nhƣ một chuỗi các vector quan sát, ở đó mỗi vector là một mảng pixel, đƣợc
thể hiện trong hình 1.3a. Với các mẫu khuôn mặt, các biên giữa các mảng pixel
đƣợc biểu diễn bởi phép biến đổi xác suất giữa các trạng thái, nhƣ thể hiện trong
hình 1.3b, và dữ liệu ảnh trong phạm vi một vùng đƣợc mô hình hóa bởi phân phối
Gaussian nhiều biến thể. Một chuỗi quan sát bao gồm tất cả các giá trị cƣờng độ từ
mỗi khối. Các trạng thái đầu ra tƣơng ứng với các lớp mà các quan sát phụ thuộc
vào. Sau khi HMM đƣợc huấn luyện, xác suất đầu ra của một quan sát xác định lớp
mà nó phụ thuộc vào. Các HMM cũng đƣợc áp dụng cả nhận dạng và khoanh vùng
khuôn mặt.

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

16


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

Samaria đã thể hiện các trạng thái của HMM, ông ta đã huấn luyện các tƣơng
ứng tới các vùng thuộc khuôn mặt. Nói cách khác, mỗi trạng thái là nguyên nhân
gây ra biểu thị đặc điểm các vector quan sát vùng trán và các trạng thái khác là
nguyên nhân gây ra biểu thị đặc điểm các vector quan sát mắt. Để định vị khuôn
mặt, một HMM đƣợc huấn luyện cho một mô hình tổng quát của các khuôn mặt
ngƣời từ một tập ảnh lớn khuôn mặt. Nếu khả năng xảy ra khuôn mặt thu đƣợc cho
mỗi mẫu hình chữ nhật trong ảnh mà lớn hơn ngƣỡng, thì khuôn mặt đƣợc định vị.
Samaria và Young đã áp dụng các HMM một chiều và giả hai chiều để trích

chọn đặc trƣng khuôn mặt và nhận dạng khuôn mặt [6]. Các HMM của họ khai thác
cấu trúc của một khuôn mặt để bắt tuân theo các ràng buộc trên các phép biến đổi
trạng thái. Từ các vùng khuôn mặt quan trọng nhƣ tóc, trán, mắt mũi và miệng xuất
hiện theo t nhiên từ đến cuối, mỗi vùng đó đƣợc ấn định tới một trạng thái trong
HMM một chiều liên tục. Hình 1.3b chỉ ra 5 trạng thái ẩn. Để huấn luyện, mỗi ảnh
đƣợc phân đoạn giống nhau, từ đầu đến cuối thành 5 trạng thái (mỗi ảnh đƣợc phân
thành 5 vùng có kích thƣớc bằng nhau và không chờm lên nhau). Đoạn giống nhau
đƣợc thay thế bởi phân đoạn Viterbi và các tham số trong HMM đƣợc ƣớc lƣợng
lại sử dụng thuật toán Baum-Welch. Mỗi một ảnh khuôn mặt với chiều rộng W và
chiều cao H đƣợc phân chia thanh các khối chồng lên nhau với chiều cao L và chiều
rộng W. Có P hàng giữa các khối chồng lên nhau giữa các khối liên tiếp theo hƣớng
đứng. Các khối đó thành lập một chuỗi quan sát khuôn mặt và HMM đã huấn luyện
đƣợc sử dụng để xác định trạng thái đầu ra.

Hình 1.2 Mô hình Markov cho định vị khuôn mặt

(a) Các vector quan sát; (b) Các trạng thái ẩn
Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

17


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

Nefian và Hayes đã áp dụng các HMM và phép biến đổi KL để định vị và
nhận dạng khuôn mặt. Thay vì sử dụng các giá trị cƣờng độ hàng, các vector quan
sát bao gồm các hệ số đƣợc tính toán từ các vecto đầu vào. Các kết quả th c nghiệm
của họ trên nhận dạng khuôn mặt cho thấy tỷ lệ nhận dạng tốt hơn.

1.3.2.2 Mẫu nhị phân cục bộ (LBP)
LBP là viết tắt của Local Binary Pattern hay là mẫu nhị phân địa phƣơng đƣợc
Ojala [13] trình bày vào năm 1996 nhƣ là một đơn vị đo độ tƣơng phản cục bộ của
ảnh. Phiên bản đầu tiên của LBP đƣợc dùng với 8 điểm ảnh xung quanh và sử dụng giá
trị của điểm ảnh ở trung tâm làm ngƣỡng. Giá trị LBP đƣợc xác định bằng cách nhân
các giá trị ngƣỡng với trọng số ứng với mỗi điểm ảnh sau đó cộng tổng lại.

Mô tả kết cấu (Texture descriptor)
LBP ban đầu xuất hiện nhƣ một mô tả kết cấu tổng quát. Tại một vị trí pixel
(xc, yc) cho trƣớc, LBP đƣợc định nghĩa nhƣ một chuỗi nhị phân có trật t d a trên
s so sánh giá trị độ xám của pixel trung tâm (xc, yc) và 8 pixel lân cận của nó. Nhƣ
vậy mỗi pixel sẽ đƣợc biểu diễn bởi một chuỗi nhị phân, giá trị thập phân của chuỗi

nhị phân này chính là giá trị của pixel trung tâm trong s biểu diễn bởi toán tử LBP.
Hình 1.4 minh họa s tính toán giá trị LBP.

Hình 1.3 Ví dụ sự tính toán LBP
Giá trị thập phân của của chuỗi LBP có thể đƣợc biểu diễn nhƣ sau:
(1.1)
∑ ()

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

18


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

Với gc là giá trị độ xám của pixel trung tâm (x c, yc), gp là giá trị độ xám của
pixel thứ p trong lân cận 8 của pixel trung tâm. Hàm s đƣợc định nghĩa nhƣ sau:
(1.2)

{

Mẫu nhị phân cục bộ mở rộng
Mở rộng toán tử LBP đến một lân cận tròn với các bán kính khác nhau. LBPP,
R

kí hiệu s xem xét đến P pixels lân cận trên một vòng tròn có bán kính R. Hình 1.5

minh họa toán tử LBPP,R.

Hình 1.4 Minh họa toán tử LBP mở rộng vớị P và R khác nhau.
Nếu tọa độ của pixel tâm là (xc, yc) thì tọa độ của P pixel lân cận trên đƣờng
tròn tâm (xc, yc) bán kính R (tính theo đƣờng tròn lƣợng giác) là:

(

(1.3)
(1.4)

)

Hình 1.5 Ví dụ LBP8,1
Trong trƣờng hợp các điểm đang xét không phải là tâm của điểm ảnh, điểm đó
sẽ đƣợc nội suy. Khoa học máy tính có rất nhiều thuật toán nội suy, trong luận văn
này sử dụng phép nội suy song tuyến tính (bilinear interpolation).

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

19


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt
[

][

][

]

(1.5)
LBP đƣợc định nghĩa bất biến đối với bất kỳ s

biến đổi độ sáng, chúng ta có

thể nhận thấy điều này qua Hình 1.7.

Hình 1.6 LBP giống nhau với các độ sáng khác nhau
Mẫu đồng nhất (uniform patterns)
Năm 2002 Ojala và các đồng nghiệp trong nghiên cứu của mình đã đƣa ra
khái niệm mẫu đồng nhất. Một mẫu nhị phân đƣợc gọi là đồng nhất khi xét chuỗi
bit xoay vòng thì có nhiều nhất là 2 lần thay đổi (transitions) từ giá trị bit 0 sang 1
hoặc từ giá trị bit 1 sang 0.

Hình 1. 7 Ví dụ mẫu đồng nhất và mẫu không đồng nhất
Đồng nhất là một khái niệm quan trọng trong phƣơng pháp LBP bởi vì nó đại
diện cho thông tin cấu trúc nguyên thủy nhƣ đƣờng, cạnh hoặc góc. Toán tử
LBPP,R đồng nhất đƣợc kí hiệu là

. Với chuỗi LBP có chiều dài P thì số

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

20


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

mẫu có tối đa hai s chuyển đổi (mẫu đồng nhất là) P(P-1)



có tối đa P(P-1)+2 mẫu

đồng nhất. Có hai mẫu không có s chuyển đổi nào là mẫu toàn 0 hoặc 1. Mỗi mẫu
đồng nhất đƣợc gán một nhãn, tất cả các không đồng nhất đƣợc gán chung 1 nhãn.
Nhƣ vậy nếu dùng LBP8,1 thì sẽ có 256 mẫu, trong đó có 58 mẫu đồng nhất,
nên số chiều của

là 59.

Hình 1.8 58 Mẫu đồng nhất của

Áp dụng LBP mô tả khuôn mặt
Việc áp dụng mô tả khuôn mặt bằng LBP đƣợc Ahonen và các cộng s

th c

hiện năm 2006. Ý tƣởng của phƣơng pháp là chia hình hảnh khuôn mặt thành các

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

21


Đề tài: Nghiên cứu và ứng dụng nhận diện khuôn mặt

khối, sau đó tính toán các histogram tƣơng ứng với các khối. Cuối cùng kết hợp các
histogram này lại với nhau để có đƣợc vector đặc trƣng cho khuôn mặt.

Hình 1.9 Trích rút đặc trưng khuôn mặt bằng LBP
1.3.2.3 Phƣơng pháp phân tích thành phần chính
PCA (principle Components Analysis) là một thuật toán để tạo ra một ảnh mới
từ ảnh ban đầu. Ảnh này có kích thƣớc nhỏ hơn rất nhiều so với ảnh đầu vào và vẫn
mang những đặc trƣng cơ bản nhất của khuôn mặt cần nhận dạng. PCA không cần
quan tâm đến việc phải tìm ra cụ thể các đặc điểm trên khuôn mặt (mắt, mũi,
miệng…) và các mối quan hệ. Tất cả những chi tiết đó đều đƣợc thể hiện ở ảnh mới
tạo ra từ PCA.
Mục tiêu của PCA là ảnh mới đƣợc tạo ra có kích thƣớc nhỏ nhất và chứa
nhiều nhất các đặc trƣng của ảnh khuôn mặt đầu vào.
Về bản chất, PCA tìm ra một không gian mới theo hƣớng biến thiên mạnh

nhất của một tập hợp các vec-tơ trong một không gian cho trƣớc. Trong không gian
mới, ngƣời ta hy vọng rằng việc phân loại sẽ mang lại kết quả tốt hơn so với không
gian ban đầu.

Học viên: Nguyễn Thị Hiền

Lớp: 13BMTTT

22