Xây dựng ứng dụng hỗ trợ điểm danh sinh viên bằng điện thoại dựa trên nhận dạng khuôn mặt người luận văn thạc sĩ công nghệ thông tin

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC LẠC HỒNG

XÂY DỰNG ỨNG DỤNG HỖ TRỢ ĐIỂM DANH SINH VIÊN BẰNG
ĐIỆN THOẠI DỰA TRÊN NHẬN DẠNG KHUÔN MẶT NGƢỜI

LUẬN VĂN THẠC SỸ CÔNG NGHỆ THÔNG TIN

Đồng Nai, Năm 2020


BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG
ĐẠI HỌC LẠC HỒNG

XÂY DỰNG ỨNG DỤNG HỖ TRỢ ĐIỂM DANH SINH VIÊN BẰNG
ĐIỆN THOẠI DỰA TRÊN NHẬN DẠNG KHN MẶT NGƢỜI

Chun ngành Cơng nghệ thông tin
Mã ngành

NGƢỜI HƢỚNG DẪN TS

Đồng Nai, Năm 2020


LỜI CAM ĐOAN
Các tài liệu, bài báo, trang Website mà tơi đã tham khảo trong q trình thực
hiện luận văn đều đƣợc trích dẫn đầy đủ rõ ràng nguồn gốc trình bày ở mục tài liệu
tham khảo.
Tơi xin cam đoan rằng ngồi các trích dẫn tham khảo trên, tồn bộ nội dụng
trong luận văn là cơng trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong

luận văn là trung thực và chƣa từng đƣợc ai công bố trong bất kỳ cơng trình nào
khác.
Tơi xin chịu trách nhiệm hồn tồn về luận văn của mình nếu có bất cứ sai
phạm nào so với lời cam kết.

Đồng Nai, Ngày

tháng

Học viên

năm 2020


LỜI CẢM ƠN
Để hoàn thành luận văn này, trƣớc tiên tơi xin bày tỏ lịng biết ơn chân thành
đến Tiến sỹ Lâm Thành Hiển, một ngƣời Thầy tâm huyết đã tận tình hƣớng dẫn,
giúp đỡ, động viên rất nhiều để tơi có thể hồn thành tốt luận văn. Tơi cũng xin cảm
ơn đến tất cả quý thầy cô giảng dạy tại trƣờng Đại học Lạc Hồng đã dạy dỗ và
hƣớng dẫn tận tình trong suốt quá trình học tập tại Trƣờng. Tất cả các kiến thức mà
tôi đã lĩnh hội đƣợc trong suốt thời gian học tập và nghiên cứu tại trƣờng, sẽ là hành
trang quý giá trên con đƣờng học tập, làm việc và nghiên cứu sau này. Xin cảm ơn
gia đình, bạn bè, anh chị em trong lớp đã động viên, hỗ trợ và giúp đỡ trong quá
trình học và thực hiện luận văn.
Tuy nhiên do kiến thức và thời gian có giới hạn nên đề tài khó tránh khỏi
những thiếu sót, kính mong q thầy cơ và các bạn đóng góp để đề tài đƣợc hồn
thiện hơn.
Tơi xin chân thành cảm ơn!

Đồng Nai, Ngày

tháng

Học viên

năm 2020


TÓM TẮT LUẬN VĂN
Đề tài Xây dựng ứng dụng hỗ trợ điểm danh sinh viên bằng điện thoại dựa
trên nhận dạng khuôn mặt ngƣời.
Ngành Công nghệ thông tin
Mã số 84.80.201
Học viên
Ngƣời hƣớng dẫn TS Lâm Thành Hiển
NỘI DUNG TÓM TẮT
1. Nội dung đƣợc giao và kết quả mong đợi của ngƣời hƣớng dẫn
1.1 Nội dung đƣợc giao
- Luận văn tập trung nghiên cứu, lựa chọn các kỹ thuật, phƣơng pháp phát
hiện, nhận dạng khuôn mặt ngƣời và sử dụng các thuật toán để xây dựng ứng dụng
hỗ trợ điểm danh.
- Mục đích chính của đề tài là tạo ra ứng dụng hỗ trợ điểm danh sinh viên
bằng điện thoại di động giúp giảm thiểu thời gian điểm danh của thầy cô cũng nhƣ
hỗ trợ tốt hơn trong công tác quản lý tại trƣờng.
1.2 Kết quả
- Xây dựng ứng dụng hỗ trợ điểm danh sinh viên bằng điện thoại di động
dựa trên nhận dạng khuôn mặt ngƣời.
- Kết xuất dữ liệu báo cáo điểm danh ra file excel.
2. Cách thức giải quyết vấn đề
- Tìm hiểu tài liệu từ sách, bài cáo cáo, tạp chí khoa học… Sử dụng các

kết quả nghiên cứu có liên quan đến luận văn.
- Tìm hiểu các thuật tốn phát hiện và nhận dạng khn mặt phổ biến hiện
nay và đề xuất thuật toán sử dụng
+ Phát hiện khuôn mặt ngƣời

Adaboost (Haar); Support Vector

Machine (HOG); Dilb; Deep Learning - Convolutional Neural Network (MTCNN).
+ Nhận dạng khuôn mặt ngƣời Facenet, OpenFace, DeepFace, ArcFace.


- Các phƣơng pháp trao đổi dữ liệu giữa Client và Server trên hệ điều hành
Ubuntu.
- Sử dụng ngôn ngữ PHP chạy trên Website/Web mobile và cơ sở dữ liệu
SQL để xây dựng ứng dụng.
- Xây dựng ứng dụng và tiến hành thực nghiệm với các bộ dữ liệu khác
nhau trên hệ thống đã xây dựng để đánh giá kết quả và hiệu chỉnh.
3. Đánh giá về mặt khoa học của kết quả
- Nghiên cứu và đánh giá các thuật tốn phát hiện và nhận dạng khn mặt
ngƣời tạo tiền đề nghiên cứu tiếp theo để tối ƣu hóa các thuật toán.
- Xây dựng đƣợc ứng dựng điểm danh sinh viên bằng điện thoại di động
dựa trên nhận dạng khuôn mặt ngƣời.
4. Những vấn đề còn tồn tại so với nội dung đƣợc giao
- Ứng dụng chú trọng sử dụng tối ƣu các thuật toán để xây dựng ứng dụng
mà chƣa tập trung nghiên cứu tối ứu hóa các thuật tốn về phát hiện và nhận dạng
khn mặt ngƣời.
- Thời gian thử nghiệm còn hạn chế với số lƣợng sinh viên nhỏ và việc
chạy thử hệ thống để đánh giá kết quả và khắc phục các nhƣợc điểm chƣa đƣợc đầy
đủ và chính xác cao. Để luận văn trở thành sản phẩm hồn chỉnh thì cần phải kiểm
thử nhiều hơn, chi tiết hơn.

Đồng Nai, Ngày
NGƢỜI HƢỚNG DẪN

TS Lâm Thành Hiển

tháng
HỌC VIÊN

năm 2020


MỤC LỤC
LỜI CAM ĐOAN
LỜI CẢM ƠN
TÓM TẮT LUẬN VĂN
DANH MỤC HÌNH ẢNHiv
DANH MỤC BẢNG
Chƣơng 1 TỔNG QUAN VỀ ĐỀ TÀI..................................................................... 1
1.1 Mở đầu ............................................................................................................... 1
1.2 Tổng quan về đề tài trong và ngồi nƣớc ........................................................... 1
1.3 Mục đích của luận văn ....................................................................................... 3
1.4 Phạm vi và đối tƣợng nghiên cứu ....................................................................... 3
1.4.1 Phạm vi nghiên cứu.................................................................................. 3
1.4.2 Đối tƣợng nghiên cứu............................................................................... 4
1.5 Phƣơng pháp nghiên cứu..................................................................................... 4
1.5.1 Phƣơng pháp nghiên cứu lý thuyết .......................................................... 4
1.5.2 Phƣơng pháp thực nghiệm ....................................................................... 4
1.6 Ý nghĩa khoa học và thực tiễn của luận văn ....................................................... 4
1.6.1 Ý nghĩa khoa học ..................................................................................... 4
1.6.2 Ý nghĩa thực tiễn ...................................................................................... 4

Chƣơng 2 BÀI TOÁN VỀ HỆ THỐNG NHẬN DẠNG KHN MẶT ............... 6
2.1 Bài tốn nhận dạng khn mặt............................................................................ 6
2.2 Các khó khăn khi triển khai bài tốn nhận diện khn mặt................................ 7
2.3 Các ứng dụng thơng dụng của bài tốn nhận dạng khn mặt. .......................... 8
2.4 Tổng quan các phƣơng pháp trong bài toán nhận dạng đối tƣợng.................... 11
2.4.1 Hƣớng tiếp cận dựa trên cơ sở tri thức (Knowledge – based) ............... 13
2.4.2 Hƣớng tiếp cận dựa trên đặc trƣng không thay đổi (Feature invariant) 15
2.4.3 Hƣớng tiếp cận dựa trên so khớp mẫu (Template-Matching) .............. 17
2.4.4 Hƣớng tiếp cận dựa trên diện mạo (Appearance-Base) ......................... 17


2.5 Tổng quan nhận dạng mặt ngƣời....................................................................... 19
2.5.1 Nhận dạng dựa trên các đặc trƣng của các phần tử trên khuôn mặt
(Feature based face recognition) ..................................................................... 19
2.5.2 Nhận dạng dựa trên xét tổng thể khuôn mặt (Appearance based face
recognition). .................................................................................................... 19
Chƣơng 3 CÁC GIẢI PHÁP ĐÃ NGHIÊN CỨU PHÁT TRIỂN......................... 21
3.1 Các phƣơng pháp phát hiện khuôn mặt ngƣời .................................................. 21
3.1.1 Haar Cascade – Adaboost ...................................................................... 21
3.1.1.1 Phƣơng pháp HA............................................................................... 22
3.1.1.2 Các đặc trƣng Haar-Like................................................................... 22
3.1.1.3 Cách áp dụng đặc trƣng Haar-like để phát hiện khuôn mặt trong ảnh.23
3.1.1.4 Số lƣợng đặc trƣng Haar-like............................................................ 25
3.1.1.5 Ảnh tích hợp...................................................................................... 25
3.1.1.6 AdaBoost........................................................................................... 27
3.1.2 Histograms of Oriented Gradients – HOG............................................. 30
3.1.3 Dilb ......................................................................................................... 31
3.2 Các phƣơng pháp nhận dạng khuôn mặt (Face Recognition) ........................... 33
3.2.1 Facenet ................................................................................................... 34
3.2.2 Sử dụng OpenFace ................................................................................. 35

3.2.3 Mơ hình DeepFace (Facebook, CVPR 2014) ........................................ 36
Chƣơng 4 GIẢI PHÁP NHẬN DẠNG KHUÔN MẶT ........................................ 38
4.1 Đề xuất giải pháp tổng thể ................................................................................ 38
4.2 Phát hiện và căn chỉnh khuôn mặ t s ử d ụ ng MTCNN ....................................... 38
4.2.1 Giới thiệu về mạng Nơ-ron tích chập..................................................... 38
4.2.1.1 Convolution (Tích ch ập) ................................................................... 38
4.2.2 MTCNN. ................................................................................................ 45
4.2.2.1 Cơ chế hoạt động ............................................................................. 45
4.2.2.2 Huấ n luyệ n ........................................................................................ 47
4.3 Nhận dạng khuôn mặt bằng ArcFace Model .................................................... 49


4.3.1 Giới thiệu................................................................................................ 49
4.3.2 ArcFace .................................................................................................. 52
4.3.3 So sánh Arcface với các hàm mát (Loss function) khác........................ 54
4.3.3.1 So sánh với Face và CosFace............................................................ 54
4.3.3.2 So sánh với các hàm mất mát khác ................................................... 56
4.4 Kết chƣơng ........................................................................................................ 59
Chƣơng 5 XÂY DỰNG HỆ THỐNG VÀ THỰC NGHIỆM................................ 60
5.1 Xây dựng hệ thống ............................................................................................ 60
5.1.1 Thuật tốn............................................................................................... 60
5.1.2 Cơng cụ .................................................................................................. 62
5.1.3 Cài đặt các thƣ viện ................................................................................ 62
5.1.4 Thực hiện huấn luyện dữ liệu ảnh.......................................................... 62
5.2 Kiểm nghiệm hệ thống nhận dạng khuôn mặt .................................................. 64
5.2.1 Kiểm nghiệm hệ thống nhận dạng khuôn mặt đối với bộ dữ liệu ngƣời
nổi tiếng Việt Nam. ......................................................................................... 65
5.2.2 Kiểm nghiệm hệ thống nhận dạng khuôn mặt đối với bộ dữ liệu
gint360k........................................................................................................... 66
5.3 Xây dựng giao diện ........................................................................................... 68

5.3.1 Quy trình điểm danh............................................................................... 68
5.3.2 Giao diện website ................................................................................... 70
5.3.3 Thực nghiệm .......................................................................................... 72
KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN .............................................................. 79
PHỤ LỤC ................................................................................................................ 80
TÀI LIỆU THAM KHẢO


DANH MỤC HÌNH ẢNH
Hình 2.1 Mơ tả kết quả hệ thống nhận dạng khn mặt ......................................... 6
Hình 2.2 Biểu đồ mơ tả hệ thống nhận dạng khn mặt ......................................... 7
Hình 2.3 Minh họa mở khóa điện thoại bằng khn mặt ........................................ 9
Hình 2.4 Minh họa hệ thống nhận dạng tội phạm.................................................... 9
Hình 2.5 Minh họa chức năng lấy nét trên camera điện thoại ............................... 10
Hình 2.6 Minh họa hệ thống chấm công tự động bằng nhận dạng khuôn mặt ....... 10
Hình 2.7 Minh họa hệ thống chấm cơng tự động bằng nhận dạng khn mặt. ..... 14
Hình 2.8 Một lọai tri trức của ngƣời nghiên cứu phân tích trên khn mặt .......... 14
Hình 3.1 Mơ tả tại vị trí (x,y) ................................................................................. 26
Hình 3.2 Ma trận ảnh ban đầu và tích hợp............................................................. 26
Hình 3.3 Các vùng điểm ảnh A, B, C, D ............................................................... 27
Hình 3.4 Mơ hình phân tầng cascade ..................................................................... 28
Hình 3.5 Kết hợp các bộ phân loại......................................................................... 29
Hình 3.6 Mơ tả các đặc trƣng Haar-like................................................................. 29
Hình 3.7 Mơ tả hệ thống xác định khn mặt Haar Cascade ................................ 30
Hình 3.8 Mô tả hệ thống xác định khuôn mặt HOG .............................................. 31
Hình 3.9 Cấu trúc thƣ viện Dlib............................................................................. 31
Hình 3.10 68 điểm trên khuôn mặt đƣợc sử dụng trên bộ thƣ viện dlib................ 32
Hình 3.11 Mơ phỏng kết quả xác định khn mặt dùng MTCNN ........................ 33
Hình 3.12 Mơ phỏng kết quả của q trình nhận dạng khn mặt........................ 34
Hình 3.13 Mơ tả q trình trích rút đặc trƣng trong Facenet ................................. 34

Hình 3.14 Mơ tả hoạt động của hàm Triple loss.................................................... 35
Hình 3.15 Sơ đồ hệ thống nhận dạng khn mặt OpenFace. ................................ 35
Hình 3.16 Cấu trúc huấn luyện của DeepFace....................................................... 36
Hình 4.1 Minh họa tích chập................................................................................... 39


Hình 4. 2 So sánh mạng Neural thơng thƣờng và mạng Neuron tích chập (Bên trái
là mạng Neural thơng thƣờng; Bên phải là mạng CNN) ........................................ 41
Hình 4. 3 Mơ tả lớp CONV (Các neuron của một lớp chập (màu xanh) kết nối với
trƣờng tiếp nhận của chúng (màu đỏ). .................................................................... 42
Hình 4.4 Mơ tả kiến trúc mạng neuron tích chập điển hình. ................................. 42
Hình 4.5 Mơ tả lớp POOL với bộ lọc 2x2 và stride = 2. ....................................... 44
Hình 4.6 Mơ tả q trình xác định khn mặt sử dụng MTCNN.......................... 45
Hình 4.7 Mơ tả q trình huấn luyện MTCNN...................................................... 47
Hình 4.8 Quá trình xử lý dữ liệu tại P-Net............................................................. 48
Hình 4.9 Quá trình xử lý dữ liệu tại R-Net ............................................................ 48
Hình 4.10 Quá trình xử lý dữ liệu tại O-Net .......................................................... 49
Hình 4.11 Kết quả đầu ra của O-Net...................................................................... 49
Hình 4.12 Mơ hình ArcFace .................................................................................. 51
Hình 4.13 Mơ tả kết quả huấn luyện của hàm Softmax loss và Arcface ............... 54
Hình 4.14 Mơ tả phân phối góc θj .......................................................................... 55
Hình 4.15 Đƣờng cong logit mục tiêu ................................................................... 55
Hình 4.16 Mô tả biên quyết định của các hàm loss trong phân loại nhị phân ....... 56
Hình 4.17 Mơ tả một số hƣớng tiếp cận của các hàm mất mát khác ..................... 56
Hình 5.1 Sơ đồ khối tóm tắt hệ thống nhận diện khn mặt. ................................ 61
Hình 5.2 Mơ tả quá trình xử lý dữ liệu ảnh đầu vào ............................................. 63
Hình 5.3 Mơ tả q trình huấn luyện dữ liệu ......................................................... 63
Hình 5.4 Cấu trúc thƣ mục đầu ra sau khi huấn luyện........................................... 64
Hình 5.5 Biểu đồ thể hiện tính chính xác của hàm ................................................ 64
Hình 5.6 Mơ tả kết quả huấn luyện thực tế với bộ dữ liệu ngƣời nổi tiếng Việt

Nam ......................................................................................................................... 65
Hình 5.7 Mơ tả kết quả huấn luyện thực tế với bộ dữ liệu gint360k. .................... 67
Hình 5.8 Đăng nhập của giáo viên. ........................................................................ 70
Hình 5.9 Đăng nhập của Admin............................................................................. 70


Hình 5.10 Trang quản trị của Admin ..................................................................... 71
Hình 5. 11 Giao diện quản lý lớp ........................................................................... 71
Hình 5.12 Giao diện thêm lớp................................................................................ 71
Hình 5.13 Giao diện Quản Lý Sinh Viên............................................................... 72
Hình 5.14 Giao diện điểm danh sinh viên.............................................................. 72
Hình 5.15 Giao diện danh sách kết quả điểm danh................................................ 72
Hình 5.16 Hình ảnh nhận dạng lần 1 ..................................................................... 73
Hình 5.17 Hình ảnh nhận dạng lần 2 ..................................................................... 73
Hình 5.18 Hình ảnh nhận dạng lần 3 ..................................................................... 74
Hình 5.19 Hình ảnh nhận dạng lần 4 ..................................................................... 75
Hình 5.20 Hình ảnh nhận dạng lần 5 ..................................................................... 76
Hình 5.21 Hình ảnh nhận dạng với video .............................................................. 76


DANH MỤC BẢNG
Bảng 4.1 So sánh tốc độ và độ chính xác CNNs khác [2] ..................................... 46
Bảng 4.2 Một số bộ dữ liệu để huấn luyện và kiểm nghiệm thƣờng dùng ............ 58
Bảng 4.3 Kết quả thực nghiệm trên một số hàm khác nhau trong nghiên cứu...... 59
Bảng 5.1 Độ chính xác thu đƣợc thực tế với bộ dữ liệu ngƣời nổi tiếng Việt Nam
................................................................................................................................. 66
Bảng 5.2 Độ chính xác thu đƣợc thực tế với bộ dữ liệu gint360k ......................... 67
Bảng 5.3 Kết quả nhận dạng lần 1 ......................................................................... 73
Bảng 5.4 Kết quả nhận dạng lần 2 ......................................................................... 74
Bảng 5.5 Kết quả nhận dạng với khoảng cách 4 mét............................................. 74

Bảng 5.6 Kết quả nhận dạng lần 4 ......................................................................... 75
Bảng 5.7 Kết quả nhận dạng lần 5 ......................................................................... 76
Bảng 5.8 Kết quả nhận dạng với video .................................................................. 76
Bảng 5.9 Bảng tổng tổng hợp kết quả nhận dạng .................................................. 78


1
Chƣơng 1 TỔNG QUAN VỀ ĐỀ TÀI
1.1 Mở đầu
Với sự phát triển không ngừng của khoa học và công nghệ, đặc biệt trong
những năm gần đây, trí tuệ nhân tạo (Artificial Intelligence – AI) nổi lên nhƣ một
bằng chứng của cuộc cách mạng trong lĩnh vực công nghệ thông tin. Trí tuệ nhân
tạo đã và đang trở thành thành phần cốt lõi trong các hệ thống công nghệ cao. Các
ứng dụng về trí tuệ nhân tạo ngày càng đƣợc phát triển và đƣợc đánh giá cao. Một
trong những lĩnh vực đang đƣợc quan tâm nhằm tạo ra các ứng dụng thơng minh, có
tính ngƣời đó là nhận dạng. Đối tƣợng nghiên cứu nhận dạng cũng rất phong phú,
đa dạng nhƣ con ngƣời, vật thể, chữ viết, âm thanh, khuôn mặt. Trong đề tài này,
tôi chọn đối tƣợng là khuôn mặt.
Nhƣ chúng ta đã biết, khn mặt đóng vai trị quan trọng trong q trình giao
tiếp giữa ngƣời với ngƣời, nó mang một lƣợng thơng tin giàu có, chẳng hạn từ
khn mặt chúng ta có thể xác định danh tính, giới tính, tuổi tác, chủng tộc, trạng
thái cảm xúc, mối quan hệ với đối tƣợng. Từ đó, ta có thể khai thác nguồn thông tin
này để tạo nên rất nhiều các ứng dụng thông minh đƣợc sử dụng trong thực tế. Do
đó, bài tốn nhận dạng khn mặt đóng vai trị quan trọng trong nhiều lĩnh vực đời
sống hàng ngày của con ngƣời nhƣ nhận dạng trong lĩnh vực thƣơng mại, hay phát
hiện trong lĩnh vực an ninh, hay trong xử lý video, hình ảnh. Có rất nhiều phƣơng
pháp nhận dạng khn mặt, tuy nhiên dù ít hay nhiều vẫn vấp phải những thách
thức về độ sáng, hƣớng nghiêng, kích thƣớc ảnh hay ảnh hƣởng của tham số môi
trƣờng. Về cơ bản việc cải thiện độ chính xác nhận dạng đƣợc tiến hành ở cả ba
cơng đoạn chính của quy trình nhận dạng bao gồm phát hiện, trích chọn đặc trƣng

và phân lớp khuôn mặt
1.2 Tổng quan về đề tài trong và ngồi nƣớc
Trên thế giới có rất nhiều cơng trình nghiên cứu khoa học liên quan về vấn
đề phát hiện và nhận dạng khuôn mặt ngƣời. Theo Ming-Hsuan Yang [4] thì có bốn
hƣớng tiếp cận chính đó là Hƣớng tiếp cận dựa trên tri thức (Knowledge–based);
hƣớng tiếp cận đặc trƣng (Feature-based); hƣớng tiếp cận dựa trên đối sánh mẫu
(template matching); hƣớng tiếp cận dựa trên diện mạo (appearance–based).
Phƣơng pháp tiếp cận dựa trên diện mạo thƣờng dùng mơ hình học máy để nhận


2
dạng khn mặt do đó phƣơng pháp này cịn có tên gọi là phƣơng pháp dựa trên
máy học (Machine learning–based)[3].
- Phƣơng pháp dựa trên tri thức Gồm có các tác giả Kanade 1973, G. Yang
1994 và Kotropoulos 1997. Phƣơng pháp này chủ yếu dựa trên những luật đƣợc
định nghĩa trƣớc về khuôn mặt ngƣời;
- Phƣơng pháp tiếp cận dựa trên các đặc trƣng Gồm có các tác giả nhƣ
K.C.Yow và R. Cipolla 1997, T. K. Leung 1995. Phƣơng pháp này chủ yếu tìm
kiếm những đặc trƣng độc lập, khơng phụ thuộc vào tƣ thế khuốn mặt, điều kiện
chiếu sáng vv…;
- Phƣơng pháp đối sánh mẫu có thể kể đến các tác giả nhƣ I. Craw 1992,
A. Lanitis 1995. Phƣơng pháp này dựa trên mẫu khuôn mặt đã định nghĩa bằng tay
trƣớc hay tham số hoá bằng một hàm số. Mẫu này đƣợc sử dụng để phát hiện khuôn
mặt bằng cách qt nó qua ảnh và tìm giá trị tƣơng đồng cho mỗi vị trí trên khn
mặt, sau đó cho ra kết quả là một khn mặt có điểm tƣơng đồng so với mẫu chuẩn;
- Phƣơng pháp dựa trên học máy Với phƣơng pháp này các mẫu khn mặt
đƣợc rút trích thơng qua một q trình học, có rất nhiều thuật tốn đƣợc áp dụng
trong hƣớng tiếp cận này điển hình nhƣ Eigenface (M. Turk và A. Pentland 1991),
Mơ hình phân phối (K. K Sung và T. Poggio 1998), mạng Nơ-ron (H. Rowley
1998), Support Vector Machine (E. Osuna et All 1997, Phân lớp Bayes (H.

Schneiderman và T. Kanade 1998), Mơ hình Markov ẩn (A. Rajagopalan et al
1998), Mơ hình tăng cƣờng (AdaBoost của P. Viola và M. Jones 2001; FloatBoost
do Stan Z. Li và Zhen Qiu Zhang 2004).
Tại Việt Nam, lĩnh vực nhận dạng khuôn mặt ngƣời trong ảnh đƣợc quan tâm
nhiều hơn trong 15 năm trở lại đây. Trong các doanh nghiệp nhƣ ngân hàng Việt Á,
ngân hàng Quốc tế (VIB) đã đƣa hệ thống nhận diện khuôn mặt để tăng cƣờng bảo
mật trong giao dịch Internet Banking và Mobile Banking, trong trƣờng học nhƣ
Trƣờng Đại học Thăng Long đã đƣa hệ thống nhận diện khuôn mặt vào điểm danh
sinh viên. Các nhóm nghiên cứu tiên phong trong lĩnh vực nhận dạng khn mặt đã
có những đóng góp quan trọng làm nền tảng cho hƣớng phát triển trong tƣơng lai có
thể kể đến nhƣ
- Nhóm thứ nhất Là nhóm của TS. Lê Đình Duy và đồng sự tại Trƣờng Đại


3
học Công nghệ Thông Tin –Đại Học Quốc Gia TPHCM với những nghiên cứu hệ
thống phát hiện trộm dùng mạng cảm biến Camera với dữ liệu đƣợc thu thập trong
khuôn khổ đề tài ĐHGQ-C;
- Nhóm thứ hai Nhóm của TS. Trƣơng Công Dung Nghi, Đại học Bách
Khoa TPHCM với nghiên cứu Tái nhận dạng ngƣời trong hệ thống nhiều Camera
giám sát khơng chồng lấp đƣợc đăng lên tạp chí khoa học Trƣờng Đại Cần Thơ
(2015);
- Nhóm Thứ ba Nhóm của PGS. TS. Trần Minh Triết, Trƣờng Đại học
KHTN TPHCM với đề tài nghiên cứu Tổng hợp và tìm kiếm trên video dựa vào
phát hiện và nhận biết mặt ngƣời[3].
Hiện nay, đa số các trƣờng đại học quản lý sinh viên bằng lập bảng theo dõi
sinh viên vắng trong từng môn học, hàng ngày, hàng tuần, hàng tháng và cuối mỗi
kỳ học lại mở bảng theo dõi để đếm số tiết vắng của sinh viên, tính tốn điểm
chun cần một cách thủ công… gây mất thời gian cho giáo viên.
Trong đề tài luận văn lần này, tôi xin lựa chọn là “Xây dựng ứng dụng hỗ trợ

điểm danh sinh viên bằng điện thoại dựa trên nhận dạng khuôn mặt ngƣời”, sử dụng
mạng mạng Nơ-ron tích chập (Cascaded Convolutional Networks - CNN). Hiệu quả
của phƣơng pháp này đã đƣợc kiểm nghiệm trên các bộ dữ liệu chuẩn LWF và cả
trong môi trƣờng thực tế nhận dạng khuôn mặt ngƣời trực tiếp từ Webcam hay điện
thoại di động. Các kết quả thực nghiệm đã cho thấy hệ thống đạt độ chính xác nhận
dạng cao và ổn định trong điều kiện môi trƣờng thực tế.
1.3 Mục đích của luận văn
Luận văn tập trung nghiên cứu một số thuật tốn phát hiện và nhận dạng
khn mặt ngƣời trong ảnh/video, từ đó lựa chọn thuật tốn phù hợp để xây dựng
ứng dụng hỗ trợ điểm danh sinh viên bằng điện thoại dựa trên nhận dạng khuôn mặt
ngƣời.
1.4 Phạm vi và đối tƣợng nghiên cứu
1.4.1 Phạm vi nghiên cứu
Nghiên cứu các phƣơng pháp phát hiện khuôn mặt (Face Detection) và
nhận dạng khuôn mặt (Face Recognition).


4
1.4.2 Đối tƣợng nghiên cứu
Đối tƣợng nghiên cứu của luận văn gồm Ảnh khuôn mặt ngƣời.
1.5 Phƣơng pháp nghiên cứu
- Phƣơng pháp nghiên cứu trong luận văn là nghiên cứu lý thuyết kết hợp với
kiểm nghiệm hệ thống nhận dạng khuôn mặt bằng xây dựng ứng dụng điểm danh
sinh viên bằng điện thoại.
1.5.1 Phƣơng pháp nghiên cứu lý thuyết
- Tham khảo các tài liệu của một số phƣơng pháp xác định, phát hiện khuôn
mặt và nhận diện khuôn mặt ngƣời.
- Tham khảo các tài liệu về việc kết nối và trao đổi dữ liệu giữa Client và
Server.
1.5.2 Phƣơng pháp thực nghiệm

- Kiểm nghiệm so sánh các phƣơng pháp phát hiện, nhận dạng khuôn mặt.
- Xây dựng ứng dụng hỗ trợ điểm danh sinh viên bằng điện thoại dựa trên
nhận dạng khuôn mặt ngƣời;
- So sánh kết quả thực nghiệm.
1.6 Ý nghĩa khoa học và thực tiễn của luận văn
1.6.1 Ý nghĩa khoa học
Nghiêm cứu đƣợc các ƣu nhƣợc điểm của các phƣơng pháp phát hiện và
nhận dạng khuôn mặt làm tiền để phát triển trong tƣơng lai và khắc phục các nhƣợc
điểm của các phƣơng pháp.
1.6.2 Ý nghĩa thực tiễn
Xây dựng ứng dụng hỗ trợ điểm danh sinh viên bằng điện thoại dựa trên
nhận dạng khuôn mặt ngƣời để hỗ trợ và giảm thời gian điểm danh cho giáo viên và
nhà trƣờng nhằm cải thiện chất lƣợng giảng dạy.
Với mục tiêu đã trình bày, bố cục của luận văn sẽ đƣợc chia thành bốn
chƣơng theo cấu trúc nhƣ sau
Chƣơng 1 TỔNG QUAN VỀ ĐỀ TÀI
Chƣơng 2 BÀI TOÁN VỀ HỆ THỐNG NHẬN DẠNG KHUÔN MẶT


5
Chƣơng 3 CÁC GIẢI PHÁP ĐÃ NGHIÊN CỨU PHÁT TRIỂN
Chƣơng 4 GIẢI PHÁP NHẬN DẠNG KHUÔN MẶT
Chƣơng 5 XÂY DỰNG HỆ THỐNG VÀ THỰC NGHIỆM
KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN


6
Chƣơng 2 BÀI TỐN VỀ HỆ THỐNG NHẬN DẠNG KHN MẶT
Chƣơng này sẽ giới thiệu một cách tổng quan về bài tốn nhận dạng
khn mặt bao gồm những mục tiêu, phạm vi của hệ thống trong việc giải

quyết bài toán. Đồng thời, nội dung chƣơng cũng trình bày sơ lƣợc về những
kỹ thuật nhận diện khuôn mặt đã đƣợc nghiên cứu và phát triển.
2.1 Bài tốn nhận dạng khn mặt
Nhận dạng khn mặt là một ứng dụng có khả năng tự động xác định
hoặc nhận dạng một ngƣời nào đó tên là gì, thơng tin cụ thể ngƣời đó ra sao từ
một bức hình ảnh kỹ thuật số hoặc một khung hình video từ một nguồn video.
Có nhiều phƣơng pháp đƣợc dùng trong hệ thống nhận dạng khn
mặt, nhƣng nói chung, chúng hoạt động bằng cách so sánh đặc điểm hình ảnh
đặc trƣng khn mặt đƣợc chọn với các khn mặt cơ sở dữ liệu. Dựa trên trí
tuệ nhân tạo sinh trắc học, hệ thống có thể phân tích các mẫu đƣợc dựng sẵn
(training sẵn) dựa trên kết cấu và hình dạng khn mặt để nhận dạng ra duy
nhất ngƣời nào đó, trong q trình triển khai hệ thống ln thu thập dữ liệu để
làm cho mẫu dữ liệu càng ngày càng tốt lên. Ta có thể mơ tả kết quả hệ thống
nhận diện nhƣ Hình 1-1 sau đây

Hình 2.1 Mô tả kết quả hệ thống nhận dạng khuôn mặt
Về bản chất, nhận dạng mặt ngƣời là quá trình hệ thống nhận vào một ảnh
hay một video (chuỗi các ảnh). Sau đó, hệ thống xử lý tính tốn và xác định đƣợc
danh tính tự động cho từng đối tƣợng. Từ đó, chúng ta xác định đƣợc danh tính


7
ngƣời cần nhận diện là ngƣời hệ thống đã đƣợc biết (qua quá trình học) hoặc ngƣời
lạ. Hệ thống gồm hai phần chính là phát hiện, xác định khn mặt và nhận dạng
khuôn mặt.
Phần xác định khuôn mặt Từ các video thu vào từ Webcam, hệ thống xác
định đƣợc vị trí, số lƣợng các khn mặt xuất hiện trong từng khung hình của video.
Phần nhận dạng khn mặt Từ các khn mặt đã đƣợc xác định, hệ thống
thực hiện trích rút các đặc trƣng và tiến hành phân lớp các đối tƣợng khuôn mặt để
nhận dạng.

Video từ Camera

Nhận dạng khuôn mặt

Chuỗi khung hình

Xác định khn mặt

Trích rút đặc trƣng

Tiền xử lý

Hình 2.2 Biểu đồ mơ tả hệ thống nhận dạng khn mặt
2.2 Các khó khăn khi triển khai bài tốn nhận diện khn mặt.
Tƣ thế góc chụp Ảnh chụp khn mặt có thể thay đổi rất nhiều bởi vì góc
chụp giữa camera và khuôn mặt, chẳng hạn nhƣ chụp thẳng, chụp xéo bên trái 450
hay xéo bên phải 450, chụp từ trên xuống, chụp từ dƣới lên, v.v…; Các tƣ thế khác
nhau, các thành phần trên khuôn mặt nhƣ mắt, mũi, miệng có thể bị khuất một phần
hay thậm chí khuất hết; Khn mặt đang nhìn thẳng nhƣng góc chụp máy ảnh lại
chếch nhiều so với hƣớng nhìn thẳng của khuôn mặt hoặc là lúc chụp ảnh mặt ngƣời
quay nghiêng sang một bên nào đó nhiều đều là những khó khăn trong bài toán
nhận dạng mặt ngƣời.
Sự xuất hiện hoặc thiếu một số thành phần của khuôn mặt Các đặc
trƣng nhƣ râu mép, râu hàm, mắt kính, v.v… có thể xuất hiện hoặc không trong bức
ảnh. Vấn đề này cũng làm cho bài tốn khó khăn hơn.
Sự biểu cảm của khn mặt Biểu cảm của khn mặt ngƣời có thể làm
ảnh hƣởng đáng kể lên các thông số của khuôn mặt. Chẳng hạn, cùng một khn
mặt ngƣời, nhƣng có thể sẽ rất khác khi họ cƣời hoặc sợ hãi, …

8
Sự che khuất Khn mặt có thể bị che khuất bởi các đối tƣợng khác hoặc
các khuôn mặt khác.
Hƣớng của ảnh Các ảnh của khn mặt có thể biến đổi rất nhiều với các
góc quay khác nhau của trục camera. Chẳng hạn chụp với trục máy nghiêng làm
khuôn mặt bị nghiêng so với trục của ảnh.
Điều kiện chụp ảnh Ảnh đƣợc chụp trong các điều kiện khác nhau về
chiếu sáng, về tính chất camera (máy kỹ thuật số, máy hồng ngoại, v.v, …) ảnh
hƣởng rất nhiều đến chất lƣợng khuôn mặt.
Nền ảnh phức tạp Nền ảnh phức tạp là một trong những khó khăn nhất
trong bài tốn nhận dạng khn mặt ngƣời trong ảnh, khuôn mặt ngƣời sẽ dễ bị
nhầm lẫn với nhiều khung cảnh phức tạp xung quanh và ảnh hƣởng rất nhiều đến
q trình phân tích và trích rút các đặc trƣng của khn mặt trong ảnh, có thể dẫn
đến không nhận ra khuôn mặt hoặc là nhận nhầm các khung cảnh xung quanh thành
khuôn mặt ngƣời.
Màu sắc của da mặt Màu sắc của da mặt quá tối hoặc gần với màu sắc của
khung cảnh môi trƣờng xung quanh cũng là một khó khăn với bài tốn nhận dạng
mặt ngƣời. Nếu màu sắc của da ngƣời quá tối thì thuật tốn sẽ gặp khó khăn trong
việc nhận dạng các đặc trƣng và có thể khơng tìm ra đƣợc mặt ngƣời.
2.3 Các ứng dụng thơng dụng của bài tốn nhận dạng khuôn mặt.
Hệ thống nhận diện khách hàng vip Hệ thống có thể nhận diện đƣợc
khách hàng thân thiết hay khách hàng tiềm năng của một hay nhiều cửa hàng hay
các trung tâm thƣơng mại. Qua đó có thể chăm sóc, tiếp đón khách hàng tốt hơn
nhằm thu hút những khác hàng thân thiết nhiều hơn, nâng cao chất lƣợng dịch vụ.
Hệ thống giao tiếp thông minh giữa ngƣời và máy Con ngƣời có thể xây
dựng những hệ thống giao tiếp giữa ngƣời và máy tính thơng qua việc nhận dạng
khuôn mặt, biểu cảm khuôn mặt ngƣời để dự đoán, nhận biết trạng thái tâm lý hiện
thời của ngƣời đó. Chẳng hạn nhƣ một ngơi nhà thơng minh trong tƣơng lai có thể
nhận biết đƣợc chủ nhân thơng qua nhận biết khuôn mặt, dáng ngƣời, giao tiếp, giao

tiếp qua giọng nói, vân tay, …


9

Hình 2.3 Minh họa mở khóa điện thoại bằng khn mặt
Nhận dạng tội phạm hệ thống có thể nhận dạng ra một khn mặt ngay tức
thì và đối chiếu với hàng triệu bản ghi có sẵn trong cơ sở dữ liệu để xác định đối
tƣợng có phải là một đối tƣợng đang truy tìm hay khơng, hoặc đó có thể là một nhân
vật đặc biệt nào đó, …

Hình 2.4 Minh họa hệ thống nhận dạng tội phạm
Giải trí trong hầu hết các máy ảnh hiện đại ngày nay đều có chức năng tự
động phát hiện khn mặt để có thể lấy độ nét, điều chỉnh ánh sáng cho phù hợp với
xung quanh. Trên một số trang Web cũng đã áp dụng công nghệ tự động nhận dạng
mặt ngƣời và so sánh với kho dữ liệu khổng lồ của mình để đƣa ra những lời chào,
dịch vụ thông minh nhất cho ngƣời sử dụng.


10

Hình 2.5 Minh họa chức năng lấy nét trên camera điện thoại
Hệ thống quan sát, theo dõi và bảo vệ Các hệ thống camera sẽ xác định
đâu là đối tƣợng cần quan tâm và theo dõi ngƣời đó. Hệ thống này thƣờng đƣợc lắp
đặt trong các địa điểm công cộng, đơng đúc ngƣời qua lại nhƣ sảnh các tịa nhà,
thang máy, trung tâm mua sắm, nhà ga, sân bay, …
Tổ chức tìm kiếm Thực hiện các tìm kiếm liên quan đến con ngƣời thông
qua khuôn mặt trên nhiều hệ cơ sở dữ liệu lớn. Chẳng hạn, ta có thể xác định vị trí
của tẻ đi lạc bằng các lấy thơng tin về khuôn mặt để huấn luyện cho hệ thống. Từ
đó, ta có thể xác định đƣợc đứa trẻ qua camera tại các địa điểm công cộng.

Điều khiển ra vào các cơ quan, văn phòng, lớp học cho phép học sinh,
sinh viên và các nhân viên ra vào các cơ quan mà không cần phải đăng nhập hay
dùng thẻ. Việc này sẽ tiết kiệm đƣợc thời gian và nhân lực so và tính chính xác
khách quan so với điểm danh hay chấm công truyền thống. Nếu kết hợp với sử dụng
vân tay và hay hốc mắt sẽ đem lại kết quả chính xác rất cao.

Hình 2.6 Minh họa hệ thống chấm công tự động bằng nhận dạng khuôn mặt


11
Ứng dụng trong kinh doanh, marketing Với công nghệ nhận dạng khn
mặt, nhà quản lý có thể nắm đƣợc lƣu lƣợng khách hàng ra vào cửa hàng. Sau đó
kết hợp với các khoản doanh thu có thể đo lƣờng đƣợc hiệu quả kinh doanh. Bên
cạnh đó, cơng nghệ nhận dạng khn mặt cịn giúp chúng ta phân tích đƣợc giới
tính, độ tuổi, cảm xúc khách hàng. Các dữ liệu này là nên tảng để xác định khách
hàng mục tiêu của doanh nghiệp. Từ đó nhà quản lý có thể xây dựng chiến lƣợc
kinh doanh, quảng cáo hiệu quả.
Về tầm quan trọng của bài tốn nhận diện khn mặt Dựa vào những
ứng dụng mà công nghệ nhận dạng khuôn mặt mang lại, chúng ta hồn tồn có thể
so sánh đƣợc với các công nghệ nhận dạng thông dụng hiện nay nhƣ nhận dạng
giọng nói, nhận dạng vân tay, nhận dạng chữ ký, nhận dạng trịng mắt. Cả ba cơng
nghệ này đều cho thấy hiệu quả nhất định trong quá trình sử dụng, tuy nhiên, ở mỗi
phƣơng pháp cũng tồn tại những hạn chế mà ta có thể kể đến nhƣ sau
- Cơng nghệ nhận dạng giọng nói Cơng nghệ nhận dạng giọng nói là
Phƣơng pháp này phù hợp với các ứng dụng điều khiển bằng giọng nói và nhƣợc
điểm của nó là tiếng ồn, không phù hợp với nơi công cộng đông ngƣời.
- Công nghệ nhận dạng chữ ký Phƣơng pháp này cũng gây nhiều phiền
phức cho ngƣời sử dụng vì khó duy trì đƣợc chữ ký giống nhau ngay trong cùng
một thời điểm.
- Công nghệ nhận dạng vân tay Hiện nay công nghệ này đang đƣợc sử

dụng khá phổ biến, nhƣng cũng có nhƣợc điểm là bị ảnh hƣởng bởi độ ẩm da và đặc
biệt sẽ khơng chính xác cao với những ngƣời có tay hay tiếp xúc với hóa chất. Bên
cạnh đó, nhận dạng bằng vân tay có những hạn chế về việc giả mạo, thậm chí kẻ
gian có thể sử dụng tay của ngƣời khác để xác thực.
2.4 Tổng quan các phƣơng pháp trong bài toán nhận dạng đối tƣợng
Có rất nhiều hƣớng tiếp cận và phƣơng pháp khác nhau liên quan đến nhận
dạng. Có thể phân loại thành các hƣớng tiếp cận chính
- Hƣớng tiếp cận dựa trên tri thức (Knowledge – based) Mã hóa các hiểu
biết của con ngƣời về đối tƣợng thành các luật. Thông thƣờng các luật mô tả quan
hệ của các đặc trƣng. Trong hƣớng tiếp cận này, các luật sẽ phụ thuộc rất lớn vào tri
thức của những tác giả nghiên cứu. Đây là hƣớng tiếp cận dạng từ trên xuống dƣới


12
- Hƣớng tiếp cận dựa vào các đặc trƣng không thay đổi của khuôn mặt
(Feature invariant) Trong hƣớng tiếp cận này, trƣớc tiên chúng ta tìm ra các đặc
trƣng khơng thay đổi của khuôn mặt ngƣời. Các đặc trƣng không đổi này là các đặc
tính của các đối tƣợng ln tồn tại trong các tƣ thế khác nhau và điều kiện ánh sáng
khác nhau. Trên cơ sở các đặc trƣng này, ta có thể xây dựng ra một mơ hình thống
kê để mô tả quan hệ của các đặc trƣng này, sau đó chúng ta sẽ huấn luyện mơ hình
đó để phân loại (classifier) nhằm xác định trong các khung hình cắt ra từ một ảnh
ban đầu, đâu là các vùng của một khuôn mặt. Điểm yếu lớn nhất của kỹ thuật này là
về mặt thời gian. Do chúng ta sẽ phải lấy ra rất nhiều vùng trong một bức ảnh nhằm
đƣa qua classifier.
- Hƣớng tiếp cận dựa vào mẫu cho trƣớc (Template-Matching) Kỹ thuật
này xác định đƣợc vị trí của một khuôn mặt trong bức ảnh dựa vào việc so sánh
giữa các bức ảnh khuôn mặt chúng ta cho trƣớc (Feature-template) và các khung
hình đƣợc cắt ra. Bức ảnh khuôn mặt cho trƣớc là ảnh mẫu chuẩn của khuôn mặt
(thƣờng đƣợc chụp thẳng). Từ một ảnh đầu vào, ta tiến hành tính các giá trị tƣơng
quan so với các mẫu chuẩn về đƣờng viền khuôn mặt, mắt, mũi và miệng. Thông

qua các giá trị tƣơng quan này, chúng ta có thể quyết định có hay khơng một khn
mặt trong ảnh. Ƣu điểm của hƣớng tiếp cận này là từ một Template-Matching rất
dễ dàng để sử dụng. Tuy nhiên, hƣớng tiếp cận này cũng gặp phải vấn đề về thời
gian tƣơng tự nhƣ kỹ thuật dựa vào đặc tính khn mặt ở trên.
- Hƣớng tiếp cận dựa vào hình dáng (Appearance-Base) Trái với phƣơng
pháp so khớp mẫu với các mẫu đã đƣợc xác định trƣớc. Phƣơng pháp sử dụng các
phƣơng pháp hình thái học kết hợp với phân tích từ mơ hình machine-learning để
xác định trực tiếp về vị trí của các vùng có khn mặt trong ảnh. Từ những đặc tính
của các vùng trên khn mặt ta có thể dùng để xác định vị trí khn mặt ngƣời.
Hƣớng tiếp cận này mang lại hiệu quả khá tốt trong quá trình xác định khn mặt
và cũng giải quyết đƣợc nhƣợc điểm về mặt thời gian. Vì vậy, các phƣơng pháp
hiện nay thƣờng đi theo hƣớng tiếp cận này.
- Hƣớng tiếp cận dựa trên diện mạo Trái ngƣợc với các phƣơng pháp so
khớp mẫu với các mẫu đã đƣợc định nghĩa trƣớc bởi những chuyên gia, các mẫu
trong hƣớng tiếp cận này đƣợc học từ các ảnh mẫu. Một các tổng quát, các phƣơng
pháp theo hƣớng tiếp cận này áp dụng các kỹ thuật theo hƣớng xác suất thống kê và