Kỹ thuật định danh khuôn mặt dựa vào mẫu nhị phân cho ứng dụng trên thiết bị di động
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (3.62 MB, 84 trang )
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP. HCM
-------------------------
VÕ ANH TIẾN
KỸ THUẬT ĐỊNG DANH KHUÔN MẶT DỰA
VÀO MẪU NHỊ PHÂN CHO ỨNG DỤNG
TRÊN THIẾT BỊ DI ĐỘNG
LUẬN VĂN THẠC SĨ
Chuyên ngành: Công nghệ thông tin
Mẫu số ngành: 60480201
TP. HỒ CHÍ MINH, năm 2018
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ TP. HCM
-------------------------
VÕ ANH TIẾN
KỸ THUẬT ĐỊNG DANH KHUÔN MẶT DỰA
VÀO MẪU NHỊ PHÂN CHO ỨNG DỤNG
TRÊN THIẾT BỊ DI ĐỘNG
LUẬN VĂN THẠC SĨ
Chuyên ngành: Công nghệ thông tin
Mẫu số ngành: 60480201
CÁN BỘ HƯỚNG DẪN KHOA HỌC: TS. VĂN THIÊN HOÀNG
TP. HỒ CHÍ MINH, năm 2018
CƠNG TRÌNH ĐƯỢC HỒN THÀNH TẠI
TRƯỜNG ĐẠI HỌC CƠNG NGHỆ TP. HCM
Cán bộ hướng dẫn khoa học: TS. VĂN THIÊN HOÀNG
(Ghi rõ họ, tên, học hàm, học vị và chữ ký)
Luận văn Thạc sĩ được bảo vệ tại t r ư ờ n g Đại học Công nghệ TP. HCM
ngày 17 tháng 06 năm 2018.
Thành phần Hội đồng đánh giá Luận văn Thạc sĩ gồm:
TT
1
2
3
4
5
Họ và tên
PGS. Võ Đình Bảy
PGS. Quản Thành Thơ
TS. Vũ Thanh Hiền
TS. Nguyễn Thị Thúy Loan
TS. Lê Thị Ngọc Thơ
Chức danh Hội đồng
Chủ tịch
Phản biện 1
Phản biện 2
Ủy viên
Ủy viên, Thư ký
Xác nhận của Chủ tịch Hội đồng đánh giá Luận sau khi Luận văn đã được
sửa chữa (nếu có).
Chủ tịch Hội đồng đánh giá luận văn
TRƯỜNG ĐH CƠNG NGHỆ TP. HCM
PHỊNG QLKH – ĐTSĐH
CỘNG HỊA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc
TP. HCM, ngày 15 tháng 03 năm 2017.
NHIỆM VỤ LUẬN VĂN THẠC
Họ tên học viên: Võ Anh Tiến
Giới tính: Nam
Ngày, tháng, năm sinh: 25/11/1982
Nơi sinh: TP.HCM
Chun ngành: Cơng nghệ thông tin
MSHV: 1541860043
I- Tên đề tài:
Kỹ thuật định danh khuôn mặt dựa vào mẫu nhị phân cho ứng dụng trên thiết bị di động.
II- Nhiệm vụ và nội dung:
Nhiệm vụ tổng quát của đề tài là: Đề xuất
trên cơ sở
nghiên cứu các hướng tiếp cận mẫu nhị phân liên quan nhằm đạt độ chính xác
nhận dạng khn mặt cao (so với phương pháp của Kra'l và các đồng sự).
III- Ngày giao nhiệm vụ: 15/03/2017.
IV- Ngày hoàn thành nhiệm vụ: 30/12/2017.
V- Cán bộ
CÁN BỘ
dẫn: TS. Văn Thiên Hoàng.
DẪN
(Họ tên và chữ ký)
KHOA QUẢN LÝ CHUYÊN NGÀNH
(Họ tên và chữ
i
LỜI CAM ĐOAN
Tơi xin cam đoan đây là cơng trình nghiên cứu của riêng tôi. Các số liệu,
kết quả nêu trong Luận văn là trung thực và chưa từng được ai cơng bố trong
bất kỳ cơng trình nào khác.
Tơi xin cam đoan rằng mọi sự giúp đỡ cho việc thực hiện Luận văn
này đã được cảm ơn và các thông tin trích dẫn trong Luận văn đã được chỉ rõ
nguồn gốc.
Học viên thực hiện Luận văn
Võ Anh Tiến
ii
LỜI CẢM ƠN
Để hồn thành luận văn này, tơi xin tỏ lòng biết ơn sâu sắc nhất đến TS.
Văn Thiên Hồng, người đã tận tình hướng dẫn trong suốt q trình viết luận
văn.
Tơi cũng xin chân thành cảm ơn q Thầy, Cô trong khoa Công nghệ
thông tin, trường Đại học Cơng Nghệ TP. Hồ Chí Minh đã tận tình truyền đạt
kiến thức trong những năm tháng học tập. Với vốn kiến thức được tiếp thu
trong q trình học khơng chỉ là nền tảng cho q trình nghiên cứu mà cịn là
hành trang q báu để tơi có thể bước vào đời một cách vững chắc và tự tin.
Cuối cùng, tôi xin kính chúc q Thầy, Cơ dồi dào sức khỏe và thành
công trong sự nghiệp, đạt được nhiều thành công tốt đẹp trong công việc và
cuộc sống.
Học viên thực hiện Luận văn
Võ Anh Tiến
iii
TĨM TẮT
Nghiên cứu này trình bày phương pháp mới cho nhận dạng khuôn mặt dựa vào mẫu
nhị phân cục bộ (LBP). Mẫu nhị phân cục bộ xem xét các điểm xung quanh điểm trung
tâm trong vùng nhị phân cục bộ để tính tốn các đặc trưng và đặc điểm riêng biệt trên
khuôn mặt, nhưng bị ảnh hưởng bởi nhiễu, độ lệch và điều kiện ánh sáng. Trong
nghiên cứu này, đề xuất phương pháp mẫu nhị phân bền vững (RLBP) nhằm mở rộng,
xem xét nhiều điểm ảnh khác nhau để tính vector đặc trưng, đồng thời xét thêm điểm
trung tâm so với trung bình các điểm trong vùng cục bộ. Nhờ việc giảm cường độ điểm
ảnh và xem xét giá trị điểm trung tâm nên phương pháp được đề xuất loại bỏ nhiễu tốt,
không bị ảnh hưởng bởi điều kiện ánh sáng. Phương pháp đề xuất được thử nghiệm
trên ba bộ dữ liệu: ORL [1], YaleB [2] và cơ sở dữ liệu được thu nhận trực tiếp từ sinh
viên HUTECH bằng thiết bị di động. Qua thực nghiệm cho thấy, phương pháp đề xuất
trong luận văn này đạt độ đo chính xác tốt hơn các phương pháp khác.
iv
ABSTRACT
This paper presents a new method for face recognition based on local binary
pattern (LBP). Local binary samples look at points around the central point in the
binary locality to calculate specific facial features and characteristics, but are
affected by noise, deviation, and light conditions. In this study, a robust binary
sample (RLBP) model was proposed to expand, considering various pixels for
vector specificity, while adding a central point to the average of points in the lump
area. By reducing the pixel intensity and considering the center point value, the
proposed method eliminates interference, which is not affected by lighting
conditions. The proposed method was tested on three sets of data: ORL [1], YaleB
[2] and the database was obtained directly from HUTECH students by mobile
device. Experimental results show that the method proposed in this thesis has better
accuracy than other methods.
v
MỤC LỤC
LỜI CAM ĐOAN ........................................................................................................ i
LỜI CẢM ƠN ..............................................................................................................ii
TÓM TẮT ................................................................................................................. iii
ABSTRACT ............................................................................................................... iv
MỤC LỤC ................................................................................................................... v
DANH MỤC TỪ VIẾT TẮT VÀ TỪ KHÓA ..........................................................vii
DANH MỤC BẢNG ............................................................................................... viii
DANH MỤC HÌNH VẼ ............................................................................................. ix
CHƯƠNG 1.
TỔNG QUAN .................................................................................. 1
1.1 Giới thiệu .......................................................................................................... 1
1.2 Hệ thống nhận dạng khuôn mặt ....................................................................... 4
1.3 Mục tiêu của đề tài ........................................................................................... 7
1.4 Bố cục luận văn ................................................................................................ 7
CHƯƠNG 2.CÁC CƠNG TRÌNH NGHIÊN CỨU LIÊN QUAN ............................. 9
2.1 Các hướng tiếp cận rút trích đặc trưng mặt người ........................................... 9
2.1.1 Hướng tiếp cận biểu diễn đặc trưng không gian ........................................ 9
2.1.2 Biểu diễn đặc trưng dựa vào không gian – thời gian ............................... 15
2.1.3 Hướng tiếp cận rút trích đặc trưng dựa vào giảm chiều .......................... 22
2.2 Các hướng tiếp cận liên quan đến phương pháp nghiên cứu của đề tài ......... 23
2.2.1 Đặc trưng mẫu nhị phân cục bộ ............................................................... 23
2.2.2 Đặc trưng mẫu nhị phân phương sai ........................................................ 26
2.2.3 Đặc trưng mẫu nhị phân cải tiến .............................................................. 27
2.2.4 Đặc trưng mẫu tam phân cục bộ .............................................................. 28
2.2.5 Đặc trưng mẫu nhị phân cục bộ chuẩn hóa.............................................. 29
2.2.6 Đặc trưng mẫu nhị phân tăng cường ....................................................... 30
2.3 Nhận xét ......................................................................................................... 31
CHƯƠNG 3.PHƯƠNG PHÁP RÚT TRÍCH ĐẶC TRƯNG ĐỀ XUẤT ................ 32
3.1 Ý tưởng thuật toán .......................................................................................... 32
vi
3.2 Ví dụ minh họa ............................................................................................... 35
3.3 Nhận xét ......................................................................................................... 36
CHƯƠNG 4.KẾT QUẢ THỰC NGHIỆM ............................................................... 37
4.1 Môi trường và cơ sở dữ liệu thực nghiệm ...................................................... 37
4.2 Kết quả thực nghiệm trên cơ sở dữ liệu ORL ................................................ 37
4.2.1 Thống kê vét lân cận cạn ......................................................................... 39
4.2.2 Thống kê vét lân cận sâu ......................................................................... 43
4.2.3 Phương pháp thống kê ............................................................................. 43
4.2.4 Nhận xét ................................................................................................... 44
4.3 Kết quả thực nghiệm trên cơ sở dữ liệu yaleB ............................................... 44
4.3.1 Thống kê lân cận cạn ............................................................................... 47
4.3.2 Thống kê lân cận sâu ............................................................................... 49
4.3.3 Phương pháp thống kê ............................................................................. 50
4.3.4 Nhận xét ................................................................................................... 51
4.4 Kết quả thực nghiệm trên cơ sở dữ liệu thu nhận từ sinh viên Hutech bằng
thiết bị di động. ..................................................................................................... 51
4.4.1 Thống kê lân cận cạn ............................................................................... 53
4.4.2 Thống kê lân cận sâu ............................................................................... 56
4.4.3 Phương pháp thống kê ............................................................................. 57
4.4.4 Nhận xét ................................................................................................... 58
4.5 Thời gian thực hiện ........................................................................................ 58
CHƯƠNG 5.KẾT LUẬN.......................................................................................... 60
5.1 Kết quả làm được ........................................................................................... 60
5.2 Hướng phát triển ............................................................................................ 60
TÀI LIỆU THAM KHẢO ......................................................................................... 61
vii
DANH MỤC TỪ VIẾT TẮT VÀ TỪ KHÓA
STT Từ viết tắt
Tiếng Anh
Ý nghĩa tiếng Việt
1
LBP
Local binary patterns
Mẫu nhị phân cục bộ
2
PCA
Principal Components Analysis
Phân tích thành phần chính
3
LDA
Linear Discriminant Analysis
4
DFD
Discriminant face descriptor
5
BoW
Bag of Words
Đặc trưng túi từ
6
LQP
Local quantized pattern
Mẫu lượng tử cục bộ
7
HOG
Histogram of Oriented Gradient
8
LPQ
Local Phase Quantization
Định lượng đoạn cục bộ
9
NMF
Nonnegative Matrix Factorization
Hệ số ma trận không âm
10
SIFT
Scale Invariant Feature Transform
11
AU
Action Units
Đơn vị hành động
12
Two-dimensional Principle
Kỹ thuật phân tích thành
2D-PCA
Component Analysis
phần chính hai chiều
13
Two-dimensional Linear
Kỹ thuật phân tích tách lớp
2DLDA
Discriminant Analysis
tuyến tính hai chiều
14
VAR-LBP
Variance Local Binary Patterns
Mẫu nhị phân phương sai
15
ILBP
Improve Local Binary Patterns
16
NILBP
Neighbors Local Binary Patterns
Mẫu nhị phân láng giềng
17
EN-LBP
Enhanced Local Binary Patterns
Mẫu nhị phân tăng cường
18
LTP
Local Ternary Patterns
Mẫu tam phân cục bộ
19
RLBP
Robust Local Binary Patterns
Mẫu nhị phân bền vững
Phân tích tách lớp tuyến
tính
Phân biệt bộ mơ tả khn
mặt
Biểu đồ mật độ lệch mức
xám theo hướng
Phép biến đổi đặc trưng
bất biến về tỉ lệ.
Cải tiến mẫu nhị phân cục
bộ
viii
DANH MỤC BẢNG
Bảng 4.1: Liệt kê độ chính xác đạt được của thuật toán RLBP8,1 được đề xuất so với
các thuật toán khác trên cơ sở dữ liệu ORL. ............................................................. 40
Bảng 4.2: Liệt kê độ đo chính xác (%) đạt được của thuật toán RLBP16,1 được đề
xuất so với các thuật toán khác trên cơ sở dữ liệu ORL. .......................................... 41
Bảng 4.3: Liệt kê tổng hợp độ đo chính xác (%) thống kê vét lân cận cạn. ............. 41
Bảng 4.4: Liệt kê độ đo chính xác (%) đạt được của thuật toán RLBP16,1 được đề
xuất so với các thuật toán khác trên cơ sở dữ liệu ORL. .......................................... 43
Bảng 4.5: Liệt kê độ chính xác đạt được của thuật tốn RLBP8,1 được đề xuất so với
các thuật toán khác trên cơ sở dữ liệu YaleB. ........................................................... 47
Bảng 4.6: Liệt kê độ đo chính xác (%) đạt được của thuật tốn RLBP16,1 được đề
xuất so với các thuật toán khác trên cơ sở dữ liệu YaleB. ........................................ 48
Bảng 4.7: Liệt kê tổng hợp độ đo chính xác (%) thống kê vét lân cận cạn. ............. 49
Bảng 4.8: Liệt kê độ đo phần trăm đạt được của thuật toán RLBP16,1 được đề xuất so
với các thuật toán khác trên cơ sở dữ liệu YaleB. .................................................... 50
Bảng 4.9: Liệt kê độ chính xác đạt được của thuật toán RLBP8,1 được đề xuất so với
các thuật toán khác trên cơ sở dữ liệu sinh viên Hutech. .......................................... 54
Bảng 4.10: Liệt kê độ đo chính xác (%) đạt được của thuật toán RLBP16,1 được đề
xuất so với các thuật toán khác trên cơ sở dữ liệu sinh viên Hutech. ....................... 55
Bảng 4.11: Liệt kê tổng hợp độ đo chính xác (%) thống kê vét lân cận cạn. ........... 55
Bảng 4.12: Liệt kê độ đo chính xác (%) đạt được của thuật toán RLBP16,1 được đề
xuất so với các thuật toán khác trên cơ sở dữ liệu sinh viên Hutech. ....................... 57
Bảng 4.13 : So sánh thời gian thực hiện rút trích đặc trưng của các phương pháp
trên tổng số ảnh mẫu của một người cho từng cơ sở dữ liệu được tính bằng ( mini
giây). .......................................................................................................................... 58
ix
DANH MỤC HÌNH VẼ
Hình 1.1: Các dạng sinh trắc học phổ biến. ................................................................ 1
Hình 1.2: Hệ thống nhận dạng khn mặt. ................................................................. 5
Hình 1.3: Minh họa bài tốn định danh (a) và xác thực (b). ....................................... 6
Hình 2.1: Đặc trưng hình học [29]. ............................................................................. 9
Hình 2.2: Biểu đồ đặc trưng mật độ cấp thấp ((a) LBP, (b) LPQ, (c) HoG) [29]. .... 10
Hình 2.3: Biễu diển đặc trưng dựa vào bộ lọc Gabor [29]........................................ 12
Hình 2.4: Biểu diễn đặc trưng túi từ BoW [29]. ....................................................... 13
Hình 2.5: Đặc trưng GP-NMF [29]. .......................................................................... 13
Hình 2.6: Đặc trưng mã hóa phân rã [29]. ................................................................ 14
Hình 2.7: Đặc trưng thành phần dựa vào (a) SIFT và dựa vào (b) NMF [29]. ........ 15
Hình 2.8: Đặc trưng không gian-thời gian sử dụng đặc trưng hình học từ các điểm
mặt [29]. .................................................................................................................... 16
Hình 2.9: Đặc trưng không gian thời-gian (a) LBP-TOP và (b) LPQ-TOP [29]. ..... 17
Hình 2.10: Bộ lọc làm trơn IC [29]. .......................................................................... 18
Hình 2.11: Đặc trưng Haar động (a), và đặc trưng tương tự (b) [29]. ...................... 19
Hình 2.12: Biểu diễn biến đổi tự do [29]. ................................................................. 20
Hình 2.13: Đặc trưng BoW theo thời gian [29]. ....................................................... 21
Hình 2.14: Ví dụ LBP và độ tương phản cục bộ C. .................................................. 24
Hình 2.15: Tập hợp các điểm xung quang Ptt. ........................................................... 24
Hình 2.16: Các biến thể của LBP. ............................................................................. 25
Hình 2.17: Bảng thống kê các mẫu của uniform LBP. ............................................. 26
Hình 2.18: Thể hiện trọng số của ILBP8,1 và ILBP4,1................................................ 28
Hình 2.19: Ví dụ minh họa LTP cơ bản .................................................................... 29
Hình 2.20: Biểu đồ thể hiện thủ tục EN_LBP........................................................... 30
Hình 3.1: Minh họa ý tưởng thuật tốn đề xuất. ....................................................... 32
Hình 3.2: Biểu đồ thể hiện thủ tục. ........................................................................... 33
Hình 3.3: Ví dụ RLBP. .............................................................................................. 36
Hình 4.1: Minh họa các tư thế khn mặt một người trong cơ sở dữ liệu ORL. ..... 37
x
Hình 4.2: Minh họa hình ảnh đặc trưng khn mặt với các thuật toán liên quan và
thuật toán đề xuất RLBP trên cơ sở dữ liệu ORL. .................................................... 38
Hình 4.3: Biểu đồ so sánh Thuật toán RLBP8,1 đề xuất với các thuật toán khác trên
cơ sở dữ liệu ORL. .................................................................................................... 40
Hình 4.4: Biểu đồ so sánh Thuật tốn RLBP16,1 đề xuất với các thuật toán khác trên
cơ sở dữ liệu ORL. .................................................................................................... 41
Hình 4.5: Biểu đồ so sánh thống kê vét lân cận cạn tổng hợp trên cơ sở dữ liệu
ORL. .......................................................................................................................... 42
Hình 4.6: Biểu đồ so sánh Thuật tốn RLBP16,1 đề xuất với các thuật toán khác trên
cơ sở dữ liệu ORL. .................................................................................................... 43
Hình 4.7: Minh họa các kiểu biểu hiện khuôn mặt trong cơ sở dữ liệu YaleB......... 45
Hình 4.8: Minh họa hình ảnh đặc trưng với các thuật toán liên quan và thuật toán đề
xuất RLBP trên cơ sở dữ liệu YaleB. ........................................................................ 46
Hình 4.9: Biểu đồ so sánh Thuật toán RLBP8,1 đề xuất với các thuật tốn khác trên
cơ sở dữ liệu YaleB. .................................................................................................. 47
Hình 4.10: Biểu đồ so sánh Thuật toán RLBP16,1 đề xuất với các thuật tốn khác
trên cơ sở dữ liệu YaleB............................................................................................ 48
Hình 4.11: Biểu đồ so sánh thống kê vét lân cận cạn tổng hợp trên cơ sở dữ liệu
YaleB. ........................................................................................................................ 49
Hình 4.12: Biểu đồ so sánh Thuật toán RLBP16,1 đề xuất với các thuật toán khác
trên cơ sở dữ liệu YaleB............................................................................................ 50
Hình 4.13: Minh họa các biểu cảm của một sinh viên Hutech. ................................ 52
Hình 4.14: Minh họa hình ảnh đặc trưng khn mặt với các thuật tốn liên quan và
thuật toán đề xuất RLBP trên cơ sở dữ liệu sinh viên Hutech. ................................. 52
Hình 4.15 : Biểu đồ so sánh Thuật toán RLBP8,1 đề xuất với các thuật toán khác trên
cơ sở dữ liệu sinh viên Hutech. ................................................................................. 54
Hình 4.16: Biểu đồ so sánh Thuật toán RLBP16,1 đề xuất với các thuật toán khác
trên cơ sở dữ liệu sinh viên Hutech. .......................................................................... 55
Hình 4.17: Biểu đồ so sánh thống kê vét lân cận cạn tổng hợp trên cơ sở dữ liệu sinh
xi
viên Hutech. .............................................................................................................. 56
Hình 4.18: Biểu đồ so sánh Thuật toán RLBP16,1 đề xuất với các thuật toán khác
trên cơ sở dữ liệu sinh viên Hutech. .......................................................................... 57
1
CHƯƠNG 1.
TỔNG QUAN
1.1 Giới thiệu
Sinh trắc học hay còn gọi là Công nghệ sinh trắc học (Biometric) là công nghệ sử
dụng những thuộc tính vật lý, đặc điểm sinh học đặc trưng riêng của mỗi cá nhân
như vân tay, mống mắt, khn mặt, giọng nói, dáng đi,.. để nhận dạng. Sinh trắc
học được xem là công cụ xác thực cá nhân hữu hiệu nhất hiện nay.
Sinh trắc học được phát triển lâu dài, đã được nghiên cứu và ứng dụng trong các
lĩnh vực anh ninh, quốc phòng, thương mại. Trong những năm gần đây, công nghệ
này đã đáp ứng được những yếu tố và nhu cầu cần thiết về chi phí, sự vận hành và
khả năng xác thực cho độ chính xác cao. Vì vậy trong tương lai sinh trắc học sẽ hiện
hữu và được ứng dụng mạnh mẽ hơn.
Một số loại sinh trắc học phổ biến hiện nay như: Dấu vân tay ( Finger print), lồng
bàn tay ( Palm print), khuôn mặt ( Face), hành vi ( Behavioral), nhịp tim ( Cardiac
Rhythm), võng mạc ( Retiane),... Những đáp ứng nhu cầu thực tế vô cùng hữu hiệu
của các loại sinh trắc học trên, đã thôi thúc các nhà nghiên cứu khơng ngừng tìm
hiểu và phát triển ngành cơng nghệ này lên tầm cao mới. Và nhận dạng khuôn mặt
trở thành chủ đề tiềm năng trong nghiên cứu thị giác máy tính [3].
Hình 1.1: Các dạng sinh trắc học phổ biến.
Nhận dạng khuôn mặt là một vấn đề nghiên cứu từ máy tính khá lâu đời, nhưng
được xem là khá mới mẻ khi một số phương pháp nhận dạng khuôn mặt đã được đề
2
xuất trong hai thập kỷ qua [4], [5], [17], [18], [22], [25]. Có bốn giai đoạn trong một
hệ thống nhận dạng khuôn mặt thông thường: Phát hiện khuôn mặt, canh chỉnh
khuôn mặt, đặc trưng khuôn mặt, và so khớp khuôn mặt. Giai đoạn rút trích đặc
trưng khn mặt và so khớp là hai giai đoạn quan trọng trong một hệ thống nhận
dạng khuôn mặt. Đối với đặc trưng khuôn mặt ( mắt, mũi, miệng, cằm...), mục tiêu
là để rút trích các đặc điểm phân biệt để làm cho hình ảnh khuôn mặt được phân
tách nhiều hơn. Giai đoạn so khớp khn mặt có mục tiêu là thiết kế thuật tốn phân
lớp hiệu quả để phân biệt các khuôn mặt khác nhau.
So khớp khn mặt đóng vai trị quan trọng, ảnh hưởng đến độ đo chính xác (%)
của một hệ thống nhận dạng khn mặt vì hình ảnh khn mặt bị chụp trong các
môi trường thế giới thực thường bị ảnh hưởng bởi nhiều biến thể như tư thế khác
nhau, biểu hiện, độ sáng, sự bịt kín, độ phân giải, và nguồn gốc. Những biến thể làm
giảm sự giống nhau của các mẫu khuôn mặt từ cùng một người và làm tăng sự
giống nhau của các mẫu khuôn mặt từ những người khác nhau, đó là một trong
những thách thức quan trọng trong nhận dạng khuôn mặt. Trong những năm gần
đây, một số phương pháp đặc trưng khuôn mặt đã được đề xuất [4], [5], và chủ yếu
được phân thành hai loại: Đặc trưng toàn cục [5], [22] và Đặc trưng cục bộ [4],
[17]. Đặc trưng toàn cục bao gồm phân tích chính thành phần (PCA) [22] và phân
tích tách lớp tuyến tính (LDA) [5], và các đặc trưng cục bộ là mơ hình mẫu nhị
phân cục bộ (LBP) [13] và biến đổi sóng wavelets (Gabor Wavelets) [17]. Các
phương pháp nhận dạng khn mặt trong mơi trường có kiểm sốt đã được phát
triển nhiều, nhưng độ đo chính xác (%) của chúng vẫn cịn chưa hiệu quả trong mơi
trường khơng bị giới hạn. Do đó, làm thế nào để rút trích các đặc trưng bền vững
với nhiễu và phân biệt là bài toán quan trọng và thách thức trong nhận dạng khn
mặt.
Có 3 vấn đề liên quan đến nhận dạng khn mặt mà chúng ta cần chú ý:
Đặc trưng khuôn mặt
Làm việc với đặc trưng khuôn mặt trong kho tàng khoa học rộng lớn, các phương
pháp này có thể được chia thành hai loại: Đặc trưng toàn cục [5], [22] và Đặc trưng
3
cục bộ [13], [17]. Đặc trưng toàn cục chuyển đổi từng hình ảnh khn mặt vào một
vector đặc trưng và một khơng gian con địi hỏi sự đặc trưng để bảo vệ thơng tin
thống kê của hình ảnh khn mặt. Phương pháp đặc trưng khuôn mặt trong không
gian con dựa trên các đại diện bao gồm PCA [22] và LDA [5]. Khơng giống như các
đặc trưng tồn cục, đặc trưng cục bộ đầu tiên mơ tả mơ hình cấu trúc của mỗi bản
vá lỗi cục bộ và sau đó kết hợp số liệu thống kê của tất cả các bản vá lỗi vào một
bản vá các đặc trưng vector. Đặc trưng cục bộ điển hình là LBP [13] và Gabor
wavelets [17]. Tuy nhiên, các đặc trưng cục bộ được làm thủ cơng và thường địi hỏi
kiến thức rộng để thiết kế chúng bằng tay. Hơn nữa, một số trong số chúng khá là
đắt tiền, mà có thể hạn chế các ứng dụng thực tế.
Đặc trưng học thống kê
Đã có một số phương pháp học thống kê được đề xuất trong những năm gần đây
[6], [9], [10], [12], [14], [20]. Tiêu biểu là phương pháp đặc trưng học thống kê bao
gồm bộ mẫu hóa tự động thưa thớt [6], giảm nhiễu mẫu hóa tự động [20], máy
Boltzmann [9], mạng nơron xoắn [10], phân tích khơng gian con độc lập [12], và
xây dựng lại phân tích thành phần độc lập [14]. Gần đây, cũng đã có một số cơng
trình về đặc trưng học tập dựa trên đặc trưng khuôn mặt, và một số trong số đó đã
đạt được độ đo chính xác (%) khá tốt trong nhận dạng khn mặt. Ví dụ, Lei và
đồng sự [15] đề xuất một phương pháp biệt số mô tả khuôn mặt (DFD) bằng cách
lọc ảnh sử dụng LDA tạo ra tiêu chí để có được đặc trưng như LBP. Cao và các
đồng sự [7] trình bày một phương pháp biểu diễn đặc trưng học tập bằng cách áp
dụng các khuôn khổ bag-of-word (Bow). Hussain và các đồng sự [11] đề xuất một
phương pháp mơ hình lượng tử (LQP) bằng cách thay đổi phương pháp LBP với
một chiến lược mẫu hóa. So với các mơ tả đặc trưng bằng tay, các phương pháp
biểu diễn đặc trưng học thống kê dựa trên độ đo chính xác (%) hiển thị được cơng
nhận tốt hơn bởi vì các thơng tin dữ liệu thích nghi hơn có thể được khai thác dựa
vào các đặc trưng đã học.
Mẫu nhị phận
4
So với các mô tả đặc trưng giá trị thực, có ba lợi thế cho mẫu nhị phân:
1) Tiết kiệm bộ nhớ.
2) Có tốc độ tính tốn nhanh hơn.
3) Chúng đủ mạnh để biến thể cục bộ.
Gần đây, đã có một sự quan tâm ngày càng cao đối với mẫu nhị phân trong thị
trường máy tính [8], [21], [23], [24]. Ví dụ, Weiss và đồng sự [24] đề xuất phương
pháp học thống kê mẫu hóa nhị phân bằng cách lưu giữ sự giống nhau của các đặc
trưng ban đầu cho tìm kiếm hình ảnh. Norouzi và đồng sự [19] đề xuất mẫu nhị
phân bằng cách giảm thiểu một thứ hạng bộ ba tổn thất của cặp tương tự. Wang và
đồng sự [23] trình bày một phương pháp học thống kê mẫu nhị phân bằng cách tối
đa hóa sự giống nhau của cặp lân cận và giảm thiểu sự giống nhau của cặp phi lân
cận để thu hồi hình ảnh. Trzcinski và Lepetit [21] mô tả mẫu nhị phân từ các bản vá
lỗi bằng cách duyệt qua một vài đối chiếu tuyến tính dựa trên bộ lọc giả định q
trình huấn luyện. Tuy nhiên, hầu hết các phương pháp học thống kê mẫu nhị phân
hiện đang được phát triển cho tìm kiếm tương tự [8], [21] và theo dõi trực quan
[16]. Trong khi đặc trưng nhị phân như LBP và Haar-like được sử dụng trong nhận
dạng khuôn mặt và đạt được hiệu quả đáng khích lệ, hầu hết trong số đó là làm thủ
công.
Hơn thế, ngày nay công nghệ phát triển mạnh mẽ, thiết bị di động đã trở nên đa
năng và được tích hợp nhiều ứng dụng mạnh mẽ giúp cho con người trong việc bảo
mật hoặc ghi nhớ thông tin... đặc biệt là các hệ thống xác thực người dùng trên thiết
bị di động đã và đang ngày càng tiến bộ.
Vì những nhu cầu thực tế đó, tơi đã chọn đề tài nghiên cứu “ Kỹ thuật định danh
khuôn mặt dựa vào mẫu nhị phân cục bộ cho ứng dụng trên thiết bị di động”.
1.2 Hệ thống nhận dạng khuôn mặt
Hệ thống nhận dạng khuôn mặt là tự động xử lý thông tin từ các ảnh mặt người
với một cơ sở dữ liệu để tìm ra sự tương đồng và từ đó đưa ra kết quả đồng nhất.
5
Một hệ thống nhận dạng mặt người gồm các bước sau:
Hình 1.2: Hệ thống nhận dạng khn mặt.
Phát hiện khn mặt ( Face detection): là dị tìm và xác định vị trí các khn mặt
có trong ảnh.
Tiền xử lý ảnh ( PreProcessing): mục đích là lọc nhiễu, nâng cao chất lượng hình
ảnh và thực hiện các bước canh chỉnh, chuẩn hóa ánh sáng.
Trích rút đặc trưng (Feature extraction): Các thơng tin về các thành phần trên
khuôn mặt sau khi qua các công đoạn phát hiện khuôn mặt và bước tiền xử lý,
chúng ta có thể dễ dàng tính được các vector đặc trưng trong giai đoạn rút trích đặc
trưng. Những vector đặc trưng này sẽ là dữ liệu đầu vào cho mơ hình đã huấn luyện
trước để phân lớp khn mặt. Sau khi phân lớp sẽ nhận dạng khuôn mặt đó là ai, là
đối tượng nào. Ở bước rút trích đặc trưng này, một phương pháp trích rút đặc trưng
được chọn để xử lý như: mẫu nhị phân cục bộ (LBP) [13], hoặc phân tích thành
phần chính (PCA) [22], hoặc phân tích tách lớp tuyến tính (LDA) [5], hoặc biến đổi
sóng wavelets (Gabor Wavelets) [17] để trích xuất các thơng tin đặc trưng trên
khn mặt và sau đó mỗi đặc trưng ảnh đó sẽ được biễu diễn dưới dạng một vector.
Trong luận văn này, sẽ chọn phương pháp LBP [13] để thực hiện cải tiến và trình
bày trong quá trình nghiên cứu.
Ngồi ra có 2 phương pháp định danh và xác thực [26] tương quan trong hệ thống
nhận dạng khuôn mặt :
6
Hình 1.3: Minh họa bài tốn định danh (a) và xác thực (b).
Định danh
Người dùng cung cấp định danh của mình cho hệ thống với mục đích là tìm kiếm
sự tồn tại và quyền hạn của người dùng đó.
Có 2 phương pháp định danh:
Người dùng tự nhập thông tin về định danh là phương pháp phổ biến hiện nay (
ví dụ: username, số tài khoản...). Bởi đối với các hacker khi muốn xâm nhập vào hệ
thống là thu thập danh sách những người hợp lệ của hệ thống.
Định danh số hóa là sử dụng cơng nghệ sinh trắc học ( nhận dạng khn mặt,
qt trịng mắt, nhận dạng vân tay, hình học lồng bàn tay,...), hoặc định danh trên
máy tính ( tên máy tính, địa chỉ ip,...), hay định danh số ( chứng nhận số, thẻ thông
minh,...).
Xác thực
Người dùng chứng minh định danh đó là đúng, nhằm xác thực sự hợp lệ và phù
hợp với người dùng đó, đưa ra quyết định cho phép người dùng đó có quyền truy
7
cập vào tài nguyên của hệ thống hay không.
Các phương pháp xác thực có thể nói đến như: Chỉ những gì người dùng biết(
password, số pin,...), những gì người dùng có ( thẻ thơng minh, địa chỉ ip,...), những
gì là của chính người dùng ( trong đó bao gồm các yếu tố sinh trắc học: khuôn mặt,
vân tay, lồng bàn tay, tròng mắt).
1.3 Mục tiêu của đề tài
Trên nền tảng nghiên cứu nhận dạng khuôn mặt, đề tài hướng đến mục tiêu
nghiên cứu cải tiến phương pháp nhận dạng khuôn mặt dựa vào LBP [13] để áp
dụng phát triển ứng dụng điểm danh trên thiết bị di động qua chứng thực quét
khuôn mặt.
Theo phương pháp điểm danh truyền thống, giáo viên tốn khá nhiều thời gian
để điểm danh sinh viên vào mỗi buổi học và cũng làm giảm năng lượng cũng như
sức lực của mỗi giáo viên.
Thay vì phải gọi tên từng sinh viên, nay tôi nghiên cứu phương pháp nhận dạng
khuôn mặt cho ứng dụng trên thiết bị di động có tích hợp camera, mà đa phần mỗi
chúng ta ai cũng sở hữu để điểm danh sinh viên. Với ưu điểm: Điểm danh nhanh
gọn, tiện lợi, tiết kiệm thời gian và công sức chỉ “cần quét” khuôn mặt các sinh
viên qua một lần.
Tuy nhiên tài nguyên của thiết bị di động thấp, vì vậy cần phát triển kỹ thuật
nhận dạng khuôn mặt dựa vào mẫu nhị phân để tốn ít bộ nhớ và so khớp nhanh.
1.4 Bố cục luận văn
Luận văn gồm 5 chương:
Chương 1: Tổng quan
Giới thiệu nghiên cứu sinh trắc học và nhận dạng mặt người, hệ thống nhận
dạng khuôn mặt được thực hiện như thế nào và trình bày mục tiêu của đề tài.
Chương 2: Các cơng trình nghiên cứu liên quan
Trình bày các hướng tiếp cận rút trích đặc trưng mặt người và các hướng tiếp
cận nghiên cứu liên quan đến mẫu nhị phân cục bộ. Đề ra phương pháp tiếp cận
để thực hiện nghiên cứu trong luận văn này.
8
Chương 3: Phương pháp rút trích đặc trưng đề xuất
Minh họa và mơ tả mơ hình ý tưởng thuật tốn. Phương pháp thực hiện thuật
tốn đề xuất và ví dụ minh họa.
Chương 4: Kết quả thực nghiệm
Chương này đưa ra dẫn chứng những kết quả độ so khớp được thực hiện trên
ba bộ cơ sở dữ liệu ORL [1], YaleB [2] và cơ sở dữ liệu được thu nhận trực tiếp
từ sinh viên Hutech bằng thiết bị di động.
Chương 5: Kết luận
Đưa ra kết luận nghiên cứu trong luận văn này đã thực hiện và đóng góp cho bài
tốn nhận dạng khuôn mặt, đồng thời đề ra hướng phát triển trong tương lai.
9
CHƯƠNG 2.
CÁC CƠNG TRÌNH NGHIÊN CỨU LIÊN
QUAN
2.1 Các hướng tiếp cận rút trích đặc trưng mặt người
2.1.1 Hướng tiếp cận biểu diễn đặc trưng khơng gian
Hướng tiếp cận này có nhiều phương pháp khác nhau để khai thác đặc trưng
khuôn mặt từ cấp thấp đến cấp cao như sau:
(1) Đặc trưng hình dạng.
(2) Đặc trưng biểu đồ mật độ mức thấp.
(3) Đặc trưng dựa vào bộ lọc Gabor.
(4) Đặc trưng túi từ BoW.
(5) Đặc trưng cấp cao.
(6) Đặc trưng phân cấp.
(7) Đặc trưng bộ phận.
2.1.1.1 Đặc trưng hình dạng
Đặc trưng hình dạng được sử dụng thường xuyên nhất của tập các điểm trên
khn mặt. Các điểm này biểu diễn hình dạng chính của khn mặt như: đường
biên khn mặt, chân mày, sống mũi, miệng và mắt. Đặt trưng được biễu diễn
thông qua việc kết nối các tọa độ này với nhau [26], như hình 2.1.
Hình 2.1: Đặc trưng hình học [29].
Đặc trưng này không bị ảnh hưởng bởi ánh sáng vì cường độ ánh sáng của các
điểm ảnh bị bỏ qua. Tuy nhiên, sự biến đổi của ánh sáng có thể làm giảm độ chính
xác trong việc xác định các điểm mặt. Người ta có thể sử dụng khoảng cách giữa
mốc trên khuôn mặt chứ không sử dụng khoảng cách giữa các điểm mặt [27] . Khi
đó, bộ miêu tả có thể là khoảng cách giữa các thành phần trên khuôn mặt như
10
khoảng cách và góc độ mơ tả việc đóng hay mở mắt và miệng, và các nhóm điểm
mơ tả trạng thái của má. Cách làm này sử dụng nhiều hơn để nhận biết sự thay đổi
về trạng thái của khuôn mặt như là sự nhận dạng cảm xúc [28].
2.1.1.2 Đặc trưng biểu đồ mật độ mức thấp
Phương pháp này sẽ tính tốn đặc trưng cục bộ và mã hóa thành ảnh mới. Sau đó,
phân ảnh thành từng khối. Mỗi khối sẽ tính mật độ của từng đoạn giá trị mã. Đặc
trưng kết quả là nối tất cả các vector mật độ của tất cả các khối.
Hình 2.2: Biểu đồ đặc trưng mật độ cấp thấp ((a) LBP, (b) LPQ, (c) HoG) [29].
Đặc trưng cấp thấp là bền vững với sự biến đổi của ánh sáng bởi vì nó tính dựa
vào độ lệch mức xám trong vùng nhỏ. Thêm vào đó, biểu đồ mật độ được chuẩn hóa
[30] nên bền vững với nhiều trường hợp thay đổi độ sáng khác nhau. Cách biểu diễn
này bền vững với việc huấn luyện ảnh lỗi vì biểu đồ mật độ có thể phủ nhiều trường
hợp ảnh được thu nhận với tư thế dịch chuyển, xoay và tỉ lệ. Biểu đồ mật độ ở mức
độ thấp không đánh giá được thay đổi biểu hiện trạng thái khn mặt bởi sự thiên
lệch về nhận dạng, vì phương pháp biểu diễn này kiểm tra các tín hiệu liên quan đến
nhận dạng hơn là biểu hiện trên khuôn mặt [31], [32]. Cách biểu diễn này mã hóa
