Nghiên cứu một số phương pháp phát hiện các đặc trưng của khuôn mặt người
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (25.4 MB, 101 trang )
BO GIAO DUC VA DAO TAO
ĐẠI HỌC HUẾ
TRƯƠNG ĐẠI HỌC KHOA HỌC
PHAM TUAN
NGHIEN CUU MOT SO PHUONG PHAP
PHAT HIEN CAC DAC TRUNG
CUA KHUON MAT NGUOI
CHUYEN NGANH: KHOA HOC MAY TINH
MA SO: 60.48.01.01
LUAN VAN THAC SI KHOA HOC
ĐỊNH HƯỚNG ỨNG DỤNG
NGƯỜI HUONG DAN KHOA HOC
TS. NGUYEN DANG BINH
Thừa Thiên Huế, 2018
PHAN MO DAU
1. LY DO CHON DE TAI
Cùng với sự bùng nổ thông tin, sự phát triển công nghệ cao, sự giao tiếp giữa
con người và máy tính đang thay đơi rất nhanh, giờ đây giao tiếp này khơng cịn
đơn thuần đùng những thiết bị như chuột, bàn phím, v.v, mà có thê thơng qua các
biểu hiện của khn mặt. Các hệ thống giao tiếp người máy đang được phát triển rất
nhiều. Trong số đó, có thể nói đến hệ thống nhận dạng mặt người bằng hình ảnh.
Nhận dạng mặt người là xác định danh tính tự động cho từng ảnh đối tượng người
dựa vào nội dung của ảnh. Nhận dạng mặt người được ứng dụng nhiều trong thực tế
như xác minh tội phạm, camera chống trộm, hệ thống chấm công, lưu trữ thông tin
khuôn mặt ở các máy ATM, các bãi giữ xe siêu thị, v.v...
Bên cạnh đó, trong công tác quản lý học sinh, sinh viên tại trường liên quan
tới con người, việc nhận dạng người thông qua các đặc điểm trên khuôn mặt là rất
quan trọng. Nếu áp dụng được công nghệ nhận dạng mặt người đề hỗ trợ trong cơng
tác thi học kỳ thì sẽ làm tăng cao tính tiện đụng của hệ thống quản lý.
Hiện tượng gian lận trong Giáo dục nói chung và hiện tượng gian lận trong
học hộ, thị hộ nói riêng là vấn
dé nan giải và được bản cãi nhiều đặc biệt là trước —
trong và sau mỗi kỳ thi.
Trong các trường Đại học, Cao đẳng, Trung Cấp Nghề, Trung học chuyên
nghiệp mục đích của việc học hộ là tránh để mat 30% điểm học phan theo quy ché
25 của Bộ Giáo duc. Việc học hộ thường xảy ra ở các lớp Liên thơng, Tại chức học
vào ca tối, các lớp có tình trạng lớp đơng, giáo viên mới ...
Đối với hiện tượng thi hộ, việc kiểm tra và đối chiếu học sinh - sinh viên vào
dự thi mất rất nhiều thời gian, đôi khi vẫn bỏ qua được đối tượng thi hộ như trường
hợp anh em thi hộ, hiện tượng tráo anh trong thẻ dự thị, hiện tượng quên thẻ sinh
viên....
Tại Trường Trung Cấp Nghề Kinh tế - Kỹ thuật Công đoàn An Giang, cũng
phát hiện nhiều trường hợp thi hộ, học hộ đặc biệt là tại các lớp học tại chức, liên
thông học vào ca tối. Trong khuôn khổ luận văn này, tơi xin đi sâu tìm hiểu vào
phần chống gian lận trong thi cử.
LOI CAM ON
Lời đầu tiên, tôi xin được bày tỏ lịng biết ơn sâu sắc đến Tiến sĩ Nguyễn Đăng
Bình — người hướng dân khoa học, đã tận tâm, nhiệt tình hướng dân cho tơi trong
suốt q trình thực hiện luận văn này.
Xin goi loi cam on đến Ban
lãnh đạo Tì rường Đại học Khoa
học Huế, Khoa
Cơng nghệ thơng tin, Phịng sau Đại học, tất cả những quỷ thấy, cơ đã trực tiếp
giảng dạy trong suốt khóa học đề cho tơi có đủ kiến thức, kinh nghiệm và phương
pháp nghiên cứu.
Xin được cảm ơn Ban Giám hiệu Trường Trung Cấp Nghề Kinh Tế - Kỹ Thuật
Cơng đồn An Giang và các ban đồng nghiệp đã tạo mọi điều kiện thuận lợi cho tơi
trong suốt q trình học tập,nghiên cứu đề hoàn thành luận văn này.
Ciing xin chân thành cảm ơn sự quan tâm hỗ trợ, tạo điễu kiện và hết lòng động
viên về tỉnh thần lần vật chất của các thành viên trong gia đình trong suốt thời gian
qua.
Do khả năng kinh nghiệm nghiên cứu còn hạn chế, mặc đù bản thân rất cố
gắng nhưng luận văn không sao tránh khỏi những khiếm khuyết. Mong quy thây, cô
trong hội đồng cảm thơng, lượng thứ và đóng góp ý kiến để bồ sung cho đề tài hồn
thiện hơn. Sau cùng, tơi gói lời chúc sức khỏe, hạnh phúc đến quỷ thầy cơ, gia đình
và bạn bè.
Tran trong.
Người thực hiện luận văn
Phạm Tuần
il
MUC LUC
09)09.9 69.0087... ............H...
I
00099019) 00057..........G........,,Ô
II
hïI090992257
. ...........),H,.,.,....... m
DANH /MỤG CÁG BẰNG otecguuthdtittrdtidtiittittiistHSISHHSIEHHSIEHHSIEHHSISEEHSI VI
DANH MỤC CÁC HÌNH VẼ..........................
5-55 5+ 2t 2x vEExEEEEEErrrirrrrrerrke VII
DANH MUC CAC TU VIET TAT .u.ecccccscsssssssssssscssecssscssscssecsssccssccscssecenecesecesscese IX
PHAN MO DAU Qoccssccsssssssssssessscssscssscssscssscssscssscssscssscsssccssesssccsscsssccssessscssscsseceseeesseeseees 1
CHUONG 1. TONG QUAN VE NHAN DANG MAT NGUOI
VA XU LY ANH6
1.1 GIỚI THIỆU TÔNG QUAN VẺ NHẬN DẠNG........................
222 22222222222222222-e2 6
1.1.1 Khái niệm ..........................--52 222222221221112111211121112111211122121121212122 are 6
1.1.2 Công nghệ nhận dạng ảnh (nhận dạng mẫu
L0 0211 1n 1H11
Hà nà Ha 6
1.2 TỎNG QUAN VẺ XỬ LÝ ẢNH SỐ .....................
1 5222 2221212 tra 7
1.2.1 Các quá trình xử lý ảnh.......................:cccSc 212 nn nhà He
1.2.2. Phạm vi tng dung của xử lý ảnh
se
8
.. 10
1.3. GIGI THIEU BAI TOAN NHAN DANG KHUON MAT NGUOI VA UNG
DUNG CUA DE TAI VAO CO SO THUC TIEN........
"`
....10
1.3.1 Giới thiệu bài tốn nhận dạng khn mặt người.
10
1.3.2. Ung dung ctia dé tai vao co sé thre thé occeee
well
1.4. CAC YEU TO LAM ANH HUONG TOI KET QUA NHAN DANG........... 11
1.5. TIEU KET CHUONG 1 oe.ocicieecccssceeeeeesssseseeeeesssssesnnetssessseseens
CHƯƠNG 2. CÁC PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẠẶT....
12
...13
2.1. PHƯƠNG PHÁP EIGENFACES.................
2-2222 222222212222122112211 211 2E ctxe. 13
2.1.1 Giới thiệu về Eigenface......................-52 22 2222111211121121121121121
re 13
2:1z2› nh
ETIPGDG sec niei50ESRSIREBBIEESEBBIEEIGERICSEGDNBEEISDRINEEEDRIREEEGĐISSlEBĐ 14
2.1.3. Sử dụng khuôn mặt đặc trưng để phân loại hình ảnh khn mặt ............. 17
2.1.4. Tóm tắt kết luận phương pháp nhận dạng bằng Eigenface......................... 21
2.2. PHƯƠNG PHÁP MẠNG NƠRON....................-.-2222222 2221222212211 221 22c. 23
2:2:1: Định Nghia: ;aosstrisotsiitsortotissoiBiiitggtiitGREHEERORSHSVRGRIHIXESRIStRGiaBNtiRoSznoi 23
1H
2.2.2. Ưu điểm và khuyết điểm ............................
22-222 222211121112112112112221 2e 24
2.2.3. Nơ-ron sinh học và nơ-ron nhân †ạO...................---- c2 1222111252111 12x kez 24
2.2.4. Các loại hàm kích hoạt ................... .. --L c2 1 22211112211 111221111221 11 1211111121112 21x e2 27
2.2.5. Huấn luyện mạng nơ-ron nhân †ạO .....................
it St
reerre 28
2.2.6. Mạng nơ-ron tích chập sâu .......................St 1S nhàng he 28
2.3. MƠ HÌNH MARKOV ẨẦN......................
5 22222 2t
rrrae 35
2:3;:1: GIỚI thiỆU:sszixozzssessbeseditisgtiig
0200337 80TĐ83 g8GHdgDhGA03 QIG.RB8ÿ.D4-HlG1i G8 88dSiicsa 35
2.3.2. Nhận dạng khn mặt bằng mơ hình Markov ẩn....................-.cccs
22s cse2 36
2.3.3. Ưu điểm và hạn chế. . . . . . . . .
.--- 2. s23 11 211115111121111211112111121111
2111121 11x etreey 42
2.4. PHUONG PHAP SUPPORT VECTOR MACHINE (8VM!.........................-. 43
2.4.1. Sơ lượt lý thuryét SVM o.oo.
cece csesesesesesesereteretereteretereteretaretesesereseses 43
2.4.2. SVM da lO pieces ncnnecennmneneeeananes
2.4.3. Chiến lược một chống một (OVO:
2.4.4. Chiến lược một chống phan
46
One — versus — One) ........................- 46
con lai (OVR: One — versus — Rest) ........... 47
2.4.5. Nhận dạng mặt nguoi VO1 SVM 0.0...
ec ceceeeececeeeeeeeceeseneeeesenseneeterentenes 47
2.4.6. Ưu điểm và hạn ché ..ccccccccccscssssssssessesesvesesessesveveevevesvesesuesestssesesstsveseavevess 50
2.5. PHƯƠNG PHÁP NHẬN DANG MẶT NGƯỜI SỬ DỤNG THƯ VIỆN
OPENFACE VÀ DLIB. . . . . . . . . . .
52522 22222212221221121122121121121212212222
re 51
2.5.1. Giới thiệu về thu vién OpenFace o.oo. cece cece eseeseeseeseeseteseeseeeeeeeees 51
2.5.2. Phương pháp nhận dạng mặt người cla OpenFace uu...
eee eee
51
2.5.3. Khả năng ứng dụng OpenFace vào các hệ thống có nguồn tài ngun hạn
ee
53
2.5.4. Kỹ thuật tìm khn mặt trong ảnh......................
St St sssnhreirrrrresres 34
2.5.5. Tiền xử lý ảnh khuôn mặpt........................
2. 22 222225122512111211121112111211211211 2e 56
2.5.6. Mã hóa khn mặt ........................- - . - - L2 1 22211115211 112511 111112111 121111 1581111181112 2x ke 57
2.5.7 , kacesdinhdanhAinh khu6n Mabe
58
2.6. TIỂU KẾT CHƯƠNG 2........................-55222::222222122111222221
11H rrrne 60
CHUONG 3. UNG DUNG CONG NGHE NHAN DANG MAT NGUOI VOI
DEEP CNNS TRONG VIEC QUAN LY CHONG THỊ HỘ................................- 61
3.1. NHUNG HIEN TUONG GIAN LAN PHO BIEN TRONG THICU............. 61
iv
quan sát hành vi của mơ hìnhO¿...Ox
cũng là tham khảo phổ biến hơn của các trình tr O,,
được sinh ra như là chuỗi
quan sat .
Trong các tài liệu nhận dạng mẫu hành vi của HMM
luôn được đề cập là một
khoảng thời gian hữu hạn chiều dài T. Cho việc khởi tạo các mơ hình tại khoảng
thời điểm xác suất bắt đầu được sử dụng để mô tả sự phân bố xác suất của các trạng
thái tại thời điểm t = 1. Các hành động của các mơ hình được phải, chấm dứt ngay
càng sớm cảng tốt một trạng thái tùy ý vào thời điểm T. Đó khơng phải là một
thống kê hay là tiêu chí được khai báo để sử dụng để đánh dấu đặc biệt trạng thái
cuối cùng.
Một mô hình Markov ẩn
khởi tạo đầu tiên, mà thường được ký hiệu là ^„ do
đó, hồn tồn được mơ tả bởi:
- Một tập hợp hữu hạn trạng thái {s | 1 < s
- Một ma trận A chứa xác suất chuyển
đổi trang thai;
A= {aj | ag= P (St =] | St-1 = 1}
(2.19)
- m= {nm} la ma tran phan phdi trạng thái ban đầu trong đó m, là xác suất của
mơ hình ở trạng thai i tai thoi điểm ban đầu t =1.
z=tz,|Z, =P(S\ =0}
(2.20)
- và trạng thái phân bố xác suất cụ thê đối với đầu ra của mơ hình
B={b; (Oy) | bj (Ox) = P (CO
Ox |S, = j )} or { bị @) | bị @) = pG|S = J9} (221)
Tuy nhién, su phan bố đầu ra cần được phân biệt tùy thuộc vào loại phát sinh
mơ hình được tạo ra. Trong trường hợp đơn giản các kết quả được tạo ra tử một kho
rời rạc {Oy, O;„.... Om} và, đo đó, có một bản chất tượng trưng. Số lượng bị (Oy)
sau đó đại diện phân bố xác suất rời rạc mà có thể được nhóm
lại với nhau trong
một ma trận xác suất đầu ra:
B = {b„ |bụ = P (O, = Ok|Š:
= ] )}
Sự lựa chọn của mơ hình đầu ra có được
(2.22)
goi la HMMs
roi rac. Thay vi néu
quan sat số lượng vector có giá trị x € IR", sự phân bố đầu ra được mô tả trên cơ sở
chức năng mật độ xác suất liên tục:
Bị (x) = p(4IS, = J )
41
(2.22)
DANH MUC CAC BANG
Bang 2.1: Trinh bay tom tat thuật tốn phân rã SVM.......................... 2222222222222. 45
Bảng 3.1. Thơng số kỹ thuật môi trường thực nghiệm........................
22 22222222222222222-e2 73
Bang 3.2. Bảng hoạch định cấu hình dùng cho việc đánh giá mơ hình........................ 76
Bảng 3.3. Kết quả đo độ tương tự lớn nhất và mức sai nhằm
các cấu hình. . . . . . . . . . . .- -
khả năng lớn nhất của
2s 2222251211121112111211121111112111211111211212121221222
ra 77
Bảng 3.4. Kết quả đo đạc độ chính xác, tỉ lệ sai nhằm, tỉ lệ khơng phân loại được...78
Bảng 3.5. Bảng mô tả ngữ nghĩa các tập thực thé
Bảng 3.6. Bảng mô tả ngữ nghĩa các mối quan hệ
VI
DANH MỤC CÁC HÌNH VẼ
Hình 1.1 Các giai đoạn chính trong xử lý ảnh....................
óc c Street 8
Hình 2.1 Các hình ảnh khuôn mặt được sử dụng làm tập huấn luyện........................ 14
Hình 2.2 Khn mặt trung bình. . . . . . . . . . .-
---
St 12 12 E1 ty
He tre 16
Hình 2.3 Bảy trong số các khn mặt đặc trưng được tính từ những hỉnh ảnh đầu
Xão:của hinth 2s lieeztsot2s01061002)3SSANGSESEIGENIEERENEEIEEEHHEETHGSEEEIGBSHEEISREHEEENHREIRĐNEBBSAMPR 17
Hình 2.4 cho ta thấy một bức ảnh và hình chiếu của nó vào khơng gian bảy chiều. .18
Hình 2.5 Ba ảnh và hình chiếu của nó vào khơng gian mặt, được xác định bởi các
eigenface. Tính tương đối của khoảng cách từ không gian mặt là (a) 29.8,
(b) 58.5,
(GÌ 52 L5 ÂbesrrsdnttrtrdittiitdintitRTRDIRGIDGISGRGRAHISEORNHTBONERXIBORSRIIRGRRSHASGRWRIGSSPSA8btgR8iteta 20
Hình: 2.6 a ảnh thiếu ánh sáng.........................--222222 212221221112111211121121122222 xe 22
Hình:2.6 b ảnh điệu bộ nghiêng, ngữa đầu..............................-222 222222222122121.22 2 xe 22
Hình:2.6 c. ảnh cảm XÚC CƯỜI ẲO. . . . . . .
Q0
211 121121111 1111111 tr HH
He
22
Hình 2.7: Cấu trúc của một nơ-ron sinh học điển hình....................-2. s22 222E12525552522x22 25
Hình 2.8: Cấu trúc một nơ ron nhân †ạO .......................-- - 1 2221122211115 1151111122111 12111 E te 26
Hình 2.9. Một số hàm kích hoạt thơngrUHĐisssseecsesrrsnrirseeniditieneriirdenirisraentnirtsegg0100100 27
Hình 2.10. Minh họa cơ chế của tích (0) 05004 D
151.
.......
29
Hình 2.11. Một ví du về tích chập........................-2-©222222222222122212211121121121121212
xe 30
Hình 2.12. Cơ chế tính tích chập lên một vùng ảnh 32x32x3 với bộ lọc 5x5x3........ 32
Hình 2.13. Cơ chế sinh ra một bản đổ đặc HƯNPx5g6g2y9920259TREBSHEPRSIEHEEISHBIPĐNMĐSspeRl 33
Hình 2.15. Cơ chế MaxPooling........................--22222 221222112111211121112111211212122 1 ee 34
Hình 2.16. Mơ hình mạng nơ-ron tích chập được Yann LeCun
phân tách chữ viết tay. . . . . . . Hình
ứng dụng vào việc
2222 221221112111211121112112212112121221212222
re 35
2.17: Chuỗi Markov có 3 trạng thái......................---2: 2 22221221121122122112112112121 te. 37
Hình 2.18: Mơ hình Markov ẩn.......................--55522 2222221 t2
eeeree 38
Hình 2.19 : Ví dụ về mơ hình HMM..................
2-5. 225 212112121111211112121151222 2 rae 42
Hình 2.20. Mơ hình nhận dạng ảnh rời rạc.........................
c5 2S St srEerrerrerrerrrerre 48
Hình 2.21. Trích chọn đặc trưng số vùng.........................---©22222222222211221222122121121
2 xee 49
Hình 2.22. Sơ đồ kiến trúc hệ thống nhận dạng khuôn mặt OpenFace..................... 52
Hình 2.23. Minh họa kỹ thuật huấn luyện mơ hình của OpenFace.........................--- 53
Vil
Hình 2.24. Thiết kế của OpenFace tương thích với cac thiét bi cé nguén tai nguyén
85A
.]Ï
`."
nằằằ
54
Hình 2.25. Thư viện dlib cung cấp các hàm tìm khn mặt một cách nhanh chóng và
ðnii8c AI
.
.
....................
55
Hình 2.26. Sơ đồ 68 điểm đặc trưng trên khn mặt........................... -2©22222222222222-ee 56
Hình 2.27. Q trình chuẩn hóa ảnh khn mặt........................
2: + s2 SE 212E1E21t2Ezcrkt 56
Hình 2.28. Bộ 128 số đo biêu diễn đặc trưng của một ảnh khn mặt....................... 57
Hình 3.1 Mơ hình nhận dạng ở phịng tH1......................-c2: 2222122 2E
rererreere 62
Hình 3.2. Sơ đồ use-case tổng quát hệ thống quản lý sinh viên vào/ra phịng thi......64
Hình 3.3 mô tả sơ đồ use-case phân rã mức 1 và 2 của chức năng quản lý đanh tính
hy
8...
......................... 65
Hình 3.4. Giao diện chức năng xem nhận dạng.........................
2:22 Ssrsierrerrrrerres 66
Hình 3.5. Giao diện đăng nhập hệ thống.........................--2222222 22122211221222112712121.2xe0 67
Hình 3.6. Giao diện thêm mới sinh viÊn. . . . . . . . .
- - c1
2112222111153 1115511115511 112511112 xx. 68
Hình 3.7. Giao diện sửa thông tin sinh VIÊN ........................
5. 5 2 1S x2 SErrrerxerrrrrrrerre 69
Hình 3.8. Mơ hình ứng dụng của OpenFaee..................
.- ccc ct nghe reere 70
Hình 3.9. Mơ hình ứng dụng cải tiến......................
222 222222 221221122112211211222ee 71
Hình 3.10. Biểu đồ biểu diễn sự tương quan giữa độ tương tự lớn nhất và mức sai
nhằm khả năng lớn nhất giữa các cấu hình..........................
2-2222 221222122212221222221.2
e6 77
Hình 3.11. Thiết kế tổng thể hệ thống quản lý...........................2-©222222222221222122212221222ee 79
Hình 3.12. Sơ đỗ logic mơ tả hệ thống quản lý tại một điểm kiểm sốt..................... 80
Hình 3.13 Kiến trúc hệ thống phần mềm tích hợp OpenFace.......................---- ¿22:22 81
Hình 3.14. Sơ đỗ tuần tự giải thuật xử lý cho chức năng nhận dạng........................... 82
Hình 3.15. Sơ đỗ tuần tự giải thuật xử lý cho chức năng thêm mới sinh viên............ 83
Hình 3.16. Mơ hình thực thê - mối quan hệ hệ thống quản lý sinh viên Khoa.......... 84
Hình 3.17. Mơ hình CSDL quan hệ hệ thống thơng tin quan lý sinh viên Khoa....... 85
Vill
PHAN MO DAU
1. LY DO CHON DE TAI
Cùng với sự bùng nổ thông tin, sự phát triển công nghệ cao, sự giao tiếp giữa
con người và máy tính đang thay đơi rất nhanh, giờ đây giao tiếp này khơng cịn
đơn thuần đùng những thiết bị như chuột, bàn phím, v.v, mà có thê thơng qua các
biểu hiện của khn mặt. Các hệ thống giao tiếp người máy đang được phát triển rất
nhiều. Trong số đó, có thể nói đến hệ thống nhận dạng mặt người bằng hình ảnh.
Nhận dạng mặt người là xác định danh tính tự động cho từng ảnh đối tượng người
dựa vào nội dung của ảnh. Nhận dạng mặt người được ứng dụng nhiều trong thực tế
như xác minh tội phạm, camera chống trộm, hệ thống chấm công, lưu trữ thông tin
khuôn mặt ở các máy ATM, các bãi giữ xe siêu thị, v.v...
Bên cạnh đó, trong công tác quản lý học sinh, sinh viên tại trường liên quan
tới con người, việc nhận dạng người thông qua các đặc điểm trên khuôn mặt là rất
quan trọng. Nếu áp dụng được công nghệ nhận dạng mặt người đề hỗ trợ trong cơng
tác thi học kỳ thì sẽ làm tăng cao tính tiện đụng của hệ thống quản lý.
Hiện tượng gian lận trong Giáo dục nói chung và hiện tượng gian lận trong
học hộ, thị hộ nói riêng là vấn
dé nan giải và được bản cãi nhiều đặc biệt là trước —
trong và sau mỗi kỳ thi.
Trong các trường Đại học, Cao đẳng, Trung Cấp Nghề, Trung học chuyên
nghiệp mục đích của việc học hộ là tránh để mat 30% điểm học phan theo quy ché
25 của Bộ Giáo duc. Việc học hộ thường xảy ra ở các lớp Liên thơng, Tại chức học
vào ca tối, các lớp có tình trạng lớp đơng, giáo viên mới ...
Đối với hiện tượng thi hộ, việc kiểm tra và đối chiếu học sinh - sinh viên vào
dự thi mất rất nhiều thời gian, đôi khi vẫn bỏ qua được đối tượng thi hộ như trường
hợp anh em thi hộ, hiện tượng tráo anh trong thẻ dự thị, hiện tượng quên thẻ sinh
viên....
Tại Trường Trung Cấp Nghề Kinh tế - Kỹ thuật Công đoàn An Giang, cũng
phát hiện nhiều trường hợp thi hộ, học hộ đặc biệt là tại các lớp học tại chức, liên
thông học vào ca tối. Trong khuôn khổ luận văn này, tơi xin đi sâu tìm hiểu vào
phần chống gian lận trong thi cử.
Sau quá trình học tập chương trình thạc sỹ ngành Khoa học máy tinh ở Trường
Đại học Khoa học, Đại học Huế, tôi đã tiếp thu
được nhiều kiến thức quý báo, nhất
là trong lĩnh vực nhận dạng. Xuất phát từ nhu cầu thực tế về việc quản lý chặt chẽ
các sinh viên học tập tại Trường Trung Cấp Nghề Kinh tế - Kỹ thuật Cơng đồn An
Giang,
khắc
“Nghiên
phục các hạn chế nêu trên, tôi quyết định chọn
cứu
một số phương pháp phát hiện
và thực hiện để tài
các đặc trưng của khuôn
mặt
người”, và ứng đụng vào việc chống hiện tượng gian lận trong học hộ, thi hộ trong
các kỳ thi tại trường
2. TONG QUAN TAI LIEU
Nhận dạng mặt người là một trong những vấn để rất thách thức trong lĩnh
vực thị giác máy tính và máy học [1]. Các cơng trình nghiên cứu gần đây đã nâng
khá cao độ chính xác của hệ thống nhận dạng.
Bài báo “Nhận
CASCADE
dạng
OF BOOSTED
mặt người
với giải thuật HAAR
CLASSIFIERS
LIKE
FEATURE
—
và đặc trưng SIFT” đăng trên Tạp chí
Khoa học của Trường Đại học An Giang, năm 2014, quyền 3, về công trình nghiên
cứu của Đồn Thanh Nghị và Châu Ngân Khánh về một phương pháp nhận dạng
mặt người
(CBC)
sử dụng kết hợp Haar Like Feature - Cascade of Boosted Classifiers
và các đặc trưng cục bộ khơng đổi (Scale-Invariant Feature Transform
-
SIFT) [2] có kết quả thử nghiệm trên 80% khi áp dụng cho các tập đữ liệu AT&T,
Face94, Face95, Face96, Grimace, Jaffe. Bài báo cũng có đề cập tới một số kỹ thuật
nhận dạng mặt người khác đã được nghiên cứu và sử dụng trước đây.
Nhiều phương pháp trong nhận dạng khuôn mặt đã tập trung vào phát hiện
các tính năng riêng biệt như mắt, mũi, miệng, đầu và xác định một số kiểu khn
mặt bằng vị trí, kích thước, và mối quan hệ. Kết quả nhận dạng của nhiều hệ thống
cũng rất khác nhau, tùy thuộc vào dữ liệu kiêm thử. Trong những phương pháp
nhận dạng khn
EigenFace
hơn. Ngồi
mặt có một số phương
pháp rất nổi tiếng và kinh điển đó là
[6] được nghiên cứu và tìm hiểu, từ đó phát hiện ra khn mặt rõ nét
ra, Một hệ thống xác thực khuôn
mặt dựa trên phân tích thành phần
chính và mạng nơ ron được phát triển trong luận án này [10]. Hệ thống bao gồm ba
giai đoạn; tiền xử lý, phân tích thành phần chính, và cơng nhận. Mạng Nơ-ron được
su dung để tạo ra cơ sở dữ liệu khuôn
mặt và nhận ra và chứng thực khuôn mặt
bằng cách sử đụng các trọng lượng này [7]. Trong công việc này, một mạng riêng
biệt đã được xây dựng cho mỗi người.
Khuôn
mặt đầu vào được chiếu lên vùng
không gian bản địa đầu tiên và mô tả mới được thu được giải pháp dùng mạng nơron để nhận dạng mặt người [13], kỹ thuật nhận dạng đã tiến một bước dài về hiệu
năng và độ chính xác đóng vai trị rất quan trọng trong lĩnh vực thị giác máy tính.
+ Các nghiên cứu trước đây (Bledsoe, & cs., 1960; Goldstein, & cs., 1970), sử
dụng tiếp cận dựa trên các đặc trưng như mắt, tai, màu tóc, độ dày mơi để tự động
nhận dạng (Ion Marqués, 2010).
+ Kirby và Sirovich (1988); Turk và Pentland (1991) áp dụng phương pháp phân
tích thành phan chinh (PCA) va thuat toan eigenfaces dé nhan dang khuôn mặt.
3. MỤC TIỂU NGHIÊN CỨU
- Mục tiêu chung: tập trung nghiên cứu công nghệ nhận dạng mặt người sử
Deep Learning trong mang no-ron tich chap CNN (Convolutional Nerual Network)
và ứng dụng nó để tích hợp vào ứng dụng quan ly sinh viên tránh việc thi hộ tại
Trường Trung Cấp Nghẻ Kinh tế - Kỹ thuật Cơng đồn An Giang.
* Mục tiệu cụ thé:
“ Tìm hiểu về kỹ thuật nhận đạng mặt người ứng dụng kỹ thuật Deep Learning
và mạng nơ-ron tích chập sâu.
“ Tìm hiểu nguồn mở OpenFace trong việc nhận dạng mặt người.
" Xây dựng
hệ thống nhận dạng mặt người hỗ trợ công tác quản lý sinh viên
tránh việc thi hộ dựa vào mã nguồn
mở OpenFace.
4. DOI TUONG NGHIÊN CỨU
Đối tượng nghiên cứu bao gồm:
- Mơ hình nhận dạng mặt người sử dụng kỹ thuật Deep Leaming với
mạng
nơ-ron tích chập sâu.
- Dữ liệu ảnh mặt người của sinh viên Trường Trung Cấp Nghề Kinh tế - Kỹ
thuật Cơng đồn An Giang.
- Thư viện mã nguôn mo OpenFace.
5. PHUONG PHAP NGHIEN CUU
-Tim hiéu, phan tich va téng hợp tài liệu có liên quan đến để tài từ các
nguồn như: Internet, các bài báo, sách, giáo trình trong và ngoài nước.
- Tổng hợp và phát triển các kết quả ở trong các bài báo của các tác giả đã
nghiên cứu thành cơng trước đó.
- Phân tích các đự án nguồn mở liên quan, từ đó để ra những cải tiến cho
phù hợp với ứng dụng mà đề tài đang hướng tới.
6. PHẠM VI NGHIÊN CỨU
- Phạm vi nghiên cứu: Luận văn chỉ tập trung nghiên cứu về khía cạnh ứng
dụng của công nghệ nhận dạng mặt người sử dụng kỹ thuật Deep Learning với
mạng nơ-ron tích chập sâu, dựa trên cơ sở lý thuyết của một số phương pháp nghiên
cứu tìm hiểu được, áp dụng xây dựng chương trình nhận dạng biểu cảm khn mặt
thơng qua mắt, mũi, miệng dựa trên ảnh tĩnh (lưu dưới dạng BIÍTMAP), hoặc trên
ảnh chụp từ webcam.
- Đưa ra được kết quả nghiên cứu về mặt lý thuyết một số cơ sở của phương
pháp nhận dạng biểu cảm khuôn mặt, xây dựng được chương trình với một số kỹ
thuật biểu cảm khn mặt dựa trên đầu vào là ảnh tĩnh hoặc video, từ đó nêu ra một
số vấn để ứng dụng trong thực tế.
- Nghiên cứu việc triển khai thực tế thông qua việc ứng dụng mã nguồn mở
OpenFace
vào bài toán cụ thể là quản lý sinh viên tránh việc học hộ và thị hộ tại
Trường Trung Cấp Nghề Kinh tế - Kỹ thuật Cơng đồn An Giang.
- Khơng gian nghiên cứu: thực hiện tại Trường Trung Cấp Nghề Kt-Kt Cơng
đồn An Giang với webcam và camera chụp ảnh tĩnh ở phòng học và phòng thi.
- Thời gian thực hiện: 6 tháng từ 20/2/2018 đến 20/07/2018.
- Hiện tại liên quan đến phát hiện và thị giác máy tính chưa được nghiên cứu
nhiều trong nước, phần lớn các nghiên cứu xuất phát từ quốc gia phát triển như
Châu Âu và Châu Mỹ. Do đó nghiên cứu lĩnh vực này là một lĩnh vực tương đối
mới mẻ đôi với bản thân.
7. Y NGHIA THUC TIEN CUA DE TAI
Đề tài có tính ứng dụng cao. Ngồi việc triển khai thành ứng dụng thực tế với
bài toán cụ thể là quản lý sinh viên chống thi hộ ở Trường Trung Cấp Nghề Kinh tế
- Kỹ thuật Cơng đồn An Giang, tập trung vào phân hệ kiểm sốt vào/ra phịng thị,
nó cịn có thể triển khai thành một số ứng dụng khác như nhận dạng và điểm danh
học viên trong các lớp học của Trung tâm Ngoại ngữ - Tin học Trường Trung Cấp
Nghề Kinh tế - Kỹ thuật Cơng đồn An Giang: kiểm soát vào ra ở những khu vực
quan trọng...
8. NOI DUNG NGHIEN CUU VA DU KIEN BO CUC CUA LUAN VAN
8.1. Nội dung nghiên cứu
- Lựa chọn lĩnh vực làm luận văn : Mơ hình phân lớp sử dụng mạng nơ-ron
tích chập với kỹ thuật Deep Learning..
- Lập kế hoạch và quy trình quản lý học sinh sinh viên tránh việc học hộ và thì
hộ Trường Trung Cấp Nghè Kinh tế - Kỹ thuật Cơng đồn An Giang.
- Thực hiện nghiên cứu và triển khai thành ứng dụng thực tế với bài toán cụ
thé là quản lý học sinh sinh viên tránh việc thi hộ tại Trường Trung Cấp Nghề Kinh
tế - Kỹ thuật Cơng đồn
An Giang, tập trung vào phân hệ kiểm sốt vào/ra phịng
thị.
8.2. Bố cục của luận văn
-_ Mở đầu
-
Tinh cap thiết của dé tai.
-
Muc tiéu của luận văn.
-
Ynghia thuc tiến.
Chương 1: Tổng quan về nhận dạng mặt người và xử lý ảnh: Chương này giới
thiệu tổng quan về các kỹ thuật sử lý ảnh số, tổng quan nhận dạng mặt người ...
Chương 2: Các phương pháp nhận dạng khn mặt: Chương này trình bày
các phương pháp nhận dạng khuôn mặt phổ biến hiện nay như Eigenfaces, mạng
Nơron, SVM, Mơ hình Markov ấn,...
Chương 3: Ứng dụng cơng nghệ nhận dạng mặt người với Deep CNNs trong
việc quản lý quản lý học sinh,
sinh viên tránh việc học hộ và thị hộ trường Trung
Cấp Nghẻ Kinh tế - Kỹ thuật Cơng đồn An Giang
PHAN 2. NOI DUNG
CHU ONG
1. TONG QUAN VE NHAN DANG MAT NGUOI
VA XU LY ANH
1.1 GIOI THIEU TONG QUAN VE NHAN DANG
1.1.1 Khai niém
Nhận dạng là quá trình phân loại các đối tượng được biểu diễn theo một mơ
hình nào đó và gán cho chúng vào một lớp (gán cho đối tượng một tên gọi) dựa theo
những quy luật và các mẫu chuẩn. Quá trình nhận đạng dựa vào những mẫu học biết
trước gọi là nhận dạng có giám sát (supervised learning); trong trường hợp ngược
lại gọi là học không có giám sát (non supervised learning). Ngày nay nhận dạng
đang là đề tài nghiên cứu áp đụng trong việc thiết kế hầu như tất cả các hệ thống tự
động.Các
lĩnh vực liên quan với Nhận
dạng: khai phá dữ liệu (data mining), học
may (machine learning), thi giác máy tính (eomputer vision) mạng nơ ron, lý thuyết
ra quyết định thống kê...
Như vậy có thể hiểu nhận dạng là một môn
khoa học nhằm
trang bị phương
pháp luận đê mô phỏng nhận thức, trang bị cho máy tính có khả năng nhận biết. Đối
tượng nhận dạng: là một thực thể tổn tại mà con người có thể cảm nhận được.
Vidu:
- Hình ảnh được cảm nhận bởi mắt
- Tiéng nói được cảm nhận bởi tai
- Tín hiệu điện tim cảm nhận bởi hình dạng hoặc số số liệu đo
- Tín hiệu động đất cảm nhận bởi số liệu đo
1.1.2 Công nghệ nhận dạng ảnh (nhận dạng mẫu )
Nhận
dạng
mẫu
(pattern
recognition)
14 mot
nganh
thudc
lĩnh
vực
hoc
may(machine learning). Noi cach khác, nó có thể được xem là việc “cần thực hiện
một tác động vào dữ liệu thơ mà tác động cụ thể là gì sẽ tùy thuộc vào loại dữ liệu
đó”. Như vậy nó là một tập hợp các phương pháp học có giám sát (supervised
learning).
Nhận dạng mẫu nhằm mục đích phân loại dữ liệu (là các mẫu) dựa trên: hoặc
là kiến thức tiên nghiệm hoặc dựa vào các thơng tin thống kê được trích rút từ các
mẫu có sẵn. Các mẫu cần phân loại thường được biểu diễn thành các nhóm của các
dữ liệu đo đạc hay quan sát được, mỗi nhóm là một điểm trong một khơng gian đa
chiều phủ hợp. Đó là khơng gian của các đặc tính mà dựa vào đó ta có thé phân loại.
Một
hệ thống
nhận
dạng
(sensor) để thu thập các quan
mẫu
hoản
thiện
gồm
có một
thiết bị cảm
nhận
sát cần cho việc miêu tả; một cơ chế trích rút đặc
trưng để tính tốn các thơng tin dưới dạng số hay dạng tượng trưng từ các dữ liệu
quan sát được; và một bộ phân loại nhằm thực hiện công việc phân loại thực sự dựa
vào các đặc tính đã được trích rút.
Việc phân loại thường dựa vào sự có sẵn của một tập các mẫu
mà đã được
phân loại hay mô tả sẵn. Tập các mẫu này được gọi là tập huấn luyện và chiến lược
học nhằm phân loại mẫu vào một trong các lớp có sẵn được gọi là học có giám sát
. Việc học cũng có thể là khơng có giám sát, theo nghĩa là hệ thống không
được cung cấp các mẫu được cung cấp các mẫu được đánh nhãn tiên nghiệm, mà nó
phải tự đưa ra các lớp để phân loại đựa vào tính ổn định trong thống kê của các
mau.
Việc phân loại thường dùng một trong các hướng tiếp cận sau: thống kê, cú
pháp. Nhận dạng mẫu đùng thống kê là dựa vào các đặc tính thơng kê của các mẫu,
chang hạn các mẫu được tạo bởi các hệ thống xác suất. Nhận dạng dùng cấu trúc là
dựa vào tương quan câu trúc giữa các mâu.
Các ứng dụng phổ biến là: nhận đạng tiếng nói tự động, phân loại văn bản
thành nhiều loại khác nhau (ví dụ: những thư điện tử nào là spam/ non-spam), nhận
dạng tự động các mã bưu điện viết tay trên các bao thư, hay hệ thống nhận dạng
danh tính dựa vào mặt người...
1.2 TƠNG QUAN VÈ XỬ LÝ ẢNH SÓ
Xử lý ảnh @XLA) là đối tượng nghiên cứu của lĩnh vực thị giác máy, là quá
trình biến đổi từ một ảnh ban đầu sang một ảnh mới với các đặc tính và tuân theo ý
muốn của người sử đụng. Xử lý ảnh có thể gồm q trình phân tích, phân lớp các
đối tượng, làm tăng chất lượng, phân đoạn và tách cạnh, gán nhãn cho vùng hay quá
trình biên dịch các thơng tin hình ảnh của ảnh.
Cũng như xử lý dữ liệu bằng đỗ hoạ, xử lý ảnh số là một lĩnh vực của tin học
ứng dụng. Xử lý dữ liệu bằng đỗ họa dé cập đến những ảnh nhân tạo, các ảnh này
được xem xét như là một cấu trúc dữ liệu và đươc tạo bởi các chương trình. Xử lý
ảnh số bao gồm các phương pháp và kỹ thuật biến đổi, đề truyền tải hoặc mã hoá
các ảnh tự nhiên. Mục đích của xử lý ảnh gồm:
+ Biến đổi ảnh làm tăng chất lượng ảnh.
+ Tự động nhận dạng ảnh, đoán nhận ảnh, đánh giá các nội dung của ảnh.
Nhận biết và đánh giá các nội dung của ảnh là sự phân tích một hình ảnh thành
những phần có ý nghĩa dé phân biệt đối tượng này với đối tượng khác, dựa vào đó
ta có thê mơ tả cấu trúc của hình ảnh ban đầu. Có thê liệt kê một số phương pháp
nhận dạng cơ bản như nhận dạng ảnh của các đối tượng trên ảnh, tách cạnh, phân
đoạn hình ảnh.... Kỹ thuật này được dùng nhiều trong y học (xử lý tế bào, nhiễm
sắc thé),
nhận dang chữ trong văn ban, nhận dạng khn mặt người.
1.2.1 Các q trình xử lý ảnh
‘Thu nhan
[Tiên xử `
` Phần
‘Tach cdc.
| dae tinh|
“ Nhận dang
|và giải thích)
hình 1 1 Các giai đoạn chính trong xử lý ảnh
Thu nhận ảnh: Đây là công đoạn đầu tiên mang tính quyết định đối với q
trình XLA. Ảnh đầu vào sẽ được thu nhận qua các thiết bị như camera, sensor, máy
scanner,v.V...
và sau đó các tín hiệu này sẽ được số hóa. Việc lựa chọn các thiết bị
thu nhận ảnh sẽ phụ thuộc vào đặc tính của các đối tojợng cần xử lý. Các thông số
quan trọng ở bước này là độ phân giải, chất lượng màu, dung lượng bộ nhớ và tốc
độ thu nhận ảnh của các thiết bị.
Tiền xử lý: Ở bước này, ảnh sẽ được cải thiện về độ tương phản, khử nhiễu,
khử bóng, khử độ lệch,v.v...
với mục đích làm cho chất lượng ảnh trở lên tốt hơn
nữa, chuẩn bị cho các bước xử lý phức tap hon vé sau trong qua trinh XLA. Qua
trình nay thường được thực hiện bởi các bộ lọc.
Phân đoạn ảnh: phân đoạn ảnh là bước then chốt trong XLA. Giai đoạn này
phân tích ảnh thành những thành phần có cùng tính chất nào đó dựa theo biên hay
các vùng liên thơng. Tiêu chuẩn để xác định các vùng liên thơng có thể là cùng
màu, cùng mức xám v.v... Mục đích của phân đoạn ảnh là để có một miêu tả tổng
hợp về nhiều phần tử khác nhau cấu tạo lên ảnh thơ. Vì lượng thơng tin chứa trong
ảnh rất lớn, trong khi đa số các ứng dụng chúng ta chỉ cần trích một vài đặc trưng
nào đó, do vậy cần có một q trình để giảm lượng thơng tin khổng lồ đó. Q trình
này bao gồm phân vùng ảnh và trích chọn đặc tính chủ yếu.
Tách các đặc tính: Kết quả của bước phân đoạn ảnh thường được cho dưới
dạng dữ liệu điểm ảnh thơ, trong đó hàm chứa biên của một vùng ảnh, hoặc tập hợp
tất cả các điểm ảnh thuộc về chính vùng ảnh đó. Trong cả hai trường hợp, sự
chuyển đổi đữ liệu thô này thành một dạng thích hợp hơn cho việc xử lý trong máy
tính là rất cần thiết. Để chuyên đổi chúng, câu hỏi đầu tiên cần phải trả lời là nên
biểu diễn một vùng ảnh dưới dạng biên hay dưới dạng một vùng hoàn chỉnh gồm tất
cả những điểm ảnh thuộc về nó. Biểu diễn dạng biên cho một vùng phù hợp với
những ứng dụng chỉ quan tâm chủ yếu đến các đặc trưng hình đạng bên ngồi của
đối tượng, ví dụ như các góc cạnh và điểm uốn trên biên chẳng hạn. Biểu diễn dạng
vùng lại thích hợp cho những ứng dụng khai thác các tính chất bên trong của đối
tượng, ví dụ như vân ảnh hoặc cầu trúc xương của nó. Sự chọn lựa cách biểu diễn
thích hợp cho một vùng ảnh chỉ mới là một phần trong việc chuyển đổi đữ liệu ảnh
thơ sang một dạng thích hợp hơn cho các xử lý về sau. Chúng ta cịn phải
một
phương
pháp
mơ
tả đữ
đưa
ra
liệu đã được chun đổi đó sao cho những tính chất
cần quan tâm đến sẽ được làm nổi
bật lên, thuận tiện cho việc xử lý chúng.
Nhận dạng và giải thích: Đây là bước cuối cùng trong quá trình XLA. Nhận
dang anh co thể được nhìn nhận một cách đơn giản là việc gán nhãn cho các đối
tượng trong ảnh. Ví dụ đối với nhận dạng chữ viết, các đối tượng trong ảnh cần
nhận dạng là các mâu chữ, ta cân tách riêng các mâu chữ đó ra và tìm cách gan
đúng các ký tự của bảng chữ cái tương ứng cho các mẫu chữ thu được trong ảnh.
Giải thích là công đoạn gán nghĩa cho một tập các đối tượng đã được nhận biết.
Chúng ta cũng có thê thấy rằng, không phải bất kỳ một ứng dụng XLA nào
cũng bắt buộc phải tuân theo tất cả các bước xử lý đã nêu ở trên, ví dụ như các ứng
dụng chỉnh sửa ảnh nghệ thuật chỉ dừng lại ở bước tiền xử lý. Một cách tổng quát
thì những chức năng xử lý bao gồm cả nhận dạng và giải thích thường chỉ có mặt
trong hệ thống phân tích ảnh tự động hoặc bán tự động, được dùng để rút trích ra
những thơng tin quan trọng từ ảnh, ví dụ như các ứng dụng nhận dạng ký tự quang
học, nhận dạng chữ viết tay V.V...
1.2.2. Phạm vi ứng dụng của xử lý ảnh
Xử lý ảnh đã đem lại nhiều ứng dụng trong nhiều lĩnh vực khác nhau: y học,
khoa học hình hình sự, khí tượng thuỷ văn, quản lý, giám
sát hành vị đối tượng,
quản lý học sinh, sinh viên trường học ...
Quản lý là là một trong những ứng dụng quan trọng của xử lý ảnh. Cùng với
sự bùng nỗ của kinh tế thị trường. Khối lượng quản lý càng lớn, như quản lý hồ sơ,
quân lý phiếu điều tra trong công tác thống kê, các câu hỏi trắc nghiệm. Đề thực
hiện các cơng việc trên một cách chính xác, nhanh chóng và hiệu quả. Xử lý ảnh và
nhận dạng đã nghiên cứu và phát triển mạnh mẽ bài toán nhập liệu tự động.
1.3. GIỚI THIỆU BÀI TỐN NHẬN DẠNG KHN MẶT NGƯỜI VÀ ỨNG
DỤNG CỦA ĐÈ TÀI VÀO CƠ SỞ THỰC TIẾN
1.3.1 Giới thiệu bài tốn nhận dạng khn mặt người
Nhận dạng mặt người (Face recognition) được nghiên cứu từ nhưng năm 1980,
là một lĩnh vực nghiên cứu của ngành thị giác máy tính (Computer Vision), và cũng
được xem là một lĩnh vực nghiên cứu của ngành sinh trắc học (Bliometries) tương tự
như nhận dạng vân tay — Fingerprint recognition, hay nhận dạng mống mắt - Iris
recognition. . Trong khi nhận dạng vân tay và mống mắt có thể áp dụng trên thực tế
một cách rộng rãi thì nhận dạng mặt người vẫn còn nhiều thách thức. So với nhận
dạng vân tay và mống mắt, nhận dạng mặt có nguồn dữ liệu phong phú hơn và ít địi
hỏi sự tương tác có kiểm sốt hơn. Bài tốn nhận dạng mặt người còn nhiều thách
10
thức nên hàng năm trong và ngồi nước vân có nhiêu nghiên cứu về các phương
pháp nhận dạng mặt người.
Một
khuôn
hệ thống
nhận
dạng
mặt người
thường
thực
hiện
hai bước:
phát hiện
mặt và định danh đối tượng. Việc quan trọng của hệ thống là sử dụng kỹ
thuật để rút trích các đặc trưng từ ảnh khn mặt. Sau đó thực hiện đối sánh với các
mẫu có sẵn để định danh đối tượng hoặc biểu diễn các đặc trưng đó qua một dạng
dữ liệu trung gian rồi dùng các thuật tốn phân loại để định danh
đối tượng.
Độ
chính xác của hệ thống nhận dạng phụ thuộc rất nhiều vào phương pháp được sử
dụng.
1.3.2. Ứng dụng của đề tài vào cơ sở thực tiễn
Trong luận văn này, tơi tập trung tìm kiếm và để xuất một thuật toán hiệu
quả nhận dạng khuôn mặt nhằm chống gian lận trong thi cử.
Do các khó khăn của bài tốn nhận dạng khn mặt như: Tư thế góc chụp, sự
xuất hiện hoặc thiếu một số thành phần của khuôn mặt, sự biểu cảm của khuôn mặt,
sự che khuất, hướng của ảnh, điều kiện của ảnh...
Vì thế trong luận văn này tôi đưa ra những giả định và ràng buộc sau làm giảm
độ phức tạp của bài tốn như sau:
- Góc ảnh trực diện (frontal) hoặc gần như trực diện, không bị che khuất (no
occlusion)
- Ảnh được chụp trong điều kiện ánh sáng bình thường.
- Cơ sở dữ liệu ảnh nhỏ, khoảng trăm ảnh.
- Ảnh được xét trong luận văn là ảnh SỐ, nghĩa là ảnh mặt người được chụp từ
các thiết bị như máy ảnh số, camera,.... Luận văn không xem xét các ảnh mặt người
nhân tạo như vẽ, điêu khắc ...
1.4. CAC YEU TO LAM ANH HUONG TOI KET QUA NHAN DANG:
Ánh sáng: Ảnh kỹ thuật số biểu diễn cường độ sáng của đối tượng, đo đó khi
ánh sáng thay đổi, thơng tin về đối tượng sẽ bị ảnh hưởng.
11
Cự ly của đôi tượng so với camera: khoảng cách đôi tượng so với camera sẽ
xác định số pixel ảnh quy định nên khuôn mặt.
Cảm xúc biêu cảm trên khuôn mặt: các nét biêu cảm cảm xúc trên khuôn mặt
gây ra nhiễu, việc loại nhiễu này vẫn chưa có phương pháp hiệu quả.
Tư thế đứng của đối tượng (nghiêng, xoay....): tư thế của đối tượng sẽ xác
định thông tin của đối tượng đó. Việc tư thế thay đổi quá lớn sẽ làm thay phần lớn
thông tin về đối tượng, dẫn đến kết quả nhận dạng sai.
Trang phục của đối tượng: Kết quả nhận dạng có thể bị ảnh hưởng lớn nếu như
đối tượng có các trang phục khác biệt so với mẫu như đeo kính, đội mũ,...
1.5. TIỂU KẾT CHƯƠNG 1
Chương này giới thiệu tổng quan về các kỹ thuật sử lý ảnh số, tổng quan nhận
dạng mặt người ...
1.1. Giới thiệu chung về Tổng quan nhận dạng mặt người
1.2. Tơng về xử lý ảnh sé.
1.3. Giới thiệu bài tốn nhận dạng khuôn mặt người và Ứng
dụng của dé tai
vào cơ sở thực tiễn
Trong phần:
1.4. Các yếu tố làm ảnh hưởng tới kết quả nhận dạng, đã nêu
những khó khăn của bài tốn nhận dạng khn mặt như: Tư thế góc chụp, sự xuất
hiện hoặc thiếu một số thành phan
của khuôn mặt, sự biểu cảm của khuôn mặt, sự
che khuất, hướng của ảnh, điều kiện của ảnh...
Chương 2 sẽ trình bày rõ về những công nghệ và các phương pháp nhận đạng
khuôn mặt phổ biến đã được nghiên cứu và ứng dụng .
12
CHƯƠNG 2. CÁC PHƯƠNG PHÁP NHẬN DẠNG KHUÔN MẶT
2.1. PHƯƠNG PHÁP EIGENFACES
2.1.1 Giới thiệu về Eigenface
Ý tưởng sử dụng eigenfaces đã được phát trién béi Sirovich, Kirby (1987),
Kirby và Sirovich (1990) tìm các hình ảnh của khn
thành phan
mặt bằng cách phân tích
chính trên khn mặt. Bắt đầu với tập các hình ảnh khn mặt ban đầu,
họ đã tính tốn một hệ thống tọa độ tốt nhất cho ảnh, mỗi tọa độ là một hình ảnh gọi
là Eigenpicture. Tác giả lập luận rằng, tập các hình ảnh khn mặt có thể là khoảng
cách gần đúng được khôi phục bằng cách lưu trữ một tập nhỏ các trọng số cho từng
khuôn mặt và một tập nhỏ các hình ảnh chuẩn (eigenpictures). Trọng số từng khn
mặt được tính bằng cách chiếu hình ảnh khuôn mặt vào eigenpicture.
Nhận diện khuôn mặt gồm
các hoạt động khởi tạo sau:
>
Khởi tạo tập các hình ảnh khn mặt (tập huấn luyện).
> _
Tính eigenfaces từ tập huấn
luyện, chỉ giữ lại những hình ảnh M
tương ứng với giá trị đặc trưng cao nhất. Hình ảnh M xác định khơng gian mặt, nếu
là khn mặt mới, eigenfaces có thể được cập nhật hoặc tính tốn lại.
>
Tính tốn phân bổ tương ứng trong không gian trọng lượng M-chiều
cho mỗi khuôn mặt đã nhận dạng, bằng cách chiếu hình ảnh khn mặt vào “không
gian mặt”.
13
2.1.2. Tính Eigenface
Hinh 2 1 Các hình ảnh khn mặt được sử dụng làm tập huấn huyện
Chiếu hình ảnh khn mặt I (x, y) vào không gian 2 chiều N của mảng A" (8bit) gia tri cường độ. Hình ảnh được coi như là một vector có kích thước N2, do đó
hình ảnh có kích thước 256 x 256 sẽ trở thành vector có kích thước 65.536 hoặc
tương đương với một điểm trong khơng gian.
Hình ảnh khn mặt giống hình oval không được phân loại trong không gian
ảnh lớn này, nên được mô tả bởi không gian con nhỏ hơn. Ý tưởng chính là tìm
vector tốt nhất cho việc phân bồ hình ảnh khn mặt trong tồn bộ khơng gian ảnh.
Vectơ xác định khơng gian con của hình ảnh khn mặt, gọi là “khơng gian mặt”.
Mỗi vector có chiều dài N2 là sự kết hợp tuyến tính của các hình ảnh khn mặt
ban đầu. Vì vector là vector đặc trưng của ma trận phương sai ứng với hình ảnh
khn mặt ban đầu. Hình 2.1 là tập huấn luyện các hình ảnh khuôn mặt.
14
Tap huấn luyện các hình ảnh khn mặtlà
mặt trung
II
bình của tập hợp được xác định bởi :
;I2
vo
; I3..
TẾ
Ih;
Im
Khuôn
méi khuôn mặt
khác nhau có giá trị trung bình : ® ; = Iÿ - W[1[1Eikhn mặt trung bình # được thé
hiện trong Hình 2.2 Đây là tập lớn các vector phụ thuộc vào việc phân tích thành
phần chính, để tìm kiếm một tập M vector trực chuẩn uạ , mô tả sự phân bổ dữ liệu.
Vector uy được tính như:
- 1w
ry
k=lnalhe,)
2D
Vector này lớn nhất phụ thuộc vào:
fl=k
UP T., we =œ Suc =Ÿ 0, 1, Yrs
(22)
otherwise
Vector uy và vô hướng À¿ là vector đặc trưng va vector trị riêng, tương ứng
của ma trận phương sai :
_1
C=—
Trong do ma tran:
M_@,@, “AAT
AA
A = [ ®1®2
(2.3)
.....®A/ ]. Tuy nhiên xác định vector đặc
trưng NỶ và giá trị đặc trưng là cơng việc khó khăn đối với kích cỡ các ảnh. Như
vậy ta cần một phương pháp tính tốn để tìm ra vector đặc trưng
Nếu số lượng các điểm đữ liệu trong khơng gian ảnh là ít hơn so với kích
thước của khơng gian (M
cho vector đặc trưng kích thước NŸ trong trường hợp này bằng cách, đầu tiên ta
chiếu vector đặc trưng lên ma trận M của M, (như ta tính ma trận 16x16 chứ khơng
phải ma trận 16,384 x 16,384), sau đó dùng tổ hợp tuyến
tính thích hợp của hình
ảnh khn mặt ®, tính toán vector đặc trưng vi của ATA như sau :
AT4w,= mự,
15
(2.4)
Taco:
AAA; = WAV
Ta thay rang Avi la vector đặc trưng của C = AAT
Hinh 2.2 Khn mặt trung bình
Xây dựng ma trận M của M, L=ATA khi L„ụạ= ®Ÿ ®„„. và tìm các vector đặc
trưng M, v, của L. Những vector xác định tổ hợp tuyến tính của tập huấn luyện hình
ảnh khn mặt M để tạo thành vector đặc trưn gu;
Ur Dies Địy®ịy IS 1....M
Trong
thuc té, tap huấn
luyện
của hỉnh
ảnh
(2.5)
khn
mặt
sẽ tương
đối nhỏ
(M
giữa các hình ảnh. Hình 2.3 cho ta thấy 7 vector đặc trưng bắt nguồn từ những hình
ảnh đầu vào của Hình 2.1
16
