phát triển hệ thống điểm danh trong lớp học sử dụng công nghệ nhận diện khuôn mặt

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (27.66 MB, 80 trang )

Trang 1<div class="page_container" data-page="1">

BỘ THÔNG TIN VÀ TRUYỀN THÔNG

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THƠNG

---

ĐỒ ÁN

TỐT NGHIỆP ĐẠI HỌC

Đề tài: “PHÁT TRIỂN HỆ THỐNG ĐIỂM DANH TRONG LỚP HỌC

SỬ DỤNG CÔNG NGHỆ NHẬN DIỆN KHUÔN MẶT”

Người hướng dẫn: ThS. Nguyễn Văn Tiến Sinh viên thực hiện: Đỗ Khánh Linh

Lớp: D17HTTH06 Hệ: Đại học chính quy

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 2<div class="page_container" data-page="2">

---

ĐỒ ÁN

TỐT NGHIỆP ĐẠI HỌC

Đề tài: “PHÁT TRIỂN HỆ THỐNG ĐIỂM DANH TRONG LỚP HỌC SỬ DỤNG

CÔNG NGHỆ NHẬN DIỆN KHUÔN MẶT”

Người hướng dẫn: ThS. Nguyễn Văn Tiến Sinh viên thực hiện: Đỗ Khánh Linh

Lớp: D17HTTH06 Hệ: Đại học chính quy

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 3<div class="page_container" data-page="3">

NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN

Hà Nội, ngày tháng năm 20…

Giảng viên hướng dẫn

giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh bieh802413068:55:55 PM8:55:55 PM802413068:55:55 PM8:55:55 PM802413068:55:55 PM8:55:55 PM

giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh bieh

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 4<div class="page_container" data-page="4">

Hà Nội, ngày tháng năm 20…

Giảng viên phản biện

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 5<div class="page_container" data-page="5">

LỜI CẢM ƠN

Lời đầu tiên, em xin chân thành cảm ơn khoa Công nghệ thông tin 1, Học viện Cơng nghệ Bưu chính Viễn Thơng đã tạo điều kiện thuận lợi cho em học tập và thực hiện đề tài tốt nghiệp này.

Em xin bày tỏ lòng biết ơn sâu sắc tới thầy Nguyễn Văn Tiến đã tận tình định hướng, hướng dẫn, hỗ trợ chúng em trong quá trình thực hiện đồ án. Chúng em xin chân thành cảm ơn thầy cô trong khoa Công nghệ thơng tin, khoa Cơ bản đã tận tình giảng dạy, trang bị cho em những kiến thức quý báu trong những năm vừa qua.

Cuối cùng, em xin cảm ơn gia đình, bạn bè và những người bên cạnh, ln quan tâm và động viên, giúp em có thể hoàn thành đồ án tốt nhất.

Mặc dù đã cố gắng hoàn thành đồ án trong phạm vi và khả năng cho phép nhưng cũng không thể tránh khỏi những thiếu sót. Em rất mong nhận được sự thơng cảm, góp ý cũng như nhận xét của quý thầy cô và các bạn.

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 6<div class="page_container" data-page="6">

1.1.2. Những khó khăn của việc điểm danh bằng khuôn mặt 1

1.2. Cơ sở lý thuyết và tổng quan về mạng nơ-ron tích chập (Convolution Neural

1.2.2. Mạng nơ-ron tích chập (Convolution Neural Network) 6

CHƯƠNG 2: KHẢO SÁT CÁC CÔNG NGHỆ XỬ LÝ ẢNH, HỌC MÁY TRONG HỆ

2.3. Bộ chống giả mạo khuôn mặt (Face Anti-spoofing) 25

2.4. Bộ trích xuất đặc trưng khn mặt (Face Feature Extraction) 29

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 7<div class="page_container" data-page="7">

3.3. Tổng quan chức năng điểm danh nằng khuôn mặt 53

4.2.7. Giao diện thêm ảnh vào tài khoản sinh viên 63

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 8<div class="page_container" data-page="8">

1 AI Artificial Intelligence

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 9<div class="page_container" data-page="9">

DANH MỤC CÁC HÌNH VẼ

Hình 1.1. Cấu trúc một nơ-ron thần kinh [9] ….……….………… 2

Hình 1.2. Cấu trúc một nơ-ron nhân tạo………3

Hình 1.3. Hàm sigmoid [9] …...………....4

Hình 1.4. Mơ hình neural network [9] …...………...4

Hình 1.5. Mơ hình neural network với 2-3-3-1 (input layer có 2 node, hidden layer 1 có 3 node, hidden layer 2 có 3 node, output layer có 1 node) [1] ...5

Hình 1.6. Kiến trúc cơ bản của một mạng nơ-ron tích chập [10] ……….7

Hình 1.7. Ví dụ về Vector, Matrix, Tensor………8

Hình 1.8. Ví dụ bộ lọc kích thước 3x3……….……….8

Hình 1.9. Tích chập một ảnh 5x5x1 với một bộ lọc 3x3x1 để có một hình ảnh chập 3x3x1 [10] ……….….9

Hình 1.10. Ví dụ Stride = 2, Padding = 1 (bên trái) và Stride = 1, Padding = 1 (Padding = Same) (bên phải) ...…9

Hình 1.11. Thực hiện phép tính convolution trên ảnh màu [10].….……….…...………10

Hình 1.17. Khối Residual trong ResNet [11].……….……….……14

Hình 1.18. Cấu trúc khối Inception [11].……….……...……….15

Hình 1.19. Kiến trúc Inception V4 và Inception-A (trái dưới), Reduction-A (phải dưới) [12] ………16

Hình 2.1. Tổng quan hệ thống nhận diện khn mặt……….……….17

Hình 2.2. Các khn mặt khó trong thực tế [2] ………...……….…...………18

Hình 2.3. Đặc trưng HOG của ảnh chứa khn mặt……….….……….19

Hình 2.4. Mơ hình phát hiện khn mặt giai đoạn 2015-2020 [2] …………...…….……….19

Hình 2.5. Kiến trúc P-Net, R-Net, O-Net trong MTCNN [3] ……….….….……….20

Hình 2.6. Kiến trúc Faster R-CNN……….………….21

Hình 2.7. Kiến trúc mơ hình SSD [13] ………22

Hình 2.8. Kiến trúc mơ hình FPN………22

Hình 2.9. Mơ hình Retina Face………...………….23

Hình 2.10. Cấu trúc mạng đường trục MobileNet………...……….23

Hình 2.11. Các phép biến đổi hình học……….………...24 giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh bieh

802413068:55:55 PM8:55:55 PM802413068:55:55 PM8:55:55 PM802413068:55:55 PM8:55:55 PM

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 10<div class="page_container" data-page="10">

Hình 2.16. Cấu trúc Streaming Module [6] ...………...……….……….28

Hình 2.17. Các kiến trúc CNN được dùng cho nhận diện khuôn mặt qua các năm [7] ….………29

Hình 2.18. Các Loss Functions phục vụ cho nhận diện khn mặt qua các năm [7] ….…………30

Hình 3.1. Biểu đồ Use Case của tồn hệ thống………...……….36

Hình 3.2. Biểu đồ tuần tự chức năng đăng nhập……….……….37

Hình 3.3. Biểu đồ tuần tự chức năng thêm thông tin GV………38

Hình 3.4. Biểu đồ tuần tự chức năng xóa GV……….39

Hình 3.5. Biểu đồ tuần tự chức năng sửa thơng tin GV………...……….40

Hình 3.6. Biểu đồ tuần tự chức năng thêm thơng tin SV……….………41

Hình 3.7. Biểu đồ tuần tự chức năng xóa SV………...………...42

Hình 3.8. Biểu đồ tuần tự chức năng sửa thơng tin SV………...43

Hình 3.9. Biểu đồ ca sử dụng thêm thơng tin lớp học………...………44

Hình 3.10. Biểu đồ ca sử dụng xóa lớp học………45

Hình 3.11. Biểu đồ ca sử dụng sửa thông tin lớp học……….46

Hình 3.12. Biểu đồ ca sử dụng tạo phiên điểm danh………47

Hình 3.13. Biểu đồ ca sử dụng thống kê kết quả điểm danh theo ngày học………48

Hình 3.14. Biểu đồ ca sử dụng điểm danh……….……….49

Hình 3.15. Biểu đồ lớp phân tích của hệ thống……...………50

Hình 3.16. Biểu đồ CSDL………...………51

Hình 3.17. Thiết kế vật lý của hệ thống………...…………52

Hình 4.1. Giao diện đăng nhập……….………...58

Hình 4.2. Giao diện danh sách lớp học……….……….……….59

Hình 4.3. Giao diện điểm danh……….……….……….60

Hình 4.4. Giao diện kết quả điểm danh………….………….……….………61

Hình 4.5. Giao diện đăng nhập của Admin……….……….………...62

Hình 4.6. Giao diện thêm mới tài khoản……….………62

Hình 4.7. Giao diện thêm ảnh vào tài khoản sinh viên……….………...62

Hình 4.8. Giao diện sửa tài khoản……….………….……….63 giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh bieh

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 11<div class="page_container" data-page="11">

Hình 4.9. Giao diện xóa tài khoản……….……….………63giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh bieh802413068:55:55 PM8:55:55 PM802413068:55:55 PM8:55:55 PM802413068:55:55 PM8:55:55 PM

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 12<div class="page_container" data-page="12">

Bảng 3.2. Kịch bản ca sử dụng thêm thông tin GV……….….………37

Bảng 3.3. Kịch bản ca sử dụng xóa GV……….……….……….38

Bảng 3.4. Kịch bản ca sử dụng sửa thông tin GV………39

Bảng 3.5. Kịch bản ca sử dụng thêm thông tin SV……….……….41

Bảng 3.6. Kịch bản ca sử dụng xóa SV……….…………...………42

Bảng 3.7. Kịch bản ca sử dụng sửa thông tin SV……….……….43

Bảng 3.8. Kịch bản ca sử dụng thêm thông tin lớp học………44

Bảng 3.9. Kịch bản ca sử dụng xóa lớp học………45

Bảng 3.10. Kịch bản ca sử dụng sửa thông tin lớp học………46

Bảng 3.11. Kịch bản tạo phiên điểm danh………...47

Bảng 3.12. Kịch bản ca sử dụng thống kê kết quả điểm danh theo ngày học……….48

Bảng 3.13. Kịch bản ca sử dụng điểm danh………49

Bảng 3.14. Độ chính xác các mơ hình phát hiện khn mặt trên tập WIDER FACE [8] …...……53

Bảng 3.15. Số lượng hình ảnh khn mặt trong tập train………...……….54

Bảng 3.16. Số lượng hình ảnh khn mặt trong tập test……….55

Bảng 3.17. Kết quả đánh giá mô hình chống giả mạo……….……….55

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 13<div class="page_container" data-page="13">

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 14<div class="page_container" data-page="14">

thực hiện một cách thủ cơng như quẹt thẻ hoặc có người giám sát. Một sinh viên có thể điểm danh cho nhiều bạn vì hệ thống chỉ nhận diện được thông tin từ thẻ mà không nhận diện được người cầm thẻ, hoặc những người giám sát không thể so sánh, đối chiếu chính xác thơng tin của tất cả sinh viên. Việc làm này với số lượng lớn sinh viên sẽ mất thời gian và thường khó đảm bảo sự chính xác cao.

Trong thời đại cơng nghệ thơng tin ngày càng phát triển, mọi vấn đề đều được xử lý đơn giản và tối ưu hóa. Cơng nghệ nhận diện bằng sinh trắc học chính là chìa khóa cho những bài tốn nhận diện, trong đó có nhận diện bằng khn mặt. Vì vậy, ứng dụng điểm danh trong lớp học sử dụng công nghệ điểm danh bằng khuôn mặt sẽ giúp cho việc điểm danh dễ dàng, nhanh chóng và chính xác hơn rất nhiều so với các phương pháp truyền thống.

Mục tiêu của đồ án là tìm hiểu, nghiên cứu các cơng nghệ nhận diện khn mặt và triển khai xây dựng ứng dụng cho bài tốn điểm danh sử dụng cơng nghệ nhận diện khn mặt. Ngồi ra, đồ án cịn tìm hiểu và phát triển khả năng chống giả mạo cho ứng dụng nhận diện khuôn mặt.

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 15<div class="page_container" data-page="15">

CHƯƠNG 1: TÌM HIỂU BÀI TỐN ĐIỂM DANH SỬ DỤNG NHẬN DIỆN KHN MẶT

1.1. Tổng quan về bài tốn

1.1.1. Bài toán điểm danh bằng khn mặt

Khái qt bài tốn điểm danh bằng khn mặt là bài tốn xử lý kết quả sinh viên thực hiện điểm danh bằng hình ảnh khn mặt. Đầu vào là một ảnh khuôn mặt của sinh viên do sinh viên chụp tại thời điểm giảng viên yêu cầu điểm danh, đầu ra là sinh viên đó điểm danh thành công hay không thành công. Cụ thể là khuôn mặt nhận diện sẽ được phân vào một trong các khuôn mặt nằm trong tập CSDL khi vượt qua một giá trị ngưỡng cho phép. Trường hợp giá trị đo độ giống nhau khơng vượt qua ngưỡng thì khn mặt đó khơng có trong tập dữ liệu và khơng được định danh. Kết quả điểm danh thành công sẽ được cập

nhật vào cơ sở dữ liệu nhằm mục đích tổng hợp sau này.

1.1.2. Những khó khăn của việc điểm danh bằng khn mặt

● Vấn đề chống giả mạo khuôn mặt

Với sự phát triển của các thiết bị công nghệ cũng như hiệu năng tính tốn, xuất hiện ngày càng nhiều các dịch vụ sử dụng công nghệ nhận diện khn mặt. Kéo theo đó là những phương pháp cố gắng đánh lừa hệ thống này. Đây là một công việc khó khăn. Ngồi việc nhận diện xem người đó là ai hoặc người đó có tồn tại trong cơ sở dữ liệu của chúng ta khơng, cịn phải xác định thêm người đó là thật hay là ảnh 2D hoặc 3D giả mạo. Với bài toán điểm danh sử dụng khuôn mặt trong lớp học, điều này càng quan trọng hơn.

● Góc chụp

Với các tư thế khác nhau, các phần trên khn mặt có thể khơng rõ hoặc bị khuất hết. Với nhiều góc chụp, ví dụ chụp thẳng nhưng mặt lại quay về hướng khác hoặc là chụp một hướng khác của khuôn mặt đều là những khó khăn rất lớn trong việc nhận diện khuôn mặt.

● Khuôn mặt thay đổi theo thời gian

Các chi tiết như râu ria mép hoặc kiểu tóc có thể thay đổi trong thời gian ngắn có thể làm thay đổi kết quả của bài tốn. Ngồi ra cịn gặp khó khăn khi khn mặt có nhiều trạng thái khác nhau, ví dụ như cùng một khn mặt nhưng có trạng thái rất khác nhau khi vui, buồn, ....

● Điều kiện ảnh

Ảnh được chụp trong các điều kiện khác nhau: ánh sáng, các thiết bị khác nhau, nền ảnh phức tạp.

Trên đây là một số những khó khăn gặp phải khi thực hiện bài toán này.

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 16<div class="page_container" data-page="16">

Mạng nơ-ron nhân tạo (Neural Network - NN) là một mơ hình lập trình mơ phỏng

cách thức hoạt động của mạng nơ-ron thần kinh [1]. Nó được cấu thành bởi các nơ-ron đơn lẻ được gọi là các perceptron.

a. Perceptron

Hình 1.1. Cấu trúc một nơ-ron thần kinh [9]

Một nơ-ron sinh học có phần thân (cell body) chứa nhân (nucleus), các tín hiệu đầu vào qua sợ nhánh (dendrites) và các tín hiệu đầu ra qua sợi trục (axon) kết nối với các nơ-

ron khác. Hiểu đơn giản mỗi nơ-ron nhận dữ liệu đầu vào qua sợi nhánh và truyền dữ liệu đầu ra qua các sợi trục, đến các sợi nhánh của các nơ-ron khác. Mỗi nơ-ron nhận các xung điện từ các nơ-ron khác qua sợi nhánh. Nếu các xung điện này đủ lớn để kích hoạt nơ-ron thì tín hiệu này đi qua sợi trục đến các sợi nhánh của các nơ-ron khác.

Mơ hình của perceptron cũng như vậy:

Hình 1.2. Cấu trúc một nơ-ron nhân tạo

Một perceptron sẽ nhận một hoặc nhiều đầu vào x (thể hiện bằng các node) và cho

ra một kết quả dạng nhị phân. Các đầu vào được điều phối tầm ảnh hưởng bởi các tham số

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 17<div class="page_container" data-page="17">

trọng lượng tương ứng w của nó, cịn kết quả đầu ra được quyết định dựa vào một ngưỡng b quyết định nào đó [9]:

Đặt b = -threshold, ta có thể viết lại thành:

Gắn 𝒙𝟎 = 1 và 𝒘𝟎 = 𝒃 , ta có thể viết gọn thành:

Với đầu ra là dạng nhị phân, ta rất khó có thể điều chỉnh một lượng nhỏ đầu vào để

đầu ra thay đổi chút ít, nên để linh động ta mở rộng đầu ra thành khoảng [0, 1]. Lúc này đầu

ra được quyết định bởi một hàm 𝜎(𝑤𝑇𝑥) có giá trị trong khoảng [0, 1] gọi là hàm kích hoạt (activation function) [9]. Ví dụ hàm kích hoạt sigmoid:

Hình 1.3. Hàm sigmoid [9]

Ngồi hàm sigmoid ra cịn có các hàm kích hoạt khác như tanh, ReLU, softmax, ... giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh bieh802413068:55:55 PM8:55:55 PM802413068:55:55 PM8:55:55 PM802413068:55:55 PM8:55:55 PM

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 18<div class="page_container" data-page="18">

● Hidden layer: các layer trung gian thể hiện cho việc suy luận logic của mạng. ● Output layer: nhiều node ở đầu ra tạo thành một lớp đầu ra của mạng.

Hình 1.4. Mơ hình neural network [9]

Mỗi mơ hình ln có 1 input layer, 1 output layer, có thể có hoặc khơng các hidden layer. Tổng số layer trong mơ hình được quy ước là số layer – 1 (Khơng tính input layer) [9].

Mỗi node trong hidden layer và output layer:

● Liên kết với tất cả các node ở layer trước đó với các hệ số w riêng. ● Mỗi node có 1 hệ số bias b riêng.

● Diễn ra 2 bước: tính tổng linear và áp dụng activation function.

Quá trình suy luận từ lớp đầu vào tới lớp đầu ra của mạng nơ-ron là quá trình lan

truyền tiến (feedforward), tức là đầu vào của các ron tại một tầng là lấy kết quả từ

nơ-ron tầng trước đó mà khơng có q trình suy luận ngược lại [1].

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 19<div class="page_container" data-page="19">

Hình 1.5. Mơ hình neural network với 2-3-3-1 (input layer có 2 node, hidden layer 1 có 3 node, hidden layer 2 có 3 node, output layer có 1 node) [1]

Gọi input layer là 𝑎(0)= 𝑥, (ở ℎì𝑛ℎ 𝑣ẽ 𝑑ướ𝑖 đâ𝑦 𝑡ℎì 𝑎(0) = {𝑥1, 𝑥2}), thực hiện tính 𝑧(1)là đầu ra của input layer, đầu vào của hidden layer 1:

Tương tự ta có kết quả tính tại mỗi lớp:

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 20<div class="page_container" data-page="20">

Quá trình này được gọi là backpropagation (lan truyền ngược).

Như vậy, mạng nơ-ron nhân tạo là một mơ hình được tạo nên từ một lượng lớn các phần tử (nơ-ron) kết nối với nhau thông qua các liên kết (trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn đề cụ thể (phân loại dữ liệu, nhận dạng mẫu, …) thơng qua một q trình học từ tập các mẫu huấn luyện. Về bản chất học ở đây chính là q trình hiệu chỉnh trọng số liên kết giữa các nơ-ron.

1.2.2. Mạng nơ-ron tích chập (Convolution Neural Network)

Phân loại ảnh là một bài toán quan trọng bậc nhất trong lĩnh vực “Thị giác máy tính”

(Computer Vision). Tuy nhiên các kiến trúc mạng nơ-ron truyền thống có xu hướng kém

hiệu quả khi kích thước ảnh đầu vào của mạng trở nên lớn hơn. Với ảnh có kích thước là 32*32*3 (cao 32 pixel, rộng 32 pixel, có 3 kênh màu) thì với mạng nơ-ron truyền thống lớp nơ-ron ẩn đầu tiên sẽ có 32*32*3 = 3072 trọng số. Số lượng trọng số này thì vẫn có thể “kiểm sốt” được nhưng khi ảnh đầu vào có kích thước 200*200*3 thì số lượng trọng số lên tới 120.000 trọng số tại lớp đầu tiên, cộng thêm các trọng số qua các lớp hidden layers thì số lượng trọng số của mạng sẽ tăng cực kì nhanh. Điều này làm cho mạng nơ-ron truyền

thống (dạng fully connected) dễ bị overfitting (quá khít với dữ liệu dùng để huấn luyện

nhưng hoạt động kém với tập dữ liệu đánh giá, kiểm tra) và tiêu tốn nhiều tài ngun tính tốn.

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 21<div class="page_container" data-page="21">

Convolution Neural Network (mạng nơ-ron tích chập) hiện nay đang là giải pháp tốt nhất để giải quyết bài tốn đó. Bởi trong ảnh các pixel ở cạnh nhau thường có liên kết với nhau hơn là những pixel ở xa, vì vậy áp dụng phép tính convolution vào layer trong neural

network ta có thể giải quyết được vấn đề lượng lớn parameter mà vẫn lấy ra được các đặc trưng của ảnh.

Mạng nơ-ron tích chập bao gồm tập hợp các lớp chính cơ bản là: lớp tích chập

(Convolution layer), lớp lấy mẫu (Pooling layer) và lớp kết nối đầy đủ (Fully connected layer).

Hình 1.6. Kiến trúc cơ bản của một mạng nơ-ron tích chập [10]

a. Kiến trúc cơ bản của mạng nơ-ron tích chập

❖ Vector, ma trận và tensor

Ma trận và vector là những đại lượng phổ biến trong toán học. Một vector 𝑥 𝜖 𝑅𝐷 là một vector chứa D phần tử được xếp theo chiều dọc. Ma trận 𝑋 thuộc 𝑅𝑊∗𝐻là một ma trận với 𝐻 hàng và 𝑊 cột. Vector 𝑥 còn được gọi là một ma trận với 1 cột và 𝐷 hàng.

Để biểu diễn dữ liệu phức tạp hơn, chúng ta cần một đại lượng với nhiều chiều được gọi là tensor. Ví dụ 𝑥 thuộc 𝑅𝑊𝑥𝐻𝑥𝐷 là một tensor 3 chiều. Tensor x này chứa 𝑊 ∗ 𝐻 ∗ 𝐷 phần tử, mỗi phần tử được định vị bởi tọa độ (𝑖, 𝑗, 𝑑). Một tensor với 3 chiều và chiều thứ 3 có độ dài 𝐷 tương đương với 𝐷 ma trận chồng lên nhau. Mỗi chiều ứng với một ma trận có kích thước 𝐻 ∗ 𝑊. Chiều thứ nhất chứa tất cả các số nằm trên tensor mà có tọa độ (𝑖, 𝑗, 0).

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 22<div class="page_container" data-page="22">

Hình 1.7. Ví dụ về Vector, Matrix, Tensor

chiều là một ma trận 𝐻 ∗ 𝑊. Trong CNN, ảnh đầu vào được biểu diễn dưới dạng tensor. Các tầng trung gian giữa các lớp tích chập cũng vậy. 2 lớp tích chập nhận đầu vào là 1 tensor và sau khi đưa qua mạng ta cũng sẽ nhận lại được một tensor.

❖ Convolution layer

Đây là lớp đầu tiên và cũng là lớp quan trọng nhất của mạng. Lớp này có chức năng chính là phát hiện các đặc trưng có tính khơng gian một cách hiệu quả. Các đặc trưng này có thể là các đặc trưng đơn giản như đặc trưng về góc, cạnh, màu sắc hoặc là các đặc trưng trừu tượng, phức tạp hơn. Các đặc trưng này sẽ giúp cho mơ hình phân loại được dữ liệu đầu vào tốt hơn so với các phương pháp trích chọn đặc trưng khác (LBP, HoG, …).

Để thực hiện tính convolution, ta dùng một bộ lọc (kernel/filter - ma trận

vng kích thước k*k, trong đó k là số lẻ, giá trị của k thường là 1, 3, 5, 7, 9, ...).

Hình 1.8. Ví dụ bộ lọc kích thước 3x3

Với mỗi phần tử trong ma trận điểm ảnh lấy ra một ma trận có kích thước bằng kích thước của bộ lọc W có trung tâm bộ lọc trùng với phần tử đó (đây là vì sao kích thước của kernel thường lẻ) gọi là ma trận A. Sau đó tính tổng các phần tử của phép tính nhân chập của ma trận A và ma trận W, rồi viết vào ma trận kết quả Y.

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 23<div class="page_container" data-page="23">

Hình 1.9. Tích chập một ảnh 5x5x1 với một bộ lọc 3x3x1 để có một hình ảnh chập 3x3x1 [10]

Bộ lọc di chuyển từ phải sang trái, từ trên xuống dưới lần lượt cho đến khi tồn bộ hình ảnh được duyệt qua [10]. Khoảng cách mà bộ lọc di chuyển từ điểm

ảnh này tới điểm ảnh sau đó gọi là Stride (bước nhảy). Khi Stride = 1 thì chúng ta sẽ di chuyển các bộ lọc 1-pixel mỗi lần. Khi Stride = 2 thì chúng ta di chuyển các bộ lọc 2-pixel cùng một lúc và cứ thế di chuyển bộ lọc với Stride tương ứng.

Lựa chọn Stride càng lớn thì chiều của kết quả tích chập càng giảm. Padding là việc thêm các giá trị ở xung quanh biên ảnh ban đầu. Padding = 1 tức là thêm 1 ô

bọc xung quanh các cạnh của input, điều này đảm bảo phép tích chập được thực hiện đủ trên tồn ảnh.

Hình 1.10. Ví dụ Stride = 2, Padding = 1 (bên trái) và Stride = 1, Padding = 1 (Padding = Same) (bên phải)

Trong trường hợp đầu vào là ảnh màu có 3 kênh màu RGB ta biểu diễn ảnh

dưới dạng tensor 3 chiều (Số thực là dữ liệu 0D, vector 1D, ma trận 2D còn dữ liệu từ 3D trở đi được gọi là tensor) nên bộ lọc cũng là một tensor 3 chiều kích thước k*k*3.

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 24<div class="page_container" data-page="24">

Hình 1.11. Thực hiện phép tính convolution trên ảnh màu [10] ❖ Pooling layer

Pooling layer thường được dùng giữa các convolutional layer, để giảm kích

thước dữ liệu nhưng vẫn giữ được các thuộc tính quan trọng. Kích thước dữ liệu giảm giúp giảm việc tính tốn trong model.

Có 2 loại Pooling layer phổ biến là: Max pooling và Average pooling. Phép gộp cực đại (Max pooling) trả về giá trị lớn nhất từ phần hình ảnh được bao phủ bởi bộ lọc. Trong khi đó, phép gộp trung bình (Average pooling) trả về giá trị trung bình

của tất cả các giá trị từ phần hình ảnh được bao phủ bởi bộ lọc.

Phép gộp cực đại cũng hoạt động như một công cụ khử nhiễu. Nó loại bỏ các nguồn nhiễu và thực hiện khử nhiễu song song với giảm kích thước. Mặt khác, phép gộp trung bình chỉ đơn giản thực hiện giảm kích thước như một cơ chế khử nhiễu. Do đó, chúng ta có thể nói rằng phép gộp cực đại hoạt động tốt hơn rất nhiều so với phép gộp trung bình.

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 25<div class="page_container" data-page="25">

Hình 1.12. Ví dụ về Pooling layer ❖ Fully connected layer

Sau khi ảnh được truyền qua nhiều convolutional layer và pooling layer thì model đã học được tương đối các đặc điểm của ảnh (ví dụ mắt, mũi, khung mặt, …) thì tensor của output của layer cuối cùng, kích thước H*W*D, sẽ được chuyển về 1 vector kích thước (H*W*D).

Sau đó sử dụng mạng nơ-ron kết nối đầy đủ (Fully connected layer) để học

các tổ hợp phi tuyến của các đặc trưng trích xuất từ kết quả ma trận tích chập đầu ra, từ đó ra được output của model.

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 26<div class="page_container" data-page="26">

Hình 1.13. Ví dụ về Fully Connected Layer

Như vậy, chúng ta đã chuyển đổi hình ảnh đầu vào thành một dạng thích hợp cho mạng nơ-ron đa lớp. Chúng ta sẽ làm phẳng hình ảnh đầu vào này thành một vec-tơ cột. Vec-tơ đầu ra đã được làm phẳng sẽ được đưa vào một mạng nơ-ron suy

luận tiến (feedforward) và phương pháp truyền ngược (backpropagation) được áp

dụng cho quá trình huấn luyện. Qua một loạt lần lặp, mơ hình có thể phân biệt giữa các đặc trưng cốt lõi và các đặc trưng khơng quan trọng trong hình ảnh và phân loại

chúng bằng hàm kích hoạt (activation function).

b. Một số kiến trúc mạng nơ-ron tích chập

❖ Kiến trúc mạng VGG 16

Mạng VGG 16 được phát triển bởi K. Simonyan and A. Zisserman, University

of Oxford với quan điểm về một mạng nơ-ron sâu hơn sẽ giúp ích cho cải thiện độ chính xác của mơ hình tốt hơn.

Hình 1.14. Kiến trúc mạng VGG 16 [11]

Kiến trúc VGG 16 bao gồm 16 Convolution Layers, 13 layers tích chập và 3

layers fully connected. Mạng này chỉ sử dụng convolutions 3x3 nhưng với rất nhiều

filters, và được huấn luyện với 4 GPUs trong 2-3 tuần. Việc sử dụng các bộ lọc có

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 27<div class="page_container" data-page="27">

kích thước nhỏ 3x3 cũng giúp giảm số lượng tham số cho mơ hình và mang lại hiệu

quả tính tốn hơn. Ngồi ra, lần đầu tiên trong VGG 16 xuất hiện khái niệm về khối tích chập (block). Đây là những kiến trúc gồm một tập hợp các layers CNN được lặp

lại giống nhau, và nó đã khởi nguồn cho các kiến trúc mạng CNN khác.

Model sau khi train bởi mạng VGG16 đạt độ chính xác 92.7% top-5 test trong dữ liệu ImageNet gồm 14 triệu hình ảnh thuộc 1000 lớp khác nhau.

Tuy nhiên VGG 16 lại chứa tới những 138 triệu tham số, điều này ảnh hưởng

phần nào tới việc kiểm sốt và sử dụng nó hiệu quả [11].

❖ Kiến trúc mạng ResNet

Kiến trúc mạng ResNet được phát triển bởi Kainming He (một nhà nghiên cứu ở Microsoft). Mạng này được cấu thành từ rất nhiều các lớp tích chập xếp chồng lên nhau khiến cho mạng sâu hơn. Một vấn đề xảy ra khi xây dựng mạng CNN với

nhiều lớp chập sẽ xảy ra hiện tượng mất mát đạo hàm (Vanishing Gradient) dẫn tới

quá trình học tập không tốt [11].

Vanishing Gradient

Trước hết backpropagation (lan truyền ngược) là một kỹ thuật sử dụng trong q trình học, tính tốn đạo hàm của loss function từ output layer đến input layer sau đó dùng gradient descent để hiệu chỉnh các trọng số của mạng. Toàn bộ quá trình sẽ

được lặp lại cho tới khi các trọng số của network được hội tụ. Nếu số lượng vịng lặp q nhỏ thì mạng có thể sẽ không cho ra kết quả tốt và ngược lại thời gian học sẽ lâu nếu số lượng vòng lặp quá lớn.

Hình 1.15. Hiện tượng Vanishing Gradient

Tuy nhiên, trong thực tế đạo hàm thường sẽ có giá trị nhỏ dần khi đi xuống

các layer thấp hơn. Dẫn đến kết quả là các cập nhật thực hiện bởi gradient descent

không làm thay đổi nhiều trọng số của các layer và làm chúng không thể hội tụ để giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh bieh

802413068:55:55 PM8:55:55 PM802413068:55:55 PM8:55:55 PM802413068:55:55 PM8:55:55 PM

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 28<div class="page_container" data-page="28">

Hình 1.16. Kiến trúc mạng ResNet

Ý tưởng chính của ResNet là kiến trúc gồm các khối dư (residual) trong đó xuất hiện các nhánh cộng (còn gọi là nhánh nối tắt) giữa giá trị đầu vào với giá trị đầu ra của các khối dư đó.

Hình 1.17. Khối Residual trong ResNet [11]

Hình trên mơ tả khối dư trong ResNet gồm giá trị đầu vào (x) qua một số lớp tích chập thu được F(x), sau đó cộng thêm x vào F(x) để được đầu ra của khối dư là F(x) + x. Nhờ nhánh cộng này mà đạo hàm có thể lan truyền ngược lại lên các lớp trên cùng của mạng mà tránh được hiện tượng mất mát đạo hàm.

❖ Kiến trúc mạng GoogleNet - Inception

Kiến trúc mạng GoogleNet được phát triển bởi Google. Kiến trúc này đã giải

quyết một câu hỏi lớn trong mạng CNN đó là sử dụng kích thước filter bao nhiêu thì hợp lý. Các kiến trúc nơ-ron trước đó đều sử dụng các bộ lọc với đa dạng kích thước 11x11, 5x5, 3x3, nhỏ nhất là 1x1. Việc cùng kết hợp đồng thời các bộ lọc này vào

cùng một block tạo thành kiến trúc khối Inception trong mạng GoogleNet đã mang

lại hiệu quả [11].

Cấu trúc khối Inception

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 29<div class="page_container" data-page="29">

Hình 1.18. Cấu trúc khối Inception [11]

Như hình trên, khối Inception bao gồm 4 nhánh song song với nhau. Các bộ

lọc kích thước lần lượt là 1x1, 3x3, 5x5 được áp dụng giúp trích lọc được đa dạng đặc trưng trên những vùng nhận thức có kích thước khác nhau. Sử dụng phép tích

chập 1x1 trên từng điểm ảnh như một kết nối fully connected nhằm giảm độ sâu kênh và số lượng tham số của mơ hình (ở hình vẽ trên sau khi nhân chập với 64 bộ lọc kích thước 1x1 thì kích thước ma trận điểm ảnh đã giảm từ 28x28x192 xuống 28x28x64). Ngồi ra, khối Inception cịn sử dụng Max pooling sau đó áp dụng bộ

lọc kích thước 1x1 cũng làm giảm chiều dữ liệu [11].

Khối Inception được lặp lại nhiều lần trong kiến trúc GoogleNet. Toàn bộ mạng Inception V1 có 22 layers, lớn hơn gấp đơi so với VGG 16, nhưng nhờ áp dụng

tích chập 1x1 giúp tiết kiệm số lượng tham số xuống chỉ còn 5 triệu, ít hơn 27 lần so

với VGG 16.

Với mục đích xây dựng mạng sâu để học được nhiều hơn các đặc trưng từ

ảnh đầu vào nhưng vẫn ổn định, ít tốn kém hơn và hiệu quả, các phiên bản Inception

sau này đã được trang bị thêm kỹ thuật mới: Factorization (là kỹ thuật để giảm thêm

kích thước, ví dụ thay vì sử dụng bộ lọc 3x3 có số lượng các trọng số là 3x3 = 9 thì sử dụng bộ lọc 3x1 và bộ lọc 1x3 sẽ có số lượng các trọng số là 3x1 + 1x3 = 6) và

Reduction block (các khối chuyên biệt để giảm kích thước một cách rõ ràng).

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 30<div class="page_container" data-page="30">

Hình 1.19. Kiến trúc Inception V4 và Inception-A (trái dưới), Reduction-A (phải dưới) [12]

Chương đầu đã trình bày khái niệm bài tốn điểm danh bằng khn mặt, lý thuyết mạng nơ-ron nhân tạo và các kiến trúc CNN cơ bản được ứng dụng cho bài toán liên quan đến thị giác máy tính.

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 31<div class="page_container" data-page="31">

CHƯƠNG 2: KHẢO SÁT CÁC CÔNG NGHỆ XỬ LÝ ẢNH, HỌC MÁY TRONG HỆ THỐNG NHẬN DIỆN GƯƠNG MẶT

Tổng quan hệ thống nhận diện khn mặt

Hình 2.1. Tổng quan hệ thống nhận diện khuôn mặt

Một hệ thống nhận diện khn mặt gồm nhiều phần để từ đó xây dựng nên một hệ thống nhận diện khn mặt hồn chỉnh. Trong bài viết này sẽ khảo sát các thành phần của hệ thống nhận diện khuôn mặt gồm 5 phần chính:

● Bộ phát hiện khn mặt (Face Detection): Xác định vị trí khn mặt trong

tồn bộ bức ảnh.

● Bộ căn chỉnh khuôn mặt (Face Alignment): Xác định các điểm mốc trên khuôn mặt (facial landmark detector) sau đó chuẩn hóa, căn chỉnh lại khuôn

mặt được phát hiện trong bộ phát hiện khuôn mặt trước đó.

● Bộ phát hiện chống giả mạo (Face Anti-spoofing): Kiểm tra khuôn mặt của

người dùng hệ thống là khuôn mặt thật hay khuôn mặt giả.

● Bộ trích xuất đặc trưng khn mặt (Feature Extraction): Mã hóa, trích xuất

các thơng tin có trên gương mặt của ảnh đầu vào thành một vector đặc trưng đại diện cho khn mặt đó.

● Bộ nhận diện khn mặt (Face Matching): Tìm kiếm vector đặc trưng của

khuôn mặt đại diện cho ai trong hệ thống.

Trải qua nhiều năm phát triển, mỗi mô-đun trong hệ thống nhận diện khuôn mặt đều được cải tiến và phát triển không ngừng, giúp cho hệ thống nhận diện khn mặt tổng quan ngày một chính xác và từ đó là cơ sở để hệ thống nhận diện được ứng dụng vào thực tế ngày càng phổ biến. Dưới đây sẽ là những thuật toán được sử dụng để xây dựng từng mô-đun của hệ thống.

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 32<div class="page_container" data-page="32">

mặt xuất hiện trong ảnh. Đầu vào của hầu hết mọi thuật toán phát hiện khuôn mặt là một ảnh. Đầu ra của thuật tốn là vùng ảnh chứa khn mặt có dạng hình chữ nhật có thể được biểu diễn bởi 4 điểm (hoặc 2 điểm và chiều dài, rộng) kèm theo đó là xác suất khn mặt có trong vùng ảnh đó. Hiệu suất của phát hiện khn mặt ảnh hưởng trực tiếp và rất lớn đến các các nhiệm vụ đằng sau của hệ thống nhận dạng khuôn mặt.

Trong nhiều thập kỷ qua, các nhà nghiên cứu đã phát triển nhiều phương pháp để xác định khuôn mặt từ đơn giản đến phức tạp. Và quan trọng nhất là việc ảnh hưởng qua lại giữa độ chính xác và tốc độ detect (phát hiện và xác định vị trí).

Nhìn chung, phát hiện khn mặt vẫn cịn là một thách thức lớn bởi sự thay đổi của tư thế, sự biến dạng hình ảnh, sự che khuất khn mặt và nhiều các yếu tố khác.

Hình 2.2. Các khn mặt khó trong thực tế [2]

Có thể chia các phương pháp detect thành 2 loại chính là detect dựa trên các craft feature (đặc trưng cứng) và detect dựa trên các feature được trích chọn từ mạng CNN.

hand-❖ Detect dựa trên các hand-craft feature (đặc trưng cứng)

Các phương pháp detect truyền thống là detect dựa trên cửa sổ trượt và các craft feature (đặc trưng cứng) như: HOG, SIFT, LBP, … đi qua một bộ phân loại như SVM để xác định xem vùng đó có chứa khn mặt khơng, điển hình là thuật tốn HOG-SVM detector được triển khai trên thư viện Dlib.

hand-giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehhand-giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehhand-giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehhand-giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh bieh

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 33<div class="page_container" data-page="33">

Hình 2.3. Đặc trưng HOG của ảnh chứa khuôn mặt

Tuy nhiên, các phương pháp này đều trở nên kém hiệu quả khi áp dụng trong môi trường thực tế.

❖ Detect dựa trên các feature được trích chọn từ mạng CNN

Với sự phát triển vượt bậc của trí tuệ nhân tạo nói chung và học máy, học sâu nói riêng đã giúp việc detect khn mặt trở nên chính xác hơn rất nhiều. Thay vì sử dụng các

đặc trưng handcraft và lựa chọn các đặc trưng tốt nhất như trước đây, các mơ hình hiện nay

có thể trích xuất đặc trưng tự động thơng qua mạng CNN.

Hình 2.4. Mơ hình phát hiện khn mặt giai đoạn 2015-2020 [2] Một số mơ hình phát hiện khn mặt dựa trên mạng CNN.

● Mơ hình Multi-task Cascaded Convolution Networks (MTCNN):

MTCNN có kiến trúc gồm 3 phần: P-Net, R-Net và O-Net.

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 34<div class="page_container" data-page="34">

Hình 2.5. Kiến trúc P-Net, R-Net, O-Net trong MTCNN [3]

Phần P-Net: nhận dạng tồn bộ số khn mặt trong bức ảnh bằng cách tạo nhiều bản copy từ ảnh gốc với kích thước khác nhau tạo thành một Image Pyramid để mạng dễ dàng nhận diện các khuôn mặt. Sau đó thiết lập ngưỡng và loại bỏ các hộp giới hạn có tỉ lệ trùng nhau.

Phần R-Net: cũng thực hiện như P-Net và tinh chỉnh những hộp giới hạn. Phần O-Net: xác định vị trí khn mặt và những điểm quan trọng trên khuôn mặt.

● Mô hình phát hiện khn mặt dựa trên Faster R-CNN (Faster Region Proposal Network):

Mơ hình Faster R-CNN là một trong những mơ hình điển hình của thuật tốn Two stage detection (sử dụng 2 giai đoạn xử lý riêng biệt là phát hiện các region proposal và phân loại hình ảnh) trong họ R-CNN (regions with CNN features) gồm R-CNN, Fast R-CNN, Faster R-CNN.

Trong giai đoạn đầu của Faster R-CNN, bức ảnh sẽ được cho qua pre-trained model để lấy feature map, sau đó feature map được đưa qua một mạng CNN gọi là

RPN (Region Proposal Network) với nhiệm vụ xác định các vùng trên ảnh có khả năng chứa đối tượng. Kết hợp với các anchor (anchor là một bounding box cơ sở để xác định bounding box bao quanh vật thể dựa trên các phép dịch tâm và scale kích

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 35<div class="page_container" data-page="35">

Sau khi đã thu được các vùng đặc trưng từ RPN, model Faster-RCNN sẽ thực hiện tiếp việc phân loại đối tượng và xác định vị trí nhờ vào việc chia làm 2 nhánh con tại phần cuối của mơ hình (phân lớp cho đối tượng và tìm bounding box tốt nhất dựa vào thuật tốn regression).

Hình 2.6. Kiến trúc Faster R-CNN

● Mơ hình phát hiện khuôn mặt dựa trên SSD (Single Shot Detection):

Mặc dù các kiến trúc họ R-CNN cho độ chính xác cao nhưng tốc độ xử lý thấp, không đáp ứng được trong việc phát hiện đối tượng trong thời gian thực. SSD được thiết kế với tốc độ xử lý nhanh mà vẫn đảm bảo độ chính xác.

SSD bỏ qua bước tạo mặt nạ region proposal network để đề xuất vùng vật thể, thay vào đó cả quá trình phát hiện vật thể và phân loại vật thể được thực hiện trong cùng một mạng. SSD sử dụng VGG16 làm mạng cơ sở để trích xuất feature map, sau đó là 6 lớp Convolution phụ trợ, 5 trong số chúng để detect object và đưa ra kết quả dự đoán (gồm bounding box và xác suất xuất hiện của các đối tượng trong bounding box). Nhờ sử dụng feature map có kích thước giảm dần theo độ sâu và bounding box với các tỉ lệ khác nhau trên khung hình đã cải thiện được độ chính xác nhận diện vùng vật thể ở nhiều kích thước khác nhau, đồng thời phân loại vật thể giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh bieh

802413068:55:55 PM8:55:55 PM802413068:55:55 PM8:55:55 PM802413068:55:55 PM8:55:55 PM

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 36<div class="page_container" data-page="36">

Hình 2.7. Kiến trúc mơ hình SSD [13]

● Mơ hình phát hiện khn mặt dựa trên FPN (Feature Pyramid Network)

Với phương pháp SSD ta đạt được tốc độ phát hiện đối tượng nhanh hơn, tuy nhiên phương pháp này dễ bỏ sót những đối tượng có kích thước nhỏ. FPN là mơ hình mạng được thiết kế dựa trên khái niệm Pyramid để giải quyết vấn đề đó.

SSD đưa ra quyết định dựa vào nhiều feature map, những layer ở dưới có độ phân giải cao nhưng giá trị ngữ nghĩa thấp không được sử dụng để nhận dạng đối tượng nên SSD khơng nhận dạng được những đối tượng có kích thước nhỏ. Trong

khi đó, FPN xây dựng thêm mơ hình Down gồm 2 nhánh là Bottom-Up và Down, nhằm xây dựng các layer có độ phân giải cao từ các layer có ngữ nghĩa cao.

● Mơ hình phát hiện khuôn mặt dựa trên Retina Face

Retina Face là một mơ hình phát hiện khn mặt đạt được độ chính xác cao trong những bài tốn phát hiện khn mặt khó (khn mặt nhỏ, khn mặt nghiêng, bị mờ, bị che khuất). Bằng việc gán nhãn thủ công 5 điểm landmark trên tập dữ liệu

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 37<div class="page_container" data-page="37">

WIDER FACE (bộ dữ liệu được chia thành 3 cấp dễ, trung bình, khó tùy vào độ khó của việc phát hiện và các khn mặt có sự thay đổi cao về tỷ lệ, tư thế) và sử dụng

hàm Focal Loss Function góp phần tăng độ chính xác trong việc phát hiện các khn

mặt.

Hình 2.9. Mơ hình Retina Face

Các hình ảnh được phát hiện bởi Retina Face được đưa qua 5 bước xử lý như trên hình:

Sử dụng MobileNet hoặc ResNet50 để khai thác mạng tính năng đường trục (BackBone). BackBone ResNet50 giúp phát hiện khn mặt với độ chính xác cao, BackBone MobileNet giúp phát hiện khuôn mặt với tốc độ nhanh hơn và hiệu quả trên các thiết bị di động.

Hình 2.10. Cấu trúc mạng đường trục MobileNet

Sau đó sử dụng mơ hình FPN và SSH (mơ hình Single Stage Headless phát hiện khn mặt với các kích thước khác nhau từ các lớp khác nhau trong quá trình lan truyền tiến) để phát hiện các đặc trưng tốt hơn của khuôn mặt.

Cuối cùng sử dụng Class Head, Box Head, Landmark Head để xác định vị trí và 5 điểm chính trên khn mặt.

Để tăng cường độ chính xác khi dự báo vị trí chứa khn mặt, Retina Face giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehgiai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh bieh

802413068:55:55 PM8:55:55 PM802413068:55:55 PM8:55:55 PM802413068:55:55 PM8:55:55 PM

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 38<div class="page_container" data-page="38">

Bài tốn object detection thường có sự mất cân bằng nghiêm trọng giữa lớp bounding box có chứa object và lớp bounding box không chứa object (thường background của mỗi bức ảnh sẽ nhiều hơn). Xét hai trường hợp dễ dự báo và khó dự báo:

● Dễ dự báo: Chúng ta thấy rằng mơ hình huấn luyện trên mẫu mất cân bằng dễ dàng dự báo chính xác các mẫu đa số. Những trường hợp này được gọi là dễ dự báo. Xác suất 𝑞𝑖 của của các trường hợp dễ dự báo có xu hướng cao

hơn. Do đó (1 − 𝑞𝑖)𝛾 có xu hướng rất nhỏ và dường như không tác động lên loss function đáng kể.

● Khó dự báo: Trường hợp khó dự báo thì 𝑞𝑖 là một giá trị nhỏ hơn. Do đó độ

lớn tác động của nó lên loss function là (1 − 𝑞𝑖)𝛾 sẽ gần bằng 1. Mức độ tác động này lớn hơn nhiều lần so với trường hợp dễ dự báo.

Do đó hàm Focal Loss có tác dụng rất lớn trong việc điều chỉnh ảnh hưởng của nhãn lên đồng thời loss function và gradient descent đem lại hiệu quả chính xác

cao.

2.2. Bộ căn chỉnh khuôn mặt (Face Alignment)

Sau khi phát hiện và xác định được vị trí khn mặt, vùng khn mặt được tách ra từ ảnh có thể ở các trạng thái khác nhau, các góc độ khác nhau. Có những khn mặt bị chéo và cũng có thể bị lệch do bước detect chưa chính xác trong việc lấy ra khung hình chuẩn của mặt. Vì thế việc căn chỉnh lại khuôn mặt là cần thiết để nâng cao độ chính xác khi nhận diện khn mặt.

Để làm được điều này, chúng ta cần xác định được những điểm đặc biệt trên khuôn mặt như mắt, mũi, ... từ đó áp dụng các phương pháp biến đổi hình học như: Euclidean Transformation, Similarity Transformation, Affine Transformation, Projective Transformation để khuôn mặt trở về theo quy chuẩn.

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 39<div class="page_container" data-page="39">

Hình 2.11. Các phép biến đổi hình học

Để làm được điều này cần xác định được cấu trúc khn mặt. Có rất nhiều kiểu cấu trúc khuôn mặt khác nhau nhưng về cơ bản, chúng ta sẽ xác định các phần miệng, lông mày phải, lông mày trái, mắt phải, mắt trái, mũi, quai hàm. Có rất nhiều thuật tốn cho vấn đề

này, trong đó có bộ xác định facial landmark của thư viện Dlib được huấn luyện trên bộ dữ liệu iBUG 300-W. Bộ xác định facial landmark này sẽ xác định 68 điểm chính theo tọa độ

(x, y) cấu tạo nên khn mặt người.

Hình 2.12. Ví dụ các điểm facial landmark

Việc xác định được càng nhiều điểm landmark thì khn mặt người càng cụ thể, rõ ràng, chính xác hơn. Từ đó căn chỉnh lại khn mặt chuẩn hơn.

Hình 2.13. Ví dụ alignment face

2.3. Bộ chống giả mạo khuôn mặt (Face Anti-spoofing)

Phát hiện giả mạo khuôn mặt là một bước quan trọng trong các hệ thống nhận dạng khn mặt. Việc hình ảnh hoặc video chứa khn mặt của ai đó trên các trang web hay mạng xã hội khiến cho các hệ thống sinh trắc học nhận diện dựa trên khuôn mặt rất dễ bị tấn cơng khi kẻ tấn cơng thay vì đưa mặt mình để hệ thống nhận diện thì sử dụng hình ảnh khn mặt đã được in trên giấy hoặc xuất hiện trong video quay sẵn của một người có trong hệ thống.

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM80Thursday, June 13, 20248:55:58 PM8:55:58 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>Trang 40<div class="page_container" data-page="40">

Hình 2.14. Ví dụ các cách tấn cơng giả mạo trong các hệ thống bảo mật

Một số phương pháp chính cho bài tốn chống tấn cơng giả mạo khuôn mặt:

❖ Phương pháp dựa trên các tác động của con người

Phương pháp này chủ yếu dựa trên những hành động, cử chỉ tự nhiên của người dùng hoặc do hệ thống yêu cầu. Trong đó có 2 phương pháp chính là phát hiện nháy mắt và thử thách - phản hồi.

❖ Phương pháp phát hiện nháy mắt

Nháy mắt là hành động tự nhiên của con người, do đó hệ thống sẽ thực hiện quay kiểm tra một chuỗi hình ảnh chứa khn mặt có nháy mắt hay khơng, nếu có nháy mắt thì khn mặt là thật và ngược lại, nếu khơng có nháy mắt thì khn mặt là giả mạo.

Phương pháp này dễ triển khai trên các thiết bị, chi phí thực hiện thấp, thuận tiện với người dùng do nháy mắt là hoạt động hoàn toàn tự nhiên của con người, chống tấn cơng giả mạo bằng hình ảnh in sẵn. Tuy nhiên, phương pháp này có một số hạn chế lớn là không thể phát hiện chống tấn công giả mạo bằng video hoặc sử dụng các sản phẩm 3D.

❖ Phương pháp thử thách - phản hồi

Hệ thống sẽ yêu cầu người dùng thực hiện một hoặc một số thao tác, hành động nào đó trên khuôn mặt (thử thách) như: quay mặt sang trái, phải, trên, xuống, nhắm mắt, cười, ..., các hành động này được yêu cầu ngẫu nhiên, không theo thứ tự có sẵn và số lượng để tăng tính bảo mật, sau đó người dùng phải thực hiện (phản hồi) để hệ thống kiểm tra.

Phương pháp thử thách - phản hồi đã khắc phục được nhược điểm lớn nhất của phương pháp phát hiện nháy mắt là người dùng sử dụng video đã quay sẵn. Tuy nhiên, nhược điểm lớn là người dùng có những trải nghiệm khơng tốt khi phải thực hiện nhiều thao tác mới được nhận diện. Nếu thực hiện sai thao tác nào thì sẽ phải làm lại từ đầu và rất khó cho những người khiếm thị.

80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM80Thursday, June 13, 20248:55:56 PM8:55:56 PM

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

</div>

phát triển hệ thống điểm danh trong lớp học sử dụng công nghệ nhận diện khuôn mặt

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

<b>NHẬN XÉT CỦA GIẢNG VIÊN HƯỚNG DẪN </b>

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

<b>LỜI CẢM ƠN </b>

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

<b>DANH MỤC CÁC HÌNH VẼ </b>

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

<b>CHƯƠNG 1: TÌM HIỂU BÀI TỐN ĐIỂM DANH SỬ DỤNG NHẬN DIỆN KHN MẶT </b>

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

<b>CHƯƠNG 2: KHẢO SÁT CÁC CÔNG NGHỆ XỬ LÝ ẢNH, HỌC MÁY TRONG HỆ THỐNG NHẬN DIỆN GƯƠNG MẶT </b>

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

80giai uhau giam hgheo theo huohg tieu eah hgheo dc ehieu tai xa muohg dahg huyeh muohg ahg tihh dieh biehThursday, June 13, 2024

Tài liệu liên quan

Tài liệu bạn tìm kiếm đã sẵn sàng tải về