A SOLUTION FOR ATTENDANCE CHECKING WITH FACE RECOGNITION TECHNOLOGY AND APPLICATION AT LABORATORIES IN FACULTY OF INFORMATION TECHNOLOGY

Vietnam J. Agri. Sci. 2024, Vol. 22, No. 1: 94-106 Tạp chí Khoa học Nơng nghiệp Việt Nam 2024, 22(1): 94-106
www.vnua.edu.vn

MỘT GIẢI PHÁP ĐIỂM DANH BẰNG CÔNG NGHỆ NHẬN DẠNG KHUÔN MẶT
VÀ ỨNG DỤNG TẠI PHÒNG THỰC HÀNH KHOA CÔNG NGHỆ THÔNG TIN

Lương Minh Quân*, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền

Khoa Công nghệ thông tin, Học viện Nông nghiệp Việt Nam
*Tác giả chính liên hệ:

Ngày nhận bài: 03.07.2023 Ngày chấp nhận đăng: 05.01.2024

TÓM TẮT

Mỗi gương mặt có một thuộc tính đơn nhất do đó hình ảnh gương mặt được sử dụng như một khóa bảo mật để
truy cập tài khoản cá nhân trong các lĩnh vực như ngân hàng, dịch vụ thương mại điện tử, tài khoản cá nhân trên
điện thoại hoặc máy tính. Nghiên cứu này nhằm mục đích đưa ra một giải pháp mới để điểm danh sinh viên tham dự
lớp học bằng công nghệ nhận diện khuôn mặt khi kết hợp các mạng học sâu đa nhiệm để phát hiện khuôn mặt trong
ảnh hoặc video, công nghệ mã hóa của mạng FaceNet để số hóa khn mặt phát hiện được và thuật tốn phân lớp
để tìm kiếm và so khớp khuôn mặt cần nhận diện với thông tin của khuôn mặt được lưu trữ trong cơ sở dữ liệu.
Nghiên cứu đã thu được bộ cơ sở dữ liệu điểm danh sinh viên tham dự lớp học, chương trình máy tính thực hiện
việc điểm danh bằng cơng nghệ nhận diện khn mặt và phân tích đánh giá hiệu quả của các chế độ điểm danh
khác nhau bao gồm: sử dụng hình ảnh chụp của từng nhóm nhỏ sinh viên; sử dụng webcam kết nối máy tính theo
các chế độ tự động và bán tự động. Với hệ thống điểm danh này, giáo viên có thể kiểm sốt thơng tin tham dự lớp
học của sinh viên, dễ dàng phát hiện gian lận của sinh viên trong học tập tại các lớp học phần (lý thuyết và thực
hành) và thi hết học phần của sinh viên.

Từ khóa: Mạng học sâu đa nhiệm, FaceNet, thuật tốn phân lớp, phát hiện khn mặt, nhận dạng khn mặt.

A Solution for Attendance Checking with Face Recognition Technology

and Application at Laboratories in Faculty of Information Technology

ABSTRACT

Each human face has an unique characteristic so the face image is used as a security key to access personal
accounts in many domains such as bankings, E-commerce services, phone or computer personal accounts. This
study aimed to introduce a new solution for class attendance checking by using face recognition technology when
combining multi-tasking deep learning networks, to detect faces in photos or videos, encryption of FaceNet to digitize
detected faces and support vertor machine clustering algorithm to search and match the face to be recognized with
the face stored in the database. This research has obtained a database of student attendance, a computer program
that implements the attendance by facial recognition technology, and analyzed and evaluated the effectiveness of
other attendance methods, included: using photographs of small group of student and using a webcam connected to
a computer in automatic and semi-automatic modes. With this kind of attendance checking system, teachers can
control students' class attendance, easily detect cheating in study and examination in both theory and practicum
courses and the final exams.

Keywords: Multi-tasking deep learning networks, FaceNet, support vector machine, face detection, face
recognition, class attendance.

1. ĐẶT VẤN ĐỀ nan giâi đối vĆi công tác quân lý học têp cûa
sinh viên.
Thái độ học têp, tham d lp hc cỹng nhỵ
gian lờn trong hc tờp v thi c ang l vỗn VĆi nhĂng hình thĀc điểm danh thông
thỵng ang ỵc ỏp dýng hin nay nhỵ: gi tờn
94

Lương Minh Quân, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền

tÿng sinh viên; điểm danh theo thĀ tă vð trí PIC Microcontroller 16F877A. Ngô Tùng SĄn &
ngồi; làm bài kiểm tra 5 phỳt lỗy thụng tin cs. (2020), đã nghiên cĀu và phát triển hệ thng

sinh viờn tham d lp; m s ổu ngỵi trong hỗ trĉ điểm danh vĆi camera giám sát täi giâng
lĆp;„ Các cách thĀc điểm danh ć trên chỵ cho ỵng s dýng mọng hc sõu (DCNN) tọi ọi
phộp giõng viờn nớm ỵc thụng tin tham d hc FPT. Trổn Nhỵ í & Nguyn Phỵng Học
lp hc cỷa sinh viờn mt cỏch tỵng i v gổn (2021), ó kt hp Haar-Cascade v mọng hc
nhỵ khụng th phỏt hin ỵc tỡnh trọng såu đa nhiệm (MTCNN) vào thuêt toán
gian lên vĆi trỵng hp sinh viờn thuờ mt sinh ARCFACE (Additive Angular Margin Loss) giúp
viên khác đi học và điểm danh thay cho mình. câi tiến về mðt tốc độ xā lý và giâm thąi gian
nhên däng khuôn mðt.
Vỗn trờn ủi húi nh quõn lý và giáo
viên giâng däy lĆp học phỉn cỉn có một phỵng Trong nghiên cĀu này chúng tôi sā dýng
pháp tiếp cên mĆi trong việc quân lý học têp và cụng ngh nhờn din cỷa DeepFace ỵc phát
thi cā nhìm phát hiện và ngën chðn các gian triển bći FaceBook phỏt trin cụng ngh lừi
lờn xuỗt hin trong lp hc, kp thi ỵa ra cõnh cỷa chỵng trỡnh nhên diện
báo tĆi sinh viên và gia đình sinh viên bit ỵc
thc trọng hc tờp hin tọi cỷa con em mình. 2. PHƯƠNG PHÁP NGHIÊN CỨU

Nghiên cĀu về cơng nghệ nhên däng bìng 2.1. Mng hc sõu a nhim MTCNN
khuụn mt ỵc phát triển và Āng dýng trong
nhiều lïnh văc khác nhau nhỵ: ng dýng cụng MTCNN là một mäng nĄ-ron có thể thăc
nghệ nhên däng khn mðt trong quân lý hành hiện nhên diện khn mðt và cën chỵnh khn
chính cûa nhũm sinh viờn trỵng ọi hc Thỏi mðt trên hình ânh. Zhang & cs. (2016) đã giĆi
Nguyên (2017). Yugashini & cs. (2013), đã phát thiệu mäng nĄ-ron này bao gồm 3 mäng riêng
triển mơ hình cāa tă động địng mć khi kết hĉp biệt (Hình 1).
thông tin nhên däng khuôn mðt và bộ câm biến

Nguồn: Zhang & cs. (2016).
Hình 1. Các giai đoạn của mạng đa nghiệm MTCNN

95

Một giải pháp điểm danh bằng công nghệ nhận dạng khn mặt và ứng dụng tại Phịng Thực hành Khoa Công nghệ
thông tin

2.1.1. Mạng P (Proposal Network) v kớch thỵc 24 ì 24 v ỵc truyn vo mọng
R-Net. Kết quâ đæu ra cûa mäng R-Net cho biết
Một bộ hình ânh, là bân sao cûa ânh gốc vĆi đỉu vào có phâi là khn mðt hay khụng, bao
kớch thỵc thay i theo cỗu trỳc kim tă tháp gồm 1 vòctĄ 4 phỉn tā mơ tâ biên giĆi hän cûa
(Image Pyramid) ỵc ỵa qua mọng P xỏc khn mðt và 1 vịctĄ có 10 phỉn tā mơ tâ vð trí
đðnh các hộp giĆi hän chĀa khuôn mðt và giá trð trên khn mðt đị. Đỉu ra cûa mäng này sẽ
mĀc độ tin cêy cûa các hộp này. Thuêt toán loọi ỵc truyn vo mọng tip theo, mäng O-Net.
trÿ để lội bó các hộp giĆi hän cị tin cờy nhú
hn ngỵng v thuờt toỏn NMS (No - Max 2.1.3. Mạng O (Output Network)
Supression) để lội bó các hộp giĆi hän có tỵ lệ
trùng nhau vỵt ngỵng cho phộp. Mäng này cỹng thc hin chc nởng tỵng t
nhỵ trong mọng R-Net, vi kớch thỵc õnh ổu
2.1.2. Mng R (Refine Network) vo cỷa mọng ỵc thay i thnh 48 ì 48. Tuy
nhiên, kết quâ đæu ra cûa mäng lúc này không
Mäng R (Refine Network) thăc hiện các cịn chỵ là các tọa độ cûa các hộp gii họn na.
bỵc nhỵ mọng P-Net. Tuy nhiờn, mọng cũn s Tỵng ng vi mi khuụn mt nhờn dọng ỵc
dýng mt phỵng phỏp cò tên là zero-padding, trong ânh, kết quâ trâ về 3 bộ giá trð bao gồm: 4
nhìm thăc hiện việc chđn thêm các điểm ânh có tọa độ cûa hộp giĆi hän; 5 tọa độ điểm cĄ sć trên
giá trð 0 vào các phæn thiếu cûa hộp giĆi hän khuôn mðt mðt bao gồm: 2 mít, 1 müi, 2 bên
nếu hộp giĆi hän này nìm ngồi biên cûa ânh. cánh môi và hệ số độ tin cêy cûa mi hp gii họn.
Tỗt cõ cỏc hp gii họn ny s ỵc iu chợnh

Hỡnh 2. Mng xut P

Hình 3. Mạng tinh chỵnh R

Hình 4. Mạng O

96

Lương Minh Quân, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền

2.1.4. Dữ liệu huấn luyện của mạng MTCNN luyện cûa mơ hình và đäi diện cho một têp hĉp
các c trỵng cỷa khuụn mt, ũng vai trủ quan
Zhang & cs. (2016) đã tiến hành so sánh trng trong vic phõn loọi cỏc i tỵng trong
hiu quâ cûa mäng MTCNN trong phát hiện chiu khụng gian ó ỵc bin i. Vũct nhỳng
khuụn mt vi cỏc phỵng phỏp tồn tin nhỗt rỗt hu dýng trong việc tìm các lân cên trong
trên các têp d liu õnh ln nhỵ FDDB (Face một cým cho sïn, dăa vào mối quan hệ theo
Detection Data Set and Benchmark), WIDER không cách giĂa các vịctĄ nhúng vĆi nhau.
FACE, AFLW (Annotated Facial Lanmarks in Trong nghiên cĀu về số chiều số hóa cûa vũct
the Wild). Thc nghim cho kt quõ vỵt tri v nhúng, Schroff. & cs. (2015) đã chỵ ra rìng vịctĄ
độ chính xác và duy trỡ ỵc tc x lý theo nhúng 128-D cho kết quâ tối þu về độ chính xác.
thąi gian thăc.
2.2.2. Mạng Inception
Kiến trúc mọng hc sồu a nhim MTCNN
tỵng i phc tọp triển khai một cách độc Nëm 2014, Google ó gii thiu mt cỗu
lờp trờn tờp d liệu mĆi. Do đò, trong bài báo trúc mäng CNN (Hình 5), vĆi c trỵng l cỏc
ny nhúm nghiờn cu s dýng cỏc mụ hỡnh ỵc khi Inception cho phộp mọng ỵc hc theo cỗu
huỗn luyn t trỵc trờn cỏc tờp d liu ln bći trúc song song, nghïa là vĆi 1 đỉu vào có thể
Ivan de Paz Centeno v ỵc cỗp phộp bi hc ỵc ỵa vo nhiu lp tớch chờp khỏc nhau
vin cụng ngh Massachusetts (MIT) dỵi däng ỵa ra cỏc kt quõ khỏc nhau, sau ũ ỵc gộp
mã nguồn mć. läi thành 1 kết quâ duy nhỗt ổu ra. Vic hc
song song ny giỳp mọng cú th hc ỵc nhiu
2.2. Mng FaceNet chi tiết hĄn, lỗy ỵc nhiu c trỵng hn so vi
mäng CNN truyền thống. Ngoài ra, mäng cüng
2.2.1. Véctơ nhúng áp dýng các khối tích chêp có kernel bìng 1 × 1
nhỡm giõm kớch thỵc cỷa mọng, khin vic

Là một vòctĄ vĆi số chiều c nh, giỏ tr cỷa huỗn luyn tr nờn nhanh hn.
vũct ny ó ỵc hc trong quỏ trỡnh huỗn

Hỡnh 5. Cấu trúc mạng Inception V1

Hình 6. Cấu trúc của Triplet Loss

97

Một giải pháp điểm danh bằng công nghệ nhận dạng khn mặt và ứng dụng tại Phịng Thực hành Khoa Công nghệ
thông tin

2.2.3. Hàm mất mát 3 điểm (Triplet Loss) model) cûa mäng học sồu FaceNet ỵc nghiờn
cĀu bći Schroff & cs. (2015) khi sā dýng mäng
Trong mäng CNN vĆi hàm Loss truyền nĄ-ron tích chờp sõu (DNN) vi cỗu trỳc cỏc
Inception cûa Szegedy & cs. (2015) trên têp dĂ
thống, ć đị ta chỵ so sánh giá trð đæu ra cûa liệu LFW (Labeled Faces in the Wild) và DB
(Youtube Faces) để nhên däng khuôn mðt.
mäng vĆi giá trð thăc (ground truth) cûa dĂ liệu.
2.3 Kết hợp mạng MTCNN và FaceNet
Schroff. & cs. (2015) ó ỵa ra hm mỗt mỏt 3
Trong nghiên cĀu này, nhóm nghiên cĀu sā
điểm (triplet loss) bao gồm 3 giá trð đỉu vào: mó dýng mäng học såu đa nhiệm MTCNN để phát
hin khuụn mt ngỵi trong bc õnh cổn phõn
neo xia anchor - là ânh khn mðt đỉu ra cûa tích. Mi hỡnh õnh khuụn mt phỏt hin ỵc t
mọng ny s ỵc cớt v thay i kớch thỵc
mọng; x p  positive  - là ânh khuôn mðt cỷa thnh kớch thỵc chuèn 160 × 160 pixels và
i ỵc truyn qua mọng FaceNet s húa thnh
vòctĄ 128 chiều. VòctĄ s hũa ny ỵc lỵu lọi
cựng mt ngỵi ging vi anchor; xin nagative  - thành bộ cĄ sć dĂ liệu cĄ bân và ỵc s dýng

so sỏnh mc tỵng t nhau gia cỏc khuụn
l õnh khuụn mt cỷa mt ngỵi khỏc vi mðt bìng cách tích không cách giĂa các vịctĄ
anchor. u cỉu cûa tht tốn Triplet Loss là vĆi nhau thơng qua tht tốn phân lĆp SVM.
căc tiểu hóa không cách euclid (Euclidean
distance) giĂa xia và xip (anchor – positive) 3. KẾT QUẢ VÀ THẢO LUN

tỵng ng vi õnh khuụn mt cỷa cựng mt nhõn Để hoàn thành việc thu thêp dĂ liệu và
däng và căc đäi hóa khoâng cách giĂa xia và xin phỏt trin chỵng trỡnh nhờn diện dăa trên
mäng hc sồu a nhim MTCNN, FaceNet v
(anchor negative) tỵng Āng vĆi ânh khuôn mðt tht tốn phân lĆp SVM, nhóm nghiên cĀu đã
cûa các nhân däng khác nhau (Hình 6). tiến hành thu thêp dĂ liệu ânh khuôn mðt cûa
sinh viên các nhóm thăc hành täi Bộ môn Vêt
f xia   f xip     f 2 xia   f xin  (1) 2 lý, Khoa Công nghệ thơng tin trong không thąi
2 2 gian tÿ tháng 1/2023 tĆi tháng 6/2023. Giao
din phổn mm ỵc thit k bći PyQt5
Trong đó: Designer, dăa trên ngơn ngĂ lêp trình Python.

- f xia  , f xip  , f xin  là các vòctĄ nhúng mã 3.1. Thu thập dữ liệu ảnh sinh viên tại
Phịng thực tập Vật lý, Khoa Cơng nghệ
hóa cûa ânh xia , xip , xin thông tin

- f xia  , f xip  , f xin   là têp hĉp các bộ Quá trình thu thêp dĂ liệu ânh cûa 200
sinh viên ỵc thc hin bi phổn mm chýp
ba triplets trong b dĂ liệu đào täo có bêc là N õnh t ng, ỵc phát triển bći nhóm nghiên
cu. S lỵng õnh chýp vi mi mộu l 30 ânh.
- α (margin) là độ sai lệch tối thiểu giĂa Để việc phân tích dĂ liệu và nhên däng khuôn
mt ỵc chớnh xỏc thỡ quỏ trỡnh chýp õnh
f  x p  và f  x n  khn mðt phâi thóa mãn một số điều kiện sau:
i i
- Ngỵi ỵc lỗy mộu khụng eo khốu

mọng hc ỵc nhiều “tri thĀc” hĄn, trang, cách camera tÿ 40 n 50cm thu ỵc
trong mi bú d liu (mini-batch) im positive
ỵc chn nỡm xa nhỗt cú th so vi anchor,
im negative ỵc chn nỡm gổn nhỗt cú th so
vi anchor, cỏc hm argmin v argmax ỵc s
dýng tìm ra các cðp triplets thóa mã u cỉu
về không cách.

Hàm mỗt mỏt (Loss) tng quỏt ỵc xỏc

nh bi cụng thc sau:

L   f N  xia   f xip   f 2 xia   f xin    2 
i1  2 2

(2)

2.2.4. Mơ hình pre-trained với FaceNet
Trong nghiên cu ny, nhúm s dýng mụ

hỡnh ó ỵc o tọo t trỵc (pre-trained

98

Lương Minh Quân, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền

hình ânh khn mðt rõ nét, không bð mą trong húa cú th ỵc ỏnh giỏ mt cỏch nh tớnh
khung hỡnh kớch thỵc 640 × 480 pixels. dăa vào phân tích ć trên. Trong nghiên cĀu
này, chúng tôi sā dýng Nimgs/persion = 30 để cån
- Ngỵi ỵc lỗy mộu ỵc khuyn ngh cú đối gia chớnh xỏc cỷa kt quõ nhờn dọng

tỵng tỏc vĆi nhóm nghiên cĀu trong q trình và thąi gian x lý cỹng nhỵ ti nguyờn cỷa
chýp hỡnh, thu ỵc õnh chýp vi nhiu máy tính hiện cị.
träng thái câm xúc khác nhau (cỵi, hỏ ming,
nhỏy mớt, nhớm mớt,), phong phỳ d liệu 3.2.2. Phương pháp phân tích dựa trên các
số hóa và nâng cao độ chính xác trong quá trình thuật toán máy học
nhên däng.
Để đánh giá bộ dĂ liệu kiểm tra cûa 200
- Ngỵi ỵc lỗy mộu s thay đổi vð trí góc (mộu), mi mộu cú 30 õnh, mi õnh ỵc mó húa
cỷa khuụn mt so vi camera thu ỵc các thành vòctĄ 128 - D, trong đị 80% dĂ liệu cho
gịc nhìn khác nhau: quay đỉu tÿ bên trái têp đào täo và 20% dĂ liệu cho têp kiểm tra
(-45 độ) tĆi bên phâi (+45 độ); quay đỉu tÿ góc trong bõng 1.
nhỡn chớnh din hỵng lờn cao 10 . Thi gian
lỗy mộu l 15s. Nhóm nghiên cĀu sā dýng các mơ hình học
mỏy t thỵ vin sklearn để đánh giá độ chính
- Khi chýp ânh, có thể thay đổi mĀc độ xác cûa các thuêt toán. Kết quâ ỵc mụ tõ
chiu sỏng lờn khuụn mt thu ỵc các góc trong bâng 2. Tÿ kết quâ trờn cho thỗy, cỏc mụ
phi sỏng khỏc nhau, iu ny sẽ cò đòng gòp hình học máy KNN v SVM cho kt quõ cũ
rỗt quan trng khi nhên däng ć các điều kiện chính xác ti trờn 99% vi b d liu ỵc s húa
ỏnh sỏng khỏc nhau cỷa mụi trỵng lp hc, bi mọng MTCNN - FaceNet.
giõng ỵng, hi trỵng,
Tÿ nhĂng phân tích ć trên, thn tốn
3.2. Phân tích số liệu số hóa khn mặt phân lĆp SVM vĆi vai trủ l bỵc th ba cỷa quỏ
trình nhên diện để xác đðnh thơng tin cûa
3.2.1. Phương pháp phân tích thành phần khn mðt cỉn nhên diện.
chính PCA
3.3. Triển khai ứng dụng tại Phịng Thí
Phỵng phỏp phồn tớch thnh phổn chớnh nghiệm Vt lý, Khoa Cụng ngh thụng tin,
(PCA) ỵc s dýng để phân tích să phân bố Học viện Nông nghiệp Việt Nam
trong không gian 3 chiều cỗu trỳc d liu cỷa
vũct nhỳng 128-D cho tờp mộu 200 bộ dĂ liệu. 3.3.1. Các chế độ điểm danh

Các đồ thð trên hình 7, biểu diễn dĂ liệu cỷa
vũct nhỳng 128-D ỵc mó húa bi mọng Phỵng phỏp im danh tham d lp hc
FaceNet vi s lỵng õnh cha khuụn mt bỡng cụng ngh nhờn din ỵc nhóm nghiên
Nimgs/persion thay đổi tÿ 1 đến 30. Điểm dĂ liệu cĀu trin khai tọi cỏc nhúm thc hnh vờt lý,
ỵc phõn bố nìm trong hình cỉu bán kính Khoa Cơng nghệ thơng tin. Do tính chỗt riờng
R0. S phõn b cỷa cỏc im d liu ny tỵng biệt cûa học phæn thăc hành vêt lý: mi nhúm
i hn loọn v chỵa cũ tớnh tờp trung vĆi thăc hành có tối a 25 sinh viờn ỵc chia
Nimgs/persion < 5. Khi Nimgs/persion ≥ 10, các điểm ânh thành 7 nhóm nhó, mỗi nhóm nhó có tÿ 3 đến 4
cûa mỗi bộ d liu khỏc cũ xu hỵng tờp trung sinh viên cùng hĉp tác vĆi nhau để làm bài thăc
theo tÿng cým, khoâng cách giĂa các cým này hành. Do đò, nhòm nghiên cĀu đã tiến hành
trć nên bò hĄn. VĆi Nimgs/persion ≥ 20, bộ 200 dĂ điểm danh bìng cụng ngh nhờn din trong mt
liu ỵc phõn b tỵng đối ổn đðnh trong hình s trỵng hp sau:
cổu cú bán kính r ~ 1 R0.
- Nhên diện thơng qua ânh chýp các nhóm
7 sinh viên trong lĆp học: yêu cæu vĆi ânh chýp
cæn phâi rõ nét, các khuôn mðt không bð che
Nhỵ vờy vic la chn s lỵng ânh cûa khuỗt, gúc chýp trc din.
mi nhõn däng Nimgs/persion trong bộ dĂ liệu mã
99

Một giải pháp điểm danh bằng công nghệ nhận dạng khn mặt và ứng dụng tại Phịng Thực hành Khoa Công nghệ
thông tin

- Nhên din theo thi gian thc thụng qua trỵc camera, hệ thống sẽ phân tích và nhên diện
hệ thống camera giám sát hoðc webcam: việc tng ngỵi trong mi khung hỡnh. Nhũm ó
im danh theo thi gian thc ỵc thc hin khi nghiên cĀu và phát phiển công nghệ nhên diện
mỗi sinh viên hoðc tÿng nhóm sinh viên đĀng theo thąi gian thăc vĆi 3 chế độ cĄ bân:

Mỗi dữ liệu chứa 1 ảnh Mỗi dữ liệu chứa 5 ảnh Mỗi dữ liệu chứa 10 ảnh

Mỗi dữ liệu chứa 15 ảnh Mỗi dữ liệu chứa 20 ảnh Mỗi dữ liệu chứa 30 ảnh

Hình 7. Phân bố khơng gian của điểm ảnh được mã hóa bởi FaceNet

Bảng 1. Tham số bộ dữ liệu số hóa của 200 sinh viên

Số thứ tự Số mẫu Số ảnh Số chiều mã hóa
Tập dữ liệu 200 6000 128
Tập training 160 4800 128
Tập testing 40 1200 128

Bảng 2. So sánh kết quả các mơ hình máy học

Phương pháp máy học Tham số Độ chính xác
Multilinear Regression Mặc định 49,43%
Decision Tree Regressor Mặc định 58,17%
Polynomial with Ridge Degree = 3, alpha = 1 83,15%
Polynomial Regression Degree = 3 85,08%
Random Forest Regresso Mặc định 89,23%
K nearest neightbor (KNN) N_neighbors = 4 99,84%
Support Vertor Machine (SVM) Kernel = ’linear’ C = 1 100%

100

Lương Minh Quân, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền

Hình 8. Giao diện chính của phần mềm nhận dạng khn mặt

Hình 9. So khớp hình ảnh (hình ânh tác giâ thăc hiện nghiên cĀu)

+ Chế độ tự do (Free mode): trong chế độ điệp: “2 khn mðt này có phâi cùng một nhân
này, thơng tin cá nhân về mỗi khuôn mðt trong däng hay không?”. Việc so khĆp hỡnh õnh bỡng
khung hỡnh s ỵc thụng bỏo, khi nhỡn vào mớt thỵng cú th ỵc thc hin mt cỏch d
mn hình thì giáo viên có thể biết sinh viên nào dàng, do đò việc điểm danh sinh viên cò độ
(tên, MSV,„) chớnh xỏc cao v trỏnh ỵc cỏc trỵng hp gian
lờn cỷa ngỵi hc nhỵ: thuờ ngỵi i hc, thuờ
+ Chế độ điểm danh có kiểm sốt: chế độ ngỵi i thi, phỏt hin ngỵi lọ mt (khụng phõi
ny cho phộp giỏo viờn cú th kim soỏt ỵc thành viên cûa lĆp),„
thơng tin nhên diện bći phỉn mm cũ ỳng vi
d liu sinh viờn ỵc lỵu tr trong cĄ sć dĂ liệu + Chế độ điểm danh khơng kiểm sốt: trong
hay khụng. thc hin ý tỵng nờu trờn, mi chế độ này, việc im danh ỵc thc hin mt
khi hỡnh õnh khuụn mt trong khung hỡnh ỵc cách tă động mà khơng có să can thiệp tÿ phía
phát hiện, hệ thống sẽ so khĆp khn mðt ũ vi giỏo viờn hay ngỵi quõn lý phổn mm.
khuụn mt ỵc lỵu tr trờn cĄ sć dĂ liệu thông thông tin nhên däng đâm bâo độ chính xác cao,
qua cĄ chế số hóa cûa vịctĄ nhúng để tìm ra nhóm nghiên cĀu đã bổ xung tht tốn nhên
vịctĄ nhúng có không cách gổn nhỗt tỵng ng däng trên nhiều khung hình liên tiếp vĆi số
vĆi khn mðt cỉn nhên däng. Khi đị, một bâng lỵng N t 20 n 30 khung hỡnh (frame), do
thụng bỏo ỵc gi ti ngỵi quõn lý vĆi thông vêy mỗi sinh viờn s ng trỵc camera trong

101

Một giải pháp điểm danh bằng công nghệ nhận dạng khn mặt và ứng dụng tại Phịng Thực hành Khoa Cụng ngh
thụng tin

thi gian 2-3 giõy hon tỗt quỏ trình phân biến cûa hình ânh khn mðt; điều kiện chiếu
tích. Vì mỗi khung hình sẽ cho kết quâ nhên sỏng; s lỵng sinh viờn trong b c s d liu,
dọng cỷa mt ngỵi nào đị trong cĄ sć dĂ liệu,
nên 20 khung hình sẽ cho 20 kết quâ có thể 3.3.2. Kết quâ nhận diện qua ânh chụp
giống hoðc khác nhau. Kết quâ nhờn dọng ỵc tng nhúm sinh viờn thc hnh
t ng lỵu v c s d liu nu s lỵng khung

hỡnh trõ v cựng mt ngỵi v phõi thúa món nh chýp cỷa tng nhúm nhú ỵc tin hành
điều kiện: tin x lý trỵc khi ỵa vào phæn mềm nhên diện
để đâm bâo kết q cị độ chính xác trên các têp
Kết quâ nhên däng > = round (coeff * N) (3) cĄ bân có 25 sinh viên là 100%. Tÿ bâng số liệu 3
v hỡnh 10 ta nhờn thỗy chớnh xỏc cũ xu hỵng
Trong đị, coeff là hệ số trong không [0, 1]; giõm dổn khi s lỵng mộu trong b d liu cổn
N l s lỵng khung hỡnh cổn phõn tớch. Các giá nhên diện tëng lờn c trung bỡnh 1% cho 100 mộu
tr ny ỵc điều chỵnh dăa trên các điều kiện v ỵc ngoọi suy theo hỡnh 11 khi kớch thỵc
thc t cỷa quỏ trỡnh nhờn dọng nhỵ: độ phổ méu tëng lên tĆi 500 sinh viên.

Bảng 3. Phân tích kết quả nhận diện theo ảnh chụp

Số lượng sinh viên Độ chính xác Sai số
25 1,0000 0,0000
50 1,0000 0,0000
75 1,0000 0,0000
100 0,9900 0,0013
125 0,9900 0,0020
150 0,9900 0,0040
175 0,9886 0,0011
200 0,9800 0,0038

Hình 10. Phân tích kết quả nhận diện theo số lượng sinh viên trong mẫu

102

Lương Minh Quân, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền
Hình 11. Ngoại suy mức độ suy giảm của độ chính xác khi kích thước mẫu tăng lên

Hình 12. Chương trình nhận dạng trong chế độ tự do (Free Mode)

Phân tích trên cho thỗy rỡng, khi trin khai vi mỏy tớnh, mt camera ỵc kt ni vi mỏy
h thng nhờn dọng qua ânh chýp vĆi têp dĂ tính, ć độ cao 170cm (tỵng ỵng cao trung
liu cũ kớch thỵc ln, chỳng ta cỉn phâi thăc bình cỷa sinh viờn) ỵc b trớ tọi ca ra vo
hin thờm mt s phõn tớch b xung nhỵ phồn cûa lĆp học. Khi sinh viờn vo lp, lổn lỵt
chia tờp d liu theo gii tớnh; phồn chia theo tng ngỵi hoc tng nhúm t 3 n 4 ngỵi s
tui; chia nhó têp dĂ liệu thành các têp có ng trỵc camera, mt nhỡn thợng hỵng v
cũ kớch thỵc nhú hn 200. phía camera trong không thąi gian tÿ 1 đến 2
giåy để hệ thống thu läi hình ânh và xā lý, kết
3.3.3. Kết quâ nhận dạng theo thời gian thực quâ nhên däng sẽ hiển thð trên cāa sổ màn
qua hệ thống camera giám sát tự động hình cûa máy tính. Nhóm nghiên cĀu đã phát
triển 3 chế độ hoät động khác nhau cûa chỵng
tin hnh im danh sinh viên tham dă trình nhên däng.
lĆp học thơng qua hệ thống camera có kết nối
103

Một giải pháp điểm danh bằng công nghệ nhận dạng khn mặt và ứng dụng tại Phịng Thực hành Khoa Công nghệ
thông tin

a. Chế độ tự do (Free Mode) + Chọn “No” nếu hai hình ânh này khơng
mô tâ thông tin cûa cùng một nhân däng, giáo
Trong chế độ này, tÿng nhóm sinh viên sẽ viên có thể u cỉu sinh viên thay i v trớ,
ng trỵc camera khoõng cỏch nhú hn 1m. khoâng cách so vĆi camera hay thêm chí là träng
Camera sẽ thu läi hình ânh vĆi tốc độ 30 khung thỏi cõm xỳc trờn khuụn mt, thu ỵc kt
hỡnh (frame)/giõy. Mi khung hỡnh s ỵc phõn q nhên däng giống vĆi hình ânh cỉn phân tích.
tích bi chỵng trỡnh phỏt hin cỏc khuụn Khi kết thúc, giáo viên có thể kiểm tra thông tin
mðt. VĆi mỗi khuôn mðt phát hiện ỵc s ỵc im danh bỡng cách truy cêp vào cĄ sć dĂ liệu
mã hóa bći mäng FaceNet. Cuối cùng thuêt “Student_HVN_Database.db”. Bâng “HVN_Class
toán phân lĆp SVM (Support Vector Mechine) _MMTA_ K66 lỵu tr thụng tin im danh cỷa
ỵc s dýng để so khĆp khuôn mðt phát hiện lĆp học theo tÿng buổi học riờng bit.

ỵc vi nhõn dọng trong b d liu c sć.
Khi truy cêp vào thụng tin nhỵ hỡnh 14,
Nhỵ ó bit, mi nhõn dọng ỵc phỏt hin thông tin tham dă lĆp học cûa sinh viên vĆi các
bći hệ thống sẽ đi kñm theo một hệ s mụ tõ trỵng thụng tin nhỵ: Họ và tên; MSV; thąi gian
chính xác cûa kết quâ nhên däng. Hệ số này sẽ n lp; v c bit hỡnh õnh khuụn mt cổn
ỵc so sỏnh vi giỏ tr ngỵng ỵc iu chợnh nhờn dọng v hỡnh õnh lỵu tr trong c s d
bi ngỵi dựng (Proba = 0,901). Nu Proba liu ỵc tớch hp trong trỵng d liu
thụng tin sinh viờn cổn nhờn dọng s ỵc hin Image_Composed giỳp ta phồn bit ỵc kết
thð. Nếu  ≤ Proba, một khung hình mỉu đó kết quâ nhên däng là đúng hay sai . VĆi nhĂng sinh
hĉp vĆi dđng chĂ “Unknown” mơ tâ träng thái viên tham d lp hc s cú dỗu tớch X trong
chỵa xỏc nh ỵc danh tớnh cỷa sinh viờn ũ. trỵng Attendence.
Vi cỗu hỡnh cỷa mỏy tớnh Core i7 - 12700, card
đồ họa NVIDIA GeForce RTX 3070 Ti Laptop Hình thĀc điểm danh cú can thip cỷa ngỵi
GPU, chỵng trỡnh cũ khõ nởng nhên däng đồng quân lý phù hĉp để triển khai trong các lĆp học
thąi 10 khuôn mðt trong khi vén đâm bâo tốc độ tọi giõng ỵng, phũng thc hnh, cỏc bui sinh
30 khung hình /giây (FPS = 30). hột chun mơn, các buổi thi học phỉn,„

b. Hình thức điểm danh tự động có can thiệp c. Hình thức điểm danh tự động không can thiệp
(Authorize Checking) (Self-Checking)

Khi chỵng trỡnh chọy trong ch độ VĆi hình thĀc điểm danh này, quy trình
Authorize Checking (Hình 13), giáo viên yêu thc hin tỵng t nhỵ quỏ trỡnh im danh t
cổu tng sinh viờn ng trỵc camera ghi lọi ng cú can thiệp. Tuy nhiên điểm khác biệt
hình ânh. Hệ thống phỉn mềm sẽ phân tích nìm ć chỗ:
thơng tin trên tÿng khung hỡnh v ỵa ra thụng
bỏo v kt quõ nhờn dọng nu xuỗt hin khuụn + Khụng cổn ngỵi quõn lý xác nhên “Yes”
mðt trong khung hình đị. Một thơng bỏo xuỗt hoc No
hin vĆi câu hói “Are you Ho_Va_Ten_MSV?”,
kèm theo cðp hình ânh cỷa khuụn mt xuỗt + H thng s t phồn tớch thụng tin ngỵi
hin trong cāa sổ FACE DETECTED và hình cỉn nhên däng cị ỳng vi hỡnh õnh lỵu tr hay

õnh i chiu trong cāa sổ IMAGE IN DATA. không thông qua việc bổ xung thêm ràng buộc
số khung hình tối thiểu (Num of frames) mà h
Giỏo viờn hoc ngỵi quân lý sẽ đối chiều thống cæn phân tích phâi thuộc về cùng một
hình ânh nìm trong 2 cāa sổ này để xác nhên nhân däng. Nếu u cỉu số khung hình tối thiểu
thơng tin nhên däng có chính xác hay khơng: ỵc thúa món, h thng s t ng lỵu tr
thông tin vào bâng cĄ sć dĂ liệu
+ Chọn “Yes” nếu 2 khuôn mðt trong FACE
DETECTED và IMAGE IN DATA trùng nhau. Ví dụ: Nếu Nframes = 20 và Ccoeff = 0,7 thỡ s
Khi ũ thụng tin cỏ nhồn cỷa ngỵi ỵc nhờn kt quõ trõ v phõi cựng mt nhõn dọng khi
dọng s xuỗt hin trong danh sách “LIST OF phân tích tÿng khung hình là Nframes × Ccoeff = 14.
STUDENTS v ỵc lỵu vo danh sỏch im Chỵ khi thóa mãn điều kiện trên thì thơng tin
danh trong cĄ sć dĂ liệu. cỷa ngỵi cổn nhờn dọng mi ỵc h thng xỏc
nhờn v lỵu và bâng dĂ liệu điểm danh.
104

Lương Minh Quân, Nguyễn Tiến Hiển, Lê Văn Dũng, Lê Phương Thảo, Nguyễn Thị Huyền

Lỵu ý rỡng, cỏc giỏ tr cỷa Nframes v Ccoeff có hay bó gią, trốn học,„ để hỗ trĉ cụng tỏc quõn lý
th ỵc iu chợnh bi ngỵi quõn lý sao cho sinh viờn cỹng nhỵ chỗt lỵng o tọo ỵc
phự hp vi iu kin thc t khi trin khai quá nâng cao.
trình điểm danh. Hình thĀc điểm danh tă động
khơng can thiệp phù hĉp để áp dýng trong các + Phát hiện tình träng gian lờn trong hc
trỵng hp nhỵ: và thi hết học phỉn: mỗi khn mðt cûa sinh
viên tham dă buổi học và buổi thi đều ỵc lỵu
+ Giỏm sỏt thông tin tham dă lĆp học cûa trĂ và so khĆp vi gỵng mt trong h thng c
sinh viờn nhỵ: bú gią, đến lĆp muộn; thąi gian sć dĂ liệu nên việc trớch xuỗt thụng tin cú th
vo lp mun bao lõu. Tÿ nhĂng dĂ liệu trên, phỏt hin ỵc cỏc sinh viên cố tình gian lên
đĄn vð quân lý sẽ kp thi ỵa ra nhng cõnh trong học và thi một cách nhanh chóng và
báo, liên hệ vĆi gia đình cûa nhĂng sinh viên dễ dàng.

Hình 13. Chế độ điểm danh có kiểm sốt bởi giáo viên

Hình 14. Lưu trữ dữ liệu điểm danh của lớp học

105

Một giải pháp điểm danh bằng công nghệ nhận dạng khn mặt và ứng dụng tại Phịng Thực hành Khoa Công nghệ
thông tin

4. KẾT LUẬN TÀI LIỆU THAM KHẢO

Nhóm nghiên cĀu đã phát triển thành cơng Đào Quang Tồn (2017). Nhận dạng khng mặt trong
phỉn mềm nhên däng khn mt ngỵi da hỗ trợ công tác quản lý tiếp dân. Luận văn Thạc sĩ
trên mäng học såu đa nhiệm MTCNN, số hóa Khoa học Máy tính. Đại học Thái Ngun.
bći cơng nghệ FaceNet và nhên diện khn mðt
bìng tht tốn phân lĆp SVM dăa trên không Erik L.M., Gary B.H., Aruni R.C., Li H. & Gang H.
cách giĂa các vịctĄ số hóa trong khơng gian 128 (2016). Labeled Faces in the Wild: A Survey.
chiều. Nhòm đã áp dýng phæn mềm trên các In Advances in Face Detection and Facial Image
nhóm sinh viên khoa CNTT tham gia thăc têp Analysis. Springer. pp. 189-248.
Vêt lý täi phịng thí nghiệm vĆi các hình thĀc
điểm danh khác nhau: điểm danh qua ânh chýp; Fabian P., Gael V., Alexandre G., Vincent M., Bertrand
điểm danh có kiểm sốt cûa giáo viên và điểm T., Olivier G., Mathieu B., Andreas M., Joel N.,
danh tă động. Số liệu điểm danh theo tÿng buổi Gilles L., Peter P., Ron W., Vincent D., Jake V.,
ỵc lỵu tr trong cĄ sć dĂ liệu giúp giáo viên Alexandre P., David C., Matthieu B., Matthieu P.
dễ dàng thống kê thông tin tham dă lĆp học cûa & Édouard D. (2011). Scikit-learn: Machine
tÿng sinh viên. Learning in Python. JMLR 12, pages: 2825-2830.

Công nghệ điểm danh qua nhên däng Jain V. & Erik L.M. (2010). FDDB: A Benchmark for
khuôn mðt đã hỗ trĉ giáo viên trong việc quân Face Detection in Unconstrained Settings.
lý sinh viên một cách hiệu quâ, qua đò kðp thąi Technical Report UM-CS-2010-009. Dept.

ngën chn ỵc cỏc hỡnh thc gian lờn trong hc of Computer Science, University of
tờp nhỵ: sinh viờn bú hc v thuờ ngỵi khỏc đi Massachusetts, Amherst.
học, im danh; thuờ ngỵi i thi;
Martin K., Paul W., Peter M. R. & Horst B. (2011).
Tuy nhiên, công nghệ điểm danh hiện täi Annotated Facial Landmarks in the Wild: A Large-
chỵa cũ khõ nởng phồn bit hỡnh õnh cỷa ngỵi scale, Real-world Database for Facial Landmark
đĀng trỵc camera v õnh chýp cỷa ngỵi ũ Localization. In Proc. First IEEE International
ỵc lỵu lọi trờn cỏc thit b thụng minh nhỵ Workshop on Benchmarking Facial Image
Ipad, Iphone,„ khi m hỡnh õnh ny ỵc t Analysis Technologies.
trỵc camera để tiến hành điểm danh. Do đò,
các nghiên cĀu chuyên såu hĄn khi phån tích Ngo Tung Son, Bui Ngoc Anh, Tran Quy Ban, Le Phuong
õnh nhit thu ỵc t camera hng ngoọi và Chi, Bui Đinh Chien, Duong Xuan Hoa, Le Van
camera thỵng cổn tip týc ỵc thc hin Thanh, Tran Quang Huy, Le Đinh Duy &
trong giai độn tiếp theo để hồn thiện hĄn cơng Muhammad Hassan Raza Khan (2020).
nghệ hiện đäi này. Implementing CCTV-Based Attendance Taking
Support System Using Deep Face Recognition: A
LỜI CẢM ƠN Case Study at FPT Polytechnic College. Symmetry.
12(2): 307. DOI: 10.3390/sym12020307.
Để hồn thành nghiên cĀu cơng nghệ nhên
däng và triển khai Āng dýng công nghệ này, Schroff. F., Kalenichenko D. & Philbin J. (2015).
nhóm nghiên cĀu chân thành câm Ąn să hỗ trĉ FaceNet: A Unified Embedding for Face
về tài chính cûa Học viện Nông nghiệp Việt Recognition and Clustering. Proceedings of the
Nam; Ban Chû nhiệm Khoa Công nghệ thông IEEE Conference on Computer Vision and Pattern
tin; Bộ môn Vêt lý và đðc biệt là các lĆp sinh Recognition. pp. 815-823.
viên K67 Khoa CĄ - Điện, Khoa Cụng ngh
thụng tin, K66MMT ó tham gia lỗy mộu õnh Szegedy C., Liu W., Jia Y., Sermanet P., Reed S.,
và kiểm thā cơng nghệ nhên däng trong không Anguelov D., Erhan D., Vanhoucke V. & Rabinovich
thąi gian tÿ tháng 11/2022 đến tháng 6/2023. A. (2015). Going deeper with convolutions.
Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition. pp. 1-9.

Trần Như Ý & Nguyễn Phương Hạc (2021). Ứng dụng
Haar-Cascade và MTCNN vào thuật toán
ARCFACE cho hệ thống nhận dạng mặt người.
Tạp chí Cơng thương. (2): 224-230.

Yugashini I., Vidhyasri S. & Gayathri D.K. (2013).
Design and Implementation of Automated Door
Accessing System with Face Recognition.
International Journal of Science and Modern
Engineering. ISSN: 2319-6386. 1(12).

Zhang Z., Zhang K., Li Z. & Qiao Y. (2016). Joint Face
Detection and Alignment using Multi-task
Cascaded Convolutional Networks. IEEE Signal
Processing Letters. 23(10): 1499-1503.

106