Thiết kế chế tạo thiết bị nhận dạng và theo dõi hồ sơ sức

1 HỘI NGHỊ TỔNG KẾT HOẠT ĐỘNG SINH VIÊN NGHIÊN CỨU KHOA HỌC VÀ NHÓM SRT NĂM HỌC 2019-2020

THIẾT KẾ & CHẾ TẠO THIẾT BỊ NHẬN DẠNG VÀ THEO DÕI HỒ SƠ SỨC
KHỎE CỦA NGƯỜI SỬ DỤNG BỞI AI TRÍ TUỆ NHÂN TẠO

DESIGN AND MANUFACTURING FACE RECOGNITION TO MONITOR HUMAN’S
HEALTH BY ARTIFICIAL INTELLIGENCE

SVTH: Huỳnh Đình Sâm1, Nguyễn Minh Sơn2, Trần Thế Mỹ 3 ,Huỳnh Quang Trưởng 4 ,Trần Thăng Thiên Thắng 5
1,2,4,5Lớp 18CĐT2, Khoa Cơ Khí, 3Lớp 18D3, Khoa Điện, Trường Đại học Sư phạm Kỹ thuật - Đại học Đà Nẵng

GVHD: TS. Trần Ngọc Hoàng
Khoa Cơ Khí, Trường Đại học Sư phạm Kỹ thuật - Đại học Đà Nẵng

Tóm tắt - Bài báo này trình bày một mơ hình thiết bị nhận Abstract - This article presents a device model that identifies
dạng và theo dõi hồ sơ sức khỏe của người sử dụng bởi AI trí tuệ and monitors users' health by Artificial Intelligence (AI). In this
nhân tạo. Trong hệ thống này chúng tôi sử dụng esp32-cam để paper, we use esp32-cam to stream video, recognize human
streaming video, nhận diện khuôn mặt người qua mạng và sử faces over the network and use Mlx90614 sensor to collect body
dụng cảm biến Mlx90614 thu thập nhiệt độ cơ thể, kết hợp với temperature, combined with E3F-DS30C4 infrared sensor cam to
cam biến hồng ngoại E3F-DS30C4 để lấy khoảng cách phù hợp calcul appropriate distance. Based on these sensors, we built-in
với cảm biến, tích hợp LCD để xem nhanh kết quả. Sau khi có LCD for quick viewing of results. After full data, data is
đầy đủ dữ liệu, dữ liệu được tổng hợp gữi qua API của synthesized via ThingSpeak's API and data is presented on
ThingSpeak và dữ liệu được biểu diễn trên nền websocket của Node-red websocket.
Node-red.
Key words - esp-cam32, face recognition, mlx90614,
Từ khóa - esp-cam32, face recognition, mlx90614, ThingSpeak, Node-red, Websocket.
ThingSpeak, Node-red, Websocket.

1. Đặt vấn đề ty, văn phòng,…) và kết hợp với cảm biến MLX90614 để
thu thập nhiệt độ cá nhân đó bất cứ lúc nào sau đó gửi lên
Ngày nay, cơng nghệ AI trí tuệ nhân tạo được phát host lưu lại trong Database, khi đã tổng hợp đầy đủ dữ

triển đặc biệt chiếm một vị trí quang trọng trong các liệu đã có dữ liệu được thể hiện trên giao diện WebSocket
ngành cơng nghiệp 4.0. Nó đóng góp rất nhiều giá trị giúp cho người quản lý không cần tiếp xúc gần với cá
trong sản xuất hàng hóa, kiểm duyệt sản phẩm, phân tích nhân cần kiểm tra. Hệ thống này nhằm theo dõi cá nhân
số liệu,… Với tình hình thế giới hiện tại liệu nó có khả này đã đi đâu và việc có dấu hiệu sốt vào thời gian nào,
năng giúp con người vượt qua làn sóng dịch bệnh này? giúp cho doanh nghiệp hoặc văn phòng đưa ra quyết định
phù hợp cho cá nhân đó, ví dụ: Nghỉ phép tự cách ly, hoặc
Ở Việt Nam hay các nước trên thế giới đang đối mặt báo cho cơ quan có thểm quyền đưa vào bệnh viện có nơi
với việc bùng phát dịch bệnh COVID-19 (Dịch bệnh viêm cách ly tập trung tránh tình trạng lây lan cho cộng đồng
đường hô hấp) xuất phát từ Vũ Hán – Trung Quốc. Đến dân cư.
thời điểm hiện tại dịch bệnh đã bùng phát trên toàn cầu và 2. Tổng quan hệ thống
WHO đã ban bố tình trạng khẩn cấp toàn cầu. Ở thời
điểm này theo “Bộ Y Tế Việt Nam” cung cấp cho người Nguyên lý hoạt động của “thiết bị nhận dạng và theo
dân nhưng dấu hiệu nhận biết cơ thể có nguy cơ nhiểm dõi hồ sơ sức khỏe của người sử dụng bởi AI Trí tuệ nhân
corona. Đó là: Sốt cao (trên 38 độ C), Ho, Hụt hơi, khó tạo” trong Hình 1. Trong đó, thiết bị camera và cảm biến
thở, đó là những dấu hiệu bất thường dễ nhận biết. Hệ lụy nhiệt độ liên tục hoạt động thu thập dữ liệu gữi lên server
bệnh lý này tác động đến phần lớn dân số trên thế giới lưu vào trong Database, sau đó biểu diễn dữ liệu đó trên
dẫn đến làm suy nhược nền kinh tế thế giới nặng nề đến nền đồ hoạt laptop hoặc desktop.
trầm trọng. Thế giới khởi động việc nghiên cứu chế tạo
Vacxin chống lại Virus Corona. Hinh 1: Sơ đồ tổng quát mô hình

Nhưng trong thời điểm hiện tại Việt Nam hay các
nước nói riêng cần những biện pháp , công cụ giúp mỗi cá
nhân theo dõi sức khỏe của mình ngay tại nơi làm việc
(cơng ty tư nhân, văn phòng, … ). Trên thực trạng bệnh lý
để nhận biết dễ nhận biết việc sốt cao bất thường là một
triệu chứng dễ test.

Do vậy, nhóm nghiên cứu sinh bọn em đề xuất nghiên
cứu, thiết kế và chế tạo thiết bị nhận dạng và theo dõi hồ
sơ sức khỏe của người sử dụng bởi AI Trí tuệ nhân tạo.

Chúng tôi, sử dụng esp32 – cam truyền(stream) hình ảnh
về host để nhận dạng khn mặt của cá nhân trong (Công

Huỳnh Đình Sâm, Nguyễn Minh Sơn, Trần Thế Mỹ, Huỳnh Quang Trưởng, Trần Thăng Thiên Thắng 2

3. Thiết kế phần cứng Transmit Power 802.11b: 17±2 dBm
3.1. ESP32 Cam (@11Mbps)

ESP32-CAM có một module camera cỡ nhỏ có thể Receiving Sensitivity 802.11g: 14±2 dBm
hoạt động như một hệ thống độc lập với kích thước (@54Mbps)
27x40.5x4.5mm và dòng ở chế độ deep sleep lên đến
6mA. 802.11n: 13±2 dBm
(@MCS7)
ESP32-CAM được đóng gói DIP-16 (Dual In-line
Package) và có thể được lắp trực tiếp vào bo mạch chủ, CCK, 1 Mbps : -90dBm
cung cấp cho khách hàng chế độ kết nối với độ tin cậy
cao, thuận tiện cho việc ứng dụng trong các thiết bị IoT CCK, 11 Mbps: -85dBm
khác nhau.
6 Mbps (1/2 BPSK): -
88dBm

54 Mbps (3/4 64-QAM): -
70dBm

MCS7 (65 Mbps, 72.2
Mbps): -67dBm

Tiêu thụ điện năng + Deep-sleep: 6mA@5V

+ Moderm-sleep:

20mA@5V

+ Light-sleep: 6.7mA@5V

Hình 2: Hình ảnh thực tế esp32-cam Bảo mật WPA/WPA2/WPA2-
Thông số kỹ thuật: Nhiệt độ hoạt động Enterprise/WPS

-20 ℃ ~ 85 ℃

Tên Mô Tả Bộ cảm biến hình ảnh OV2640 có 2 megapixel (1632
Điện áp cung cấp × 1232 pixel), kích thước nhỏ, điện áp hoạt động thấp và
SPI Flash 5V cung cấp tất cả các tính năng của một bộ xử lý hình ảnh
RAM nhờ chip UXGA. UXGA cho hình ảnh lên đến 15 khung
Mặc định 32MB hình / giây. Người dùng có thể kiểm sốt hồn tồn chất
Bộ nhớ ngoài lượng hình ảnh, định dạng dữ liệu và chế độ truyền. Tất
520KB SRAM + 4MB cả các chức năng xử lý ảnh bao gồm đường cong gamma,
Bluetooth PSRAM cân bằng trắng, độ bão hịa, màu sắc, vv có thể được lập
trình thơng qua giao diện SCCB. Bộ cảm biến hình ảnh
WiFi Khe cắm thẻ micro SD lên OmmiVision ứng dụng công nghệ cảm biến độc đáo, bằng
Interface đến 4GB cách giảm hoặc loại bỏ lỗi quang học hoặc điện tử như
IO Port tiếng ồn mô hình cố định, đi, nổi, vv, để cải thiện chất
Chuẩn Bluetooth 4.2 lượng hình ảnh, có được một hình ảnh màu sắc rõ ràng và
BR/EDR và BLE ổn định.

802.11 b/g/n 3.2. Cảm Biến Nhiệt Hồng Ngoại Không Tiếp Xúc
MLX90614
UART, SPI, I2C, PWM

9

Tốc độ truyền UART 115200bps(Mặc định)

Camera + Đầu nối FPC

+ Hỗ trợ camera
OV2640(bán kèm theo
board) hoặc camera
OV7670

+ JPEG(chỉ hỗ trợ
OV2640), BMP,
GRAYSCALE

+ Đèn led

Dải quang phổ 2412 ~2484MHz Hình 3: Cảm biến MLX90614
Antenna Cảm biến nhiệt hồng ngoại không tiếp xúc
Onboard PCB antenna,
gain 2dBi

3 HỘI NGHỊ TỔNG KẾT HOẠT ĐỘNG SINH VIÊN NGHIÊN CỨU KHOA HỌC VÀ NHÓM SRT NĂM HỌC 2019-2020

MLX90614 là loại cảm biến đo nhiệt độ hồng ngoại 4.1. ThingSpeak IOT
không tiếp xúc dùng chip MXL90614 sử dụng giao tiếp
I2C có thể dễ dàng kết nối với bất cứ vi điều khiển nào.

Tính năng và lợi ích:

-Kích thước nhỏ, chi phí thấp

-10k Kéo điện trở lên cho giao diện I2C với các
jumper hàn tùy chọn

-Dễ tích hợp

-Nhiệt độ hoạt động : Hình 5: Trang chủ ThingSpeak
-40 … + 125 ° C cho nhiệt độ cảm biến và
ThingSpeak là một clound service khá nổi tiếng và
-70 … + 380 ° C đối với nhiệt độ đối tượng. phổ biến trong cộng đồng IoT, cho phép người dùng dữ
Độ chính xác cao 0.5 ° C trên nhiệt độ rộng (0 … + 50 liệu lên clound và từ clound lấy dữ liệu về qua giao thức
° C ) HTTP. Ngoài ra với giao diện đồ họa hiển thị dữ liệu khá
Độ phân giải đo lường là 0,02 ° C bắt mắt.

Tùy chỉnh đầu ra PWM để liên tục Cung cấp người dùng API Reference dễ sử dụng, nên
Chế độ ngủ để giảm tiêu thụ điện năng nó đóng vai trò trung gian truyền tải giữ liệu.

Các tùy chọn gói khác nhau cho các ứng dụng và tính 4.2. Node-red
linh hoạt của tính linh hoạt

3.3. Cảm biến vật cản hồng ngoại E3F-DS30C4

Cảm biến vật cản hồng ngoại E3F-DS30C4 NPN 6-
36V dùng ánh sáng hồng ngoại để nhận biết vật cản cho
độ phản hồi nhanh và rất ít nhiễu do sử dụng mắt nhận và
phát tia hồng ngoại theo tần số riêng biệt.

Cảm biến hồng ngoại E3F-DS30C4 có thể chỉnh
khoảng cách báo mong muốn thơng qua biến trở. Cảm
biến có dải điện áp rộng.

3.4. Esp32 – WROOM-32

Hình 4: Esp32-Wroom32 Hình 6: icon node-red
Node-RED là một cơng cụ lập trình kéo-thả để kết nối
ESP32-WROOM-32 là một module với nhiều tính các thiết bị phần cứng, API và online services với nhau.
năng cải tiến hơn các module dòng ESP8266 khi hỗ trợ Nó cung cấp một trình soạn thảo dựa trên trình duyệt giúp
thêm các tính năng Bluetooth và Bluetooth Low Energy dễ dàng kết nối các luồng với nhau bằng cách sử dụng
(BLE) bên cạnh tính năng WiFi. Sản phẩm sử dụng chip một loạt các Node trong bảng màu (palette) có thể được
ESP32-D0WDQ6 với 2 CPU có thể được điều khiển độc triển khai chỉ bằng một cú nhấp chuột. Node-RED được
lập với tần số xung clock lên đến 240 MHz. dựa trên Node.js, nó có thể được xem như một web server
mà bạn có thể cấu hình tùy chỉnh các chức năng gọi là
Module hỗ trợ các chuẩn giao tiếp SPI, UART, I2C và “flow” từ bất kỳ trình duyệt nào trên máy tính. Mỗi ứng
I2S và có khả năng kết nối với nhiều ngoại vi như các dụng Node-RED bao gồm các node có thể liên kết được
cảm biến, các bộ khuếch đại, thẻ nhớ (SD card),… với nhau với các dạng là input, output và operation [3].

Ở chế độ sleep dòng điện hoạt động là 5 µA nên thích Hình 7: Ví dụ cơ bản
hợp cho các ứng dụng dùng pin như các thiết bị điện tử 4.3. Face Recognition
đeo tay. Ngồi ra module cịn hỗ trợ cập nhật firmware từ
xa (OTA) do đó người dùng vẫn có thể có những bản cập Là thư viện giúp nhận diện khuôn mặt dựa trên mã
nhật mới nhất của sản phẩm. nguồn mỡ opencv, dlib’s của tác giả Adam Geitgey. Việc
sử dụng thư viện này phù hợp cho dự án cần phát triển
4. Thiết kế phần mềm nhanh, cần mẫu sớm. Xét về mặt lý thuyết nhận diện trải
qua 4 bước (dự án này chia nhỏ giai đoạn để dễ hiểu hơn,

Huỳnh Đình Sâm, Nguyễn Minh Sơn, Trần Thế Mỹ, Huỳnh Quang Trưởng, Trần Thăng Thiên Thắng 4

thực tế chỉ tồn tại 2 bước): sử dụng, ban quản lý kiểm tra sẻ đưa ra phương pháp tùy
vào từng cách ứng phó (cơng ty tư nhân, văn phịng,…).
 Input ảnh, video (gồm nhiều frame ảnh)
 Face Detection

 Face Recognition
 Output

4.3.1. Input ảnh, video

Ở đây nhóm sử dụng esp32-cam streamer video qua
mạng với giao thức RTSP. Nhờ đặc tính nhỏ gọn bé, giá
cả sinh viên cho lại chất lượng hình ảnh khá tốt nên được
ưu tiên sử dụng vào dự án này.

4.3.2. Face Detection

Xác định vị trí khn mặt trong một bức hình, sau đó
tách khn mặt có trong bức hình ra.

Hình 10: Mơ hình tổng quát nhất về hệ thống

6. Kết quả

6.1. Kết quả sau khi hoàn thiện phần cứng

Hình 8: Minh họa tách khn mặt Hình 11: Sản phẩm phần cứng
6.2. Kết quả sau khi hoàn thiện phần mềm
4.3.3. Face Recognition

Ở bước này còn tồn tại một bước phụ trước khi nhận
diện khn mặt đó của ai. Đó là Tranning đối tượng để
lưu lại tạo thành 1 file có chứa dữ liệu tranning về khuôn
mặt đối tượng và định danh cho nó [1].

Tiếp theo, sau khi có dữ liệu về khn mặt trong file
tranning và kết hợp đường truyền streaming của esp32-
cam nó xữ lý từng frame hình so sánh nó với dữ liệu đã
tranning. Xuất ra định danh của người cần nhận diện.

4.3.4. Output

Đây là bước cuối cùng xuất ra định danh của nhân vật
cần nhận diện, hiển thị nó trên giao diện người dung [2].

Hình 9: Minh hoạ ảnh đã phân tích Hình 12: Kết quả thực tế

5. Ngun lý hoạt động mơ hình 6.3. Đánh giá hoạt động thực tế

Sau khi box được kích hoạt, hệ thống tự kết nối với Qua các lần thử nghiệm hệ thống hoạt động ổn định
wifi định sẳn esp-32 cam bắt đầu stream và cảm biến sẳn nhưng bên cạnh đó cũng tồn tại những hạn chế nhất định
sàng hoạt động chờ đối tượng cần kiểm tra đến trước box điển hình phần cứng thiết bị giá rẻ chất lượng đáp ứng
với khoảng cách phù hợp, cảm biến bắt đầu đo và gửi về chưa cao và phần võ thiết bị cần được cãi thiện hơn về
server lưu trữ hoặc xữ lý đồ họa. Với các đối tượng kiểm tính thẩm mỹ. Với việc phát triển nóng, thiết cũng chưa
tra có dấu hiệu sốt cao hệ thống phát còi cảnh báo người tối ưu tất cả, nên cần nghiên cứu phát triển thêm để đạt
hiệu quả cao.

7. Kết Luận

Trong bài báo này nhóm trình bày mơ hình “thiết kế &
chế tạo thiết bị nhận dạng và theo dõi hồ sơ sức khỏe của

5 HỘI NGHỊ TỔNG KẾT HOẠT ĐỘNG SINH VIÊN NGHIÊN CỨU KHOA HỌC VÀ NHÓM SRT NĂM HỌC 2019-2020

người sử dụng bởi ai trí tuệ nhân tạo” Sử dụng esp32-cam Tài liệu tham khảo

để stream hình ảnh người dùng và các cảm biến thu thập
chỉ số nhiệt độ đối tượng gữi lên server. Biểu diển (hiển [1] Neto, Laurindo Britto, et al. "A Kinect-based wearable face
thị) dữ liệu đó trên nền đồ họa giúp người dùng nhìn thấy recognition system to aid visually impaired users." IEEE
được rõ ràng hơn. Transactions on Human-Machine Systems 47.1 (2016): 52-64.

[2] Patil, Mr CS, Mr RR Karhe, and Mr MD Jain. "Student Attendance
Recording System Using Face Recognition with GSM Based."
International Journal of Research in Advent Technology 2.8 (2014).

[3] Lekić, Milica, and Gordana Gardašević. "IoT sensor integration to
Node-RED platform." 2018 17th International Symposium
INFOTEH-JAHORINA (INFOTEH). IEEE, 2018.