Đồ án thiết kế dùng esp32 cam nhận diện khuôn mặt mở khóa cửa tự động và thông báo lên telegram

BỘ GIÁO DỤC & ĐÀO TẠO

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

TRƯỜNG ĐH BÁCH KHOA HÀ NỘI

Độc lập – Tự do - Hạnh phúc

NHIỆM VỤ
ĐỒ ÁN THIẾT KẾ
Họ và tên sinh viên: ...................................................................
...................................................................
...................................................................
Khóa…………
1. Tên đề tài:

Trường Điện-Điện tử

Ngành: KS ĐK & TĐH

……………………………………………………………………………
2. Nội dung đề tài:
……………………………………………………………………………
……………………………………………………………………………
……………………………………………………………………………
……………………………………………………………………………
……………………………………………………………………………
3. Cán bộ hướng dẫn:
Phần

Họ tên cán bộ

……………………………………………………………………………
……………………………………………………………………………
……………………………………………………………………………
……………………………………………………………………………
4. Thời gian giao đề tài:.............................................
5. Thời gian hồn thành:……………………………
Ngày...... tháng …...năm 2022
LÃNH ĐẠO BỘ MƠN

CÁN BỘ HƯỚNG DẪN

SINH VIÊN THỰC HIỆN
(Ký và ghi rõ họ tên)

2


Lời mở đầu
Bất cứ ai ngày nay đều quan tâm đến bảo mật và an ninh cho ngơi nhà của
chính mình. Trước đây người ta chủ yếu sử dụng các khóa cơ khí, loại khóa này
gặp vấn đề lớn đó là tính bảo mật khơng cao thường dễ dàng bị phá bởi các loại
chìa khóa đa năng. Tuy nhiên trong những năm gần đây khi công nghệ phát triển
và việc sử dụng IoT ngày càng tăng thì khóa kỹ thuật số ra đời và phát triển phổ
biến để từng bước thay thế cho khóa cơ khí.
Khóa kỹ thuật số khơng yêu cầu tác động vật lý mà dùng các công nghệ
như nhận dạng tần số vô tuyến (RFID)hay xác thực vân tay, khn mặt, giọng
nói, sử dụng mật khẩu…Những thơng tin sinh trắc học của mỗi người thường là
duy nhất chính vì vậy tạo ra sự bảo vệ cực kỳ an tồn cho ngơi nhà của người sử
dụng. Là sinh viên của trường kỹ thuật chúng em nhận thấy đây là xu hướng hiện

nay. Vì thế chúng em muong muốn tìm hiểu và phát triển một sản phẩm theo xu
hướng này để ứng dụng trong cuộc sống.
Dựa vào những gì đã tìm hiểu và được học nhóm chúng em quyết định
chọn đề tài “Sử dụng ESP32 CAM thiết kế khóa cửa nhận diện khuôn mặt”.
Hệ thống này đơn giản, dễ dàng lắp đặt và sử dụng, sẽ giúp người dùng bảo vệ
ngơi nhà của mình tốt hơn.
Trong q trình thực hiện đề tài này, do vốn kiến thức còn hạn chế nên
khơng tránh khỏi những thiếu sót. Vì thế nhóm rất mong có được sự đóng góp ý
kiến, phê bình và hướng dẫn thêm từ thầy để nhóm có thể hồn thiện đề tài của
mình hơn.
Cuối cùng em xin chân thành cảm ơn thầy Ths. Lê Công Cường đã giúp
đỡ nhóm rất nhiều trong q trình tìm hiểu, thiết kế và hoàn thành đồ án thiết kế
này.
Hà Nội, ngày tháng năm 2022
Sinh viên thực hiện

3


Mục lục
Lời mở đầu ............................................................................................................ 3
Mục lục .................................................................................................................. 4
Danh mục hình ảnh .............................................................................................. 6
CHƯƠNG 1. Tổng quan về hệ thống nhận diện khuôn mặt............................ 7
1.1

Xác thực sinh trắc học ................................................................................ 7

1.2

Hệ thống xử lý ảnh ..................................................................................... 7

1.3

1.2.1

Một số khái niệm cơ bản trong xử lý ảnh ................................... 8

1.2.2

Các bước cơ bản trong xử lý ảnh .............................................. 10

Hệ thống nhận diện khn mặt ................................................................ 11
1.3.1

Ngun lý hoạt động ................................................................. 12

1.3.2

Thuật tốn ................................................................................. 12

1.3.3

Ưu điểm và nhược điểm ............................................................ 14

CHƯƠNG 2. Thiết kế hệ thống......................................................................... 15
2.1

Giới các linh kiện chính của hệ thống ...................................................... 15
2.1.1

Module ESP32 CAM ................................................................ 15

2.1.2

Module 1 Relay với Opto cách ly kích H/L 5VDC .................. 16

2.1.3

Khóa điện tử LY-03 .................................................................. 17

2.1.4

Cảm biến chuyển động PIR HC-SR501.................................... 18

2.2

Sơ dồ khối của hệ thống ........................................................................... 18

2.3

Thiết kế mạch PCB .................................................................................. 20
2.3.1

Mạch nạp code .......................................................................... 20

2.3.2

Mạch relay................................................................................. 21

2.3.3

Mạch nguồn............................................................................... 21

2.3.4

Led báo và header ..................................................................... 22

2.3.5

Mạch PCB ................................................................................. 23

CHƯƠNG 3. Triển khai hệ thống..................................................................... 24
3.1

Thiết lập wifi cho hệ thống ...................................................................... 24

3.2

Hiện thị hình ảnh và nhận diện khn mặt .............................................. 25

3.3

Gửi thông báo lên telegram ...................................................................... 28

CHƯƠNG 4. Kết luận và hướng phát triển..................................................... 30
4.1

Kết luận .................................................................................................... 30

4.2

Hạn chế..................................................................................................... 30
4


4.3

Hướng phát triển ...................................................................................... 30

Tài liệu tham khảo ............................................................................................. 31

5


Danh mục hình ảnh
Hình 1-1 Quá trình xử lý ảnh ................................................................................. 8
Hình 1-2 Điểm ảnh trong ảnh trắng đen ................................................................ 9
Hình 1-3 Điểm ảnh trong ảnh màu ......................................................................... 9
Hình 1-4 Ví dụ độ phân giải của ảnh ..................................................................... 9
Hình 1-5 Hệ màu RGB ......................................................................................... 10
Hình 1-6 Các bước cơ bản trong xử lý ảnh .......................................................... 10
Hình 1-7 Các điểm trên khn mặt ...................................................................... 12
Hình 1-8 Nhận dạng 3D ....................................................................................... 14
Hình 2-1 Module ESP32 CAM ............................................................................ 15
Hình 2-2 Sơ đồ chân module ESP32 CAM ......................................................... 16
Hình 2-3 Module 1 Relay với Opto cách ly kích H/L 5VDC .............................. 17
Hình 2-4 Khóa điện tử LY-03 .............................................................................. 18
Hình 2-5 Cảm biến PIR HC-SR501 ..................................................................... 18
Hình 2-6 Sơ đồ khối của hệ thống........................................................................ 19

Hình 2-7 Sơ đồ mạch của hệ thống ...................................................................... 19
Hình 2-8 Kết nối các linh kiện trong thực tế ........................................................ 20
Hình 2-9 Mạch nạp code ...................................................................................... 20
Hình 2-10 Mạch relay .......................................................................................... 21
Hình 2-11 Mạch nguồn ........................................................................................ 22
Hình 2-12 Led báo ............................................................................................... 22
Hình 2-13 Header ................................................................................................. 22
Hình 2-14 Mạch PCB ........................................................................................... 23
Hình 3-1 Mơ hình hoạt động của Smartconfig .................................................... 24
Hình 3-2 App trên IOS ......................................................................................... 25
Hình 3-3 Esp32 CAM kết nối wifi thành cơng .................................................... 25
Hình 3-4 Mơ ta hoạt động của nhận diện ............................................................. 26
Hình 3-5 IP thu được sau khi tải code lên ............................................................ 26
Hình 3-6 Các tùy chỉnh của web .......................................................................... 27
Hình 3-7 Hình ảnh thực tế một thành viên trong nhóm ....................................... 27
Hình 3-8 Thao tác tạo bot trên telegram .............................................................. 28
Hình 3-9 Tin nhắn được bot gửi đến người dùng ................................................ 29

6


CHƯƠNG 1. Tổng quan về hệ thống nhận diện khuôn mặt
1.1 Xác thực sinh trắc học
Sinh trắc học (hay Biometrics) là các đặc điểm thể chất và hành vi có thể
đo lường cho phép thiết lập và xác minh danh tính của một cá nhân.
Xác thực sinh trắc học là một hình thức bảo mật đo lường và đối sánh các
tính năng sinh trắc học của người dùng để xác minh rằng một người đang cố
gắng truy cập vào một hệ thống, thiết bị cụ thể được phép làm như vậy. Đặc điểm
sinh trắc học là các đặc điểm vật lý và sinh học dành riêng cho một cá nhân và có
thể dễ dàng so sánh với các đặc điểm được phép lưu trong cơ sở dữ liệu. Nếu các

tính năng sinh trắc học của một người dùng đang cố gắng truy cập vào một hệ
thống, thiết bị khớp với các tính năng của một người dùng được phê duyệt thì
quyền truy cập vào thiết bị sẽ được cấp. Xác thực sinh trắc học hiện nay rất phát
triển dùng rất phổ biến như kiểm soát các điểm truy cập cửa ra vào, bảo mật
trong điện thoại thông minh và máy tính.
Một số loại xác thực sinh trắc học phổ biến hiện nay có thể kể đến đó
chính là:
- Qt vân tay: Đây là loại xác thực sinh trắc học phổ biến nhất hiện nay. Khi đặt
ngón tay lên trên phần cảm biến vân tay, thiết bị sẽ quét hình ảnh ngón tay và
đưa vào hệ thống xử lý. Hệ thống này chuyển dữ liệu vừa nhận sang dạng số rồi
đối chiếu các đặc điểm của vân tay đó với dữ liệu đã được lưu trữ trong hệ thống.
Nếu khớp thì thì lớp khóa hay bảo mật sẽ được mở.
- Nhận diện khuôn mặt: Hệ thống nhận dạng khuôn mặt là một ứng dụng máy
tính tự động xác định hoặc nhận dạng một người nào đó từ một bức hình ảnh kỹ
thuật số hoặc một khung hình video từ một nguồn video. Một trong những cách
để thực hiện điều này là so sánh các đặc điểm khuôn mặt chọn trước từ hình ảnh
và một cơ sở dữ liệu về khn mặt.
- Nhận diện qua mắt: Cơ chế nhận diện mống mắt của thiết bị (hoặc bộ cảm biến)
được thực hiện nhờ một máy chiếu bước sóng nhìn thấy được hoặc tia (hay
camera) hồng ngoại tầm gần (Near Infrared – NIR) vào mắt người. Mục đích của
việc chiếu tia đặc biệt này vào mắt nhằm giúp xác định chính xác vị trí của từng
bộ phận của mắt (đồng tử, mí mắt, lơng mi…) và chi tiết cấu trúc của mống mắt
để so sánh với dữ liệu được phê duyệt trước đó.
1.2 Hệ thống xử lý ảnh
Con người thu nhận thông tin qua các giác quan, trong đó thị giác đóng
vai trị quan trọng nhất. Những năm trở lại đây với sự phát triển của phần cứng
máy tính, xử lý ảnh và đồ họa đã phát triển một cách mạnh mẽ và có nhiều ứng
dụng trong cuộc sống. Xử lý ảnh và đồ họa đóng vai trị quan trọng trong tương
tác người máy.
Q trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào nhằm

cho ra kết quả mong muốn. Kết quả đầu ra của một quá trình xử lý một kết luận.

7


Hình 1-1 Q trình xử lý ảnh

Ảnh có thể xem là tập hợp các điểm ảnh và mỗi điểm ảnh được xem như
là đặc trưng cường độ sáng hay một dấu hiệu nào đó tại một vị trí nào đó của đối
tượng trong khơng gian và nó có thể xem như một hàm n biến P(c1, c2, …, cn).
Do đó, ảnh trong xử lý ảnh có thể xem như ảnh n chiều.
Các vấn đề của xử lý ảnh:
- Thu nhận ảnh, chụp ảnh và số hóa ảnh.
+ Hệ thống chụp ảnh và tín hiệu ảnh.
+ Hệ thống số hóa ảnh: lấy mẫu, lượng tử hóa.
- Phân tích ảnh và thị giác máy tính.
+ Cải thiện nâng cấp ảnh, sửa lỗi, khôi phục ảnh.
+ Phân tách đặc trưng: tách biên, phân vùng ảnh.
+ Biểu diễn và xử lý đặc trưng hình dạng đối tượng ảnh.
+ Nhận dạng đối tượng ảnh, phân tích cảnh và hiểu cảnh.
- Mã hóa, nén ảnh.
+ Các phương pháp nén và các chuẩn nén.
1.2.1 Một số khái niệm cơ bản trong xử lý ảnh
1.2.1.1. Điểm ảnh
Gốc của ảnh (ảnh tự nhiên) là ảnh liên tục về không gian và độ sáng. Để
xử lý được bằng máy tính, ảnh cần phải được số hóa. Số hóa ảnh là sự biến đổi
gần đúng một ảnh liên tục thành một tập điểm phù hợp với ảnh thật về vị trí
(khơng gian) và độ sáng (mức xám). Khoảng cách giữa các điểm ảnh đó được
thiết lập sao cho mắt người khơng phân biệt được ranh giới giữa chúng. Mỗi
một điểm như vậy gọi là điểm ảnh (PEL: Picture Element) hay gọi tắt là Pixel.

Trong khuôn khổ ảnh hai chiều, mỗi pixel ứng với cặp tọa độ (x, y).
Điểm ảnh (Pixcel) là một phần tử của ảnh số tại tọa độ (x, y) với độ xám
hoặc màu nhất định. Kích thước và khoảng cách giữa các điểm ảnh đó được chọn
thích hợp sao cho mắt người cảm nhận sự liên tục về không gian và mức xám
(hoặc màu) của ảnh số gần như ảnh thật. Mỗi một phần tử trong ma trận được gọi
là một phần tử ảnh.

8


Hình 1-2 Điểm ảnh trong ảnh trắng đen

Hình 1-3 Điểm ảnh trong ảnh màu

1.2.1.2. Độ phân giải
Độ phân giải (Resolution) là thước đo chi tiết rõ ràng nhỏ nhất trong ảnh,
được tính là số điểm ảnh trên một đơn vị khoảng cách.

Hình 1-4 Ví dụ độ phân giải của ảnh

9


Như ảnh trên chúng ta thấy rằng tuy cùng kích thước nhưng độ phân giải
khác nhau, và độ phân giải càng thấp thì càng mờ. Như ảnh 1 sẽ được hiểu là
chiểu rộng có 175 điểm ảnh và chiều cao có 256 điểm ảnh.
1.2.1.3. Mức xám
Mức xám của điểm ảnh là cường độ sáng của nó được gán bằng giá trị số
tại điểm đó.
- Các thang mức xám thơng thường: 16, 32, 64, 128, 256 (Mức 256 là mức phổ

dụng. Nguyên nhân là từ kỹ thuật máy tính dùng 1 byte (8bit) để biểu diễn mức
xám. Mức xám dùng 1 byte biểu diễn, 28 = 256, tức là từ 0 đến 255).
- Ảnh đen trắng: Là ảnh có hai màu đen, trắng (không chứa màu khác) với mức
xám ở các điểm ảnh có thể khác nhau.
- Ảnh nhị phân: Ảnh chỉ có hai mức đen trắng phân biệt, tức là mỗi điểm ảnh của
ảnh nhị phân chỉ có thể là 0 hoặc 1.
- Ảnh màu: Trong khuôn khổ lý thuyết 3 màu (Red, Blue, Green) để tạo nên thế
giới màu, người ta thường dùng 3 byte để mô tả mức màu, khi đó các giá trị màu:
28*3 = 224 ≈ 16,7 triệu màu.

Hình 1-5 Hệ màu RGB

1.2.2

Các bước cơ bản trong xử lý ảnh

Hình 1-6 Các bước cơ bản trong xử lý ảnh

Sơ đồ này bao gồm các phần sau:
- Phần thu nhận ảnh (Image Acquisition). Ảnh có thể nhận qua camera màu hoặc
đen trắng. Camera thường dùng là loại qt dịng; ảnh tạo ra có dạng hai chiều.
Chất lượng một ảnh thu nhận được phụ thuộc vào thiết bị thu, môi trường (ánh
10


sáng, thời tiết).
- Tiền xử lý (Image Processing): Sau bộ thu nhận, ảnh có thể bị nhiễu, độ tương
phản thấp nên cần đưa vào bộ tiền xử lý để nâng cao chất lượng. Chức năng
chính của bộ tiền xử lý là lọc nhiễu, nâng độ tương phản để làm ảnh rõ, nét hơn.
- Phân đoạn (Segmentation) hay phân vùng ảnh: là tách một ảnh đầu vào thành

các vùng thành phần để biểu diễn phân tích, nhận dạng ảnh. Ví dụ: để nhận dạng
chữ (hoặc mã vạch) trên phong bì thư cho mục đích phân loại bưu phẩm, cần chia
các câu, chữ, về địa chỉ hoặc tên người thành các từ, các chữ, các số (hoặc các
vạch) riêng biệt để nhận dạng. Đây là phần phức tạp khó khăn nhất trong xử lý
ảnh và cũng dễ gây lỗi, làm mất độ chính xác của ảnh. Kết quả nhận dạng ảnh
phụ thuộc rất nhiều vào công đoạn này.
- Biểu diễn ảnh (Image Representation): Đầu ra ảnh sau phân đoạn chứa các điểm
ảnh của vùng ảnh (ảnh đã phân đoạn) cộng với mã liên kết với các vùng lân cận.
Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trưng (Feature
Selection) gắn với việc tách các đặc tính của ảnh dưới dạng các thông tin định
lượng hoặc làm cơ sở để phân biệt lớp đối tượng này với đối tượng khác trong
phạm vi ảnh nhận được. Ví dụ: trong nhận dạng ký tự trên phong bì thư, chúng ta
miêu tả các đặc trưng của từng ký tự giúp phân biệt ký tự này với ký tự khác.
- Nhận dạng ảnh và nội suy ảnh (Image Recognition and Interpretation): Nhận
dạng ảnh là quá trình xác định ảnh. Quá trình này thường thu được bằng cách so
sánh với mẫu chuẩn đã được học (hoặc lưu từ trước). Nội suy là phán đốn theo ý
nghĩa trên cơ sở nhận dạng. Ví dụ: một loạt chữ số và nét gạch ngang trên phong
bì thư có thể được nội suy thành mã điện thoại. Có nhiều cách phân loại ảnh khác
nhau về ảnh. Theo lý thuyết về nhận dạng, các mơ hình tốn học về ảnh được
phân theo hai loại nhận dạng ảnh cơ bản:
+ Nhận dạng theo tham số.
+ Nhận dạng theo cấu trúc.
Một số đối tượng nhận dạng khá phổ biến hiện nay đang được áp dụng
trong khoa học và công nghệ là nhận dạng ký tự (chữ in, chữ viết tay, chữ ký
điện tử), nhận dạng văn bản (text), nhận dạng vân tay, nhận dạng mã vạch, nhận
dạng mặt người…
- Cơ sở tri thức (Knowledge Base): Như đã nói ở trên, ảnh là một đối tượng khá
phức tạp về đường nét, độ sáng tối, dung lượng điểm ảnh, môi trường để thu ảnh
phong phú kéo theo nhiễu. Trong nhiều khâu xử lý và phân tích ảnh ngồi việc
đơn giản hóa các phương pháp toán học đảm bảo tiện lợi cho xử lý, người ta

mong muốn bắt chước quy trình tiếp nhận và xử lý ảnh theo cách của con người.
Trong các bước xử lý đó, nhiều khâu hiện nay đã xử lý theo các phương pháp trí
tuệ con người. Vì vậy, ở đây các cơ sở tri thức được phát huy.
1.3 Hệ thống nhận diện khuôn mặt
Hệ thống nhận diện khuôn mặt hay nhận dạng khuôn mặt là một loại ứng
dụng có khả năng xác định được hình ảnh khn mặt của một người nào đó dựa
trên các đặc điểm mà cơ sở dữ liệu đã lưu trữ trước đó.
11


Mỗi khn mặt đều có nhiều điểm mốc, những phần lồi lõm tạo nên các
đặc điểm của khuôn mặt. Các hệ thống nhận diện gương mặt định nghĩa những
điểm này là những điểm nút. Mỗi mặt người có khoảng 80 điểm nút. Có thể nhận
diện một số điểm nút như sau:
- Khoảng cách giữa hai mắt.
- Chiều rộng của mũi.
- Độ sâu của hốc mắt.
- Hình dạng của xương gị má.
- Độ dài của xương hàm…

Hình 1-7 Các điểm trên khn mặt

1.3.1 Ngun lý hoạt động
Trước khi có thể sử dụng công nghệ này, chúng ta đều phải trải qua bước
lưu trữ thông tin trên cơ sở dữ liệu để hệ thống có thể so sánh. Sau khi các đặc
điểm đã được mã hóa thì chúng sẽ được lưu vào một nơi phù hợp. Khi cần thiết
thì hệ thống sẽ quét và so sánh.
Các hệ thống công nghệ trên khuôn mặt có thể khác nhau, nhưng nhìn
chung, chúng có xu hướng hoạt động theo một số bước như sau:
Người dung sẽ tiến đến gần camera được bố trí sẵn -> Camera sẽ qt

tồn bộ khn mặt -> Cơng nghệ sẽ tiến hành bóc tách khn mặt ra khỏi cảnh
vật xung quanh -> Tại đây hệ thống sẽ tiến hành phân tích các đặc điểm của
khn mặt, các đặc tính sẽ được xử lý dưới dạng các thuật tốn và cơng thức, dữ
liệu sẽ được gửi về nơi lưu trữ có liên quan nhất -> Sau đó hệ thống sẽ tiến hành
so sánh dữ liệu vừa phân tích với các dữ liệu có sẵn -> Khi tỉ lệ trùng khớp gần
như hồn tồn thì thiết bị sẽ được mở.
1.3.2 Thuật tốn
Một số thuật tốn nhận dạng khn mặt xác định các đặc điểm khn mặt
bằng cách trích xuất các ranh giới, hoặc đặc điểm, từ một hình ảnh khn mặt
12


của đối tượng. Từ đó các thuật tốn sẽ trích xuất được các thơng tin, và những
tính năng này sau đó được sử dụng để tìm kiếm các hình ảnh khác với các tính
năng phù hợp. Trong trường hợp sử dụng để nhận diện, cần phải lưu lại thông tin
khuôn mặt để ghi nhớ trước. Các thuật toán sẽ đơn giản hóa một tập các hình ảnh
khn mặt và sau đó nén dữ liệu khn mặt, chỉ lưu dữ liệu hình ảnh nào là hữu
ích cho việc nhận dạng khn mặt. Khi đó, muốn nhận diện sẽ so sánh hình ảnh
mấu với các dữ liệu khuôn mặt đã lưu.
Các thuật tốn nhận dạng có thể được chia thành hai hướng chính, là hình
học, đó là nhìn vào tính năng phân biệt, hoặc trắc quang (đo sáng), là sử dụng
phương pháp thống kê để 'chưng cất' một hình ảnh thành những giá trị và so sánh
các giá trị với các mẫu để loại bỏ chênh lệch.
Các thuật toán nhận dạng phổ biến bao gồm Principal Component
Analysis (Phép phân tích thành phần chính) sử dụng các khn mặt riêng, Linear
Discriminate Analysis (Phân tích biệt tuyến tính), Elastic Bunch Graph
Matching sử dụng thuật tốn Fisherface, các mơ hình Markov ẩn, Multilinear
Subspace Learning (Luyện nhớ không gian con đa tuyến) sử dụng đại diện cơ
căng, và theo dõi liên kết động thần kinh.
1.3.2.1. Nhận dạng 3D

Một xu hướng mới nổi lên, tuyên bố cải thiện được độ chính xác, là nhận
dạng khn mặt ba chiều. Kỹ thuật này sử dụng các cảm biến 3D để nắm bắt
thơng tin về hình dạng của khn mặt. Thơng tin này sau đó được sử dụng để xác
định các tính năng đặc biệt trên bề mặt của một khuôn mặt, chẳng hạn như các
đường viền của hốc mắt, mũi và cằm.
Một lợi thế của nhận dạng khuôn mặt 3D là nó khơng bị ảnh hưởng bởi
những thay đổi trong ánh sáng như các kỹ thuật khác. Nó cũng có thể xác định
một khn mặt từ một loạt các góc nhìn, trong đó có góc nhìn nghiêng. Các điểm
dữ liệu ba chiều từ một khuôn mặt cải thiện lớn độ chính xác cho nhận dạng
khn mặt. Nghiên cứu 3D được tăng cường bởi sự phát triển của các bộ cảm
biến tinh vi giúp nắm bắt hình ảnh chụp khn mặt 3D được tốt hơn. Các cảm
biến hoạt động bằng cách chiếu ánh sáng có cấu trúc lên gương mặt. Hàng chục
hoặc nhiều hơn nữa các bộ cảm biến hình ảnh này có thể được đặt lên trên cùng
một con chip CMOS-mỗi cảm biến sẽ thu một phần khác nhau của hình ảnh.
Ngay cả một kỹ thuật 3D hồn hảo cũng có thể gặp khó khăn bởi các sắc
thái biểu cảm trên gương mặt. Để đạt được mục tiêu đó một nhóm tại Technion
(viện cơng nghệ Israel tại Haifa) đã áp dụng các cơng cụ từ hình học metric để
giải quyết các biểu lộ cảm xúc như phép đẳng cự Một cơng ty có tên Vision
Access tạo ra một giải pháp vững chắc cho nhận dạng khuôn mặt 3D. Công ty
này sau đó đã được mua lại bởi cơng ty truy cập sinh trắc học Bioscrypt Inc.
Công ty đã phát triển một phiên bản được gọi là 3D FastPass.

13


Hình 1-8 Nhận dạng 3D

1.3.2.2. Phân tích kết cấu da
Một xu hướng mới nổi sử dụng các chi tiết hình ảnh của da, được chụp
trong các hình ảnh kỹ thuật số hoặc máy scan tiêu chuẩn. Kỹ thuật này được gọi

là phân tích kết cấu da, đưa các đường đặc trưng, hình dạng, và các điểm nốt trên
làn da của một người vào một khơng gian tốn học.
Các thử nghiệm đã chỉ ra rằng với việc bổ sung các phân tích cấu trúc của
da, hiệu quả trong việc nhận ra khn mặt có thể tăng 20-25 phần trăm.
1.3.3 Ưu điểm và nhược điểm
Trong số các kỹ thuật sinh trắc học, nhận dạng khn mặt có thể khơng
đáng tin cậy và hiệu quả nhất. Tuy nhiên, một trong những lợi thế quan trọng là
nó khơng địi hỏi sự hợp tác của các đối tượng thử nghiệm. Các hệ thống thiết kế
được lắp đặt tại các sân bay, khu chung cư, và những nơi cơng cộng khác có thể
xác định các cá nhân giữa đám đơng, mà khơng bỏ sót một ai. Sinh trắc học khác
như dấu vân tay, quét mống mắt, và nhận dạng giọng nói khơng thể thực hiện
được như vậy.
Mặc dù nhận dạng khuôn mặt đã thực hiện được khá tốt ở phía mặt trước
và phía chênh lệch 20 độ, nhưng ngay sau khi bạn đi về phía góc khuất, thì nó có
vấn đề.
Một số điều kiện có thể ảnh hưởng tới tính chính xác của phương pháp
như:
- Thiếu ánh sáng, đeo kính mát, tóc dài, hoặc một phần khn mặt bị che.
- Hình ảnh độ phân giải thấp.
- Hệ thống sẽ kém hiệu quả nếu biểu hiện khuôn mặt khác nhau.

14


CHƯƠNG 2. Thiết kế hệ thống
2.1 Giới các linh kiện chính của hệ thống
Dưới đây là những linh kiện chính của hệ thống.
2.1.1 Module ESP32 CAM
Module ESP32 CAM phát triển trên nền vi điều khiển trung tâm là ESP32
SoC kết hợp với camera OV2640, được sử dụng rộng rãi trong các ứng ruyền

hình ảnh, xử lý ảnh qua Wifi, Bluetooth hoặc các ứng dụng IoT.

Hình 2-1 Module ESP32 CAM

Thơng số kỹ thuật:
- Module: ESP32-CAM
- Kiểu: Dip-16
- Kích thước: 27 x 40,5 x 4,5 mm
- SPI Flash: Mặc định 32Mbit
- RAM: Internal520KB + PSRAM 4M bên ngoài
- Bluetooth: tiêu chuẩn Bluetooth4.2BR / EDR và BLE
- Wifi: 802.11 b/g/n/e/i
- Giao diện hỗ trợ: UART, SPI, I2C, PWM
- Hỗ trợ thẻ TF: Hỗ trợ tối đa 4G
- Cổng IO: 9
- Tốc độ cổng giao tiếp: 115200 bps mặc định
- Định dạng đầu ra hình ảnh: JPEG (chỉ được hỗ trợ bởi OV2640), BMP
- Phạm vi phổ: 2412 ~ 2484 MHz
- Dạng ăng ten: ăng-ten PCB trên bo mạch, đạt được 2dBi
- Truyền tín hiệu:
+ 802.11b: 17 ± 2 dBm (@ 11Mbps)
+ 802.11g: 14 ± 2 dBm (@ 54Mbps)
15


+ 802.11n: 13 ± 2 dBm (@ MCS7)
- Độ nhạy
+ CCK, 1 Mb/giây: -90dBm
+ CCK, 11 Mb/giây: -85dBm
+ 6 Mb/giây (1/2 BPSK): -88dBm

+ 54 Mbps (3/4 64-QAM): -70dBm
+ MCS7 (65 Mb/giây, 72,2 Mb/giây): -67dBm
- Tiêu thụ năng lượng
+ Tắt đèn flash: 180mA @ 5V
+ Bật đèn flash và điều chỉnh độ sáng tối đa: 310mA @ 5V
+ Sleep Deep: Mức tiêu thụ điện năng thấp nhất có thể đạt 6mA @ 5V
+ Modem-bed: lên tới 20mA @ 5V
+ Sleep Light: lên tới 6,7mA@5V
- Bảo vệ: WPA / WPA2 / WPA2-Enterprise / WPS
- Phạm vi cung cấp điện: 5V
- Nhiệt độ hoạt động: -20°C ~ 85°C
- Môi trường lưu trữ: -40°C ~ 90°C, <90% rh

Hình 2-2 Sơ đồ chân module ESP32 CAM

2.1.2 Module 1 Relay với Opto cách ly kích H/L 5VDC
Module nhỏ gọn, có opto và transistor cách ly giúp cho việc sử dụng trở
nên an toàn với board mạch chính, mạch được sử dụng để đóng ngắt nguồn điện
cơng suất cao AC hoặc DC, có thể chọn đóng khi kích mức cao hoặc mức thấp
bằng Jumper.
Module có 6 chân.
-3 chân để kích.
+ DC+: cấp hiệu điện thế kích tối ưu vào chân này.
+ DC-: nối với cực âm.
16


+ IN: chân tín hiệu, nhận tín hiệu để kích relay.
+ Nếu dùng module đang kích mức ở mức cao và chân IN được cấp điện
thì module sẽ được kích, ngược lại thì khơng. Tương tự với module đang kích ở

mức thấp.
- 3 chân nối với thiết bị điện công suất cao.
+ COM: nối với nguồn , nối với cực dương nếu là hiệu điện thế một chiều,
nối với dây nóng nếu là hiệu điện thế xoay chiều.
+ NO: nối với chân của thiết bị điện, nối với cực dương nếu là hiệu điện
thế một chiều, nối với dây nóng nếu là hiệu điện thế xoay chiều.
+ NC: không kết nối gì.

Hình 2-3 Module 1 Relay với Opto cách ly kích H/L 5VDC

Thơng số kỹ thuật:
- Sử dụng điện áp ni 5VDC.
- Dịng tiêu thụ khoảng 80mA/1 relay.
- Điện thế đóng ngắt tối đa: AC250V ~ 10A hoặc DC30V ~ 10A.
- Có đèn báo đóng ngắt trên mỗi Relay.
- Có thể chọn mức tín hiệu kích 0 hoặc 1 qua jumper.
- Kích thước: 5 x 2,6 x 1,9 cm
2.1.3 Khóa điện tử LY-03
Khóa chốt điện từ LY-03 có chức năng hoạt động như một ổ khóa cửa sử
dụng Solenoid để kích đóng mở bằng điện, được sử dụng nhiều trong nhà thơng
minh hoặc các loại tủ, cửa phịng, cửa kho…khóa sử dụng điện áp 12VDC, là
loại thường đóng (cửa đóng) với chất lượng tốt, độ bền cao. Khóa chốt điện
từ này có thể sử dụng chung với các mạch chức năng tạo thành một hệ thống
thông minh.

17


Hình 2-4 Khóa điện tử LY-03

Thơng số kỹ thuật:
- Vật liệu: Thép khơng gỉ
- Nguồn điện: 12V DC
- Dịng điện làm việc: 0.8A
- Công suất: 9.6W
- Yêu cầu nguồn cấp: 12VDC/1A
- Kích thước: 54 x 38 x 28 mm
- Thời gian cấp nguồn: Nhỏ hơn 10s
- Trọng lượng: 150g
2.1.4 Cảm biến chuyển động PIR HC-SR501
Cảm biến thân nhiệt chuyển động PIR (Passive infrared sensor) HCSR501 được sử dụng để phát hiện chuyển động của các vật thể phát ra bức xạ
hồng ngoại (con người, con vật, các vật phát nhiệt,...), cảm biến có thể chỉnh
được độ nhạy để giới hạn khoảng cách bắt xa gần cũng như cường độ bức xạ của
vật thể mong muốn.

Hình 2-5 Cảm biến PIR HC-SR501

2.2 Sơ dồ khối của hệ thống
18


Hình 2-6 Sơ đồ khối của hệ thống

Nguyên lý hoạt động của hệ thống
- Cảm biến chuyển động phát hiện chuyển động của cửa khi đóng mở gửi tín hiệu
về ESP32 CAM. Camera của module thực hiện nhận dạng hình ảnh và hiển thị
trên web.
- Web cho phép thực hiện tùy chỉnh độ phân giải, độ sáng, màu sắc… của camera
và thực hiện đăng ký khuôn mặt của người dùng.
- ESP32 CAM tiếp nhận dữ liệu khuôn mặt người dùng đăng ký, lưu trữ lại. Khi

có người tiếp hành xác thực khn mặt thì tiếp nhận hình ảnh, tiến hành xử lý
theo chương trình đã cài đặt và đối chiếu với dữ liệu đăng ký đã được lưu trữ để
đưa ra tín hiệu tới relay. Ngồi ra cịn xử lý tín hiệu từ cảm biến và gửi tín nhắn
đến telegram.
- Telegram là nơi người dùng có thể nhận tín nhắn về có phát hiện chuyển động
của cửa khi có người đóng, mở.
- Relay nhận tín hiệu từ ESP32 CAM để kích mở khóa cửa.
- Khóa cửa thực hiện đóng mở cửa dựa theo kết quả so sánh khuôn mặt với dữ
liệu được đăng ký. Nếu kết quả trả về chính xác như trong dữ liệu thì mở khóa và
ngược lại.

Hình 2-7 Sơ đồ mạch của hệ thống

19


Hình 2-8 Kết nối các linh kiện trong thực tế

2.3 Thiết kế mạch PCB
Mạch PCB hệ thống được thiết kế để thu gọn kích thước của hệ thống với
việc tích hợp mạch nguồn, nạp code và relay vào chung một mạch.
2.3.1

Mạch nạp code

Hình 2-9 Mạch nạp code

Mạch sử dụng CH340C một model của IC Ch340, đây là lại IC được sử
dụng để chuyển đổi tín hiệu USB thành UART.
Thơng số kỹ thuật CH340C:

- Giao diện thiết bị USB tốc độ đầy đủ, tương thích USB 2.0.
20


- Tốc độ truyền từ 50bps đến 2Mbps
- Nguồn 5V và 3.3V
- Gói SOP-16
2.3.2

Mạch relay

Hình 2-10 Mạch relay

Mạch relay sử dụng opto cách ly quang PC817 và relay SRD-05VDC-SLC 5V, chọn kích tín hiệu mức cao. Ưu điểm của mạch này là cách ly hoàn toàn về
điện giữa vi điều khiển với relay và tải. Điều này sẽ giúp vi điều khiển loại được
một số nhiễu không mong muốn khi hoạt động, dẫn đến mạch hoạt động ổn định
hơn.
Thông số kỹ thuật PC817:
- Dịng điện thuận trên diode để kích mở transistor: 50mA (max=1A)
- Điện áp rơi trên diode 1,2V-1,4V
- Điện áp đánh thủng diode: 6V
- Tổn hao công suất trên diode: 70mW
- Tần số đóng cắt: 80 KHz
- Dịng qua Collector khi hoạt động ổn định: 20mA (max=50mA)
- Điện áp rơi trên transistor: 0,1V-0,2V
- Tiêu hao công suất trên transistor: 150mW
Thông số kỹ thuật SRD-05VDC-SL-C 5V:
- Phân loại: Relay cơ
- Điện áp điều khiển: 5VDC
- Dòng điện tối đa qua tiếp điểm: 10A

2.3.3

Mạch nguồn

21


Hình 2-11 Mạch nguồn

Mạch nguồn sử dụng nguồn 12VDC từ adapter qua LM7805 để giảm áp
xuống 5V, IC này trong mạch dùng nhôm để tản nhiệt. Các tụ được dùng để lọc
nhiễu và lọc nguồn.
Thông số kỹ thuật LM7805:
- Điện áp ngõ ra 5V
- Điện áp ngõ vao 7V- 18VDC
- Dịng ngõ ra trung bình: 500mA (max 1A)
- Nhiệt độ hoạt động: 0°C – 125°C
2.3.4

Led báo và header

Hình 2-12 Led báo

Hình 2-13 Header

22


Mạch led báo để báo hiệu có đang nạp code và 2 header để kết nối module
ESP32 CAM.

2.3.5 Mạch PCB
Dưới đây là mạch PCB có kích thước mạch là 55 x 57 mm với các linh
kiện có trên thị trường.

Hình 2-14 Mạch PCB

23


CHƯƠNG 3. Triển khai hệ thống
3.1 Thiết lập wifi cho hệ thống
Thơng thường ta hay lập trình WiFi.begin(ssid, password) để cài đặt tên
và password cho mạch. Tuy nhiên như vậy mỗi khi ta sử dụng wifi khác, thì lại
phải sửa lại wifi trên code và nạp lại chương trình. Điều này khó là bất tiện và hệ
thống khó phát triển ra thị trường.
Có 2 cách để giải quyết vấn đề này là:
- Dùng AP mode: chúng ta có thể dùng ESP32 CAM phát ra wifi sau đó dùng
web browser truy cập vào ip của esp, scan wifi xung quanh chọn và nhập mật
khẩu để chuyển esp thành thiết bị nhận wifi.
- Dùng Smartconfig: sử dụng các gói SDK để các bạn có thể truyền wifi và pass
từ app xuống ESP32 mà khơng cần phải thao tác gì khác.
Trong hệ thống này nhóm em sử dụng Smartconfig.

Hình 3-1 Mơ hình hoạt động của Smartconfig

Tiến trình Smartconfig như sau:
- ESP ở chế độ lắng nghe gói tin UDP.
- Smartphone app gửi các gói tin UDP được mã hóa.
- ESP nhận bản tin, kiểm tra độ dài của mỗi dữ liệu từ đó suy ra từng kí tự, ghép
nối chúng lại sẽ tạo ra 1 chuỗi SSID và PASS.

- ESP chuyển sang STA mode đăng nhập vào mạng wifi với thông tin như trên.
- App nhận được thông tin ESP đăng nhập vào, lưu địa chỉ IP của thiết bị đó lại
để giao tiếp.
Một số hàm được sử dụng khi dùng Smartconfig:
- WiFi.mode(WIFI_AP_STA): chuyển ESP32 sang Station mode (Để chạy
SmartConfig cần chuyển ESP32 sang Station mode).
- WiFi.beginSmartConfig(): start SmartConfig.
24


- WiFi.smartConfigDone(): kiểm tra smartconfig xong hay chưa.

Hình 3-2 App trên IOS

Hình 3-3 Esp32 CAM kết nối wifi thành cơng

3.2 Hiện thị hình ảnh và nhận diện khn mặt
Mơ tả hoạt động:
- Nhâ ̣n diê ̣n ảnh vào: camera thực hiê ̣n nhâ ̣n da ̣ng hình ảnh đưa vào với đô ̣ phân
giả thấ p để có thể xử lí phù hơ ̣p với tài nguyên của phầ n cứng.
- Trình duyê ̣t tiế p nhâ ̣n hình ảnh: cho phép thực hiê ̣n đăng kí hoă ̣c xác thực
khuôn mă ̣t của người dùng để mở cửa.
- Xử lí hình ảnh: Sau khi tiế p nhâ ̣n hiǹ h ảnh, tiế n hành xử lí hình ảnh theo các
chương trình cài đă ̣t và đố i chiế u với dữ liê ̣u xem đã có hay chưa.
25


- Đóng mở cửa: Phu ̣ thuô ̣c vào viê ̣c kiể m tra dữ liê ̣u để đố i sánh kế t quả. Nế u kế t
quả trả về chính xác như trong dữ liê ̣u thì có thể mở cửa và ngược lạc. Đồng thời
trên web cũng hiển thị kết quả xác nhận thành cơng hoặc thất bại.

Hình 3-4 Mô ta hoạt động của nhận diện

Code của hệ thống được chia thành 4 phần 1 code chính cho thiết lập wifi,
xử lý dữ liệu camera và tín hiệu ra module relay, 3 code còn lại dành cho web
page, camera index và camera pins
- 3 thư viện chính được sử dụng để hỗ trợ code là #include "esp_camera.h" ,
#include <WiFi.h>, #include "camera_pins.h"
- ESP32 CAM mà nhóm sử dụng là của AI-THINKER nên sử dụng #define
CAMERA_MODEL_AI_THINKER
- Một số setting trước khi nạp code:
+ Upload Speed: “921600”
+ Flash Frequency: “80MHz”
+ Flash Mode: “QIO”
+ Partition Scheme: “Hue APP (3MB No OTA/1MB SPIFFS)”
+ Core Debug Level: “None”

Hình 3-5 IP thu được sau khi tải code lên

Lấy địa chỉ IP này vào web để truy cập vào trình duyệt phát camera trực
tiếp. Tại đây ta có tùy chỉnh độ phân giải, màu, độ sáng cho camera…

26