NGHIÊN CỨU DỰNG HỆ THỐNG KHÓA CỬA THÔNG MINH BẰNG NHẬN DIỆN KHUÔN MẶT

BỘ GIÁO DỤC VÀ ĐÀO TẠO

BỘ NÔNG NGHIỆP & PTNT

TRƯỜNG ĐẠI HỌC THUỶ LỢI
KHOA ĐIỆN – ĐIỆN TỬ

TRƯƠNG TUẤN ANH – LỚP 60TĐH2

NGHIÊN CỨU XÂY DỰNG HỆ THỐNG KHĨA CỬA
THƠNG MINH BẰNG NHẬN DIỆN KHUÔN MẶT

NGÀNH: KỸ THUẬT ĐIỀU KHIỂN VÀ TỰ ĐỘNG HĨA

GIÁO VIÊN HƯỚNG DẪN:

TS. NGƠ QUANG VĨ

HÀ NỘI – 2023


CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc Lập - Tự Do - Hạnh Phúc
----------o0o--------NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Họ tên sinh viên: Trương Tuấn Anh

Hệ đào tạo: Chính quy
Ngành: Kỹ thuật điều khiển và Tự động hóa

Lớp: 60TĐH2
Khoa: Điện - Điện Tử

1. TÊN ĐỀ TÀI:

NGHIÊN CỨU XÂY DỰNG HỆ THỐNG KHĨA CỬA THƠNG MINH
BẰNG NHẬN DIỆN KHN MẶT
2. CÁC TÀI LIỆU CƠ BẢN:
[1] Tìm hiểu tổng quan về khóa cửa thông minh < />[2] Giới thiệu mạch thu phát Wifi BLE ESP32-CAM Ai-Thinker, hướng dẫn cài đặt với
Arduino IDE< >.
[3] Lập trình ESP32 Smartconfig thiết lập wifi qua app thiết lập wifi qua app (khuenguyencreator.com)>.
[4] Phần mềm lập trình Arduino IDE là gì? < />[5] Cơng nghệ AI nhận diện khuôn mặt < />3. NỘI DUNG CÁC PHẦN THUYẾT MINH VÀ TÍNH TỐN:
Nội dung
Tỷ lệ
Chương 1: Tổng quan về đề tài
20%
Chương 2: Nghiên cứu quy trình xử lý ảnh và công nghệ
Chương 3: Thiết kế hệ thống xử lý ảnh
Chương 4: Kết quả thực nghiệm hệ thống
4. HÌNH ẢNH VÀ BẢNG BIỂU: Đồ án có 48 hình ảnh và 3 bảng biểu.

30%
40%
10%

5. GIÁO VIÊN HƯỚNG DẪN TỪNG PHẦN:
Phần

Họ tên Giáo viên hướng dẫn


Tồn phần

TS. Ngơ Quang Vĩ

6. NGÀY GIAO NHIỆM VỤ KHĨA LUẬN TỐT NGHIỆP:
Ngày……tháng……năm 2022
Trưởng bộ mơn

Giảng viên hướng dẫn chính

(Ký và ghi rõ họ tên)

(Ký và ghi rõ họ tên)

TS. Phạm Đức Đại

TS. Ngơ Quang Vĩ

Sinh viên đã hồn thành và nộp Đồ án tốt nghiệp cho Hội đồng thi tốt nghiệp
Ngày ........ tháng ........ năm 2023
Sinh viên làm Đồ án tốt nghiệp
(Ký và ghi rõ họ tên)

Trương Tuấn Anh
Nhiệm vụ Đồ án tốt nghiệp đã được Hội đồng thi tốt nghiệp của Khoa thông qua
Ngày ........ tháng ...... năm 2023
Chủ tịch Hội đồng
(Ký và ghi rõ họ tên)


LỜI CAM ĐOAN

Em tên là Trương Tuấn Anh, lớp 60TĐH2 xin cam đoan đồ án trên là kết quả nghiên
cứu, tìm hiểu của bản thân em dưới sự hướng dẫn của Ts. Ngơ Quang Vĩ. Những nhận
định, kết quả, hình ảnh trong đồ án tốt nghiệp này là thành quả từ sự nghiên cứu trực tiếp,
nghiêm túc, độc lập của bản thân em. Nó mang tính trung thực và khơng sao chép từ bất
kỳ một nguồn nào và dưới bất kỳ hình thức nào. Việc tham khảo các nguồn tài liệu đã
được thực hiện trích dẫn và ghi nguồn tài liệu tham khảo đúng quy định. Nếu như có sai
phạm em xin chịu hoàn toàn trách nhiệm và chịu kỷ luật của bộ mơn cũng như từ phía nhà
trường đề ra.

Sinh viên thực hiện
Ký và ghi rõ họ tên

Trương Tuấn Anh

i


LỜI CẢM ƠN
Sau gần 5 năm học tập và rèn luyện tại ngơi trường Đại học Thủy Lợi thì nay em đã
hoàn thành được đồ án, đồ án tốt nghiệp là một dấu mốc vô cùng quan trọng đối với mỗi
sinh viên nói chung và bản thân em nói riêng. Để hoàn thành được đồ án này, trước hết
em xin gửi cảm ơn chân thành đến các thầy, cô giáo trong khoa Điện – Điện Tử trường
Đại Học Thủy Lợi đã truyền đạt kiến thức, kinh nghiệm cho em cũng như các bạn sinh
viên khác trong suốt thời gian theo học tại trường.
Trong quá trình thực hiện đồ án em cũng đã gặp nhiều khó khăn nhưng được sự chỉ
bảo tận tinh của thầy cơ, bạn bè và gia đình đã giúp em vượt qua để có thể hồn thành đồ
án này.
Đặc biệt hơn, em xin gửi lời cảm ơn sâu sắc nhất đến thầy Ts. Ngô Quang Vĩ đã
hướng dẫn chỉ bảo, giảng giải tận tình, đưa ra những định hướng giúp em khi gặp các vấn
đề khó khăn trong suốt quá trình làm đồ án.

Một lần nữa em xin chân thành cảm ơn!

ii


MỤC LỤC
DANH MỤC HÌNH ẢNH .................................................................................................... v
DANH MỤC BẢNG BIỂU ................................................................................................vii
DANH MỤC CÁC TỪ VIẾT TẮT VÀ GIẢI THÍCH CÁC THUẬT NGỮ .................. viii
LỜI NÓI ĐẦU ...................................................................................................................... 1
CHƯƠNG 1. TỔNG QUAN VỀ ĐỀ TÀI ............................................................................ 2
1.1. Đặt vấn đề .................................................................................................................. 2
1.2. Mục tiêu đề tài. ........................................................................................................... 3
1.3. Nội dung nghiên cứu .................................................................................................. 3
1.3.1. Tổng quan về các loại khóa thơng minh. ............................................................. 3
1.3.2. Ưu và nhược điểm của các loại khóa thơng minh ............................................... 4
CHƯƠNG 2. NGHIÊN CỨU QUY TRÌNH XỬ LÝ ẢNH VÀ CÔNG NGHỆ ................. 6
2.1. Giới thiệu về vài khái niệm cơ bản trong xử lý ảnh. .................................................. 6
2.1.1. Điểm ảnh .............................................................................................................. 6
2.1.2. Độ phân giải. ........................................................................................................ 6
2.1.3. Mức xám của ảnh. ................................................................................................ 7
2.2. Các bước cơ bản trong xử lý ảnh ............................................................................... 8
2.3. Hệ thống xử lý ảnh ................................................................................................... 10
2.4. Công nghệ sinh trắc học. .......................................................................................... 11
2.4.1. Xác thực sinh trắc học. ...................................................................................... 11
2.4.2. Các loại xác thực sinh trắc học phổ biến hiện nay. ........................................... 11
2.4.3. Ưu và nhược điểm của công nghệ sinh trắc học. ............................................... 14
2.5. Cơ sở lý thuyết về nhận diện khuôn mặt. ................................................................. 15
2.5.1. Giới thiệu ........................................................................................................... 15
2.5.2. Lịch sử về nhận diện khuôn mặt. ....................................................................... 15

2.5.3. Nguyên lý hoạt động. ......................................................................................... 16
2.5.4. Thuật toán .......................................................................................................... 16
2.6. Các chuẩn giao tiếp sử dụng. ................................................................................... 18
2.6.1. Chuẩn giao tiếp UART ...................................................................................... 18
2.6.2. Chuẩn giao tiếp SPI ........................................................................................... 21
iii


CHƯƠNG 3. THIẾT KẾ HỆ THỐNG XỬ LÝ ẢNH ....................................................... 26
3.1. Thiết kế sơ đồ bộ khóa ............................................................................................. 26
3.1.1. Khối xử lý trung tâm .......................................................................................... 26
3.1.2. Khối chấp hành .................................................................................................. 31
3.1.3. Khối cảnh báo .................................................................................................... 33
3.1.4. Khối nguồn ........................................................................................................ 34
3.1.5. Khối cảm biến .................................................................................................... 36
3.1.6. Nguyên lý hoạt động của hệ thống .................................................................... 37
3.2. Lấy địa chỉ IP và thiếp lập Wifi cho mơ hình .......................................................... 39
3.2.1. Kích hoạt ESP32-CAM lấy địa chỉ IP ............................................................... 39
3.2.2. Thiết lập Wifi cho mơ hình ................................................................................ 42
3.3. Cách lưu trữ khn mặt............................................................................................ 44
3.3.1. Phân vùng lại bộ nhớ của ESP32 ....................................................................... 45
3.3.2. Thu thập dữ liệu khuôn mặt để lưu trữ .............................................................. 47
3.4. Thi cơng mơ hình ..................................................................................................... 48
CHƯƠNG 4. KẾT QUẢ THỰC NGHIỆM HỆ THỐNG .................................................. 50
4.1. Kết quả đạt được ...................................................................................................... 50
4.2. Kết quả mơ hình ....................................................................................................... 50
4.3. Kết quả thực nghiệm ................................................................................................ 52
4.3.1. Kết quả khi chưa bật nhận diện khuôn mặt ....................................................... 52
4.3.2. Kết quả khi bật nhận diện khuôn mặt ................................................................ 53
KẾT LUẬN VÀ KIẾN NGHỊ ............................................................................................ 56

TÀI LIỆU THAM KHẢO .................................................................................................. 58

iv


DANH MỤC HÌNH ẢNH
Hình 2.1. Điểm ảnh trong ảnh màu ...................................................................................... 6
Hình 2.2. Sự khác biệt về độ phân giải................................................................................. 7
Hình 2.3 Hệ màu RBG ......................................................................................................... 8
Hình 2.4. Các bước cơ bản trong xử lý ảnh.......................................................................... 8
Hình 2.5. Quá trình xử lý ảnh ............................................................................................. 10
Hình 2.6. Ảnh nhận diện bằng vân tay ............................................................................... 12
Hình 2.7. Ảnh nhận diện qua võng mạc ............................................................................. 13
Hình 2.8. Ảnh nhận diện bằng khn mặt .......................................................................... 14
Hình 2.9. Ảnh nhận dạng 3D. ............................................................................................. 18
Hình 2.10. Giao tiếp UART ............................................................................................... 19
Hình 2.11. Dữ liệu truyền của UART ................................................................................ 20
Hình 2.12. Giao tiếp về SPI ................................................................................................ 22
Hình 2.13. Master có một chân slave select ....................................................................... 24
Hình 2.14. Master có một chân slave select. ...................................................................... 24
Hình 3.1. Sơ đồ khối hệ thống ............................................................................................ 26
Hình 3.2. Module ESP32-CAM ......................................................................................... 27
Hình 3.4. Sơ đồ chân của ESP32-CAM ............................................................................. 29
Hình 3.5. Module Relay 5V ............................................................................................... 32
Hình 3.6. Khóa điện tử LY - 01.......................................................................................... 33
Hình 3.7. Cịi Buzzer .......................................................................................................... 34
Hình 3.8. Nguồn adapter 12V – 2A .................................................................................... 35
Hình 3.9. Module hạ áp LM2596S – 3A ............................................................................ 36
Hình 3.10. Lưu đồ thuật tốn.............................................................................................. 38
Hình 3.11. Logo phần mềm Arduino.................................................................................. 39

Hình 3.12. Thao tác để mở thư viện ................................................................................... 40
Hình 3.13. Add thư viện ESP32 ......................................................................................... 40
Hình 3.14. Cài thư viện cho ESP32 .................................................................................... 41
v


Hình 3.15. Chọn chế độ board cho ESP32 ......................................................................... 41
Hình 3.16. Kết nối giữa ESP32 và mạch nạp ..................................................................... 41
Hình 3.17. Lấy được địa chỉ IP .......................................................................................... 42
Hình 3.18. Mơ hình hoạt động của Smartconfig ................................................................ 43
Hình 3.19. Thiếp lập thành cơng wifi ................................................................................. 44
Hình 3.20. Thêm tệp vào thư mục chứa các lược đồ phân vùng khác ............................... 45
Hình 3.21. Thư mục board.................................................................................................. 46
Hình 3.22. Dữ liệu của esp32wrover .................................................................................. 46
Hình 3.23. Phân vùng mới đã được lưu............................................................................. 46
Hình 3.24. Sử dụng sketch này để học và lưu lại các khn mặt ....................................... 47
Hình 3.25. Thêm thư viện flash.h ....................................................................................... 47
Hình 3.26. Thay đổi vùng lưu dữ liệu khn mặt .............................................................. 47
Hình 3.27. Thêm phần đọc dữ liệu từ flash ........................................................................ 48
Hình 3.28. Sơ đồ đấu nối của mạch bộ khóa ...................................................................... 48
Hình 3.29. Kết quả mạch của bộ khóa................................................................................ 49
Hình 4.1. Ảnh mơ hình mặt trước ...................................................................................... 51
Hình 4.2. Ảnh mơ hình mặt bên ......................................................................................... 51
Hình 4.3. Ảnh mơ hình bên trong ....................................................................................... 52
Hình 4.4. Hình ảnh được tải lên ......................................................................................... 53
Hình 4.6. Nhận diện khi có người lạ xâm nhập .................................................................. 54
Hình 4.7. Nhận diện khi mở khóa thành cơng .................................................................... 54
Hình 4.8. Hình ảnh người tiếp theo nhận diện thành công ................................................. 55

vi

DANH MỤC BẢNG BIỂU
Bảng 3.1 Thông số cơ bản của ESP32-CAM ..................................................................... 27
Bảng 3.2 Chân thẻ SD của ESP32-CAM ........................................................................... 30
Bảng 4.1 So sánh với các loại khóa hiện nay ..................................................................... 55

vii


DANH MỤC CÁC TỪ VIẾT TẮT VÀ GIẢI THÍCH CÁC THUẬT NGỮ
ADC

: Analog to Digital Converte (Bộ chuyển đổi tương tự sang số)

IOT

: Internet of Things (Internet vạn vật)

IP

: Internet Protocol (Giao thức Internet)

LED

: Light – Emitting Diode (Diode phát quang)

PEL

: Picture Element (Điểm ảnh)

REID

: Radio Frequency Identification (Nhận dạng bằng sóng vơ tuyến)

RTC

: RTC hay Real Time Clock (Ngoại vi sử dụng như một bộ đồng hồ)

UART

: Universal Asynchronous Receiver-Transmitter (Giao tiếp nối tiếp không
đồng bộ)

WIFI

: Wireless Fidelity (Mạng không dây cục bộ)

viii


LỜI NĨI ĐẦU
Khoa học cơng nghệ ngày càng đạt được những thành tựu to lớn kéo theo sự phát triển
vượt bậc trong các ngành nghề có ứng dụng khoa học kỹ thuật. Những năm trở lại đây các
xu hướng công nghê như: điện toán đám mây (CLOUD COMPUTING); Dữ liệu lớn (Big
Data) và không thể không nhắc đến mạng vạn vật kết nối (IOT), khơng cịn xa lạ gì đối
với cuộc sống hàng ngày của chúng ta. Đặc biệt là khi các thiết bị IOT đã được sử dụng
rộng rãi và tràn ngập khắp nơi trên thế giới, và qua đó ta cũng thấy được sự hiệu quả cũng
như lợi ích mà nó mang lại như thế nào trong cuộc sống hiện đại ngày nay.
Sự phát triển của IOT, trí tuệ nhân tạo đã có bước tiến vượt bậc trong thời gian vừa

qua. Bằng chứng là khắp các ngành nghề đều đang có những ứng dụng sử dụng trí tuệ
nhân tạo nhằm nâng cao năng suất lao động, độ chính xác cao hơn. Việc kết hợp một số
sản phẩm IOT có ứng dụng của trí tuệ nhân tạo vào là một điều tất yếu, nó cũng là xu
hướng hiện nay.
Bên cạnh đó vấn đề an ninh của gia đình là điều vơ cùng quan trọng. Gia đình có được
bình n hay khơng? Tài sản có được đảm bảo hay khơng? Tất cả đều được quyết định bởi
sự lựa chọn phương thức bảo vệ ngôi nhà của chúng ta. Nhận thấy tầm qua trọng của vấn
đề này nên em đã lựa chọn đề tài: “Nghiên cứu, xây dựng hệ thống khóa cửa thông
minh bằng nhận diện khuôn mặt” để làm đề tài nghiên cứu cho đồ án lần này. Hệ thống
này đơn giản, dễ dàng lắp đặt và sử dụng nó sẽ giúp người dùng bảo vệ ngơi nhà của mình
một cách an tồn hơn so với các loại khóa cửa truyền thống thô sơ rất dễ bị bẻ gãy.

1


CHƯƠNG 1. TỔNG QUAN VỀ ĐỀ TÀI
1.1. Đặt vấn đề
Trong thời đại phát triển hiện nay, vấn đề bảo mật và an ninh là một vấn đề cực kỳ
quang trọng và cấp thiết trong đời sống của chúng ta. Ta có thể thấy hàng loạt các cơng
nghệ có liên quan và ảnh hưởng đến vấn đề này đang được thúc đẩy phát triển mạnh mẽ.
Từ vấn đề an ninh của các cơ quan, trụ sở, văn phòng, cho đến việc đảm bảo an tồn cho
các thiết bị, nhà cửa, cơng trình. Điển hình như muốn thiết lập hệ thống bảo vệ nhà cửa
tránh sự xâm nhập của người lạ. Hệ thống có thể là một ổ khóa thơng minh cài đặt mật
khẩu, kí tự hay là vân tay, khn mặt, giọng nói hoặc là trịm mắt,.. thay cho trước đây
người ta chủ yếu sử dụng các loại khóa cơ khí. Chúng ta khơng thể phủ nhận được rằng
bộ khóa cơ thơng thường có tác dụng ngăn cản hay kéo dài thời gian hành động của kẻ
trộm. Khóa cơ rất dễ mở, đơn giản với hai thanh sắt dẹp, một thanh để xoay trục ổ khóa,
một thanh để đẩy các chốt lị xo về vị trí mở. Loại này gặp vấn đề lớn đó là tính bảo mật
khơng được cao và dễ dàng bị phá bới các loại dụng cụ vô cùng đơn giản. Bên cạnh đó,
vấn đề chìa khóa để mở cửa cũng gây ra rất nhiều vướng mắc cho chúng ta phải bận tâm

như: Cất chìa khóa làm sao cho an tồn? Nếu mất chìa khóa, kẹt chìa thì phải làm sao?
Lúc đó chúng ta lại phải thuê thợ sửa khóa đến, điều đó gây rất nhiều phiền phức cũng
như tốn kém về thời gian cũng như tiền bạc của chúng ta.
Ngày nay với sự phát triển vượt bậc của khoa học cơng nghệ thì việc đưa ra các giải
pháp cho vấn đề trên là hồn tồn có thể. Như đã nêu ở trên tính bảo mật và sự tiện ích sẽ
được đặt lên hàng đầu thì một ổ khóa cửa thơng minh để bảo vệ lối ra vào và phát hiện
được người lạ xâm nhập là một điều vơ cùng cần thiết. Khóa cửa thơng minh sẽ dần thay
thế cho các loại khóa truyền thống, nó đang dần khẳng định vị thế của mình vì một số lý
do: Công nghệ bảo mật cao, điều khiển từ xa qua ứng dụng điện thoại, mẫu mã thiết kế
sang trọng, tự động khóa khi đóng cửa và khóa thơng minh thường bền hơn so với khóa
truyền thống. Trong đồ án này, em sẽ nói về hệ thống bảo vệ đóng mở cửa bằng phương
pháp nhận diện khuôn mặt dựa trên công nghê sinh trắc học (Những thông tin sinh trắc

2


học của mỗi người thường là duy nhất chính vì vậy nó tạo ra sự bảo vệ cực kỳ an tồn cho
ngơi nhà của người sử dụng). Cụ thể hơn đó là: Nghiên cứu, xây dựng hệ thống khóa cửa
thơng minh bằng nhận diện khuôn mặt.
1.2. Mục tiêu đề tài.
Với đồ án này là đi xây dựng hệ thống khóa cửa thông minh bằng nhận diện khuôn
mặt, cần xác định mục tiêu là vấn đề bảo mật cho lối ra vào của một địa điểm nhất định,
cụ thể hơn là bộ khóa cửa cho một căng hộ. Yêu cầu đặt ra cho bộ khóa này gồm những
tiêu chí sau:
• Khả năng nhận dạng có độ chính xác cao.
• Đáp ứng được tính an tồn và bảo mật
• Cho phép người sử dụng lưu trữ khuôn mặt vào dữ liệu của hệ thống.
• Tốc độ mở ổ khóa nhanh, chính xác.
• Sản phẩm có tính thẩm mỹ.
• Thuận tiện cho người sử dụng.

1.3. Nội dung nghiên cứu
1.3.1. Tổng quan về các loại khóa thơng minh.
Trong thời điểm cơng nghệ tiên tiến phát triển, khóa cửa thơng minh sẽ dẫn lối vào
tiện nghi trong cuộc sống thường ngày của mỗi người. Khóa cửa thơng minh có tác dụng
thực hiện nhiệm vụ đóng, mở cửa khi nhận được lệnh mà không cần đùng đến chìa khóa
cơ, sử dụng kết nối khơng dây với một khóa mã để thực hiện q trình xác nhận hay là
nhận dạng khn mặt để mở khóa cửa [3]. Những loại khóa đó có các ứng dụng rất thiết
thực như:
• Khóa cửa vân tay: Hệ thống khóa vân tay cho phép người dùng mã hóa trên thiết bị và
chỉ khi có bàn tay đó đặt vào thì khóa cửa mới tự động được mở.
• Khóa thẻ từ RFID: RFID viết tắt của Radio Frequency Identification là công nghệ nhận
dạng đối tượng dựa trên những bước sóng vơ tuyến. Khóa thông minh sử dụng công

3


nghệ này có thể nhận dạng được danh tính của người ra vào qua một hệ thống tiếp nhận
tín hiệu và xử lý tức thì.
• Khóa mật mã: dùng mật mã để thay thế cho chìa khóa mở cửa.
• Khóa nhận dạng khuôn mặt: Hệ thống nhận diện trực tiếp bằng khn mặt, cho phép
mở cửa khi nhận dạng chính xác danh tính người sử dụng và được hiển thị hình ảnh
trực tiếp trên màn hình ở bề mặt của khóa.
1.3.2. Ưu và nhược điểm của các loại khóa thơng minh
Ưu điểm của các loại khóa thơng minh.
• Tính tiện lợi, tính thẩm mỹ cao.
• Thời gian đóng/ mở cửa nhanh chóng.
• Tính an tồn, bảo mật cao
• Kiểm sốt chặt chẽ việc ra/ vào.
• Tính tiện dụng, dễ sử dụng.
• Tính thẩm mỹ cao.

Nhược điểm của các loại khóa thơng minh.
• Với khóa cửa mã số, mã khóa có thể dễ dàng bị tiết lộ hoặc bị phá mã.
• Chi phí lắp đặt và bảo trì tương đối cao hơn so với khóa cửa thơng thường.
• Với các hệ thống khóa cửa của các tịa nhà, trung tâm lớn, do khóa được vận hành trên
hệ thống máy chủ tự động nên có thể tiềm tàng rủi ro máy chủ bị xâm nhập giúp các
người khác có thể thực hiện được các hành vi xấu.
• Để duy trì tính an tồn và bảo mật, khóa cửa thơng minh cần liên tục được bảo trì và
nâng cấp để chống lại xâm nhập.
Bên cạnh đó để hồn thành đồ án “Nghiên cứu xây dựng hệ thống khóa cửa thơng
minh bằng nhận diện khuôn mặt”. Sử dụng các kiến thức em đã được học trong các môn
học như Vi xử lý, điện tử công suất và một số môn chuyên nghành khác để thực hiện các
nội dung sau:
• Tìm hiểu, tính tốn thiết kế mạch cho phần cứng.
4


• Tìm hiểu về hệ thống khóa cửa thơng minh trên thị trường.
• Xử lý q trình nhận diện khn mặt và lưu trữ khn mặt.
• Xây dựng mơ hình mẫu.
• Kiểm tra, thử nghiệm và hiệu chỉnh phần cứng của thiết bị qua đó so sánh đánh giá tính
thực tế của đồ án.

5


CHƯƠNG 2. NGHIÊN CỨU QUY TRÌNH XỬ LÝ ẢNH VÀ CÔNG NGHỆ
2.1. Giới thiệu về vài khái niệm cơ bản trong xử lý ảnh.
2.1.1. Điểm ảnh
Gốc của ảnh (ảnh tự nhiên) là ảnh liên tục về không gian và độ sáng. Để xử lý bằng
máy tính (số), ảnh cần phải được số hoá. Số hoá ảnh là sự biến đổi gần đúng một ảnh liên

tục thành một tập điểm phù hợp với ảnh thật về vị trí (khơng gian) và độ sáng (mức xám).
Khoảng cách giữa các điểm ảnh đó được thiết lập sao cho mắt người không phân biệt
được ranh giới giữa chúng. Mỗi một điểm như vậy gọi là điểm ảnh (PEL: Picture
Element) hay gọi tắt là Pixel. Trong khuôn khổ ảnh hai chiều, mỗi pixel ứng với cặp tọa
độ (x, y) [
Điểm ảnh (Pixel) là một phần tử của ảnh số tại toạ độ (x, y) với độ xám hoặc màu nhất
định. Kích thước và khoảng cách giữa các điểm ảnh đó được chọn thích hợp sao cho mắt
người cảm nhận sự liên tục về không gian và mức xám (hoặc màu) của ảnh số gần như
ảnh thật. Mỗi phần tử trong ma trận được gọi là một phần tử ảnh.

Hình 2.1. Điểm ảnh trong ảnh màu

2.1.2. Độ phân giải.

6


Về cơ bản thì độ phân giải là một thước đo được sử dụng để mô tả độ sắc nét và rõ
ràng của một hình ảnh. Và nó cũng được dùng như là một trong những thước đo để đánh
giá chất lượng của các thiết bị điện tử như màn hình, máy in, máy ảnh kỹ thuật số cùng
với nhiều cơng nghệ phần cứng và phần mềm khác.

Hình 2.2. Sự khác biệt về độ phân giải

Như ảnh trên chúng ta thấy rằng tuy cùng kích thước nhưng độ phân giải khác nhau,
và độ phân giải càng thấp thì càng mờ. như ảnh một sẽ được hiểu là chiều rộng có 175
điểm ảnh xoa chiêu dai có 256 điểm ảnh.
Tác dụng của độ phân giải
Chúng ta không nên phủ nhận đi hoàn toàn tác dụng của độ phân giải, minh chứng là
nó ln là một trong những thơng số đáng chú ý nhất mỗi khi mua thiết bị hay làm việc

với hình ảnh. Các nhà phát triển đã ln chú trọng mảng về thơng số này nên do đó, nó có
một vài tác dụng sau:
• Tăng độ sắc nét, giảm độ nhiễu của hình ảnh trên màn hình có kích thước nhỏ
• Tác dụng khi in khổ lớn như in các tạo chí hay khi cần crop ảnh
2.1.3. Mức xám của ảnh.
Mức xám của điểm ảnh là cường độ sáng của nó được gán bằng giá trị số tại điểm đó.

7


• Các thang giá trị mức xám thông thường: 16, 32, 64, 128, 256 (Mức 256 là mức phổ
dụng, Lý do là từ kỹ thuật máy tính dùng 1 byte (8 bit) để biểu diễn mức xám Mức
xám dùng 1 byte biểu diễn: 28 =256 mức, tức là từ 0 đến 255).
• Ảnh đen trắng: Là ảnh có hai màu đen, trắng (không chứa màu khác) với mức xám ở
các điểm ảnh có thể khác nhau.
• Ảnh nhị phân: Ảnh chỉ có 2 mức đen trắng phân biệt tức dùng 1 bit mơ tả 21 mức khác
nhau. Nói cách khác: mỗi điểm ảnh của ảnh nhị phân chỉ có thể là 0 hoặc 1.
• Ảnh màu: Trong khn khổ lý thuyết ba màu (Red, Blue, Green) để tạo nên thế giới
màu, khi đó các giá trị màu: 28*3=224≈ 16,7 triệu màu.

Hình 2.3 Hệ màu RBG
2.2. Các bước cơ bản trong xử lý ảnh

Hình 2.4. Các bước cơ bản trong xử lý ảnh

Sơ đồ này bao gồm các phần sau:

8

Phần thu nhận ảnh: Ảnh có thể nhận qua camera màu hoặc đen trắng). Camera thường
dùng là loại quét dòng: ảnh tạo ra có dạng hai chiều. Chất lượng một ảnh thu nhận được
phụ thuộc vào thiết bị thu, vào môi trường (ánh sáng, phong cảnh, thời tiết).
Tiền xử lý: Sau bộ thu nhận, ảnh có thể nhiễu độ tương phản thấp nên cần đưa vào bộ
tiền xử lý để nâng cao chất lượng. Chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng
độ tương phản để làm ảnh rõ hơn, nét hơn
Phân đoạn hay phân vùng ảnh: Phân vùng ảnh là tách một ảnh đầu vào thành các
vùng thành phần để biểu diễn phân tích, nhận dạng ảnh. Ví dụ: để nhận dạng chữ (hoặc
mã vạch) trên phong bì thư cho mục đích phân loại bưu phẩm, cần chia các câu, chữ về
địa chỉ hoặc tên người thành các từ, các chữ, các số (hoặc các vạch) riêng biệt để nhận
dạng. Đây là phần phức tạp khó khăn nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ
chính xác của ảnh. Kết quả nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này.
Biểu diễn ảnh: Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã
phân đoạn) cộng với mã liên kết với các vùng lận cận. Việc biến đổi các số liệu này thành
dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính. Việc chọn các tính chất để
thể hiện ảnh gọi là trích chọn đặc trưng (Feature Selection) gắn với việc tách các đặc tính
của ảnh dưới dạng các thơng tin định lượng hoặc làm cơ sở để phân biệt lớp đối tượng
này với đối tượng khác trong phạm vi ảnh nhận được.
Nhận dạng và nội suy ảnh: Nhận dạng ảnh là quá trình xác định ảnh. Quá trình này
thường thu được bằng cách so sánh với mẫu chuẩn đã được học (hoặc lưu) từ trước. Nội
suy là phán đoán theo ý nghĩa trên cơ sở nhận dạng. Theo lý thuyết về nhận dạng, các mơ
hình tốn học về ảnh được phân theo hai loại nhận dạng ảnh cơ bản sau đây:
• Nhận dạng theo tham số.
• Nhận dạng theo cấu trúc.
Một số đối tượng nhận dạng khá phổ biến hiện nay đang được áp dụng trong khoa
học và công nghệ là: nhận dạng ký tự (chữ in, chữ viết tay, chữ ký điện tử), nhận dạng
văn bản (Text), nhận dạng vân tay, nhận dạng mã vạch, nhận dạng mặt người.
9

Cơ sở tri thức: Như đã nói ở trên, ảnh là một đối tượng khá phức tạp về đường nét, độ
sáng tối, dung lượng điểm ảnh, môi trường để thu ảnh phong phú kéo theo nhiễu. Trong
nhiều khâu xử lý và phân tích ảnh ngồi việc đơn giản hóa các phương pháp toán học đảm
bảo tiện lợi cho xử lý.
2.3. Hệ thống xử lý ảnh
Những năm trở lại đây với sự phát triển của phần cứng máy tính, xử lý ảnh và đồ họa
đã phát triển một cách mạnh mẽ và có nhiều ứng dụng trong cuộc sống. Xử lý ảnh và đồ
họa đóng vai trị quan trọng trong tương tác người máy. Quá trình xử lý ảnh được xem
như là quá trình thao tác ảnh đầu vào nhằm cho ra kết quả mong muốn, kết quả đầu ra của
một quá trình xử lý một kết luận.

Hình 2.5. Quá trình xử lý ảnh

Ảnh có thể xem là tập hợp các điểm ảnh và mỗi điểm ảnh được xem như là đặc trưng
cường độ ánh sáng hay một dấu hiệu nào đó, tại vị trí nào đó của đối tượng trong quãng
thời gian và nó có thể xem như một hàm n biến P(a1,a2,…an). Do đó, ảnh trong xử lý ảnh
có thể xem như ảnh n chiều.
Các vấn đề của xử lý ảnh:
-

Thu nhận ảnh, chụp ảnh và hóa ảnh
+ Hệ thống chụp ảnh và tín hiệu ảnh
+ Hệ thống số hóa ảnh lấy mẫu lượng tử hóa

-

Phân tích ảnh và thị giác máy tính
+ Cải thiện nâng cấp ảnh sửa lỗi khôi phục ảnh
+ Phân tách đặc trưng cách biên phân vùng ảnh

10


+ Biểu diễn và xử lý đặc trưng hình ảnh đối tượng ảnh
+ Nhận dạng đối tượng ảnh phân tích cảnh và hiểu cảnh
-

Mã hóa nén ảnh
+ Các phương pháp nén và các chuẩn nén.

2.4. Công nghệ sinh trắc học.
2.4.1. Xác thực sinh trắc học.
Sinh trắc học là các đặc điểm thể chất và hành vi cơ thể đo lường cho phép thiết lập và
xác minh danh tính của một cá nhân. Xác thực sinh trắc học là một hình thức bảo mật đo
lường và đối sánh các tính nhân sinh trắc học là hình thức bảo mật đo lường và đối sánh
các tính nhân sinh trắc học của người dùng để xác minh rằng một người nào đó đang cố
gắng truy cập vào một hệ thống, thiết bị cụ thể được phép làm như vậy. Đặc điểm sinh
trắc học là các đặc điểm vật lý và sinh trắc học dành riêng cho một cá nhân và có thể dễ
dàng so sánh với các đặc điểm được phép lưu trong cơ sở dữ liệu [18]. Nếu các tính nhân
sinh trắc học của một người dùng đang cố gắng truy cập vào một hệ thống, thiết bị khớp
với các tính năng của một người dung được phê duyệt thì quyền tru cập vào các thiết bị sẽ
được cấp. Xác thực sinh trắc học hiện nay rất phổ biến như kiểm soát các điểm truy cập
cửa ra vào, bảo mật trong máy tính và điện thoại.
2.4.2. Các loại xác thực sinh trắc học phổ biến hiện nay.
• Nhận diện bằng vân tay
Đây là loại xác định sinh trắc học được áp dụng phổ biến và đa dạng nhất. ID vân tay
có độ tin cậy, chính xác cao và rất tiện lợi. Phần lớn hãng điện thoại trên thế giới đều sử
dụng vân tay xác định danh tính người dùng để mở khóa mật khẩu.

11

Hình 2.6. Ảnh nhận diện bằng vân tay

Đây là loại xác thực sinh trắc học phố biến nhất hiện nay khi đặt ngón tay lên trên
phần cảm biến vân tay thiết bị sẽ qt hình ảnh ngón tay và đưa vào hệ thống xử lý thế
thống này chuyển dữ liệu vừa nhận dạng sang số rồi đối chiếu với các đặc điểm của vân
tay đó với dữ liệu đã được lưu trữ trong hệ thống nếu khớp thì lớp khóa hay bảo mật sẽ
được mở.
Bên cạnh đó, sinh trắc vân tay cịn được tích hợp vào các thiết bị chấm cơng cho nhân
viên. Thơng qua các thuật tốn nhận diện hình ảnh, máy chấm cơng có khả năng phân biệt
dấu vân tay này với dấu vân tay khác, giúp việc tính lương hiệu quả và chính xác hơn.
• Nhận diện qua võng mạc
Giống như dấu vân tay, sinh trắc võng mạc của con người rất đa dạng và phức tạp. Vì
vậy, đây là hình thức xác thực sinh trắc học rất đáng tin cậy. Giải pháp này được ứng
dụng nhiều trong lĩnh vực ngân hàng. Người dùng sử dụng sinh trắc võng mạc để thực
hiện giao dịch, thanh toán tài chính.

12


Hình 2.7. Ảnh nhận diện qua võng mạc

Cơ chế nhận diện mống mắt của thiết bị (hoặc bộ cảm biến) được thực hiện nhờ một
máy chiếu bước sóng nhìn thấy được hoặc tia ( hay camera) hồng ngoại tầm gần ( Near
Infraed – NIR) vào mắt người. Mục đích của việc chiếu tia đặc biệt này vào mắt nhập
giúp xác định chính xác vị trí của từng bộ phận của mắt (đồng tử, mí mắt, lơng mi…) và
chi tiết cấu trúc của mống mắt để so sánh với dữ liệu được phê duyệt trước đó.
• Nhận diện khn mặt
Xác thực sinh trắc học dựa trên đặc điểm khuôn mặt phổ biến xếp thứ 2 sau dấu vân

tay. Thiết bị này hoạt động bằng cách phân tích, so sánh đặc điểm khuôn mặt đã được
thiết lập từ trước với khuôn mặt đang được qt ở hiện tại.
Cơng nghệ Face ID có khả năng chiếu và phân tích để tạo ra bản đồ độ sâu và hình
ảnh hồng ngoại của một khn mặt. Apple là một trong những thương hiệu nổi tiếng khi
ứng dụng công nghệ này vào các sản phẩm điện tử của mình.

13


Hình 2.8. Ảnh nhận diện bằng khn mặt

Bên cạnh đó, nhận diện khn mặt cịn được sử dụng trong hệ thống bảo mật vật lý
của các tòa nhà. Điều này giúp bộ phận quản lý kiểm soát số lượng người ở và khách ra
vào tòa nhà tốt hơn.
2.4.3. Ưu và nhược điểm của cơng nghệ sinh trắc học.
Ưu điểm:
• Có khả năng cải thiện tính bảo mật, kiểm sốt truy cập an tồn, thoải mái, tránh để lộ
thơng tin người dùng cho tội phạm mạng
• Là một giải pháp bảo mật hiện đại và phức tạp nhất, có độ chính xác gần như là tuyệt
đối trong q trình xác thực
• So với phương pháp xác thực truyền thống, bảo mật sinh trắc học có thao tác thực hiện
nhanh hơn, người dùng hạn chế tình trạng quên chuỗi mật khẩu dài và phức tạp như
trước kia
• Khắc phục hiện tượng quá tải thông tin đăng nhập trên các ứng dụng hoặc thiết bị khác
nhau
• Xác thực sinh trắc học có tính linh hoạt, dễ đăng ký và triển khai sử dụng.
Nhược điểm:
• Các thiết bị xác thực sinh trắc học thường có chi phí đắt hơn so với thiết bị nhập mật
khẩu truyền thống
14