XÂY DỰNG ỨNG DỤNG ĐIỀU KHIỂN THIẾT BỊ GIA ĐÌNH BẰNG CẢM BIẾN

XÂY DỰNG ỨNG DỤNG ĐIỀU KHIỂN
THIẾT BỊ GIA ĐÌNH BẰNG CẢM BIẾN


Báo cáo: Báo cáo tốt nghiệp

LỜI CẢM ƠN

Sau một thời gian em bắt tay vào nghiên cứu cùng với sự giúp đỡ tận tình của
thầy Ths. ..., em đã hồn thành đề tài “Xây dựng ứng dụng Điều khiển thiết bị gia
đình bằng cảm biến”.
Qua đây em đã học hỏi được rất nhiều điều về cách thức nghiên cứu, phân tích
một vấn đề. Với lịng biết ơn sâu sắc nhất, em xin gửi đến Thầy Cô ở Khoa đã
truyền đạt vốn kiến thức quý báu cho chúng em trong suốt thời gian học tập tại
trường. Nhờ có những lời hướng dẫn, dạy bảo của các thầy cô nên đề tài nghiên cứu
của em mới có thể hồn thiện tốt đẹp.
Tuy nhiên trong q trình thực hiện do thời gian có hạn cũng như kinh nghiệm
của bản thân còn hạn chế nên chắc chắn trong báo cáo này không tránh khỏi thiếu
sót và những chỗ xử lý vấn đề chưa được tối ưu. Em rất mong nhận được những
nhận xét, đánh giá từ phía thầy, người đã trực tiếp hướng dẫn.
Một lần nữa em xin chân thành cảm ơn và luôn mong nhận được sự đóng góp
quý báu của quý thầy cô dành cho đề tài của em.


Báo cáo: Báo cáo tốt nghiệp

TÓM TẮT ĐỀ TÀI
Đề tài nghiên cứu “Xây dựng ứng dụng điều khiển thiết bị gia đình bằng cảm
biến” được tiến hành tại văn phịng khoa Kỹ thuật – Công nghệ Đại học Thủ Dầu
Một, thời gian thực hiện từ ngày 25 tháng 01 năm 2020 đến ngày 25 tháng 06 năm
2020. Đề tài thực hiện theo trình tự sau:

•
•
•
•
•
•

Xây dựng ứng dụng điều khiển thiết bị gia đình cảm biến ESP32-Cam.
Thiết kế mơ hình nhận diện khuôn mặt từ dữ liệu Camera.
Ứng dụng thư viện ESP32 tạo ra các kiểu lưu trữ dữ liệu vào vùng nhớ.
Thực hiện chức năng them, xóa dữ liệu khuôn mặt
Kết quả thu được:
Xây dựng được một ứng dụng điều khiển mở cửa tự động bằng nhận diện

khn mặt
• Báo cáo và trình bày nội dung đề tài.


Báo cáo: Báo cáo tốt nghiệp
SUMMARY
The research project "Building applications to control household devices by
sensors" was conducted at the office of the Faculty of Engineering and
Technology of Thu Dau Mot University, from January 25 to 2020. June 25,

•

2020. The project is implemented in the following order:
• Building application to control ESP32-Cam sensor family devices.
• Designing facial recognition models from Camera data.

• ESP32 library application creates data storage types to device.
• Perform the function of adding and erasing face data
• Results:
• Build an automatic door opening control application using face recognition
• Report and present the topic.


Báo cáo: Báo cáo tốt nghiệp

MỤC LỤC


Báo cáo: Báo cáo tốt nghiệp
MỤC LỤC HÌNH


Báo cáo: Báo cáo tốt nghiệp
Chương 1 TỔNG QUAN

1.1

Lý do chọn đề tài

Trong thới buổi hiện đại thì việc áp dụng Công nghệ thông tin vào cuộc sống là
một việc làm hết sức cần thiết và thực tế. Với tốc độ phát triển nhanh chóng của
Khoa học cơng nghê, đặc biệt là cơng nghê trí tuệ nhân tạo AI đang là một lĩnh vực
đang rất nóng với các nhà nghiên cứu cũng như thực hiện các đồ án liên quan.
Trong đó nhận diện khn mặt là thứ đang được mọi người rất quan tâm và tính ứng
dụng của nó đối với con người.
Tổng số dân của Việt Nam là 96.208.984 người Việt Nam là quốc gia đông

dân thứ ba trong khu vực Đông Nam Á. Tổng số hộ dân cư trên cả nước là
26.870.079 hộ dân cư. Cho thấy được cơ hội của việc áp dụng CNTT vào việc
điều khiển các thiết bị gia đình là một lĩnh vực có quy mô lớn.
1.2 Mục tiêu và đối tượng nghiên cứu

1.2.1 Mục tiêu
- Thông qua nghiên cứu trên nền tảng nhận diện khn mặt tạo ra một ứng dụng
có độ chính xác, có tính thực tiễn cao, dễ sử dụng.
- Xây dựng được ứng dụng điều khiển thiết bị gia đình bằng cảm biến từ một
căn nhà bình thường trở thành một căn nhà thông minh.
- Mục tiêu của đồ án này là tìm hiểu một số phương pháp nhận diện khuôn mặt
và ứng dụng vào thực tế cho phù hợp với thực tế nước ta.
- Nhận diện khuôn mặt chủ nhà.
- Xác nhận danh tính người sử dụng.
- Kiểm tra và thơng báo lên màn hình.
- Cơ chế đóng/ mở cửa khóa điện
- Cơ chế bảo mật của sản phẩm.

1.2.2 Đối tượng nghiên cứu

- Nghiên cứu các thuật toán nhận diện khn mặt.
- Tập trung chính vào đối tượng nghiên cứu là mặt người.
Chương 1


Báo cáo: Báo cáo tốt nghiệp

- Xử lý hình ảnh.
- Các thuật toán dung trong cảm biến.
1.3 Phương pháp nghiên cứu

1.3.1 Đặt vấn đề nghiên cứu
Các vấn đề cần nghiên cứu để hỗ trợ cho báo cáo tốt nghiệp:

-

Nhận diện khn mặt chủ nhà.
Xác nhận danh tính người sử dụng.
Kiểm tra và thơng báo lên màn hình.
Cơ chế đóng/ mở cửa khóa điện
Cơ chế bảo mật của sản phẩm.

1.3.2 Khảo sát và nghiên cứu tài liệu
- Khảo sát ứng dụng có liên quan đến đề tài.
- Tìm kiếm ứng dụng có thơng tin cần thiết.
- Xem các bài các bài báo, đồ án tương tự.
- Phân tích, thực hiện các chức năng đề ra.
- Thực thi ứng dụng, thay đổi, bổ sung, khắc phục sự cố cho ứng dụng.
1.3.3 Các tài liệu liên quan
- Tập dữ liệu và Bộ tiêu chuẩn giúp ngăn chặn giả mạo khuôn mặt.
Nhằm hỗ trợ ngăn chặn giả mạo khuôn mặt, tác giả đưa ra một tập dữ liệu có
tên là CASIASURF. Đây là tập dữ liệu mở lớn nhất về chống giả mạo khuôn mặt,
bao gồm 21.000 video của 1.000 đối tượng ở các chế độ RGB, Depth và IR. Trong
bài nghiên cứu, tác giả cũng trình bày một mơ hình đa phương thức mới lạ làm cơ
sở cho việc chống giả mạo khuôn mặt.
- Hệ thống nhúng cho nhận dạng và phân cụm khn mặt FaceNet.
Nhóm nghiên cứu đã đào tạo mạng nơ ron tích chập trên cụm CPU trong 1.0002.000 giờ, sau đó, đưa ra đánh giá về phương pháp đã dùng trên bốn tập dữ liệu. Ấn
tượng là FaceNet đã đạt độ chính xác lên tới 99,63% trên Labeled Faces trong tập
Wild (LFW) và 95,12% trên cơ sở dữ liệu Youtube Faces.

Chương 1

Báo cáo: Báo cáo tốt nghiệp
Tác giả và người đóng góp: Yichun Shi và Anil K. Jain, Đại học Michigan
State.
- Ảnh hưởng của nhiễu trong nhận diện khuôn mặt.
Hai trong những mục tiêu chính của nghiên cứu là khám phá ảnh hưởng của
nhiễu đỗi với sản phẩm cuối cùng và xác định một phương pháp hiệu quả nhất cho
nhận dạng khn mặt. Để làm được điều đó, nhóm đã làm sạch hai tập dữ liệu hình
ảnh mở phổ biến là MegaFace và MS-Celeb-1M. Sau đó, phát hiện mơ hình được
đào tạo trên 32% tập dữ liệu MegaFace và 20% MS-Celeb-1M đạt được hiệu suất
tương tự như mơ hình được đào tạo trên toàn bộ tập dữ liệu chưa được làm sạch ban
đầu.
- Tập dữ liệu nhận dạng khuôn mặt qua điệu bộ và tuổi VGGFace2.
Trong nghiên cứu này, các nhà nghiên cứu từ Đại học Oxford giới thiệu bộ dữ
liệu VGGFace2. Bộ dữ liệu này chứa 3,31 triệu hình ảnh, bao gồm các hình ảnh từ
các độ tuổi, dân tộc, độ chiếu sáng và điệu bộ khác nhau của 9.131 đối tượng.
1.3.4 Tổng hợp
Sau khi tìm hiểu về yêu cầu của khách hàng cũng như ưu điểm nhược điểm của
các sản phẩm cạnh tranh có trên thị trường để tìm ra phương pháp, phân tích và giải
quyết các vấn đề được đặt ra. Tổng hợp các ý kiến và xây dựng bản chi tiết kế
hoạch thực hiện đề tài.
1.4 Phân tích, xây dựng quy trình ứng dụng
1.4.1 Sơ đồ khối

Chương 1


Báo cáo: Báo cáo tốt nghiệp

• Khối nguồn
Chức năng: Đóng vai trò là đầu não của hệ thống, tiếp nhận tín hiệu nhận được
từ camera so sánh hình ảnh nhận được. Từ đó đưa ra các tín hiệu điều khiển đến cho
khối relay và khối mạch điều khiển. Truyền tín hiệu đến khối thơng báo.

• Khối camera
Chức năng: Khối camera là một camera để lấy hình ảnh từ bên ngồi truyền
đến khối xử lý trung tâm, là đầu vào dữ liệu

• Khối relay
Chức năng: Nhận tín hiệu từ khối xử lý trung tâm để phát tín hiệu đóng/mở
đến mạch điều khiển đóng/mở cửa.

• Khối thơng báo
Chức năng: Nhận tín hiệu từ khối xử lý trung tâm để hiển thi các thơng báo
cho người dùng.

• Mạch điều khiển khóa cửa
Chức năng: Nhận tín hiệu từ Khối relay để thực hiện việc đóng/mở khóa cửa.
1.4.2 Quy trình thiết lặp nhận diện khn mặt

Chương 1


Báo cáo: Báo cáo tốt nghiệp

Bước 1: Cho thiết bị học khuôn mặt người dung.
Bước 2: Đánh số thứ tự cho khn mặt.
Bước 3: Xóa dữ liệu khn mặt khi không sử dụng.

Chương 1


Báo cáo: Báo cáo tốt nghiệp
4.1.3 Quy trình đóng/mở cửa bằng cảm biến nhận diện khuôn mặt

Bước 1: Lấy mẫu và cài đặt gương mặt khách hàng.
Bước 2: Nhận diện và kiểm tra gương mặt khách hàng.
Bước 3: Kiểm tra sai. Hiển thị không nhận diện được. Không mở chốt khóa
điện.
Bước 4: Kiểm tra đúng. Hiện thị nhận diện được khn mặt đúng.
Bước 5: Phát tín hiệu đến Relay. Mở chốt khóa điện.
Bước 6: Tự động đóng chốt khóa điện sau 5s khi không nhận diện được khuôn
mặt đúng.

Chương 1


Báo cáo: Báo cáo tốt nghiệp
CHƯƠNG 2: CỞ SỞ LÝ THUYẾT
2.1 Cở sở lý thuyết công nghệ liên quan
2.1.1 Công nghệ nhận diện khn mặt
• Giới thiệu cơng nghệ
- Nhận dạng khn mặt là một khái niệm cịn khá mới mẻ, nó mới chỉ được
phát triển vào những năm 60 của thế kỷ trước. Khi đó, người ta phải dùng tới những
phương pháp tính tốn thủ cơng để xác định vị trí, khoảng cách và các bộ phận trên
khn mặt.
- Về sau, vào cuối thập niên 80, kỹ thuật nhận diện khuôn mặt dần được cải
thiện khi M. Kirby và L. Sirovich phát triển phương pháp tìm mặt riêng (eigenface)
sử dụng phương pháp phân tích thành phần chính (PCA), một cột mốc mới trong

ngành công nghệ nhận diện khuôn mặt. Ngày nay, có thể dễ dàng nhận ra ứng dụng
cơng nghệ nhận diện khuôn mặt trong việc điều tra tội phạm, kiểm tra hành khách ở
sân bay, và xác thực truy cập vào hệ thống.
• Các thuật tốn nhận diện khn mặt:
Thuật tốn nhận diện khn mặt hiện chia làm hai loại là hình học (geometric)
và trắc quang (photometric).
-Thuật tốn nhận diện khn mặt Hình học (geometric):

Chương 1


Báo cáo: Báo cáo tốt nghiệp
Hình học nhận diện khn mặt dựa trên các đặc trưng trên khuôn mặt như
mắt, mũi, miệng, gò má; trong khi trắc quang là phương pháp biến hình ảnh thành
các giá trị và so sánh với giá trị mẫu để nhận diện.

- Thuật toán nhận diện khuôn mặt Trắc quang (photometric)
Trắc quang là phương pháp biến hình ảnh thành các giá trị và so sánh với giá trị
mẫu để nhận diện.

• Cơ chế nhận diện khn mặt:
Face Detection: Đây là q trình phát hiện khn mặt trong ảnh. Các máy
ảnh, camera smartphone hiện tại đều có chức năng này.

Chương 1


Báo cáo: Báo cáo tốt nghiệp
Có khá nhiều cách để phát hiện khuôn mặt: Thông qua màu sắc, cử động hoặc
qua góc cạnh trong ảnh,…. Tuy nhiên, thuật tốn được sử dụng phổ biến nhất hiện

nay là Viola-Jones (Thư viện OpenCV hỗ trợ nhận diện khn mặt theo thuật tốn
này).
Thuật tốn này bá đạo ở chỗ nó khơng chỉ nhận diện được khn mặt mà cịn
có thể nhận diện được đồ vậy, hình dạng. Cơ chế của nó khá đơn giản:
Tạo ra một frame hình vng, lần lượt di chuyển frame này khắp tấm ảnh gốc.
Mỗi khi frame di chuyển, check xem khu vực trong frame có phải là khn
mặt hay đồ vật hay không. (Bằng cách check các vùng sáng tối trong frame).
Sau khi di chuyển hết tấm ảnh, tăng kích cỡ frame lên và scan lại từ đầu.
Dừng thuật toán khi frame đủ lớn.
Nghe đơn giản vậy, nhưng đi sâu vào nghiên cứu các bạn sẽ thấy nó khá rắc
rối với các thuật ngữ như: Haar Feature, Adaboost Training. Hệ thống phải được
train với vài ngàn đến vài chục ngàn tấm ảnh để tìm ra đặc điểm của khn mặt
người.
Tóm lại, dữ liệu đầu vào của q trình này là một tấm ảnh. Dữ liệu đầu ra là vị
trí và kích cỡ của các khn mặt trong ảnh.
Face Recognition: Đây mới là q trình “nhận diện khn mặt”. Từ kết quả
của phase trước, ta đã có các khn mặt trong ảnh. Các khuôn mặt này sẽ lần lượt
được so sánh với các khn mặt đã có trong cơ sở dữ liệu để tìm khn mặt giống
nhất.
Nhận dạng mặt người (Face recognition) là một lĩnh vực nghiên cứu của
ngành Computer Vision, và cũng được xem là một lĩnh vực nghiên cứu của ngành
Biometrics (tương tự như nhận dạng vân tay – Fingerprint recognition, hay nhận
dạng mống mắt – Iris recognition). Xét về nguyên tắc chung, nhận dạng mặt có sự
tương đồng rất lớn với nhận dạng vân tay và nhận dạng mống mắt, tuy nhiên sự
khác biệt nằm ở bước trích chọn đặt trưng (feature extraction) của mỗi lĩnh vực.
Trong khi nhận dạng vân tay và mống mắt đã đạt tới độ chín, tức là có thể áp dụng
trên thực tế một cách rộng rãi thì nhận dạng mặt người vẫn còn nhiều thách thức và
vẫn là một lĩnh vực nghiên cứu thú vị với nhiều người.

Chương 1

Báo cáo: Báo cáo tốt nghiệp
So với nhận dạng vân tay và mống mắt, nhận dạng mặt có nguồn dữ liệu
phong phú hơn (bạn có thể nhìn thấy mặt người ở bất cứ tấm ảnh, video clip nào
liên quan tới con người trên mạng) và ít địi hỏi sự tương tác có kiểm sốt hơn (để
thực hiện nhận dạng vân tay hay mống mắt, dữ liệu input lấy từ con người địi hỏi
có sự hợp tác trong mơi trường có kiểm soát). Hiện nay các phương pháp nhận dạng
mặt được chia thành nhiều hướng theo các tiêu chí khác nhau: nhận dạng với dữ
liệu đầu vào là ảnh tĩnh 2D(still image based FR) là phổ biến nhất, tuy nhiên tương
lai có lẽ sẽ là 3D FR (vì việc bố trí nhiều camera 2D sẽ cho dữ liệu 3D và đem lại
kết quả tốt hơn, đáng tin cậy hơn), cũng có thể chia thành 2 hướng là: làm với dữ
liệu ảnh và làm với dữ liệu video. Trên thực tế người ta hay chia các phương pháp
nhận dạng mặt ra làm 3 loại: phương pháp tiếp cận toàn cục (global, như
Eigenfaces-PCA, Fisherfaces-LDA), phương pháp tiếp cận dựa trên các đặc điểm
cục bộ (local feature based, như LBP, Gabor wavelets) và phương pháp lai (hybrid,
là sự kết hợp của hai phương pháp toàn cục và local feature). Phương pháp dựa trên
các đặc điểm cục bộ đã được chứng minh là ưu việt hơn khi làm việc trong các điều
kiện khơng có kiểm sốt và có thể nói rằng lịch sử phát triển của nhận dạng mặt (A
never ending story) là sự phát triển của các phương pháp trích chọn đặc trưng
(feature extractrion methods) được sử dụng trong các hệ thống dựa trên feature
based. Các ứng dụng cụ thể của nhận dạng mặt dựa trên 2 mơ hình nhận dạng:
identification (xác định danh tính, bài tốn 1-N), và verification (xác thực danh tính,
bài toán 1-1). Trong bài toán identification, ta cần xác định danh tính của ảnh kiểm
tra, cịn trong bài tốn verification ta cần xác định 2 ảnh có cùng thuộc về một
người hay không.
Các pha trong một hệ thống nhận dạng mặt: để xây dựng một hệ thống nhận
dạng mặt, cũng không hề đơn giản, bước đầu tiên cần thực hiện là face detection,
tức là phát hiện phần ảnh mặt trong dữ liệu input (CSDL ảnh, video …) và cắt lấy
phần ảnh mặt để thực hiện nhận dạng (face cropping), bước thứ hai là tiền xử lý ảnh

(preprocessing) bao gồm các bước căn chỉnh ảnh (face image alignment) và chuẩn
hóa ánh sáng (illumination normalization) (ở đây tơi đang nói tới các ảnh có góc
nhìn thẳng – frontal view face image), tiếp đến là bước trích chọn đặc điểm (feature
extraction), ở bước này một phương pháp trích chọn đặc điểm nào đó (mẫu nhị phân
Chương 1


Báo cáo: Báo cáo tốt nghiệp
cục bộ – Local Binary Pattern – LBP, Gabor wavelets, …) sẽ được sử dụng với ảnh
mặt để trích xuất các thơng tin đặc trưng cho ảnh, kết quả là mỗi ảnh sẽ được biểu
diễn dưới dạng một vector đặc điểm (feature vector), bước tiếp theo là bước nhận
dạng (recognition) hay phân lớp (classification), tức là xác định danh tính (identity)
hay nhãn (label) của ảnh – đó là ảnh của ai. Ở bước classification, thường thì
phương pháp k-láng giềng gần nhất (k-nearest neighbor:kNN) sẽ được sử dụng,
thực tế cho thấy việc dùng SVM (Support Vector Machine) khơng mang lại hiệu quả
cao hơn mà cịn chậm hơn. Dữ liệu cho một hệ thống nhận dạng mặt được chia làm
3 tập: tập huấn luyện (training set), tập tham chiếu (reference set hay gallery set) và
tập để nhận dạng (probe set hay query set, đơi khi cịn gọi là test set). Trong nhiều
hệ thống, tập training trùng với tập reference. Tập training gồm các ảnh được dùng
để huấn luyện (hay học-learning), thông thường tập này được dùng để sinh ra một
không gian con (projection subspace) là một ma trận và phương pháp hay được sử
dụng là PCA (Principal Component Analysis), WPCA (Whitened PCA), LDA
(Linear Discriminant Analysis), KPCA (Kernel PCA). Tập reference gồm các ảnh
đã biết danh tính được chiếu (projected) vào không gian con ở bước training. Bước
training nhằm 2 mục đích: giảm số chiều (dimension reduction) của các vector đặc
điểm (feature vector) vì các vector này thường có độ dài khá lớn (vài nghìn tới vài
trăm nghìn) nên nếu để ngun thì việc tính tốn sẽ rất rất lâu, thứ hai là làm tăng
tính phân biệt (discriminative) giữa các ảnh khác lớp (định danh khác nhau), ngoài
ra có thể làm giảm tính phân biệt giữa các ảnh thuộc về một lớp (tùy theo phương
pháp, ví dụ như Linear Discriminant Analysis LDA- còn gọi là Fisher Linear

Discriminant Analysis-Fisherface là một phương pháp làm việc với tập training mà
mỗi đối tượng có nhiều ảnh mặt ở các điều kiện khác nhau). Sau khi thực hiện chiếu
tập reference vào không gian con, hệ thống lưu lại kết quả là một ma trận với mỗi
cột của ma trận là một vector tương ứng với ảnh (định danh đã biết) để thực hiện
nhận dạng (hay phân lớp). Nhận dạng (hay phân lớp) được thực hiện với tập các ảnh
probe, sau khi tiền xử lý xong, mỗi ảnh sẽ được áp dụng phương pháp trích chọn
đặc điểm (như với các ảnh thuộc tập training và reference) và được chiếu vào không
gian con. Tiếp đến việc phân lớp sẽ dựa trên phương pháp k-NN, định danh của một
ảnh cần xác định sẽ được gán là định danh của ảnh có khoảng cách (distance) gần
Chương 1


Báo cáo: Báo cáo tốt nghiệp
với nó nhất. Ở đây cần lưu ý là mỗi ảnh là một vector nên có thể dùng khái niệm
hàm khoảng cách giữa hai vector để đo sự khác biệt giữa các ảnh.
Nhận diện khuôn mặt là từ ảnh khuôn mặt đã crop trả về kết quả là người nào.
Nhận diện khuôn mặt gồm rút trích ra những đặc trưng của người nào đó như mắt,
mũi, miệng, đường nét khuôn mặt. Kết quả trả về là nhãn giống như phân lớp và
kèm theo giá trị confident. Giá trị confident càng thấp là càng chính xác.
Trên Facebook, những hình vng trắng trắng sau khi up ảnh là kết quả của
quá trình Face Detection. Facebook sẽ so sánh khn mặt trong hình vng đó với
khn mặt của những người quen của bạn và tìm khn mặt giống nhất.

Bây giờ bạn đã phát hiện một khuôn mặt, bạn có thể sử dụng hình ảnh khn
mặt cho nhận diện khuôn mặt. Tuy nhiên, nếu bạn đã cố gắng để đơn giản là thực
hiện nhận dạng khuôn mặt trực tiếp trên một hình ảnh bình thường, có thể bạn sẽ
nhận được ít hơn độ chính xác 10%! Nó là vơ cùng quan trọng để áp dụng các kỹ
thuật hình ảnh trước khi chế biến khác nhau để tiêu chuẩn hóa các hình ảnh mà bạn
cung cấp cho một nhận dạng khn mặt hệ thống. Hầu hết các thuật tốn nhận dạng
khuôn mặt cực kỳ nhạy cảm với điều kiện ánh sáng, do đó nếu nó được huấn luyện

Chương 1


Báo cáo: Báo cáo tốt nghiệp
để nhận ra một người khi họ đang ở trong một căn phịng tối, thì có lẽ nó wont nhận
ra họ trong một căn phịng sáng, vv Vấn đề này được gọi là "lumination phụ thuộc
", và cũng có nhiều vấn đề khác, chẳng hạn như mặt cũng phải ở trong một vị trí rất
phù hợp trong những hình ảnh (như mắt là trong cùng một điểm ảnh tọa độ), kích
thước phù hợp, góc quay, tóc và trang điểm, cảm xúc ( mỉm cười, giận dữ, vv), vị trí
của đèn (bên trái hoặc bên trên, vv). Đây là lý do tại sao nó là rất quan trọng để sử
dụng một bộ lọc hình ảnh tốt tiền xử lý trước khi áp dụng nhận dạng khuôn mặt.
Bạn cũng nên làm những việc như loại bỏ các điểm ảnh xung quanh khuôn mặt mà
không được sử dụng, chẳng hạn như với một mặt nạ hình elip để chỉ hiển thị các
khu vực mặt bên trong, không phải là tóc và hình nền, kể từ khi họ thay đổi nhiều so
với khuôn mặt không. Để đơn giản , hệ thống nhận diện khuôn mặt tôi sẽ cho bạn
thấy là Eigenfaces sử dụng hình ảnh thang độ xám. Vì vậy, tôi sẽ cho bạn thấy làm
thế nào để dễ dàng chuyển đổi hình ảnh màu xám (cịn được gọi là "màu xám"), và
sau đó dễ dàng áp dụng Histogram Equalization là một phương pháp rất đơn giản
của tự động tiêu chuẩn hóa độ sáng và độ tương phản của hình ảnh gương mặt của
bạn. Để có kết quả tốt hơn, bạn có thể sử dụng màu sắc nhận diện khuôn mặt (lý
tưởng với phụ kiện màu sắc biểu đồ trong HSV hoặc một khơng gian màu thay vì
RGB), hoặc áp dụng nhiều công đoạn chế biến như tăng cường cạnh, phát hiện
đường viền, phát hiện chuyển động, vv Ngoài ra, mã này là thay đổi kích thước hình
ảnh đến một kích thước tiêu chuẩn, nhưng điều này có thể thay đổi tỷ lệ khía cạnh
của khn mặt.

Chương 1


Báo cáo: Báo cáo tốt nghiệp

Có vơ số thuật tốn nhận diện khuôn mặt, chúng được phát triển dựa trên các
thuật toán cơ sở như: PDA, LCA, MDA, Kernel Method… Gần đây nhất Facebook
vừa giới thiệu thuật toán DeepFace với độ chính xác khá… ảo diệu, vượt trội hơn
hẳn các thuật tốn trước đó.

Chương 1


Báo cáo: Báo cáo tốt nghiệp
21

Trang

Chương 3 HỆ THỐNG
3.1 Sơ đồ xử lý

Hình 1 Sơ đồ xử lý

Chương 2


Báo cáo: Báo cáo tốt nghiệp
22

Trang

3.2 Sơ đồ Usecase

Sơ đồ Usecase

Chương 2


Báo cáo: Báo cáo tốt nghiệp
23

Trang

Hình 2 Sơ đồ

Chương 2


Báo cáo: Báo cáo tốt nghiệp
24

Trang

Chương 4 CÁC THIẾT BỊ ĐIỆN TỬ VÀ PHẦN MỀM HỖ TRỢ
4.1 Các thiết bị sử dụng cho đề tài
4.1.1 Mạnh thu phát Wifi ESP32-CAM

Mạch Thu Phát Wifi ESP32CAM là mạch tích hợp với bộ xử
lý chính là module ESP32 +
Camera OV2640 được sử dụng
trong các ứng dụng truyền hình
ảnh, xử lý ảnh qua Wifi, Bluetooth
hoặc các ứng dụng IoT.

THÔNG SỐ MẠCH THU PHÁT WIFI ESP32-CAM

Điện áp cung cấp 5V
SPI Flash Mặc định 32MB
RAM 520KB SRAM + 4MB PSRAM
Bộ nhớ ngoài Khe cắm thẻ micro SD lên đến 4GB
Bluetooth Chuẩn Bluetooth 4.2 BR/EDR và BLE
WiFi 802.11 b/g/n
Interface UART, SPI, I2C, PWM
IO Port 9
Tốc độ truyền UART 115200bps (Mặc định)
Camera + Đầu nối FPC

Chương 5


Báo cáo: Báo cáo tốt nghiệp
25

Trang

• Thiết kế mạch ESP32-CAM

Hình 3 Mạch ESP32-CAM

4.1.2

Khóa cửa điện 12V
Khóa chốt điện từ LY-03 đi kèm
gá chốt, có chức năng hoạt động như
một ổ khóa cửa sử dụng Solenoid để
kích đóng mở bằng điện, được sử

dụng nhiều trong nhà thông minh
hoặc các loại tủ, cửa phịng, cửa kho,
…, khóa sử dụng điện áp 12VDC, là
loại thường đóng (cửa đóng) với chất
lượng tốt, độ bền cao. Khóa chốt điện
từ này có thể sử dụng chung với các
mạch chức năng tạo thành một hệ

Hình 1:
4 Khóa
4
cửa điện 12V

thống thông minh.
Thông số kỹ thuật
Vật liệu: Thép không gỉ
Nguồn điện: 12V DC
Dịng điện làm việc: 0.8A
Cơng suất: 9.6W

Chương 5