(Đồ án hcmute) thiết kế hệ thống điểm danh bằng nhận diện khuôn mặt

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT
THÀNH PHỐ HỒ CHÍ MINH

ĐỒ ÁN TỐT NGHIỆP
NGÀNH CƠNG NGHỆ KỸ THUẬT ĐIỆN TỬ - TRUYỀN THÔNG

THẾT KẾ HỆ THỐNG ĐIỂM DANH BẰNG NHẬN
DIỆN KHN MẶT

GVHD: THS. NGUYỄN ĐÌNH PHÚ
SVTH: LƯU MẠNH THƯỜNG
MSSV: 16141081
SVTH: ĐỖ VĂN MINH MẨN
MSSV: 16141058

SKL 0 0 7 2 0 1

Tp. Hồ Chí Minh, tháng 08/2020

do an


TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT TP. HỒ CHÍ MINH
KHOA ĐÀO TẠO CHẤT LƯỢNG CAO

ĐỒ ÁN TỐT NGHIỆP

THIẾT KẾ HỆ THỐNG ĐIỂM DANH BẰNG NHẬN
DIỆN KHUÔN MẶT

SVTH: Lưu Mạnh Thường
MSSV: 16141081

SVTH: Đỗ Văn Minh Mẫn
MSSV: 16141058
Khóa: 16

Ngành: Cơng nghệ kỹ thuật Điện tử, truyền thơng

Tp. Hồ Chí Minh, tháng 8 năm 2020

do an


TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT THÀNH PHỐ HỒ CHÍ MINH
KHOA ĐÀO TẠO CHẤT LƯỢNG CAO

ĐỒ ÁN TỐT NGHIỆP

THẾT KẾ HỆ THỐNG ĐIỂM DANH BẰNG NHẬN
DIỆN KHUÔN MẶT

SVTH: Lưu Mạnh Thường
MSSV: 16141081
SVTH: Đỗ Văn Minh Mẫn
MSSV: 16141058
Khóa: 16
Ngành: Cơng nghệ kỹ thuật Điện tử, truyền thơng

GVHD: ThS.Nguyễn Đình Phú

Tp. Hồ Chí Minh, tháng 8 năm 2020

i

do an


CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc
***

Tp. Hồ Chí Minh, ngày--- tháng--- năm 2014

NHIỆM VỤ ĐỒ ÁN TỐT NGHIỆP
Họ và tên sinh viên:
Họ và tên sinh viên:
Ngành:
Giảng viên hướng dẫn:
Ngày nhận đề tài:

MSSV:
MSSV:
Lớp:
ĐT:
Ngày nộp đề tài:

1. Tên đề tài:
2. Các số liệu, tài liệu ban đầu:
3. Nội dung thực hiện đề tài:

4. Sản phẩm:
TRƯỞNG NGÀNH

GIẢNG VIÊN HƯỚNG DẪN

ii

do an


CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh Phúc

*******
PHIẾU NHẬN XÉT CỦA GIÁO VIÊN HƯỚNG DẪN
Họ và tên Sinh viên: ...........................................................MSSV: .................................
Họ và tên Sinh viên: ...........................................................MSSV: .................................
Ngành: Công nghệ kỹ thuật Điện tử, Truyền thông ...........................................................
Tên đề tài: ..........................................................................................................................
............................................................................................................................................
Họ và tên Giáo viên hướng dẫn: ........................................................................................
1.

2.

3.

4.
5.
6.

NHẬN XÉT
Về nội dung đề tài & khối lượng thực hiện:
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
Ưu điểm:
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
Khuyết điểm:
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
Đề nghị cho bảo vệ hay khơng?
............................................................................................................................................
Đánh giá loại:
............................................................................................................................................
Điểm:……………….(Bằng chữ: ....................................................................................... )
............................................................................................................................................
Tp. Hồ Chí Minh, ngày
tháng
năm 20…
Giáo viên hướng dẫn
(Ký & ghi rõ họ tên)

iii

do an


CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh Phúc

*******
PHIẾU NHẬN XÉT CỦA GIÁO VIÊN PHẢN BIỆN
Họ và tên Sinh viên: ...........................................................MSSV: .................................
Họ và tên Sinh viên: ...........................................................MSSV: .................................
Ngành: Công nghệ kỹ thuật Điện tử, Truyền thông ...........................................................
Tên đề tài: ..........................................................................................................................
............................................................................................................................................
Họ và tên Giáo viên phản biện: .........................................................................................
NHẬN XÉT
1. Về nội dung đề tài & khối lượng thực hiện:
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
2. Ưu điểm:
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
............................................................................................................................................
3. Khuyết điểm:
............................................................................................................................................
............................................................................................................................................
4. Đề nghị cho bảo vệ hay không?
............................................................................................................................................

5. Đánh giá loại:
............................................................................................................................................
6. Điểm:……………….(Bằng chữ:....................................................................................... )
.....................................................................................................................................
Tp. Hồ Chí Minh, ngày

tháng

năm 20…

iv

do an


Giáo viên phản biện
(Ký & ghi rõ họ tên)

v

do an


LỜI CẢM ƠN
Đầu tiên nhóm thực hiện đề tài xin được cảm ơn chân thành đến thầy
Nguyễn Đình Phú. Thầy đã tận tình hướng dẫn nhóm từ những vấn đề nhỏ nhặt cho
tới việc hồn thành tốt đề tài.
Nhóm xin gửi lời cảm ơn chân thành đến các thầy cô khoa Điện- Điện Tử và
khoa đào tạo Chất Lượng Cao đã tạo điều kiện tốt nhất cho em hoàn thành đề tài.
Những kiến thức thầy cơ dạy, nó áp dụng vào đề tài Đồ Án Tốt Nghiệp này rất

nhiều, từ những kiến thức nhỏ nhặt cho tới những bài học lớn. Một lần nữa nhóm
xin gửi lời cảm ơn đến tất cả các Thầy Cơ, nếu khơng có Thầy Cơ thì chắc giờ
nhóm khó có thể hồn thành đề tài này.
Tiếp theo nhóm cũng xin cảm ơn các Anh Chị khóa trên cùng các bạn sinh
viên đã tạo điều kiện giúp đỡ, từ những tài liệu liên quan đến đề tài cho tới những
kinh nghiệm sống thực tế.
Nhóm xin cảm ơn tập thể các bạn lớp 16141CL1 và lớp 16141CL2 đã chia sẻ
và giúp đỡ rất nhiều để nhóm có thể hồn thành đề tài này.

Nhóm Thực Hiện.
Lưu Mạnh Thường

Đỗ Văn Minh Mẫn

vi

do an


TĨM TẮT
Hiện nay, cơng nghệ nhận diện khn mặt ngày càng phát triển mạnh, và
ứng dụng của nó ngày càng nhiều trong xã hội. Chúng ta có thể sử dụng công nghệ
nhận diện khuôn mặt cho các hệ thống bảo mật trên smartphone, hay sử dụng để
nhận diện truy bắt tội phạm, và đặc biệt nó được ứng dụng rộng rãi trong các hệ
thống chấm công, điểm danh ở các cơ quan hay trường học. Chính vì tính ứng dụng
cao của cơng nghệ nhận diện khn mặt nên nhóm quyết định chọn đề tài “Điểm
danh bằng nhận diện khuôn mặt” với mong muốn tìm hiểu và thiết kế một mơ
hình nhận dạng khuôn mặt thu nhỏ, để ứng dụng cho việc điểm danh một lớp học
thực tập khoảng 25 sinh viên.

vii

do an


MỤC LỤC
CHƯƠNG 1 GIỚI THIỆU.....................................................................................1

1.1 GIỚI THIỆU.......................................................................................... 1
1.2 MỤC TIÊU ĐỀ TÀI ................................................................................ 1
1.3 GIỚI HẠN ĐỀ TÀI ..............................................................................................2
1.4 PHƯƠNG PHÁP NGHIÊN CỨU .......................................................................2
1.5 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU ....................................................2
1.6 BỐ CỤC QUYỂN BÁO CÁO .............................................................................3
CHƯƠNG 2 CƠ SỞ LÝ THUYẾT ..........................................................................4
2.1 KỸ THUẬT PHÁT HIỆN KHUÔN MẶT QUA ẢNH .....................................4
2.1.1 Phát hiện khuôn mặt dựa vào Haar-Like và AdaBoost ..............................4
2.1.2 Đặc trưng Haar ...........................................................................................5
2.1.3 Ảnh tích hợp ( Intergral image) .................................................................9
2.1.4 Adaboost ..................................................................................................10
2.1.5 Cascade of Classifer .................................................................................12

2.2 NHẬN DIỆN KHUÔN MẶT DỰA VÀO LBPH (LOCAL BINARY
PATTERN HISTOGRAM) ...................................................................................14
2.2.1 Lý thuyết về LBP .....................................................................................14
2.2.2 Huấn luyện thuật toán. .............................................................................15
2.2.3 Áp dụng thuật tốn LBP lên ảnh. .............................................................15
2.2.4 Trích xuất biểu đồ Histogram. .................................................................19
2.2.5 Thực hiện nhận dạng khuôn mặt. .............................................................19

2.3 NGÔN NGỮ PYTHON VÀ THƯ VIỆN OPEN CV....................................20
2.3.1 Hệ điều hành Raspbian ............................................................................20
2.3.2 Ngôn ngữ Python .....................................................................................21
2.3.3 Thư viện Open CV ...................................................................................23
2.3.4 Cơng tụ lập trình Thonny Python IDE .....................................................24

viii

do an


2.4 GOOGLE SHEETS VÀ ỨNG DỤNG ĐIỂM DANH TRONG THỰC TẾ ...25
2.4.1 Giới thiệu về Google Sheets. ...................................................................25
2.4.2 Tính năng và đặc điểm. ............................................................................25

2.5 CHUẨN GIAO TIẾP I2C ...............................................................................26
2.5.1 Giới thiệu..................................................................................................26
2.5.2 Đặc điểm. .................................................................................................26
2.5.3 Quy trình truyền dữ liệu. ..........................................................................27
2.6 GIỚI THIỆU KIT RASPBERRY PI 4 MODEL B ..........................................28
2.6.1 Giới thiệu..................................................................................................28
2.6.2 Thông số kỹ thuật. ....................................................................................32
2.7 CÁC LOẠI MODULE VÀ CAMERA .............................................................33
2.7.1 Webam Logitech HD C270......................................................................33
2.7.2 Module chuyển đổi I2C cho LCD. ...........................................................34
2.7.3 Module LCD 16x2. ..................................................................................35
2.7.4 Led đơn 5mm. ..........................................................................................37
2.7.5 Apdater chính hãng Raspberry Pi 4 5V/3A .............................................38
CHƯƠNG 3 THIẾT KẾ HỆ THỐNG ..................................................................40
3.1 MƠ HÌNH HỆ THỐNG ....................................................................................40

3.2 THIẾT KẾ PHẦN CỨNG .................................................................................41
3.2.1 Chức năng của phần cứng ........................................................................41
3.2.2 Thiết kế từng khối ....................................................................................41
3.3 THIẾT KẾ PHẦN MỀM...................................................................................48
3.3.1 Chức năng hoạt động của phần mềm .......................................................48
3.3.2 Cách sử dụng Google Sheets làm nơi lưu cơ sở dữ liệu điểm danh ........49
3.3.3 Cách gửi dữ liệu từ Python lên Google Sheets để điểm danh..................56
3.3.4 Lưu đồ hoạt động .....................................................................................58
CHƯƠNG 4 KẾT QUẢ ..........................................................................................67

ix

do an


4.1 KẾT QUẢ MƠ HÌNH THI CƠNG ...................................................................67
4.1.1 Mơ hình sản phẩm ....................................................................................67
4.1.2 Kết quả thực nghiệm từ việc nhận diện khuôn mặt .................................68
4.1.3 Kết quả thực tế hiển thị trên LCD ............................................................70
4.1.4 Kết quả được gửi lên trang tính Excel .....................................................71
4.2 ĐÁNH GIÁ HỆ THỐNG...................................................................................72
4.2.1 Hoạt động của hệ thống ...........................................................................72
4.2.2 Kiểm tra hoạt động của hệ thống .............................................................76
CHƯƠNG 5 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN.......................................78
5.1 KẾT LUẬN ........................................................................................................78
5.2 HƯỚNG PHÁT TRIỂN ....................................................................................79
TÀI LIỆU THAM KHẢO ......................................................................................80

x

do an


DANH MỤC HÌNH
Hình

Trang

Hình 2.1: Các vùng hình chữ nhật khác nhau của đặc trưng Haar-Like .....................6
Hình 2.2: Bốn đặc trưng cơ bản của Haar-Like ..........................................................6
Hình 2.3: Tóm tắt của thuật tốn Adaboost ..............................................................11
Hình 2.4: Kết hợp các bộ phân loại yếu để được bộ phân loại mạnh .......................12
Hình 2.5: Mơ tả bộ phân lớp cascade of classifer .....................................................14
Hình 2.6: Ví dụ về thuật tốn LBP ............................................................................15
Hình 2.7: Minh họa ngắn gọn về quy trình áp dụng thuật tốn LBP lên ảnh ...........18
Hình 2.8: Minh họa ngắn gọn về việc trích xuất Histogram của ảnh sau biến đổi
LBP............................................................................................................................19
Hình 2.9: Giao diện hệ điều hành Rasbian................................................................21
Hình 2.10: Logo của Python .....................................................................................22
Hình 2.11: Logo thư viện Open CV ..........................................................................23
Hình 2.12: Giao diện Thonny Python IDE ...............................................................24
Hình 2.13: Logo của Google Sheet ...........................................................................25
Hình 2.14: Hình ảnh các thiết bị giao tiếp theo chuẩn I2C ......................................27
Hình 2.15: Raspberry Pi 4 Model B ..........................................................................29
Hình 2.16: Sơ đồ khối của Kit Raspberry Pi 4 Model B...........................................30
Hình 2.17: Sơ đồ chân của Kit Raspberry Pi 4 Model B ..........................................31
Hình 2.18: Webcam Logitech HD C270 ...................................................................33
Hình 2.19: Sơ đồ khối Webcam Logitech C270 .......................................................34
Hình 2.20: Module chuyển đổi I2C cho LCD ...........................................................35
Hình 2.21 Module LCD 16x2 ...................................................................................36

Hình 2.22: led đơn 5mm ...........................................................................................37
Hình 2.23: Nguồn chính hãng Raspberry Pi .............................................................38
Hình 3.1: Sơ đồ khối của hệ thống ............................................................................40
Hình 3.2: Sơ đồ kết nối webcam với Raspberry Pi thông qua 1 hub củaUSB..........42
Hình 3.3: Sơ đồ kết nối các ngoại vi với Raspberry Pi .............................................43
Hình 3.4: Sơ đồ kết nối giữa thẻ nhớ và Raspberry Pi..............................................44
Hình 3.5: Sơ đồ kết nối giữa Raspberry Pi và LCD 16x2 thông qua Module I2C cho
LCD ...........................................................................................................................45
Hình 3.6: Sơ đồ kết nối giữa Raspberry Pi và laptop/PC..........................................46
Hình 3.7: Sơ đồ kết nối giữa Raspberry Pi và led đơn..............................................46

xi

do an


Hình 3.8: Sơ đồ kết nối giữa Raspberry Pi và Nguồn thơng qua Adapter ................47
Hình 3.9: Sơ đồ khối tồn mạch ................................................................................47
Hình 3.10: Sơ đồ nói dây tồn mạch .........................................................................48
Hình 3.11: Các bước chấp nhận điều khoản của Google Clould Platform ..............49
Hình 3.12: Các bước tạo một project mới .................................................................50
Hình 3.13: Truy cập vào Google Sheets API ............................................................51
Hình 3.14: Bổ sung thêm các thơng tin cho project ..................................................52
Hình 3.15: Xuất project thành file có đi .json .......................................................53
Hình 3.16: Chia sẻ project .........................................................................................54
Hình 3.17: Chia sẻ project cho email người quản lý.................................................54
Hình 3.18: Giao diện sau khi chia sẻ thành cơng ......................................................55
Hình 3.19: Kết quả sau khi gửi dữ liệu thành cơng ..................................................57
Hình 3.20: Lưu đồ thuật tốn chính của hệ thống .....................................................58
Hình 3.21: Lưu đồ chương trình xử lý ảnh chụp ......................................................59

Hình 3.22: Lưu đồ thuật tốn phát hiện khn mặt ..................................................61
Hình 3.23: Lưu đồ huấn luyện tập ảnh mẫu sử dụng thuật tốn LBPH ....................63
Hình 3.24: Lưu đồ thuật tốn nhận diện khn mặt dựa vào thuật tốn LBPH .......64
Hình 3.25: Lưu đồ hiển thị LCD ...............................................................................65
Hình 3.26: Lưu đồ thuật tốn gửi thơng tin lên trang tính Excel ..............................66
Hình 4.1: Mơ hình sản phẩm .....................................................................................67
Hình 4.2 Khn mặt đúng chuẩn ..............................................................................68
Hình 4.3 Đúng khn mặt nhưng đặt q xa và kết quả là No have img .................69
Hình 4.4 Đúng khn mặt nhưng điều kiện ánh sáng kém .......................................69
Hình 4. 5 LCD lúc chưa phát hiện khn mặt ..........................................................70
Hình 4.6: LCD lúc phát hiện ra bạn Mẫn vào sớm ...................................................70
Hình 4.7: Phát hiện bạn Thường vào trễ ...................................................................71
Hình 4.8: Bảng kết quả được lưu vào trang tính Excel .............................................71
Hình 4.9: Tải file Excel lưu dữ liệu về máy ..............................................................72
Hình 4.10: File Excel sau khi tải về máy ..................................................................72
Hình 4.11: Giao diện đăng nhập IP cần kết nối của Remote Desktop Connection ..73
Hình 4.12: Đăng nhập vào giao diện của Raspberry Pi ............................................73
Hình 4.13: Giao diện sau khi kết nối thành cơng ......................................................74
Hình 4.14: Giao diện chụp ảnh lấy mẫu....................................................................74
Hình 4.15: Giao diện lúc tranning .............................................................................75
Hình 4.16: Giao diện nhận diện khuôn mặt ..............................................................76

xii

do an


DANH MỤC BẢNG
Bảng

Trang

Bảng 2.1: Thông số kỹ thuật của Kit Raspberry Pi 4 Model B ................................32
Bảng 2.2: Thông số kỹ thuật của Webcam Logitech HD C270................................34
Bảng 2.3: Thông số kỹ thuật của Module I2C ..........................................................35
Bảng 2.4 Thông số của LCD 16x2 ............................................................................36
Bảng 2.5: Bảng sơ đồ chân của LCD 16x2 ...............................................................37
Bảng 2.6: Thông số kỹ thuật của led đơn..................................................................38
Bảng 2.7: Thơng số kỹ thuật của Adapter chính hãng ..............................................39
Bảng 3.1: Bảng kết nối chân giữa Raspberry Pi và Module I2C ..............................45
Bảng 4.1: Bảng thống kê kết quả chương trình.........................................................76

xiii

do an


CÁC TỪ VIẾT TẮT
LBPH

Local Binary Patterns Histogram

I2C

Inter-Integrated Circuit

LAN

Local Area Network

IP

Internet Protocol

IC

Integrated Circut

IOT

Internet of Thing

IDE

Integrated Developmet Environment

API

Application Programming Interface

-

xiv

do an


Đồ án tốt nghiệp

CHƯƠNG 1

GIỚI THIỆU
1.1 GIỚI THIỆU
Hệ thống nhận dạng khn mặt là một ứng dụng máy tính tự động xác định
hoặc nhận dạng một người nào đó từ một bức hình ảnh kỹ thuật số hoặc một khung
hình video từ một nguồn video. Một trong những cách để thực hiện điều này là so
sánh các đặc điểm khuôn mặt chọn trước từ hình ảnh và một cơ sở dữ liệu về khuôn
mặt.
Hệ thống này thường được sử dụng trong các hệ thống an ninh và có thể được
so sánh với các dạng sinh trắc học khác như các hệ thống nhận dạng vân tay hay
tròng mắt.

1.2 MỤC TIÊU ĐỀ TÀI
Mục tiêu của đề tài là xây dựng hệ thống nhận diện khuôn mặt với đầu vào là
ảnh khuôn mặt người, hệ thống sẽ xử lí và tìm kiếm xem người này có trong cơ sở
dữ liệu đã lưu hay không và cho đầu ra là thông tin liên qua đến người được nhận
dạng. Sau đó gửi những thơng tin của người này vào một file Excel thông qua
google spreadsheets, đồng thời hiển thị thông tin của người nhận dạng lên một màn
hình LCD 16x2 để người nhận dạng biết mình được nhận dạng đúng.
 Chức năng nhận diện khuôn mặt người.
 Chức năng gửi thông tin của người vừa nhận diện được lên google
spreadsheets.
 Chức năng phản hồi cho người nhận diện biết họ đã được nhận diên đúng.

Khoa đào tạo Chất Lượng Cao

do an

1

Đồ án tốt nghiệp

1.3 GIỚI HẠN ĐỀ TÀI
Trong đề tài này nhóm sẽ tập trung nghiên cứu vào việc xác định khuôn mặt từ
camera được nối với Kit Raspberry. Từ đó theo dõi và xử lý khn mặt được phát
hiện, sau đó nhận diện xem khn mặt đó là ai trong cơ sở dữ liệu có sẵn, rồi đem
dữ liệu nhận diện bao gồm tên MSSV thời gian vào lớp xác định xem vào trễ hay
sớm xuất ra 1 file Excel.
Do sự khó khăn của bài tốn nhận diện khn mặt như: tư thế chụp, góc chụp
và các trạng thái biểu cảm của các bộ phận trên khuôn mặt người, sự che khuất,
hướng của ảnh, điều kiện của ảnh, vì thế trong luận văn nhóm đưa ra những quy
định sau để làm giảm độ phức tạp của bài toán:
 Các khn mặt cần nhìn thẳng vào camera trong vịng 5s không nên
xoay qua hướng khác.
 Hạn chế chớp mắt liên tục.
 Ảnh được chụp dưới điều kiện ánh sang bình thường.
 Các khn mặt cần phải có khoảng cách gần đúng với vị trí tranning để
nhận được kết quả chính xác nhất.

1.4 PHƯƠNG PHÁP NGHIÊN CỨU
 Tìm hiểu cách lập trình với thư viện Open CV trên Kit Raspberry.
 Tìm hiểu tổng quan về bài tốn nhận diện khn mặt.
 Tìm hiểu về cách kết nối và giao tiếp giữa Kit Raspberry và các module
ngoại vi thông qua các chuẩn giao tiếp thơng dụng.
 Tìm hiểu cách sử dụng google spreadsheets để làm nơi lưu dữ liệu nhận
về từ một hệ thống.
 Tìm hiểu cách phát hiện khn mặt – face detection bằng haarcascade
detector.
 Tìm hiểu cách nhận diện khn mặt bằng –face regconiton bằng thuận
toán LBPH Face Recognizer. Viết đầy đủ thì LBPH là Local Binary

Patterns Histogram.

1.5 ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
Tiến hành cài đặt và mô phỏng thuật tốn haarcascade detector và nhận diện
khn mặt bằng LBPH Face Recognizer.
Khoa đào tạo Chất Lượng Cao

do an

2


Đồ án tốt nghiệp

Tiến hành kết nối Raspberry Pi và LCD 16x2 thông qua chuẩn giao tiếp I2C.
Tiến hành lắp đặt camera kết nối với KiT Raspberry Pi để nhận diện khuôn
mặt.

1.6 BỐ CỤC QUYỂN BÁO CÁO
Quyển báo cáo sẽ gồm năm chương. Nội dung của từng chương sẽ là:
Chương 1: Giới thiệu
Trình bày tổng quan về đề tài, sơ bộ về các đối tượng và phạm vi nghiên cứu,
phương pháp nghiên cứu, mục tiêu và giới hạn của đề tài.
Chương 2: Cơ sở lý thuyết
Trình bày nội dung chính của quyển báo cáo, nêu lên được các cơ sở lý thuyết,
giới thiệu về thiết kế hệ thống, các thiệt bị cần cho hệ thống.
Chương 3: Thiết kế hệ thống
Sẽ trình bày cách thiết kế để làm một hệ thống nhận diện khuôn mặt.
Chương 4: Kết quả và đánh giá
Đánh giá lại kết quả của hệ thống dựa trên những mục tiêu đã đề ra, cũng như

chức năng để đưa đến khả năng vận hành tốt nhất của hệ thống.
Chương 5: Kết luận và hướng phát triển.
Kết luận và định hướng phát triển đề tài về sau.

Khoa đào tạo Chất Lượng Cao

do an

3


Đồ án tốt nghiệp

CHƯƠNG 2
CƠ SỞ LÝ THUYẾT

2.1 KỸ THUẬT PHÁT HIỆN KHN MẶT QUA ẢNH
2.1.1 Phát hiện khn mặt dựa vào Haar-Like và AdaBoost
2.1.1.1 Tổng quan
Có rất nhiều phương pháp để giải quyết bài tốn xác định khn mặt người
trên ảnh 2D dựa trên các hướng tiếp cận khác nhau. Phương pháp Haar-like –
Adaboost (viết tắt HA) của hai tác giả Paul Viola và Michael J.Jones là phương
pháp xác định mặt người dựa theo hướng tiếp cận trên diện mạo.
Hướng tiếp cận trên diện mạo tức là hệ thống nhận dạng khuôn mặt sẽ được
học các mẫu của khuôn mặt từ một tập ảnh mẫu. Sau khi quá trình học hay quá trình
huấn luyện này (training) thực hiện xong, hệ thống sẽ rút ra được những tham số để
phục vụ cho quá trình nhận dạng.Vì vậy tiếp cận trên diện mạo còn được biết đến
với tên gọi tiếp cận theo phương pháp học máy. Bài báo cáo tập trung chủ yếu vào
quá trình nhận dạng (sau khi đã thực hiện quá trình học).
Về tổng quan, phương pháp HA được xây dựng dựa trên sự kết hợp, lắp ghép

của 4 thành phần, đó là:
 Các đặc trưng Haar-like: các đặc trưng được đặt vào các vùng
ảnh để tính tốn các giá trị của đặc trưng, từ những giá trị đặc trưng này
đưa vào bộ phân loại Adaboost ta sẽ xác định được ảnh có khn mặt hay
khơng.
 Ảnh tích hợp (Integral Image): thực ra đây là một công cụ giúp
việc tính tốn các giá trị đặc trưng Haar-like nhanh hơn.
 Adaboost (Adaptive Boost): bộ phân loại (bộ lọc) hoạt động
dựa trên nguyên tắc kết hợp các bộ phân loại yếu để tạo lên bộ phân loại

Khoa đào tạo Chất Lượng Cao

do an

4


Đồ án tốt nghiệp

mạnh. Adaboost sử dụng giá trị đặc trưng Haar-like để phân loại ảnh là
mặt hay không phải mặt.
 Cascade of Classifiers: bộ phân loại tầng với mỗi tâng là một
bộ phân loại Adaboost, có tác dụng tăng tốc độ phân loại.
Như vậy bài toán xác định mặt người trong ảnh cũng chính là bài tốn phân
loại ảnh thành hai lớp mặt hoặc không phải mặt.

2.1.1.2 Tiền xử lý
Một lưu ý nhỏ là phương pháp Haar-Like thực hiện trên ảnh xám (gray
image). Mỗi điểm ảnh (pixel) sẽ có giá trị mức xám từ 0 đến 255 (không gian màu 8
bit). Như vậy phương pháp HA sẽ không khai thác những đặc điểm về màu sắc

khuôn mặt để nhận dạng song vẫn rất hiệu quả. Ảnh màu sẽ được chuyển về ảnh
xám để nhận dạng, việc chuyển đổi này khá đơn giản, thực hiện bằng một hàm
chuyển đổi và sử dụng chỉ với một câu lệnh trong Opencv nên báo cáo chưa đề cập
tới.
Sau khi chuyển thành ảnh xám, ảnh lại tiếp tục được chuyển thành “ảnh tích
hợp” (sẽ trình bày ở phần sau) và trong bước đầu tiên của quá trình nhận dạng, các
đặc trưng Haar-like sẽ làm việc trực tiếp trên ảnh tích hợp.
2.1.2 Đặc trưng Haar
2.1.2.1 Đối tượng nhận dạng.
Trên ảnh, vùng khuôn mặt là tập hợp các điểm ảnh có nhưng mối quan hệ
khác biệt so với các vùng ảnh khác, những mối quan hệ này tạo lên các đặc trưng
riêng của khuôn mặt. Tất cả khn mặt người đều có chung những đặc điểm sau khi
đã chuyển qua ảnh xám, ví dụ như:
 Vùng hai mắt sẽ tối hơn vùng má và vùng trán, tức mức xám của vùng
này cao hơn vượt trội so với hai vùng còn lại.
 Vùng giữa sống mũi cũng tối hơn vùng hai bên mũi.
 …
Và còn rất nhiều những đặc điểm khác của khuôn mặt và các đặc trưng Haar
like dựa vào các đặc điểm này để nhận dạng.
Về tổng quát, các đặc trưng Haar like không chỉ được sử dụng để nhận dạng
khn mặt mà có thể dùng để nhận dạng bất kì một đối tượng nào trên ảnh (thân
người, tay, chân, ô tô, đồ vật,….). Bởi vì cũng giống như khn mặt, mỗi đối tượng

Khoa đào tạo Chất Lượng Cao

do an

5

Đồ án tốt nghiệp

có những đặc điểm riêng biệt đặc trưng bởi các vùng điểm ảnh, công việc của đặc
trưng Haar-like là tính tốn các giá trị tương quan giữa các vùng ảnh đó.
Đây chỉ là bước ban đầu về cách áp dụng đặc trưng để phân loại cửa sổ con,
chi tiết cách phân loại của bộ Adaboost và Cascade of Classifiers sẽ trình bày ở mục
sau.
2.1.2.2 Đặc trưng Haar-like
Các đặc trưng Haar-Like là những hình chữ nhật được phân thành các vùng
khác nhau như hình:

Hình 2.1: Các vùng hình chữ nhật khác nhau của đặc trưng Haar-Like
Đặc trưng do Viola và Jones công bố gồm 4 đặc trưng cơ bản để xác định
khuôn mặt người. Mỗi đặc trưng Haar-Like là sự kết hợp của hai hay ba hình chữ
nhật trắng hay đen như trong hình sau:

Hình 2.2: Bốn đặc trưng cơ bản của Haar-Like

Khoa đào tạo Chất Lượng Cao

do an

6


Đồ án tốt nghiệp

Để sử dụng các đặc trưng này vào việc xác định khuôn mặt người, 4 đặc
trưng Haar-Like cơ bản được mở rộng ra và được chia làm 3 tập đặc trưng như sau:

1.Đặc trưng cạnh (edge feature)

2.Đặc trưng đường (line feature)

3.Đặc trưng xung quanh tâm (center-surround features)
Dùng các đặc trưng trên, ta có thể tính được các giá trị của đặc trưng HaarLike là sự chênh lệch giữa tổng của các pixel của vùng đen và vùng trắng như trong
công thức sau:
= ổ

ù

đ

á

ứ

á

ủ

− ổ

ù

á

á

ứ

á

ủ

(1)

2.1.2.3 Cách áp dụng đặc trưng Haar-Like để phát hiện khuôn mặt
Để phát hiện khuôn mặt, hệ thống sẽ cho một cửa sổ con (sub-window) có
kích thước cố định qt lên tồn bộ ảnh đầu vào. Như vậy sẽ có rất nhiều ảnh con
ứng với từng cửa sổ con, các đặc trưng Haar-like sẽ được đặc lên các cửa sổ con
này để từ đó tính ra giá trị của đặc trưng. Sau đó các giá trị này được bộ phân loại
xác nhận xem khung hình đó có phải khn mặt hay khơng.
Hình dưới là một ví dụ: khung màu đỏ là cửa sổ con, 3 đặc trưng Haar-like
với kích thước và vị trí đặt như trong hình vẽ.

Khoa đào tạo Chất Lượng Cao

do an

7


Đồ án tốt nghiệp

Ứng với mỗi một đặc trưng như trên, một bộ phân lớp yếu (weak classifier)
hk(x) được định nghĩa như sau:
ℎ

=

1 ế" # $
< # &
0
ế" (ượ+ ,ạ.

(2)

Trong đó:
X : cửa sổ con cần xét.
& : ngưỡng.
fk: giá trị của đặc trưng Haar-like.
pk: hệ số quyết định chiều của bất phương trình.
Ta hiểu cơng thức trên đơn giản như sau: khi giá trị của đặc trưng Haar-like
k:fk tại cửa sổ con x vượt qua một ngưỡng & thì bộ phân lớp hk(x) sẽ kết luận cửa
sổ con x là khn mặt (hk(x)=1), cịn fk khơng vượt qua ngưỡng đó thì khơng là
khn mặt.
Ngưỡng & là giá trị đã rút ra sau qua trình huấn luyện bộ phân lớp, sẽ trình
bày sau.
Như trong phần đối tượng nhận dạng, ta thấy đặc trưng Haar-like k có kích
thước và vị trí đặt trong cửa sổ con x trên hình sẽ có giá trị fk rất lớn (vì mức xám ở
vùng mắt lớn hơn rất nhiều vùng má ). Giá trị fk này lớn hơn nhiều với hầu hết các
giá trị fk khác khi ta di chuyển cửa sổ con x sang các vị trí khác (qt trên tồn ảnh
đầu vào), và với nhưỡng & phù hợp, kết quả bộ phân lớp hk(x) sẽ cho cửa sổ con ở
vị trí như trên là khn mặt cịn ở vị trí khác thì khơng.

Khoa đào tạo Chất Lượng Cao

do an

8


Đồ án tốt nghiệp

Đương nhiên sẽ có những vị trí khác trên ảnh đầu vào vơ tình cho ra fk vượt
ngưỡng và bộ phân lớp yếu hk(x) kết luận đấy là khuôn mặt, nhưng ta không chỉ
dùng một đặc trưng Haar-like mà dùng rất nhiều đặc trưng ở những vị trí và kích
thước khác nhau trong cửa sổ con làm giảm đi sự trùng hợp ngẫu nhiên.
2.1.2.4 Số lượng đặc trưng Haar-like.
Việc xác định một cửa sổ con có phải là mặt hay không phải sử dụng rất
nhiều đặc trưng Haar-like. Ứng với mỗi một kích thước, kiểu đặc trưng và vị trí đặt
trong cửa sổ con cho ta một đặc trưng ứng với một bộ phân lớp yếu x. Vì vậy tập
hợp đầy đủ số lượng các đặc trưng trong một cửa sổ con là rất lớn. Theo như sự tính
tốn của hai tác giả, với một cửa sổ con ở kích thước cơ bản 24×24 pixel số lượng
đầy đủ các đặc trưng Haar-like là hơn 160000.Có hai vấn đề đặt ra ở đây:
Thứ nhất là giá trị của mỗi một đặc trưng Haar-like được tính bằng tổng giá
trị các điểm ảnh vùng đen trừ đi tổng các điểm ảnh vùng trắng, như vậy là với số
lượng lớn các đặc trưng sẽ tạo ra một khối lượng tính tốn khổng lồ. Điều này là
không phù hợp để đáp ứng thời gian thực vì thời gian xử lý rất lâu.
Thứ hai là trong số hàng trăm nghìn đặc trưng đó thì khơng phải đặc trưng
nào cũng có ích cho cơng việc phân loại. Nếu chúng ta khơng tìm cách loại bổ
những đặc trưng khơng có ích để tập trung vào những đặc trưng có hiệu quả cao thì
cũng sẽ mất thời gian xử lý một cách vơ ích.
Những phần sau sẽ lần lượt tìm cách giải quyết các vấn đề này.
2.1.3 Ảnh tích hợp ( Intergral image)
2.1.3.1 Định nghĩa ảnh tính hợp
Như đã trình bày ở phần trên, số lượng đặc trưng Haar-like là rất nhiều và
khối lượng tính tốn giá trị các đặc trưng này là rất lớn. Vì vậy ảnh tích hợp được
đưa ra nhằm tính tốn nhanh chóng các đặc trưng, giảm thời gian xử lý.

Viola và Joines đưa ra một khái niệm gọi là Integral Image, là một mảng 2
chiều với kích thước bằng với kích thước của ảnh cần tính đặc trưng Haar-Like, với
mỗi phần tử của mảng này được tính bằng cách tính tổng của điểm ảnh phía trên
(dịng-1) và bên trái (cột-1) của nó.

Khoa đào tạo Chất Lượng Cao

do an

9