Phát hiện và nhận dạng khuôn mặt từ camera, ứng dụng trong điểm danh (LV thạc sĩ)

®¹i häc th¸i nguyªn
Tr­êng ®¹i häc c«ng nghÖ th«ng tin vµ truyÒn th«ng

NGUYỄN THẾ THỤY

PHÁT HIỆN VÀ NHẬN DẠNG KHUÔN MẶT
TỪ CAMERA, ỨNG DỤNG TRONG ĐIỂM DANH

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

THÁI NGUYÊN - 2015
1

Số hoá bởi Trung tâm Học liệu – ĐHTN


LỜI CAM ĐOAN
Tôi - Nguyễn Thế Thụy xin cam đoan những nội dung trình bày luận văn này là
kết quả tìm hiểu, nghiên cứu của bản thân dƣới sự hƣớng dẫn của TS. Nguyễn Văn
Tảo và tham khảo từ các nhà nghiên cứu đi trƣớc. Nội dung tham khảo, kế thừa, phát
triển từ các công trình đã đƣợc công bố đƣợc trích dẫn, ghi rõ nguồn gốc.
Nếu có gì sai phạm tôi xin hoàn toàn chịu trách nhiệm.
Ngƣời cam đoan

Nguyễn Thế Thụy

2

Số hoá bởi Trung tâm Học liệu – ĐHTN

LỜI CẢM ƠN
Trong quá trình thực hiện luận văn mặc dù gặp rất nhiều khó khăn nhƣng em luôn
nhận đƣợc sự quan tâm, giúp đỡ từ thầy cô, đồng nghiệp, bạn bè và ngƣời thân. Đây là
nguồn động lực giúp em hoàn thành luận văn này.
Em xin gửi lời cảm ơn chân thành tới TS. Nguyễn Văn Tảo đã tận tình giúp đỡ,
hƣớng dẫn và chỉ bảo trong quá trình thực hiện luận văn.
Em xin chân thành cảm ơn tới quý Thầy, Cô giáo đang công tác tại Viện Công nghệ
thông tin Việt Nam, Trƣờng Đại học Công nghệ thông tin và Truyền thông Thái Nguyên
đã tận tình chỉ bảo, truyền đạt những kiến thức qúy báu giúp em hoàn thành nhiệm vụ
học tập trong suốt thời gian theo học tại trƣờng. Quý Thầy Cô đã giúp em có đƣợc
những kiến thức quan trọng trong lĩnh vực Công nghệ thông tin, là nền tảng vững chắc
cho những nghiên cứu của bản thân trong thời gian tới.
Em xin cảm ơn các đồng nghiệp đã giúp đỡ, ủng hộ tinh thần trong thời gian em
tham gia học tập và nghiên cứu.
Cuối cùng, em xin cảm ơn tất cả những ngƣời đã luôn luôn quan tâm, sẻ chia và
động viên em.
Thái Nguyên, ngày 17 tháng 07 năm 2015
Nguyễn Thế Thụy

3

Số hoá bởi Trung tâm Học liệu – ĐHTN


MỤC LỤC
LỜI CAM ĐOAN ............................................................................................................ 1
LỜI CẢM ƠN .................................................................................................................. 3
DANH MỤC CÁC HÌNH VẼ ......................................................................................... 6
LỜI MỞ ĐẦU ................................................................................................................. 7
CHƢƠNG 1: SINH TRẮC HỌC VÀ BÀI TOÁN NHẬN DẠNG KHUÔN MẶT

ỨNG DỤNG TRONG ĐIỂM DANH ............................................................................. 8
1.1. Tổng quan về sinh trắc học ..................................................................................8
1.1.1. Hệ thống sinh trắc học ................................................................................ 10
1.1.1.1. Hệ thẩm định (Verification) ...............................................................10
1.1.1.2. Nhận dạng (Identification, Recognition) ............................................11
1.1.1.3. Các thành phần chức năng chủ yếu ....................................................11
1.1.1.4. Hoạt động của hệ thống ......................................................................11
1.1.2. Đánh giá hiệu năng và chất lƣợng hoạt động của hệ sinh trắc học ............ 11
1.1.3. Hệ thống an ninh bảo mật dựa trên sinh trắc học ....................................... 13
1.2. Phát hiện và nhận dạng khuôn mặt ....................................................................13
1.3. Những khó khăn và thách thức trong bài toán nhận dạng khuôn mặt ............... 16
1.4. Các ứng dụng của bài toán nhận dạng khuôn mặt ............................................. 16
1.5. Bài toán điểm danh dựa trên khuôn mặt ............................................................ 18
1.5.1. Bài toán điểm danh và quản lý nhân sự ..................................................... 18
1.5.2. Đầu vào của bài toán .................................................................................. 19
1.5.3. Đầu ra và ý nghĩa thực tiễn ........................................................................ 20
CHƢƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ NHẬN DẠNG KHUÔN MẶT21
2.1. Một số kỹ thuật phát hiện mặt ngƣời trong ảnh .................................................21
2.1.1. Hƣớng tiếp cận dựa trên đặc trƣng của ảnh ............................................... 22
2.1.1.1. Phân tích mức thấp (Low level analysis)............................................23
2.1.1.2. Phân tích đặc trƣng (Feature Analysis) ..............................................27
2.1.1.3. Mô hình hình dạng động (Active shape models) ................................33
2.1.2. Hƣớng tiếp cận dựa trên ảnh (Image based detection) ............................... 37
2.1.2.1. Phƣơng pháp không gian con tuyến tính (Linear subspace methods) 38
2.1.2.2. Mạng neural ........................................................................................41
2.1.2.3. Phƣơng pháp thống kê (Statistical approachs) ...................................44
4

Số hoá bởi Trung tâm Học liệu – ĐHTN

2.2. Một số kỹ thuật nhận dạng khuôn mặt ...............................................................47
2.2.1. Phƣơng pháp phân tích thành phần chính (PCA) ....................................... 48
2.2.2. Phƣơng pháp phân tách tuyến tính (LDA) ................................................. 49
2.2.3. Phƣơng pháp mạng neural .......................................................................... 52
CHƢƠNG 3: CÀI ĐẶT THỬ NGHIỆM .................................................................. 54
3.1. Yêu cầu thực nghiệm, ứng dụng ........................................................................54
3.2. Phân tích lựa chọn giải pháp, công cụ ...............................................................55
3.3. Một số kết quả cài đặt thực nghiệm ..................................................................56
3.3.1. Giao diện của chƣơng trình ........................................................................ 56
3.3.2. Một số kết quả điểm danh dựa trên khuôn mặt .......................................... 60
KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ................................................................ 64
TÀI LIỆU THAM KHẢO ......................................................................................... 65

5

Số hoá bởi Trung tâm Học liệu – ĐHTN


DANH MỤC CÁC HÌNH VẼ
Hình 1.1. Các đặc trƣng sinh trắc phổ biến .....................................................................8
Hình 1.2. Mô hình hệ thống sinh trắc học .......................................................................9
Hình 1.3. Các giá trị ngƣỡng của FAR và FRR ............................................................11
Hình 1.4. Mô hình hệ thống nhận dạng mặt ngƣời ....... Error! Bookmark not defined.
Hình 2.1. Sơ đồ các hƣớng tiếp cận và phƣơng pháp phát hiện mặt ngƣời .......... Error!
Bookmark not defined.
Hình 2.2. Hệ thống tìm kiếm mặt của Maio và Maltoni Error! Bookmark not defined.
Hình 2.3. Một số không gian riêng của CSDL ảnh ORL ..............................................38
Hình 2.4. Mô hình mạng neural của Rowley và cộng sựError!

Bookmark

not

defined.
Hình 2.5. Hệ thống nhận dạng khuôn mặt ..................... Error! Bookmark not defined.
Hình 2.6. Ví dụ minh họa LDA .....................................................................................47
Hình 2.7. Ảnh sau khi biến đổi theo LDA .....................................................................49
Hình 2.8. Mạng neural 2 lớp truyền thẳng .................... Error! Bookmark not defined.

Hình 3.1. Quy trình hoạt động của hệ thống điểm danh dựa trên khuôn mặt …Error! Bookmark n
Hình 3.2. Giao diện chính của chƣơng trình ................. Error! Bookmark not defined.
Hình 3.3. Hình ảnh từ camera và xử lý tƣơng ứng ........ Error! Bookmark not defined.
Hình 3.4. Giao diện quản lý danh sách điểm danh và điểm danhError! Bookmark not
defined.
Hình 3.5. Giao diện quản lý danh sách ảnh ...................................................................60
Hình 3.6. Cơ sở dữ liệu ảnh ...........................................................................................60
Hình 3.7. Giao diện các lựa chọn trên thanh thực đơn ..................................................61

6

Số hoá bởi Trung tâm Học liệu – ĐHTN


LỜI MỞ ĐẦU
Công nghệ Sinh trắc học (Biometric) là một công nghệ sử dụng những thuộc tính
vật lý hoặc các mẫu hành vi, các đặc điểm sinh học đặc trƣng nhƣ dấu vân tay, mẫu
mống mắt, giọng nói, khuôn mặt, dáng đi... để nhận diện con ngƣời.
Công nghệ sinh trắc học đƣợc áp dụng phổ biến và lâu đời, trong đó phƣơng pháp
sử dụng nhận dạng khuôn mặt là tự nhiên nhất. Phƣơng pháp này đƣợc chính bản thân

con ngƣời sử dụng từ khi đƣợc sinh ra để phân biệt giữa ngƣời này và ngƣời khác.
Ứng dụng khả năng phân biệt dựa trên các đặc điểm khác nhau của khuôn mặt, bài
toán “Phát hiện và nhận dạng khuôn mặt từ camera, ứng dụng trong điểm danh” là
bài toán có khả năng ứng dụng cao với chi phí thấp đƣợc áp dụng trong các cơ quan,
doanh nghiệp.
Với sự hỗ trợ của camera, máy tính và phần mềm điểm danh, nhà quản lý thu đƣợc
thông tin về sự có mặt và thời gian làm việc của ngƣời lao động một cách chính xác và
khách quan với chi phí thấp. Việc áp dụng nhận dạng khuôn mặt có thể đƣợc sử dụng
một cách độc lập với ƣu điểm hơn các phƣơng pháp sinh trắc học khác ở tính tự nhiên
của nó, đồng thời đây cũng có thể là một phƣơng pháp đƣợc sử dụng kết hợp với các
phƣơng pháp sinh trắc khác để nâng cao tính chính xác của hệ thống khi vận hành.
Chính vì tầm quan trọng của phát hiện, nhận dạng khuôn mặt nói riêng và công
nghệ sinh trắc nói chung, tôi thực hiện đề tài “Phát hiện và nhận dạng khuôn mặt từ
camera, ứng dụng trong điểm danh” với mục tiêu tìm hiểu các thuật toán phát hiện
và nhận dạng khuôn mặt ngƣời từ đó xây dựng chƣơng trình điểm danh dựa trên khuôn
mặt. Tôi hy vọng đề tài này sẽ đem lại một số kiến thức hữu ích cho những ai quan
tâm đến vấn đề về phát hiện và nhận dạng khôn mặt cũng nhƣ lĩnh vực sinh trắc học.
Nội dung luận văn đƣợc chia làm 3 phần chính: Chƣơng 1 trình bày khái quát về
quản lý học viên và bài toán điểm danh, trong đó nêu rõ đầu vào và đầu ra của bài toán
cũng nhƣ ứng dụng thực tiễn của bài toán. Chƣơng 2 là những nghiên cứu, tìm hiểu về
các thuật toán phát hiện và nhận dạng khuôn mặt. Chƣơng 3 trình bày thực nghiệm và
ứng dụng của chƣơng trình điểm danh dựa trên nhận dạng khuôn mặt. Phần cuối cùng
là kết luận và hƣớng phát triển tiếp theo của luận văn.

7

Số hoá bởi Trung tâm Học liệu – ĐHTN


CHƢƠNG 1: SINH TRẮC HỌC VÀ BÀI TOÁN NHẬN DẠNG KHUÔN

MẶT ỨNG DỤNG TRONG ĐIỂM DANH
1.1. Tổng quan về sinh trắc học
Sinh trắc học hay công nghệ sinh trắc học (thuật ngữ khoa học là Biometric) là
công nghệ sử dụng những thuộc tính vật lý, đặc điểm sinh học riêng của mỗi cá nhân
nhƣ vân tay, mống mắt, khuôn mặt... để nhận diện. Thuật ngữ sinh trắc học
(Biometric) đƣợc dùng ghép theo tiếng Hy Lạp từ 2 từ: Bio (thuộc về thực thể sinh vật
sống) và metriko (kỹ thuật độ đo, đo lƣờng), thuật ngữ này đã đƣợc hình thành trong
quá trình phát triển loài ngƣời và đƣợc biết đến từ lâu để thể hiện các đặc trƣng về thể
chất hay về hành vi của từng cá thể con ngƣời. Có nhiều loại đặc trƣng sinh trắc học:
vân tay (Fingerprint), lòng bàn tay (Palm print), dạng hình học bàn tay (Hand
geometry), chữ ký viết tay (Hand written Signature), khuôn mặt (Face), tiếng nói
(Voice), con ngƣơi mắt (Iris), võng mạc (Retina)... Những đặc trƣng này đã đƣợc phát
hiện từ rất sớm để nhận dạng, xác thực chủ thể con ngƣời và hiện nay đang đƣợc quan
tâm nghiên cứu triển khai ứng dụng trong các lĩnh vực an ninh, quốc phòng, thƣơng
mại, công nghiệp, dịch vụ... Các đặc trƣng sinh trắc học của cơ thể ngƣời đƣợc sử
dụng phải đảm bảo các tiêu chuẩn sau đây: [1]
- Tính rộng rãi: là tính chất cho biết thông thƣờng mọi ngƣời đều có đặc trƣng này,
có thể tạo ra khả năng sử dụng hệ thống an ninh sinh trắc học cho một số lƣợng
ngƣời lớn.
- Tính phân biệt: là tính chất phân biệt đặc trƣng sinh trắc học giữa hai ngƣời bất
kỳ phải khác nhau, đảm bảo sự duy nhất của chủ thể sinh trắc.
- Tính ổn định: là tính chất mà đặc trƣng sinh trắc phải có tính ổn định trong một
thời gian tƣơng đối dài.
- Tính dễ thu thập: là tính chất đặc trƣng sinh trắc học phải dễ dàng thu nhận mẫu
khi đăng ký, kiểm tra xác thực, nâng cao tính khả thi trong sử dụng.
- Tính hiệu quả: là tính chất mà việc xác thực sinh trắc phải chính xác, nhanh
chóng và tài nguyên cần sử dụng đƣợc chấp nhận.
- Tính chấp nhận đƣợc: là tính chất mà quá trình thu thập mẫu sinh trắc phải đƣợc
sự đồng ý của ngƣời dùng.
8

Số hoá bởi Trung tâm Học liệu – ĐHTN


- Chống giả mạo: là tính chất ƣu việt của việc sử dụng đặc trƣng sinh trắc, khả
năng mẫu sinh trắc khó bị giả mạo cao...

Hình 1.1. Các đặc trưng sinh trắc phổ biến
Đã có rất nhiều đặc trƣng sinh học khác nhau đã và đang đƣợc sử dụng. Mỗi loại
đặc trƣng sinh trắc có điểm mạnh và điểm yếu riêng. Tuy nhiên không một đặc trƣng
nào thỏa mãn tốt và đầy đủ tất cả các yêu cầu tính chất của một đặc trƣng sinh trắc học
nêu trên, nghĩa là không có một đặc trƣng sinh trắc học hoàn toàn tối ƣu. Trong một
công trình nghiên cứu, các chuyên gia đã đƣa ra một bảng so sánh khái quát các tiêu
chuẩn đánh giá các tính chất tƣơng ứng các đặc trƣng sinh trắc học sau đây: [1]
Bảng 1.1: So sánh các công nghệ nhận dạng sinh trắc học
Tính

Tính

rộng

phân

ổn

rãi

biệt

định

M

M

M

M

M

M

L

M

M

M

H

M

M

M

Vân tay

M

H

H

M

H

M

M

Dáng đi

M

L

L

H

L

H

M

Khuôn mặt

H

L

M

H

L

H

H

Võng mạc

H

H

M

L

H

L

L

Mống mắt

H

H

H

M

H

L

L

Chỉ tay

M

H

H

M

H

M

M

Giọng nói

M

L

L

M

L

H

H

Đặc trƣng sinh
trắc học
Vân bàn tay
Dạng hình học
bàn tay

Tính dễ
thu thập

Tính

Tính

Tính

hiệu
quả

chấp

Chống

nhận

giả mạo

đƣợc

Trong đó: Các ký hiệu có ý nghĩa nhƣ sau: H (cao), M (trung bình) và L (thấp).

9

Số hoá bởi Trung tâm Học liệu – ĐHTN


1.1.1. Hệ thống sinh trắc học

Hình 1.2. Mô hình hệ thống sinh trắc học [2]
Một hệ thống sinh trắc học (Biometric System) thực chất là một hệ nhận dạng

dựa trên các đặc điểm về hành vi hay thuộc tính vật lý của ngƣời cần nhận dạng. Hệ
thống sinh trắc học đƣợc phân ra thành hai loại chính: hệ thẩm định (Verification) và
hệ nhận dạng (Identification, Recognition) [1]
1.1.1.1. Hệ thẩm định (Verification)
Hệ thẩm định (Verification) là hệ thống thực hiện nhiệm vụ đối sánh 1-1 giữa
mẫu sinh trắc học thu nhận đƣợc (biometric sample) với mẫu dạng sinh trắc học
(biometric template) đã có trong hệ thống từ trƣớc. Kết quả trả lời câu hỏi mẫu sinh
trắc thu nhận có liên quan tới mẫu dạng sinh trắc hay không? Thông thƣờng trong hệ
thẩm định có kết hợp với thông tin định danh chủ thể để thực hiện chức năng xác thực
10

Số hoá bởi Trung tâm Học liệu – ĐHTN


thẩm định sinh trắc (Authentication). Trong hệ xác thực thẩm định đòi hỏi cao về độ
chính xác để kết quả trả lời câu hỏi “Sinh trắc học sống thu nhận đƣợc (biometric
sample) có phải là sinh trắc của chủ thể đã lƣu trong hệ thống không?” [1]
1.1.1.2. Nhận dạng (Identification, Recognition)
Hệ nhận dạng (Identification, Recognition) là hệ thống thực hiện chức năng tìm
kiếm (1-n) từ một cơ sở dữ liệu lƣu trữ một tập các mẫu sinh trắc học để tìm ra một
mẫu sinh trắc cụ thể trong các mẫu khuôn dạng sinh trắc thu thập từ trƣớc và sau đó
thực hiện đối sánh xấp xỉ để nhận dạng phân lớp (Classification) hoặc nhận dạng đồng
nhất (Identification), ví dụ nhƣ việc tìm mẫu vân tay tội phạm trong hồ sơ các vân tay,
từ đó xác định danh tính của chủ sở hữu vân tay. [1]
1.1.1.3. Các thành phần chức năng chủ yếu
- Thu nhận (Sensor, Capture): là thành phần có chức năng thu nhận mẫu sinh trắc
học và biểu diễn chúng dƣới dạng số hóa.
- Xử lý và trích chọn đặc trƣng (Feature Extraction): là thành phần chức năng thực
hiện các phép xử lý phân tích và trích chọn các đặc trƣng từ mẫu sinh trắc học.
- Đối sánh (Matching): là thành phần chức năng thực hiện so sánh các đặc trƣng

vừa trích chọn với khuôn mẫu sinh trắc đã có trƣớc.
- Ra quyết định (Decision): là thành phần chức năng khẳng định danh tính ngƣời
dùng (với hệ nhận dạng) dựa trên kết quả đối sánh của chức năng đối sánh có thể
là một câu trả lời đúng hoặc một câu trả lời sai về mẫu sinh trắc học so với khuôn
mẫu sinh trắc có từ trƣớc (với hệ thẩm định). [1]
1.1.1.4. Hoạt động của hệ thống
Hoạt động của một hệ thống sinh trắc bao gồm 2 giai đoạn cơ bản sau đây:
- Đăng ký (Enrollment): là giai đoạn đăng ký mẫu sinh trắc vào hệ thống.
- Thẩm định hoặc nhận dạng (Verification/Identification): là giai đoạn thẩm định,
nhận dạng mẫu sinh trắc vừa trích chọn với khuôn mẫu sinh trắc đã có trƣớc.
1.1.2. Đánh giá hiệu năng và chất lƣợng hoạt động của hệ sinh trắc học
Một hệ sinh trắc học khi hoạt động thƣờng gặp hai vấn đề về lỗi sau đây:

11

Số hoá bởi Trung tâm Học liệu – ĐHTN


- Lỗi phát sinh khi đối sánh mẫu sinh trắc của hai ngƣời khác nhau nhƣng cho kết
quả là của cùng một ngƣời. Lỗi này đƣợc gọi là loại bỏ sai (false reject hay false
match).
- Lỗi phát sinh khi đối sánh hai mẫu sinh trắc của cùng một ngƣời nhƣng cho kết
quả sai, vì cho rằng là của hai ngƣời khác nhau. Lỗi này đƣợc gọi là chấp nhận
sai (false accept hay false nonmatch). Để đo lƣờng mức độ lỗi của hệ thống sinh
trắc, các độ đo lƣờng thƣờng dùng đƣợc định nghĩa nhƣ sau:
- FMR (False Match Rate): còn gọi là FAR (False Accept Ratio) - Tỷ số chấp nhận
sai: cho biết tỉ lệ trả lời là đúng đối với dữ liệu vào là sai.
- FNMR (False Nonmatch Rate): còn gọi là FRR (False Rejection Ratio).
- Tỷ số từ chối sai: cho biết tỉ lệ trả lời là sai đối với dữ liệu vào là đúng.
Một vấn đề là hai độ đo lƣờng này có sự ràng buộc với nhau nhƣ sau: nếu FAR

cao thì FRR sẽ giảm tƣơng đối và ngƣợc lại. Mức độ chấp nhận đƣợc của FAR và
FRR tùy thuộc vào từng hệ xác thực sinh trắc cụ thể. Với hệ yêu cầu tính bảo mật cao,
và đặt nặng vấn đề an toàn của xác thực hơn sự tiện dụng của ngƣời dùng, thì FAR sẽ
nhỏ và FRR sẽ cao. Ngoài hai độ đo trên, ngƣời ta còn sử dụng độ đo FTC (Failure To
Capture - thu nhận mẫu thất bại) và FTE (Failure to Enroll - chấp nhận mẫu thất bại)
để đánh giá hiệu năng của hệ xác thực sinh trắc học. [1]

Hình 1.3. Các giá trị ngưỡng của FAR và FRR [3]
12

Số hoá bởi Trung tâm Học liệu – ĐHTN


1.1.3. Hệ thống an ninh bảo mật dựa trên sinh trắc học
Hệ thống sinh trắc học có những ƣu điểm mà hệ bảo mật thông thƣờng không
có, trong những cuộc nghiên cứu hệ thống an ninh, bảo mật dựa trên hệ sinh trắc học
(Biometric Security System) đã đƣợc quan tâm nghiên cứu và đƣa vào ứng dụng thực
tiễn. Hƣớng nghiên xây dựng hệ thống trên cơ sở kết hợp hệ thống sinh trắc học với hệ
mật mã (Biometric Cryptosystem) đang là vấn đề thời sự đƣợc quan tâm nghiên cứu
phát triển. Sự kết hợp này nhằm mục tiêu nâng cao tính an toàn của hệ mật mã dựa
trên các ƣu điểm của hệ thống sinh trắc học. Hệ thống an ninh, bảo mật sinh trắc học
(Biometric based Security System) dựa trên sự nhận biết hoặc thẩm định các đặc trƣng
về thể chất hay về hành vi con ngƣời để nhận dạng, xác thực từng chủ thể. Cùng với sự
phát triển nhanh chóng của CNTT và truyền thông, hệ thống an ninh dựa trên nhận
dạng, thẩm định xác thực sinh trắc học đã và đang đƣợc quan tâm nghiên cứu và có
nhiều triển khai ứng dụng trong những năm gần đây trên thế giới. Đối với các giao
dịch điện tử và truyền thông, đây là một trong các hƣớng tiếp cận mới về an ninh
thông tin và mạng, an toàn dữ liệu. Phƣơng pháp này mở ra triển vọng lớn về an toàn
trong các giao dịch điện tử, chính phủ điện tử, thƣơng mại điện tử... [1]
Các lĩnh vực nghiên cứu về hệ thống an ninh sinh trắc học (Biometric Security

Systems).
- Các các nghiên cứu cơ bản về các loại sinh trắc học, về phƣơng pháp trích chọn
đặc trƣng sinh trắc và về nhận dạng, thẩm định xác thực chủ thể con ngƣời.
- Các hệ nhận dạng, thẩm định xác thực sinh trắc học chủ thể trong hệ thống.
- Mật mã sinh trắc học (Biometric Cryptography). Trong hệ mật mã thông thƣờng,
điểm yếu thƣờng ở quá trình bảo vệ, quản lý và phân phối khóa. Nguy cơ này đe
dọa các mục tiêu về xác thực và chống phủ nhận. Hệ sinh trắc học đƣợc ứng
dụng giải quyết vấn đề đó. Hiện nay có hai hƣớng tiếp cận để kết hợp sinh trắc
học và mật mã học nhƣ sau: [1]
- Dùng sinh trắc học quản lý khóa (biometric-based key release).
- Dùng sinh trắc học để tạo khóa (biometric-based key generation).
1.2. Phát hiện và nhận dạng khuôn mặt
Vấn đề nhận dạng mặt ngƣời có thể trình bày một cách tổng quan nhƣ sau: Cho
một ảnh tĩnh hay một đoạn video, hãy phát hiện và nhận ra những ngƣời trong ảnh hay
13

Số hoá bởi Trung tâm Học liệu – ĐHTN


trong đoạn video đó dựa trên một tập cho trƣớc các dữ liệu về các mặt ngƣời đã biết.
Giải pháp cho vấn đề này bao gồm bốn vấn đề: phát hiện các mặt ngƣời từ ảnh (video),
trích chọn đặc trƣng từ vùng ảnh, nhận dạng ảnh và xác minh. Với quá trình nhận
dạng, đầu vào là một ảnh chƣa biết, sau quá trình nhận dạng, hệ thống đƣa ra định
danh về ngƣời trong ảnh và trong quá trình xác minh, hệ thống phải đƣợc xác định
rằng việc nhận dạng đấy là chính xác hay không. Về mặt tổng quát, mỗi phƣơng pháp
nhận dạng mặt ngƣời đều có thể đƣợc chia thành 2 module: Module phát hiện mặt
ngƣời trong ảnh và module nhận dạng mặt ngƣời.
Đƣợc khởi đầu vào những năm 70, nhận dạng mặt ngƣời là một trong những ứng
dụng của phân tích và xử lý ảnh đạt đƣợc nhiều thành tựu nhất. Trong thời gian gần
đây, do sự phát triển nhƣ vũ bão của khoa học máy tính và yêu cầu thực tiễn trong các

lĩnh vực kinh tế, luật pháp…, vấn đề nhận dạng mặt ngƣời đang đƣợc đặc biệt chú ý.
Một loạt các hội thảo đƣợc tổ chức bàn về vấn đề này nhƣ AFGR, AVBPA và những
đánh giá mang tính hệ thống về các kỹ thuật nhận dạng mặt ngƣời (Face Recognition
Techniques - FRT), bao gồm phƣơng pháp FERET và XM2VTS.
Nhu cầu cấp thiết về các hệ thống thân thiện với ngƣời sử dụng đã đảm bảo cho
các nghiên cứu về sau không bị lãng phí trong hàng loạt những nghiên cứu đã đƣợc
thực thi trƣớc đó. Hiện nay, để rút tiền từ ATM ta phải nhập PIN, hay để truy cập một
máy tính ta phải nhập mật khẩu hay hàng loạt phƣơng pháp khác để truy cập vào
Internet. Hiện đã có hàng loạt các phƣơng pháp nhận dạng có độ tin cậy cao dựa vào
các kỹ thuật nhân trắc học; chẳng hạn nhƣ, kỹ thuật phát hiện vân tay hay kỹ thuật
quét nhận dạng võng mạc. Tuy nhiên, những hệ thống này có chung nhƣợc điểm là
phức tạp và yêu cầu cần có sự phối hợp của nhiều ngƣời cùng xử lý. Bên cạnh đó, một
hệ thống nhận dạng dựa trên kỹ thuật phân tích ảnh mặt nhìn thẳng của một ngƣời sẽ
đơn giản hơn nhiều, không đòi hỏi có nhiều ngƣời cùng xử lý và cũng không đòi hỏi các
kiến thức chuyên môn sâu. Chính vì thế, hệ thống nhận dạng ngƣời dựa trên kỹ thuật
phân tích ảnh mặt đang ngày càng đƣợc ứng dụng rộng rãi.
Bảng 1.2. Các ứng dụng tiêu biểu của nhận dạng mặt người.
Lĩnh vực

Các ứng dụng đặc trƣng
Driver’s licences, Entitlement Programs

Nhân trắc học
Immigration, National ID, Passports, Voter Registration
14

Số hoá bởi Trung tâm Học liệu – ĐHTN


Welfare

Desktop Logon (Windows 95, Windows NT)
Application Security, Database Security, File Encryption
An toàn thông tin
Intranet Security, Internet Access, Medical Records
Secure Trading Terminals
Advanced Video Surveillance, CCTV Control
Law Enforcement
and Surveillance

Portal Control, Post-Event Analysis
Shoftlifting and Suspect Tracking and Investigation

SmartCards
Access Control

Stored Value Security, User Authentification
Facility Access, Vehicular Access

Một hệ thống nhận dạng mặt ngƣời điển hình bao gồm các thành phần chính nhƣ
Hình 1.4.

Ảnh
mặt
ngƣời

Trích
chọn đặc
trƣng

Nhận

dạng mặt
ngƣời

Thông tin
ngƣời đƣợc
nhận dạng

Hình 1.4. Mô hình hệ thống nhận dạng mặt người.
Nhận dạng mặt ngƣời (Face recognition) đƣợc nghiên cứu từ những năm 1980, là
một lĩnh vực nghiên cứu của ngành thị giác máy tính (Computer Vision) và cũng đƣợc
xem là một lĩnh vực nghiên cứu của ngành sinh trắc học (Biometrics) tƣơng tự nhƣ
nhận dạng vân tay (Fingerprint recognition), hay nhận dạng mống mắt (Iris
recognition)… Trong khi nhận dạng vân tay và mống mắt có thể áp dụng trên thực tế
một cách rộng rãi thì nhận dạng mặt ngƣời vẫn còn nhiều thách thức. So với nhận dạng
vân tay và mống mắt, nhận dạng mặt có nguồn dữ liệu phong phú hơn và ít đòi hỏi sự
tƣơng tác có kiểm soát hơn. Bài toán nhận dạng mặt ngƣời còn nhiều thách thức nên
hàng năm trong và ngoài nƣớc vẫn có nhiều nghiên cứu về các phƣơng pháp nhận
dạng mặt ngƣời.
15

Số hoá bởi Trung tâm Học liệu – ĐHTN


Nhận dạng khuôn mặt là một nhiệm vụ dễ dàng đối với con ngƣời. Thí nghiệm
trong [9] đã chỉ ra, ngay cả trẻ sơ sinh 1-3 ngày tuổi có thể phân biệt khuôn
mặt. Nhƣng làm thế nào với một máy tính? Cho đến nay chúng ta biết rất ít về nhận
dạng con ngƣời. Có phải đặc điểm bên trong (mắt, mũi, miệng) hoặc các đặc điểm bên
ngoài (hình dạng đầu, chân tóc) đƣợc sử dụng cho một nhận dạng khuôn mặt. Bộ não
con ngƣời phân tích một hình ảnh và mã hóa nhƣ thế nào? Theo nghiên cứu đƣợc bởi
David Hubel và Torsten Wiesel, rằng não của chúng ta có tế bào thần kinh chuyên biệt

phản ứng với từng hoàn cảnh cụ thể, chẳng hạn nhƣ đƣờng, cạnh, góc độ hoặc chuyển
động. Vì chúng ta không nhìn thấy thế giới nhƣ những mảnh phân tán, vỏ não của
chúng ta bằng cách nào đó phải kết hợp các nguồn thông tin khác nhau vào các mẫu
hữu ích. Nhận diện khuôn mặt tách ra những đặc điểm có ý nghĩa từ một hình ảnh, đƣa
chúng vào một sự biểu diễn hữu ích và thực hiện một số phân loại.
1.3. Những khó khăn và thách thức trong bài toán nhận dạng khuôn mặt
Việc xác định khuôn mặt ngƣời có những khó khăn nhất định nhƣ:
- Hƣớng (pose) của khuôn mặt đối với máy ảnh, nhƣ: nhìn thẳng, nhìn nghiêng hay
nhìn từ trên xuống. Cùng trong một ảnh có thể có nhiều khuôn mặt ở những tƣ
thế khác nhau.
- Sự có mặt của các chi tiết không phải là đặc trƣng riêng của khuôn mặt ngƣời,
nhƣ: râu quai nón, mắt kính...
-

Các nét mặt (facial expression) khác nhau trên khuôn mặt, nhƣ: vui, buồn, ngạc
nhiên...

- Mặt ngƣời bị che khuất bởi các đối tƣợng khác có trong ảnh.
- Sự biểu cảm của khuôn mặt (The expression of the face): sự biểu cảm có thể làm
thay đổi đáng kể các đặc trƣng và thông số của khuôn mặt, ví dụ nhƣ khuôn mặt
của cùng một ngƣời sẽ rất khác khi ngƣời đó cƣời, tức giận hay sợ hãi…
1.4. Các ứng dụng của bài toán nhận dạng khuôn mặt
Xác định mặt ngƣời thƣờng là một phần của một hệ thống (facial recognition
system) [4]. Nó thƣờng đƣợc dùng trong giám sát video, giao tiếp ngƣời - máy và quản
lý cơ sở dữ liệu ảnh…
 Các ứng dụng cơ bản của xác định mặt ngƣời có thể kể đến là:
16

Số hoá bởi Trung tâm Học liệu – ĐHTN

- Xác minh tội phạm: Dựa vào ảnh của một ngƣời, nhận dạng xem ngƣời đấy có
phải là tội phạm hay không bằng cách so sách với các ảnh tội phạm đang đƣợc
lƣu trữ. Hoặc có thể sử dụng camera để phát hiện tội phạm trong đám đông.
Ứng dụng này giúp cơ quan an ninh quản lý con ngƣời tốt hơn.
- Camera chống trộm: Các hệ thống camera sẽ xác định đâu là con ngƣời và theo
dõi xem con ngƣời đó có làm gì phạm pháp không, ví dụ nhƣ lấy trộm đồ, xâm
nhập bất hợp pháp vào một khu vực nào đó.
- Bảo mật: Các ứng dụng về bảo mật rất đa dạng, một trong số đó là công nghệ
nhận dạng mặt ngƣời của laptop, công nghệ này cho phép chủ nhân của máy
tính chỉ cần ngồi trƣớc máy là có thể đăng nhập đƣợc. Để sử dụng công nghệ
này, ngƣời dùng phải sử dụng một webcam để chụp ảnh khuôn mặt của mình
và cho máy “học” thuộc các đặc điểm của khuôn mặt giúp cho quá trình đăng
nhập sau này.
- Lƣu trữ khuôn mặt: Xác định mặt ngƣời có thể đƣợc ứng dụng trong các trạm
rút tiền tự động (ATM) để lƣu trữ khuôn mặt của ngƣời rút tiền. Hiện nay có
những ngƣời bị ngƣời khác lấy trộm thẻ ATM, mã PIN và bị rút tiền trộm
hoặc có những chủ tài khoản đi rút tiền nhƣng lại báo với ngân hàng là bị mất
thẻ và bị rút tiền trộm. Nếu lƣu trữ đƣợc khuôn mặt của ngƣời rút tiền, ngân
hàng có thể đối chứng và xử lý dễ dàng hơn.
 Một số ứng dụng khác:
- Điều khiển vào ra: Văn phòng, công ty, trụ sở, máy tính, Palm,… kết hợp thêm
vân tay và mống mắt, cho phép nhân viên đƣợc ra vào nơi cần thiết.
- An ninh sân bay, xuất nhập cảnh (hiện nay cơ quan xuất nhập cảnh Mỹ đang sử
dụng). Dùng camera quan sát để xác thực ngƣời nhập cảnh và kiểm tra xem
ngƣời đó có phải là tội phạm hay phần tử khủng bố không.
- Tìm kiếm và tổ chức dữ liệu liên quan đến con ngƣời thông qua khuôn mặt
ngƣời trên nhiều hệ cơ sở dữ liệu lƣu trữ thật lớn, nhƣ internet, các hãng
truyền hình… Ví dụ: tìm các đoạn video có tổng thống Obama phát biểu, tìm
các phim có diễn viên Thành Long đóng…

17

Số hoá bởi Trung tâm Học liệu – ĐHTN


- Kiểm tra trạng thái ngƣời lái xe có ngủ gật, mất tập trung hay không và hỗ trợ
thông báo khi cần thiết.
- Tƣơng lai sẽ phát triển các loại thẻ thông minh có tích hợp sẵn đặc trƣng của
ngƣời dùng trên đó, khi bất cứ ngƣời dùng khác dùng để truy cập hay xử lý tại
các hệ thống sẽ đƣợc yêu cầu kiểm tra các đặc trƣng khuôn mặt so với thẻ để
biết ngƣời này có phải là chủ thẻ hay không.
- Hãng máy chụp hình Canon đã ứng dụng bài toán xác định khuôn mặt ngƣời
vào máy chụp hình thế hệ mới để cho kết quả hình ảnh đẹp hơn, nhất là khuôn
mặt ngƣời.
1.5. Bài toán điểm danh dựa trên khuôn mặt
1.5.1. Bài toán điểm danh và quản lý nhân sự
Trong thời đại ngày nay, cùng với sự phát triển của khoa học kỹ thuật và xu hƣớng
công nghiệp hóa, hiện đại hóa: máy móc đang và sẽ tiếp tục thay thế con ngƣời trong
những công việc nặng nhọc và mang tính lặp đi lặp lại. Máy móc có những ƣu điểm
không thể phủ nhận nhƣ không biết mệt mỏi, sẵn sàng phục vụ liên tục, không mang
tính chủ quan, khả năng xử lý nhanh, lƣu trữ lớn...
Đối với bài toán điểm danh, chấm công với mục tiêu chủ yếu là kiểm soát nguồn
nhân lực về thời gian. Các nhà quản lý quan tâm tới hai vấn đề chính là một lao động
tên là “A” có mặt hay không, có đúng giờ hay không, “A” có làm đủ số giờ quy định
hay không?. Để giải quyết bài toán này thông thƣờng các công ty, doanh nghiệp, các
nhà quản lý sẽ sử dụng một nhóm ngƣời có chức năng chấm công và quản lý hoặc sử
dụng một hệ thống sinh trắc học. Đối với việc sử dụng con ngƣời có rất nhiều nhƣợc
điểm nhƣ: chi phí lớn, tính khách quan không cao, không hoạt động tốt liên tục trong
nhiều giờ liền, không thể sử dụng với phạm vi lớn (một cán bộ chấm công không thể

nhớ đƣợc quá nhiều ngƣời, đặc biệt với những ngƣời mới gặp vài lần)... Vì thế các hệ
thống sinh trắc học tỏ ra khá hiệu quả và là lựa chọn hàng đầu trong bài toán này.
Với sự hỗ trợ của camera, máy tính và phần mềm điểm danh, nhà quản lý thu đƣợc
thông tin về sự có mặt và thời gian làm việc của ngƣời lao động một cách chính xác và
khách quan với chi phí thấp. Việc áp dụng nhận dạng khuôn mặt có thể đƣợc sử dụng
một cách độc lập với ƣu điểm hơn các phƣơng pháp sinh trắc học khác ở tính tự nhiên

18

Số hoá bởi Trung tâm Học liệu – ĐHTN


của nó, đồng thời đây cũng có thể là một phƣơng pháp đƣợc sử dụng kết hợp với các
phƣơng pháp sinh trắc khác để nâng cao tính chính xác của hệ thống khi vận hành.
1.5.2. Đầu vào của bài toán
Với bài toán điểm danh, trong nội dung luận văn tôi lựa chọn phƣơng pháp nhận
dạng khuôn mặt làm cơ sở để xây dựng hệ thống. Với đầu vào là ảnh của ngƣời cần
đƣợc điểm danh hệ thống sẽ nhận diện hình ảnh và đoán nhận chính xác tên của ngƣời
có trong ảnh, từ đó là cơ sở để điểm danh.
Nhƣ vậy, đầu vào của bài toán là ảnh thu đƣợc từ camera đặt ở vị trí quan sát. Vị trí
này thƣờng là trƣớc cửa của cơ quan, doanh nghiệp, đây thƣờng là lối vào duy nhất
của đơn vị cần đƣợc điểm danh. Trong trƣờng hợp có nhiều cửa vào cho một đơn vị
cần đƣợc điểm danh, hệ thống sẽ thiết đặt các camera tại các cổng vào. Kết quả điểm
danh sẽ là kết quả tổng hợp của các camera tại các vị trí khác nhau.
Trong trƣờng hợp ngƣời quản lý cần xác định rõ thời gian làm việc của lao động
(cần xác định rõ thời gian vào và thời gian ra của một ngƣời) thì hệ thống cần thiết đặt
hai camera trên một cổng, một camera hƣớng ra để điểm danh ngƣời lao động khi vào
và một camera hƣớng vào trong để điểm danh ngƣời lao động khi ra khỏi khu vực làm
việc. Hiệu thời gian của lần ra và lần vào sẽ là thời gian ngƣời cần đƣợc điểm danh có
mặt tại khu vực làm việc.

Để đảm bảo hệ thống làm việc hiệu quả, chính xác cần xây dựng các tiêu chuẩn cơ
bản để hệ thống làm việc. Đây là thiết lập cần thiết để nâng cao tính chính xác và khả
năng làm việc của hệ thống. Các thiết đặt này xuất phát từ chính các khó khăn tồn tại
trong các thuật toán xác định và nhận diện khuôn mặt hiện này:
-

Các khuôn mặt đƣợc chụp thẳng hoặc góc nghiêng không đáng kể (nhỏ hơn
hoặc bằng 10o).

-

Phông nền của ảnh không quá phức tạp.

-

Ảnh đƣợc chụp trong điều kiện ánh sáng bình thƣờng.

-

Ngƣời đƣợc điểm danh không có các vật dụng với độ che phủ cao trên khuôn
mặt (kính đen, khẩu trang, râu giả...).

-

Không mang vác ảnh có mặt ngƣời qua khu vực điểm danh (sử dụng ảnh 2D
chụp ngƣời để điểm danh hộ, hoặc gây nhầm lẫn trong hệ thống)
19

Số hoá bởi Trung tâm Học liệu – ĐHTN

1.5.3. Đầu ra và ý nghĩa thực tiễn
Bài toán điểm danh với đầu vào là ảnh thu đƣợc từ camera, dựa trên công nghệ
sinh trắc học nhận diện qua khuôn mặt sẽ trả lại kết quả là một danh sách tên ngƣời lao
động, trong đó mỗi một đối tƣợng ngƣời lao động tồn tại hai trạng thái là đƣợc điểm
danh và không đƣợc điểm danh. Để xác định một đối tƣợng cần đƣợc điểm danh ở trạng
thái nào, hệ thống dựa trên một tập các ảnh đƣợc lƣu trong cơ sở dữ liệu, trong quá trình
nhận dạng đối tƣợng đi qua và nhìn về phía camera. Hệ thống nhận diện khuôn mặt thu
đƣợc từ camera và xác định xem đối tƣợng có nằm trong danh sách điểm danh hay
không, nếu có đối tƣợng tƣơng ứng đƣợc xác định trạng thái là “có mặt”. Ngƣợc lại nếu
đối tƣợng cần điểm danh không xuất hiện trong thời gian điểm danh thì trạng thái của
đối tƣợng tại phiên làm việc đó đƣợc xác định trạng thái là “vắng”.
Nhƣ vậy, đầu ra tổng quát của bài toán là xác định hình ảnh ngƣời trong ảnh vào
có tƣơng ứng với một định danh ảnh đã có trong cơ sở dữ liệu hay không. Nếu có định
dang tƣơng ứng là gì. Dựa trên một định danh đƣợc cung cấp bởi hệ thống nhận dạng
ta xây dựng chƣơng trình điểm danh với hai trạng thái cơ bản là “vắng” và “có mặt”.
Nếu trong phiên làm việc định danh đƣợc hệ thống xác nhận thì trạng thái đƣợc xác
định là có mặt và ngƣợc lại. Trong trƣờng hợp cần xác định thời gian làm việc của đối
tƣợng đang theo dõi ta cần xác định thêm tham số thời gian khi đối tƣợng đƣợc hệ
thống định danh theo chiều vào và thời gian khi đối tƣợng đƣợc hệ thống định danh
theo chiều ra.

20

Số hoá bởi Trung tâm Học liệu – ĐHTN


CHƢƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ NHẬN DẠNG KHUÔN MẶT
2.1. Một số kỹ thuật phát hiện mặt ngƣời trong ảnh
Vấn đề phát hiện mặt đƣợc đƣa ra đầu tiên vào những năm 70 với việc sử dụng

các kỹ thuật nhân trắc học và các phép heuristic giản đơn. Với những kỹ thuật này, ta
chỉ có thể đạt đƣợc kết quả trong những điều kiện khá chặt, ví dụ nhƣ nền ảnh đồng
nhất, khuôn mặt chụp thẳng... Cho đến ngày nay, cùng với sự phát triển vƣợt bậc của
khoa học kỹ thuật, việc yêu cầu những giới hạn nhƣ thế là không còn. Tuy nhiên, cùng
với những yêu cầu ngày càng cao, thì vấn đề phát hiện mặt ngƣời đang phải đối mặt
với những khó khăn mới. Trong suốt quá trình từ những năm đầu tới nay, đã có rất
nhiều các hƣớng xử lý và tiếp cận khác nhau đƣợc đƣa ra nhằm giải quyết cho những
yêu cầu cụ thể khác nhau của từng giai đoạn, từng ứng dụng cụ thể và cũng có nhiều
cách phân loại các phƣơng pháp, hƣớng tiếp cận này. Trong luận văn này, tôi chia các
phƣơng pháp và hƣớng tiếp cận thành hai hƣớng chính: Hƣớng tiếp cận dựa trên đặc
trƣng (Feature - based) và hƣớng tiếp cận dựa trên ảnh (Image - based).
Các phƣơng pháp kỹ thuật đƣợc áp dụng trong phát hiện mặt đƣợc thể hiện trong
Hình 2.1.

21

Số hoá bởi Trung tâm Học liệu – ĐHTN


Hình 2.1. Sơ đồ các hướng tiếp cận và phương pháp phát hiện mặt người
2.1.1. Hƣớng tiếp cận dựa trên đặc trƣng của ảnh
Phƣơng pháp tiếp cận dựa trên đặc trƣng đƣợc chia thành 3 vấn đề. Giả sử cần
phải phát hiện một khuôn mặt trong một nền ảnh lộn xộn, phân tích cấp thấp (lowlevel analysis) thực hiện phân đoạn các đặc trƣng của ảnh dựa trên những thuộc tính
điểm ảnh nhƣ độ xám hay màu sắc. Sự phân đoạn này còn mập mờ và chƣa rõ ràng.
Trong phân tích đặc trƣng (feature analysis), các đặc trƣng của ảnh đƣợc tổ chức thành
các đặc trƣng khuôn mặt có tính tổng quát hơn dựa trên các đặc tính hình học của
22

Số hoá bởi Trung tâm Học liệu – ĐHTN

khuôn mặt. Sau giai đoạn này, tính mập mờ của các đặc trƣng của ảnh đã đƣợc giảm
bớt, đồng thời vị trí khuôn mặt cùng với các đặc trƣng khuôn mặt đã đƣợc xác định.
Tiếp theo là việc sử dụng các mô hình hình dạng động (active shape models). Những
mô hình này bao gồm từ mô hình con rắn (snakes) (đƣợc đề xuất vào những năm 80)
cho tới mô hình điểm phân tán (Point Distributed Model - PDM) đƣợc đề xuất vào
những năm gần đây để trích chọn các đặc trƣng phức tạp nhƣ mắt, môi…
2.1.1.1. Phân tích mức thấp (Low level analysis)
Ngƣời ta gọi là phân tích mức thấp vì việc phân tích ở đây là phân tích dựa trên
các đặc trƣng rất cơ bản và mang tính trực quan, những đặc trƣng đó bao gồm biên
ảnh, thông tin đa mức xám, màu sắc, chuyển động, tính đối xứng của khuôn mặt.
a. Biên ảnh (Edges)
Biên ảnh (Edges) là một trong những thuộc tính quan trọng nhất trong các ứng
dụng xử lý ảnh, biên đã đƣợc sử dụng trong các ứng dụng phát hiện mặt ngay từ những
ngày đầu tiên bởi Sakai và cộng sự. Theo đó, các đặc trƣng khuôn mặt đƣợc xác định
dựa trên việc phân tích các đƣờng kẻ của các khuôn mặt trên ảnh. Craw và cộng sự sau
đó đã phát triển một giải thuật phân cấp dựa trên công việc của Sakai và cộng sự để
tìm các mô tả các đầu ngƣời có trong ảnh. Trong đó, một thành phần dò tìm đƣờng
biên (line-follower) với các ràng buộc về độ cong đƣợc sử dụng để tránh các biên
nhiễu. Các đặc trƣng về biên trong các biểu diễn mô tả của đầu ngƣời sau đấy đƣợc
phân tích đặc trƣng sử dụng thông tin hình dạng và thông tin vị trí của mặt. Gần đây,
vấn đề trích chọn đặc trƣng mặt sử dụng biên và phát hiện mặt sử dụng biên đã đƣợc
xây dựng bởi rất nhiều tác giả, trong đó có Brunelli và Poggio (1993), J.Choi, S.Kim
và P.R.Hee (1999), B.K.Low và M.K.Ibrahim (1997)... Ngoài ra, biên còn đƣợc sử
dụng trong việc phát hiện những ảnh mặt ngƣời đeo kính (Z.Ling và R.Mariani, 2000
và X. Jiang, M. Binkert, B. Achermann, H. Bunke, 2000).
Phát hiện biên là bƣớc đầu tiên trong vấn đề biểu diễn biên. Cho tới nay, đã có rất
nhiều toán tử phát hiện biên đƣợc áp dụng. Các vấn đề về biên và phát hiện biên sẽ
đƣợc trình bày kỹ hơn trong chƣơng sau.
Trong phƣơng pháp phát hiện mặt áp dụng biên, các biên phải đƣợc gán nhãn và

phù hợp với một mẫu mặt nhằm đảm bảo sự phát hiện là đúng đắn. Govindaraju đã
thực hiện công việc này bằng cách gán nhãn các biên nhƣ là bên trái, bên phải, nhìn
23

Số hoá bởi Trung tâm Học liệu – ĐHTN


thẳng hay là tóc và sau đó phù hợp chúng với một mẫu bằng cách sử dụng tỷ lệ vàng
của một khuôn mặt điển hình:
height 1  5

width
2

(1)

Trong hệ thống của Govindaraju, khi tiến hành kiểm thử 60 ảnh có nền phức tạp
bao gồm 90 khuôn mặt, thì thấy khả năng hệ thống có thể phát hiện chính xác là 76%
với mức độ trung bình sai 2 mặt/1 ảnh.
b. Thông tin đa mức xám (Grayscale Information)
Ngoài biên, thông tin đa mức xám trong ảnh cũng có thể đƣợc sử dụng nhƣ một
đặc trƣng. Một số đặc trƣng của khuôn mặt nhƣ lông mày, đồng tử hay môi thƣờng tối
hơn những vùng mặt xung quanh. Thuộc tính này có thể đƣợc sử dụng để phân biệt
nhiều vùng mặt khác nhau. Một số giải thuật trích chọn đặc trƣng gần đây thực hiện
tìm kiếm vùng cực tiểu địa phƣơng mức xám trong một phân đoạn ảnh mặt. Trong
những giải thuật này, ảnh đầu vào đƣợc cải thiện bằng cách làm tăng độ tƣơng phản
(contrast - stretching) và thực hiện các bƣớc biến hình mức xám (gray - scale
morphological routine) để làm tăng độ tối của những phần nói trên, do đó làm cho việc
phát hiện đƣợc dễ dàng hơn. Sau đó những vùng tối này đƣợc trích chọn bằng phép lấy
ngƣỡng dƣới. Bên cạnh đó, Wong và cộng sự tiến hành xây dựng một hệ thống tự

động tìm kiếm các vùng tối thuộc mặt thông qua sự phân tích về màu sắc. Hệ thống sử
dụng một mẫu mắt gán trọng số để xác định các vị trí có thể của cặp mắt.
c. Màu sắc (Color)
Thông tin mức xám cho phép chúng ta biểu diễn một cách cơ bản các đặc trƣng
của ảnh, còn thông tin về màu cho phép ta phân biệt hữu hiệu các đối tƣợng trong ảnh.
Bởi màu đƣợc biểu diễn trong không gian 3 chiều, nên 2 đối tƣợng có cùng mức xám
sẽ có những thể hiện khác nhau trong không gian màu. Ngƣời ta đã chứng minh đƣợc
rằng màu da của con ngƣời, dù ở lứa tuổi nào hay ở màu da nào, thì đều phân bố trên
một cụm xác định của hệ toạ độ màu [10].
Một trong những hệ toạ độ màu đƣợc sử dụng nhiều nhất là hệ toạ độ RGB. Theo
đó, mỗi màu đƣợc biểu diễn bởi sự kết hợp của các giá trị của 3 thành phần màu: đỏ
(Red - R), xanh (Green - G) và xanh lá cây (Blue - B). Bởi các thay đổi chính trong
việc biểu diễn da là bởi sự thay đổi về độ sáng, nên thông thƣờng ta thƣờng sử dụng hệ
24

Số hoá bởi Trung tâm Học liệu – ĐHTN


toạ độ RGB chuẩn hoá, do đó ảnh hƣởng của độ sáng đƣợc loại bỏ. Các thành phần
chuẩn hoá đƣợc tính bởi [10]:
R
RG  B
G
g
RG  B
B
b
RG  B
r

(2)

Do r + g + b = 1 nên trong hệ toạ độ màu chuẩn hoá này ta chỉ cần biết 2 giá trị r
và g, bởi b = 1 – r – g. Khi phân tích màu da, histogram màu dựa trên r và g chỉ ra
rằng màu của mặt ngƣời chỉ chiếm một vùng nhỏ trên histogram. Bằng cách so sánh
thông tin màu của một điểm ảnh với các giá trị r và g của vùng màu mặt, ta có thể xác
định đƣợc xác suất thuộc vùng mặt của điểm ảnh đấy.
Bên cạnh mô hình RGB, ngƣời ta cũng sử dụng một số mô hình khác trong việc
phát hiện mặt. C.H.Lee, J.S.Kim and K.H.Park, 1996, đã xây dựng một giải thuật sử
dụng mô hình HSI do ƣu điểm vƣợt trội của nó trong việc phân biệt các vùng màu của
các đặc trƣng khác nhau của khuôn mặt. Do đó, mô hình HSI đƣợc sử dụng trong việc
trích chọn các đặc trƣng của khuôn mặt nhƣ mắt, môi...
G.Wei và I.K.Sethi, 1999, sử dụng mô hình YIQ để phát hiện mặt. Bằng cách
chuyển đổi từ hệ toạ độ RGB sang YIQ, ngƣời ta nhận thấy thành phần I - thể hiện sự
thay đổi từ màu cam (orange) sang màu lục (cyan), có khả năng cải thiện vùng da của
ngƣời Á Châu. Việc chuyển đổi này cũng làm triệt tiêu các phần nền không phải da và
do đó, giúp cho việc phát hiện các khuôn mặt nhỏ đƣợc dễ dàng hơn. Ngoài ra, một số
mô hình màu khác cũng đƣợc sử dụng trong việc phát hiện mặt, nhƣ HSV, YES, CrCb,
YUV, CIE-xyz, L*a*b, L*u*v*...
d. Chuyển động (Motion)
Nếu yêu cầu của việc phát hiện mặt ngƣời là trong môi trƣờng ảnh video, thì hợp
lý nhất cho việc phát hiện mặt là sử dụng yếu tố chuyển động. Phƣơng pháp đơn giản
nhất là sử dụng sự khác biệt giữa các frame. Mặc dù phƣơng pháp này tỏ ra khá đơn
giản, nhƣng nó vẫn có thể phát hiện đƣợc sự cử động của các đối tƣợng trên bất cứ nền
nào một cách có hiệu quả. Các bóng cử động có chứa phần mặt và cơ thể ngƣời có thể
đƣợc tách bằng phép lấy ngƣỡng đối với sự khác biệt giữa các frame. Ngoài các vùng
25

Số hoá bởi Trung tâm Học liệu – ĐHTN