Luận văn thạc sĩ phát hiện và nhận dạng khuôn mặt từ camera, ứng dụng trong điểm danh

đại học thái nguyên
Trờng đại học công nghệ thông tin và truyền thông

NGUYN TH THY

PHT HIN V NHN DNG KHUễN MẶT
TỪ CAMERA, ỨNG DỤNG TRONG ĐIỂM DANH

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

THÁI NGUN - 2015
1

Số hố bởi Trung tâm Học liệu – ĐHTN




LỜI CAM ĐOAN
Tôi - Nguyễn Thế Thụy xin cam đoan những nội dung trình bày luận văn này là
kết quả tìm hiểu, nghiên cứu của bản thân dƣới sự hƣớng dẫn của TS. Nguyễn Văn
Tảo và tham khảo từ các nhà nghiên cứu đi trƣớc. Nội dung tham khảo, kế thừa, phát
triển từ các cơng trình đã đƣợc cơng bố đƣợc trích dẫn, ghi rõ nguồn gốc.
Nếu có gì sai phạm tơi xin hồn tồn chịu trách nhiệm.
Ngƣời cam đoan

Nguyễn Thế Thụy

2

Số hoá bởi Trung tâm Học liệu – ĐHTN

LỜI CẢM ƠN
Trong quá trình thực hiện luận văn mặc dù gặp rất nhiều khó khăn nhƣng em ln
nhận đƣợc sự quan tâm, giúp đỡ từ thầy cô, đồng nghiệp, bạn bè và ngƣời thân. Đây
là nguồn động lực giúp em hoàn thành luận văn này.
Em xin gửi lời cảm ơn chân thành tới TS. Nguyễn Văn Tảo đã tận tình giúp đỡ,
hƣớng dẫn và chỉ bảo trong quá trình thực hiện luận văn.
Em xin chân thành cảm ơn tới quý Thầy, Cô giáo đang công tác tại Viện Công
nghệ thông tin Việt Nam, Trƣờng Đại học Công nghệ thông tin và Truyền thơng Thái
Ngun đã tận tình chỉ bảo, truyền đạt những kiến thức qúy báu giúp em hoàn thành
nhiệm vụ học tập trong suốt thời gian theo học tại trƣờng. Q Thầy Cơ đã giúp em có
đƣợc những kiến thức quan trọng trong lĩnh vực Công nghệ thông tin, là nền tảng
vững chắc cho những nghiên cứu của bản thân trong thời gian tới.
Em xin cảm ơn các đồng nghiệp đã giúp đỡ, ủng hộ tinh thần trong thời gian em
tham gia học tập và nghiên cứu.
Cuối cùng, em xin cảm ơn tất cả những ngƣời đã luôn luôn quan tâm, sẻ chia và
động viên em.
Thái Nguyên, ngày 17 tháng 07 năm 2015
Nguyễn Thế Thụy

3

Số hoá bởi Trung tâm Học liệu – ĐHTN

MỤC LỤC
LỜI CAM ĐOAN ............................................................................................................
LỜI CẢM ƠN ..................................................................................................................
DANH MỤC CÁC HÌNH VẼ .........................................................................................
LỜI MỞ ĐẦU .................................................................................................................
CHƢƠNG 1: SINH TRẮC HỌC VÀ BÀI TỐN NHẬN DẠNG KHN MẶT
ỨNG DỤNG TRONG ĐIỂM DANH .............................................................................
1.1. Tổng quan về sinh trắc học ..................................................................................
1.1.1. Hệ thống sinh trắc học ................................................................................
1.1.1.1. Hệ thẩm định (Verification) ...............................................................
1.1.1.2. Nhận dạng (Identification, Recognition) ............................................
1.1.1.3. Các thành phần chức năng chủ yếu ....................................................
1.1.1.4. Hoạt động của hệ thống ......................................................................
1.1.2. Đánh giá hiệu năng và chất lƣợng hoạt động của hệ sinh trắc học ............
1.1.3. Hệ thống an ninh bảo mật dựa trên sinh trắc học .......................................
1.2. Phát hiện và nhận dạng khn mặt ....................................................................
1.3. Những khó khăn và thách thức trong bài tốn nhận dạng khn mặt ...............
1.4. Các ứng dụng của bài tốn nhận dạng khn mặt .............................................
1.5. Bài tốn điểm danh dựa trên khn mặt ............................................................
1.5.1. Bài tốn điểm danh và quản lý nhân sự .....................................................
1.5.2. Đầu vào của bài toán ..................................................................................
1.5.3. Đầu ra và ý nghĩa thực tiễn ........................................................................
CHƢƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ NHẬN DẠNG KHUÔN MẶT21
2.1. Một số kỹ thuật phát hiện mặt ngƣời trong ảnh .................................................
2.1.1. Hƣớng tiếp cận dựa trên đặc trƣng của ảnh ...............................................
2.1.1.1. Phân tích mức thấp (Low level analysis)............................................
2.1.1.2. Phân tích đặc trƣng (Feature Analysis) ..............................................
2.1.1.3. Mơ hình hình dạng động (Active shape models) ................................
2.1.2. Hƣớng tiếp cận dựa trên ảnh (Image based detection) ...............................
2.1.2.1. Phƣơng pháp khơng gian con tuyến tính (Linear subspace methods) 38

2.1.2.2. Mạng neural ........................................................................................
2.1.2.3. Phƣơng pháp thống kê (Statistical approachs) ...................................
4

Số hoá bởi Trung tâm Học liệu – ĐHTN


2.2. Một số kỹ thuật nhận dạng khuôn mặt............................................................. 47
2.2.1. Phƣơng pháp phân tích thành phần chính (PCA).....................................48
2.2.2. Phƣơng pháp phân tách tuyến tính (LDA)................................................ 49
2.2.3. Phƣơng pháp mạng neural........................................................................ 52
CHƢƠNG 3: CÀI ĐẶT THỬ NGHIỆM................................................................ 54
3.1. Yêu cầu thực nghiệm, ứng dụng....................................................................... 54
3.2. Phân tích lựa chọn giải pháp, công cụ.............................................................. 55
3.3. Một số kết quả cài đặt thực nghiệm................................................................. 56
3.3.1. Giao diện của chƣơng trình...................................................................... 56
3.3.2. Một số kết quả điểm danh dựa trên khuôn mặt......................................... 60
KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN............................................................... 64
TÀI LIỆU THAM KHẢO....................................................................................... 65

5

Số hoá bởi Trung tâm Học liệu – ĐHTN




DANH MỤC CÁC HÌNH VẼ
Hình 1.1. Các đặc trƣng sinh trắc phổ biến..................................................................................... 8
Hình 1.2. Mơ hình hệ thống sinh trắc học......................................................................................... 9

Hình 1.3. Các giá trị ngƣỡng của FAR và FRR........................................................................... 11
Hình 1.4. Mơ hình hệ thống nhận dạng mặt ngƣời.........Error! Bookmark not defined.
Hình 2.1. Sơ đồ các hƣớng tiếp cận và phƣơng pháp phát hiện mặt ngƣời............Error!
Bookmark not defined.
Hình 2.2. Hệ thống tìm kiếm mặt của Maio và Maltoni Error! Bookmark not defined.
Hình 2.3. Một số khơng gian riêng của CSDL ảnh ORL......................................................... 38
Hình 2.4. Mơ hình mạng neural của Rowley và cộng sựError!

Bookmark

not

defined.
Hình 2.5. Hệ thống nhận dạng khn mặt.......................... Error! Bookmark not defined.
Hình 2.6. Ví dụ minh họa LDA.......................................................................................................... 47
Hình 2.7. Ảnh sau khi biến đổi theo LDA..................................................................................... 49
Hình 2.8. Mạng neural 2 lớp truyền thẳng.........................Error! Bookmark not defined.
Hình 3.1. Quy trình hoạt động của hệ thống điểm danh dựa trên khn mặt …Error! Bookmark
Hình 3.2. Giao diện chính của chƣơng trình.....................Error! Bookmark not defined.
Hình 3.3. Hình ảnh từ camera và xử lý tƣơng ứng.........Error! Bookmark not defined.
Hình 3.4. Giao diện quản lý danh sách điểm danh và điểm danhError! Bookmark not
defined.
Hình 3.5. Giao diện quản lý danh sách ảnh................................................................................... 60
Hình 3.6. Cơ sở dữ liệu ảnh................................................................................................................. 60
Hình 3.7. Giao diện các lựa chọn trên thanh thực đơn.............................................................. 61

6

Số hoá bởi Trung tâm Học liệu – ĐHTN

LỜI MỞ ĐẦU
Công nghệ Sinh trắc học (Biometric) là một cơng nghệ sử dụng những thuộc tính
vật lý hoặc các mẫu hành vi, các đặc điểm sinh học đặc trƣng nhƣ dấu vân tay, mẫu
mống mắt, giọng nói, khn mặt, dáng đi... để nhận diện con ngƣời.
Công nghệ sinh trắc học đƣợc áp dụng phổ biến và lâu đời, trong đó phƣơng pháp
sử dụng nhận dạng khn mặt là tự nhiên nhất. Phƣơng pháp này đƣợc chính bản thân
con ngƣời sử dụng từ khi đƣợc sinh ra để phân biệt giữa ngƣời này và ngƣời khác.
Ứng dụng khả năng phân biệt dựa trên các đặc điểm khác nhau của khuôn mặt, bài
tốn “Phát hiện và nhận dạng khn mặt từ camera, ứng dụng trong điểm danh” là
bài tốn có khả năng ứng dụng cao với chi phí thấp đƣợc áp dụng trong các cơ quan,
doanh nghiệp.
Với sự hỗ trợ của camera, máy tính và phần mềm điểm danh, nhà quản lý thu đƣợc
thơng tin về sự có mặt và thời gian làm việc của ngƣời lao động một cách chính xác và
khách quan với chi phí thấp. Việc áp dụng nhận dạng khn mặt có thể đƣợc sử dụng một
cách độc lập với ƣu điểm hơn các phƣơng pháp sinh trắc học khác ở tính tự nhiên của nó,
đồng thời đây cũng có thể là một phƣơng pháp đƣợc sử dụng kết hợp với các phƣơng
pháp sinh trắc khác để nâng cao tính chính xác của hệ thống khi vận hành.
Chính vì tầm quan trọng của phát hiện, nhận dạng khn mặt nói riêng và cơng nghệ
sinh trắc nói chung, tôi thực hiện đề tài “Phát hiện và nhận dạng khuôn mặt từ camera,
ứng dụng trong điểm danh” với mục tiêu tìm hiểu các thuật tốn phát hiện và nhận dạng
khn mặt ngƣời từ đó xây dựng chƣơng trình điểm danh dựa trên khuôn mặt. Tôi hy
vọng đề tài này sẽ đem lại một số kiến thức hữu ích cho những ai quan tâm đến vấn đề về
phát hiện và nhận dạng khôn mặt cũng nhƣ lĩnh vực sinh trắc học.

Nội dung luận văn đƣợc chia làm 3 phần chính: Chƣơng 1 trình bày khái quát về
quản lý học viên và bài tốn điểm danh, trong đó nêu rõ đầu vào và đầu ra của bài toán
cũng nhƣ ứng dụng thực tiễn của bài toán. Chƣơng 2 là những nghiên cứu, tìm hiểu về

các thuật tốn phát hiện và nhận dạng khn mặt. Chƣơng 3 trình bày thực nghiệm và
ứng dụng của chƣơng trình điểm danh dựa trên nhận dạng khuôn mặt. Phần cuối cùng
là kết luận và hƣớng phát triển tiếp theo của luận văn.

7

Số hoá bởi Trung tâm Học liệu – ĐHTN




CHƢƠNG 1: SINH TRẮC HỌC VÀ BÀI TỐN NHẬN DẠNG
KHN MẶT ỨNG DỤNG TRONG ĐIỂM DANH
1.1. Tổng quan về sinh trắc học
Sinh trắc học hay công nghệ sinh trắc học (thuật ngữ khoa học là Biometric) là
công nghệ sử dụng những thuộc tính vật lý, đặc điểm sinh học riêng của mỗi cá nhân
nhƣ vân tay, mống mắt, khuôn mặt... để nhận diện. Thuật ngữ sinh trắc học
(Biometric) đƣợc dùng ghép theo tiếng Hy Lạp từ 2 từ: Bio (thuộc về thực thể sinh vật
sống) và metriko (kỹ thuật độ đo, đo lƣờng), thuật ngữ này đã đƣợc hình thành trong
q trình phát triển lồi ngƣời và đƣợc biết đến từ lâu để thể hiện các đặc trƣng về thể
chất hay về hành vi của từng cá thể con ngƣời. Có nhiều loại đặc trƣng sinh trắc học:
vân tay (Fingerprint), lịng bàn tay (Palm print), dạng hình học bàn tay (Hand
geometry), chữ ký viết tay (Hand written Signature), khuôn mặt (Face), tiếng nói
(Voice), con ngƣơi mắt (Iris), võng mạc (Retina)... Những đặc trƣng này đã đƣợc phát
hiện từ rất sớm để nhận dạng, xác thực chủ thể con ngƣời và hiện nay đang đƣợc quan
tâm nghiên cứu triển khai ứng dụng trong các lĩnh vực an ninh, quốc phòng, thƣơng
mại, công nghiệp, dịch vụ... Các đặc trƣng sinh trắc học của cơ thể ngƣời đƣợc sử
dụng phải đảm bảo các tiêu chuẩn sau đây: [1]
-

Tính rộng rãi: là tính chất cho biết thơng thƣờng mọi ngƣời đều có đặc

trƣng này, có thể tạo ra khả năng sử dụng hệ thống an ninh sinh trắc học cho một
số lƣợng ngƣời lớn.
-

Tính phân biệt: là tính chất phân biệt đặc trƣng sinh trắc học giữa hai

ngƣời bất kỳ phải khác nhau, đảm bảo sự duy nhất của chủ thể sinh trắc.
-

Tính ổn định: là tính chất mà đặc trƣng sinh trắc phải có tính ổn định trong

một thời gian tƣơng đối dài.
-

Tính dễ thu thập: là tính chất đặc trƣng sinh trắc học phải dễ dàng thu nhận

mẫu khi đăng ký, kiểm tra xác thực, nâng cao tính khả thi trong sử dụng.
-

Tính hiệu quả: là tính chất mà việc xác thực sinh trắc phải chính xác, nhanh

chóng và tài ngun cần sử dụng đƣợc chấp nhận.
-

Tính chấp nhận đƣợc: là tính chất mà quá trình thu thập mẫu sinh trắc phải

đƣợc sự đồng ý của ngƣời dùng.
8

Số hoá bởi Trung tâm Học liệu – ĐHTN




-

Chống giả mạo: là tính chất ƣu việt của việc sử dụng đặc trƣng sinh trắc,

khả năng mẫu sinh trắc khó bị giả mạo cao...

Hình 1.1. Các đặc trưng sinh trắc phổ biến
Đã có rất nhiều đặc trƣng sinh học khác nhau đã và đang đƣợc sử dụng. Mỗi loại
đặc trƣng sinh trắc có điểm mạnh và điểm yếu riêng. Tuy nhiên không một đặc trƣng
nào thỏa mãn tốt và đầy đủ tất cả các yêu cầu tính chất của một đặc trƣng sinh trắc học
nêu trên, nghĩa là không có một đặc trƣng sinh trắc học hồn tồn tối ƣu. Trong một
cơng trình nghiên cứu, các chun gia đã đƣa ra một bảng so sánh khái quát các tiêu
chuẩn đánh giá các tính chất tƣơng ứng các đặc trƣng sinh trắc học sau đây: [1]
Bảng 1.1: So sánh các công nghệ nhận dạng sinh trắc học

Đặc trƣng sinh
trắc học

Vân bàn tay
Dạng hình học
bàn tay
Vân tay
Dáng đi
Khn mặt

Võng mạc
Mống mắt
Chỉ tay
Giọng nói

Trong đó: Các ký hiệu có ý nghĩa nhƣ sau: H (cao), M (trung bình) và L (thấp).


9

Số hoá bởi Trung tâm Học liệu – ĐHTN




1.1.1. Hệ thống sinh trắc học

Hình 1.2. Mơ hình hệ thống sinh trắc học [2]
Một hệ thống sinh trắc học (Biometric System) thực chất là một hệ nhận dạng
dựa trên các đặc điểm về hành vi hay thuộc tính vật lý của ngƣời cần nhận dạng. Hệ
thống sinh trắc học đƣợc phân ra thành hai loại chính: hệ thẩm định (Verification) và
hệ nhận dạng (Identification, Recognition) [1]
1.1.1.1. Hệ thẩm định (Verification)
Hệ thẩm định (Verification) là hệ thống thực hiện nhiệm vụ đối sánh 1-1 giữa
mẫu sinh trắc học thu nhận đƣợc (biometric sample) với mẫu dạng sinh trắc học
(biometric template) đã có trong hệ thống từ trƣớc. Kết quả trả lời câu hỏi mẫu sinh
trắc thu nhận có liên quan tới mẫu dạng sinh trắc hay không? Thông thƣờng trong hệ
thẩm định có kết hợp với thơng tin định danh chủ thể để thực hiện chức năng xác thực
10

Số hoá bởi Trung tâm Học liệu – ĐHTN




thẩm định sinh trắc (Authentication). Trong hệ xác thực thẩm định địi hỏi cao về độ
chính xác để kết quả trả lời câu hỏi “Sinh trắc học sống thu nhận đƣợc (biometric
sample) có phải là sinh trắc của chủ thể đã lƣu trong hệ thống không?” [1]
1.1.1.2. Nhận dạng (Identification, Recognition)
Hệ nhận dạng (Identification, Recognition) là hệ thống thực hiện chức năng tìm
kiếm (1-n) từ một cơ sở dữ liệu lƣu trữ một tập các mẫu sinh trắc học để tìm ra một
mẫu sinh trắc cụ thể trong các mẫu khuôn dạng sinh trắc thu thập từ trƣớc và sau đó
thực hiện đối sánh xấp xỉ để nhận dạng phân lớp (Classification) hoặc nhận dạng đồng
nhất (Identification), ví dụ nhƣ việc tìm mẫu vân tay tội phạm trong hồ sơ các vân tay,
từ đó xác định danh tính của chủ sở hữu vân tay. [1]
1.1.1.3. Các thành phần chức năng chủ yếu
-

Thu nhận (Sensor, Capture): là thành phần có chức năng thu nhận mẫu sinh

trắc học và biểu diễn chúng dƣới dạng số hóa.
-

Xử lý và trích chọn đặc trƣng (Feature Extraction): là thành phần chức

năng thực hiện các phép xử lý phân tích và trích chọn các đặc trƣng từ mẫu sinh
trắc học.
-

Đối sánh (Matching): là thành phần chức năng thực hiện so sánh các đặc

trƣng vừa trích chọn với khn mẫu sinh trắc đã có trƣớc.
-

Ra quyết định (Decision): là thành phần chức năng khẳng định danh tính

ngƣời dùng (với hệ nhận dạng) dựa trên kết quả đối sánh của chức năng đối sánh
có thể là một câu trả lời đúng hoặc một câu trả lời sai về mẫu sinh trắc học so với
khn mẫu sinh trắc có từ trƣớc (với hệ thẩm định). [1]
1.1.1.4. Hoạt động của hệ thống
Hoạt động của một hệ thống sinh trắc bao gồm 2 giai đoạn cơ bản sau đây:
-

Đăng ký (Enrollment): là giai đoạn đăng ký mẫu sinh trắc vào hệ thống.

-

Thẩm định hoặc nhận dạng (Verification/Identification): là giai đoạn thẩm

định, nhận dạng mẫu sinh trắc vừa trích chọn với khn mẫu sinh trắc đã có
trƣớc.
1.1.2. Đánh giá hiệu năng và chất lƣợng hoạt động của hệ sinh trắc học
Một hệ sinh trắc học khi hoạt động thƣờng gặp hai vấn đề về lỗi sau đây:


11

Số hoá bởi Trung tâm Học liệu – ĐHTN

-

Lỗi phát sinh khi đối sánh mẫu sinh trắc của hai ngƣời khác nhau nhƣng

cho kết quả là của cùng một ngƣời. Lỗi này đƣợc gọi là loại bỏ sai (false reject
hay false match).
-

Lỗi phát sinh khi đối sánh hai mẫu sinh trắc của cùng một ngƣời nhƣng

cho kết quả sai, vì cho rằng là của hai ngƣời khác nhau. Lỗi này đƣợc gọi là chấp
nhận sai (false accept hay false nonmatch). Để đo lƣờng mức độ lỗi của hệ thống
sinh trắc, các độ đo lƣờng thƣờng dùng đƣợc định nghĩa nhƣ sau:
FMR (False Match Rate): còn gọi là FAR (False Accept Ratio) - Tỷ số chấp
nhận
sai: cho biết tỉ lệ trả lời là đúng đối với dữ liệu vào là sai.
-

FNMR (False Nonmatch Rate): còn gọi là FRR (False Rejection Ratio).

-

Tỷ số từ chối sai: cho biết tỉ lệ trả lời là sai đối với dữ liệu vào là đúng.

Một vấn đề là hai độ đo lƣờng này có sự ràng buộc với nhau nhƣ sau: nếu FAR
cao thì FRR sẽ giảm tƣơng đối và ngƣợc lại. Mức độ chấp nhận đƣợc của FAR và
FRR tùy thuộc vào từng hệ xác thực sinh trắc cụ thể. Với hệ yêu cầu tính bảo mật cao,
và đặt nặng vấn đề an toàn của xác thực hơn sự tiện dụng của ngƣời dùng, thì FAR sẽ

nhỏ và FRR sẽ cao. Ngồi hai độ đo trên, ngƣời ta còn sử dụng độ đo FTC (Failure To
Capture - thu nhận mẫu thất bại) và FTE (Failure to Enroll - chấp nhận mẫu thất bại)
để đánh giá hiệu năng của hệ xác thực sinh trắc học. [1]

Hình 1.3. Các giá trị ngưỡng của FAR và FRR [3]
12

Số hoá bởi Trung tâm Học liệu – ĐHTN




1.1.3. Hệ thống an ninh bảo mật dựa trên sinh trắc học
Hệ thống sinh trắc học có những ƣu điểm mà hệ bảo mật thơng thƣờng khơng
có, trong những cuộc nghiên cứu hệ thống an ninh, bảo mật dựa trên hệ sinh trắc học
(Biometric Security System) đã đƣợc quan tâm nghiên cứu và đƣa vào ứng dụng thực
tiễn. Hƣớng nghiên xây dựng hệ thống trên cơ sở kết hợp hệ thống sinh trắc học với hệ
mật mã (Biometric Cryptosystem) đang là vấn đề thời sự đƣợc quan tâm nghiên cứu
phát triển. Sự kết hợp này nhằm mục tiêu nâng cao tính an tồn của hệ mật mã dựa
trên các ƣu điểm của hệ thống sinh trắc học. Hệ thống an ninh, bảo mật sinh trắc học
(Biometric based Security System) dựa trên sự nhận biết hoặc thẩm định các đặc trƣng
về thể chất hay về hành vi con ngƣời để nhận dạng, xác thực từng chủ thể. Cùng với
sự phát triển nhanh chóng của CNTT và truyền thơng, hệ thống an ninh dựa trên nhận
dạng, thẩm định xác thực sinh trắc học đã và đang đƣợc quan tâm nghiên cứu và có
nhiều triển khai ứng dụng trong những năm gần đây trên thế giới. Đối với các giao
dịch điện tử và truyền thông, đây là một trong các hƣớng tiếp cận mới về an ninh
thơng tin và mạng, an tồn dữ liệu. Phƣơng pháp này mở ra triển vọng lớn về an tồn
trong các giao dịch điện tử, chính phủ điện tử, thƣơng mại điện tử... [1]
Các lĩnh vực nghiên cứu về hệ thống an ninh sinh trắc học (Biometric Security
Systems).

-

Các các nghiên cứu cơ bản về các loại sinh trắc học, về phƣơng pháp trích

chọn đặc trƣng sinh trắc và về nhận dạng, thẩm định xác thực chủ thể con ngƣời.
-

Các hệ nhận dạng, thẩm định xác thực sinh trắc học chủ thể trong hệ thống.

Mật mã sinh trắc học (Biometric Cryptography). Trong hệ mật mã thông
thƣờng,
điểm yếu thƣờng ở q trình bảo vệ, quản lý và phân phối khóa. Nguy cơ này đe
dọa các mục tiêu về xác thực và chống phủ nhận. Hệ sinh trắc học đƣợc ứng
dụng giải quyết vấn đề đó. Hiện nay có hai hƣớng tiếp cận để kết hợp sinh trắc
học và mật mã học nhƣ sau: [1]
-

Dùng sinh trắc học quản lý khóa (biometric-based key release).

-

Dùng sinh trắc học để tạo khóa (biometric-based key generation).

1.2. Phát hiện và nhận dạng khuôn mặt
Vấn đề nhận dạng mặt ngƣời có thể trình bày một cách tổng quan nhƣ sau: Cho
một ảnh tĩnh hay một đoạn video, hãy phát hiện và nhận ra những ngƣời trong ảnh hay
13

Số hoá bởi Trung tâm Học liệu – ĐHTN

trong đoạn video đó dựa trên một tập cho trƣớc các dữ liệu về các mặt ngƣời đã biết.
Giải pháp cho vấn đề này bao gồm bốn vấn đề: phát hiện các mặt ngƣời từ ảnh
(video), trích chọn đặc trƣng từ vùng ảnh, nhận dạng ảnh và xác minh. Với quá trình
nhận dạng, đầu vào là một ảnh chƣa biết, sau quá trình nhận dạng, hệ thống đƣa ra
định danh về ngƣời trong ảnh và trong quá trình xác minh, hệ thống phải đƣợc xác
định rằng việc nhận dạng đấy là chính xác hay khơng. Về mặt tổng qt, mỗi phƣơng
pháp nhận dạng mặt ngƣời đều có thể đƣợc chia thành 2 module: Module phát hiện
mặt ngƣời trong ảnh và module nhận dạng mặt ngƣời.
Đƣợc khởi đầu vào những năm 70, nhận dạng mặt ngƣời là một trong những ứng
dụng của phân tích và xử lý ảnh đạt đƣợc nhiều thành tựu nhất. Trong thời gian gần
đây, do sự phát triển nhƣ vũ bão của khoa học máy tính và yêu cầu thực tiễn trong các
lĩnh vực kinh tế, luật pháp…, vấn đề nhận dạng mặt ngƣời đang đƣợc đặc biệt chú ý.
Một loạt các hội thảo đƣợc tổ chức bàn về vấn đề này nhƣ AFGR, AVBPA và những
đánh giá mang tính hệ thống về các kỹ thuật nhận dạng mặt ngƣời (Face Recognition
Techniques - FRT), bao gồm phƣơng pháp FERET và XM2VTS.
Nhu cầu cấp thiết về các hệ thống thân thiện với ngƣời sử dụng đã đảm bảo cho
các nghiên cứu về sau khơng bị lãng phí trong hàng loạt những nghiên cứu đã đƣợc
thực thi trƣớc đó. Hiện nay, để rút tiền từ ATM ta phải nhập PIN, hay để truy cập một
máy tính ta phải nhập mật khẩu hay hàng loạt phƣơng pháp khác để truy cập vào
Internet. Hiện đã có hàng loạt các phƣơng pháp nhận dạng có độ tin cậy cao dựa vào
các kỹ thuật nhân trắc học; chẳng hạn nhƣ, kỹ thuật phát hiện vân tay hay kỹ thuật
quét nhận dạng võng mạc. Tuy nhiên, những hệ thống này có chung nhƣợc điểm là
phức tạp và yêu cầu cần có sự phối hợp của nhiều ngƣời cùng xử lý. Bên cạnh đó, một
hệ thống nhận dạng dựa trên kỹ thuật phân tích ảnh mặt nhìn thẳng của một ngƣời sẽ
đơn giản hơn nhiều, khơng địi hỏi có nhiều ngƣời cùng xử lý và cũng khơng địi hỏi
các kiến thức chun mơn sâu. Chính vì thế, hệ thống nhận dạng ngƣời dựa trên kỹ
thuật phân tích ảnh mặt đang ngày càng đƣợc ứng dụng rộng rãi.

Bảng 1.2. Các ứng dụng tiêu biểu của nhận dạng mặt người.
Lĩnh vực
Driver’s licences, Entitlement Programs
Nhân trắc học
Immigration, National ID, Passports, Voter Registration
14

Số hoá bởi Trung tâm Học liệu – ĐHTN




Welfare
Desktop Logon (Windows 95, Windows NT)
Application Security, Database Security, File Encryption
An tồn thơng tin

Intranet Security, Internet Access, Medical Records
Secure Trading Terminals
Advanced Video Surveillance, CCTV Control
Law Enforcement
and Surveillance

Portal Control, Post-Event Analysis
Shoftlifting and Suspect Tracking and Investigation

SmartCards
Access Control

Stored Value Security, User Authentification

Facility Access, Vehicular Access

Một hệ thống nhận dạng mặt ngƣời điển hình bao gồm các thành phần chính nhƣ
Hình 1.4.

Ảnh
mặt
ngƣời
Hình 1.4. Mơ hình hệ thống nhận dạng mặt người.
Nhận dạng mặt ngƣời (Face recognition) đƣợc nghiên cứu từ những năm 1980,
là một lĩnh vực nghiên cứu của ngành thị giác máy tính (Computer Vision) và cũng
đƣợc xem là một lĩnh vực nghiên cứu của ngành sinh trắc học (Biometrics) tƣơng tự
nhƣ nhận dạng vân tay (Fingerprint recognition), hay nhận dạng mống mắt (Iris
recognition)… Trong khi nhận dạng vân tay và mống mắt có thể áp dụng trên thực tế
một cách rộng rãi thì nhận dạng mặt ngƣời vẫn cịn nhiều thách thức. So với nhận
dạng vân tay và mống mắt, nhận dạng mặt có nguồn dữ liệu phong phú hơn và ít địi
hỏi sự tƣơng tác có kiểm sốt hơn. Bài tốn nhận dạng mặt ngƣời cịn nhiều thách
thức nên hàng năm trong và ngồi nƣớc vẫn có nhiều nghiên cứu về các phƣơng pháp
nhận dạng mặt ngƣời.
15

Số hoá bởi Trung tâm Học liệu – ĐHTN




Nhận dạng khuôn mặt là một nhiệm vụ dễ dàng đối với con ngƣời. Thí nghiệm
trong [9] đã chỉ ra, ngay cả trẻ sơ sinh 1-3 ngày tuổi có thể phân biệt khuôn mặt.
Nhƣng làm thế nào với một máy tính? Cho đến nay chúng ta biết rất ít về nhận dạng
con ngƣời. Có phải đặc điểm bên trong (mắt, mũi, miệng) hoặc các đặc điểm bên

ngồi (hình dạng đầu, chân tóc) đƣợc sử dụng cho một nhận dạng khn mặt. Bộ não
con ngƣời phân tích một hình ảnh và mã hóa nhƣ thế nào? Theo nghiên cứu đƣợc bởi
David Hubel và Torsten Wiesel, rằng não của chúng ta có tế bào thần kinh chuyên biệt
phản ứng với từng hoàn cảnh cụ thể, chẳng hạn nhƣ đƣờng, cạnh, góc độ hoặc chuyển
động. Vì chúng ta khơng nhìn thấy thế giới nhƣ những mảnh phân tán, vỏ não của
chúng ta bằng cách nào đó phải kết hợp các nguồn thơng tin khác nhau vào các mẫu
hữu ích. Nhận diện khn mặt tách ra những đặc điểm có ý nghĩa từ một hình ảnh, đƣa
chúng vào một sự biểu diễn hữu ích và thực hiện một số phân loại.
1.3. Những khó khăn và thách thức trong bài tốn nhận dạng khn mặt

Việc xác định khn mặt ngƣời có những khó khăn nhất định nhƣ:
-

Hƣớng (pose) của khuôn mặt đối với máy ảnh, nhƣ: nhìn thẳng, nhìn

nghiêng hay nhìn từ trên xuống. Cùng trong một ảnh có thể có nhiều khn mặt ở
những tƣ thế khác nhau.
-

Sự có mặt của các chi tiết không phải là đặc trƣng riêng của khuôn mặt

ngƣời, nhƣ: râu quai nón, mắt kính...
- Các nét mặt (facial expression) khác nhau trên khuôn mặt, nhƣ: vui, buồn, ngạc
nhiên...
-

Mặt ngƣời bị che khuất bởi các đối tƣợng khác có trong ảnh.

-

Sự biểu cảm của khuôn mặt (The expression of the face): sự biểu cảm có

thể làm thay đổi đáng kể các đặc trƣng và thơng số của khn mặt, ví dụ nhƣ
khuôn mặt của cùng một ngƣời sẽ rất khác khi ngƣời đó cƣời, tức giận hay sợ
hãi…
1.4. Các ứng dụng của bài tốn nhận dạng khn mặt
Xác định mặt ngƣời thƣờng là một phần của một hệ thống (facial recognition
system) [4]. Nó thƣờng đƣợc dùng trong giám sát video, giao tiếp ngƣời - máy và
quản lý cơ sở dữ liệu ảnh…


Các ứng dụng cơ bản của xác định mặt ngƣời có thể kể đến là:
16


Số hoá bởi Trung tâm Học liệu – ĐHTN




- Xác minh tội phạm: Dựa vào ảnh của một ngƣời, nhận dạng xem ngƣời
đấy có phải là tội phạm hay không bằng cách so sách với các ảnh tội phạm
đang đƣợc lƣu trữ. Hoặc có thể sử dụng camera để phát hiện tội phạm trong
đám đông. Ứng dụng này giúp cơ quan an ninh quản lý con ngƣời tốt hơn.
- Camera chống trộm: Các hệ thống camera sẽ xác định đâu là con ngƣời và
theo dõi xem con ngƣời đó có làm gì phạm pháp khơng, ví dụ nhƣ lấy trộm
đồ, xâm nhập bất hợp pháp vào một khu vực nào đó.
- Bảo mật: Các ứng dụng về bảo mật rất đa dạng, một trong số đó là cơng
nghệ nhận dạng mặt ngƣời của laptop, công nghệ này cho phép chủ nhân của
máy tính chỉ cần ngồi trƣớc máy là có thể đăng nhập đƣợc. Để sử dụng cơng

nghệ này, ngƣời dùng phải sử dụng một webcam để chụp ảnh khn mặt của
mình và cho máy “học” thuộc các đặc điểm của khn mặt giúp cho q trình
đăng nhập sau này.
- Lƣu trữ khuôn mặt: Xác định mặt ngƣời có thể đƣợc ứng dụng trong các
trạm rút tiền tự động (ATM) để lƣu trữ khuôn mặt của ngƣời rút tiền. Hiện
nay có những ngƣời bị ngƣời khác lấy trộm thẻ ATM, mã PIN và bị rút tiền
trộm hoặc có những chủ tài khoản đi rút tiền nhƣng lại báo với ngân hàng là
bị mất thẻ và bị rút tiền trộm. Nếu lƣu trữ đƣợc khuôn mặt của ngƣời rút tiền,
ngân hàng có thể đối chứng và xử lý dễ dàng hơn.


Một số ứng dụng khác:
- Điều khiển vào ra: Văn phịng, cơng ty, trụ sở, máy tính, Palm,… kết hợp
thêm vân tay và mống mắt, cho phép nhân viên đƣợc ra vào nơi cần thiết.
- An ninh sân bay, xuất nhập cảnh (hiện nay cơ quan xuất nhập cảnh Mỹ
đang sử dụng). Dùng camera quan sát để xác thực ngƣời nhập cảnh và kiểm
tra xem ngƣời đó có phải là tội phạm hay phần tử khủng bố khơng.
- Tìm kiếm và tổ chức dữ liệu liên quan đến con ngƣời thông qua khuôn mặt
ngƣời trên nhiều hệ cơ sở dữ liệu lƣu trữ thật lớn, nhƣ internet, các hãng
truyền hình… Ví dụ: tìm các đoạn video có tổng thống Obama phát biểu, tìm
các phim có diễn viên Thành Long đóng…

17

Số hố bởi Trung tâm Học liệu – ĐHTN




- Kiểm tra trạng thái ngƣời lái xe có ngủ gật, mất tập trung hay không và hỗ

trợ thông báo khi cần thiết.
- Tƣơng lai sẽ phát triển các loại thẻ thơng minh có tích hợp sẵn đặc trƣng
của ngƣời dùng trên đó, khi bất cứ ngƣời dùng khác dùng để truy cập hay xử
lý tại các hệ thống sẽ đƣợc yêu cầu kiểm tra các đặc trƣng khuôn mặt so với
thẻ để biết ngƣời này có phải là chủ thẻ hay khơng.
- Hãng máy chụp hình Canon đã ứng dụng bài tốn xác định khn mặt
ngƣời vào máy chụp hình thế hệ mới để cho kết quả hình ảnh đẹp hơn, nhất là
khn mặt ngƣời.
1.5. Bài tốn điểm danh dựa trên khn mặt
1.5.1. Bài tốn điểm danh và quản lý nhân sự
Trong thời đại ngày nay, cùng với sự phát triển của khoa học kỹ thuật và xu hƣớng
công nghiệp hóa, hiện đại hóa: máy móc đang và sẽ tiếp tục thay thế con ngƣời trong
những công việc nặng nhọc và mang tính lặp đi lặp lại. Máy móc có những ƣu điểm
khơng thể phủ nhận nhƣ khơng biết mệt mỏi, sẵn sàng phục vụ liên tục, khơng mang
tính chủ quan, khả năng xử lý nhanh, lƣu trữ lớn...
Đối với bài tốn điểm danh, chấm cơng với mục tiêu chủ yếu là kiểm soát nguồn
nhân lực về thời gian. Các nhà quản lý quan tâm tới hai vấn đề chính là một lao động
tên là “A” có mặt hay khơng, có đúng giờ hay khơng, “A” có làm đủ số giờ quy định
hay khơng?. Để giải quyết bài tốn này thông thƣờng các công ty, doanh nghiệp, các
nhà quản lý sẽ sử dụng một nhóm ngƣời có chức năng chấm công và quản lý hoặc sử
dụng một hệ thống sinh trắc học. Đối với việc sử dụng con ngƣời có rất nhiều nhƣợc
điểm nhƣ: chi phí lớn, tính khách quan không cao, không hoạt động tốt liên tục trong
nhiều giờ liền, không thể sử dụng với phạm vi lớn (một cán bộ chấm công không thể
nhớ đƣợc quá nhiều ngƣời, đặc biệt với những ngƣời mới gặp vài lần)... Vì thế các hệ
thống sinh trắc học tỏ ra khá hiệu quả và là lựa chọn hàng đầu trong bài tốn này.
Với sự hỗ trợ của camera, máy tính và phần mềm điểm danh, nhà quản lý thu đƣợc
thông tin về sự có mặt và thời gian làm việc của ngƣời lao động một cách chính xác và
khách quan với chi phí thấp. Việc áp dụng nhận dạng khn mặt có thể đƣợc sử dụng một
cách độc lập với ƣu điểm hơn các phƣơng pháp sinh trắc học khác ở tính tự nhiên
18

Số hố bởi Trung tâm Học liệu – ĐHTN




của nó, đồng thời đây cũng có thể là một phƣơng pháp đƣợc sử dụng kết hợp với các
phƣơng pháp sinh trắc khác để nâng cao tính chính xác của hệ thống khi vận hành.
1.5.2. Đầu vào của bài toán
Với bài tốn điểm danh, trong nội dung luận văn tơi lựa chọn phƣơng pháp nhận
dạng khuôn mặt làm cơ sở để xây dựng hệ thống. Với đầu vào là ảnh của ngƣời cần
đƣợc điểm danh hệ thống sẽ nhận diện hình ảnh và đốn nhận chính xác tên của ngƣời
có trong ảnh, từ đó là cơ sở để điểm danh.
Nhƣ vậy, đầu vào của bài toán là ảnh thu đƣợc từ camera đặt ở vị trí quan sát. Vị
trí này thƣờng là trƣớc cửa của cơ quan, doanh nghiệp, đây thƣờng là lối vào duy nhất
của đơn vị cần đƣợc điểm danh. Trong trƣờng hợp có nhiều cửa vào cho một đơn vị
cần đƣợc điểm danh, hệ thống sẽ thiết đặt các camera tại các cổng vào. Kết quả điểm
danh sẽ là kết quả tổng hợp của các camera tại các vị trí khác nhau.
Trong trƣờng hợp ngƣời quản lý cần xác định rõ thời gian làm việc của lao động
(cần xác định rõ thời gian vào và thời gian ra của một ngƣời) thì hệ thống cần thiết đặt
hai camera trên một cổng, một camera hƣớng ra để điểm danh ngƣời lao động khi vào
và một camera hƣớng vào trong để điểm danh ngƣời lao động khi ra khỏi khu vực làm
việc. Hiệu thời gian của lần ra và lần vào sẽ là thời gian ngƣời cần đƣợc điểm danh có
mặt tại khu vực làm việc.
Để đảm bảo hệ thống làm việc hiệu quả, chính xác cần xây dựng các tiêu chuẩn cơ
bản để hệ thống làm việc. Đây là thiết lập cần thiết để nâng cao tính chính xác và khả
năng làm việc của hệ thống. Các thiết đặt này xuất phát từ chính các khó khăn tồn tại
trong các thuật tốn xác định và nhận diện khn mặt hiện này:
-

Các khn mặt đƣợc chụp thẳng hoặc góc nghiêng không đáng kể (nhỏ
o

hơn hoặc bằng 10 ).
-

Phông nền của ảnh không quá phức tạp.

-

Ảnh đƣợc chụp trong điều kiện ánh sáng bình thƣờng.

-

Ngƣời đƣợc điểm danh khơng có các vật dụng với độ che phủ cao trên

khuôn mặt (kính đen, khẩu trang, râu giả...).
-

Khơng mang vác ảnh có mặt ngƣời qua khu vực điểm danh (sử dụng ảnh

2D chụp ngƣời để điểm danh hộ, hoặc gây nhầm lẫn trong hệ thống)
19

Số hoá bởi Trung tâm Học liệu – ĐHTN




1.5.3. Đầu ra và ý nghĩa thực tiễn

Bài toán điểm danh với đầu vào là ảnh thu đƣợc từ camera, dựa trên công nghệ sinh
trắc học nhận diện qua khuôn mặt sẽ trả lại kết quả là một danh sách tên ngƣời lao động,
trong đó mỗi một đối tƣợng ngƣời lao động tồn tại hai trạng thái là đƣợc điểm danh và
không đƣợc điểm danh. Để xác định một đối tƣợng cần đƣợc điểm danh ở trạng thái nào,
hệ thống dựa trên một tập các ảnh đƣợc lƣu trong cơ sở dữ liệu, trong quá trình nhận
dạng đối tƣợng đi qua và nhìn về phía camera. Hệ thống nhận diện khuôn mặt thu đƣợc
từ camera và xác định xem đối tƣợng có nằm trong danh sách điểm danh hay khơng, nếu
có đối tƣợng tƣơng ứng đƣợc xác định trạng thái là “có mặt”. Ngƣợc lại nếu đối tƣợng
cần điểm danh khơng xuất hiện trong thời gian điểm danh thì trạng thái của đối tƣợng tại
phiên làm việc đó đƣợc xác định trạng thái là “vắng”.

Nhƣ vậy, đầu ra tổng quát của bài tốn là xác định hình ảnh ngƣời trong ảnh vào
có tƣơng ứng với một định danh ảnh đã có trong cơ sở dữ liệu hay khơng. Nếu có định
dang tƣơng ứng là gì. Dựa trên một định danh đƣợc cung cấp bởi hệ thống nhận dạng
ta xây dựng chƣơng trình điểm danh với hai trạng thái cơ bản là “vắng” và “có mặt”.
Nếu trong phiên làm việc định danh đƣợc hệ thống xác nhận thì trạng thái đƣợc xác
định là có mặt và ngƣợc lại. Trong trƣờng hợp cần xác định thời gian làm việc của đối
tƣợng đang theo dõi ta cần xác định thêm tham số thời gian khi đối tƣợng đƣợc hệ
thống định danh theo chiều vào và thời gian khi đối tƣợng đƣợc hệ thống định danh
theo chiều ra.

20

Số hoá bởi Trung tâm Học liệu – ĐHTN




CHƢƠNG 2: MỘT SỐ KỸ THUẬT PHÁT HIỆN VÀ NHẬN DẠNG KHUÔN
MẶT 2.1. Một số kỹ thuật phát hiện mặt ngƣời trong ảnh

Vấn đề phát hiện mặt đƣợc đƣa ra đầu tiên vào những năm 70 với việc sử dụng
các kỹ thuật nhân trắc học và các phép heuristic giản đơn. Với những kỹ thuật này, ta
chỉ có thể đạt đƣợc kết quả trong những điều kiện khá chặt, ví dụ nhƣ nền ảnh đồng
nhất, khuôn mặt chụp thẳng... Cho đến ngày nay, cùng với sự phát triển vƣợt bậc của
khoa học kỹ thuật, việc yêu cầu những giới hạn nhƣ thế là khơng cịn. Tuy nhiên, cùng
với những u cầu ngày càng cao, thì vấn đề phát hiện mặt ngƣời đang phải đối mặt
với những khó khăn mới. Trong suốt quá trình từ những năm đầu tới nay, đã có rất
nhiều các hƣớng xử lý và tiếp cận khác nhau đƣợc đƣa ra nhằm giải quyết cho những
yêu cầu cụ thể khác nhau của từng giai đoạn, từng ứng dụng cụ thể và cũng có nhiều
cách phân loại các phƣơng pháp, hƣớng tiếp cận này. Trong luận văn này, tôi chia các
phƣơng pháp và hƣớng tiếp cận thành hai hƣớng chính: Hƣớng tiếp cận dựa trên đặc
trƣng (Feature - based) và hƣớng tiếp cận dựa trên ảnh (Image - based).
Các phƣơng pháp kỹ thuật đƣợc áp dụng trong phát hiện mặt đƣợc thể hiện trong
Hình 2.1.

21

Số hố bởi Trung tâm Học liệu – ĐHTN




Hình 2.1. Sơ đồ các hướng tiếp cận và phương pháp phát hiện mặt người
2.1.1. Hƣớng tiếp cận dựa trên đặc trƣng của ảnh
Phƣơng pháp tiếp cận dựa trên đặc trƣng đƣợc chia thành 3 vấn đề. Giả sử cần phải
phát hiện một khuôn mặt trong một nền ảnh lộn xộn, phân tích cấp thấp (low-level
analysis) thực hiện phân đoạn các đặc trƣng của ảnh dựa trên những thuộc tính điểm ảnh
nhƣ độ xám hay màu sắc. Sự phân đoạn này cịn mập mờ và chƣa rõ ràng. Trong phân
tích đặc trƣng (feature analysis), các đặc trƣng của ảnh đƣợc tổ chức thành các đặc trƣng
khn mặt có tính tổng qt hơn dựa trên các đặc tính hình học của

22

Số hoá bởi Trung tâm Học liệu – ĐHTN