Hệ thống xác định và đánh giá trạng thái mắt người

ĐẠI HỌC THÁI NGUYÊN
..

TRƢỜNG ĐẠI HỌC CNTT & TRUYỀN THÔNG
----------------  ----------------

Nguyễn Thị Hƣơng

HỆ THỐNG XÁC ĐỊNH & ĐÁNH GIÁ
TRẠNG THÁI MẮT NGƢỜI

Chuyên ngành: Khoa học máy tính
Mã số: 60.48.01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

NGƢỜI HƢỚNG DẪN KHOA HỌC
TS. Vũ Duy Linh

Thái Nguyên - 2013
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




ii
LỜI CẢM ƠN
Em xin trân trọng cảm ơn các thầy giáo, cô giáo trong Viện Công nghệ thông
tin, trường Đại học Công nghệ thông tin và truyền thông, Đại học Thái Ngun
đã nhiệt tình giảng dạy và hết lịng giúp đỡ em trong quá trình học tập và
nghiên cứu đề tài.

Luận văn được hồn thành tại trường Đại học Cơng nghệ thông tin và truyền
thông dưới sự hướng dẫn của TS Vũ Duy Linh. Em xin bày tỏ lịng kính trọng
và biết ơn sâu sắc tới thầy.
Em cũng xin chân thành cảm ơn các bạn đồng nghiệp phịng Khảo thí &
Đảm bảo chất lượng trường Đại học Hải Phòng đã tạo điều kiện giúp đỡ trong
q trình hồn thành luận văn này.
Sự quan tâm, giúp đỡ của gia đình và bạn bè, đặc biệt lớp Cao học K9C
trường Đại học Công nghệ thông tin và truyền thông đã cổ vũ, động viên em
trong suốt thời gian học tập và thực hiện đề tài.
Mặc dù có nhiều cố gắng song luận văn khơng thể tránh khỏi những thiếu
sót, tác giả mong nhận được sự đóng góp ý kiến của các thầy cô và các bạn.
Xin chân thành cảm ơn!
Thái Nguyên, tháng 01 năm 2013
Tác giả

Nguyễn Thị Hương

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




3

LỜI CAM ĐOAN
Tôi xin cam đoan luận văn “ Hệ thống xác định & đánh giá trạng thái
mắt ngƣời ” là do tơi tự tìm hiểu và đƣợc hồn thành dƣới sự hƣớng dẫn của
thầy giáo TS Vũ Duy Linh

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

4

MỤC LỤC
MỞ ĐẦU ............................................................................................................. i
CHƢƠNG I. TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ BÀI TOÁN XÁC ĐỊNH
MẶT NGƢỜI TRONG ẢNH SỐ .................................................................... 10
1.1. Xử lý ảnh và các vấn đề cơ bản trong xử lý ảnh. ..................................... 10
1.1.1. Xử lý ảnh là gì? ....................................................................................... 10
1.1.2. Các vấn đề cơ bản trong xử lý ảnh ......................................................... 11
1.2. Chuẩn sinh trắc học ( Biometric ) ............................................................ 14
1.2.1. Định nghĩa chuẩn sinh trắc học : ............................................................ 14
1.2.2. Ứng dụng của chuẩn sinh trắc học.......................................................... 14
1.3. Bài toán xác định mặt ngƣời trong ảnh số. .............................................. 17
1.3.1. Giới thiệu về bài toán xác định mặt ngƣời trong ảnh số ........................ 17
1.3.2. Định nghĩa bài toán xác định mặt ngƣời. ............................................... 17
1.3.3. Các phƣơng pháp chính xác định mặt ngƣời .......................................... 17
1.4. Ƣu điểm của việc xác định vị trí mắt ....................................................... 18
CHƢƠNG 2. CÁC PHƢƠNG PHÁP XÁC ĐỊNH VỊ TRÍ MẮT NGƢỜI
TRÊN KHN MẶT ...................................................................................... 20
2.1. Xác định tọa độ mắt bằng cách sử dụng các so sánh mẫu ....................... 21
2.1.1. Phƣơng pháp ........................................................................................... 21
Bằng cách sử dụng hai mơ hình ....................................................................... 21
2.1.2. Những thuận lợi và khó khăn xác định vị trí mắt khi sử dụng phƣơng
pháp so sánh mẫu ............................................................................................. 26
2.2. Xác định tọa độ mắt sử dụng phƣơng pháp Moments ............................. 26
2.3. Xác định tọa độ mắt bằng cách sử dụng phƣơng pháp chiếu ................... 33

2.4. Xác định tọa độ mắt sử dụng phƣơng pháp Knowledge .......................... 46
CHƢƠNG 3. XÂY DỰNG CHƢƠNG TRÌNH VÀ CÀI ĐẶT THỬ
NGHIỆM .......................................................................................................... 47
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




5

3.1. Giới thiệu về Matlab................................................................................. 47
3.2. Thuật toán để phát hiện vị trí của mắt cho hình ảnh sắc nét .................... 47
3.3. Mô tả các CSDL dùng cho thực nghiệm .................................................. 53
3.3.1. CSDL ORL. ............................................................................................ 53
3.3.2. CSDL FERET. ........................................................................................ 54
3.3.3. CSDL SIMILAR. .................................................................................... 55
3.3.4. CSDL BIOID. ........................................................................................ 56
3.4. Phƣơng pháp đánh giá độ chính xác: ....................................................... 57
3.5. Hệ thống đánh giá trạng thái mắt ngƣời ................................................... 59
3.6. Cấu trúc hệ thống ..................................................................................... 63
KẾT LUẬN ...................................................................................................... 66
TÀI LIỆU THAM KHẢO ................................................................................ 67

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




6

DANH MỤC CÁC HÌNH VẼ, ẢNH CHỤP
Số hiệu

Tên hình vẽ

hình vẽ

Trang

1.1

Quá trình xử lý ảnh

3

1.2

Các giai đoạn trong xử lý ảnh

3

1.3

Các điểm trên khuôn mặt

12

Kết quả xác định các thông số khn mặt

13

2.1

Tìm kiếm trung tâm mắt sử dụng phƣơng pháp so sánh mẫu

14

2.2

Các biến thể của các mẫu dùng xác định vị trí mắt

15

2.3

Kết quả xác định vị trí của vùng mắt

16

2.4

Kết quả xác định vị trí của mắt bằng việc sử dụng mẫu b4

17

2.5

Trích chọn vùng mắt trái bằng cách xử lý hai giai đoạn

18

2.6

Xác định tọa độ trung tâm trên hình ảnh nhị phân

19

2.7

Xác định tọa độ trung tâm dựa trên hai phƣơng pháp

21

2.8

Ảnh khuôn mặt, cho mà dự tốn tọa độ mắt là sai

22

2.9

Ví dụ ƣớc tính chính xác của tọa độ mắt

23

2.10

Sử dụng các thành phần I2 để xác định trung tâm mắt

25

2.11

Thủ tục xác định tọa độ của mắt (biến thể "a").

28

2.12

Chức năng hoạt nghiệm

28

2.13

Kết quả xác định vị trí mắt sử dụng phƣơng pháp chiếu

30

2.14

Cửa sổ hàm W cho các phiên bản khác nhau của phép quay đầu

31

2.15

Hàm S và F cho các phiên bản khác nhau cảu phép quay đầu

32

2.16

Kết quả dùng phƣơng pháp đơn gian hóa

32

2.17

Một số kết quả xác định tọa độ mắt của CSDL ỎL

33

2.18

Mơ hình khn mặt đƣợc sử dụng để thử nghiệm

34

2.19

Tính tốn và xác minh tọa độ của mắt

34

2

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

7

2.20

Kết quả tính tốn của mắt dịng vị trí trong mỗi nửa mặt

35

2.21

Bám sát vị trí của dịng mắt

38

2.22

Vị trí của dịng mắt trong mỗi nửa mặt.

38

2.23

Tính tốn của mắt phối hợp trong chuỗi video

39

3.1

Sơ đồ khối của phƣơng pháp

41

3.2

Kết quả thuật tốn xác định vị trí mắt ngƣời

45

3.3

Một số kết quả khác

45

3.4

CSDL ORL

46

3.5

Cơ sở dữ liệu hình ảnh khn mặt FERE

47

3.6

Mặt hình ảnh cơ sở dữ liệu tƣơng tự

49

3.7

Cơ sở dữ liệu hình ảnh khn mặt BIOID

49

3.8

Trung tâm phối hợp mắt và mối quan hệ giữa chúng

50

3.9

Định vị trí của mắt trên CSDL FERET

51

3.10

Xác định vị trí của mắt trên CSDL BIOID

51

3.11

Giai đoạn tỉnh táo sắp ngủ và ngủ

53

3.12

Đánh giá hƣớng quay theo vị trí mắt ngƣời

55

3.13

Hệ thống đánh giá trạng thái mắt ngƣời

57

3.14

Một ví dụ về việc đánh giá trạng thái của mắt

58

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




8

MỞ ĐẦU

Thông tin con ngƣời thu nhận từ thế giới bên ngoài, đến hơn 80% đƣợc
ghi nhận bằng mắt tức là ở dạng ảnh. Vì vậy xử lý ảnh là một ngành khoa học
đã, đang và sẽ phát triển mạnh có ứng dụng rộng rãi trong khoa học và đời
sống thực tiễn nhƣ vẽ bản đồ, trong lĩnh vực quảng cáo, siêu thị, trong quân
sự….
Xác định mắt ngƣời trên khuôn mặt là một kỹ thuật máy tính để xác
định các vị trí và các kích thƣớc của mắt ngƣời trong các ảnh bất kỳ (ảnh kỹ
thuật số). Nhận dạng mắt ngƣời là một trong những công việc cơ sở chủ yếu
cho việc căn chỉnh mặt ngƣời và nhận dạng mặt ngƣời. Việc nhận dạng mắt
ngƣời này đang đối mặt với nhiều thách thức khác nhau nhƣ hƣớng nhìn, biểu
hiện cảm xúc của mặt ngƣời thay đổi và các điều kiện ánh sáng khác nhau
thay đổi. Hệ thống nhận dạng làm việc theo cơ chế so sánh ảnh mặt ngƣời đầu
vào với các ảnh mặt ngƣời đƣợc lƣu trữ trong CSDL(Face Recognition
System). Công nghệ nhận dạng mặt ngƣời là một trong những lĩnh vực phát
triển nhanh nhất trong các hệ thống sinh trắc học. Công nghệ sử dụng khuôn
mặt để nhận dạng và điểm đặc biệt là có thể thực hiện việc nhận dạng mà
không cần sự tƣơng tác với ngƣời nhƣ 1 số công nghệ khác(vân tay, con
ngƣơi…).
Ngày nay công nghệ nhận dạng mặt ngƣời đƣợc đƣa vào sử dụng trong
nhiều lĩnh vực trong cuộc sống nhƣ truy tìm tội phạm, đảm bảo an ninh, hộ chiếu
điện tử… Biometric là một phƣơng pháp nhận ra danh tánh của một ngƣời dựa
trên Physiological hoặc hành vi đặc trƣng,các tính năng đo đƣợc mặt, dấu vân
tay, bàn tay geometry, iris, retinal, giọng nói… biometric xác thực ngày càng
đƣợc sử dụng trong các lĩnh vực nhƣ ngân hàng, bán lẻ, quốc phòng, sản xuất, y
tế các ngành cơng nghiệp, chứng khốn, khu vực công, sân bay an ninh…Sự
phát triển của biometric trên cơ sở sử dụng mặt ngƣời ngày càng lớn.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

9

Xác định vị trí khn mặt là 1 trong những điều kiện quan trọng nhất
trong hệ thống nhận dạng mặt ngƣời. Hiệu suất làm việc của hệ thống phụ
thuộc vào việc xác định chính xác vị trí mặt ngƣời trong ảnh ở đầu vào cũng
nhƣ việc xác định vị trí mặt ngƣời khi xây dựng cơ sở dữ liệu cho hệ thống.
Xác định chính xác vị trí mắt ngƣời giúp cho các phƣơng pháp xử lý
ảnh mặt ngƣời đƣợc dễ dàng hơn. Ví dụ sau khi xác định đƣợc vị trí mắt
ngƣời có thể sử dụng để xác định đƣờng đối xứng của khuôn mặt, xây dựng
model của khuôn mặt, sử dụng trong các bài toán đánh giá trạng thái của mắt
ngƣời, chuẩn hóa khn mặt theo chuẩn Sinh trắc học.
Đó là lý do mà em chọn đề tài “ Hệ thống xác định & đánh giá trạng thái
mắt ngƣời ”.
Luận văn đƣợc trình bày gồm có 3 chƣơng:
 Chƣơng 1 . Tổng quan về xử lý ảnh và bài toán xác định mặt ngƣời.
 Chƣơng 2 . Các phƣơng pháp xác định vị trị mắt ngƣời
Gồm có : 4 phƣơng pháp
1. Xác định tọa độ mắt sử dụng mẫu so sánh.
2. Xác định tọa độ mắt sử dụng phƣơng pháp Moments.
3. Xác định tọa độ mắt sử dụng phƣơng pháp chiếu.
4. Xác định tọa độ mắt sử dụng phƣơng pháp Knowlegde.


Chƣơng 3 . Xây dựng chƣơng trình và cài đặt

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

10

CHƢƠNG I. TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ BÀI TOÁN XÁC
ĐỊNH MẶT NGƢỜI TRONG ẢNH SỐ
1.1.

Xử lý ảnh và các vấn đề cơ bản trong xử lý ảnh.

1.1.1. Xử lý ảnh là gì?
Quá trình xử lý ảnh đƣợc xem nhƣ là quá trình thao tác ảnh đầu vào
nhằm cho ra kết quả mong muốn. Kết quả đầu ra của một q trình xử lý ảnh
có thể là một ảnh “tốt hơn” hoặc một kết luận.
Ảnh

Ảnh “tốt hơn”

Xử lý ảnh

Kết luận
Hình 1.1 Q trình xử lý ảnh
Mục đích của xử lý ảnh gồm:
- Biến đổi ảnh, làm tăng chất lƣợng ảnh.
- Tự động nhận dạng ảnh, đoán nhận ảnh, đánh giá các nội dung của ảnh.
Nhận biết và đánh giá đƣợc nội dung của ảnh là để phân biệt đƣợc đối
tƣợng này với đối tƣợng khác, từ đó ta có thể mơ tả đƣợc ảnh ban đầu. Có
một số phƣơng pháp nhận dạng nhƣ: nhận dạng cạnh của một số đối tƣợng
trên ảnh, tách cạnh, phân đoạn hình ảnh …. Các kỹ thuật này đƣợc ứng dụng
nhiều trong y học nhƣ: xử lý tế bào, nhiễm sắc thể; nhận dạng chữ viết trong
văn bản…

Thu nhận ảnh
(Scanner, Camera,
Senssor )

Tiền

Trích

xử lý

chọn

lylý

điểm

đặc

Hậu xử lý

Hệ quyết định

Lƣu trữ

Đối sánh rút
ra kết luận

Hình 1.2: Các giai đoạn trong xử lý ảnh
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

11

1.1.2. Các vấn đề cơ bản trong xử lý ảnh
* Ảnh và điểm ảnh:
- Điểm ảnh đƣợc xem nhƣ là dấu hiệu hay cƣờng độ sáng tại một tọa độ
trong không gian của đối tƣợng ảnh.
- Ảnh đƣợc xem nhƣ là tập hợp các điểm ảnh. Ảnh đƣợc biểu diễn bởi
một mảng số thực hai chiều (Ii j) có kích thƣớc (m x n), trong đó mỗi phần tử
Ii j (i = 1…m; j = 1…n) biểu đồ mức xám của ảnh tại vị trí (i, j) tƣơng ứng.
Ảnh đƣợc gọi là ảnh nhị phân nếu các giá trị chỉ nhận 0 hoặc 1.
* Mức xám: Mức xám là kết quả sự mã hóa tƣơng ứng một cƣờng độ
sáng của mỗi điểm ảnh với một giá trị số - kết quả của q trình lƣợng hóa.
Cách mã hóa thƣờng dùng là 16, 32 hay 64 mức, mã hóa 256 mức là phổ
dụng nhất.
*

Đối tƣợng ảnh: Trong quá trình xử lý ảnh, một ảnh đƣợc thu nhận vào

máy phải đƣợc mã hóa, vì vậy ảnh phải đƣợc lƣu trữ thế nào sao cho các ứng
dụng khác nhau có thể thao tác trên các loại dữ liệu này. Một số dạng ảnh đã
đƣợc chuẩn hóa nhƣ: GIF, BMP, PCX,...; mỗi kiểu lƣu trữ ảnh đều có điểm
riêng. Tùy theo vùng các giá trị xám của điểm ảnh mà các ảnh đƣợc phân chia
ra thành ảnh màu, ảnh xám, ảnh nhị phân. Khi trên một ảnh chỉ có giá trị 0
hoặc 1 thì ta nói đó là ảnh nhị phân hoặc ảnh đen trắng và các điểm ảnh của nó
gọi là điểm ảnh nhị phân. Việc đếm các điểm ảnh trên ảnh nhị phân đã qua biến
đổi tạo điều kiện thuận lợi cho việc tách ra các đặc tính. Để tạo ra một ảnh nhị
phân từ ảnh đa cấp xám ta dùng phƣơng pháp tách ngƣỡng. Các giá trị nằm ở

trên ngƣỡng đƣợc gán giá trị 1 cịn ở bên dƣới ngƣỡng thì đƣợc gán giá trị 0.
- Kỹ thuật tách ngƣỡng: Ngƣỡng  trong kỹ thuật tách ngƣỡng thƣờng
đƣợc cho bởi ngƣời sử dụng. Kỹ thuật tìm, tách ngƣỡng tự động nhằm tìm ra
ngƣỡng  một cách tự động dựa vào Histogram theo nguyên lý trong vật lý là
vật thể tách làm 2 phần nếu tổng độ lệch trong từng phần là tối thiểu.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




12

Giả sử ta có ảnh I ~ kích thƣớc m x n; G ~ số mức xám của ảnh kể cả
khuyết thiếu; t(g) ~ số điểm ảnh có mức xám ≤ g.
m( g ) 

1 g
 i.h(i) ~ mômen quán tính trung bình có mức xám ≤ g
t ( g ) i 0

g  f (g)

Hàm f:

f (g) 

t(g)
2
 m( g )  m(G  1)
m  n  t(g)

{f ( g )}
Tìm  sao cho: f ( g )  0mg ax
G 1



Nắn chỉnh biến dạng
Ảnh thu nhận thƣờng bị biến dạng do các thiết bị quang học và điện tử.

Để khắc phục, ngƣời ta sử dụng các phép chiếu, các phép chiếu thƣờng đƣợc
xây dựng trên tập các điểm điều khiển.
 Khử nhiễu
Có hai loại nhiễu cơ bản trong quá trình thu nhận ảnh:
 Nhiễu hệ thống: là nhiễu có quy luật có thể khử bằng các phép biến đổi.
 Nhiễu ngẫu nhiên: là dạng vết bẩn không rõ nguyên nhân nên có thể khắc
phục bằng các phép lọc.


Chỉnh mức xám

Nhằm khắc phục tính khơng đồng đều của hệ thống gây ra, thơng thƣờng
có hai hƣớng tiếp cận:
 Giảm số mức xám: thực hiện bằng cách nhóm các mức xám gần nhau thành
một bó. Trƣờng hợp chỉ có hai mức xám thì chính là chuyển về ảnh đen trắng.
 Tăng số mức xám: thực hiện nội suy ra các mức xám trung gian bằng kỹ
thuật nội suy. Kỹ thuật này nhằm tăng độ mịn của ảnh.
 Phân tích ảnh
Là khâu quan trọng trong quá trình xử lý ảnh để tiến tới hiểu ảnh.
Trong phân tích ảnh việc trích chọn đặc điểm là một bƣớc quan trọng, các đặc

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




13

điểm của đối tƣợng đƣợc trích chọn tùy theo mục đích nhận dạng trong q
trình xử lý ảnh. Một số đặc điểm của ảnh nhƣ: đặc điểm không gian, đặc điểm
biến đổi, đặc điểm biên và đƣờng biên.


Nhận dạng ảnh
Nhận dạng ảnh là q trình liên quan đến các mơ tả đối tƣợng mà ngƣời

ta muốn đặc tả nó. Quá trình nhận dạng thƣờng đi sau q trình trích chọn các
đặc tính chủ yếu của đối tƣợng. Nhận dạng tự động, mơ tả đối tƣợng, phân
loại và phân nhóm các mẫu là những vấn đề quan trọng trong thị giác máy,
đƣợc ứng dụng trong nhiều ngành khoa học khác nhau.
Hệ thống nhận dạng tự động bao gồm ba khâu tƣơng ứng với ba giai
đoạn chủ yếu sau: thu nhận dữ kiệu và tiền xử lý, biểu diễn dữ liệu, nhận dạng
và ra quyết định. Bốn cách tiếp cận khác nhau trong lý thuyết nhận dạng là:
Đối sánh mẫu dựa trên các đặc trƣng đƣợc trích chọn, phân loại thống kê, đối
sánh cấu trúc, phân loại dựa trên mạng nơron nhân tạo.


Nén ảnh
Lƣợng thông tin để biểu diễn cho một ảnh là rất lớn, vì vậy nén ảnh

nhằm giảm thiểu khơng gian lƣu trữ, thƣờng đƣợc tiến hành theo cả hai

khuynh hƣớng là nén có bảo tồn và nén khơng bảo tồn thơng tin. Nén
khơng bảo tồn thì thƣờng có khả năng nén cao hơn nhƣng có khả năng phục
hồi kém hơn. Các cách nén ảnh:
 Nén ảnh thống kê: Dựa vào việc thống kê tần xuất xuất hiện của giá trị các
điểm ảnh, trên cơ sở đó mà có chiến lƣợc mã hóa thích hợp. Ví dụ: mã nén
*.TIF.
 Nén ảnh khơng gian: Dựa vào vị trí khơng gian của các điểm ảnh để tiến
hành mã hóa. Kỹ thuật này dựa vào sự giống nhau của các điểm ảnh trong các
vùng gần nhau. Ví dụ: mã nén *.PCX.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




14

 Nén ảnh sử dụng phép biến đổi: Tiếp cận theo hƣớng nén khơng bảo tồn,
kỹ thuật này thƣờng nén hiệu quả hơn. Ví dụ: nén *.JPG.
 Nén ảnh Fractal: sử dụng tính chất Fractal của các đối tƣợng ảnh, thể hiện
sự lặp lại của các chi tiết. Kỹ thuật nén sẽ tính tốn để chỉ cần lƣu trữ phần
gốc của ảnh và quy luật sinh ra ảnh theo nguyên tắc Fractal.
1.2.

Chuẩn sinh trắc học ( Biometric )

1.2.1. Định nghĩa chuẩn sinh trắc học :
Công nghệ Sinh trắc học (Biometric) – là một cơng nghệ sử dụng
những thuộc tính vật lý hoặc các mẫu hành vi, các đặc điểm sinh học đặc
trƣng nhƣ dấu vân tay, mẫu mống mắt, giọng nói, khn mặt, dáng đi,… để

nhận diện con ngƣời
1.2.2. Ứng dụng của chuẩn sinh trắc học
 Vân tay
Đầu thế kỷ XIX, phát hiện khoa học vẫn cịn đƣợc cơng nhận bởi hai
tính năng quan trọng: Đầu tiên, hai phong cách khác nhau sống núi mẫu vân
tay (Ridge Hoa văn) là khác nhau từ khác có dấu vân tay sống núi của phong
cách sống giống nhau. Nghiên cứu này giúp nhận dạng dấu vân tay tại có thể
có của tội phạm áp dụng chính thức. Thế kỷ XX, các sixties, nhƣ là máy tính
có thể xử lý đồ họa, ngƣời ta bắt đầu xem xét các máy tính để xử lý các dấu
vân tay, vân tay tự động AFIS Hệ thống xác định trong các lĩnh vực thực thi
pháp luật của nghiên cứu, ứng dụng này bắt đầu tới.
Một yêu cầu hệ thống sinh trắc học tốt một cách nhanh chóng và hiệu
quả trong thời gian thực để hoàn thành quá trình nhận dạng của nó. Tất cả các
hệ thống sinh trắc học bao gồm các quá trình điều trị một số sau đây: mua lại,
giải mã, so sánh và kết hợp. Các dấu vân tay cùng công nhận chế biến, bao
gồm chụp ảnh dấu vân tay, vân tay xử lý hình ảnh, tính năng khai thác, tính

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




15

năng phù hợp hơn với quá trình. Những lợi thế của việc sử dụng phƣơng pháp
dấu vân tay đƣợc, đáng tin cậy của nó thuận tiện và dễ dàng đƣợc chấp nhận.
 Võng mạc của mắt
Phân tích các đặc tính phức tạp và độc đáo của công nghệ sinh trắc
học mắt đƣợc chia thành hai khu vực riêng biệt: các công nghệ nhận dạng
mống mắt, và công nhận iris công nghệ. Iris đƣợc bao quanh bởi một lớp mô

màu mống mắt. Iris công nhận hệ thống sử dụng camera để chụp mẫu, sau đó
các dữ liệu thu thập bởi phần mềm này để so sánh với các mẫu lƣu trữ. Là
giác mạc mắt ở dƣới cùng của lớp tế bào máu. Giác mạc là quét để kiểm tra
mật độ thấp hồng ngoại để nắm bắt đặc điểm độc đáo của giác mạc này.
Chúng tôi biết các khu vực ở trung tâm của giác mạc đều đƣợc kiểm tra, các
tế bào máu do đó sẽ là phƣơng thức duy nhất của capturing. Iris công nghệ
nhận dạng sinh trắc học đƣợc coi là tốt nhất. Tuy nhiên, mặc dù độ chính xác
cao, mọi ngƣời thƣờng nghĩ rằng công nghệ này là không thuận tiện. Vì vậy,
rất khó để có đƣợc chấp nhận phổ quát của ngƣời dùng cuối. Giác mạc đã
đƣợc quét bằng máy quét cần thiết để đọc thông tin giác mạc trong thẳng
đứng cố định của nó. Scanner cho mắt và mù mắt giác mạc và với ngƣời dân
là không hợp lệ.
 Bề mặt lỗ
Hệ thống nhận dạng khuôn mặt bằng cách phân tích các tính năng mặt
của hình dạng độc đáo, mơ hình và vị trí để xác định ngƣời dân. Về cơ bản có
hai cách để xử lý dữ liệu: máy ảnh và lập bản đồ nhiệt. Standard camera video
đƣợc xây dựng từ máy ảnh để chụp hình ảnh khn mặt. Phân tích kỹ thuật
của nhiệt vẽ các mạch máu dƣới da xảy ra các mơ hình nhiệt. Việc kháng cáo
của sinh trắc học là nó có thể đƣợc con ngƣời-máy tính tƣơng tác. Tuy nhiên,
hệ thống này là rất khơng đáng tin cậy và đắt tiền. Ví dụ, nó khơng thể phân
biệt giữa các cặp sinh đơi hoặc sinh ba, không thể nhận ra những lý lẽ làm
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




16

ngƣời sử dụng cuối cùng không thể xác định đƣợc kính khơng đeo kính với
cùng một ngƣời.

 Âm thanh
Xác định đƣợc dựa trên đặc điểm sinh lý âm thanh và hành vi sử dụng
của ngƣời phát biểu của giọng nói và các mẫu ngơn ngữ. Nó khác với cơng
nghệ nhận dạng giọng nói khơng phải là để nói những lời tự đƣợc xác định.
Nhƣng chỉ có thơng qua phân tích các tính năng thoại, chẳng hạn nhƣ tần số
của âm thanh để xác định các loa. Bài phát biểu công nhận cơng nghệ cho
phép mọi ngƣời có thể có khả năng nói tiếng nói để kiểm sốt truy cập vào
khu vực hạn chế. Ví dụ, điện thoại quay số ngân hàng, các dịch vụ cơ sở dữ
liệu, mua sắm hoặc voice mail, và truy cập đến các thiết bị bí mật. Một ngƣời
bị cảm lạnh có thể sai một từ chối công nhận không sử dụng hệ thống nhận
dạng giọng nói.
 . Chữ ký
Chữ ký cơng nhận, cịn đƣợc gọi là việc xác định chữ ký cơ khí. Nó
phân tích các cây bút di chuyển, chẳng hạn nhƣ tăng tốc, áp lực, chỉ đạo,
chiều dài của đột quỵ, chứ không phải là chữ ký của các hình ảnh bản thân.
Sự khác biệt chính giữa chữ ký cơ học của các bộ phận khác nhau của chữ ký,
một số, phong tục khác là khác nhau trong mỗi chữ ký. Việc sử dụng chữ ký
đã đƣợc chấp nhận rộng rãi, trong các ứng dụng khác nhau, từ Tuyên ngôn
Độc lập vào thẻ tín dụng có thể đƣợc nhìn thấy. Tuy nhiên, vấn đề cơng nhận
chữ ký vẫn cịn tồn tại trong q trình đạt đƣợc sự cơng nhận để sử dụng theo
cách thức và ký đo lặp. Hệ thống kiểm soát đã đƣợc lập trong một số cách để
chấp nhận thay đổi.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




17

1.3.

Bài toán xác định mặt ngƣời trong ảnh số.

1.3.1. Giới thiệu về bài toán xác định mặt ngƣời trong ảnh số
Trong những năm qua, có rất nhiều cơng trình nghiên cứu về bài toán
nhận dạng mặt ngƣời. Các nghiên cứu đi từ bài toán đơn giản, từ việc nhận
dạng một mặt ngƣời trong ảnh đen trắng cho đến mở rộng cho ảnh mầu và có
nhiều mặt ngƣời trong ảnh. Đến nay các bài toán xác định mặt ngƣời đã mở
rộng với nhiều miền nghiên cứu nhƣ nhận dạng khuôn mặt, định vị khuôn
mặt, xác định trạng thái mắt ngƣời, theo dõi mặt ngƣời hay nhận dạng cảm
xúc mặt ngƣời…
Phát hiện mặt ngƣời trong ảnh là phần đầu tiên của một hệ thống nhận
dạng mặt ngƣời. Các hệ thống nhận dạng khuôn mặt đƣợc bắt đầu xây dựng
từ những năm 1970, tuy nhiên do còn hạn chế về các luật xác định mặt ngƣời
nên chỉ đƣợc áp dụng trong một số ứng dụng nhƣ nhận dạng thẻ căn cƣớc. Nó
chỉ đƣợc phát triển mạnh mẽ từ những năm 1990 khi có những tiến bộ trong
cơng nghệ video và ngày nay thì các ứng dụng của xác định mặt ngƣời đã trở
nên phổ biến trong cuộc sống.
1.3.2. Định nghĩa bài toán xác định mặt ngƣời.
Xác định khuôn mặt ngƣời là một kỹ thuật máy tính để xác định các vị trí
và kích thƣớc của các khuôn mặt ngƣời trong các ảnh số bất kì. Kỹ thuật này
nhận biết các đặc trƣng của khuôn mặt và bỏ qua những thứ khác xung quanh
đối tƣợng nhƣ: tòa nhà, cây cối, cơ thể…
1.3.3. Các phƣơng pháp chính xác định mặt ngƣời
Dựa vào tính chất của các phƣơng pháp xác định mặt ngƣời trên ảnh, các
phƣơng pháp này đƣợc chia thành bốn loại chính, tƣơng ứng với bốn hƣớng
tiếp cận khác nhau. Ngồi ra cũng có rất nhiều nghiên cứu mà phƣơng pháp
xác định mặt ngƣời khơng chỉ dựa vào một hƣớng mà có liên quan đến nhiều
hƣớng.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




18

 Hướng tiếp cận dựa trên tri thức: Dựa vào các thuật tốn, mã hóa các
đặc trƣng và quan hệ giữa các đặc trƣng của khuôn mặt thành các luật.
Đây là hƣớng tiếp cận theo kiểu top-down
 Hướng tiếp cận dựa trên đặc trưng không thay đổi: Xây dựng các thuật
tốn để tìm các đặc trƣng của khn mặt mà các đặc trƣng này không
thay đổi khi tƣ thế khuôn mặt hay vị trí đặt camera thay đổi.
 Hướng tiếp cận dựa trên so sánh khớp mẫu: Dùng các mẫu chuẩn của
khuôn mặt (các mẫu này đã đƣợc chọn và lƣu trữ) để mô tả các khuôn
mặt hay các đặc trƣng của khuôn mặt (các mẫu này đƣợc chọn tách biệt
theo tiêu chuẩn đã đƣợc các tác giả đề ra để so sánh). Phƣơng pháp này
có thể dùng để xác định vị trí hay dị tìm khn mặt trên ảnh.
 Hướng tiếp cận dựa trên diện mạo: Trái ngƣợc với hƣớng tiếp cận dựa
trên khn mẫu, các mơ hình (hay các mẫu) sẽ đƣợc học từ một tập ảnh
huấn luyện mà thể hiện tính chất tiêu biểu của sự xuất hiện của mặt
ngƣời trong ảnh. Sau đó hệ thống (mơ hình) sẽ xác định mặt ngƣời.
Phƣơng pháp này cịn đƣợc biết đến với tên gọi tiếp cận theo các phƣơng
pháp học máy.
1.4.

Ƣu điểm của việc xác định vị trí mắt

 Trích những đặc tính khn mặt
Đối với việc rút trích những đặc tính, mắt là đặc tính quan trọng của

khn mặt. Do đó, chúng ta cần nghiên cứu để tìm và xác định nó. Lý do mà
chúng ta phải nghiên cứu nó là vì:
- Mắt là nguồn thơng tin quan trọng về tình trạng của con ngƣời.
- Sự xuất hiện của mắt là ít thay đổi nhất trên khn mắt.
- Việc biết vị trí của mắt cho phép chúng ta chỉ ra đƣợc tỷ lệ của khuôn mặt.
- Việc định vị chính xác mắt giúp ta chỉ ra đƣợc những đặc tính khác
trên khn mặt.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




19

Từ trung tâm của mắt, chúng ta có thể xác định đƣợc những điểm
chuẩn khác.

Hình 1.3 Các điểm trên khn mặt
Trong đó : Khn mặt có 27 điểm, 13 điểm trích ra từ hình ảnh (màu xanh),
14 điểm suy luận ra (màu đỏ)
Hiện nay, có rất nhiều bài tốn liên quan tới việc xác định vị trí mắt
ngƣời: Xác định trạng thái mắt nhắm hay mở (hệ thống đặt trên ô tô để kiểm
soát lái xe, hay hệ thống kiểm tra bảo vệ ngủ tại các cơ quan quan trọng, xác
định hƣớng nhìn của khn mặt dựa trên vị trí mắt, xây dựng model khn
mặt…

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

20

CHƢƠNG 2. CÁC PHƢƠNG PHÁP XÁC ĐỊNH VỊ TRÍ MẮT NGƢỜI
TRÊN KHUÔN MẶT
Trong chƣơng này sẽ giới thiệu một số phƣơng pháp phát hiện mắt và
xác định tọa độ của mắt trung tâm.
Mắt là một trong những chỗ tiếp xúc với những nơi biến dạng trên một
khn mặt (ví dụ nhƣ bằng cách biểu hiện trên khuôn mặt) và đặc biệt : một
phần khác đối mặt với thay đổi nhƣ vậy sắc nét. Tìm kiếm mắt là thao tác
chính,nó phụ thuộc tính tốn thêm tham số mặt. Ví dụ về các thơng số, mà có
thể xác định là: Tam giác nơi kiểm tra một khuôn mặt, đặc điểm trên khuôn
mặt, tọa độ của các mắt trung tâm và trục đối xứng khn mặt, khoảng cách
giữa các trung tâm của mắt.

Hình 2 . Kết quả xác định các thông số khuôn mặt
Trục đối xứng khn mặt có thể đƣợc xác định từ ví dụ trên cơ sở tọa
độ của các mắt trung tâm hay góc của mắt. Tuy nhiên, hiệu quả của phƣơng
pháp phát hiện mắt (hoặc xác định tọa độ của mắt góc) là giới hạn thơng qua
đơi mắt có thể đóng cửa hoặc ảnh hƣởng của kính.
Có rất nhiều phƣơng pháp tiếp cận đƣợc biết đến phát hiện mắt và xác
định tọa độ của các mắt trung tâm, dƣới đây em chỉ mơ tả cơ bản một số thuật
tốn mà dựa trên:
 So sánh mẫu
 Phƣơng pháp Moments
 Phƣơng pháp chiếu
 Phƣơng pháp Knowledge
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

21

2.1.

Xác định tọa độ mắt bằng cách sử dụng các so sánh mẫu

2.1.1. Phƣơng pháp
Bằng cách sử dụng hai mô hình, một trong những nơi có thể chính xác
bản địa hố mắt trên khn mặt. Ví dụ về cách tiếp cận nhƣ vậy cho thấy trên
hình 2.1 ta thấy:
1- Hình ảnh ban đầu
2- Mẫu của một phần trung tâm của khuôn mặt
3- Mẫu mắt trái của con ngƣời
4- Kết quả của địa phƣơng hoá khu vực mặt từ mẫu 2
5- Vùng mặt, nơi mắt đã tìm thấy và kết quả xác định vị trí của mắt trái
6- Xác định mắt trung tâm bằng cách sử dụng đƣờng chéo của hình
chữ nhật để mơ tả khu vực xác định vị trí mắt.

Hình 2.1 Tìm kiếm trung tâm mắt sử dụng phương pháp so sánh mẫu
Trong ví dụ này, mắt trung tâm là giao điểm đƣờng chéo của hình chữ
nhật trên khu vực xác định vị trí mắt. Đây cũng là trung tâm của hình chữ
nhật - điểm này đƣợc đặt ở giữa của chiều rộng và chiều cao của hình chữ
nhật. Từ kết quả này, tính chính xác độ tính tốn tọa độ của mắt phụ thuộc
vào độ chính xác của việc trích vùng mắt và đối xứng của vùng liên quan với
con ngƣời đƣợc xác định vị trí mắt. Mặt khác, tính chính xác của trích chọn
của vùng mắt và đối xứng của nó phụ thuộc vào chất lƣợng của các mẫu và
thích nghi với mắt trên hình ảnh đƣa vào.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

22

Các biến thể của mẫu, nó đƣợc sử dụng xác định vị trí vùng mắt, đƣợc trình
bày trên hình 2.2
1

2

3

4

a
b
c
d

Hình 2.2 Các biến thể của các mẫu dùng xác định vị trí mắt
Trong hình 2.3 trình bày kết quả xác định vị trí của vùng mắt trên hình
ảnh khn mặt từ cơ sở dữ liệu ORL. Nhiều biến thể của các mẫu đƣợc sử
dụng:
- Ví dụ đầu tiên - mẫu b1 từ hình 2.2 (chiết xuất từ khn mặt thực), và
các mẫu nhân tạo c4 và b4 từ hình 2.2.
- Ví dụ thứ hai - mẫu nhân tạo của bộ phận trung tâm của khuôn mặt và
các mẫu c4 và c2 từ hình 2.2.
Ta có thể thấy trên hình 2.3 rằng kết quả nhận đƣợc của vùng mắt xác

định vị trí hiển thị cao hiệu quả và hữu ích thực tế của phƣơng pháp so sánh
các mẫu (bất kể là đã lựa chọn mắt trái hoặc mắt phải).Ta có thể biết chắc
chắn rằng kết quả xác định vị trí khơng phụ thuộc vào biến thể của mẫu đƣợc
sử dụng. Tuy nhiên, một trong những chú ý là những trở ngại trên khn mặt
(mắt đóng và kính) có ảnh hƣởng đáng kể vào kết quả xác định vị trí. Bên
cạnh đó, ta có thể nhận thấy thiếu đối xứng của vùng đƣợc xác định vị trí chú
ý con ngƣời của mắt. Kết quả từ đó, mà khơng phải ln ln có thể tìm thấy

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




23

trung tâm của mắt đƣợc rút ra trên các vùng bằng phƣơng tiện chính giữa của
hình chữ nhật.
Do đó, để xác định tọa độ trung tâm của mắt nói chung trong trƣờng hợp là
cần thiết sau các bƣớc:
1. Sử dụng các mẫu giống nhau nhƣ hình dạng của mắt ngƣời;
2. Thay đổi thủ tục tìm vùng mắt;
3. Sử dụng thêm tốn tử xác định vị trí của mắt trung tâm bên trong các
khu vực đƣợc xác định.
Mẫu

1

2

3

4

Hình 2.3 Kết quả xác định vị trí của vùng mắt

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




24

Ảnh hƣởng của hình dạng mẫu trên kết quả xác định vị trí của mắt (đối
xứng của vùng mắt ) đƣợc trình bày trên hình 2.4, nơi mà mẫu b4 từ hình 2.2
đã đƣợc sử dụng để xác định vị trí của mắt.
Hình 2.4 cho thấy kết quả xác định vị trí của vùng mắt và tìm kiếm trung
tâm mắt bằng cách sử dụng mẫu b4 cho khuôn mặt mà khơng có kính là tốt
hơn nhiều so với kết quả giới thiệu vào hình 2.3. Hầu nhƣ trong mọi mẫu học
sinh đƣợc đặt ở trung tâm của khu vực đƣợc giải nén. Cho rằng lý do xác định
tọa độ trung tâm của mắt có thể đƣợc thực hiện trên cơ sở ƣớc lƣợng trung
tâm của khu vực chiết xuất.
Hầu hết các mẫu giống nhau nhƣ hình dạng của mắt ngƣời tự nhiên có
thể đƣợc tìm thấy trong kỹ thuật văn học dành những vấn đề của biểu thức
phân tích (khn mặt biểu thức phân tích).

Hình 2.4. Kết quả xác định vị trí của mắt bằng việc sử dụng mẫu b4
Thêm các tốn tử xác định vị trí của vùng mắt trung tâm bên trong các
khu vực đƣợc giải nén có thể dựa vào: hai giai đoạn (ba giai đoạn) tìm thủ tục
tƣơng tự vào thuật tốn đƣợc trình bày trên hình 2.1, kim tự tháp của hình ảnh
đầu vào, thủ tục sử dụng nhiều mẫu, tìm kiếm dọc theo các khu vực mắt xoắn

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




25

ốc bằng phƣơng tiện của các mẫu, sử dụng sự tƣơng quan lẫn nhau giữa các
mẫu và khu vực dƣới nó.
Thay đổi tìm kiếm q trình của vùng mắt trên khn mặt có thể dựa vào
thủ tục hai giai đoạn, nơi vào giai đoạn đầu tiên của mắt đƣợc tính tốn, giai
đoạn sau tìm kiếm mắt dọc theo dịng này - độ lệch từ dịng mắt trong tìm
kiếm q trình  5 điểm ảnh khơng thể lớn hơn.
Kết quả tìm kiếm vùng mắt nghĩa là sử dụng hai giai đoạn dùng mơ hình
c4 đƣợc trình bày trên hình 2.5, nơi đƣờng ngang dòng mắt, và vùng đƣợc
giải nén mắt đƣợc đánh dấu bằng các hình chữ nhật. Trên hình ta có thể thấy
rằng mặc dù sử dụng các mẫu khơng tốt nhất (mẫu c4) có thể nhận đƣợc kết
quả rất tốt xác định vị trí của mắt.

Hình 2.5 Trích chọn vùng mắt trái bằng cách xử lý hai giai đoạn
Ta thấy rằng, trong ví dụ trình bày tọa độ dọc theo 10% độ dài khn
mặt. Vì lý do đó mà sự so sánh trong trình tự hai giai đoạn đƣợc xem nhƣ là
nhỏ hơn trình tự một giai đoạn nơi mà phối hợp dọc theo trục Y thay đổi trong
phạm vi 40% của chiều dài khn mặt.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên