Hệ thống xác định và đánh giá trạng thái mắt ngườii

LỜI CẢM ƠN
Em xin trân trọng cảm ơn các thầy giáo, cô giáo trong Viện Công nghệ
thông tin, trường Đại học Công nghệ thông tin và truyền thông, Đại học Thái
Nguyên đã nhiệt tình giảng dạy và hết lòng giúp đỡ em trong quá trình học tập
và nghiên cứu đề tài.
Luận văn được hoàn thành tại trường Đại học Công nghệ thông tin và truyền
thông dưới sự hướng dẫn của TS Vũ Duy Linh. Em xin bày tỏ lòng kính trọng
và biết ơn sâu sắc tới thầy.
Em cũng xin chân thành cảm ơn các bạn đồng nghiệp phòng Khảo thí &
Đảm bảo chất lượng trường Đại học Hải Phòng đã tạo điều kiện giúp đỡ trong
quá trình hoàn thành luận văn này.
Sự quan tâm, giúp đỡ của gia đình và bạn bè, đặc biệt lớp Cao học K9C
trường Đại học Công nghệ thông tin và truyền thông đã cổ vũ, động viên em
trong suốt thời gian học tập và thực hiện đề tài.
Mặc dù có nhiều cố gắng song luận văn không thể tránh khỏi những thiếu
sót, tác giả mong nhận được sự đóng góp ý kiến của các thầy cô và các bạn.
Xin chân thành cảm ơn!
Thái Nguyên, tháng 01 năm 2013
Tác giả

Nguyễn Thị Hương


2

LỜI CAM ĐOAN
Tôi xin cam đoan luận văn “ Hệ thống xác định & đánh giá trạng thái
mắt người ” là do tôi tự tìm hiểu và được hoàn thành dưới sự hướng dẫn của
thầy giáo TS Vũ Duy Linh

3

MỤC LỤC
MỞ ĐẦU...........................................................................................................
CHƯƠNG I. TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ BÀI TOÁN XÁC ĐỊNH
MẶT NGƯỜI TRONG ẢNH SỐ.....................................................................
1.1.Xử lý ảnh và các vấn đề cơ bản trong xử lý ảnh.........................................
1.1.1.Xử lý ảnh là gì?........................................................................................
1.1.2.Các vấn đề cơ bản trong xử lý ảnh.........................................................10
1.2.Chuẩn sinh trắc học ( Biometric ).............................................................13
1.2.1.Định nghĩa chuẩn sinh trắc học :............................................................13
1.2.2.Ứng dụng của chuẩn sinh trắc học.........................................................13
1.3.Bài toán xác định mặt người trong ảnh số.................................................16
1.3.1.Giới thiệu về bài toán xác định mặt người trong ảnh số........................16
1.3.2.Định nghĩa bài toán xác định mặt người................................................16
1.3.3.Các phương pháp chính xác định mặt người..........................................16
1.4.Ưu điểm của việc xác định vị trí mắt........................................................17
CHƯƠNG 2. CÁC PHƯƠNG PHÁP XÁC ĐỊNH VỊ TRÍ MẮT NGƯỜI
TRÊN KHUÔN MẶT.....................................................................................19
2.1.Xác định tọa độ mắt bằng cách sử dụng các so sánh mẫu.........................20
2.1.2.Những thuận lợi và khó khăn xác định vị trí mắt khi sử dụng phương
pháp so sánh mẫu............................................................................................25
2.2.Xác định tọa độ mắt sử dụng phương pháp Moments...............................25
2.3.Xác định tọa độ mắt bằng cách sử dụng phương pháp chiếu....................32
2.4.Xác định tọa độ mắt sử dụng phương pháp Knowledge...........................45
CHƯƠNG 3. XÂY DỰNG CHƯƠNG TRÌNH VÀ CÀI ĐẶT THỬ
NGHIỆM.........................................................................................................46
3.1.Giới thiệu về Matlab..................................................................................46
3.2.Thuật toán để phát hiện vị trí của mắt cho hình ảnh sắc nét.....................46

4

3.3.Mô tả các CSDL dùng cho thực nghiệm...................................................51
3.3.1.CSDL ORL.............................................................................................52
3.3.2.CSDL FERET.........................................................................................53
3.3.3.CSDL SIMILAR....................................................................................54
3.3.4.CSDL BIOID..........................................................................................55
3.4.Phương pháp đánh giá độ chính xác:.........................................................55
3.5.Hệ thống đánh giá trạng thái mắt người....................................................58
3.6.Cấu trúc hệ thống......................................................................................61
KẾT LUẬN.....................................................................................................65
TÀI LIỆU THAM KHẢO...............................................................................66

DANH MỤC CÁC HÌNH VẼ, ẢNH CHỤP


5

Số hiệu
hình vẽ

Tên hình vẽ

Trang

1.1
1.2

Quá trình xử lý ảnh

Các giai đoạn trong xử lý ảnh

1.3

Các điểm trên khuôn mặt

3
3
12

2
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
2.9
2.10
2.11
2.12
2.13
2.14
2.15
2.16
2.17
2.18
2.19

2.20
2.21
2.22
2.23
3.1
3.2
3.3
3.4
3.5
3.6
3.7
3.8
3.9

Kết quả xác định các thông số khuôn mặt
Tìm kiếm trung tâm mắt sử dụng phương pháp so sánh mẫu
Các biến thể của các mẫu dùng xác định vị trí mắt
Kết quả xác định vị trí của vùng mắt
Kết quả xác định vị trí của mắt bằng việc sử dụng mẫu b4
Trích chọn vùng mắt trái bằng cách xử lý hai giai đoạn
Xác định tọa độ trung tâm trên hình ảnh nhị phân
Xác định tọa độ trung tâm dựa trên hai phương pháp
Ảnh khuôn mặt, cho mà dự toán tọa độ mắt là sai
Ví dụ ước tính chính xác của tọa độ mắt
Sử dụng các thành phần I2 để xác định trung tâm mắt
Thủ tục xác định tọa độ của mắt (biến thể "a").
Chức năng hoạt nghiệm
Kết quả xác định vị trí mắt sử dụng phương pháp chiếu
Cửa sổ hàm W cho các phiên bản khác nhau của phép quay đầu
Hàm S và F cho các phiên bản khác nhau cảu phép quay đầu

Kết quả dùng phương pháp đơn gian hóa
Một số kết quả xác định tọa độ mắt của CSDL ỎL
Mô hình khuôn mặt được sử dụng để thử nghiệm
Tính toán và xác minh tọa độ của mắt
Kết quả tính toán của mắt dòng vị trí trong mỗi nửa mặt
Bám sát vị trí của dòng mắt
Vị trí của dòng mắt trong mỗi nửa mặt.
Tính toán của mắt phối hợp trong chuỗi video
Sơ đồ khối của phương pháp
Kết quả thuật toán xác định vị trí mắt người
Một số kết quả khác
CSDL ORL
Cơ sở dữ liệu hình ảnh khuôn mặt FERE
Mặt hình ảnh cơ sở dữ liệu tương tự
Cơ sở dữ liệu hình ảnh khuôn mặt BIOID
Trung tâm phối hợp mắt và mối quan hệ giữa chúng
Định vị trí của mắt trên CSDL FERET

13
14
15
16
17
18
19
21
22
23
25
28

28
30
31
32
32
33
34
34
35
38
38
39
41
45
45
46
47
49
49
50
51


6

3.10
3.11
3.12
3.13
3.14

Xác định vị trí của mắt trên CSDL BIOID
Giai đoạn tỉnh táo sắp ngủ và ngủ
Đánh giá hướng quay theo vị trí mắt người
Hệ thống đánh giá trạng thái mắt người
Một ví dụ về việc đánh giá trạng thái của mắt

51
53
55
57
58

MỞ ĐẦU
Thông tin con người thu nhận từ thế giới bên ngoài, đến hơn 80% được
ghi nhận bằng mắt tức là ở dạng ảnh. Vì vậy xử lý ảnh là một ngành khoa học
đã, đang và sẽ phát triển mạnh có ứng dụng rộng rãi trong khoa học và đời
sống thực tiễn như vẽ bản đồ, trong lĩnh vực quảng cáo, siêu thị, trong quân
sự….
Xác định mắt người trên khuôn mặt là một kỹ thuật máy tính để xác
định các vị trí và các kích thước của mắt người trong các ảnh bất kỳ (ảnh kỹ
thuật số). Nhận dạng mắt người là một trong những công việc cơ sở chủ yếu
cho việc căn chỉnh mặt người và nhận dạng mặt người. Việc nhận dạng mắt
người này đang đối mặt với nhiều thách thức khác nhau như hướng nhìn, biểu
hiện cảm xúc của mặt người thay đổi và các điều kiện ánh sáng khác nhau
thay đổi. Hệ thống nhận dạng làm việc theo cơ chế so sánh ảnh mặt người đầu
vào với các ảnh mặt người được lưu trữ trong CSDL(Face Recognition
System). Công nghệ nhận dạng mặt người là một trong những lĩnh vực phát
triển nhanh nhất trong các hệ thống sinh trắc học. Công nghệ sử dụng khuôn

7

mặt để nhận dạng và điểm đặc biệt là có thể thực hiện việc nhận dạng mà
không cần sự tương tác với người như 1 số công nghệ khác(vân tay, con
ngươi…).
Ngày nay công nghệ nhận dạng mặt người được đưa vào sử dụng trong
nhiều lĩnh vực trong cuộc sống như truy tìm tội phạm, đảm bảo an ninh, hộ chiếu
điện tử… Biometric là một phương pháp nhận ra danh tánh của một người dựa
trên Physiological hoặc hành vi đặc trưng,các tính năng đo được mặt, dấu vân
tay, bàn tay geometry, iris, retinal, giọng nói… biometric xác thực ngày càng
được sử dụng trong các lĩnh vực như ngân hàng, bán lẻ, quốc phòng, sản xuất, y
tế các ngành công nghiệp, chứng khoán, khu vực công, sân bay an ninh…Sự
phát triển của biometric trên cơ sở sử dụng mặt người ngày càng lớn.
Xác định vị trí khuôn mặt là 1 trong những điều kiện quan trọng nhất
trong hệ thống nhận dạng mặt người. Hiệu suất làm việc của hệ thống phụ
thuộc vào việc xác định chính xác vị trí mặt người trong ảnh ở đầu vào cũng
như việc xác định vị trí mặt người khi xây dựng cơ sở dữ liệu cho hệ thống.
Xác định chính xác vị trí mắt người giúp cho các phương pháp xử lý
ảnh mặt người được dễ dàng hơn. Ví dụ sau khi xác định được vị trí mắt
người có thể sử dụng để xác định đường đối xứng của khuôn mặt, xây dựng
model của khuôn mặt, sử dụng trong các bài toán đánh giá trạng thái của mắt
người, chuẩn hóa khuôn mặt theo chuẩn Sinh trắc học.
Đó là lý do mà em chọn đề tài “ Hệ thống xác định & đánh giá trạng thái
mắt người ”.
Luận văn được trình bày gồm có 3 chương:
• Chương 1 . Tổng quan về xử lý ảnh và bài toán xác định mặt người.
• Chương 2 . Các phương pháp xác định vị trị mắt người
Gồm có : 4 phương pháp

8

1. Xác định tọa độ mắt sử dụng mẫu so sánh.
2. Xác định tọa độ mắt sử dụng phương pháp Moments.
3. Xác định tọa độ mắt sử dụng phương pháp chiếu.
4. Xác định tọa độ mắt sử dụng phương pháp Knowlegde.
•

Chương 3 . Xây dựng chương trình và cài đặt


9

CHƯƠNG I. TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ BÀI TOÁN XÁC
ĐỊNH MẶT NGƯỜI TRONG ẢNH SỐ
1.1.

Xử lý ảnh và các vấn đề cơ bản trong xử lý ảnh.

1.1.1. Xử lý ảnh là gì?
Quá trình xử lý ảnh được xem như là quá trình thao tác ảnh đầu vào
nhằm cho ra kết quả mong muốn. Kết quả đầu ra của một quá trình xử lý ảnh
có thể là một ảnh “tốt hơn” hoặc một kết luận.
Ảnh

Xử lý ảnh

Ảnh “tốt hơn”
Kết luận

Hình 1.1 Quá trình xử lý ảnh
Mục đích của xử lý ảnh gồm:
-

Biến đổi ảnh, làm tăng chất lượng ảnh.

-

Tự động nhận dạng ảnh, đoán nhận ảnh, đánh giá các nội dung của
ảnh.
Nhận biết và đánh giá được nội dung của ảnh là để phân biệt được đối

tượng này với đối tượng khác, từ đó ta có thể mô tả được ảnh ban đầu. Có
một số phương pháp nhận dạng như: nhận dạng cạnh của một số đối tượng
trên ảnh, tách cạnh, phân đoạn hình ảnh …. Các kỹ thuật này được ứng dụng
nhiều trong y học như: xử lý tế bào, nhiễm sắc thể; nhận dạng chữ viết trong
văn bản…
Thu nhận ảnh
(Scanner, Camera,
Senssor )

Tiền

Trích chọn

xử lý

đặc điểm

lylý

Hậu xử lý

Hệ quyết định

Lưu trữ

Đối sánh rút
ra kết luận


10

Hình 1.2: Các giai đoạn trong xử lý ảnh
1.1.2. Các vấn đề cơ bản trong xử lý ảnh
* Ảnh và điểm ảnh:
- Điểm ảnh được xem như là dấu hiệu hay cường độ sáng tại một tọa độ
trong không gian của đối tượng ảnh.
- Ảnh được xem như là tập hợp các điểm ảnh. Ảnh được biểu diễn bởi
một mảng số thực hai chiều (Ii j) có kích thước (m x n), trong đó mỗi phần tử Ii
j

(i = 1…m; j = 1…n) biểu đồ mức xám của ảnh tại vị trí (i, j) tương ứng.
Ảnh được gọi là ảnh nhị phân nếu các giá trị chỉ nhận 0 hoặc 1.
* Mức xám: Mức xám là kết quả sự mã hóa tương ứng một cường độ

sáng của mỗi điểm ảnh với một giá trị số - kết quả của quá trình lượng hóa.
Cách mã hóa thường dùng là 16, 32 hay 64 mức, mã hóa 256 mức là phổ
dụng nhất.

*

Đối tượng ảnh: Trong quá trình xử lý ảnh, một ảnh được thu nhận vào

máy phải được mã hóa, vì vậy ảnh phải được lưu trữ thế nào sao cho các ứng
dụng khác nhau có thể thao tác trên các loại dữ liệu này. Một số dạng ảnh đã
được chuẩn hóa như: GIF, BMP, PCX,...; mỗi kiểu lưu trữ ảnh đều có điểm
riêng. Tùy theo vùng các giá trị xám của điểm ảnh mà các ảnh được phân chia
ra thành ảnh màu, ảnh xám, ảnh nhị phân. Khi trên một ảnh chỉ có giá trị 0
hoặc 1 thì ta nói đó là ảnh nhị phân hoặc ảnh đen trắng và các điểm ảnh của nó
gọi là điểm ảnh nhị phân. Việc đếm các điểm ảnh trên ảnh nhị phân đã qua biến
đổi tạo điều kiện thuận lợi cho việc tách ra các đặc tính. Để tạo ra một ảnh nhị
phân từ ảnh đa cấp xám ta dùng phương pháp tách ngưỡng. Các giá trị nằm ở
trên ngưỡng được gán giá trị 1 còn ở bên dưới ngưỡng thì được gán giá trị 0.
- Kỹ thuật tách ngưỡng: Ngưỡng θ trong kỹ thuật tách ngưỡng thường
được cho bởi người sử dụng. Kỹ thuật tìm, tách ngưỡng tự động nhằm tìm ra


11

ngưỡng θ một cách tự động dựa vào Histogram theo nguyên lý trong vật lý là
vật thể tách làm 2 phần nếu tổng độ lệch trong từng phần là tối thiểu.
Giả sử ta có ảnh I ~ kích thước m x n; G ~ số mức xám của ảnh kể cả
khuyết thiếu; t(g) ~ số điểm ảnh có mức xám ≤ g.
m( g ) =

1 g
∑ i.h(i) ~ mômen quán tính trung bình có mức xám ≤ g
t ( g ) i =0
g a f (g)

Hàm f: f ( g ) =

t(g)
2
[ m( g ) − m(G − 1)]
m × n − t(g )

{f ( g )}
Tìm θ sao cho: f ( g ) = 0≤mg G −1

•

Nắn chỉnh biến dạng
Ảnh thu nhận thường bị biến dạng do các thiết bị quang học và điện tử.

Để khắc phục, người ta sử dụng các phép chiếu, các phép chiếu thường được
xây dựng trên tập các điểm điều khiển.
• Khử nhiễu
Có hai loại nhiễu cơ bản trong quá trình thu nhận ảnh:
− Nhiễu hệ thống: là nhiễu có quy luật có thể khử bằng các phép biến đổi.
− Nhiễu ngẫu nhiên: là dạng vết bẩn không rõ nguyên nhân nên có thể khắc
phục bằng các phép lọc.
•

Chỉnh mức xám

Nhằm khắc phục tính không đồng đều của hệ thống gây ra, thông thường
có hai hướng tiếp cận:

− Giảm số mức xám: thực hiện bằng cách nhóm các mức xám gần nhau thành
một bó. Trường hợp chỉ có hai mức xám thì chính là chuyển về ảnh đen trắng.
− Tăng số mức xám: thực hiện nội suy ra các mức xám trung gian bằng kỹ
thuật nội suy. Kỹ thuật này nhằm tăng độ mịn của ảnh.
• Phân tích ảnh


12

Là khâu quan trọng trong quá trình xử lý ảnh để tiến tới hiểu ảnh.
Trong phân tích ảnh việc trích chọn đặc điểm là một bước quan trọng, các đặc
điểm của đối tượng được trích chọn tùy theo mục đích nhận dạng trong quá
trình xử lý ảnh. Một số đặc điểm của ảnh như: đặc điểm không gian, đặc điểm
biến đổi, đặc điểm biên và đường biên.
•

Nhận dạng ảnh
Nhận dạng ảnh là quá trình liên quan đến các mô tả đối tượng mà người

ta muốn đặc tả nó. Quá trình nhận dạng thường đi sau quá trình trích chọn các
đặc tính chủ yếu của đối tượng. Nhận dạng tự động, mô tả đối tượng, phân
loại và phân nhóm các mẫu là những vấn đề quan trọng trong thị giác máy,
được ứng dụng trong nhiều ngành khoa học khác nhau.
Hệ thống nhận dạng tự động bao gồm ba khâu tương ứng với ba giai
đoạn chủ yếu sau: thu nhận dữ kiệu và tiền xử lý, biểu diễn dữ liệu, nhận dạng
và ra quyết định. Bốn cách tiếp cận khác nhau trong lý thuyết nhận dạng là:
Đối sánh mẫu dựa trên các đặc trưng được trích chọn, phân loại thống kê, đối
sánh cấu trúc, phân loại dựa trên mạng nơron nhân tạo.
•

Nén ảnh
Lượng thông tin để biểu diễn cho một ảnh là rất lớn, vì vậy nén ảnh

nhằm giảm thiểu không gian lưu trữ, thường được tiến hành theo cả hai
khuynh hướng là nén có bảo toàn và nén không bảo toàn thông tin. Nén
không bảo toàn thì thường có khả năng nén cao hơn nhưng có khả năng phục
hồi kém hơn. Các cách nén ảnh:
− Nén ảnh thống kê: Dựa vào việc thống kê tần xuất xuất hiện của giá trị các
điểm ảnh, trên cơ sở đó mà có chiến lược mã hóa thích hợp. Ví dụ: mã nén
*.TIF.


13

− Nén ảnh không gian: Dựa vào vị trí không gian của các điểm ảnh để tiến
hành mã hóa. Kỹ thuật này dựa vào sự giống nhau của các điểm ảnh trong các
vùng gần nhau. Ví dụ: mã nén *.PCX.
− Nén ảnh sử dụng phép biến đổi: Tiếp cận theo hướng nén không bảo toàn,
kỹ thuật này thường nén hiệu quả hơn. Ví dụ: nén *.JPG.
− Nén ảnh Fractal: sử dụng tính chất Fractal của các đối tượng ảnh, thể hiện
sự lặp lại của các chi tiết. Kỹ thuật nén sẽ tính toán để chỉ cần lưu trữ phần
gốc của ảnh và quy luật sinh ra ảnh theo nguyên tắc Fractal.
1.2.

Chuẩn sinh trắc học ( Biometric )

1.2.1. Định nghĩa chuẩn sinh trắc học :
Công nghệ Sinh trắc học (Biometric) – là một công nghệ sử dụng
những thuộc tính vật lý hoặc các mẫu hành vi, các đặc điểm sinh học đặc
trưng như dấu vân tay, mẫu mống mắt, giọng nói, khuôn mặt, dáng đi,… để

nhận diện con người
1.2.2. Ứng dụng của chuẩn sinh trắc học
• Vân tay
Đầu thế kỷ XIX, phát hiện khoa học vẫn còn được công nhận bởi hai
tính năng quan trọng: Đầu tiên, hai phong cách khác nhau sống núi mẫu vân
tay (Ridge Hoa văn) là khác nhau từ khác có dấu vân tay sống núi của phong
cách sống giống nhau. Nghiên cứu này giúp nhận dạng dấu vân tay tại có thể
có của tội phạm áp dụng chính thức. Thế kỷ XX, các sixties, như là máy tính
có thể xử lý đồ họa, người ta bắt đầu xem xét các máy tính để xử lý các dấu
vân tay, vân tay tự động AFIS Hệ thống xác định trong các lĩnh vực thực thi
pháp luật của nghiên cứu, ứng dụng này bắt đầu tới.
Một yêu cầu hệ thống sinh trắc học tốt một cách nhanh chóng và hiệu
quả trong thời gian thực để hoàn thành quá trình nhận dạng của nó. Tất cả các
hệ thống sinh trắc học bao gồm các quá trình điều trị một số sau đây: mua lại,


14

giải mã, so sánh và kết hợp. Các dấu vân tay cùng công nhận chế biến, bao
gồm chụp ảnh dấu vân tay, vân tay xử lý hình ảnh, tính năng khai thác, tính
năng phù hợp hơn với quá trình. Những lợi thế của việc sử dụng phương pháp
dấu vân tay được, đáng tin cậy của nó thuận tiện và dễ dàng được chấp nhận.
• Võng mạc của mắt
Phân tích các đặc tính phức tạp và độc đáo của công nghệ sinh trắc
học mắt được chia thành hai khu vực riêng biệt: các công nghệ nhận dạng
mống mắt, và công nhận iris công nghệ. Iris được bao quanh bởi một lớp mô
màu mống mắt. Iris công nhận hệ thống sử dụng camera để chụp mẫu, sau đó
các dữ liệu thu thập bởi phần mềm này để so sánh với các mẫu lưu trữ. Là
giác mạc mắt ở dưới cùng của lớp tế bào máu. Giác mạc là quét để kiểm tra
mật độ thấp hồng ngoại để nắm bắt đặc điểm độc đáo của giác mạc này.

Chúng tôi biết các khu vực ở trung tâm của giác mạc đều được kiểm tra, các
tế bào máu do đó sẽ là phương thức duy nhất của capturing. Iris công nghệ
nhận dạng sinh trắc học được coi là tốt nhất. Tuy nhiên, mặc dù độ chính xác
cao, mọi người thường nghĩ rằng công nghệ này là không thuận tiện. Vì vậy,
rất khó để có được chấp nhận phổ quát của người dùng cuối. Giác mạc đã
được quét bằng máy quét cần thiết để đọc thông tin giác mạc trong thẳng
đứng cố định của nó. Scanner cho mắt và mù mắt giác mạc và với người dân
là không hợp lệ.
• Bề mặt lỗ
Hệ thống nhận dạng khuôn mặt bằng cách phân tích các tính năng mặt
của hình dạng độc đáo, mô hình và vị trí để xác định người dân. Về cơ bản có
hai cách để xử lý dữ liệu: máy ảnh và lập bản đồ nhiệt. Standard camera video
được xây dựng từ máy ảnh để chụp hình ảnh khuôn mặt. Phân tích kỹ thuật
của nhiệt vẽ các mạch máu dưới da xảy ra các mô hình nhiệt. Việc kháng cáo
của sinh trắc học là nó có thể được con người-máy tính tương tác. Tuy nhiên,


15

hệ thống này là rất không đáng tin cậy và đắt tiền. Ví dụ, nó không thể phân
biệt giữa các cặp sinh đôi hoặc sinh ba, không thể nhận ra những lý lẽ làm
người sử dụng cuối cùng không thể xác định được kính không đeo kính với
cùng một người.
• Âm thanh
Xác định được dựa trên đặc điểm sinh lý âm thanh và hành vi sử dụng
của người phát biểu của giọng nói và các mẫu ngôn ngữ. Nó khác với công
nghệ nhận dạng giọng nói không phải là để nói những lời tự được xác định.
Nhưng chỉ có thông qua phân tích các tính năng thoại, chẳng hạn như tần số
của âm thanh để xác định các loa. Bài phát biểu công nhận công nghệ cho
phép mọi người có thể có khả năng nói tiếng nói để kiểm soát truy cập vào

khu vực hạn chế. Ví dụ, điện thoại quay số ngân hàng, các dịch vụ cơ sở dữ
liệu, mua sắm hoặc voice mail, và truy cập đến các thiết bị bí mật. Một người
bị cảm lạnh có thể sai một từ chối công nhận không sử dụng hệ thống nhận
dạng giọng nói.
• . Chữ ký
Chữ ký công nhận, còn được gọi là việc xác định chữ ký cơ khí. Nó
phân tích các cây bút di chuyển, chẳng hạn như tăng tốc, áp lực, chỉ đạo,
chiều dài của đột quỵ, chứ không phải là chữ ký của các hình ảnh bản thân.
Sự khác biệt chính giữa chữ ký cơ học của các bộ phận khác nhau của chữ ký,
một số, phong tục khác là khác nhau trong mỗi chữ ký. Việc sử dụng chữ ký
đã được chấp nhận rộng rãi, trong các ứng dụng khác nhau, từ Tuyên ngôn
Độc lập vào thẻ tín dụng có thể được nhìn thấy. Tuy nhiên, vấn đề công nhận
chữ ký vẫn còn tồn tại trong quá trình đạt được sự công nhận để sử dụng theo
cách thức và ký đo lặp. Hệ thống kiểm soát đã được lập trong một số cách để
chấp nhận thay đổi.


16

1.3.

Bài toán xác định mặt người trong ảnh số.

1.3.1. Giới thiệu về bài toán xác định mặt người trong ảnh số
Trong những năm qua, có rất nhiều công trình nghiên cứu về bài toán
nhận dạng mặt người. Các nghiên cứu đi từ bài toán đơn giản, từ việc nhận
dạng một mặt người trong ảnh đen trắng cho đến mở rộng cho ảnh mầu và có
nhiều mặt người trong ảnh. Đến nay các bài toán xác định mặt người đã mở
rộng với nhiều miền nghiên cứu như nhận dạng khuôn mặt, định vị khuôn
mặt, xác định trạng thái mắt người, theo dõi mặt người hay nhận dạng cảm

xúc mặt người…
Phát hiện mặt người trong ảnh là phần đầu tiên của một hệ thống nhận
dạng mặt người. Các hệ thống nhận dạng khuôn mặt được bắt đầu xây dựng
từ những năm 1970, tuy nhiên do còn hạn chế về các luật xác định mặt người
nên chỉ được áp dụng trong một số ứng dụng như nhận dạng thẻ căn cước. Nó
chỉ được phát triển mạnh mẽ từ những năm 1990 khi có những tiến bộ trong
công nghệ video và ngày nay thì các ứng dụng của xác định mặt người đã trở
nên phổ biến trong cuộc sống.
1.3.2. Định nghĩa bài toán xác định mặt người.
Xác định khuôn mặt người là một kỹ thuật máy tính để xác định các vị trí
và kích thước của các khuôn mặt người trong các ảnh số bất kì. Kỹ thuật này
nhận biết các đặc trưng của khuôn mặt và bỏ qua những thứ khác xung quanh
đối tượng như: tòa nhà, cây cối, cơ thể…
1.3.3. Các phương pháp chính xác định mặt người
Dựa vào tính chất của các phương pháp xác định mặt người trên ảnh, các
phương pháp này được chia thành bốn loại chính, tương ứng với bốn hướng
tiếp cận khác nhau. Ngoài ra cũng có rất nhiều nghiên cứu mà phương pháp
xác định mặt người không chỉ dựa vào một hướng mà có liên quan đến nhiều
hướng.


17

• Hướng tiếp cận dựa trên tri thức: Dựa vào các thuật toán, mã hóa các
đặc trưng và quan hệ giữa các đặc trưng của khuôn mặt thành các luật.
Đây là hướng tiếp cận theo kiểu top-down
• Hướng tiếp cận dựa trên đặc trưng không thay đổi: Xây dựng các thuật
toán để tìm các đặc trưng của khuôn mặt mà các đặc trưng này không
thay đổi khi tư thế khuôn mặt hay vị trí đặt camera thay đổi.
• Hướng tiếp cận dựa trên so sánh khớp mẫu: Dùng các mẫu chuẩn của

khuôn mặt (các mẫu này đã được chọn và lưu trữ) để mô tả các khuôn
mặt hay các đặc trưng của khuôn mặt (các mẫu này được chọn tách biệt
theo tiêu chuẩn đã được các tác giả đề ra để so sánh). Phương pháp này
có thể dùng để xác định vị trí hay dò tìm khuôn mặt trên ảnh.
• Hướng tiếp cận dựa trên diện mạo: Trái ngược với hướng tiếp cận dựa
trên khuôn mẫu, các mô hình (hay các mẫu) sẽ được học từ một tập ảnh
huấn luyện mà thể hiện tính chất tiêu biểu của sự xuất hiện của mặt
người trong ảnh. Sau đó hệ thống (mô hình) sẽ xác định mặt người.
Phương pháp này còn được biết đến với tên gọi tiếp cận theo các phương
pháp học máy.
1.4.

Ưu điểm của việc xác định vị trí mắt

• Trích những đặc tính khuôn mặt
Đối với việc rút trích những đặc tính, mắt là đặc tính quan trọng của
khuôn mặt. Do đó, chúng ta cần nghiên cứu để tìm và xác định nó. Lý do mà
chúng ta phải nghiên cứu nó là vì:
- Mắt là nguồn thông tin quan trọng về tình trạng của con người.
- Sự xuất hiện của mắt là ít thay đổi nhất trên khuôn mắt.
- Việc biết vị trí của mắt cho phép chúng ta chỉ ra được tỷ lệ của khuôn mặt.
- Việc định vị chính xác mắt giúp ta chỉ ra được những đặc tính khác
trên khuôn mặt.


18

Từ trung tâm của mắt, chúng ta có thể xác định được những điểm
chuẩn khác.

Hình 1.3 Các điểm trên khuôn mặt
Trong đó : Khuôn mặt có 27 điểm, 13 điểm trích ra từ hình ảnh (màu xanh),
14 điểm suy luận ra (màu đỏ)
Hiện nay, có rất nhiều bài toán liên quan tới việc xác định vị trí mắt
người: Xác định trạng thái mắt nhắm hay mở (hệ thống đặt trên ô tô để kiểm
soát lái xe, hay hệ thống kiểm tra bảo vệ ngủ tại các cơ quan quan trọng, xác
định hướng nhìn của khuôn mặt dựa trên vị trí mắt, xây dựng model khuôn
mặt…


19

CHƯƠNG 2. CÁC PHƯƠNG PHÁP XÁC ĐỊNH VỊ TRÍ MẮT NGƯỜI
TRÊN KHUÔN MẶT
Trong chương này sẽ giới thiệu một số phương pháp phát hiện mắt và
xác định tọa độ của mắt trung tâm.
Mắt là một trong những chỗ tiếp xúc với những nơi biến dạng trên một
khuôn mặt (ví dụ như bằng cách biểu hiện trên khuôn mặt) và đặc biệt : một
phần khác đối mặt với thay đổi như vậy sắc nét. Tìm kiếm mắt là thao tác
chính,nó phụ thuộc tính toán thêm tham số mặt. Ví dụ về các thông số, mà có
thể xác định là: Tam giác nơi kiểm tra một khuôn mặt, đặc điểm trên khuôn
mặt, tọa độ của các mắt trung tâm và trục đối xứng khuôn mặt, khoảng cách
giữa các trung tâm của mắt.

Hình 2 . Kết quả xác định các thông số khuôn mặt
Trục đối xứng khuôn mặt có thể được xác định từ ví dụ trên cơ sở tọa
độ của các mắt trung tâm hay góc của mắt. Tuy nhiên, hiệu quả của phương
pháp phát hiện mắt (hoặc xác định tọa độ của mắt góc) là giới hạn thông qua
đôi mắt có thể đóng cửa hoặc ảnh hưởng của kính.
Có rất nhiều phương pháp tiếp cận được biết đến phát hiện mắt và xác

định tọa độ của các mắt trung tâm, dưới đây em chỉ mô tả cơ bản một số thuật
toán mà dựa trên:
• So sánh mẫu
• Phương pháp Moments
• Phương pháp chiếu
• Phương pháp Knowledge


20

2.1.

Xác định tọa độ mắt bằng cách sử dụng các so sánh mẫu

2.1.1. Phương pháp
Bằng cách sử dụng hai mô hình, một trong những nơi có thể chính xác
bản địa hoá mắt trên khuôn mặt. Ví dụ về cách tiếp cận như vậy cho thấy trên
hình 2.1 ta thấy:
1- Hình ảnh ban đầu
2- Mẫu của một phần trung tâm của khuôn mặt
3- Mẫu mắt trái của con người
4- Kết quả của địa phương hoá khu vực mặt từ mẫu 2
5- Vùng mặt, nơi mắt đã tìm thấy và kết quả xác định vị trí của mắt trái
6- Xác định mắt trung tâm bằng cách sử dụng đường chéo của hình
chữ nhật để mô tả khu vực xác định vị trí mắt.

Hình 2.1 Tìm kiếm trung tâm mắt sử dụng phương pháp so sánh mẫu
Trong ví dụ này, mắt trung tâm là giao điểm đường chéo của hình chữ
nhật trên khu vực xác định vị trí mắt. Đây cũng là trung tâm của hình chữ
nhật - điểm này được đặt ở giữa của chiều rộng và chiều cao của hình chữ

nhật. Từ kết quả này, tính chính xác độ tính toán tọa độ của mắt phụ thuộc
vào độ chính xác của việc trích vùng mắt và đối xứng của vùng liên quan với
con người được xác định vị trí mắt. Mặt khác, tính chính xác của trích chọn
của vùng mắt và đối xứng của nó phụ thuộc vào chất lượng của các mẫu và
thích nghi với mắt trên hình ảnh đưa vào.


21

Các biến thể của mẫu, nó được sử dụng xác định vị trí vùng mắt, được trình
bày trên hình 2.2
1

2

3

4

a
b
c
d

Hình 2.2 Các biến thể của các mẫu dùng xác định vị trí mắt
Trong hình 2.3 trình bày kết quả xác định vị trí của vùng mắt trên hình
ảnh khuôn mặt từ cơ sở dữ liệu ORL. Nhiều biến thể của các mẫu được sử
dụng:
- Ví dụ đầu tiên - mẫu b1 từ hình 2.2 (chiết xuất từ khuôn mặt thực), và
các mẫu nhân tạo c4 và b4 từ hình 2.2.

- Ví dụ thứ hai - mẫu nhân tạo của bộ phận trung tâm của khuôn mặt và
các mẫu c4 và c2 từ hình 2.2.
Ta có thể thấy trên hình 2.3 rằng kết quả nhận được của vùng mắt xác
định vị trí hiển thị cao hiệu quả và hữu ích thực tế của phương pháp so sánh
các mẫu (bất kể là đã lựa chọn mắt trái hoặc mắt phải).Ta có thể biết chắc
chắn rằng kết quả xác định vị trí không phụ thuộc vào biến thể của mẫu được
sử dụng. Tuy nhiên, một trong những chú ý là những trở ngại trên khuôn mặt
(mắt đóng và kính) có ảnh hưởng đáng kể vào kết quả xác định vị trí. Bên
cạnh đó, ta có thể nhận thấy thiếu đối xứng của vùng được xác định vị trí chú
ý con người của mắt. Kết quả từ đó, mà không phải luôn luôn có thể tìm thấy


22

trung tâm của mắt được rút ra trên các vùng bằng phương tiện chính giữa của
hình chữ nhật.
Do đó, để xác định tọa độ trung tâm của mắt nói chung trong trường hợp là
cần thiết sau các bước:
1. Sử dụng các mẫu giống nhau như hình dạng của mắt người;
2. Thay đổi thủ tục tìm vùng mắt;
3. Sử dụng thêm toán tử xác định vị trí của mắt trung tâm bên trong các
khu vực được xác định.
Mẫu

1

2

3

Hình 2.3 Kết quả xác định vị trí của vùng mắt

4


23

Ảnh hưởng của hình dạng mẫu trên kết quả xác định vị trí của mắt (đối
xứng của vùng mắt ) được trình bày trên hình 2.4, nơi mà mẫu b4 từ hình 2.2
đã được sử dụng để xác định vị trí của mắt.
Hình 2.4 cho thấy kết quả xác định vị trí của vùng mắt và tìm kiếm trung
tâm mắt bằng cách sử dụng mẫu b4 cho khuôn mặt mà không có kính là tốt
hơn nhiều so với kết quả giới thiệu vào hình 2.3. Hầu như trong mọi mẫu học
sinh được đặt ở trung tâm của khu vực được giải nén. Cho rằng lý do xác định
tọa độ trung tâm của mắt có thể được thực hiện trên cơ sở ước lượng trung
tâm của khu vực chiết xuất.
Hầu hết các mẫu giống nhau như hình dạng của mắt người tự nhiên có
thể được tìm thấy trong kỹ thuật văn học dành những vấn đề của biểu thức
phân tích (khuôn mặt biểu thức phân tích).

Hình 2.4. Kết quả xác định vị trí của mắt bằng việc sử dụng mẫu b4
Thêm các toán tử xác định vị trí của vùng mắt trung tâm bên trong các
khu vực được giải nén có thể dựa vào: hai giai đoạn (ba giai đoạn) tìm thủ tục
tương tự vào thuật toán được trình bày trên hình 2.1, kim tự tháp của hình ảnh
đầu vào, thủ tục sử dụng nhiều mẫu, tìm kiếm dọc theo các khu vực mắt xoắn


24

ốc bằng phương tiện của các mẫu, sử dụng sự tương quan lẫn nhau giữa các

mẫu và khu vực dưới nó.
Thay đổi tìm kiếm quá trình của vùng mắt trên khuôn mặt có thể dựa vào
thủ tục hai giai đoạn, nơi vào giai đoạn đầu tiên của mắt được tính toán, giai
đoạn sau tìm kiếm mắt dọc theo dòng này - độ lệch từ dòng mắt trong tìm
kiếm quá trình ± 5 điểm ảnh không thể lớn hơn.
Kết quả tìm kiếm vùng mắt nghĩa là sử dụng hai giai đoạn dùng mô hình
c4 được trình bày trên hình 2.5, nơi đường ngang dòng mắt, và vùng được
giải nén mắt được đánh dấu bằng các hình chữ nhật. Trên hình ta có thể thấy
rằng mặc dù sử dụng các mẫu không tốt nhất (mẫu c4) có thể nhận được kết
quả rất tốt xác định vị trí của mắt.

Hình 2.5 Trích chọn vùng mắt trái bằng cách xử lý hai giai đoạn
Ta thấy rằng, trong ví dụ trình bày tọa độ dọc theo 10% độ dài khuôn
mặt. Vì lý do đó mà sự so sánh trong trình tự hai giai đoạn được xem như là
nhỏ hơn trình tự một giai đoạn nơi mà phối hợp dọc theo trục Y thay đổi trong
phạm vi 40% của chiều dài khuôn mặt.


25

2.1.2. Những thuận lợi và khó khăn xác định vị trí mắt khi sử dụng
phương pháp so sánh mẫu
• Bất lợi chính của phương pháp được mô tả này là không thể xác định vị
trí chính xác tọa độ của mắt trong trường hợp người đeo kính hoặc mắt
nhắm.
• Lợi thế của phương pháp này là nhận thức là đơn giản, hơn thế nữa
được thực hiện trên cơ sở các ứng dụng định kỳ duy nhất của một thủ
tục.
2.2.

Xác định tọa độ mắt sử dụng phương pháp Moments
Phương pháp của thời điểm được sử dụng để xác định tọa độ trọng tâm

của khu vực gần nhất, ví dụ trích ra vùng mắt.
Nếu hình ảnh nhập vào là tập tin ảnh nhị phân, sau đó trọng tâm của khu
vực được giải nén có thể tính toán. Như hình ảnh có thể xuất hiện, ví dụ như
là kết quả lượng tử hóa và phân khúc của màu sắc hình ảnh và hình ảnh trước
khi sử dụng trung bình lọc. Trong trường hợp của hình ảnh nhị phân mà
không có tiếng ồn trọng tâm của khu vực được giải nén có thể xác định bằng
tính toán khác.
Ý tưởng về ứng dụng giới thiệu phương pháp để xác định tọa độ của
trọng tâm vào hình ảnh nhị phân mà không có tiếng ồn được trình bày trên
hình 2.6.
Input image

1

2

3

Hình 2.6 Xác định tọa độ trung tâm của lực hấp dẫn trên hình ảnh nhị phân