Thiết kế hệ thống nhận dạng thông tin sinh trắc

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
---------------------------------------

Trần Văn Hùng

THIẾT KẾ HỆ THỐNG NHẬN DẠNG
THÔNG TIN SINH TRẮC

LUẬN VĂN THẠC SĨ KHOA HỌC
CHUYÊN NGÀNH ĐO LƯỜNG VÀ CÁC HỆ THỐNG ĐIỀU KHIỂN

NGƯỜI HƯỚNG DẪN KHOA HỌC :
1. PGS. TSKH TRẦN HOÀI LINH

Hà Nội - 2011


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
---------------------------------------

Trần Văn Hùng

THIẾT KẾ HỆ THỐNG NHẬN DẠNG
THÔNG TIN SINH TRẮC

CHUYÊN NGÀNH: ĐO LƯỜNG VÀ CÁC HỆ THỐNG ĐIỀU KHIỂN

LUẬN VĂN THẠC SĨ KHOA HỌC
CHUYÊN NGÀNH ĐO LƯỜNG VÀ CÁC HỆ THỐNG ĐIỀU KHIỂN

NGƯỜI HƯỚNG DẪN KHOA HỌC :
1. PGS. TSKH TRẦN HOÀI LINH

Hà Nội - 2011


MỤC LỤC
CHƯƠNG 1: GIỚI THIỆU CHUNG..............................................................................6
CHƯƠNG 2: TỔNG QUAN VỀ NHẬN DẠNG THÔNG TIN SINH TRẮC ..............9
2.1. Nhận dạng vân tay.................................................................................................9
2.1.1. Các tính chất cơ bản của vân tay....................................................................9
2.1.2. Hình thức thể hiện và các đặc tả của vân tay ...............................................10
2.1.3. Khó khăn gặp phải khi nhận dạng vân tay ...................................................11
2.2. Nhận dạng bàn tay...............................................................................................12
2.2.1. Tổng quan về các kết quả và ứng dụng........................................................12
2.2.2 Những khó khăn của bài toán nhận dạng bàn tay và cách khắc phục...........12
2.3. Nhận dạng mặt người..........................................................................................13
CHƯƠNG 3: PHÂN TÍCH HỆ THỐNG VÀ CƠ SỞ LÝ THUYẾT............................15
3.1. Phân tích hệ thống...............................................................................................15
3.2. Cơ sở lý thuyết ....................................................................................................16
3.2.1. Đại cương về ảnh số và xử lý ảnh số bằng Matlab ......................................16
3.2.1.1. Ảnh số ...................................................................................................16
3.2.1.2. Xử lý ảnh số sử dụng Matlab ................................................................17
3.2.2. Cơ sở lý thuyết về nhận dạng vân tay ..........................................................18
3.2.3. Cơ sở lý thuyết về nhận dạng bàn tay ..........................................................19
3.2.3.1. Nhận dạng bàn tay dựa trên các đặc tính hình học ...............................19
3.2.3.2. Nhận dạng bàn tay dựa trên các đặc tính của vân bàn tay ....................20
3.2.3.3. Mô hình đề xuất ....................................................................................21
3.2.4. Cơ sở lý thuyết về nhận dạng khuôn mặt.....................................................22

3.2.4.1. Nhận dạng dựa trên mối quan hệ giữa các phần tử (Feature Based) ....22
3.2.4.2. Nhận dạng dựa trên xét toàn diện khuôn mặt (Appearance Based)......23
CHƯƠNG 4: NHẬN DẠNG VÂN TAY ......................................................................24
4.1. Trích chọn minutiae cho đối sánh vân tay ..........................................................24
4.1.1. Chuẩn hóa ảnh đầu vào ................................................................................25
4.1.1.1. Chuẩn hóa kích thước ảnh.....................................................................25
4.1.1.2. Cân bằng cường độ sáng của ảnh..........................................................25
4.1.2. Tăng cường chất lượng ảnh..........................................................................25
4.1.3. Ước lượng orientation image và khoanh vùng ảnh vân tay .........................27
4.1.3.1. Ước lượng orientation image ................................................................27
4.1.3.2. Khoanh vùng ảnh vân tay......................................................................28
4.1.4. Trích chọn minutiae .....................................................................................29

1


4.1.4.1. Nhị phân hóa và làm mảnh đường vân .................................................30
4.1.4.2. Phát hiện minutiae.................................................................................31
4.1.4.3. Ước lượng khoảng cách đường vân ......................................................31
4.1.5. Hiệu chỉnh đường vân và lọc minutiae sai...................................................32
4.1.5.1. Hiệu chỉnh đường vân và lọc minutiae sai cấp một ..............................32
4.1.5.2. Lọc minutiae sai cấp hai và tạo mã từ minutiae....................................34
4.2. Phân loại kiểu vân tay .........................................................................................34
4.2.1. Trích chọn đặc tính.......................................................................................36
4.2.2. Tạo vec-tơ đặc tính.......................................................................................37
4.2.3. Khâu phân loại kiểu vân tay.........................................................................38
4.3. Đối chiếu vân tay để nhận dạng mẫu .................................................................39
4.3.1. Khớp mẫu hai mẫu vân tay ..........................................................................40
4.3.2. Đối sánh vân tay...........................................................................................41
CHƯƠNG 5: NHẬN DẠNG BÀN TAY VÀ MẶT NGƯỜI........................................42

5.1. Tiền xử lý ảnh .....................................................................................................42
5.1.1. Ảnh bàn tay ..................................................................................................42
5.1.1.1. Phân vùng ảnh .......................................................................................42
5.1.1.2. Tìm các điểm đặc biệt ...........................................................................44
5.1.1.3. Dời ảnh và quay ảnh .............................................................................44
5.1.1.4. Loại bỏ phần cổ tay và tiến hành chuẩn hóa .........................................50
5.1.2. Ảnh mặt người .............................................................................................52
5.1.2.1. Tách mặt người trong ảnh số ................................................................52
5.1.2.2. Chuẩn hóa ảnh.......................................................................................53
5.2. Trích chọn đặc tính..............................................................................................58
5.2.1. Trích chọn đặc tính ảnh bàn tay ...................................................................58
5.2.1.1. Phương pháp PCA (Principal Component Analysis)............................58
5.2.1.2. Phương pháp ICA (Independent Component Analysis) .......................60
5.2.1.3. Phương pháp ART (Axial Radial Transform) ......................................63
5.2.2. Trích chọn đặc tính ảnh mặt người ..............................................................64
*Trích chọn đặc tính bằng phương pháp PCA...................................................65
5.2.2.1. Quá trình học.........................................................................................66
5.2.2.2. Quá trình tạo đặc tính............................................................................70
5.3. Nhận dạng ...........................................................................................................70
5.3.1. Nhận dạng bàn tay........................................................................................70
5.3.2. Nhận dạng mặt người...................................................................................71
CHƯƠNG 6: KẾT QUẢ TRIỂN KHAI ........................................................................73

2


6.1. Nhận dạng vân tay...............................................................................................73
6.1.1. Giao diện ......................................................................................................73
6.1.2. Kết quả nhận dạng.......................................................................................73
6.2. Nhận dạng bàn tay...............................................................................................74

6.2.1. Giao diện ......................................................................................................74
6.2.2. Kết quả nhận dạng........................................................................................74
6.3. Nhận dạng khuôn mặt .........................................................................................75
6.3.1. Giao diện ......................................................................................................75
6.3.2. Kết quả nhận dạng........................................................................................76
CHƯƠNG 7: TỔNG KẾT VÀ HƯỚNG PHÁT TRIỂN...............................................78
7.1. Tổng kết ..............................................................................................................78
7.1.1. Các kết quả thu nhận được...........................................................................78
7.1.2. Hạn chế.........................................................................................................78
7.2. Hướng phát triển .................................................................................................79
TÀI LIỆU THAM KHẢO..............................................................................................80

3


DANH MỤC HÌNH ẢNH
Hình-2. 1: Đóng góp của các ngành trong sinh trắc học..................................................9
Hình-2. 2: Vân tay thể hiện ở cấp độ very-fine : các sweat pores được khoanh tròn,...10
Hình-2. 3: Vân tay thể hiện trong cấp độ global............................................................11
Hình-2. 4: Hai dạng minutiae quan trọng ......................................................................11
Hình-2. 5: Một số khó khăn gặp phải trong nhận dạng bàn tay.....................................13
Hình-3. 1: Mô hình tổng quát 2 khối chính của các hệ thống........................................15
Hình-3. 2: Sơ đồ khối phần mềm các hệ thống nhận dạng ............................................15
Hình-3. 3: Biểu diễn ảnh số............................................................................................16
Hình-3. 4: Tạo mã vân tay..............................................................................................19
Hình-3. 5: Một số đặc tính hình học của bàn tay. ..........................................................20
Hình-3. 6: Vân bàn tay ...................................................................................................21
Hình-4. 1: Thuật toán trích chọn minutiae.....................................................................24
Hình-4. 2: Tăng cường ảnh ............................................................................................26
Hình-4. 3: Ước lượng orientation image........................................................................28

Hình-4. 4: Khoanh vùng ảnh vân tay .............................................................................29
Hình-4. 5: Thông số của hai dạng minutiae quan trọng.................................................30
Hình-4. 6: Nhị phân hóa và làm mảnh đường vân .........................................................30
Hình-4. 7: Phát hiện minutiae ........................................................................................31
Hình-4. 8: Số minutiae phát hiện được ..........................................................................33
Hình-4. 9: Lọc các minutiae...........................................................................................33
Hình-4. 10: Các minutiae được trích chọn cuối để tạo mã ............................................34
Hình-4. 11: Năm kiểu vân tay trong thực tế...................................................................35
Hình-4. 12: Sơ đồ khối mô tả thuật toán phân loại vân tay ...........................................36
Hình-4. 13: Phương pháp chỉ số Poincaré......................................................................36
Hình-4. 14: Lấy đặc tính cho phân loại..........................................................................38
Hình-4. 15: Kết quả cây quyết định của bài toán phân loại kiểu vân. ...........................38
Hình-4. 16: Đối chiếu vân tay dựa trên cơ sở minutiae. ................................................40
Hình-4. 17: Khớp mẫu từng đối tượng...........................................................................41
Hình-5. 1: Quá trình phân vùng ảnh ..............................................................................43
Hình-5. 2: Một số điểm đặc biệt trên đường viền bàn tay. ............................................44
Hình-5. 3: Tách các ngón tay, xác định các trục, điểm privot của ngón tay..................45

4


Hình-5. 4: Chiều dài ngón giữa, độ rộng lòng bàn tay và các điểm pivot .....................47
Hình-5. 5: Thuật toán thực hiện hiệu chỉnh các điểm pivot...........................................48
Hình-5. 6: Xử lý ngón cái ..............................................................................................50
Hình-5. 7: Các bước loại bỏ phần cổ tay sử đụng đường xoắn ốc Euler .......................51
Hình-5. 8: Chuẩn hóa góc định hướng các ngón tay......................................................51
Hình-5. 9: Tách ảnh vân bàn tay ....................................................................................52
Hình-5. 10: Quá trình thu thập và tách đối tượng khỏi ảnh ...........................................53
Hình-5. 11: Khối chuẩn hóa ảnh ....................................................................................54
Hình-5. 12: Xác định vùng mắt bằng phân tích lược đồ mức xám................................54

Hình-5. 13: Quá trình đặt ngưỡng tách vùng mắt ..........................................................55
Hình-5. 14: Xác định góc nghiêng của khuôn mặt dựa trên tâm mắt ............................56
Hình-5. 15: Xoay chuẩn đối tượng theo góc α .............................................................57
Hình-5. 16: Kết quả cân bằng mức xám ........................................................................58
Hình-5. 17: Số phần tử đường viền được lựa chọn giữa các điểm mốc ........................59
Hình-5. 18: ICA1 đối với bàn tay thứ i ..........................................................................61
Hình-5. 19: ICA2 đối với bàn tay thứ i .........................................................................62
Hình-5. 20: Các phần của hàm ART cơ bản ..................................................................63
Hình-5. 21: Sơ đồ khối trích chọn đặc tính sử dụng PCA .............................................66
Hình-5. 22: Chuẩn hóa ma trận ảnh ...............................................................................67
Hình-5. 23: Trung bình ảnh của các tập dữ liệu học......................................................68
Hình-5. 24: Khôi phục ảnh từ các vec-tơ đặc tính .........................................................70
Hình-6. 1: Giao diện thực hiện trích chọn đặc tính và nhận dạng vân tay.....................73
Hình-6. 2: Giao diện chương trình nhận dạng bàn tay ..................................................74
Hình-6. 4: Giao diện chương trình nhận dạng mặt người ..............................................76

5


Chương 1: Giới thiệu chung

CHƯƠNG 1: GIỚI THIỆU CHUNG
Khái niệm sinh trắc học ra đời từ rất lâu với những hình thức đơn sơ ban đầu như
điểm chỉ. Vài thập kỉ gần đây, cùng với sự phát triển vũ bão của khoa học máy tính,
sinh trắc học ngày càng trở nên phong phú, đa dạng với nhiều lĩnh vực và ứng dụng
trong thực tế.
Nhận dạng sinh trắc học ngày càng được ứng dụng một cách phổ biến và nó có vị
trí rất quan trọng trong khoa học nhận dạng, với nhiều lĩnh vực của cuộc sống đặc
biệt là trong an ninh và bảo mật. Trong đó các bộ phận nổi bật của nhận dạng sinh
trắc học có thể kể tới là: nhận dạng vân tay; nhận dạng mặt người và nhận dạng bàn

tay. Ngoài ra có thể kể đến nhận dạng vân mắt; giọng nói, chữ ký …
Nhận dạng vân tay được xem như là bộ phận tiên phong và phổ dụng nhất của
nhận dạng sinh trắc học. Việc tiến hành thu thập mẫu vân tay cũng tương đối đơn
giản hơn so với các loại khác. Vân tay dùng để nhận dạng thường bị ảnh hưởng
nhiều bởi điều kiện thu thập số liệu như hình ảnh vân tay không trọn vẹn, bị xoay
góc, méo hay có nhiều nhiễu…. Do đó việc so sánh trực tiếp hai mẫu vân tay sẽ rất
phức tạp và khó khăn. Do đó các mẫu vân tay cần được tiến hành lọc nhiễu, sau đó
tạo mã từ một số các đặc tính của nó (có thể phân biệt với mẫu khác) nhằm mục
đích giải quyết vấn đề xử lý, lưu trữ vân tay với số lượng lớn mà vẫn đảm bảo chính
xác.
Các kỹ thuật nhận vân tay cũng có khá nhiều. Trong đó tiêu biểu có 3 phương
pháp sau:
• Sử dụng đặc trưng tương quan của hai mẫu. Xếp chồng trực tiếp hai mẫu này
và dựa vào tương quan giữa các pixel để tính toán sự khác nhau giữa hai mẫu.
• Phát hiện và sử dụng các điểm nút đặc trưng.
• Sử dụng các đặc trưng về đường vân. Đường vân của các mẫu được trích ra
khỏi ảnh ban đầu rồi so sánh giữa chúng.
Trong luận văn này, ta sử dụng phương pháp thứ hai để nhận dạng vân tay. Nhìn
chung, quá trình này trải qua ba công đoạn chính: thu nhận ảnh vân tay (i); trích
chọn đặc tính (ii); đối sánh vân tay (iii). Bởi vì ngay trong từng công đoạn này lại

6


Chương 1: Giới thiệu chung

có nhiều biện pháp khác nhau, tùy vào ngữ cảnh và vùng ứng dụng các khâu này sẽ
thực hiện theo cách thức cụ thể.
Luận văn sẽ sử dụng bộ mẫu chuẩn vân tay FVC200 - bộ dữ liệu chuẩn quốc tế
xây dựng bởi phòng thí nghiêm hệ thống sinh trắc, đại học Bologna.

Trong luận văn, phần nhận dạng vân tay sẽ được tập trung vào 2 nội dung chính:
• Tạo vec-tơ đặc tính cho mục đích phân loại kiểu vân tay và cho đối sánh
(feature extraction).
• Sử dụng các điểm đặc tính đã trích chọn bước trước để đối sánh nhận dạng
vân tay (matching).
Trong số các lĩnh vực của sinh trắc học thì nhận dạng bàn tay là một lĩnh vực
khá mới mẻ. Mặc dù không thể đạt đến độ tin cậy cao cũng như có nhiều ứng dụng
thực tiễn như nhận dạng vân tay và một số lĩnh vực nhận dạng sinh trắc học khác
nhưng so với các lĩnh vực nhận dạng sinh trắc học này thì nhận dạng bàn tay có một
số ưu điểm nổi bật như: cách lấy mẫu tương đối đơn giản và thân thiện với người
dùng,…
Với độ chính xác tương đối, những kết quả đạt được của nhận dạng bàn tay chủ
yếu được ứng dụng trong các mục đích dân sự như quản lý, chấm công hay an ninh
trong các nhà máy, văn phòng với quy mô vừa và nhỏ. Đây là những ứng dụng có
triển vọng với nhu cầu ngày càng tăng cao.
Trong luận văn này, việc tìm hiểu về nhận dạng bàn tay cũng không nằm ngoài
mục đích hướng đến những ứng dụng có tính thực tiễn của nó. Nội dung sẽ chủ yếu
tập trung vào các quá trình cơ bản của một hệ thống nhận dạng bàn tay bao gồm:
Thu thập ảnh, chuyển đổi chuẩn hóa, trích chọn đặc tính và nhận dạng.
Các phương pháp nhận dạng vân tay và bàn tay vừa nêu trên tuy có độ chính xác
khá cao, tuy nhiên chúng có những khó khăn nhất định:
• Các hệ thống trên đòi hỏi người sử dụng phải tiếp xúc trực tiếp với hệ thống,
người đó ý thức được rằng mình đang được nhận dạng.
• Với các hệ thống thẻ xác nhận, người nhận biết yêu cầu phải có thẻ, điều này
chỉ có thể áp dụng với các thành viên thường xuyên ra vào hệ thống.

7


Chương 1: Giới thiệu chung

• Với các hệ thống vân tay,… không phải bao giờ ta cũng có thể lấy được mẫu
của đối tượng.
• Nhận dạng dựa vào vân tay, bàn tay, thẻ xác nhận,… không phải là cách tự
nhiên mà con người sử dụng để nhận biết.
Do vậy nhận dạng khuôn mặt cũng được quan tâm nghiên cứu. Và mặc dù nó
không đạt được độ chính xác cao như các phương pháp trên, nhưng nhận dạng
khuôn mặt vẫn luôn nhận được nhiều sự quan tâm của khoa học vì một số các lý do
như sau:
• Nó gắn liền với cách mà con người nhận biết.
• Giám sát được đối tượng một cách kín đáo.
• Các thuật toán phức tạp được hỗ trợ bởi các hệ máy tính có tốc độ cao.
• …
Nhận dạng khuôn mặt ngoại tuyến đã có nhiều công trình công bố và các thuật
toán có độ chính xác tương đối cao. Tuy nhiên để kết hợp với các hệ thống khác
nhằm tạo ra một hệ thống nhận dạng trực tuyến thì vẫn còn hạn chế. Hệ thống nhận
dạng mặt người trực tuyến sẽ mang lại thêm một giải pháp kiểm soát an ninh phù
hợp với các điều kiện mà các hệ thống nhận dạng khác không thỏa mãn được.
Luận văn được trình bày theo cấu trúc sau:
Chương 1: Giới thiệu chung.
Chương 2: Tổng quan về nhận dạng thông tin sinh trắc. Trình bày tổng quan về
các hệ thống nhận dạng sinh trắc học, đặc điểm của từng khối. Nêu ra một số kết
quả ứng dụng trong thực tế và các khó khăn gặp phải trong quá trình nhận dạng.
Chương 3: Phân tích hệ thống và cơ sở lý thuyết.
Chương 4: Phân tích và thiết kế hệ thống nhận dạng vân tay.
Chương 5: Phân tích và thiết kế hệ thống nhận dạng mặt người và bàn tay.
Chương 6: Các kết quả triển khai. Bao gồm việc tổng hợp chương trình nhận
dạng chính. Trình bày về số liệu dùng để kiểm tra và kết quả chạy.
Chương 7: Kết luận và hướng phát triển.

8


Chương 2: Tổng quan

CHƯƠNG 2: TỔNG QUAN VỀ NHẬN DẠNG THÔNG TIN SINH TRẮC
Chương này sẽ trình bày tổng quan về các hệ thống nhận dạng bao gồm: vân
tay, mặt người và bàn tay. Nhưng trước hết ta sẽ xem vị trí của các thông tin sinh
trắc học trong tương quan ứng dụng thực tế của chúng như thế nào, và hình 2.1 là
biểu đồ tương quan theo số liệu thống kê International Biometric Group, 2002:

Đóng góp(%)
52.1
50
40
30
20
13.2

12.4

10

10

5.8

4.4

2.1

0
Fingerprint

Face

Hand

Iris

Voice Signature Middleware

Hình-2. 1: Đóng góp của các nghành trong sinh trắc học

2.1. Nhận dạng vân tay [9,19,27]
2.1.1. Các tính chất cơ bản của vân tay
Vân tay ngày nay đã trở thành thông tin sinh trắc phổ biến và hữu dụng nhất
trong các ứng dụng nhận dạng và định danh con người. Với các tính chất cơ bản
sau:
• Tính “phổ thông”, mọi người đều có.
• Tính cá nhân và không lặp lại.
•

Tính “bất biến” tương đối.

9


Chương 2: Tổng quan

2.1.2. Hình thức thể hiện và các đặc tả của vân tay
Nhằm mục đích mô tả người ta đã định nghĩa một số hình thức thể hiện vân
tay. Mỗi một trường hợp thể hiện thì sẽ có hình thức trích chọn đặc tả vân tay tương
ứng. Vì vậy, căn cứ vào ảnh vân tay đầu vào chúng ta có thể lựa chọn được đặc tính
cần trích chọn và dự kiến phương án nhận dạng.

Hình-2. 2: Vân tay thể hiện ở cấp độ very-fine : các sweat pores được khoanh tròn,
điểm vân chẽ ba (bifurcation) và vân cụt (termination) đánh dấu hình tròn.

Hình thức thể hiện vân tay được chia thành ba cấp độ:
• Global: Thể hiện tổng thể vân tay.
• Local: Thể hiện vân tay cục bộ.
• Very-fine: Thể hiện tạo hình nên đường vân - sweat pores.
Đối với cấp độ very-fine thì đòi hỏi các phương tiện xử lý tốn kém cũng như các
yêu cầu đặc biệt khác mà khó có thể ứng dụng trong dân sự. Ta sẽ tìm hiểu sâu hơn
các đặc trưng vân tay ở hai cấp độ đầu.
Ở cấp độ global, đặc trưng vân tay liên quan nhiều đến sự tạo hình của đường
vân và các điểm kỳ dị (singular), chúng bao gồm: loop (đường vân tạo vòng xoáy
hở), delta (đường vân tạo hình tam giác). Điểm kỳ dị có vai trò quan trọng trong
việc thực hiện phân loại vân tay và tổ chức, xây dựng cơ sở dữ liệu.

10


Chương 2: Tổng quan

a)

b)

d)

c)

e)

Hình-2. 3: Vân tay thể hiện trong cấp độ global
a) arch; b) whorl; c) tented arch; d) left loop; e) right loop; hình vuông đánh dấu điểm
loop, hình tam giác đánh dấu điểm delta.

Ở mức độ cục bộ, các đặc trưng của vân tay được gọi là minutiae. Hai đặc trưng
cơ bản và nổi trội hơn cả là ride temination và ridge bifurcation (cũng được gọi tắt
là minutiae)

a)

b)

Hình-2. 4: Hai dạng minutiae quan trọng
a) ridge termination; b) ridge bifurcation

2.1.3. Khó khăn gặp phải khi nhận dạng vân tay
• Vân tay thu nhận trong điều kiện “khô” (Dry finger): do lực ấn nhẹ hoặc mực in
không đủ làm cho đường vân bị mờ hoặc bị lẫn với nền ảnh.

11


Chương 2: Tổng quan

• Vân tay thu nhận trong điều kiện “ướt” (Wet finger): do lực ấn mạnh hoặc mực
in quá nhiều làm cho đường vân bị dính liền.
• Vân tay thu nhận trong điều kiện bị biến dạng: ảnh thu nhận có các đường vân bị
bóp méo không còn giống với mẫu thực do lực ấn, kéo và xê dịch tay.
• Vân tay thu thập không đầy đủ: ảnh thu thập được chỉ có một phần vân tay trên
ngón tay. Nguyên nhân chính là do ngón tay đặt không đúng vị trí chuẩn.

2.2. Nhận dạng bàn tay [1,2,4,5,29]
2.2.1. Tổng quan về các kết quả và ứng dụng
Những đề tài nghiên cứu về nhận dạng bàn tay có thể dựa vào các đặc tính hình
học như các kích thước hình học của bàn tay hay đường viền bàn tay, cũng có thể
dựa vào các đặc tính của vân bàn tay. Một số đề tài nghiên cứu kết hợp cả hai
hướng trên, nhận dạng dựa vào cả đặc tính hình học lẫn đặc tính vân bàn tay.
Phần lớn các đề tài nghiên cứu về nhận dạng bàn tay đều dựa vào các đặc tính
hình học. Có thể kể đến một số đề tài khá thành công như [1,12,13,15], ... Trong số
các đề tài này, mỗi đề tài đi theo một hướng khác nhau, các giải pháp khác nhau và
đều có ưu nhược điểm của nó nhưng có lẽ thành công nhất vẫn là đề tài của Arun
Ross bởi tính ứng dụng thực tế rất cao, một số sản phẩm có tiếng đều sử dụng
phương pháp này.
Đề tài [15] sử dụng hai kỹ thuật chính là “ước lượng thông số”, nhằm cố định các
điều kiện ánh sáng của thiết bị, sự xuất hiện của nhiễu và màu da, và “kỹ thuật cửa
sổ” (windowing technique) sử dụng phép tiếp cận nghiệm suy để tính toán các đặc
tính bàn tay. Một số đề tài nghiên cứu khác dựa vào các đặc tính của vân bàn tay
như [8,16,24], ,… Có một số đề tài đã kết hợp cả các đặc tính hình học với đặc tính
vân bàn tay như [25,26]
2.2.2 Những khó khăn của bài toán nhận dạng bàn tay và cách khắc phục
• Ngón tay có đeo nhẫn, làm ảnh hưởng đến quá trình phân vùng ảnh, nhưng vấn
đề này có thể khắc phục được bằng phần mềm.

12

Chương 2: Tổng quan

• Sự thay đổi khối lượng cơ thể làm cho hình dáng hình học của bàn tay thay đổi.
Vấn đề này có thể khắc phục bằng cách thường xuyên cập nhật cơ sở dữ liệu.
• Các chấn thương ở bàn tay cũng làm thay đổi hình dạng bàn tay hoặc vân bàn
tay. Khắc phục bằng cách kết hợp với một biện pháp khác như gõ mật khẩu, mã
PIN.

(a)

(b)

Hình-2. 5: Một số khó khăn gặp phải trong nhận dạng bàn tay
a) Sự xuất hiện của nhẫn đeo tay; b) Ánh sáng không tốt và chấn thương đầu ngón tay
trỏ.

2.3. Nhận dạng mặt người [3,10,11,28]
Hiện nay nhiều phương pháp đã được đưa ra phục vụ cho nhận dạng khuôn mặt
và đã đạt được độ tin cậy nhất định khi kiểm tra bằng các hệ thống nhận dạng ngoại
tuyến. Tuy nhiên nếu áp dụng cho hệ thống trực tuyến, kết quả thu được chưa cao.
Lý do dẫn đến kết quả đó, phần lớn là do tác động của điều kiện xung quanh. Chẳng
hạn như:
• Ánh sáng: khi ánh sáng thay đổi, thông tin về đối tượng sẽ bị ảnh hưởng.
• Cự ly của đối tượng tới camera: khoảng cách đối tượng so với camera sẽ xác
định số pixel ảnh quy định nên khuôn mặt.

13

Chương 2: Tổng quan

• Cảm xúc biểu cảm trên khuôn mặt: các nét biểu cảm cảm xúc trên khuôn mặt
gây ra nhiễu, việc loại nhiễu này vẫn chưa có phương pháp hiệu quả.
• Tư thế đứng của đối tượng (nghiêng, xoay,…): tư thế của đối tượng sẽ xác
định thông tin của đối tượng đó. Việc tư thế thay đổi quá lớn sẽ làm thay phần
lớn thông tin về đối tượng, dẫn đến kết quả nhận dạng sai.
• Trang phục của đối tượng: Kết quả nhận dạng có thể bị ảnh hưởng lớn nếu
như đối tượng có các trang phục khác biệt so với mẫu như đeo kính, đội mũ,...
Vì vậy đối với các hệ thống nhận dạng trực tuyến thì cần có các yêu cầu như: ánh
sáng ổn định, tư thế của đối tượng là tương đối thẳng, cự ly từ đối tượng đến camera
được quy định cụ thể, ….

14


Chương 3:Phân tích hệ thống và cơ sở lý thuyết

CHƯƠNG 3: PHÂN TÍCH HỆ THỐNG VÀ CƠ SỞ LÝ THUYẾT
3.1. Phân tích hệ thống
Thông thường hệ thống bao gồm phần thu thập ảnh bằng các thiết bị số và phần
xử lý ảnh số để đưa ra kết quả nhận dạng. Sơ đồ khối tổng quát của các hệ thống
như sau:

Hình-3. 1: Mô hình tổng quát 2 khối chính của các hệ thống

Phần mềm chủ yếu là được viết đối với khối Xủ lý ảnh.

Hình-3. 2: Sơ đồ khối phần mềm các hệ thống nhận dạng

15


Chương 3:Phân tích hệ thống và cơ sở lý thuyết

Luận văn sẽ tập trung vào phần chính là phần xử lý và nhận dạng, còn phần thu
thập ảnh sẽ sử dụng các bộ mẫu ảnh sẵn có. Các bộ ảnh mẫu này có thể là các bộ
ảnh cơ sở dữ liệu mẫu lấy từ nguồn Internet hoặc các bộ ảnh tự tạo của các bạn sinh
viên.
3.2. Cơ sở lý thuyết
3.2.1. Đại cương về ảnh số và xử lý ảnh số bằng Matlab
3.2.1.1. Ảnh số
Một ảnh có thể được định nghĩa bởi một hàm hai chiều f(x,y), trong đó x và y là
các toạ độ trong không gian; biên độ của f tại cặp tọa độ (x,y) được gọi là cường độ
sáng của ảnh tại điểm đó.
Một ảnh có thể liên tục đối với tọa độ x,y cũng như liên tục với biên độ. Việc
chuyển đổi ảnh sang dạng số đòi hỏi phải số hoá cả về tọa độ lẫn biên độ của ảnh.
Số hoá giá trị toạ độ được gọi là lấy mẫu, số hoá giá trị biên độ được gọi là lượng tử
hoá. Vì vậy, khi toạ độ x, y và giá trị biên độ của hàm f được lấy mẫu và lượng tử
hoá thì chúng ta gọi ảnh đó là ảnh số.

⎡f(1,1) f(1,2) L f(1,N)⎤
⎢f(2,1) f(2,2) L f(2,N)⎥
⎥
f=⎢
⎢
M
M
M ⎥

⎢
⎥
⎣f(M,1) f(M,2) L f(M,N)⎦

a)

b)
Hình-3. 3: Biểu diễn ảnh số.

a) hệ trục tọa độ trong Image Processing Toolbox; b) ma-trận biểu diễn ảnh số

16


Chương 3:Phân tích hệ thống và cơ sở lý thuyết

Trong biểu diễn số của các ảnh đa mức, một ảnh được biểu diễn dưới dạng một
ma trận hai chiều cỡ M x N. Mỗi phần tử của ma trận biểu diễn cho mức xám hay
cường độ ảnh tại vị trí đó. Mỗi phần tử trong ma trận được gọi là một phần tử ảnh
thông thường được kí hiệu là PEL (Picture Element) hoặc pixel. Mỗi pixel tương
ứng với một cặp tọa độ (x, y). Tọa độ (x, y) tạo nên độ phân giải của ảnh. Một ảnh
phức tạp là tập hợp của nhiều điểm ảnh.
Với ảnh đen trắng (ảnh nhị phân), các pixel được lưu trữ bằng 1 bit. Cường độ
ảnh I chỉ có thể là một trong hai giá trị 0 hoặc 1, I [i, j ] ∈ [0,1] . Ứng với giá trị 0 là
các điểm đen, với giá trị một là các điểm trắng.
Với ảnh xám, các pixel sẽ được mã hoá bằng 8 bit, 16 bit,…tương ứng với 256,
65536,… mức. Mỗi mức tương ứng với mức cường độ sáng nhất định.
Với ảnh màu: Có nhiều loại ảnh màu, trong đó phổ biến nhất là ảnh màu RGB.
Cách biểu diễn cũng tương tự như với ảnh xám, chỉ khác là các số tại mỗi phần tử
của ma trận biểu diễn ba màu riêng biệt gồm: đỏ (Red - R), lục (Green - G) và lam

(Blue - B). Ví dụ để biểu diễn cho ba màu riêng rẽ cần 24 bit thì 24 bit này sẽ được
chia thành ba khoảng 8 bit. Mỗi khoảng này biểu diễn cho cường độ sáng của một
trong ba màu chính.
Có thể chuyển đổi giữa các hệ màu: từ ảnh màu chuyển thành ảnh xám hoặc từ
ảnh xám chuyển thành ảnh đen trắng. Việc chuyển đổi này nhằm mục đích giảm
khối lượng tính toán.
3.2.1.2. Xử lý ảnh số sử dụng Matlab
Matlab là một ngôn ngữ bậc cao được ứng dụng rộng rãi trong nhiều lĩnh vực.
Matlab không chỉ được dùng để tính toán với một lượng số liệu lớn mà còn được
dùng để mô phỏng rất tốt.
Matlab là công cụ rất mạnh cho việc xử lý nói chung và xử lý ảnh nói riêng, hầu
hết các thuật toán về ảnh và xử lý ảnh đều đã được thể hiện trong các hàm của
Matlab như các hàm đọc, xuất ảnh, chuyển đổi giữa các hệ màu của ảnh, các thuật
toán phát hiện biên, tách đối tượng, khớp mẫu, các phép biến đổi ảnh như xoay ảnh,

17


Chương 3:Phân tích hệ thống và cơ sở lý thuyết

chuẩn kích thước, tịnh tiến,... Đồng thời các thư viện ngày càng được mở rộng, các
hàm ứng dụng được lập bởi người dùng.
Câu lệnh Matlab được viết rất gần với các mô tả kỹ thuật, câu lệnh đơn giản,
ngắn gọn và có thể tra cứu nhanh trong chức năng Help.
Vì vậy, ứng dụng phần nền Matlab trong xử lý ảnh mang lại rất nhiều tiện ích và
hiệu quả.
Các thuật toán, chương trình trong luận văn đều được viết bằng ngôn ngữ của
phần mềm Matlab. Trong chương trình có sử dụng một số hàm viết sẵn trong thư
viện Toolbox của Matlab. Luận văn này chủ yếu sử dụng Image Proceesing
Toolbox và thư viện Image Acquisition Toolbox.

3.2.2. Cơ sở lý thuyết về nhận dạng vân tay
Nguyên lý nhận dạng vân tay thì liên quan chặt chẽ đến cách thức tìm ra sự
tương đồng giữa ảnh vân tay đầu vào với một template trong cơ sở dữ liệu vân tay.
Dưới đây là ba phương pháp chính lần lượt dựa trên các cơ sở là đối sánh minutiae,
correlation và ridge feature.
• Minutiae-base matching,
• Correlation-base matching,
• Ridge feature-base matching.
Phương pháp đầu tiên phổ biến hơn cả và được ứng dụng rất rộng rãi. Hai vân
tay sẽ được so sánh bằng các điểm minutiae trích ra từ các vân tay đó. Giai đoạn thứ
nhất này còn gọi là tạo mã, các minutiae tạo thành tập hợp điểm đặc trưng và được
lưu trữ trong từng mảng 2D. Giai đoạn thứ hai sẽ tìm vị trí khớp phù hợp giữa
template và input-image sao cho số các minutiae tạo thanh cặp tương đồng là lớn
nhất.
Còn hai nguyên lý còn lại không phù hợp với đồ án. Correlation-based thực hiện
bằng cách xếp chồng hai mẫu vân tay lên nhau để tìm ra tương quan giữa chúng,
phương pháp này gặp hạn chế khi quá trình thu nhận ảnh vân tay gặp phải các biến
dạng méo. Còn ridge feature-base là một phương pháp cao cấp, đòi hỏi các bước xử

18


Chương 3:Phân tích hệ thống và cơ sở lý thuyết

lý phức tạp và thường dùng cho ứng dụng nhận dạng với các vân tay có chất lượng
rất xấu (chẳng hạn như vân tay latent).

a)

b)

Hình-3. 4: Tạo mã vân tay

a) ảnh ban đầu; b) trích chọn minutiae quan trọng (các minutie được đánh dấu O)

Luận văn này lựa chọn phương án đầu tiên vì đó là một phương pháp cơ bản,
phù hợp với điều kiện hiện tại cho phép và cũng hứa hẹn cho kết quả khả quan.

3.2.3. Cơ sở lý thuyết về nhận dạng bàn tay
Về cơ bản thì có hai phương pháp cơ bản để nhận dạng bàn tay đó là dựa trên
cơ sở các đặc tính hình học hoặc dựa trên các đặc tính của vân bàn tay.
3.2.3.1. Nhận dạng bàn tay dựa trên các đặc tính hình học
Những đề tài đầu tiên nghiên cứu về nhận dạng bàn tay đều dựa trên các đặc tính
hình học.

19


Chương 3:Phân tích hệ thống và cơ sở lý thuyết

Các đặc tính hình học thường được sử dụng đó là các đặc tính về kích thước: độ
rộng, độ dài của các ngón tay và đốt ngón tay, bán kính một số đường tròn tiếp xúc
với đường viền bàn tay hay các đặc tính đường viền của bàn tay.
Các đặc tính hình học của bàn tay và quan hệ giữa chúng được thể hiện trên hình3.5.

Hình-3. 5: Một số đặc tính hình học của bàn tay.

Phương pháp này có ưu điểm là đơn giản trong cách lấy mẫu, ảnh lấy mẫu không
yêu cầu quá cao về chất lượng, chỉ cần làm nổi bật đường viền và các đốt ngón tay.
Do vậy mà quá trình xử lý cũng đơn giản và nhanh hơn. Nhược điểm của nó là độ
chính xác sẽ không cao khi gặp phải những vướng mắc như chấn thương ở bàn tay,

sự thay đổi trọng lượng.
3.2.3.2. Nhận dạng bàn tay dựa trên các đặc tính của vân bàn tay
Phương pháp nhận dạng bàn tay này chỉ mới hình thành vào giai đoạn những
năm 90 của thế kỷ trước. Hệ thống nhận dạng sử dụng đặc tính vân bàn tay đầu tiên
được biết đến là ở Hungary vào năm 1994. Đến năm 1997 nó bắt đầu được xây

20


Chương 3:Phân tích hệ thống và cơ sở lý thuyết

dựng tích hợp vào một số hệ thống tự động nhận dạng vân tay (Automated
Fingerprint Identification Systems – AFIS).

(b)

(a)

Hình-3. 6: Vân bàn tay
a) Ảnh xám; b) Ảnh nhị phân

Các đặc tính của vân bàn tay bao gồm ba đường vân cơ bản trên bàn tay, các vết
nhăn, các điểm rẽ ba,…
Phương pháp này đòi hỏi chất lượng ảnh tương đối cao để có thể thể hiện rõ các
đường vân và một số vết nhăn cơ bản. Sẽ tốn kém thời gian để xử lý hơn nhưng lại
cho kết quả có độ chính xác cao hơn. Một ưu điểm nổi trội của phương pháp này so
với phương pháp nhận dạng dựa vào các đặc tính hình học đó là nó ít bị ảnh hưởng
bởi các thay đổi ở mức vừa phải về kích thước do thay đổi trọng lượng hay chấn
thương.
Hai phương pháp nhận dạng bàn tay đều có những ưu nhược điểm riêng. Khó có

thể đánh giá được phương pháp nào cho ta độ tin cậy cao hơn, bởi để đánh giá được
điều đó còn phụ thuộc vào nhiều yếu tố như chất lượng lấy mẫu, thuật toán xử lý,
… Ta có thể kết hợp hai phương pháp này với nhau, mặc dù tốc độ xử lý sẽ chậm đi
nhưng lại cho kết quả có độ chính xác cao hơn.
3.2.3.3. Mô hình đề xuất
Với việc lựa chọn công cụ hỗ trợ cho bài toán nhận dạng của mình là công cụ
Matlab, tuy là công cụ rất mạnh trong các bài toán xử lý ảnh nhưng đồng thời đó là
một công cụ khá cồng kềnh, khiến cho tốc độ xử lý bài toán bị ảnh hưởng khá nhiều.
Do đó trong việc giải quyết bài toán nhận dạng bàn tay này, tôi lựa chọn phương án
kết hợp cả hai phương pháp nhận dạng nêu trên nhằm mục đích đạt được độ chính

21


Chương 3:Phân tích hệ thống và cơ sở lý thuyết

xác cao nhất. Về cơ bản các công việc của bài toán đều sẽ được xử lý bằng máy tính,
sử dụng công cụ Matlab.
Bàn tay dùng để lấy mẫu là tay trái với mục đích dùng tay phải sủ dụng vào một
số thao tác khác sau này sẽ được cải tiến lên như gõ mật khẩu chẳng hạn. Sau khi
thu thập ảnh, quá trình chuyển đổi chuẩn hóa sẽ thực hiện chuẩn hóa ảnh về độ sáng,
vị trí, kích thước , góc định hướng,… Véc tơ đặc tính của ảnh đã chuẩn hóa được
trích chọn, hoặc lưu vào cơ sở dữ liệu đặc tính dưới dạng file .mat của Matlab, hoặc
được đem đối sánh với cơ sở dữ liệu đặc tính đã lưu và cho ra kết quả nhận dạng.
3.2.4. Cơ sở lý thuyết về nhận dạng khuôn mặt
Hai phương pháp tiếp cận với nhận dạng khuôn mặt hiện nay là:
• Nhận dạng dựa trên đặc trưng của các phần tử trên khuôn mặt (Feature Based
Face Recognition)
• Nhận dạng dựa trên xét tổng thể toàn khuôn mặt (Appearance Based Face
Recognition).

3.2.4.1. Nhận dạng dựa trên mối quan hệ giữa các phần tử (Feature Based)
Đây là phương pháp nhận dạng khuôn mặt dựa trên việc xác định các đặc trưng
hình học của các chi tiết trên một khuôn mặt (như vị trí, diện tích, hình dạng của
mắt, mũi, miệng, khuôn dạng của khuôn mặt,…), và mối quan hệ giữa chúng (ví dụ
khoảng cách của hai mắt, khoảng cách của hai lông mày, khoảng cách từ mũi tới
cằm,…).
Ưu điểm của phương pháp:
• Phương pháp này gần với cách mà con người sử dụng để nhận biết khuôn
mặt .
• Với việc xác định đặc tính và các mối quan hệ, phương pháp này có thể cho
kết quả tốt trong các trường hợp ảnh có nhiều nhiễu, ảnh bị nghiêng, bị xoay,
ánh sáng thay đổi.
Nhược điểm của phương pháp:

22


Chương 3:Phân tích hệ thống và cơ sở lý thuyết

• Đòi hỏi các thuật toán phức tạp để có thể xác định một lúc nhiều đặc tính và
các mối quan hệ giữa chúng.
• Nếu ảnh có độ phân giải bé, các mối quan hệ giữa cùng một cặp đặc tính trên
các khuôn mặt đều rất sát nhau, điều này dẫn đến kết quả nhận dạng không
chính xác. Với ảnh có độ phân giải lớn hơn thì khối lượng tính toán sẽ rất lớn,
đòi hỏi cao về cấu hình phần cứng.
3.2.4.2. Nhận dạng dựa trên xét toàn diện khuôn mặt (Appearance Based)
Nội dung chính của hướng tiếp cận này là xem mỗi ảnh có kích thước R × C là
một vec-tơ trong không gian R × C chiều. Ta sẽ tìm một không gian mới có chiều
nhỏ hơn, sao cho khi được biểu diễn trong không gian đó các đặc điểm chính của
một khuôn mặt vẫn không bị mất đi. Trong không gian mới đó, các ảnh của cùng

một người sẽ tập hợp lại thành một nhóm gần nhau và cách xa các nhóm khác.
Hai phương pháp thường được dùng hiện nay là PCA (Principle Components
Analysis) và LDA (Linear Discriminant Analysis).

23