(Luận văn thạc sĩ) Nghiên cứu nâng cao các kỹ thuật số sánh vân tay dựa trên đặc trưng điểm trạc

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

LÊ HỒNG HẢI

NGHIÊN CỨU NÂNG CAO CÁC KỸ THUẬT ĐỐI
SÁNH VÂN TAY DỰA TRÊN ĐẶC TRƢNG
ĐIỂM CHẠC

LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN

HÀ NỘI - 2018


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

LÊ HỒNG HẢI

NGHIÊN CỨU NÂNG CAO CÁC KỸ THUẬT ĐỐI
SÁNH VÂN TAY DỰA TRÊN ĐẶC TRƢNG
ĐIỂM CHẠC

Chuyên ngành: Các hệ thống thông tin
Mã số: 62 48 05 01

LUẬN ÁN TIẾN SĨ CÔNG NGHỆ THÔNG TIN
NGƯỜI HƯỚNG DẪN KHOA HỌC:
1. PGS.TS. Nguyễn Ngọc Hóa
2. PGS.TS Nguyễn Hà Nam

LỜI CẢM ƠN

Luận án được thực hiện tại Trường Đại học Công nghệ - ĐHGQ Hà Nội, dưới sự
hướng dẫn của PGS.TS. Nguyễn Ngọc Hóa và PGS.TS. Nguyễn Hà Nam.
Trước hết, tác giả xin được bày tỏ lòng cảm ơn sâu sắc tới thầy Nguyễn Ngọc
Hóa, thầy Nguyễn Hà Nam, những người đã hướng dẫn, đưa ra những định hướng
giúp tác giả hoàn thành bản luận án này. Tác giả cũng cám ơn thầy Hà Quang Thụy,
thầy Nguyễn Trí Thành, thầy Nguyễn Hải Châu đã cho tác giả nhiều lời khuyên quý
báu để hoàn thiện các nội dung khoa học của luận án.
Tác giả xin g i lời cám ơn tới công ty Sea-Solutions đã h trợ CS L vân tay
chu n quốc tế VC 2002

trong quá tr nh thực hiện dự án xây dựng hệ thống nhận

dạng vân tay Kokle. Tác giả cũng xin g i lời cảm ơn tới NCS Vũ Tiến Thành đã h trợ
nhiều tài liệu quốc tế cập nhật.
Tác giả xin chân thành cảm ơn Khoa Công Nghệ Thông Tin, Trường Đại Học
Công Nghệ đã tạo điều kiện thuận lợi cho tác giả trong quá tr nh học tập và nghiên
cứu.
Sau cùng, tác giả xin chân thành cảm ơn gia đ nh, những người thân và bạn bè đã
giúp đỡ, động viên tác giả trong suốt thời gian thực hiện luận án.

1


LỜI CAM ĐOAN

Tôi xin cam đoan đây là công tr nh nghiên cứu của riêng tôi. Các nội dung viết
chung với các tác giả khác đều được sự đồng ý của đồng tác giả trước khi đưa vào luận

án. Các kết quả nêu trong luận án là trung thực và chưa từng được ai công bố trong các
công tr nh nào khác.
Tác giả

Lê Hồng Hải

2


MỤC LỤC
DANH MỤC CÁC K HIỆU VÀ CH

VIẾT TẮT .............................................6

DANH MỤC BẢNG SỐ LIỆU ..............................................................................7
DANH MỤC HÌNH ẢNH ......................................................................................8
DANH MỤC THUẬT TOÁN ..............................................................................12
GIỚI THIỆU CHUNG .......................................................................................13
Động lực nghiên cứu .......................................................................................... 13
Thực trạng nghiên cứu về đối sánh vân tay .......................................................15
Mục tiêu và các nội dung chính .........................................................................18
Các đóng góp của luận án ..................................................................................19
T chức của luận án ........................................................................................... 20
Chƣơng 1: KHÁI QUÁT VỀ ĐỐI SÁNH VÂN TAY DỰA TRÊN ĐIỂM
CHẠC ........................................................................................................................... 22
1.1. Hệ thống nhận dạng vân tay tự động .......................................................... 22
1.2. Đặc trưng trích xuất từ ảnh vân tay ............................................................ 24
1.2.1. Thu ảnh vân tay từ bộ cảm biến ............................................................ 26
1.2.2. Nâng cao chất lượng ảnh vân tay .......................................................... 27
1.2.3. Tách đặc trưng điểm chạc .....................................................................29

1.3. Bài toán đối sánh vân tay dựa trên điểm chạc ............................................33
1.3.1. Phát biểu bài toán ..................................................................................33
1.3.2. Một số khó khăn trong quá tr nh đối sánh ............................................36
1.3.3. Giá trị tương đồng giữa hai ảnh vân tay ...............................................38
1.3.4. Đánh giá kết quả hệ thống nhận dạng vân tay ......................................38

3


1.4. Một số nghiên cứu đối sánh vân tay dựa trên điểm chạc ............................ 41
1.4.1. Đối sánh toàn cục ..................................................................................41
1.4.2. Đối sánh cục bộ .....................................................................................44
1.4.2.1. Một số cấu trúc cục bộ biểu diễn điểm chạc ...................................44
1.4.2.2. Hạn chế của một số biểu diễn truyền thống ....................................49
1.4.2.3. Biểu diễn cục bộ dựa trên mã trụ MCC Minutia Cylinder-Code) .50
1.4.3. Giai đoạn gia cố trong thuật toán đối sánh vân tay dựa trên cấu trúc cục
bộ ............................................................................................................................. 53
1.5. Kết chương ..................................................................................................53
Chƣơng 2: CẢI TIẾN GIAI ĐOẠN GIA CỐ CỦA THUẬT TOÁN ĐỐI
SÁNH DỰA TRÊN ĐIỂM CHẠC .............................................................................55
2.1. Các phương pháp gia cố thường s dụng ...................................................55
2.2. Giải thuật gia cố đề xuất .............................................................................59
2.2.1. Đề xuất cải tiến cho phương pháp gia cố dựa trên ph p biến h nh .......59
2.2.2. Đề xuất cải tiến cho phương pháp gia cố gia tăng ................................ 62
2.3. Đánh giá giải thuật gia cố đề xuất............................................................... 66
2.4. Kết chương ..................................................................................................67
Chƣơng 3: PHÁT HIỆN ĐIỂM ĐƠN NHẤT TỪ ẢNH VÂN TAY ..............68
3.1. Điểm đơn nhất vân tay và ứng dụng ........................................................... 68
3.2. Phát hiện điểm đơn nhất của vân tay .......................................................... 70
3.3. Đề xuất phát hiện điểm đơn nhất s dụng mạng nơ ron tích chập .............74

3.3.1. Học máy sâu .......................................................................................... 74
3.3.2. Mạng nơ ron tích chập ..........................................................................75
3.3.3. Kỹ thuật phát hiện điểm đơn nhất vân tay s dụng mạng CNN ...........78
3.3.3.1. Xây dựng mô h nh mạng CNN .......................................................78
4


3.3.3.2. Đánh giá kết quả..............................................................................81
3.4. Kết chương ..................................................................................................85
Chƣơng 4: CẢI TIẾN HIỆU N NG Đ NH DANH VÂN TAY QUY MÔ
LỚN SỬ DỤNG GPU ..................................................................................................87
4.1. Đối sánh vân tay trên môi trường tính toán hiệu năng cao .........................87
4.2. Kiến trúc bộ x lý đồ họa GPU ..................................................................89
4.3. Đối sánh vân tay s dụng GPU ...................................................................91
4.3.1. Đối sánh s dụng mô tả ingerCode .....................................................91
4.3.2. Đối sánh s dụng mô tả MCC ............................................................... 91
4.4. Đề xuất đối sánh vân tay trên GPU của luận án .........................................93
4.4.1. Phương pháp đề xuất .............................................................................93
4.4.2. Kết quả thực nghiệm .............................................................................98
4.4.3. Đề xuất gia cố toàn cục trên GPU .........................................................99
4.4.4. Kết quả thực nghiệm gia cố toàn cục trên GPU..................................102
4.5. Mô h nh định danh CS L vân tay lớn trên nền dịch vụ Web ..................103
4.6. Kết chương ................................................................................................105
KẾT UẬN CHUNG VÀ HƢỚNG PHÁT TRIỂN .......................................106
Các đóng góp của luận án ................................................................................106
Hạn chế của luận án .........................................................................................108
Hướng phát triển tiếp theo ...............................................................................108
NH MỤC CÁC CÔNG TRÌNH KHO

HỌC CỦ

TÁC GIẢ LIÊN QU N

ĐẾN LUẬN ÁN ..........................................................................................................110
TÀI LIỆU THAM KHẢO ..................................................................................111

5


DANH MỤC CÁC K HIỆU VÀ CHỮ VIẾT TẮT
Kí hiệu

Tiếng Anh
Automated Fingerprint

Tiếng Việt
Hệ thống nhận dạng vân tay

Identification System

tự động

Convolution Neural Network

Mạng tích chập nơ rơn

Compute Unified Device

Kiến trúc tính toán thiết bị

Architecture

hợp nhất

DB

Database

Cơ s dữ liệu

EER

Equal Error Rate

T lệ cân b ng l i

GPU

Graphic Processing Unit

FMR

False Match Rate

T lệ chấp nhận sai

FNMR

False Not Match Rate

T lệ từ chối sai

AFIS
CNN
CUDA

ộ x lý đồ họa

Field Programmable Gate
FPGA

FVC

Array
Fingerprint Verification

Mảng c ng lập tr nh được

Cuộc thi xác thực vân tay

Competition

Sắp xếp giá trị tương đồng

LSS

Local Similarity Sort

MCC

Minutia Cylinder Code

Mã trụ cho điểm chạc

MLP

Multilayer Perceptron

Mạng nơ ron đa tầng

SIMD

Single Instruction Multidata

cục bộ

6


DANH MỤC BẢNG SỐ IỆU
Bảng 2.1: Kết quả s dụng phương pháp gia cố đề xuất ..............................................66
Bảng 3.1: Kết quả đánh giá trên tập dữ liệu đánh giá VC 2002 b-b........................83
Bảng 3.2: Kết quả đánh giá trên VC 2002

1 củaZhou và Chikkerur ....................83

Bảng 3.3: Kết quả đánh giá trên VC 2002

2 củaZhou và Chikkerur ....................84

Bảng 4.1: So sánh độ chính xác khi thay đ i thuật toán trên CS L VC 2002

1 ...98

Bảng 4.2: Thời gian thi hành của 10 truy vấn với kích thước CS L khác nhau .........99
Bảng 4.3: Thời gian thi hành truy vấn 10 kích thước CS L khác nhau s dụng ph p
gia cố toàn cục s dụng GPU GTX680 .......................................................................102
Bảng 4.4: Thời gian thi hành truy vấn 10 kích thước CS L khác nhau s dụng ph p
gia cố toàn cục s dụng GPU Nvidia K40 ..................................................................103

7


DANH MỤC HÌNH ẢNH
Hình 1.1: Quá tr nh th m định vân tay ................................................................ 23
Hình 1.2: Tác vụ định danh vân tay .....................................................................24
Hình 1.3: Thuộc tính mức 1: gồm thông tin về các hướng đường vân a và thông
tin về các điểm đơn nhất màu đỏ điểm lõi, màu xanh điểm tam phân b ..................25
Hình 1.4: Thuộc tính mức 2: gồm thông tin về các điểm kết thúc của đường vân
a và các điểm

đó đường vân r nhánh b ................................................................ 26

Hình 1.5: H nh ảnh một số thiết bị lấy mẫu vân tay ............................................26
Hình 1.6: Từ trái sang phải, chất lượng ảnh vân tay giảm dần ............................ 27
Hình 1.7: ộ lọc Gabor [24 ................................................................................28
Hình 1.8: Nâng cao chất lượng ảnh vân tay, từ trái qua phải: ảnh gốc, s dụng bộ
lọc Gabor, bộ lọc ST T và mạng nơ ron C

N [65 ...................................................29

Hình 1.9: Kết quả quá tr nh nhị phân hóa và làm mảnh ảnh vân tay...................30
Hình 1.10: Giá trị cn, a. Điểm trung gian, b. Điểm kết thúc đường vân, c. Điểm
r nhánh [49 ..................................................................................................................30
Hình 1.11: Kết quả phát hiện điểm chạc từ ảnh vân tay s dụng phương pháp nhị
phân và làm mảnh ..........................................................................................................31
Hình 1.12: Phát hiện điểm chạc trực tiếp trên ảnh đa mức xám .......................... 32
Hình 1.13: Mô h nh mạng nơ ron sâu phát hiện điểm chạc trực tiếp từ ảnh vân
tay [86] ........................................................................................................................... 32
Hình 1.14: Các loại điểm chạc và thông tin về điểm chạc. H nh a: điểm kết thúc
đường vân. H nh b: điểm

đó đường vân tách làm 2 ...................................................33

Hình 1.15: Minh hoạ đối sánh giữa 2 tập điểm chạc ...........................................34
Hình 1.16: Các cặp điểm được coi là phù hợp sau quá tr nh căn ch nh nếu thỏa
mãn các ngưỡng về khoảng cách và góc. Các cặp điểm được khoanh tròn là phù hợp
với ngưỡng khoảng cách ts và ngưỡng góc tθ ................................................................ 36

8


Hình 1.17: Một số thu nhận khác nhau của cùng một vân tay. ............................ 37
Hình 1.18: Ảnh bên trái với lực ấn đều. Ảnh bên phải bị m o do lực bấm khác
nhau. .............................................................................................................................. 37
Hình 1.19: Các loại thông số dùng trong đánh giá hệ thống đối sánh sinh trắc học
.......................................................................................................................................39
Hình 1.20: Lựa chọn t lệ MR và NMR giữa các ứng dụng. .......................... 40
Hình 1.21: Một số cấu trúc cục bộ được s dụng để biểu diễn cho điểm chạc
[49]................................................................................................................................. 45

Hình 1.22: Biểu diễn k-plet b i Chikkerurvà cộng sự [6 . Các điểm chạc láng
giềng được lựa chọn phân phối đều vào 4 vùng xung quanh điểm chạc

tâm. ...........45

Hình 1.23: Biểu diễn điểm chạc dựa trên các điểm trên các đường vân hướng
xung quanh điểm chạc Tico và cộng sự [67]. ................................................................ 46
Hình 1.24: Các thông tin về tam tam giác t được tạo từ 3 điểm chạc p1, p2, p3
[48]................................................................................................................................. 47
Hình 1.25: Tam giác hóa 1-order Delaunay [38] .................................................48
Hình 1.26: Sai khác về cấu trúc biểu diễn do phát hiện điểm chạc thiếu hoặc sai
.......................................................................................................................................49
Hình 1.27: Cấu trúc cục bộ không phù hợp do vấn đề biên................................. 50
Hình 1.28: Cấu trúc biểu diễn cục bộ Minutia Cylinder Code MCC [8 ..........50
Hình 1.29: Các đóng góp của các điểm chạc vào ô

của h nh trụ dựa trên

khoảng cách và sự khác nhau về hướng ........................................................................51
Hình 1.30: So sánh sai số

R của biểu diễn MCC so với một số biểu diễn

khác[8 ........................................................................................................................... 52
Hình 2.1:

ước gia cố liên quan đến việc căn ch nh biến đ i xoay và dịch

chuyển ............................................................................................................................ 55
Hình 2.2: Một cặp điểm đối sánh sai có giá trị tương đồng lớn nhất [47] ...........57

9


Hình 2.3: Từ trái sang: căn ch nh không dùng nắn ch nh, s dụng nắn ch nh TPS,
s dụng nắn ch nh cục bộ dựa trên tam giác [35 .......................................................... 58
Hình 2.4: Quá tr nh xây dựng cây đối sánh trong K-plet [6] ............................... 59
Hình 2.5: Đối sánh không chính xác khi s dụng gia cố truyền thống ................60
Hình 2.6: Kết quả đối sánh khi s dụng gia cố đề xuất. ......................................62
Hình 2.7: Quá tr nh xây dựng cây đối sánh trong k-plet .....................................63
Hình 2.8: Đối sánh khi s dụng gia cố truyền thống trên K-plet .........................65
Hình 2.9: Đối sánh chính xác hơn khi s dụng gia cố đề xuất cho K-plet ..........66
Hình 3.10: Các loại điểm đơn nhất của ảnh vân tay: điểm core và điểm delta ...68
Hình 3.11: Phân loại kiểu vân tay [49 ................................................................ 69
Hình 3.12: Hướng của đường vân được tính dựa trên t ng vector đạo hàm trong
khối ................................................................................................................................ 71
Hình 3.13: Ảnh vân tay gốc và ảnh hướng được tính từ ảnh gốc ........................71
Hình 3.14: Phát hiện điểm đơn nhất dựa trên phương pháp Pointcare index ......72
Hình 3.15: Phát hiện điểm đơn nhất dựa trên ch số PI bị ảnh hư ng b i nhiễu .72
Hình 3.16: Hàng trên: áp dụng các bộ lọc trên ảnh hướng. Hàng dưới: kết quả
sau khi áp dụng các bộ lọc. [51] ....................................................................................73
Hình 3.17: Xu hướng quan tâm đến học máy sâu thống kê từ Google Trends .74
Hình 3.18: Phát hiện đặc trưng đa tầng dựa trên kiến trúc CNN [78 .................74
Hình 3.19: Mạng nơ ron truyền thống với 3 tầng n với kết nối đầy đủ .............76
Hình 3.20: Kiến trúc mạng CNN với 2 tầng đặc trưng [19 ................................ 77
Hình 3.21: Lấy mẫu MaxPooling cho các cùng 2x2............................................78
Hình 3.22: Kiến trúc mạng CNN đa tầng Multi-Stage features (MS) [61]. ........79
Hình 3.23: Một số ảnh core s dụng trong huấn luyện mạng CNN ....................80
Hình 3.24: Một số ảnh delta s dụng cho huấn luyện mạng CNN ......................80
Hình 3.25: Các bước xây dựng mô h nh mạng CNN...........................................81

10


Hình 3.26: Đánh giá kết quả mạng CNN được huấn luyện .................................81
Hình 3.27: Một số điểm core phát hiện đúng ......................................................82
Hình 3.28: Một số điểm core phát hiện sai .......................................................... 82
Hình 3.29: Một số điểm delta phát hiện đúng ......................................................82
Hình 3.30: Một số điểm delta phát hiện sai .........................................................82
Hình 3.31: Phân chia tập dữ liệu huấn luyện và dữ liệu kiểm tra ........................84
Hình 4.1: Kiến trúc cluster s dụng các máy tính gồm nhiều bộvi x lý kết nối
với nhau qua mạng [59] .................................................................................................88
Hình 4.2: Mô h nh phân tán Master nhận yêu cầu và g i tới các Slave x lý,
Master t ng hợp kết quả từ các Slave [59] ....................................................................88
Hình 4.3: Card đồ họa GPU h trợ hàng ngh n core tính toán ............................ 89
Hình 4.4: Mô h nh phân bố các lõi trong các khối tính toán của GPU ................90
Hình 4.5: Đặc trưng ingerCode của vân tay 1 , tính dựa điểm core vân tay 2 .
Các đặc trưng được chia thành 8 vùng 3 , và các giá trị trong m i vùng được tính s
dụng bộ lọc Gabor (4) [32] ............................................................................................ 91
Hình 4.6: Quá tr nh thực thi thuật toán đối sánh trên GPU .................................92
Hình 4.7: S dụng m i khối cho đối sánh giữa vân tay
truy vấn

của CSDL với vân tay

....................................................................................................................95

Hình 4.8: M i khối gồm 32 luồng, m i luồng s tính toán trên 1 cột của ma trận
tương đồng .....................................................................................................................95
Hình 4.9: Mô h nh đề xuất hệ thống

IS trên CS L vân tay lớn ...................104

11


DANH MỤC THUẬT TOÁN
Thuật toán 1.1: Thuật toán đối sánh toàn cục dựa trên biến đ i Hough [60]. ....41
Thuật toán 2.2: T m các cặp điểm phù hợp với nhau từ tập các cặp điểm phù hợp
với cặp điểm căn ch nh ..................................................................................................60
Thuật toán 2.3: Thuật toán K-plet [6] .................................................................63
Thuật toán 2.4: S a đ i bước 9 của thuật toán K-plet ........................................64
Thuật toán 4.5: Thuật toán định danh vân tay s dụng biểu diễn MCC gốc trên
CPU ............................................................................................................................... 92
Thuật toán 4.6: Chi tiết thuật toán đối sánh đề xuất trên GPU ........................... 96
Thuật toán 4.7: Đối sánh s dụng bước gia cố trên GPU .................................100

12


GIỚI THIỆU CHUNG
Động lực nghiên cứu
Nhận dạng sinh trắc học hay đơn giản còn được gọi là sinh trắc học-biometric)
đề cập tới việc s dụng các đặc điểm có tính chất phân biệt của con người để tự động
nhận dạng các cá nhân. Các đặc điểm sinh trắc thường được chia làm 2 nhóm: i dựa
trên đặc trưng cơ thể như đặc trưng vân tay, bàn tay, võng mạc, khuôn mặt,

N ; và

(ii) dựa trên đặc trưng hành vi của cá nhân như chữ ký, giọng nói. Nhận dạng sinh trắc
học được s dụng rộng rãi trong các ứng dụng của chính phủ và dân sự [49].

Hiện nay, trong lĩnh vực sinh trắc học, tuy một số đặc điểm sinh trắc như

N ,

võng mạc, mống mắt cho độ chính xác cao, tuy nhiên việc thu thập các đặc điểm sinh
trắc này còn tương đối phức tạp, chi phí lớn. Vân tay có tính bất biến và đảm bảo được
t lệ khác biệt giữa hai người khác nhau, ngoài ra các thiết bị thu vân tay hiện đã rất
ph biến, chi phí

mức hợp lý và có thể tích hợp vào rất nhiều thiết bị khác chẳng

hạn như điện thoại thông minh, khoá c a, … . Chính v thế, hiện nay vân tay vẫn là
đặc điểm sinh trắc học có tính ph dụng nhất.
Sinh trắc học dựa trên vân tay được s dụng ph biến trong các ứng dụng như
kiểm soát truy cập, định danh khách hàng thực hiện giao dịch: ví dụ tại các máy TM,
định danh người dùng trong các giao dịch trực tuyến, quản lý thời gian có mặt của các
nhân viên tại các t chức. Sinh trắc học dựa trên vân tay được s dụng trong các ứng
dụng liên quan đến chính phủ như định danh công dân hộ chiếu), quản lý xuất nhập
cảnh, định danh trong pháp y.
Hệ thống sinh trắc học dựa trên vân tay thường được chia làm hai loại tiến tr nh
đó là kiểm tra đối tượng

verification

và tiến tr nh định danh đối tượng

(identification). Tiến tr nh kiểm tra nh m mục đích kiểm tra xem vân tay đưa vào kiểm
tra có đúng là của người dùng đã đăng ký. Trong khi đó tiến tr nh định danh vân tay
nh m mục đích t m ra ai là người s hữu vân tay được đưa vào t m kiếm trong tập
người dùng đã đăng ký vân tay.

13


Hai tiến tr nh kiểm tra và định danh thường s dụng chung các mô đun chức
năng của hệ thống như: (i) mô đun trích xuất các đặc trưng từ ảnh vân tay thu nhận từ
các bộ cảm biến. Các hệ thống sinh trắc học dựa trên vân tay thường không s dụng
trực tiếp ảnh vân tay mà thường s dụng các đặc trưng có tính chất gọn nhẹ được trích
xuất từ ảnh vân tay (ii) s dụng các đặc trưng này trong giai đoạn đối sánh vân tay
(matching). Đầu vào của mô đun đối sánh là tập đặc trưng của một vân tay trong
CS L vân tay và tập đặc trưng của vân tay cần nhận dạng, kết quả đầu ra của mô đun
đối sánh ch độ tương đồng giữa hai vân tay similarity score). Giá trị tương đồng này
s được so sánh với giá trị ngưỡng xác định trước trong hệ thống để đưa ra quyết định
cuối cùng. Nếu giá trị tương đồng lớn hơn ngưỡng, cá nhân đó được nhận dạng.
Nh n chung, quá tr nh định danh vân tay thường đòi hỏi nhiều tài nguyên tính
toán, đặc biệt khi phải làm việc với tập dữ liệu vân tay người dùng có quy mô lớn hàng
trăm triệu đặc trưng vân tay trong cơ s dữ liệu, chẳng hạn như tập dữ liệu vân tay
trong dự án định danh cá nhân của Ấn độ [68]. Tại Việt Nam, hệ thống C

RIS do

Bộ Công an phát triển với mục đích quản lý tàng thư căn cước công dân, căn cước căn
phạm và t m kiếm dấu tay hiện trường phục vụ công các quản lý và điều tra tội phạm
cung cấp khả năng nhận dạng 2.5 triệu vân tay trong 5 phút, s dụng hệ thống cluster
gồm 10 máy tính1. Như vậy tốc độ đối sánh của C

RIS đạt khoảng 1000 vân

tay/giây trên một máy tính. Với các ứng dụng truy vấn vân tay đòi hỏi thời gian thực
trên quy mô rất lớn, định danh tức thời từ mẫu vân tay đầu vào cần phải có được hệ

thống thi hành có khả năng đối sánh hàng triệu vân tay trong thời gian đơn vị giây.
Các thuật toán đối sánh vân tay khi thực thi trên môi trường một máy tính với bộ vi x
lý (Central Processing Unit – CPU) thường không thỏa mãn tính chất thời gian thực
với cơ s dữ liệu (CSDL) vân tay lớn.
Nâng cao chất lượng của quá tr nh trích chọn đặc trưng từ ảnh vân tay và nâng
cao độ chính xác và tốc độ của quá tr nh đối sánh vân tay là lĩnh vực nhận được nhiều
quan tâm nghiên cứu trong nhận dạng vân tay. Nội dung luận án s hướng tới các kỹ
thuật đối sánh vân tay.

1

14


Thuật toán đối sánh vân tay thường s dụng dữ liệu đầu vào là các thuộc tính
được trích chọn từ các ảnh vân tay. Đầu ra của quá tr nh đối sánh s đánh giá xem liệu
hai ảnh vân tay có thuộc cùng một vân tay hay không. Một số khó khăn cho quá tr nh
đối sánh vân tay như, cùng một vân tay có thể hiện khác nhau do đặt lệnh vị trí, xoay
vân tay, lực lấy vân tay khác nhau dẫn đến các biến đ i vân tay khác nhau hoặc do
nhiễu trong quá tr nh lấy mẫu vân tay với nguyên nhân như da khô, da có mô hồi, chất
lượng của thiết bị lấy mẫu.

Thực trạng nghiên cứu về đối sánh vân tay
Mặc dù các nghiên cứu trong lĩnh vực đối sánh vân tay cho kết quả tốt, đối sánh
vân tay vẫn là lĩnh vực nhận được nhiều quan tâm nghiên cứu hiện nay [33]. Một số
lĩnh vực nghiên cứu trong đối sánh vân tay được quan tâm như: tăng tốc quá tr nh đối
sánh, đối sánh vân tay với dữ liệu truy vấn là các ảnh vân tay chất lượng thấp, không
đầy đủ (ảnh vân tay thu thập từ hiện trường), đối sánh vân tay trên các thiết bị như thẻ
thông minh, đối sánh vân tay kết hợp các đặc trưng khác nhau, đối sánh trong đó bảo
vệ tính bí mật, riêng tư của vân tay. Các phương pháp đối sánh vân tay thường được

phân loại dựa trên 3 cách tiếp cận [49]:
- Dựa trên độ tương quan ảnh (Correlation-based matching): hai ảnh vân tay
được so sánh

mức điểm ảnh thông qua việc s dụng các ph p căn ch nh khác nhau.

Đối sánh vân tay s dụng điểm ảnh thường gặp khó khăn do sự thay đ i về cấu trúc
ảnh khi lấy mẫu khác nhau, sự thay đ i về độ sáng và tương phản của ảnh và các điều
kiện của da khi lấy mẫu. Thêm vào đó quá tr nh đối sánh điểm ảnh đòi hỏi nhiều tài
nguyên tính toán.
o đó các cách tiếp cận trong đối sánh vân tay thường dựa trên các đặc trưng
được trích chọn từ ảnh vân tay thay v dựa trên đối sánh dựa trên các điểm ảnh vân tay.
Ví dụ Jain và cộng sự đề xuất biểu diễn ingerCode cho vân tay [32], s dụng các biến
đ i lọc Gabor theo các hướng khác nhau dựa trên hướng đường vân để trích xuất các
thông tin ảnh xung quanh điểm trung tâm của vân tay. Độ tương đồng giữa 2 vân tay là
khoảng cách giữa 2 vector FingerCode. Phương pháp đối sánh s dụng ingerCode
cần biết điểm core của vân tay. Thuật toán s khó áp dụng nếu vân tay không tồn tại
15


điểm core hoặc gặp khó trong quá tr nh xác định điểm core. Gần đây Zanganeh và
cộng sự [76 đề xuất phương pháp chia ảnh vân tay thành các vùng nhỏ khác nhau và
tiến hành đối sánh giữa các vùng ảnh này. Phương pháp này giúp nhanh chóng t m ra
các vùng ảnh phù hợp, sau đó tác giả tiến hành t ng hợp kết quả dựa trên các vùng ảnh
phù hợp.
- Dựa trên các đặc trưng không là điểm chạc: việc trích chọn các điểm chạc có
thể khó khăn đối với các ảnh vân tay có chất lượng chất thấp. Các đặc trưng khác từ
ảnh vân tay như mẫu đường vân, thông tin về h nh dạng đường vân, tần số của đường
vân, kết cấu của đường vân có thể được trích chọn [67], [23], [70], [92], [93].
- Dựa trên điểm chạc: đây là cách tiếp cận ph biến nhất và là kỹ thuật được s

dụng rộng rãi nhất. Các thuật toán đối sánh vân tay dựa trên điểm chạc có ưu điểm về
việc dễ tách điểm chạc từ ảnh vân tay, thuận tiện cho việc lưu trữ mẫu với kích thước
gọn nhẹ và cho kết quả đối sánh có độ chính xác cao và tốc độ x lý nhanh [49]. Trong
các thuật toán đối sánh vân tay, thường ph biến dựa trên thông tin là các điểm chạc từ
ảnh vân tay như trong báo cáo khảo sát [56]. Khá nhiều đề xuất liên quan nâng cao độ
chính xác của thuật toán đối sánh vân tay dựa trên thông tin điểm chạc được đề xuất
như [8], [17], [48], [2].
Một số khó khăn ảnh hư ng đến độ chính xác của các thuật toán đối sánh vân tay
như: việc t m thiếu hoặc sai các đặc trưng trong quá tr nh trích chọn đặc trưng là ph
biến do chất lượng ảnh lấy mẫu, điều này dẫn đến thêm khó khăn cho quá tr nh đối
sánh vân tay. Chất lượng vân tay đặc biệt thấp đối với ảnh vân tay hiện trường (latent)
[31], [54], [83].

o đó một số thuật toán đối sánh vân tay bên cạnh s dụng thông tin

là điểm chạc, có kết hợp với các thông tin không là điểm chạc điểm chạc như thông
tin về số đường vân giữa các điểm chạc [7], thông tin về hướng các đường vân bao
quanh điểm chạc [47].
Ngoài thuật toán đối sánh vân tay được x lý trên môi trường s dụng máy tính,
đối sánh vân tay trên các thiết bị nhúng, smart cards cũng nhận được nhiều quan tâm
[3]. Đặc điểm đối sánh vân tay trên các thiết bị nhúng thường không h trợ các ph p
tính phức tạp như dấu ph y động [1].

16


i sánh v n tay trên CSDL v n tay lớn
Thuật toán đối sánh vân tay tiên tiến hiện nay dựa trên biểu diễn mã trụ MCC cho
các điểm chạc cho hiệu năng cao về tốc độ và độ chính xác cũng cần 3 mili giây để
thực hiện đối sánh giữa hai vân tay [56].

o đó thuật toán cần 3 giây để xác định một

vân tay trong một CS L 1000 vân tay. Với các CS L lớn hàng triệu vân tay như
CS L dân sự quá tr nh định danh s tốn nhiều thời gian. Đối với quá tr nh định danh
vân tay trên CS L vân tay lớn một số phương pháp như lọc trước vân tay, đối sánh
trên môi trường tính toán có hiệu năng cao thường được s dụng.
Lọc trước vân tay cho ph p lọc nhanh các vân tay là ứng viên cho quá tr nh đối
sánh. Một phương pháp thường được s dụng trong lọc trước vân tay là phân ảnh vân
tay thành các lớp [12], [71], [80], [58]. Việc chia vân tay thành các lớp giúp t m nhanh
ra tập ứng viên vân tay s dụng cho quá tr nh đối sánh.
Đối sánh vân tay s dụng môi trường tính toán hiệu năng cao thường s dụng
cụm máy tính hoặc thiết kế phần cứng chuyên dụng cho quá tr nh đối sánh hay s
dụng bộ x lý đồ họa GPU.
Jiang và Crookes [30], xây dựng đối sánh vân tay dựa trên thiết kế phần ứng
chuyên dụng FPGA (Field-Programmable Gate Array) đạt 1.2 triệuđối sánh vân tay
trên giây. Xu và cộng sự [73 xây dựng FPGA dựa trên bộ x

lý Virtex VII

XC7VX485T đạt tốc độ đối sánh 9.6 triệu đối sánh trên giây.
Peralta và cộng sự [56], triển khai hệ thống đối sánh vân tay dựa trên CPU, hệ
thống chạy trên cluster gồm 12 nút. M i nút gồm 2 bộ x lý Intel Xeon E5-2620, kết
quả hệ thống đạt 812,700 đối sánh trên giây.
Lastra và cộng sự [39 , triển khai hệ thống gồm 4 bộ x lý GPU GTX 680 cho
kết quả 1.5 triệu ph p đối sánh trên giây, thuật toán dựa trên mô tả biểu diễn điểm chạc
của Jiang.
Gutierrez và cộng sự [27], triển khai hệ thống đối sánh vân tay trên dựa trên
GPU, đạt kết quả 55.700 đối sánh trên giây, hệ thống s dụng card đồ họa GeForce
GTX 680 GPU, thuật toán đối sánh dựa trên biểu diễn MCC.

17


Cappelli và cộng sự [9 đạt kết quả cao nhất được công bố đến nay, thuật toán đối
sánh trên GPU s dụng biểu diễn MCC cho kết quả 8.6 triệu đối sánh trên giây.

Mục tiêu và các nội dung chính
Động lực nghiên cứu đã phân tích

trên cho ph p chúng tôi xác lập luận án với

tên “Nghiên cứu n ng cao các kỹ thuật đ i sánh v n tay dựa trên đặc trưng điểm
chạc”. Luận án đặt ra mục tiêu chính là nâng cao cả tốc độ lẫn độ chính xác của các
thuật toán đối sánh vân tay dựa trên đặc trưng điểm chạc. Để nâng cao độ chính xác
quá tr nh đối sánh vân tay, các bước trong quá tr nh so khớp s được chú trọng nghiên
cứu để đề xuất những cải tiến. Đối với mục tiêu cải thiện tốc độ đối sánh, một số
phương pháp, kỹ thuật song song hoá quá tr nh đối sánh s được chúng tôi nghiên cứu
để có thể đề xuất được kỹ thuật cải thiện tốc đô. Ngoài ra, việc s dụng thêm đặc trưng
ngoài điểm chạc, cụ thể là điểm đơn nhất, cũng được chúng tôi quan tâm nghiên cứu
với định hướng có thể góp phần cải thiện cả hiệu năng về tốc độ lẫn thời gian so khớp
vân tay.
Trong luận án này, các ảnh vân tay được s dụng là các CS L vân tay được thu
nhận từ các bộ cảm biến vân tay (chẳng hạn FVC2002 [45],FVC2004 [46] . Các ảnh
vân tay thu từ hiện trường trong các trường hợp h nh sự, pháp lý không thuộc đối
tượng nghiên cứu của luận án.
Luận án quan tâm đến những phương pháp, kỹ thuật đối sánh vân tay dựa trên
thông tin lưu trữ cho vân tay s dụng chu n ISO/IEC 19794-2 [28], [85]. Chu n lưu
trữ ISO/IEC 19794-2 giúp trao đ i dữ liệu giữa các hệ thống nhận dạng vân tay khác
nhau. Với một hệ thống nhận dạng vân tay s dụng s dụng định dạng dữ liệu đóng,

khi chuyển sang thuật toán đối sánh của hãng khác s không thực hiện được.
Trong chu n ISO/IEC 19794-2, đặc trưng từ ảnh vân tay được lưu trữ bao gồm
các đặc trưng điểm chạc của ảnh vân tay và tùy chọn m rộng lưu thông tin về các
điểm đơn nhất và số đường vân giữa các điểm đơn nhất. Dựa trên đối tượng nghiên
cứu và thông tin đặc trưng dựa trên chu n ISO/IEC 19794-2, luận án có mục tiêu nâng
độ chính xác lẫn tốc độ dựa trên thông tin là điểm chạc.

18


Đối với hướng nâng cao tốc độ trong quá tr nh đối sánh khi định danh vân tay
trên tập vân tay lớn, môi trường tính toán hiệu năng cao như cụm máy tính hoặc s
dụng bộ x lý đồ họa GPU là hai giải pháp chính để thực hiện. Theo những nghiên cứu
gần đây, giải pháp tận dụng tốc độ bộ x lý đồ họa GPU được quan tâm s dụng hiện
nay nhờ hiệu năng tính toán cao và chi phí hợp lý [27], [9]. Chính v thế, luận án tập
trung nghiên cứu nâng cao hiệu năng đối sánh về tốc độ theo cách tiếp cận s dụng bộ
x lý đồ họa GPU.
Từ đó, mục tiêu của luận án được tiến hành thông qua những nội dung nghiên
cứu sau:
i.

Khái quát về quá tr nh đối sánh vân tay dựa trên thông tin điểm chạc.

ii.

Nghiên cứu, đề xuất phương thức nâng cao độ chính xác của các thuật toán
đối sánh vân tay dựa trên điểm chạc.

iii.

Nghiên cứu, cài đặt kỹ thuật cải tiến tốc đối sánh vân tay thông qua việc s
dụng và khai thác thế mạnh toán hiệu năng năng cao của bộ x lý đồ hoạ
GPU.

iv.

Tiến hành thực nghiệm, đánh giá và so sánh kết quả những phương thức, kỹ
thuật đã đưa ra trong luận án.

Các đóng góp của luận án
Với mục tiêu và các nội dung chính đã đặt ra, luận án đã tiến hành thực hiện và
hoàn thành. Những đóng góp chính thu được trong luận án này bao gồm:
1. Đề xuất phương thức nâng cao độ chính xác của các thuật toán đối sánh vân
tay dựa trên điểm chạc b ng cách cải tiến giai đoạn gia cố, trong đó tiến hành đánh giá
chi tiết hơn các bước kiểm tra mà không ảnh hư ng đến thời gian thực thi của các
thuật toán. Thực nghiệm đã được tiến hành trên nhiều thuật toán đối sánh vân tay khác
nhau như K-plet, MCC, m-Triplets và cho kết quả nâng cao độ chính xác của các thuật
toán mà không ảnh hư ng đến thời gian thi hành của các thuật toán gốc. Kết quả
nghiên cứu này đã được công bố trong hai công tr nh [LHHai1], [LHHai4].

19


2. Các điểm đơn nhất thường được s dụng làm điểm căn ch nh giúp tăng tốc các
thuật toán đối sánh vân tay, ngoài ra các điểm đơn nhất cũng là đặc trưng quan trọng
được s dụng trong quá tr nh phân lớp vân tay. Luận án đề xuất kỹ thuật phát hiện
điểm đơn nhất dựa trên phương pháp học máy s

dụng mạng nơ ron tích chập

(Convolution Neural Networks -CNN . Kết quả th nghiệm phát hiện điểm đơn nhất
trên CS L vân tay VC 2002 s dụng mô h nh mạng CNN đã thể hiện được kết quả
tốt hơn so với một số phương pháp truyền thống. Đóng góp này đã được công bố trong
công tr nh [LHHai5].
3. Đối với quá tr nh đối sánh vân tay trên CS L vân tay lớn, luận án đề xuất
phương pháp đối sánh trên bộ x lý đồ hoạ GPU s dụng biểu diễn MCC. Thuật toán
đối sánh được tuỳ biến lại để phù hợp và tận dụng được thế mạnh tính toán hiệu năng
cao của kiến trúc x lý song song trong GPU. Kết quả đánh giá trên hệ thống tính toán
s dụng bộ x lý đồ họa Nvdia GTX 680 cho thấy thuật toán có khả năng đối sánh 8.5
triệu vân tay trên giây khi s dụng ph p đối sánh nhanh, tương đồng với kết quả tốt
nhất được công bố hiện nay. Khi s dụng quá tr nh đối sánh chi tiết, tốc độ đối sánh
đạt được 1.8 triệu ph p đối sánh vân tay trên giây. Các kết quả nghiên cứu này đã
được thể hiện qua các công bố [LHHai2], [LHHai3], [LHHai6].

T chức của luận án
Dựa vào mục tiêu và những nội dung chính đã đặt ra, bản thảo luận án được t
chức như sau:
- Chương 1: giới thiệu khái quát về bài toán đối sánh vân tay dựa trên điểm chạc.
Nội dung chương s đề cập tới quá tr nh tiền x lý bao gồm quá tr nh trích chọn
đặc trưng điểm chạc. Các phương pháp tiếp cận và khảo sát một số thuật toán
tiêu biểu trong đối sánh dựa trên đặc trưng điểm chạc.
- Chương 2: đặc tả đề xuất cải tiến giai đoạn gia cố cho các thuật toán đối sánh
vân tay dựa trên điểm chạc, giúp tăng độ chính xác của các thuật toán mà không
ảnh hư ng đến tốc độ thi hành của các thuật toán gốc. Th nghiệm đánh giá kết
quả của đề xuất cũng được đề cập chi tiết trong nội dung chương.

20


- Chương 3: mô tả một số kỹ thuật phát hiện điểm đơn nhất từ ảnh vân tay

thường được s dụng. Khái quát về mạng nơ ron CNN và đề xuất kỹ thuật áp
dụng mạng CNN vào quá tr nh nhận dạng điểm đơn nhất từ ảnh vân tay. Từ đó
tr nh bày kết quả th nghiệm kỹ thuật đề xuất này và so sánh với kết quả của một
số phương pháp truyền thống.
- Chương 4: đặc tả kỹ thuật triển khai thuật toán đối sánh vân tay đề xuất trên
môi trường tính toán song song s dụng bộ x lý GPU nh m h trợ tăng tốc quá
tr nh định danh vân tay trên các CS L vân tay lớn. Kiến trúc bộ x lý đồ họa
GPU cũng được tr nh bày để làm tiền đề xây dựng thuật toán đề xuất của luận án
cho quá tr nh đối sánh vân tay s dụng bộ x lý GPU.
- Cuối cùng là phần kết luận chung của luận án và một số hướng phát triển tiếp
theo.
Cấu trúc và tr nh tự của luận án được tr nh bày theo h nh dưới đây. Các đường
mũi tên ch quan hệ giữa các chương, các chương phía sau mũi tên có s dụng thông
tin được đề cập trong các chương phía trước.

Chƣơng 1:

Chƣơng 3:

“Khái quát đối sánh vân tay

“Phát hiện điểm đơn nhất từ

dựa trên điểm chạc”

ảnh vân tay”

Chƣơng 2:

Chƣơng 4:

“Nâng cao giai đoạn gia cố đối

“Cải tiến hiệu năng đối sánh

sánh vân tay dựa trên điểm chạc”

vân tay quy mô lớn s dụng
GPU”

“Kết luận và hướng
phát triển”

21


Chƣơng 1: KHÁI QUÁT VỀ ĐỐI SÁNH VÂN TAY DỰA TRÊN
ĐIỂM CHẠC
Trong nội dung chương, luận án s đặc tả chi tiết về bài toán đối sánh vân tay
dựa trên đặc trưng điểm chạc và lớp thuật toán đối sánh vân tay dựa trên điểm chạc
thường được s dụng. Trước khi đi vào đặc tả chi tiết bài toán đối sánh trong mục 1.3,
mục 1.1 và 1.2 s nêu về các bước x lý trong một hệ thống nhận dạng vân tay tự động
và giai đoạn tiền x lý nh m trích chọn đặc trưng điểm chạc từ ảnh vân tay vân tay.

1.1. Hệ thống nhận dạng vân tay tự động
Quá tr nh x lý của một hệ thống nhận dạng vân tay tự động thường trải qua các
bước sau [MMJ09]:
-

Lấy mẫu: quá tr nh lấy mẫu vân tay thường s ụng một thiết bị điện t có cảm

ứng để lấy mẫu vân tay, có sự đa dạng trong các thiết bị cảm ứng này.

-

Trích chọn thuộc tính: nh m mục đích đối sánh vân tay, ảnh vân tay gốc
thường được x lý b i bộ phận trích chọn thuộc tính để tạo ra một thể hiện
gọn nhẹ nhưng có tính thể hiện, đại diện cao gọi là tập đặc trưng

-

Tạo bản mẫu: là quá tr nh t chức một hoặc nhiều tập đặc trưng vào một bản
mẫu và lưu trữ trên thiết bị lưu trữ.

-

Lọc vân tay trước khi đối sánh: là giai đoạn chính được s dụng trong một hệ
thống định danh khi số lượng bản mẫu lưu trữ là lớn. Vai trò của bước này là
giảm số lượng bản mẫu cần đối sánh.

-

Giai đoạn đối sánh matching : đầu vào là tập đặc trưng của vân tay cần so
sánh và bản mẫu lưu trữ, bước đối sánh s tính toán độ tương đồng giữa các
vân tay matching score hay similarity score . Kết quả đối sánh s được so
sánh với ngưỡng của hệ thống để đưa ra kết quả cuối cùng. Nếu kết quả đối
sánh cao hơn ngưỡng th có thể coi hai vân tay là phù hợp, nếu nhỏ hơn s coi
hai vân tay là hai vân tay khác nhau.

22

Đối với quá tr nh lấy mẫu, vân tay người dùng s được thu chụp cùng với thông
tin cá nhân s được lưu trữ vào trong hệ thống lưu trữ sinh trắc học. Trong quá tr nh
lấy mẫu, các đặc tính sinh trắc học vân tay s được thu nhận từ thiết bị vật lý thu chụp
đặc trưng vân tay thông thường là ảnh vân tay để tạo ra mẫu.

ước kiểm tra chất

lượng thường được tiến hành trong quá tr nh này để đảm bảo r ng mẫu thu nhận có độ
tin cậy để s dụng trong các bước kế tiếp. Mô đun trích chọn thuộc tính sau đó được
s dụng để tạo một tập đặc trưng. Mô đun tạo bản mẫu s s dụng tập đặc trưng đó để
tạo ra một mẫu lưu trữ trên thiết bị lưu trữ. Quá tr nh lấy mẫu s lưu trữ mẫu này cũng
với các thông tin cá nhân khác của người s dụng như: số định danh, tên, giới tính, nơi
trú, ... . Các tiến tr nh sau đó s dựa trên các đặc trưng đã được trích chọn từ quá tr nh
lấy mẫu.
Các giải thuật đối sánh đặc trưng vân tay s được s dụng để tiến hành so sánh
đặc trưng của hai vân tay thường là khác nhau . Kết quả của quá tr nh đối sánh s
được s dụng trong hai bài toán xác thực sinh trắc học chính là th m định vân tay
verification , và định danh vân tay identification .
- ài toán th m định verification : đây là bài toán có mục tiêu th m định kiểm
tra định danh của chủ thể. Trong giai đoạn này, một định danh của chủ thể như
username hoặc mã PIN được cung cấp để tuyên bố định danh, hệ thống sinh trắc học
s thu nhận đặc trưng sinh học của chủ thể và lấy mẫu và được x lý b i mô đun trích
chọn thuộc tính để tạo ra tập đặc trưng.

Hình 1.1: Quá trình thẩm định vân tay
Tập kết quả đặc trưng s được đưa vào bộ đối sánh để so sánh với bản mẫu mà chủ thể
tuyên bố. Quá tr nh th m định đưa ra quyết định phù hợp hoặc không H nh 1.1).
23