Nhận dạng chữ ký viết tay sử dụng mạng neural

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC VINH
_____________________________________________________________

NGUYỄN PHÚ QUỐC

NHẬN DẠNG CHỮ KÝ VIẾT TAY
SỬ DỤNG MẠNG NEURAL

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Nghệ An, 2017


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC VINH
_____________________________________________________________

NGUYỄN PHÚ QUỐC

NHẬN DẠNG CHỮ KÝ VIẾT TAY
SỬ DỤNG MẠNG NEURAL
Chuyên ngành: CÔNG NGHỆ THÔNG TIN
Mã ngành: 60.48.02.01

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THƠNG TIN

Người hướng dẫn khoa học: TS. HỒNG HỮU VIỆT

Nghệ An, 2017

LỜI CAM ĐOAN
Tôi xin cam đoan luận văn “Nhận dạng chữ ký viế t tay sử dụng mạng
neural” này là cơng trình nghiên cứu của riêng tơi. Các số liệu sử dụng trong
luận văn là trung thực. Các kết quả nghiên cứu được trình bày trong luận văn
chưa từng được cơng bố tại bất kỳ cơng trình nào khác.
Tác giả

Nguyễn Phú Quố c

Nguyễn Phú Quố c K23 - CNTT - Long An


LỜI CẢM ƠN
Lời đầ u tiên, tôi xin cảm ơn Khoa Công Nghệ Thông Tin Trường Đại
Học Vinh đã mở lớp liên kết giảng dạy tại Long An để tôi có cơ hội tham gia
khóa học
Bên ca ̣nh đó tơi cũng xin cảm ơn Trường Đại học Kinh tế - Công
nghiệp Long An đã phối hợp với Trường Đại học Vinh để tạo mọi điều kiện
cơ sở vật chất tốt nhất để hỗ trợ chúng tơi hồn thành khóa học cao học
(2015-2017).
Tôi cũng xin gửi lời cảm ơn chân thành đến quý thầy cô đã tham gia
giảng dạy các bộ mơn trong suốt khóa học của em.
Nhấ t là, tơi xin gửi lời cảm ơn chân thành và biết ơn sâu sắc đến thầy
Tiến sĩ Hoàng Hữu Viê ̣t đã nhiệt tình hướng dẫn, góp ý nhận xét, động viên
và dành rất nhiều thời gian, tâm huyết để nghiên cứu giúp đỡ em có thể hồn
thành được luận văn cao học này.
Sau cùng, tôi cũng xin gửi lời cảm ơn đến gia đình, bạn bè đồng nghiệp
vẫn ln giúp đỡ và tạo điều kiện cho tôi có đủ thời gian hồn thành luận văn
cao học của mình.

Trong sự chân thành và đầ y biế t ơn, tơi cũng kính chúc:
- Quý thầy cô Khoa Công Nghệ Thông Tin,
- Quý thầy cơ Phịng Sau Đại học trường Đại học Vinh
- Q thầy cô Khoa liên kết đào tạo Trường Đại học Kinh tế - Công
nghiệp Long An
Luôn luôn ma ̣nh khỏe, thành cơng trong cơng viêc̣ sắ p tới,hồn thành
tốt mọi công tác chuyên môn và những công tác khác trong sự nghiệp giáo
dục của quý thầy cô.
Khi thực hiện luận văn này, mặc dù có quá triǹ h nghiên cứu không dài
nhưng được hỗ trợ rất nhiều từ Tiến sĩ Hoàng Hữu Viêṭ tôi cũng đã hoàn
thành luâ ̣n văn kip̣ tiế n đô ̣. Nhưng sẽ không tránh khỏi những thiếu sót và hạn
chế về kiến thức nên tơi hy vọng quý thầy cô sau khi tham khảo luận văn sẽ
có những góp ý nhận xét gửi đến tơi để em có thể chỉnh sửa kịp thời và hồn
thiện luận văn của mình trong thời gian tới.
Tơi xin chân thành cảm ơn!
Tân An, ngày 24 tháng 03 năm 2017.
Học viên
Nguyễn Phú Quố c

Nguyễn Phú Quố c K23 - CNTT - Long An


MỤC LỤC
Trang
LỜI CAM ĐOAN
LỜICẢM ƠN
MỤC LỤC
DANH MỤC CÁC TỪ VIẾT TẮT
DANH MỤC CÁC BẢNG
DANH MỤC CÁC HÌNH

LỜI NĨI ĐẦU .................................................................................................. 1
CHƯƠNG 1. TỔNG QUAN ............................................................................. 6
1.1 Đặt vấn đề .............................................................................................. 6
1.2 Tổng quan về hệ thống nhận dạng mẫu................................................. 7
1.2.1 Phân lớp bài tốn nhận dạng ..........................................................7
1.2.2 Chu trình thiết kế hệ thống nhận dạng mẫu ...................................8
1.2.3 Thiết kế hệ thống nhận dạng chữ ký viế t tay.................................9
1.3 Tình hình nghiên cứu bài toán nhận chữ ký viế t tay ........................... 11
1.3.1 Tình hình nghiên cứu trong nước ................................................11
1.3.2 Tình hình nghiên cứu ngồi nước ................................................11
CHƯƠNG 2. TRÍCH RÚT ĐẶC TRƯNG BẰNG PHƯƠNG PHÁP PHÂN
TÍCH THÀNH PHẦN CHÍNH ....................................................................... 13
2.1 Giới thiêụ ............................................................................................. 13
2.2 Thuật toán PCA cho nhận dạng chữ ký viế t tay .................................. 15
2.3 Ví dụ các bước của thuật toán ............................................................. 20
CHƯƠNG 3. MẠNG NEURAL NHÂN TẠO ............................................... 30
3.1 Giới thiệu về mạng neural ................................................................... 30
3.1.1 Lịch sử phát triển .........................................................................30
3.1.2 Các ứng dụng của mạng neural ...................................................31
3.2 Mô hin
̀ h mạng neural........................................................................... 32
3.3 Mô hin
̀ h ma ̣ng neural nhân ta ̣o ............................................................ 35
3.3.1 Mô hin
̀ h neural mo ̣t đầ u vào .......................................................35
3.3.2 Mô hin
̀ h neural nhiề u đầ u vào .....................................................37
Nguyễn Phú Quố c K23 - CNTT - Long An

3.4. Mạng neural mô ̣t lớp .......................................................................... 39
3.4.1. Kiến trúc mạng Perceptron ........................................................39
3.4.2 Luâ ̣t ho ̣c cho ma ̣ng.......................................................................42
3.4.3 Ha ̣n chế của ma ̣ng ........................................................................45
3.5. Mạng Perceptron nhiề u lớp ................................................................ 45
3.5.1. Kiến trúc mạng Perceptron nhiề u lớp .........................................45
3.5.2. Thuâ ̣t toán lan truyề n ngươ ̣c ......................................................46
CHƯƠNG 4. THIẾT KẾ HỆ THỐNG NHẬN DẠNG CHỮ KÝ VIẾT TAY . 48
4.1 Cơ sở dữ liệu cho thử nghiệm ............................................................. 48
4.2 Tiề n xử lý............................................................................................. 49
4.3 Nhận dạng với phương pháp phân tích thành phần chính (PCA) ....... 49
4.4 Nhận dạng với MLP sử dụng đặc trưng PCA ..................................... 51
4.4.1 Thử nghiệm với mạng MLP 2 tầng .............................................52
4.4.2 Thử nghiệm với mạng MLP 3 tầng .............................................54
4.5. Một số nhận xét và đề xuất ................................................................. 56
KẾT LUẬN ..................................................................................................... 57
TÀI LIỆU THAM KHẢO ............................................................................... 59

Nguyễn Phú Quố c K23 - CNTT - Long An


DANH MỤC CÁC TỪ VIẾT TẮT

CSDL:

Cơ sở dữ liệu

MLP (Multilayer Perceptron):

Mạng Perceptron nhiều lớp

LDA (Linear Discriminant Analysis):

Phương pháp phân tách tuyến tính

LMS (Least Mean Square):

Phương pháp bình phương trung
bình tối thiểu

PCA (Principal Components Analysis): Phương pháp phân tích thành phần
chính
MDP (Markov decision process):

Markov trạng thái hữu hạn

ANN (Artificial Neural Network):

Ma ̣ng neural nhân ta ̣o

Nguyễn Phú Quố c K23 - CNTT - Long An


DANH MỤC CÁC BẢNG
Trang
Bảng 2.1. Biểu diễn của 6 ảnh bởi 6 ma trận số liệu 4x6 .............................. 20
Bảng 2.2. Biểu diển vector cột của mặt ảnh và giá trị trung bình.................. 21
Bảng 2.3. Biểu diển vector cột của mặt ảnh và giá trị trung bình................... 22
Bảng 2.4. Ma trân hiệp phương sai C ............................................................. 23
Bảng 2.5. Ma trận vector riêng C .................................................................... 23

Bảng 2.6. Ma trận giá trị riêng C .................................................................... 24
Bảng 2.7. Ma trận vector riêng của C theo thứ tự giảm dần ......................... 244
Bảng 2.8. Ma trận giá trị riêng theo thứ tự giảm dần ...................................... 24
Bảng 2.9. Ma trận vector riêng ui .................................................................... 25
Bảng 2.10. Các vector đặc trưng (eiggent face) của 6 ảnh ............................. 26
Bảng 2.11. Lấy vector đặc trưng của 4 ảnh .................................................... 26
Bảng 2.12. Biểu diễn ma trận ảnh I7 ............................................................... 27
Bảng 2.13. Biểu diễn vector I7 thành cột và trờ ảnh trung bình ..................... 27
Bảng 2.14. Biểu diễn vetor riêng I7 ............................................................... 28
Bảng 2.15. Khoảng cách của I7với I1, I2, I3, I4, I5, I6:...................................... 29
Bảng 2.16. Khoảng cách giữa I7 với 6 ảnh trong tập huấn luyện ................... 29
Bảng 3.1. Một số hàm truyền của mạng neural .............................................. 36
Bảng 4.1 Tỷ lệ và thời gian nhận dạng của phương pháp phân tích thành phầ n
chính ................................................................................................................ 40
Bảng 4.2. Các chữ ký bị nhận dang sai với K = 30 ........................................ 41
Bảng 4.3. Kết của các thử nghiệm với mạng neural 2 tầng ............................ 43
Bảng 4.4 Kết của của các thử nghiệm với mạng neural 3 tầng....................... 55

Nguyễn Phú Quố c K23 - CNTT - Long An


DANH MỤC CÁC HÌNH
Trang
Hình 1.1. Chu trình hệ thống nhận dạng mẫu ................................................... 9
Hình 1.2. Hệ thống nhận dạng chữ kýcơ bản .................................................. 10
Hình 2.1. Biể u diễn vector của ảnh chữ ký .......................................... ........ .15
Hình 2.2. Da ̣ng của vector đươ ̣c ta ̣o từ ảnh chữ ký viế t tay .......................... 15
Hình 3.1. Cấu tạo của tế bào neural sinh học.................................................. 33
Hình 3.2. Mơ hình neural nhân tạo ................................................................. 34
Hình 3.3. Mơ hình mạng neural một đầu vào ................................................ 36

Hình 3.4. Mơ hình neural nhiều đầu vào......................................................... 37
Hình 3.5. Mơ hình neural nhiều đầu vào......................................................... 38
Hình 3.6. Kiến trúc mạng neural một lớp ....................................................... 39
Hình 3.7. Ma ̣ng Perceptron mơ ̣t neural hai đầ u vào ....................................... 41
Hình 3.8. Mạng neural nhiề u đầ u vào ............................................................. 42
Hình 3.9 Đường biên quyết định ..................................................................... 44
Hình 4.1. Một số ảnh chữ ký của cơ sở dữ liệu .............................................. 48
Hình 4.2. Một số ảnh chữ ký sau khi đã được chuẩn hóa ............................... 51
Hình 4.3. Mạng MLP 2 tầng cho trường hợp K = 10 ..................................... 53
Hình 4.4. Ma ̣ng MLP 3 tầng với trường hơ ̣p K = 10 ..................................... 55

Nguyễn Phú Quố c K23 - CNTT - Long An


1

LỜI NÓI ĐẦU
1. Lý do chọn đề tài
Chữ ký viết tay là phương tiện được sử dụng rộng rãi trong mọi lĩnh vực
của cuộc sống ở nhiều môi trường khác nhau như cơng sở, ủy ban, ngân hàng,
tịa án, điều tra…. Chữ ký viết tay được chấp nhận như một bằng chứng tin
cậy để xác thực duy nhất một cá nhân.
Tuy nhiên, hầu hết những nhân viên làm việc ở các vị trí đó lại khơng
được đào tạo để phát hiện chữ ký giả mạo, họ chỉ đơn thuần xác thực tính
đúng đắn của chữ ký dựa vào kinh nghiệm và các quan sát thu được khi đối
sánh với chữ ký gốc. Thực tế này sẽ dẫn đến các hậu quả nghiêm trọng nếu
các chữ ký được tạo ra bởi các chuyên gia giả mạo chữ ký. Trong các tình
huống đó, việc xác thực tính hợp lệ của chữ ký gặp rất nhiều khó khăn, ngay
cả với các chuyên gia phân tích chữ ký giả mạo. Thậm chí, một chuyên gia
như vậy cũng không thể xử lý hết số lượng các chữ ký cần xác thực hàng

ngày tại mỗi đơn vị.
Từ các thực tế đó, chúng tơi hướng tới việc nghiên cứu để xây dựng hệ
thống xác thực chữ ký viết tay nhằm xác thực tính hợp lệ của chữ ký.
Xử lý ảnh là một trong những lĩnh vực ngày càng được phổ biến trong
đời sống xã hội. Không chỉ dừng lại ở việc xử lý những vết nhòe, tái chế và
phục hồi các ảnh cũ, ngày nay các kỹ phương pháp xử lý ảnh đã mang lại
những tiến bộ vượt bậc như nhận dạng vân tay, nhận dạng khuôn mặt, nhận
dạng đối tượng khi nó kết hợp với lĩnh vực trí tuệ nhân tạo. Mặt khác vấn đề
an ninh bảo mật đang được yêu cầu khắc khe tại mọi quốc gia trên thế giới.
Các hệ thống xác định nhận dạng con người được ra đời với độ tin cậy cao.
Một trong nhưng bài toàn nhận dạng con người được quan tâm nhất hiện nay
đó là nhận dạng qua chữ ký viế t tay cá nhân.


2

Trong thế kỷ 20 có rất nhiều mơ hình tính tốn mơ phỏng bộ não của
người được nghiên cứu trong đó có mạng neural. Mạng neural có khả năng
giải quyết hàng loạt các bài tốn như tính tốn tối ưu, nhận dạng, điều khiển
và được ứng dụng trong nhiều lĩnh vực của công nghệ thông tin.
Một mạng neural nhân tạo bao gồm một tập các đơn vị xử lý cơ bản,
gọi là neural, chúng truyền thông tin bằng cách gửi các tín hiệu cho nhau
qua các kênh kết nối có trọng số. Mỗi neural thực hiện một công việc tương
đối đơn giản: nhận tín hiệu từ các neural lân cận hoặc từ nguồn bên ngồi,
tính tốn tín hiệu ra rồi truyền sang cho các neural khác.Ngoài việc xử lý
này, nhiệm vụ thứ hai của neural là điều chỉnh lại các trọng số. Hệ thống sẽ
được thực hiện song song vì nhiều neural có thể thực hiện tính tốn ở cùng
thời điểm.
Các phương pháp nhận dạng chữ ký viế t tay phổ biến hiện nay là nhận
dạng dựa trên đặc trưng như biển đổi sóng Wavelet (Gabor Wavelet) và mạng

neural (Neural Network) [1], Support Vector Machine (SVN),… và nhận
dạng dựa trên xét tổng thể ảnh như phương pháp Phân tích thành phần chính
(Principal Component Analysis - PCA)[10], phương pháp Phân tích sự khác
biệt tuyến tính (Linear Discriminant Analysis - LDA) [4, 9], phương pháp
Phân tích đặc điểm vùng (Local Feature Analysis - LFA). Về bản chất, PCA
là phương pháp trích rút đặc trưng nhằm giảm số chiều của ảnh mà không làm
mất đi các đặc trưng chính trên chữ ký. Nhận dạng chữ ký dùng PCA kết hợp
với mạng neural là phương pháp mang lại hiệu quả nhận dạng cao bởi nó phát
huy được ưu điểm của PCA và mạng neural.
Với nhận thức như trên, tôi chọn đề tài: “Nhận dạng chữ ký viế t tay
bằ ng mạng neural” làm luận văn tốt nghiệp thạc sỹ ngành Công nghệ thông
tin.


3

2. Mục tiêu
2.1. Mục tiêu tổng quát
Nghiên cứu bài toán nhận dạng chữ ký viết tay bằng phương pháp phân
tích thành phần chính và mạng neural; cài đặt thử nghiệm thuật toán nhận
dạng ảnh chữ ký.
2.2. Mục tiêu cụ thể
Đề tài tập trung vào 4 mục tiêu chính sau:
(i) Nghiên cứu tổng quan về bài toán nhận dạng.
(ii) Nghiên cứu phương pháp PCA để trích rút đặc trưng của ảnh
mặt người.
(iii) Nghiên cứu mạng neural để xây dựng bộ phân lớp nhận dạng.
(iv) Cài đặt thử nghiệm thuật toán nhận dạng ảnh chữ ký và đưa ra một
số đánh giá hiệu quả của thuật toán.
3. Đối tượng và phạm vi nghiên cứu

3.1. Đối tượng nghiên cứu
(a) Nghiên cứu lý thuyết
- Nghiên cứu các tài liệu về bài toán nhận dạng chữ ký đã cơng bố ở
trong và ngồi nước.
- Nghiên cứu phương pháp PCA để trích chọn đặc trưng ảnh chữ ký
cho hệ thống nhận dạng.
- Nghiên cứu mạng neural để xây dựng bộ phân lớp của hệ thống
nhận dạng.
- Nghiên cứu tài liệu về ngơn ngữ lập trình Matlab để cài đặt thuật toán
thử nghiệm.


4

(b) Nghiên cứu thực nghiệm
- Cài đặt thử nghiệm ứng dụng nhận dạng ảnh chữ ký bằng phương
pháp PCA và mạng neural và đánh giá hiệu quả của thuật toán đã để xuất.
3.2. Phạm vi nghiên cứu
Bài toán nhận dạng chữ ký mới xuất hiện cách đây không lâu, chỉ
khoảng vài thập niên nhưng đã có rất nhiều nghiên cứu về nó. Các nghiên cứu
ban đầu rất đơn giản, ảnh đen trắng và chỉ có một chữ ký chụp, sau này mở
rộng ra cho ảnh màu, ảnh có nhiều chữ ký với nhiều góc độ khác nhau, ảnh
động, đi từ đơn giản đến phức tạp...
Trong phạm vi luận văn này, tơi tập trung giải quyết bài tốn nhận dạng
chữ ký dựa trên tập dữ liệu ảnh chữ ký đã được cho trước (offline). Hệ thống
nhận dạng sẽ thực hiện quá trình tiền xử lý để nâng cao chất lượng ảnh, trích
rút đặc trưng của ảnh bằng phương pháp PCA và đưa tập đặc trưng đã xác
định vào mạng neural để nhận ra đối tượng được đưa vào từ bức ảnh.
4. Phương pháp nghiên cứu
4.1. Phương pháp lý thuyết

- Nghiên cứu lí thuyết tổng quan về các phương pháp nhận dạng
mặt người.
- Nghiên cứu lí thuyết phương pháp PCA cho bài tốn trích rút đặc
trưng của ảnh chữ ký.
- Nghiên cứu mạng neural để xây dựng bộ phân lớp của hệ thống
nhận dạng.
4.2. Phương pháp thực nghiệm
- Nghiên cứu ngôn ngữ lập trình Matlab để cài đặt mơ phỏng thuật tốn
trên máy tính.


5

- Lập trình thử nghiệm hệ thống nhận dạng ảnh chữ ký bằng phương
pháp PCA và mạng neural bằng ngôn ngữ lập trình Matlab; đánh giá hiệu của
của thuật tốn bằng thực nghiệm.
5. Cấu trúc luận văn
Bố cục của luận văn gồm 4 chương với các nội dung như sau:
Chương 1: Tổng quan. Tìm hiểu nghiên cứu lý thuyết tổng quan về
bài toán nhận dạng mẫu: phân lớp bài toán nhận dạng, chu trình thiết kế hệ
thống nhận dạng mẫu và thiết kế hệ thống nhận dạng chữ ký.
Chương 2: Trích rút đặc trưng bằng phương pháp phân tích thành
phần chính. Tìm hiểu cơ sở lý thuyết của phương pháp PCA, thuật tốn PCA
nhận dạng ảnh chữ ký và ví dụ thể hiện các bước của thuật toán.
Chương 3: Mạng Neural nhân tạo. Giới thiệu cơ sở lý thuyết về
mạng Neural: lịch sử phát triễn mạng, ứng dụng mạng và các loại kiến trúc
của mạng Neural.
Chương 4: Thiết kế hệ thống nhận dạng ảnh chữ ký tay. Thực hiện
xây dựng cơ sở dữ liệu cho thực nghiệm. Thực nghiệm nhận dạng ảnh chữ ký
với PCA, nhận dạng với mạng Neural và cuối cùng là so sánh và đánh giá

hiệu quả của các phương pháp nhận dạng đó.


6

CHƯƠNG 1
TỔNG QUAN
1.1 Đặt vấn đề
Nhận dạng mẫu là một ngành thuộc lĩnh vực học máy (machine
learning). Nhận dạng mẫu nhằm mục đích phân loại dữ liệu dựa trên hoặc là
kiến thức tiên nghiệm hoặc dựa vào thông tin thống kê được trích rút từ các
mẫu có sẵn. Các mẫu cần phân loại thường được biểu diễn thành các nhóm
của các dữ liệu đo đạc hay quan sát được, mỗi nhóm là một điểm ở trong
một khơng gian đa chiều phù hợp. Đó là khơng gian của các đặc tính để dựa
vào đó ta có thể phân loại.
Một hệ thống nhận dạng mẫu hoàn thiện gồm một thiết bị cảm nhận để
thu thập các quan sát cần cho việc phân loại hay miêu tả, một cơ chế trích
rút đặc trưng để tính tốn các thơng tin dưới dạng số hay dạng tượng trưng từ
các dữ liệu quan sát được; và một bộ phân loại nhằm thực hiện công việc
phân loại thực sự dựa vào các đặc tính đã được trích rút.
Việc phân loại thường dựa vào sự có sẵn của một tập các mẫu mà đã
được phân loại sẵn. Tập các mẫu này được gọi là tập huấn luyện và chiến
lược học nhằm phân loại mẫu vào một trong các lớp có sẵn được gọi là học có
giám sát. Việc học cũng có thể là khơng có giám sát, theo nghĩa là hệ thống
không được cung cấp các mẫu được đánh nhãn tiên nghiệm, mà nó phải tự
đưa ra các lớp để phân loại dựa vào tính ổn định trong thống kê của các mẫu.
Việc phân loại thường dùng một trong các hướng tiếp cận sau: thống
kê, cú pháp. Nhận dạng mẫu dùng thống kê là dựa vào các đặc tính thống kê
của các mẫu, chẳng hạn rằng các mẫu được tạo mởi một hệ thống xác suất.
Nhận dạng dùng cấu trúc là dựa vào tương quan cấu trúc giữa các mẫu.

Các ứng dụng phổ biến là nhận dạng tiếng nói tự động, phân loại văn
bản thành nhiều loại khác nhau, nhận dạng tự động các mã bưu điện viết
tay trên các bao thư, hay hệ thống nhận dạng danh tính dựa vào mặt người. Ba


7

ví dụ cuối tạo thành lĩnh vực con phân tích ảnh của nhận dạng mẫu với đầu
vào là các ảnh số.
1.2 Tổng quan về hệ thống nhận dạng mẫu
1.2.1 Phân lớp bài toán nhận dạng
Nhận dạng mẫu thường được phân thành 3 lớp bài tốn:
a. Học có giám sát: là một kĩ thuật của ngành học máy để xây dựng
một hàm từ dữ liệu huấn luyện. Dữ liệu huấn luyện bao gồm các cặp gồm đối
tượng đầu vào và đầu ra mong muốn. Đầu ra của một hàm có thể là một giá trị
liên tục, hay có thể là dự đoán một nhãn phân loại cho một đối tượng đầu vào.
Nhiệm vụ của chương trình học có giám sát là dự đoán giá trị của hàm
cho một đối tượng bất kì là đầu vào hợp lệ, sau khi đã xem xét một số ví dụ
huấn luyện. Để đạt được điều này, chương trình học phải tổng qt hóa từ các
dữ liệu sẵn có để dự đốn được những tình huống chưa gặp phải theo một
cách "hợp lí".
Học có giám sát có thể tạo ra 2 loại mơ hình. Phổ biến nhất, học có
giám sát tạo ra một mơ hình tồn cục để ánh xạ đối tượng đầu vào đến đầu ra
mong muốn. Tuy nhiên, trong một số trường hợp, việc ánh xạ được thực hiện
dưới dạng một tập các mô hình cục bộ.
b. Học khơng có giám sát: là một phương pháp của ngành học
máy nhằm tìm ra một mơ hình mà phù hợp với các quan sát. Nó khác biệt
với học có giám sát ở chỗ là đầu ra đúng tương ứng cho mỗi đầu vào là không
biết trước. Trong học khơng có giám sát, một tập dữ liệu đầu vào được thu
thập. Học khơng có giám sát thường đối xử với các đối tượng đầu vào như là

một tập các biến ngẫu nhiên. Sau đó, một mơ hình mật độ kết hợp sẽ được
xây dựng cho tập dữ liệu đó.
c. Học tăng cường: là một lĩnh vực con của học máy, nghiên cứu cách
thức một agent trong một môi trường nên chọn thực hiện các hành động nào
để cực đại hóa một khoản thưởng nào đó về lâu dài. Các thuật toán học tăng


8

cường cố gắng tìm một chiến lược ánh xạ các trạng thái của thế giới tới các
hành động mà agent nên chọn trong các trạng thái đó.
Mơi trường thường được biểu diễn dưới dạng một quá trình quyết định
Markov trạng thái hữu hạn (Markov Decision Process - MDP), và các thuật
tốn học tăng cường cho ngữ cảnh này có liên quan nhiều đến các kỹ
thuật quy hoạch động. Các xác suất chuyển trạng thái và các xác suất thu lợi
trong MDP thường là ngẫu nhiên nhưng lại tĩnh trong quá trình của bài tốn.
Khác với học có giám sát, trong học tăng cường khơng có các cặp dữ liệu
vào/kết quả đúng, các hành động gần tối ưu cũng không được đánh giá đúng
sai một cách tường minh. Hơn nữa, ở đây hoạt động trực tuyến được quan
tâm, trong đó có việc tìm kiếm một sụ cân bằng giữa khám phá và khai thác
tri thức hiện có. Do đó, học tăng cường đặc biệt thích hợp cho các bài tốn có
sự được mất giữa các khoản thưởng ngắn hạn và dài hạn. Học tăng cường đã
được áp dụng thành công cho nhiều bài tốn, trong đó có điều khiển robot,
điều vận thang máy, viễn thơng, các trị chơi backgammon và cờ vua.
1.2.2 Chu trình thiết kế hệ thống nhận dạng mẫu
Chu trình thiết kế của một hệ thống nhận dạng mẫu được mơ tả như
Hình 1.1, trong đó:
- Dữ liệu vào: Dữ liệu đưa vào thường có kích thước lớn và gồm nhiều
dạng dữ liệu khác nhau, việc xử lý chúng rất khó khăn. Do vậy trước hết
chúng ta phải có các thao tác làm sạch và tiền xử lý dữ liệu:

+ Làm sạch: là làm giảm nhiễu và loại bỏ các dư thừa dữ liệu.
+ Tiền xử lý: sử dụng các phương pháp đổi tên, chuẩn hoá, rời rạc hoá
và trừu tượng hoá.


9

- Trích chọn đặc trưng: Kích thước của các mẫu đưa vào thường rất
lớn. Mục đích làm giảm kích thước của mẫu thì phải trích chọn các đặc
trưng của mẫu.
- Lựa chon mơ hình: Sử dụng các kiến thức về các mẫu, phân tích
sự tương quan để đốn mơ hình.
- Học: Sử dụng các phương pháp đạo hàm, ma trận để giải các bài tốn
tối ưu, tìm tập tham số của mơ hình để tối ưu hố hàm lỗi.
- Đánh giá mơ hình: Sử dụng các phương pháp đánh giá đơn giản như:
chia tập dữ liệu thành tập huấn luyện và tập kiểm tra.

Hình 1.1. Chu trình hệ thống nhận dạng mẫu
1.2.3 Thiết kế hệ thống nhận dạng chữ ký viế t tay
Nhiệm vụ của hệ thống nhận dạng chữ ký là xử lý tự động thông tin từ
các ảnh để tìm ra độ tương tự giữa các chữ ký và đưa ra quyết định về tính


10

đồng nhất giữa chúng. Cấu trúc của hệ thống nhận dạng chữ ký được thể hiện
như hình 1.2.
a. Tiền xử lý
Qua trình tiền xử lí đối với chữ ký nhằm nâng cao chất lượng ảnh,
chuẩn hóa dữ liệu, kích thước ảnh giúp cho việc tìm kiếm được hiệu quả hơn.

Các ảnh trong nghiên cứu này là tương đối tốt nên ta khơng cần dung các
thuật tốn nâng cao chất lượng ảnh. Các cơng việc trong bước tiền xử lý có
thể là: Chuẩn hóa kích cỡ giữa ảnh trong cơ sở dữ liệu (CSDL) và ảnh cầm
tìm, hiệu chỉnh độ sáng, tối của ảnh; lọc nhiễu, chuẩn hóa về vị trí, tư thế ảnh
chữ ký. Việc chuẩn hoá ảnh tốt khiến độ lệch giữa 2 điểm ảnh được giảm
xuống làm cho việc trích rút đặc trưng thêm chính xác.

Ảnh tĩnh

Tiền xử lí

Trích rút đặc trưng

Đối sánh
Nhận dạng chữ ký
Hình1.2. Hệ thống nhận dạng chữ ký cơ bản


11

b. Trích chọn đặc trưng
Trích chọn đặc trưng là kỹ thuật sử dụng các thuật tốn để lấy ra những
thơng tin mang những đặc điểm riêng biệt của một chữ ký cá nhân.
Sau khi đã tách được chữ ký từ đó tìm ra các đặc trưng chính của chữ
ký, từ các đặc trưng này hình thành các vector đặc trưng, các vector này sẽ
được sử dụng để đối sánh sự giống nhau giữa chữ ký cần tìm và chữ ký trong
CSDL.
c. Đối sánh (comparison)- nhận dạng chữ ký
Những đặc trưng sau khi được trích rút sẽ đưa vào khối nhận dạng để
phân lớp đối tượng. Thực hiện việc so sánh giữa các vector đặc trưng để chọn

ra độ tương tự giữa ảnh cần tìm và ảnh trong CSDL.

1.3 Tình hình nghiên cứu bài toán nhận dạng chữ ký viế t tay
1.3.1 Tình hình nghiên cứu trong nước
Đối với nghiên cứu nhận dạng ảnh chữ ký trong nước hiện nay đang
trong q trình nghiên cứu và thử nghiệm, chưa thấy có cơng trình nào đạt kết
quả cao được cơng bố rơ ̣ng raĩ trên thơng tin trù n thơng.
1.3.2 Tình hình nghiên cứu ngồi nước
Hiện nay trên thế giới đã có rất nhiều cơng trình sử dụng phương pháp
phân tích thành phần chính và mạng neural để nhận dạng chữ ký và đã được
ứng dụng nhiều trong thực tiễn. Một số cơng trình nghiên cứu của các tác giả
nỗi tiếng đã được biết đến như:


12

Đố i với nhâ ̣n da ̣ng chữ ký viế t tay thì đã từ những năm đầ u thâ ̣p kỹ 90
của thế kỹ trước đã có nhiề u nhà khoa ho ̣c đã bắ t đầ u nghiên cứu về nhâ ̣n
da ̣ng chữ ký viế t tay thông qua các lý thuyế t toán ho ̣c khác nhau. Và với
ma ̣ng neural cũng vâ ̣y gầ n đây đã có nhiề u bài báo khoa ho ̣c và nghiên cứu về
loa ̣i nhâ ̣n da ̣ng này
Ví du ̣ như của Ashwinni Pansare và Shalini Bhatia của trường Đa ̣i ho ̣c
Mumbai Ấn Đô ̣, nhóm Ooi Shih Yin, Andrew Teoh Beng Jin, Hiew Bee Yan,
Pang Ying Han của Hàn Quố c và Malaysia [8][6]....


13

CHƯƠNG 2
TRÍCH RÚT ĐẶC TRƯNG BẰNG PHƯƠNG PHÁP

PHÂN TÍCH THÀNH PHẦN CHÍNH

Chương này trình bày về cơ sở lý thuyết của phương pháp phân tích
thành phần chính (PCA) [10], các đại lượng toán học của phương pháp PCA,
thuật toán PCA cho nhận dạng và ví dụ cụ thể thực hiện các bước thuật tốn.
2.1 Giới thiệu
Nội dung chính của hướng tiếp cận nhận dạng chữ ký dựa trên xét toàn
diện chữ ký mỗi ảnh có kích thước MN là một vector trong không gian
(MN)  1 chiều. Ta sẽ xây dựng một khơng gian mới có chiều nhỏ hơn sao
cho khi biểu diễn trong khơng gian đó các đặc điểm chính của một chữ ký
khơng bị mất đi. Trong khơng gian đó, các ảnh của cùng một chữ ký sẽ được
tập trung lại thành một nhóm gần nhau và cách xa các nhóm khác.
Phương pháp PCA là một kỹ thuật thống kê hữu ích trong các ứng dụng
nhận dạng chữ ký và nén ảnh, đồng thời đây cũng là một kỹ thuật phổ biến
cho việc tìm kiếm các mẫu trong khơng gian dữ liệu có số chiều lớn. Thuật
tốn này được sử dụng để tạo ra một ảnh mới từ ảnh ban đầu, ảnh mới này có
kích thước nhỏ hơn rất nhiều so với ảnh đầu vào và vẫn mang những đặc
trưng cơ bản nhất của ảnh cần nhận dạng. PCA khơng cần quan tâm đến việc
tìm ra các đặc điểm cụ thể của thực thể cần nhận dạng và mối quan hệ giữa
các đặc điểm đó.
Phương pháp phân tích thành phần chính là một trong các phương pháp
để trích chọn đặc trưng được sử dụng trong luận văn. Mục đích thứ nhất của
việc trích chọn đặc trưng là giảm số chiều của dữ liệu. Dữ liệu ảnh chữ ký có


14

số điểm ảnh lớn (cỡ vài trăm đến vài nghìn điểm ảnh), do đó cần có một phép
biến đổi để giảm lượng thông tin sử dụng để biểu diễn, đồng thời không làm
mất quá nhiều thông tin quan trọng. Mục đích thứ hai của việc trích chọn đặc

trưng là giúp phân biệt tốt hơn đối với các mẫu dữ liệu. Các ảnh chữ ký sẽ
được biểu diễn trong một không gian mới sao cho có thể làm nổi bật được sự
khác biệt giữa các ảnh với nhau.
Về bản chất, PCA tìm ra một khơng gian mới theo hướng biến thiên
mạnh nhất của một tập hợp các vector trong không gian cho trước. Trong
không gian mới, người ta hy vọng rằng việc phân loại sẽ mang lại kết quả tốt
hơn so với không gian ban đầu.
Ưu điểm của phương pháp PCA:
 Tìm được các đặc trưng tiêu biểu của đối tượng cần nhận dạng mà
không cần phải xác định các thành phần và mối quan hệ giữa các thành
phần đó.
 Thuật tốn có thể thực hiện tốt với các ảnh có độ phân giải cao, do
PCA sẽ thu gọn ảnh thành một ảnh có kích thước nhỏ hơn.
 PCA có thể kết hợp với các phương pháp khác như mạng Neural,
Support Vector Machine… để mạng lại hiệu quả nhận dạng cao hơn.
Nhược điểm của PCA:
 PCA phân loại theo chiều lớn nhất của tập vector. Tuy nhiên, chiều
phân bố lớn nhất không phải lúc nào cũng mang lại hiệu quả tốt nhất cho bài
toán nhận dạng. Đây là nhược điểm cơ bản của PCA.
 PCA rất nhạy với độ nhiễu khá cao.


15

2.2 Thuật toán PCA cho nhận dạng ảnh chữ ký
Mục tiêu của phương pháp PCA là “giảm số chiều” của 1 tập vector
sao cho vẫn đảm bảo được “tối đa thông tin quan trọng nhất”. Phương pháp
PCA sẽ giữ lại K thuộc tính “mới” từ M các thuộc tính ban đầu (KTrong thuật tốn PCA, một ảnh chữ ký kích thước MN được biểu diễn
bởi 1 vector cột có kích thước (MN) x 1 như hình 2.1.

Áp dụng PCA vào trích chọn vector đặc trưng cho bài tốn nhận dạng
chữ ký:
Ảnh Chữ ký có
kích thước
MN

Chuyển thành

Vector
Dx1
với
D = MN

Hình 2.1. Biểu diễn vector của ảnh chữ ký
Một bức ảnh về chữ ký được coi như là một vector, nếu bức ảnh có
kích thước là MN pixels thì khơng gian chứa vector này có số chiều là MN.
Mỗi pixel sẽ được mã hóa bởi một thành phần của vector. Việc xây dựng các
vector này từ một hình ảnh được thực hiện bởi một nối đơn giản - các hàng
của hình ảnh được đặt mỗi bên cạnh nhau, như thể hiện trên hình 2.2.

Hình 2.2. Dạng của vector được tạo từ bức ảnh chữ ký
Khâu quan trọng nhất trong bài toán nhận dạng đó là trích chọn vector
đặc tính. Trong phần này, tơi sẽ trình bày các bước trích chọn vector đặc tính
mang những đặc tính riêng của chữ ký cần nhận dạng theo thuật toán sau:


16

2.2.1. Thuật tốn huấn luyện bộ dữ liệu tìm tập vector riêng
Bước 1: Nhận các chữ ký từ cơ sở dữ liệu

Sử dụng các ảnh chữ ký I1, I2,… In (tập các chữ ký huấn luyện) với chữ
ký phải chính diện và tất cả ảnh phải cùng kích thước.
Giả sử có M ảnh, khi đó i=1, 2,…, M. Sau đó tương ứng với mỗi ảnh Ii
ta biế n thành vector i
Bước 2: Tính tốn giá trị trung bình
Giá trị vector chữ ký trung bình  theo cơng thức:


1
M

M


i 1

i

,

(2.1)

trong đó:
- M là số ảnh trong tập luyện, Γi là vector 1 chiều (D×1) đại diện
cho mỗi ảnh.
- Ψ là vector trung bình (kích thước D×1) của tập tất cả các

Γitrên;Ψ cịn được gọi là vector trung bình mặt của tập luyện.
Bước 3: Trừ đi giá trị trung bình
Sai số của các ảnh so với giá trị vector mặt trung bình được tính tốn

theo cơng thức (2.2):
 i  i  

(2.2)

trong đó: Φi là vector sai số ứng với mỗi ảnh, Γi là vectot 1 chiều của các ảnh,
Ψ là vector trung bình mặt.
Bước 4: Tính ma trận hiệp phương sai (covariance) C
C

1
M

M


n 1

n

 Tn  AAT

trong đó: C sẽ có kích thước DxD

(2.3)