NGHIÊN CỨU ÁP DỤNG KỸ THUẬT HỌC SÂU (DEEP LEARNING) CHO BÀI TOÁN NHẬN DẠNG KÝ TỰ LATINH_2

luan van thac si - luan van thac si kinh te - luan an tien - luan van 1 of 95.

BỘ GIAO THÔNG VẬN TẢI

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC HÀNG HẢI VIỆT NAM

CN. TRẦN QUYẾT CƯỜNG

NGHIÊN CỨU ÁP DỤNG KỸ THUẬT HỌC SÂU
(DEEP LEARNING) CHO BÀI TOÁN NHẬN DẠNG
KÝ TỰ LATINH

LUẬN VĂN THẠC SĨ KỸ THUẬT

HẢI PHÒNG - 2016

Footer Page - Footer Page - kho luan van - tai lieu - 123doc- tieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 2 of 95.

BỘ GIAO THÔNG VẬN TẢI

BỘ GIÁO DỤC VÀ ĐÀO TẠO

TRƯỜNG ĐẠI HỌC HÀNG HẢI VIỆT NAM

CN. TRẦN QUYẾT CƯỜNG

NGHIÊN CỨU ÁP DỤNG KỸ THUẬT HỌC SÂU
(DEEP LEARNING) CHO BÀI TOÁN NHẬN DẠNG
KÝ TỰ LATINH

LUẬN VĂN THẠC SĨ KỸ THUẬT

NGÀNH: CÔNG NGHỆ THÔNG TIN

MÃ SỐ: 60480201

CHUYÊN NGÀNH: CÔNG NGHỆ THÔNG TIN

Người hướng dẫn khoa học: TS. Hồ Thị Hương Thơm

HẢI PHÒNG - 2016

Footer Page - Footer Page - kho luan van - tai lieu - 123doc- tieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 3 of 95.

LỜI CAM ĐOAN
Học viên xin cam đoan đây là công trình nghiên cứu của riêng mình dưới sự
hướng dẫn khoa học của TS. Hồ Thị Hương Thơm. Các nội dung nghiên cứu, kết
quả nêu trong luận văn là xác thực và chưa từng được công bố trong bất kỳ các công
trình nào khác.
Các thông tin sử dụng trong luận văn là có cơ sở và nguồn gốc rõ ràng. Học viên
xin hoàn toàn chịu trách nhiệm về tính xác thực và nguyên bản của luận văn.
Hải Phòng, ngày

tháng

năm 2016

Học viên

Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai i


luan van thac si - luan van thac si kinh te - luan an tien - luan van 4 of 95.

LỜI CẢM ƠN
Trong quá trình hoàn thành luận văn, các thầy cô tại trường Đại học Hàng hải
Việt Nam đã giúp đỡ và tạo điều kiện cho học viên rất nhiều. Học viên xin gửi lời
cảm ơn chân thành nhất đến các thầy cô khoa Công nghệ thông tin, Viện Đào tạo
sau Đại học và đặc biệt là TS. Hồ Thị Hương Thơm đã chỉ bảo, hướng dẫn học viên
thực hiện đề tài: “Nghiên cứu áp dụng kỹ thuật học sâu (Deep Learning) cho bài toán
nhận dạng ký tự Latinh”.
Học viên muốn gửi lời cảm ơn sâu sắc đến gia đình, bạn bè đã động viên, giúp
đỡ trong suốt quá trình nghiên cứu, học tập và hoàn thiện đề tài.
Bước đầu làm quen với công tác nghiên cứu khoa học còn nhiều bỡ ngỡ và
hạn chế về kiến thức cũng như kinh nghiệm nên không tránh khỏi những thiếu sót
nhất định. Rất mong nhận được những góp ý của thầy, cô và các bạn để đề tài được
hoàn thiện hơn.
Xin chân thành cảm ơn!

Footer Page - Footer Page - kho luan van - tai lieu - 123docii tieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 5 of 95.

MỤC LỤC
LỜI CAM ĐOAN ................................................................................................... i
LỜI CẢM ƠN........................................................................................................ ii
MỤC LỤC ............................................................................................................ iii
DANH MỤC CÁC CHỮ VIẾT TẮT VÀ KÝ HIỆU ........................................... v
DANH MỤC CÁC BẢNG ................................................................................... vi
DANH MỤC CÁC HÌNH ................................................................................... vii
LỜI MỞ ĐẦU ....................................................................................................... 1
CHƯƠNG 1: TỔNG QUAN VỀ HỌC MÁY VÀ NHẬN DẠNG....................... 4
1.1 Học máy (Machine learning)........................................................................... 4
1.1.1 Khái niệm ................................................................................................. 4
1.1.2 Phân loại ................................................................................................... 5
1.2 Nhâ ̣n da ̣ng...................................................................................................... 10
1.2.1 Nhận dạng............................................................................................... 10
1.2.2 Nhận dạng ký tự quang học.................................................................... 11
CHƯƠNG 2: KỸ THUẬT HỌC SÂU CHO BÀI TOÁN NHẬN DẠNG KÝ TỰ
LATINH .......................................................................................................... 14
2.1 Mạng nơ-ron nhân tạo ................................................................................... 14
2.1.1 Perceptron và sigmoid ............................................................................ 14
2.1.2 Kiến trúc của mạng nơ-ron..................................................................... 17
2.1.3 Quá trình xử lý thông tin của một ANN ................................................ 18
2.1.4 Quá trình học (Learning Processing) của ANN ..................................... 20
2.1.5 Giao thức huấn luyện (Training protocols) ............................................ 21
2.2 Mạng nơ-ron xoắn ......................................................................................... 22
2.2.1 Trường tiếp nhận cục bộ ........................................................................ 23

Footer Page - Footer Page - kho luan van - tai lieu - 123dociii tieu luan - khoa luan-tai chinh ngan hang - thuong mai -

luan van thac si - luan van thac si kinh te - luan an tien - luan van 6 of 95.

2.2.2 Trọng số chung và định hướng .............................................................. 25
2.2.3 Lớp tổng hợp .......................................................................................... 28
2.3 Áp dụng phương pháp học sâu vào nhận dạng ký tự Latinh......................... 30
2.3.1 Cơ sở dữ liệu .......................................................................................... 30
2.3.2 Quá trình nhận dạng ............................................................................... 30
CHƯƠNG 3: XÂY DỰNG CHƯƠNG TRÌNH, CÀI ĐẶT, THỬ NGHIỆM VÀ
ĐÁNH GIÁ...................................................................................................... 37
3.1 Xây dựng chương trình.................................................................................. 37
3.1.1 Yêu cầu phần cứng ................................................................................. 37
3.1.2 Ngôn ngữ và công cụ lập trình ............................................................... 38
3.1.3 Chương trình demo ................................................................................ 39
3.2 Thử nghiệm và đánh giá kết quả ................................................................... 43
3.2.1 Thử nghiệm ............................................................................................ 43
3.2.2 Đánh giá kết quả ..................................................................................... 45
KẾT LUẬN ......................................................................................................... 47
TÀI LIỆU THAM KHẢO ................................................................................... 48

Footer Page - Footer Page - kho luan van - tai lieu - 123dociv tieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 7 of 95.

DANH MỤC CÁC CHỮ VIẾT TẮT VÀ KÝ HIỆU
Giải thích

Chữ viết tắt
SVM

Support Vector Machine

HAC

Hierarchical Agglomerative Clustering

SOM

Self-Organizing Map

TSVM

Transductive Support Vector Machine

EM

Expectation Maximization

LLSF

Linear Least Square Fit

KNN

K-Nearest Neighbours

NB

Naive Bayes

DT

Decision Tree

MDP

Markov Decision Process

CAP

Credit Assignment Path

DNN

Deep Neural Network

OCR

Optical Character Recognition

ICR

Intelligent Character Recognition

ANN

Artificial Neural Network

IPA

Integrity, Purposefulness, Adaptability

GUI

Graphical User Interface

Footer Page - Footer Page - kho luan van - tai lieu - 123docv tieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 8 of 95.

DANH MỤC CÁC BẢNG

Số bảng
3.1
3.2
3.3

Tên bảng
Cấu hình tối thiểu
Cấu hình đề nghị
Kết quả thử nghiệm hai phương pháp

Trang
37
38
44

Footer Page - Footer Page - kho luan van - tai lieu - 123docvi tieu luan - khoa luan-tai chinh ngan hang - thuong mai -

luan van thac si - luan van thac si kinh te - luan an tien - luan van 9 of 95.

DANH MỤC CÁC HÌNH
Số hình

Tên hình

Trang

1.1

Quá trình nhận dạng đối tượng của con người

11

2.1

Một perceptron với ba đầu vào

14

2.2

Mạng nơ-ron gồm nhiều perceptron

15

2.3

Mạng nơ-ron một lớp ẩn

17

2.4

Mạng nơ-ron hai lớp ẩn

18

2.5

Quá trình xử lý thông tin của ANN

18

2.6a

Hàm tổng đối với nơ-ron đơn

19

2.6b

Hàm tổng đối với nhiều nơ-ron trong cùng một lớp

19

2.7

Hoạt động của PE

20

2.8

Phân loại học dựa theo thuật toán và kiến trúc

21

2.9

Mạng kết nối đầy đủ với ba lớp ẩn

22

2.10

Các nơ-ron đầu vào

23

2.11

Trường tiếp nhận cục bộ

23

2.12

Trường tiếp nhận cục bộ với nơ-ron ẩn đầu tiên

24

2.13

Trường tiếp nhận cục bộ với nơ-ron ẩn thứ hai

24

2.14

Ánh xạ đặc trưng vào lớp ẩn

26

2.15

Ánh xạ đặc trưng trong những hình ảnh khác nhau

26

2.16

Max-polling

28

2.17

Tương quan giữa ánh xạ đặc trưng và max-polling

28

2.18

Mạng nơ-ron xoắn và lớp tổng hợp

29

2.19

Các bước nhận dạng ký tự

30

2.20

Lan truyền tiến đầu vào cho mỗi nơ-ron

32

3.1

Trang chủ

40

3.2

Học sâu test một ký tự

40

3.3

Học sâu test tập ký tự

41

3.4

Nhận dạng ký tự từ ảnh bitmap bằng học sâu

41

3.5

Học nông test một ký tự

42

3.6

Học nông test tập ký tự

42

3.7

Nhận dạng ký tự từ ảnh bitmap bằng học nông

43

3.8

100 ký tự số đầu tiên trong tập MNIST

43

Footer Page - Footer Page - kho luan van - tai lieu - 123docvii tieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 10 of 95.

LỜI MỞ ĐẦU
Nhận dạng ký tự được biết đến đầu thế kỷ XX và luôn được quan tâm phát
triển cùng với tiến bộ của khoa học máy tính. Từ ý tưởng ban đầu nhằm tạo ra
công cụ hỗ trợ người khiếm thị, cho đến nay, nhận dạng ký tự đã ngày càng trở
nên quan trọng vì nhiều lý do. Ví như việc số hóa nhằm lưu trữ các tài liệu có niên
đại cổ rất khó đọc do thời gian hay tác động của môi trường, hoặc chuyển những
cuốn sách viết tay thành văn bản số… mà các chương trình nhận dạng có thể giúp
con người tiết kiệm được rất nhiều công sức cũng như thời gian. Ngoài ra, nhận
dạng ký tự còn góp phần không nhỏ vào trong nhiều lĩnh vực của cuộc sống như:
bảo mật và lưu trữ thông tin, ngân hàng…
Nhận dạng ký tự có thể được biết đến với hai mục tiêu chính: nhận dạng
chữ in và nhận dạng chữ viết tay, trong đó, vấn đề nhận dạng chữ in đã được các
chuyên gia giải quyết và đưa ra sản phẩm có thể nhận dạng nhiều loại ký tự của
nhiều nước khác nhau. Tại Việt Nam, nhiều nhà nghiên cứu cũng đã đưa ra các
chương trình nhận dạng chữ Việt in dưới dạng tệp văn bản chứa hình ảnh với độ

chính xác lên đến hơn 98%. Có thể nói chúng ta đã giải quyết gần như trọn vẹn
bài toán nhận dạng chữ in. Tuy nhiên, nhận dạng chữ viết tay vẫn là một bài toán
tương đối phức tạp đối với chúng ta bởi mỗi người có nét chữ khác nhau và biến
đổi đa dạng tùy theo trạng thái của người viết. Đôi khi chính người viết cũng
không thể xác định được những chữ họ đã viết ra, vậy thì làm cách nào mà máy
tính có thể “đọc” và đưa ra chính xác chữ viết tay của người nào đó để tất cả mọi
người đều có thể hiểu được ý nghĩa chúng hiển thị? Việc tìm ra phương án giải
quyết vấn đề này là động lực thúc đẩy các nhà nghiên cứu cho ra đời các kỹ thuật
nhận dạng chữ viết tay khác nhau.
Đã có nhiều bước tiến đáng kể trong lĩnh vực nhận dạng ký tự viết tay, trong
đó, phải kể đến các kỹ thuật nhận dạng kết hợp với các phương pháp luận trong
lĩnh vực học máy (Machine Learning). Có nhiều cách tiếp cận để giải bài toán
nhận dạng ký tự viết tay trong học máy như kỹ thuật mạng Nơ-ron, Support Vector

1
Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 11 of 95.

Machine (SVM), Markov… Mỗi cách tiếp cận có ưu điểm và khuyết điểm riêng
với tỉ lệ thành công nhất định, trong đó, phương pháp học sâu (Deep learning)
ngày càng trở nên nổi trội và có nhiều đóng góp không nhỏ trong lĩnh vực nhận
dạng. Để có một cái nhìn trực quan hơn về phương pháp này, học viên xin trình
bày luận văn: “Nghiên cứu áp dụng kỹ thuật học sâu (deep learning) cho bài toán
nhận dạng ký tự Latinh”.
Mục tiêu của đề tài:
Mục tiêu của đề tài là nghiên cứu áp dụng kỹ thuật học sâu cho bài toán
nhận dạng ký tự Latinh.
Đối tượng và phạm vi nghiên cứu:

Đối tượng nghiên cứu của đề tài:
- Đầu vào 10 ký tự Latinh dạng số viết tay từ 0-9, dưới dạng tập cơ sở dữ
liệu MNIST.
- Kỹ thuật học sâu và phương pháp nhận dạng.
Phạm vi nghiên cứu:
- Dựa trên lý thuyết về học sâu và nhận dạng để đưa ra phương pháp cụ thể
nhận dạng ký tự Latinh dưới dạng tệp ảnh đầu vào.
- Xây dựng chương trình thử nghiệm.
Phương pháp nghiên cứu:
Cơ sở lý thuyết: Nhận dạng ký tự Latinh bằng kỹ thuật học sâu, từ đó cài
đặt thử nghiệm trên tập mẫu để có thể nhận xét, đánh giá phương pháp tìm hiểu
được.
Dự kiến kết quả đạt được:
Đưa ra kết quả nghiên cứu về mặt lý thuyết cơ sở của kỹ thuật học sâu trong
nhận dạng ký tự Latinh. Xây dựng được chương trình thử nghiệm và đánh giá dựa
trên một tập học và tập test trong bộ dữ liệu MNIST, từ đó nêu ra một số vấn đề
ứng dụng trong thực tế.

2
Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 12 of 95.

Báo cáo toàn văn được trình bày trong 3 chương, cụ thể như sau:
Chương 1: Tổng quan về học máy và nhận dạng: Trình bày khái niệm,
các nội dung cơ bản của học máy và nhận dạng. Các ứng dụng của học máy trong
thực tế.
Chương 2: Kỹ thuật học sâu cho bài toán nhận dạng ký tự Latinh:
Nghiên cứu cụ thể áp dụng kỹ thuật học sâu cho bài toán nhận dạng ký tự Latinh.

Chương 3: Xây dựng chương trình, cài đặt, thử nghiệm và đánh giá:
Trên cơ sở lý thuyết đã trình bày ở chương 2, cài đặt chương trình demo, thử
nghiệm và đánh giá kết quả.

3
Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 13 of 95.

CHƯƠNG 1: TỔNG QUAN VỀ HỌC MÁY VÀ NHẬN DẠNG

1.1 Học máy (Machine learning)
1.1.1 Khái niệm
Học máy (hay máy học) là một phần của khoa học máy tính đã dần được
cải tiến từ các nghiên cứu về nhận dạng mẫu và trí tuệ nhân tạo. Năm 1959, Arthur
Samuel định nghĩa máy học như là một "lĩnh vực nghiên cứu cung cấp cho máy
tính khả năng học mà không được lập trình một cách rõ ràng ". Máy học tìm hiểu
nghiên cứu và xây dựng các thuật toán có thể học hỏi và đưa ra dự đoán về dữ
liệu. Thuật toán này hoạt động bằng cách xây dựng một mô hình từ ví dụ đầu vào
để đưa ra dự đoán dựa trên dữ liệu hoặc quyết định. Ta có thể hiểu:
Học máy là một lĩnh vực của trí thông minh nhân tạo (AI) cung cấp cho
máy tính khả năng học hỏi mà không được lập trình một cách rõ ràng. Máy học
tập trung vào sự phát triển của các chương trình máy tính để có thể tự mình phát
triển và thay đổi khi tiếp xúc với dữ liệu mới.
Quá trình học máy cũng tương tự như khai thác dữ liệu. Cả hai hệ thống
đều thông qua dữ liệu để tìm kiếm các mẫu. Tuy nhiên, thay vì giải nén dữ liệu để
hiểu con người như các ứng dụng khai thác dữ liệu thì học máy sử dụng dữ liệu
đó để phát hiện các mẫu trong dữ liệu và điều chỉnh chương trình hành động phù
hợp.

Theo sự phát triển của khoa học, học máy được sinh ra trong quá trình khai
phá trí tuệ nhân tạo. Ngay trong những ngày đầu của ngành học trí tuệ nhân tạo,
một số nhà nghiên cứu đã quan tâm đến việc máy học từ dữ liệu. Họ cố gắng để
tiếp cận vấn đề với những phương pháp khác nhau, dẫn đến sự ra đời và phát triển
của mạng nơ-ron. Tuy nhiên, việc chú trọng hơn vào các phương pháp tiếp cận
dựa trên logic gây ra sự ngăn cách giữa AI và học máy.
Học máy được tổ chức lại thành một lĩnh vực riêng biệt và bắt đầu phát
triển mạnh những năm 1990. Các lĩnh vực thay đổi mục tiêu của mình từ việc đạt

4
Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 14 of 95.

được trí thông minh nhân tạo thành giải quyết các vấn đề có tính chất thực tế.
Chuyển trọng tâm từ cách tiếp cận mang tính biểu tượng thừa hưởng từ trí tuệ
nhân tạo, và hướng tới các phương pháp, mô hình từ thống kê và lý thuyết xác
suất.
Máy học, khai thác dữ liệu thường sử dụng cùng phương pháp và lồng ghép
lên nhau. Có thể chia thành các giai đoạn như sau:
 Máy học tập trung vào dự đoán, dựa trên dữ liệu học được từ dữ liệu
huấn luyện.
 Khai thác dữ liệu tập trung vào việc phát hiện thuộc tính chưa biết
trước trong dữ liệu. Đây là bước phân tích kiến thức, khai phá trong cơ sở dữ liệu.
 Máy học và khai thác dữ liệu được lồng ghép lên nhau theo cách:
khai thác dữ liệu sử dụng nhiều phương pháp học máy, nhưng mỗi phương pháp
thường có mục đích khác nhau. Mặt khác, học máy cũng sử dụng phương pháp
khai thác dữ liệu là "học không giám sát" như là một bước tiền xử lý để cải thiện
độ chính xác của việc học.

Học máy cũng có quan hệ mật thiết với tối ưu hóa: nhiều vấn đề học được
xây dựng nhằm giảm thiểu một số chức năng bị mất trên một tập huấn luyện. Chức
năng mất thể hiện sự khác biệt giữa các tiên đoán của mô hình được đào tạo và
những trường hợp thực tế. Sự khác biệt giữa hai trường phát sinh từ mục tiêu tổng
quát. Trong khi các thuật toán tối ưu hóa có thể giảm thiểu sai số trên một tập
huấn luyện thì học máy liên quan với việc giảm thiểu sự mất mát trên các mẫu ẩn.
1.1.2 Phân loại
Có nhiều phương pháp học máy khác nhau, trong đó phải kể đến một số
loại phương pháp học phổ biến nhất là học không giám sát, học bán giám sát, học
giám sát, học tăng cường và học sâu.
1.1.2.1 Học không giám sát (Unsupervised Learning)
* Khái niệm học không giám sát
Học không giám sát là một loại thuật toán học máy sử dụng để suy luận từ
các tập dữ liệu bao gồm các dữ liệu đầu vào mà không được dán nhãn.

5
Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 15 of 95.

Phương pháp học không giám sát phổ biến nhất là phân cụm, được sử dụng
để phân tích dữ liệu thăm dò tìm ra các khuôn mẫu ẩn hoặc nhóm trong dữ liệu.
Các cụm được mô phỏng bằng biện pháp tương tự như việc xác định theo số liệu
Euclide hay khoảng cách xác suất.
* Một số thuật toán học không giám sát
 Phân cụm cấu trúc: xây dựng một hệ thống đa phân cụm bằng cách tạo ra
một cây phân cụm.
 Phân cụm k-Means: phân vùng dữ liệu vào k cụm khác nhau dựa trên
khoảng cách với trọng tâm của từng cụm.

 Mô hình hỗn hợp Gaussian: mô hình cụm như một hỗn hợp của các thành
phần mật độ bình thường đa biến.
 Ánh xạ tự tổ chức: sử dụng mạng nơ-ron học và phân phối dữ liệu.
 Mô hình Markov ẩn: sử dụng quan sát dữ liệu để khôi phục lại trình tự của
các trạng thái.
Phương pháp học không giám sát được sử dụng trong sinh học để phân tích
trình tự và phân nhóm di truyền; trong khai thác dữ liệu dùng để phân tích trình
tự và khai thác mô hình; trong y tế dùng cho phân vùng ảnh; và trong thị giác máy
tính được dùng để nhận dạng đối tượng.
1.1.2.2 Học bán giám sát (Semi-Supervised Learning)
* Khái niệm học bán giám sát
Học bán giám sát là sự kết hợp giữa một lớp các tác vụ giám sát việc học
và kỹ thuật đào tạo sử dụng dữ liệu không dán nhãn - thường là một lượng nhỏ dữ
liệu được dán nhãn cùng với một số lượng lớn các dữ liệu không có nhãn. Học
bán giám sát là sự kết hợp giữa học không giám sát và học có giám sát.
Nhiều nhà nghiên cứu học máy đã tìm thấy rằng dữ liệu không có nhãn, khi
được sử dụng kết hợp với một lượng nhỏ dữ liệu có nhãn có thể cải thiện đáng kể
sự chính xác khi học.
* Một số thuật toán học bán giám sát

6
Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 16 of 95.

Một số thuật toán bán giám sát thường dùng:
Thuật toán Cực đại kỳ vọng (EM), SVM truyền dẫn (TSVM), Co-training,
Self-training, và các phương pháp dựa trên đồ thị (graph-based).
1.1.2.3 Học giám sát (Supervised Learning)

* Khái niệm học có giám sát:
Học có giám sát suy luận một chức năng từ dữ liệu huấn luyện được dán
nhãn. Dữ liệu đào tạo bao gồm một tập các ví dụ huấn luyện. Học có giám sát
thường dùng cho các bài toán phân lớp.
Trong học có giám sát, mỗi ví dụ là một cặp bao gồm một đối tượng đầu
vào (thường là một vector) và một giá trị đầu ra mong muốn (còn gọi là các tín
hiệu giám sát). Thuật toán học có giám sát phân tích các dữ liệu đào tạo và suy
diễn ra chức năng, có thể được sử dụng để lập bản đồ ví dụ mới. Một kịch bản tối
ưu sẽ cho phép các thuật toán xác định chính xác các nhãn lớp cho các trường hợp
không nhìn thấy. Điều này đòi hỏi các thuật toán học để khái quát từ dữ liệu huấn
luyện cho những tình huống vô hình một cách hợp lý.
* Một số thuật toán học có giám sát:
Một số thuật toán học có giám sát thường dùng khi phân lớp: lan truyền
ngược, k láng giềng gần nhất (KNN); máy vector hỗ trợ (SVM); cây quyết định
(DT);tiếp cận xác suất thống kê (NB); dựa trên vector trọng tâm (Centroid–base
vector); mạng nơron (Nnet) hay tuyến tính bình phương nhỏ nhất (LLSF).
1.1.2.4 Học tăng cường (Reinforcement Learning)
* Khái niệm học tăng cường:
Học tăng cường là một loại của học máy và cũng là một nhánh của trí tuệ
nhân tạo. Nó cho phép máy và tác tử phần mềm tự động xác định các hành vi lý
tưởng trong một bối cảnh cụ thể, để tối đa hóa hiệu quả của nó.
Học tăng cường được xác định không phải bằng cách mô tả phương pháp
học mà bằng cách mô tả vấn đề học. Bất kỳ phương pháp phù hợp để giải quyết
vấn đề đều được coi là một phương pháp học tăng cường.
* Một số thuật toán học tăng cường:

7
Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai -

luan van thac si - luan van thac si kinh te - luan an tien - luan van 17 of 95.

Sau khi đã định nghĩa hàm trả về thích hợp cần được cực đại hóa, ta cần chỉ
rõ thuật toán sẽ được sử dụng để thu được kết quả trả về cao nhất. Có hai cách
tiếp cận chính, cách tiếp cận hàm giá trị và cách tiếp cận trực tiếp. Ngoài ra, còn
một số phương pháp khác để tìm chiến lược tối ưu là tìm trong không gian chiến
lược, hoặc Q-learning, Temporal difference learning [2].
1.1.2.5 Học sâu (Deep learning)
* Khái niệm học sâu:
Học sâu là một nhánh của lĩnh vực học máy, dựa trên một tập hợp các thuật
toán nhằm cố gắng mô hình dữ liệu trừu tượng hóa ở mức cao bằng cách sử dụng
nhiều lớp xử lý với cấu trúc phức tạp, hoặc bao gồm nhiều biến đổi phi tuyến.
Có một số cách để mô tả học sâu. Học sâu là một lớp của các thuật toán
máy học mà:
 Sử dụng một tầng (cascade) nhiều lớp các đơn vị xử lý phi tuyến để trích
trọn đặc trưng và chuyển đổi. Mỗi lớp kế tiếp dùng đầu ra từ lớp trước làm đầu
vào. Thuật toán này có thể được giám sát hoặc không cần giám sát và được ứng
dụng cho các mô hình phân tích (không có giám sát) và phân loại (giám sát).
 Dựa trên học (không có giám sát) của nhiều cấp các đặc trưng hoặc đại diện
của dữ liệu. Các tính năng cao cấp bắt nguồn từ các tính năng thấp cấp hơn để tạo
thành một đại diện thứ bậc.
 Là một phần của lĩnh vực máy học và rộng lớn hơn về việc học đại diện dữ
liệu.
 Học nhiều cấp độ đại diện tương ứng với các mức độ trừu tượng khác nhau;
các mức độ hình thành một hệ thống phân cấp của các khái niệm.
* Nô ̣i dung cơ bản của phương pháp ho ̣c sâu:
Các lớp được sử dụng trong học sâu bao gồm các lớp ẩn của một mạng nơron nhân tạo và tập các công thức mệnh đề phức tạp. Chúng cũng có thể bao gồm
các biến tiềm ẩn được tổ chức thành các lớp chọn lọc trong các mô hình thể sinh
(có khả năng sinh ra) sâu như các nút trong Deep Belief Networks và Deep
Boltzmann Machines.

8
Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 18 of 95.

Các thuật toán học sâu tương phản với các thuật toán học nông bởi số biến
đổi được tham số hóa một tín hiệu gặp phải khi nó lan truyền từ các lớp đầu vào
đến lớp đầu ra, nơi một biến đổi được tham số hóa là một đơn vị xử lý có các
thông số có thể huấn luyện được, chẳng hạn như trọng số và ngưỡng. Một chuỗi
các biến đổi từ đầu vào đến đầu ra là một đường gán kế thừa (CAP- credit
assignment path). CAP mô tả các kết nối quan hệ nhân quả tiềm năng giữa đầu
vào và đầu ra và có thể thay đổi chiều dài. Về cơ bản, học sâu khác với học nông
ở chỗ nó sử dụng nhiều lớp ẩn thay vì chỉ một lớp ẩn như học nông, bên cạnh đó,
học sâu còn cần truyền tín hiệu giữa các lớp ẩn qua thuật toán lan truyền.
Các thuật toán học sâu dựa trên các đại diện phân tán. Giả định tiềm ẩn
đằng sau các đại diện phân tán là các dữ liệu được tạo ra bởi sự tương tác của các
yếu tố được tổ chức theo lớp. Học sâu thêm giả định rằng các lớp của các yếu tố
này tương ứng với các mức độ trừu tượng hay theo thành phần. Các con số khác
nhau của các lớp và kích thước của lớp có thể được sử dụng để quy định các lượng
trừu tượng khác nhau.
Học sâu khai thác ý tưởng thứ bậc các yếu tố được tổ chức theo lớp ở cấp
cao hơn, những khái niệm trừu tượng cao được học từ các cấp độ thấp hơn. Những
kiến trúc học sâu này thường được xây dựng với phương pháp lớp chồng lớp tham
lam. Học sâu giúp tháo gỡ những khái niệm trừu tượng và chọn ra những đặc
trưng cần thiết cho việc học.
Đối với học có giám sát, phương pháp học sâu sẽ tránh kỹ thuật đặc trưng
(feature engineering), bằng cách ánh xạ các dữ liệu vào các đại diện trung gian
nhỏ gọn, và lấy được các cấu trúc lớp mà loại bỏ sự dư thừa trong đại diện.

Rất nhiều thuật toán học sâu được áp dụng cho học không có giám sát. Đây
là yếu tố quan trọng bởi vì dữ liệu không dán nhãn (chưa phân loại) thường phong
phú hơn các dữ liệu dán nhãn.
* Mô ̣t số thuâ ̣t toán ho ̣c sâu:
Có nhiề u biế n thể của kiế n trúc ho ̣c sâu đươ ̣c sinh ra từ mô ̣t kiế n trúc cha
ban đầ u. Vì ho ̣c sâu có nhiề u thuâ ̣t toán khác nhau nên nó phát triể n rấ t nhanh,

9
Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 19 of 95.

nhiề u biế n thể và thuâ ̣t toán mới ra đời liên tu ̣c trong thời gian ngắ n, có thể kể đế n
mô ̣t số thuâ ̣t toán như: Ma ̣ng nơ-ron sâu (DNN - Deep Nơ-ron Network), ma ̣ng
niề m tin sâu (Deep Belief Network), ma ̣ng nơ-ron châ ̣p, ma ̣ng lâ ̣p trình sâu, các
ma ̣ng bô ̣ nhớ…
Hiê ̣n nay, phương pháp ho ̣c sâu đươ ̣c các nhà nghiên cứu đánh giá rấ t cao
và đươ ̣c áp du ̣ng vào rấ t nhiề u liñ h vực đă ̣c biêṭ là liñ h vực nhâ ̣n da ̣ng.
1.2 Nhâ ̣n da ̣ng
1.2.1 Nhận dạng
a. Dạng
Dạng là một nhóm các đối tượng có cùng một hoặc một số thuộc tính chung,
chỉ cần làm quen với một số hữu hạn các đối tượng của nó là có thể nhận biết
được các đối tượng khác trong cùng nhóm.
Dạng được chia thành các loại khác nhau dựa theo tiêu thức và thủ tục được
sử dụng để phân loại.
Theo tính chất của đối tượng, dạng được chia thành ba loai: dạng hệ thống nhiều
người, dạng không có con người, và dạng một người.
Theo tính chất vật lý, dạng chia thành dạng vật và dạng người.

Theo công cụ nhận dạng, dạng chia thành: dạng nhận theo ngôn ngữ tắt mở, và
dạng nhận theo ngôn ngữ khác.
b. Nhận dạng
Nhận dạng là quá trình nhận biết một phần tử nào đó của đối tượng phải
nghiên cứu thuộc vào một dạng cho trước, từ đó rút ra các thuộc tính vốn có của
nó để đưa ra các phương thức xử lý đối tượng.
Trong hình 1.1 dưới đây chỉ ra rằng:
- Trước một đối tượng chưa biết, con người cần vận dụng tất cả tri thức liên
quan để hiểu biết khái quát về đối tượng. Hay còn gọi là quá trình tổng hợp sơ
lược về đối tượng.

10
Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 20 of 95.

Đối tượng

Tổng hợp
sơ lược

Chưa biết

Phân tích

Giả thiết

Tổng hợp
chung

Dạng

Hình 1.1: Quá trình nhận dạng đối tượng của con người
- Tiếp đó, cần phân tích những đặc điểm, thuộc tính của đối tượng và mối
quan hệ giữa chúng làm sâu sắc hơn quá trình nhận thức. Đây là quá trình nhận
thức mang tính chất trực quan, sinh động nhằm tìm ra những thuộc tính riêng lẻ
của đối tượng. Quá trình mà con người đưa ra các giả thiết để nhận thức đối tượng
sâu sắc hơn là quá trình nhận thức theo giả thiết.
- Cuối cùng là quá trình tổng hợp chung, đây là quá trình nhận thức sâu sắc
nhất; ở đây sẽ có sự đối chiếu, so sánh để khái quát hóa nhiều thuộc tính riêng lẻ
của đối tượng cần nghiên cứu thành các thuộc tính chung mang tính bản chất, tính
quy luật của cả một nhóm các đối tượng cùng loại. Đây là quá trình tư duy trừu
tượng của con người mà kết quả cuối cùng là sự hiểu biết bản chất của đối tượng
cho dưới hình thức dạng một cách tư duy thường thấy của con người [1].
Các nhà nghiên cứu dựa trên quá trình nhận dạng của con người tạo ra kỹ
thuật giúp máy tính có khả năng nhận dạng, điển hình là nhận dạng ký tự quang
học.
1.2.2 Nhận dạng ký tự quang học
Nhận dạng ký tự quang học (OCR), là loại phần mềm máy tính được tạo ra
để chuyển các hình ảnh của chữ viết tay hoặc chữ đánh máy thành các văn bản tài
liệu. OCR được hình thành từ một lĩnh vực nghiên cứu về nhận dạng mẫu, trí tuệ
nhận tạo và thị giác máy tính. Mặc dù công việc nghiên cứu học thuật vẫn tiếp tục

11
Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 21 of 95.

nhưng một phần công việc của OCR đã chuyển sang ứng dụng trong thực tế và
đạt được lợi ích thiết thực [5].
OCR là một công nghệ cho phép ta chuyển đổi các loại tài liệu khác nhau,
chẳng hạn như tài liệu được scan giấy, tập tin PDF hoặc hình ảnh chụp bằng máy
ảnh kỹ thuật số vào dữ liệu có thể chỉnh sửa và tìm kiếm.
Ba nguyên tắc cơ bản của OCR là tính toàn vẹn, tính mục đích và khả năng
thích ứng (IPA). Những nguyên tắc này tạo thành cốt lõi của các phần mềm nhận
dạng ký tự hiện nay.
Các chương trình OCR thường hoạt động như sau:
Đầu tiên, chương trình phân tích cấu trúc của tài liệu hình ảnh. Nó chia
trang thành các yếu tố như khối văn bản, bảng biểu, hình ảnh,…Các dòng được
chia thành các từ và sau đó là các ký tự. Một khi các ký tự đã được chỉ ra, chương
trình so sánh chúng với một tập các hình ảnh mẫu. Nó đưa ra rất nhiều giả thuyết
về ký tự. Dựa trên những giả thuyết các chương trình phân tích các biến thể khác
nhau của sự chia tách dòng thành từ và từ thành ký tự. Sau khi xử lý số lượng lớn
các giả thuyết xác suất như vậy, chương trình sẽ đưa ra kết quả nhận dạng dưới
dạng văn bản điện tử. Ngoài ra, đa số phần mềm OCR cung cấp từ điển hỗ trợ
nhiều loại ngôn ngữ khác nhau. Điều này cho phép phân tích thứ cấp các yếu tố
văn bản với mức độ từng từ. Với sự hỗ trợ của từ điển, các chương trình đảm bảo
phân tích chính xác hơn để nhận dạng các văn bản và đơn giản hóa quá trình xác
minh kết quả nhận dạng.
Các hệ thống nhận dạng ký tự quang học tiên tiến nhất, như ABBYY
FineReader OCR, đang tập trung vào tái tạo tự nhiên hoặc nhận dạng loài động
vật. Cốt lõi của các hệ thống này luôn tuân theo ba nguyên tắc cơ bản IPA. Nguyên
tắc toàn vẹn nghĩa là đối tượng quan sát phải luôn luôn được coi là một "toàn bộ"
bao gồm nhiều bộ phận liên quan đến nhau. Nguyên tắc mục đích giả định rằng
bất kỳ giải thích các dữ liệu phải luôn luôn phục vụ mục đích rõ ràng. Và nguyên
tắc về khả năng thích ứng có nghĩa là chương trình phải có khả năng tự học.

12

Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 22 of 95.

Với mức chính xác từ 80% đến 90%, những ký tự viết tay sạch đẹp có thể
được nhận ra, nhưng với độ chính xác đó vẫn tạo ra hàng chục lỗi mỗi trang, khiến
cho công nghệ đó chỉ hiệu quả trong vài trường hợp nào đó. Sự đa dạng của OCR
hiện nay được biết đến trong công nghiệp là Nhận dạng ký tự thông minh (ICR).
Nhận dạng chữ viết tay là một lĩnh vực nghiên cứu sôi nổi. Hầu như không
thể nâng cao tỉ lệ nhận dạng chữ viết tay nếu không sử dụng thông tin về ngữ pháp
và văn cảnh. Ví dụ như nhận dạng cả một chữ từ một cuốn từ điển thì dễ hơn là
việc cố gắng lấy ra những ký tự rời rạc từ chữ đó. Nếu có kiến thức về ngữ pháp
của một ngôn ngữ được scan cũng có thể giúp xác định một từ có thể là động từ
hay danh từ, như vậy, sẽ cho phép độ chính xác cao hơn. Chỉ dựa vào hình dạng
của ký tự thì không đủ thông tin để nhận dạng chính xác chữ viết tay [8].
Ngoài vấn đề về ngữ cảnh thì việc chữ viết tay đôi khi rất khó đọc do cách
viết của mỗi người, hoặc một số văn bản viết tay bị nhòe hoặc mờ đi theo thời
gian khiến chúng ta rất khó phân biệt cũng là thách thức cho các nhà nghiên cứu.
Giải pháp hàng đầu trong lĩnh vực nhận dạng ký tự hiện nay đó là học máy.
Mỗi phương pháp học trong học máy có những ưu điểm và khuyết điểm nhất định
nhưng được quan tâm phát triển hơn cả chính là phương pháp học sâu. Sử dụng
học sâu để nhận dạng ký tự, cụ thể là ký tự Latinh như thế nào? Chúng ta sẽ cùng
tìm hiểu chi tiết hơn trong chương tiếp theo.

13
Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 23 of 95.

CHƯƠNG 2: KỸ THUẬT HỌC SÂU CHO BÀI TOÁN
NHẬN DẠNG KÝ TỰ LATINH
Mạng nơ-ron nhân tạo đã và đang là xu hướng của rất nhiều hệ thống nhận
dạng. Mạng nơ-ron sâu nhiều lớp dần thay thế mạng học nông (chỉ có một lớp ẩn)
bởi những đột phá mà nó mang lại. Trong chương này, luận văn nghiên cứu áp
dụng phương pháp học sâu, cụ thể là mạng nơ-ron xoắn vào nhận dạng ký tự
Latinh.
2.1 Mạng nơ-ron nhân tạo
Mạng nơ-ron nhân tạo (còn gọi là mạng nơ-ron) là một mô hình toán học
hay mô hình tính toán được xây dựng dựa trên các mạng nơ-ron sinh học. Nó gồm
có một nhóm các nơ-ron nhân tạo (nút) nối với nhau, và xử lý thông tin bằng cách
truyền theo các kết nối và tính giá trị mới tại các nút.. Để hiểu rõ hơn mạng nơron nhân tạo, chúng ta cần tìm hiểu hai loại nơ-ron nhân tạo là perceptron và
sigmoid.
2.1.1 Perceptron và sigmoid
2.1.1.1 Perceptron
Perceptron được phát triển vào những năm 1950 và 1960 bởi nhà khoa học
Frank Rosenblatt. Ngày nay, nó phổ biến trong nhiều mô hình mạng nơ-ron khác
nhau.
Một perceptron có một số đầu vào (input) nhị phân, x1, x2,..., và tạo ra một
đầu ra (output) nhị phân duy nhất:

Hình 2.1: Một perceptron với ba đầu vào [4]
Trong hình 2.1, perceptron có ba đầu vào, x1, x2, x3. Cũng có thể có nhiều
hơn hoặc ít hơn số đầu vào. Rosenblatt đề xuất một quy tắc đơn giản để tính toán

14
Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai -

luan van thac si - luan van thac si kinh te - luan an tien - luan van 24 of 95.

đầu ra. Các trọng số w1, w2, ... là các số thực thể hiện tầm quan trọng của các yếu
tố đầu vào tương ứng với đầu ra. Các nơ-ron đầu ra 00 hoặc 11, được xác định bởi
tổng

Σjwjxj là nhỏ hơn hoặc lớn hơn so với một vài giá trị ngưỡng (threshold).

Cũng giống như các trọng số, ngưỡng là số thực và là tham số của nơ-ron. Khi đó
đầu ra được tính như sau:


0 if  j w j x j  threshold
output  

1 if  j w j x j  threshold

(2.1)

Bằng cách thay đổi trọng số và ngưỡng, chúng ta có thể có được các mô
hình khác nhau của việc ra quyết định. Nhưng một perceptron không phải là một
mô hình ra quyết định tối ưu, do đó ta có một mạng lưới kết hợp nhiều perceptron
để có thể đưa ra quyết định chính xác hơn:

Hình 2.2: Mạng nơ-ron gồm nhiều perceptron
Trong hình 2.2, cột đầu tiên hay còn gọi là lớp đầu tiên của perceptron có
thể đưa ra ba quyết định từ đầu vào. Còn trong lớp perceptron thứ hai, mỗi
perceptron được quyết định bởi trọng số lên các đầu ra từ lớp đầu tiên. Perceptron
trong lớp thứ hai có thể đưa ra quyết định ở mức độ phức tạp và trừu tượng hơn
perceptron trong lớp đầu tiên. Và thậm chí quyết định phức tạp hơn có thể được

thực hiện bởi các perceptron trong lớp thứ ba, thứ tư.... Bằng cách này, một mạng
lưới nhiều lớp của perceptron có thể tham gia vào việc ra quyết định phức tạp.
Khi xác định perceptron ta hiểu rằng một perceptron chỉ có một đầu ra duy
nhất. Trong mạng trên perceptron trông giống như có nhiều đầu ra nhưng thực ra
chúng chỉ có một đầu ra. Việc nhiều mũi tên đầu ra chỉ là một cách hữu hiệu cho

15
Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai -


luan van thac si - luan van thac si kinh te - luan an tien - luan van 25 of 95.

thấy đầu ra từ một perceptron đang được sử dụng như là đầu vào cho một vài
perceptron khác.
Perceptron cho thấy rằng chúng ta có thể đưa ra các thuật toán học tự động
điều chỉnh trọng số và định hướng của một mạng nơ-ron nhân tạo. Điều chỉnh này
sẽ xảy ra khi phản ứng với các kích thích bên ngoài, mà không cần sự can thiệp
trực tiếp của một lập trình viên. Các thuật toán học cho phép chúng ta sử dụng nơron nhân tạo theo cách hoàn toàn khác với các cổng logic thông thường. Mạng
nơ-ron có thể học để giải quyết vấn đề một cách đơn giản trong khi vấn đề đó lại
vô cùng khó khăn đối với mạch thông thường.
2.1.1.2 Sigmoid
Trong thực tế, đôi khi chỉ cần một thay đổi nhỏ ở trọng số để cho ra kết quả
tốt hơn, nhưng với perceptron thì việc thay đổi dù chỉ một chút ở trọng số của bất
kỳ perceptron trong mạng cũng có thể dẫn đến kết quả hoàn toàn thay đổi. Để
khắc phục vấn đề này, ta sử dụng nơ-ron nhân tạo được gọi là nơ-ron sigmoid.
Nơ-ron sigmoid tương tự như perceptron nhưng có sự sửa đổi để nếu có thay đổi
nhỏ trong trọng số và định hướng chỉ gây ra một sự thay đổi nhỏ trong đầu ra. Đây
là điều rất quan trọng cho phép một mạng lưới các nơ-ron sigmoid có thể học.
Cũng giống như perceptron, các nơ-ron sigmoid có đầu vào, x1, x2,... Nhưng
thay vì chỉ 00 hoặc 11, các đầu vào có thể đưa vào bất cứ giá trị nào giữa 00 và

11. Ví dụ, 0,638 là một đầu vào có giá trị trong một nơ-ron sigmoid. Các nơ-ron
sigmoid cũng có trọng số cho mỗi đầu vào là w1, w2 …và định hướng b. Nhưng
đầu ra không phải là 00 hoặc 11. Thay vào đó, đầu ra là σ(w⋅x + b), trong đó σ
được gọi là hàm sigmoid và được xác định bằng:
σ(z) ≡

1
1  e1

(2.2)

Một nơ-ron sigmoid với đầu vào x1, x2,... trọng số w1, w2... thì khi đó định
hướng b là:

b

1

1  exp( j w j x j  b)

(2.3)

16
Footer Page - Footer Page - kho luan van - tai lieu - 123doctieu luan - khoa luan-tai chinh ngan hang - thuong mai -