ỨNG DỤNG MẠNG NEURAL TÍCH CHẬP NHẬN DẠNG ký tự số VIẾT TAY

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC QUỐC TẾ HỒNG BÀNG


LÊ HỒNG PHONG

ỨNG DỤNG MẠNG NEURAL TÍCH CHẬP
NHẬN DẠNG KÝ TỰ SỐ VIẾT TAY

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

TP. HỒ CHÍ MINH – NĂM 2016


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC QUỐC TẾ HỒNG BÀNG

LÊ HỒNG PHONG

ỨNG DỤNG MẠNG NEURAL TÍCH CHẬP NHẬN
DẠNG KÝ TỰ SỐ VIẾT TAY

CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH
MÃ SỐ: 60.48.01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

NGƢỜI HƢỚNG DẪN KHOA HỌC
TS.VŨ THANH HIỀN

TP. HỒ CHÍ MINH – NĂM 2016

CHUẨN Y CỦA HỘI ĐỒNG BẢO VỆ LUẬN VĂN


Luận văn tựa đề “Ứng Dụng Mạng Neural Tích Chập Nhận Dạng Ký Tự Số
Viết Tay” đƣợc “Lê Hồng Phong” thực hiện và nộp nhằm thỏa mãn một trong các
yêu cầu tốt nghiệp Thạc sĩ ngành Khoa Học Máy Tính.
Ngày bảo vệ lận văn, TPHCM, ngày … tháng … năm 2016

HỘI ĐỒNG CHẤM LUẬN VĂN
Chủ tịch Hội đồng

Ngƣời hƣớng dẫn

GS.TSKH. Hoàng Văn Kiếm
ĐH Quốc Tế Hồng Bàng – TP.HCM

TS. Vũ Thanh Hiền
ĐH Kinh Tế Tài Chính – TP.HCM

Ngày … tháng … năm 2016

Ngày … tháng … năm 2016

Hiệu Trƣởng

Viện Đào Tạo Sau Đại Học

PGS.TS. Thái Bá Cần

TS. Thái Hữu Tuấn

Ngày … tháng … năm 2016

Ngày … tháng … năm 2016

i


CÔNG TRÌNH ĐƢỢC HOÀN THÀNH TẠI
TRƢỜNG ĐẠI HỌC QUỐC TẾ HỒNG BÀNG

Luận văn thạc sĩ: Ứng Dụng Mạng Neural Tích Chập Nhận Dạng Ký Tự Số Viết Tay.
Do học viên: Lê Hồng Phong
- Cao học khóa: 2 – Đợt 2
- Ngành: Khoa học máy tính thực hiện

Ngƣời hƣờng dẫn: TS. Vũ Thanh Hiền
Đã đƣợc bảo vệ trƣớc Hội đồng, ngày: … / … / 2016 theo Quyết định số …, ngày
…/…/ 2016 của Hiệu Trƣởng Trƣờng ĐH Quốc Tế Hồng Bàng.
Thành phần Hội đồng đánh giá Luận văn Thạc sĩ gồm:
STT

Họ và tên

Chức danh Hội đồng

1

GS.TSKH. Hoàng Văn Kiếm

2

TS.GVC. Võ Xuân Thể

Phản biện 1

3

PGS.TS. Đỗ Văn Nhơn

Phản biện 2

4

TS. Nguyễn Hòa

5

TS. Bùi Văn Minh

Chủ tịch

Ủy viên
Ủy viên, Thƣ ký
Chủ tịch Hội đồng đánh giá luận văn

GS.TSKH. Hoàng Văn Kiếm

ii


LÝ LỊCH CÁ NHÂN
-

Họ tên: Lê Hồng Phong

-

Ngày sinh: 03 tháng 09 năm 1987

-

Nơi sinh: Bến Tre

-

Tốt nghiệp PTTH tại Trƣờng Bán Công Bình Đại, năm 2007

-

Tốt nghiệp Đại học ngành Công nghệ thông tin tại Trƣờng ĐH Quốc Tế Hồng
Bàng, Thành phố Hồ Chí Minh.

-

Quá trình công tác:
Thời gian

Nơi công tác

Chức vụ

Từ năm 2010 đến nay

Trƣờng ĐH Quốc Tế Hồng Bàng

Thƣ ký văn phòng

-

Địa chỉ liên lạc: 5/19P Mễ Cốc, P.15, Q.8, TP.HCM

-

Điện thoại di động: 0983 162 630

-

Email:

iii


LỜI CAM ĐOAN
Tôi cam đoan rằng luận văn “Ứng dụng mạng Neural tích chập nhận dạng
ký tự số viết tay” là bài nghiên cứu của chính tôi. Ngoại trừ những tài liệu tham khảo
đƣợc trích dẫn trong luận văn này, tôi cam đoan rằng toàn phần hay những phần nhỏ
của luận văn này chƣa từng đƣợc công bố hay đƣợc sử dụng để nhận bằng cấp ở những

nơi khác. Không có sản phẩm /nghiên cứu nào của ngƣời khác đƣợc sử dụng trong
luận văn này mà không đƣợc trích dẫn theo đúng quy định.
Tp. Hồ Chí Minh, ngày … tháng … năm 2016
Tác giả luận văn

Lê Hồng Phong

iv


LỜI CẢM ƠN
Tôi xin gửi lời cảm ơn sâu sắc đến TS.Vũ Thanh Hiền – Trƣờng Đại Học Kinh
Tế Tài Chính TP.HCM, là ngƣời đã hƣớng dẫn tôi trong suốt quá trình nghiên cứu để
tôi có đƣợc những kiến thức quý báu hoàn thành luận văn.
Tôi xin bày tỏ lòng biết ơn đến quý thầy quý cô trong Viện Đào tạo Sau Đại học
Trƣờng Đại học Quốc tế Hồng Bàng đã cung cấp những kiến thức quý báu cho tôi
trong suốt quá trình học tập và nghiên cứu tại trƣờng.
Tôi cũng xin gởi lời cảm ơn đến gia đình, đồng nghiệp, bạn bè và những ngƣời
thân luôn quan tâm và giúp đỡ tôi trong suốt thời gian học tập và làm luận văn.
Do thời gian và kiến thức có hạn nên luận văn chắc không tránh khỏi những
thiếu sót nhất định. Tôi rất mong nhận đƣợc sự góp ý quý báu của thầy cô.

Trân trọng.

Lê Hồng Phong

v


TÓM TẮT

Nhận dạng ký tự viết tay là một lĩnh vực đƣợc quan tâm nghiên cứu và đƣợc
ứng dụng rộng rãi trong nhiều lĩnh vực nhƣ: nhận dạng các chữ số trên phiếu chi ngân
hàng, mã số trên bì thƣ của dịch vụ bƣu chính, hay các chữ số trên các biểu mẫu …
Vấn đề nhận dạng chữ viết tay nói chung và nhận dạng chữ số viết tay nói riêng
là một thách thức lớn đối với các nhà nghiên cứu. Bài toán lớn luôn đặt ra phía trƣớc
vì sự phức tạp của việc nhận dạng chữ viết phụ thuộc nhiều vào phong cách viết và
cách thể hiện ngôn ngữ của ngƣời viết.
Mạng Neural dựa trên việc mô phỏng cấp thấp hệ thống Neural sinh học, trong
tƣơng lai với sự phát triển mô phỏng Neural sinh học có thể có loại máy tính thông
minh thật sự để phát triển lĩnh vực này. Từ những ý tƣởng sáng tạo của các nhà khoa
học đƣợc nêu trên và kết hợp với những kiến thức đã có về ký tự số viết tay nên tôi đã
chọn đề tài nghiên cứu “Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay”.
Hiện nay có rất nhiều phƣơng pháp nhận dạng nhƣng để nhận dạng đƣợc chữ
viết tay thì rất khóa khăn, vì vậy ta phải xây dựng một tập cơ sở dữ liệu mẫu về ký tự
viết tay khá lớn nhƣng khi xử lý đòi hỏi phải có độ chính xác cao và thời gian thực
hiện ngắn nhất.
Hệ thống “Ứng Dụng mạng NEURAL Tích chập nhận dạng ký tự số viết tay”
nghiên cứu các vấn đề nhƣ sau:
-

Xử lý và phân tích đƣợc đƣợc các ký tự ảnh đầu vào.
Chuyển đổi ký tự sang ma trận điểm ảnh và ma trận Kernel.
Tiến hành nhận dạng ký tự bằng thuật toán mạng neural tích chập.
Sau quá trình thực nghiệm trên tập dữ liệu thực MNIST, hiển thị kết quả
thu đƣợc qua quá trình nhận dạng.

vi


ABSTRACT

Recognizing the handwritten characters and digits is one of the most important
fields which is researched and applied in our lives in so many ways. Such as
recognizing the characters or number on the receipt papers of the banks, the pin
numbers on the envelopes of the post offices, or digits on the form ...
The problems of recognizing the handwritten digits and characters cause a big
issue to challenge the studying and the scientists. The hard situations and huge
questions always occur in the processing of the program because it is so complicated
to regconize the hand writing. It depends on the styles of the people who is writing and
language expression of the writer.
The Neural network based on basic level simulations of biological neural
systems , in the future with the development of biological neural simulation sewing
machine intelligence have really to develop this field . From these creative ideas of the
scientist and the knowledge of handwritten characters and digits, i have chosen the
topic "Application convolution neural network recognition of handwritten characters ".
Nowadays, there are so many methods of identification , but to recognize the
handwriting is very difficult. Even though we must build a large collective database of
handwritten characters, when treatment requires high precision and shortest
implementation time.
System "Application Integration convolution neural network recognition of
handwritten characters" study the problem as follows:
-

Handling and analyzes the input image character.
Convert characters into pixel matrix and matrix Kernel.
Conduct a character recognition algorithm using neural network

-

convolution.
After the experiments on real data sets MNIST, showing the results

obtained through the identification process.

vii


NHẬN XÉT CỦA GIẢNG VIÊN HƢỚNG DẪN
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................

TP. HCM, ngày … tháng … năm 2016
Chữ ký giảng viên

viii

NHẬN XÉT CỦA GIẢNG VIÊN PHẢN BIỆN 1
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................

TP. HCM, ngày … tháng … năm 2016
Chữ ký giảng viên

ix


NHẬN XÉT CỦA GIẢNG VIÊN PHẢN BIỆN 2

.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................

.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................

TP. HCM, ngày … tháng … năm 2016
Chữ ký giảng viên

x


NHẬN XÉT CỦA HỘI ĐỒNG PHẢN BIỆN
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................

.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
.........................................................................................................................................
TP. HCM, ngày … tháng … năm 2016
Chữ ký giảng viên

xi


DANH MỤC BIỂU ĐỒ HÌNH VẼ
Hình 1-1. Mô hình neural sinh học .................................................................................6
Hình 1-2. Mô hình Neural nhân tạo ở mức đơn giản .....................................................7
Hình 1-3. Hàm Heaviside ...............................................................................................8
Hình 1-4. Mô hình mạng 1 tầng...................................................................................10
Hình 1-5. Mô hình mạng đa tầng ..................................................................................11
Hình 2-1. Minh họa một số nhân lọc mịn ảnh ..............................................................15
Hình 2-2. A Lân cận của “?” P= dòng trước; L=lân cận trái ..................................20
Hình 2-3. Ảnh ban đầu (ảnh bên trái) và Tiến trình gán nhãn (ảnh bên phải) .............21
Hình 2-4. Xác định độ nghiêng của ảnh .......................................................................21
Hình 2-5. Các nhân của bộ lọc Sobel ...........................................................................22
Hình 2-6.Các thành phần cấu trúc đối xứng. ...............................................................24
Hình 2-7.Các thành phần cấu trúc không đối xứng. ....................................................25
Hình 2-8.Thành phần cấu trúc phát hiện biên. ............................................................25

Hình 2-9.Minh hoạ dò biên ..........................................................................................26
Hình 2-10.Hướng quy ước mã hóa ...............................................................................26
Hình 2-11.Đường biên đã được mã hóa .......................................................................27
Hình 2-12. Dabs=2 và ci chẵn , ci+1 chẵn ..................................................................27
Hình 2-13. Dabs=2 và ci lẻ, ci+1 lẻ .............................................................................28
Hình 2-14. Dabs=3 và ci chẵn, ci+1 lẻ ........................................................................28
Hình 2-15. Dabs=3, ci lẻ, ci+1 chẵn .............................................................................28
Hình 2-16.Minh hỏa ảnh sau tiền xử lý ........................................................................29
Hình 2-17. Feedforward Neural Network ....................................................................30
Hình 2-18. Image Classification with CNN ..................................................................30
xii


Hình 2-19. Minh họa mô hình CNNs ............................................................................31
Hình 2-20. Minh họa việc lấy mẫu con ........................................................................32
Hình 2-21. Ma trận điểm ảnh (ảnh gốc) và ma trận kernel (đóng vai trò làm mặt nạ)
cho quá trình tích chập ..................................................................................................33
Hình 2-22. Minh họa phương pháp SAME ...................................................................34
Hình 2-23. Minh họa phương pháp FULL ...................................................................35
Hình 2-24. Minh họa phương pháp VALID .................................................................36
Hình 2-25. Minh họa cách biểu diễn ảnh .....................................................................37
Hình 2-26. Minh họa kết quả tích chập trong kỹ thuật blur .........................................38
Hình 2-27. Minh họa kết quả tích chập trong kỹ thuật sharpen ..................................39
Hình 2-28. Minh họa kết quả tích chập trong kỹ thuật Outline ...................................40
Hình 2-29. Minh họa kết quả tích chập trong kỹ thuật Emboss ...................................40
Hình 3-1. Minh họa mô hình mạng sử dụng trong luận văn ........................................43
Hình 3-2. Minh họa kết quả xác định vùng ảnh chứa ký số ........................................44
Hình 3-3. Lưu đồ xác định hình chữ nhật nhỏ nhất ngoại tiếp ký số cần xác định......46
Hình 3-4. Ảnh trƣớc (kích thƣớc 60X60) và sau (kích thƣớc 32X32) khi thực hiện
scale ...............................................................................................................................47

Hình 3-5. Minh họa thao tác thực hiện tích chập ........................................................48
Hình 3-6. Quá trình trích chọn đặc trƣng sử dụng CNNs ............................................49
Hình 4-1. Minh họa dữ liệu có trong cơ sở dữ liệu MNIST .........................................53
Hình 4-2. Giao diện của ứng dụng ...............................................................................54
Hình 4-3. Giao diện của ứng dụng sau khi mở file ảnh ...............................................55
Hình 4-4. Giao diện của ứng dụng sau khi ảnh đƣợc đóng khung ...............................56
Hình 4-5. Ảnh sau khi nhận dạng và đƣa về kích thƣớc chuẩn (32 X 32) ...................57

xiii


Hình 4-6. Tùy vào ngƣời dùng chọn ảnh nào bên khung trái, khung phải sẽ hiển thị
màu và giá trị màu của các pixel có trong ảnh (32 X 32)..............................................58
Hình 4-7. Hình bên trái: Ma trận điểm của ảnh sau khi thực hiện convolution, từ kích
thƣớc 32 X 32 đã giàm còn 28 X 28. Hình bên phải:Ma trận điểm của ảnh sau khi
thực hiện subsampling, từ kích thƣớc 28 X 28 đã giàm còn 14 X 14 ...........................59
Hình 4-8. Ảnh ban đầu và kết quả sau khi nhận dạng. .................................................60

xiv


DANH MỤC THUẬT NGỮ TIẾNG ANH

Neural Networks

Mạng Nơron nhân tạo

Soma

Thân của Nơron

Dendrites, Axons

Dây dẫn tín hiệu

Thershold

Ngƣỡng giá trị

Neurotransmitters

Dẫn truyền thần kinh

Transfer function

Chức năng chuyển giao

Back Propagation

Thuật toán lan truyền ngƣợc

Histogram

biểu đồ

Convolution

Sự quấn lại

Nonlinear activation function

Hàm kích hoạt phi tuyến

Layer

Lớp

Location Invariance

Tính bất biến

Translation

Dịch chuyển

Rotation

Xoay

Scaling

Nhân rộng

xv


DANH MỤC THUẬT NGỮ VIẾT TẮT
Viết tắt
CNNs

Viết đầy đủ
Convolutional Neural Networks

xvi


MỤC LỤC
CHUẨN Y CỦA HỘI ĐỒNG BẢO VỆ LUẬN VĂN ................................................... i
LÝ LỊCH CÁ NHÂN .................................................................................................... iii
LỜI CAM ĐOAN .......................................................................................................... iv
LỜI CẢM ƠN ...............................................................................................................v
TÓM TẮT

............................................................................................................. vi

ABSTRACT

............................................................................................................ vii

NHẬN XÉT CỦA GIẢNG VIÊN HƢỚNG DẪN ..................................................... viii
NHẬN XÉT CỦA GIẢNG VIÊN PHẢN BIỆN 1........................................................ ix
NHẬN XÉT CỦA GIẢNG VIÊN PHẢN BIỆN 2..........................................................x
NHẬN XÉT CỦA HỘI ĐỒNG PHẢN BIỆN .............................................................. xi
DANH MỤC BIỂU ĐỒ HÌNH VẼ .............................................................................. xii
DANH MỤC THUẬT NGỮ TIẾNG ANH ..................................................................xv
DANH MỤC THUẬT NGỮ VIẾT TẮT .................................................................... xvi
MỤC LỤC

.......................................................................................................... xvii

CHƢƠNG 1.
TAY

TỔNG QUAN VỀ BÀI TOÁN NHẬN DẠNG KÝ TỰ SỐ VIẾT
...............................................................................................................1

1.1. Phát Biểu Bài Toán.............................................................................................1
1.2. Những khó khăn và thách thức của bài toán nhận dạng chữ viết. ......................3
1.3. Các công trình nghiên cứu trong và ngoài nƣớc. ...............................................4
CHƢƠNG 2.

CƠ SỞ LÝ THUYẾT TIỀN XỬ LÍ ẢNH KÍ TỰ ................................6

2.1. KHÁI NIỆM MẠNG NEURAL ........................................................................6
2.1.1.

Sơ lƣợc về neural sinh học.........................................................................6

2.1.2.

Mạng Neural nhân tạo ...............................................................................7

xvii


2.1.3.

Kiến trúc mạng ...........................................................................................9

2.1.4.

Mạng một tầng ...........................................................................................9

2.1.5.

Mạng Đa Tầng .........................................................................................11

2.2. HUẤN LUYỆN MẠNG NEURAL .................................................................12
2.2.1.

Phƣơng pháp học ......................................................................................12

2.2.2.

Học có giám sát .......................................................................................12

2.2.3.

Học không giám sát .................................................................................12

2.2.4.

Học tăng cƣờng ........................................................................................12

2.2.5.

Thuật toán huấn luyện mạng ...................................................................13

2.3. LỌC MỊN ẢNH................................................................................................15
2.4. NHỊ PHÂN ẢNH .............................................................................................15

2.5. ĐÁNH NHÃN THÀNH PHẦN LIÊN THÔNG ..............................................18
2.5.1.

Tách liên thông bằng kĩ thuật đệ quy ......................................................18

2.5.2.

Giải thuật cải tiến .....................................................................................19

2.5.3.

Chỉnh nghiêng ..........................................................................................21

2.6. CHUẨN KÍCH THƢỚC ..................................................................................23
2.7. LẤP KHOẢNG TRỐNG ẢNH BẰNG PHÉP ĐÓNG MORPHOLOGY.......23
2.7.1.

Một số định nghĩa ....................................................................................23

2.7.2.

Phép giãn .................................................................................................24

2.7.3.

Phép co.....................................................................................................24

2.7.4.

Phép đóng ................................................................................................24

2.8. LẤY ĐƢỜNG BIÊN VÀ LÀM TRƠN ĐƢỜNG BIÊN .................................25
2.8.1.

Phát hiện biên ..........................................................................................25

2.8.2.

Dò biên và mã hóa đƣờng biên ...............................................................25

xviii


2.8.3.

Xác định hƣớng của điểm biên (Freeman code) ......................................26

2.8.4.

Làm trơn đƣờng biên ...............................................................................27

2.9. MẠNG NEURAL TÍCH CHẬP (Convolutional Neural Networks – CNNs)29
2.9.1.

Khái niệm CNNs......................................................................................29

2.9.2.

Cấu trúc mạng neural tích chập ...............................................................31

2.9.3.

Những phƣơng pháp tích chập (convolution) ..........................................32

2.9.4.

Một số phép tích chập thƣờng sử dụng trong xử lý ảnh ..........................36

CHƢƠNG 3.
SỐ

ỨNG DỤNG CNNs CHO BÀI TOÁN NHẬN DẠNG CÁC KÝ TỰ
.............................................................................................................41

3.1. PHÁT BIỂU BÀI TOÁN .................................................................................41
3.1.1.

Phát biểu bài toán nhận dạng ...................................................................41

3.1.2.

Ảnh đầu vào của bài toán ........................................................................41

3.2. Ý TƢỞNG THỰC HIỆN .................................................................................42
3.3. THUẬT TOÁN NHẬN DẠNG KÝ SỐ ..........................................................42
3.3.1.

Xây dựng mạng neural.............................................................................43

3.3.2.

Xử lý dữ liệu (phân tích ảnh) ...................................................................43

CHƢƠNG 4.

CÀI ĐẶT CHƢƠNG TRÌNH THỬ NGHIỆM ...................................52

4.1. MÔI TRƢỜNG THỬ NGHIỆM ......................................................................52
4.1.1.

Phần cứng ................................................................................................52

4.1.2.

Phần mềm ................................................................................................52

4.1.3.

Cơ sở dữ liệu sử dụng trong ứng dụng. ...................................................52

4.2. GIAO DIỆN CỦA ỨNG DỤNG......................................................................54
4.2.1.

Hệ thống menu .........................................................................................54

4.2.2.

Các tab control .........................................................................................54

4.3. Đánh giá kết quả đạt đƣợc ................................................................................61

xix


4.3.1.

Nhận dạng ảnh (độ sai lệch) ....................................................................61

KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN ....................................................................64
TÀI LIỆU THAM KHẢO .............................................................................................65

xx


Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay

CHƢƠNG 1.
TỔNG QUAN VỀ BÀI TOÁN NHẬN DẠNG
KÝ TỰ SỐ VIẾT TAY
1.1. Phát Biểu Bài Toán
Trƣớc khi đƣợc nhận dạng, mỗi ký tự số đƣợc chuyển đổi thành dạng ảnh nhị
phân có kích kích thƣớc khoảng 32x32. Trong đó các kí tự số có độ nghiêng không
quá lớn và kích thƣớc hợp chuẩn với sai số chấp nhận đƣợc.
Chuẩn kích thƣớc của ký tự số:

Ascender height

1234

Height

Descender height

Hình 1.1. Mô tả bài toán nhận dạng
 Ascender height: Trùng với cạnh trên của ảnh.
 Descender heigt: Trùng với cạnh dƣới của ảnh.
 Height: Chiều cao của ảnh.

1


Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay

Mô hình nhận dạng đƣợc mô tả trong hình sau :

Ảnh ban đầu

Phát hiện ký tự

Tiền Xử Lý

Trích Chọn Đặt
Trƣng
Huấn Luyện

Nhận Dạng

Sau Khi
Huấn Luyện

123

Kết quả

Hình 1.2. Mô hình bài toán nhận dạng

2


Ứng dụng mạng neural tích chập nhận dạng ký tự số viết tay

Trong đó:
- Tiền xử lý: Sau khi đã khử nhiễu, ảnh đƣợc chuẩn hóa về kích thƣớc chuẩn. Việc
chuẩn hóa kích thƣớc ảnh đƣợc thực hiện theo các bƣớc sau:
 Bƣớc 1: Nhị phân hóa ảnh.
 Bƣớc 2: Tìm hình chữ nhật bé nhất chứa các điểm đen trên ảnh.
 Bƣớc 3: Lấy vùng ảnh nằm trong hình chữ nhật .
 Bƣớc 4: Chuẩn hóa ảnh về kích thƣớc chuẩn .
- Trích chọn đặc trƣng: Trong phần này, giới thiệu phƣơng pháp trích chọn đặc
trƣng đơn giản nhƣng hiệu quả, có thể áp dụng cho các tập dữ liệu ký tự số viết tay
rời rạc nhƣ sau:
 Ảnh ký tự sau khi đã chuẩn hóa về kích thƣớc chuẩn sẽ đƣợc chia thành
NxN vùng . Tổng số điểm đen của mỗi vùng sẽ đƣợc chọn để tạo thành
các vectơ đặc trƣng.
 Lựa chọn thuật toán huấn luyện phân lớp: Áp dụng thuật toán lan truyền
ngƣợc Back Propagation.

1.2. Những khó khăn và thách thức của bài toán nhận dạng chữ viết.
Với những kiểu ký tự số viết sát nhau, việc phân tích giới hạn ký tự chƣa đƣợc
chính xác, dẫn đến đọc ký tự sai.

Hình 1.3. Minh họa chữ sát liền nhau.
Hoặc ký tự bị nhòe hoặc mờ, bề mặt ký tự có thể bị mờ hoặc che khuất bởi một
đối tƣợng khác, dẫn đến đọc ký tự sai.

Hình 1.4.Minh họa ảnh ký tự bị nhòe
3