Nhận dạng chữ viết tay hạn chế dựa trên mô hình mạng nơron kết hợp với thống kê ngữ cảnh

Đ Ạ I H Ọ C Ọ Ư Ó C G IA H À N Ộ I
KHOA CỒNG NGHỆ
NGUYẺN THỊ THANH TÂN
NHẬN DẠNG CHỮ VIẾT TAY HẠN CHÉ
DựA TRÊN MÔ HÌNH MANG NƠRON
KÉT HỢP VỚI THÓNG KE n g ữ cả nh
Chuyên ngành: Công nghệ thông tin
Mã số: 1.01.10
LU ẬN VĂ N TH Ạ C s ĩ
N gười hướng dẫn kh oa học:
PGS. TS. Ngô Quoc Tạo
H à N ộ i - 200 4
Nguyễn Thị Thanh Tân
Trang - 1 -
Luận văn thạc sĩ
MỤC LỤC
MỞ Đ ẦU 3
CHƯƠNG 1 - TỔNG QUAN VỀ NHẬN DẠNG CHỮ D ự A TRÊN MÔ HÌNH
MẠNG N Ơ R O N


8
1.1 Tổng quan về mạng nơron 8
1.1.1 Cấu trúc của một nơron 8
1.1.2 Các phương pháp huấn luyện một mạng nơron

10
1.2 Qui trình chung của một hệ nhận dạng chữ 12
1.2.1 Phân lớp mẫu 12
1.2.2 Nhận dạng văn bản 13
1.3 Mạng MLP và ứng dụng trong nhận dạng chữ 16

1.3.1 Cấu trúc một Perceptron
16
1.3.2 Kiến trúc mạng nhiều lớp truyền thẳng (M LP) 17
1.3.3 Quá trình huấn luyện mạng M LP 18
1.3.4 Ưu, nhược điểm của mạng M L P
26
1.4 Kết lu ậ n
.
27
CHƯƠNG 2 - NHẬN DẠNG TỪ D ựA TRÊN MẠNG BỐN LỚP CẢI TIẾN KẾT
HỢP VỚI THỐNG KÊ NGỮ c ả n h ' 28
2.1 Mạng nơron bốn lớp cải tiến 30
2.1.1 Kiến trúc mạng 31
2.1.2 Thuật toán huấn luyện mạng 36
2.1.3 Khả năng nhận dạng của m ạn g 40
2.2 Bộ thống kê ngữ cảnh 41
2.2.1 Các khái niệm sử dụng trong bộ thống k ê 41
2.2.2 Các cấu trúc dữ liệu sử dụng trong quá trình thống k ê 43
2.2.3 Thuật toán kiểm tra mức độ hợp lý của một kí tự trong một x â u

44
2.2.4 Thuật toán lựa chọn một từ trong danh sách các từ ứng cử viên

45
2.3 Quá trình nhận dạng từ 46
2.3.1 Phương pháp nhận dạng 46
2.3.2 Cấu trúc dữ liệu sử dụng trong quá trình nhận dạng 47
2.3.3 Quá trình xác định các vị trí cắt khác nhau trên ảnh đầu v ào

50

MỞ ĐẢU
Nguyễn Thị Thanh Tản Trang - 2 - Luận văn thạc sĩ
2.3.4 Thuật toán nhận dạng từ 52
2.4 Đánh giá khả năng nhận dạng của mô hình 60
2.5 Kết luận 60
CHƯƠNG 3 - CÀI ĐẬT HỆ THỐNG NHẬN DẠNG CHỮ VIẾT TAY HẠN CHẾ

.

.

.



.

.

62
3.1 Qui trình hoạt động của hệ thống 62
3.2 Quá trình tiền xử lý 64
3.2.1 Tiền xử lý trước khi phân tích ảnh văn bản cần nhận dạ n g

64
3.2.2 Tiền xử lý trước khi phân đoạn từ cần nhận dạn g

70
3.2.3 Tiền xử lý trước khi nhận dạng kí tự 74
3.3 Quá trình phân vùng ản h

74
3.3.1 Tách dòng văn bản
75
3.3.2 Tách từ 77
3.4 Quá trình nhận dạng
79
3.5 Quá trình hậu xử lý 79
3.6 Kết luận 80
CHƯƠNG 4 - THỬ NGHIỆM HỆ THỐNG NHẬN DẠNG CHỮ VIẾT TAY HẠN
C H Ế


.

’

81
4.1 Môi trường thử nghiệm 81
4.2 Dữ liệu và kết quả thử nghiệm 81
4.2.1 Thử nghiệm nhận dạng chữ số viết tay 81
4.2.2 Thử nghiệm nhận dạng chữ cái không dấu viết ta y 83
4.2.3 Thử nghiệm nhận dạng từ nguyên 84
KẾT L U Ậ N 86
TÀI LIỆU THAM KH Ả O 91
PHỤ LỤC A - GIAO DIỆN CỦA HỆ NHẬN D Ạ N G 93
PHỤ LỤC B - GIAO DIỆN CỦA HỆ NHẬN D Ạ N G 94
PHỤ LỤC c - GIAO DIỆN CỦA HỆ HỌC MẠNG

96
PHỤ LỤC D - MỘT SÔ KẾT QUẢ THỐNG K Ê 98

PHỤ LỤC E - DANH MỤC CÁC THUẬT TO ÁN 101
PHỤ LỤC F - DANH M ự c CÁC HÌNH V Ẽ
102
PHỤ LỤC F - DANH MỤC CÁC BẢNG B IẾU
103
MỜ ĐÂU
Nũuvễi Thị Thanh Tân
Trang - 3 -
Luận vSn thạc sĩ
MỜĐẦU
Nhận dạng mẫu là một nơành khoa học mà vai trò của nó là phân lớp các đổi tượng
thành một số loại hoặc một số lớp riêng biệt [22], Tuỳ thuộc vào lĩnh vực ứng dụng,
các đối tượng có thể ở dạng ảnh, dạng tín hiệu sóng hoặc một kiểu dữ liệu bất kỳ
nào có mà cần phải phân lớp. Những đối tượng này được gọi bàng một thuật ngữ
chung đó là “mẫu” (pattern). Nhận dạng mẫu đã được biết đến từ rất lâu, nhưng
trước những năm 1960 nó hầu như chi là kết quả nghiên cứu về mặt lý thuyết trong
lĩnh \ực thống kê. Tuy nhiên, với sự phát triển không nsừng của khoa học kỹ thuật
về phần cứng cũng như phần mềm, các yêu cầu về mặt ứng dụng thực tế của lĩnh
vực nhạn dạng mẫu ngày càng tăng lên và hiện nay nhận dạng mẫu đã được sử dụng
trong rất nhiều lĩnh vực như y học, tự động hoá một số qui trình sản xuất công
nghiệp, dự báo thời tiêt, dự báo cháy rừng,v.v. Ngoài ra nhận dạng mẫu còn là
thành phần quan trọng trong hầu hết các hệ thống máy tính thông minh được xây
dựng để thực hiện việc ra quyết định.
Cùn2 với sự phát triển của nhận dạnẹ mầu, nhận dạng chữ đã và đang ngày càng trở
thành một ứng dụng không thể thiếu được trong đời sống xã hội của con người.
Nhận dạng chữ viết được ứng dụng để tự động hoá một số công việc văn phòng như
lưu t:ữ văn bản. phân loại thư tín, , nhằm giảm bớt các công việc nhàm chán
nhưng đòi hỏi nhiều thời gian và công sức của con người.
Với tìm quan trọng của mình, nhận dạng chữ viết hiện đang là một lĩnh vực thu hút
được sự quan tâm, nghiên cứu của các nhà khoa học. Hiện nay, bài toán nhận dạng

chữ h đã giải quyết được gần như trọn vẹn, trên thế giới cũng như ở Việt Nam đã
có những sản phẩm có giá trị thực tế cao, có thể kể đến như: sản phẩm FineReader
của hăng ABBYY có thể nhận dạng 20 thứ tiếng khác nhau, sản phẩm OmniPage
của hãng ScanSoft nhận dạng chữ tiếng Anh, sản phẩm VnDOCR của Viện Công
nghệ Thông tin nhận dạng chữ Việt in, Song, với bài toán nhận dạng chữ viết tay
thi vắi đề trở lên phức tạp hơn nhiều bởi những lý do sau đây:
MỜ ĐÂU
NiỉU>ẻn I hi (hanh làn
ĩrang - 4 -
Luận văn thạc sĩ
• Với chừ viết tay thì không thể có các khái niệm font chừ, kích cỡ chừ. Các kí
tự tron? một văn bản chừ viết tay thườno có kích thước khác nhau. Thậm
chí, cùng một kí tự trono một văn bản do một người viết nhiều khi cũng có
độ rộng, hẹp, cao, thấp khác nhau,
• Với nhữnơ ns;ười viết khác nhau chữ viết có độ nghiêng khác nhau (chừ
nghiêng nhiều/ít, chừ nơhiêng trái/phải ,).
• Các kí tự của một từ trên ván bản chữ viết tay đôi với hầu hết người viết
tlurờno bị dính nhau vì vậy rất khó xác định được phân cách giữa chúng.
• Các văn bàn chừ viết tay còn có thể có trường hợp dính dòng (dòng dưới bị
dính hoặc chồng lên dòng trên).
Chính vì những khó khăn trên, có thể nói, cho đến thời diểm này vẫn chưa có được
một giải pháp nào đủ tốt để giải quyết được trọn vẹn bài toán nhận dạng chữ viết
tay. Hiện nay, trên thế e;iới cũng như ở Việt Nam có một số nhóm nghiên cứu đã
đầu tư nhiều thời gian cho nhận dạng chữ viết tay và hiện đã thu được một sô kết
quả. Song, những kết quả này mới chỉ được áp dụng một cách hạn chế ở những lĩnh
vực hẹp, một số nhóm điển hình có thể kể đến như: nhóm nghiên cứu ở Đại Học
Quổc Gia TPHCM đã cài đặt và thử nghiệm hệ thống nhận dạng chữ số và chữ viết
tay rời rạc trên các phiếu xuất nhập cảnh [4], nhóm nghiên cứu của Simon và
O.Baret (Laorỉa/CNRS & ENPC, Paris) cài đặt một hệ thống nhận dạng chữ viết tay
trong lĩnh vực kiểm tra tài khoản ở ngân hàng [16], nhóm nghiên cứu của J.J.Hull,

T.k.Ho, J.Favata, V.Govindaraju và S.N.Srihari ở trung tâm nghiên cứu vê nhận
dạng và phân tích văn bản của trường Đại Học Tổng Hợp New York đã cài đặt hệ
thống chuyên nhận dạng các địa chỉ thư ở bưu điện [17], nhóm nghiên cứu của
Fujisaki, H.S.M.Beigi, C.C.Tapert, M.Ukeison và C.G .W olf ở phòng nghiên cứu
Watson IBM đã cài đặt hệ thống nhận dạng chữ viết tay hạn chế trực tuyến trên một
trạm làm
việc
của IBM [21).
Như- vậy, việc tìm ra một lời giải khả thi cho bài toán nhận dạng chữ viết tay là một
vấn đề cấp thiết và rất phức tạp, hiện tại vẫn cần đầu tư nhiều thời gian và công sức
MỞ ĐÂU
Nguyen Thị Thanh Tân
Trang - 5 -
Luận văn thạc sĩ
cua con nsười. Tronc luận văn này, chúnG, tôi cũng không kỳ vọng là giải quyết
được chọn vẹn bài toán nhận dạng chừ viết tay mà chỉ hy vọng dóng góp thêm được
một phương pháp khả thi để giải quyết một lớp bài toán con trong lĩnh vực nhận
dạng chữ viết tay.
Bài toán đặt ra trons luận văn là “ nhận dạng chù’ viết tay hạn chế dựa trên mô
hình inạng noron kết họp vói thống kê ngữ cảnh”, vấn đề “chữ viết tay hạn chế”
hay “chữ viết tay có ràng buộc” trong luận văn được quan niệm như sau:
• Chữ viết tay được xem xét là các chừ số và chữ cái tiếng Anh viết tay không
dấu.
• Khoảng cách giữa các dòng chữ trong các văn bản đầu vào phải xác định
được (tức là giữa các dòns chừ phải có một khoảng cách tương đôi, không
được dính hay chồng lên nhau).
• Giữa các từ trên một dòng chữ phải có một khoảng cách nhất định (các từ
không được dính hay móc nối vào nhau).
• Các kí tự trên văn bản cần nhận dạng không được quá nghiêng.
Sở dĩ, chúng tôi lựa chọn mạng nơron làm công cụ để thể hiện các thuật toán nhận

dạng bởi lẽ mô hình mạng nơron được xây dựng theo nguyên tắc mô phỏng hoạt
động bộ não của con người nên nó rất thích hợp với bài toán nhận dạng và so với
các công cụ khác thì mạne nơron có những ưu điểm vượt trội sau:
• Mạng nơron được coi như một bộ xấp xỉ vạn năng.
• Có khả năng học và thích nghi với các mẫu mới.
• Có khả năng tổng quát hoá: Mạng có thể đưa ra những kết quả mang tính
tông quát hoá.
• Có khả năng dung thứ lỗi: Có thể chấp nhận sai số trong tập dữ liệu đầu vào.
• Mạng có tốc độ tính toán cao dẫn đến tốc độ nhận dạng nhanh.
Trên cở sở đó, nội dung của luận văn tập trung chủ yểu vào một sô vân đê sau:
M Ờ Đ Ả U
Nii'UV’n Thị Thanh Tàn
Trang - 6 -
Luận văn thạc sĩ
• Khảo sát cách tiếp cận nhận dạns dựa trên mô hình mạng nơron.
• Đánh giá khả năng nhận dang cũns như các ưu, nhược điểm của mane nhiều
lớp truyền thana. MLP (Multilayer Perceptrons).
• Đe xuất mô hình mạng nơron bốn lớp cải tiến thích hợp cho nhận dạng các kí
tự viết tay.
• Đe xuất một mô hình nhận dạng từ dira trên sự kết hợp giữa bộ nhận dạng kí
tự với một bộ thống kê nofr cảnh.
• Xây dựng hệ thốne; nhận dạng chữ viết tay hạn chế.
Với các nội dung trên, cấu trúc của luận văn sẽ gồm những phần chính sau đây:
Chuong I: Tông quan vê nhận dạng chữ dựa trên mô hình mạng noron
Nội dưng của chương này sẽ tập trung khảo sát cách tiếp cận nhận dạng dira trên mô
hình mạng nơron thông qua mô hình mạng nhiều lớp truyền thẳng MLP (Multilayer
Perceptrons). Từ đó đánh giá được các ưu, nhược điểm của mạng MLP, đây cũng
chính là tiền đề cho quá trình xây dựng mô hình nhận dạng ở chương sau.
Chương 2: Nhận dạng từ dựa trên mô hình mạng noron bốn lóp cải tiến kết
họp vói thống kê ngữ cảnh

Chương này tập trung vào việc xây dựng mô hình hiệu quả để nhận dạng chữ viết
tay hạn chế với những nội dung chính sau đây:
• Sơ đồ tổng quan của mô hình nhận dạng từ được đề xuất bời luận văn.
• Quá trình xây dựng mạng nơron bổn lớp cải tiến.
• Quá trình xây dựng bộ thống kê.
• Quá trình xây nhận dạng từ.
• Đánh giá khả năng nhận dạng của mô hình
Chu ong 3: Cài đặt hệ thống nhận dạng chữ viết tay hạn chế
N”U\en Thị Thanh Tân
Tran” - 7 -
Luận văn thạc sĩ
Chương này sẽ mô tả một cách cụ thể hơn về qui trình nhận dạng chừ viết tay hạn
chế. Đồng thời, sẽ cụ thể hóa đến mức chi tiết nhất có thề việc ứng dụng mô hình
nhận dạng đã được đề xuất ở chương 3 để nhận dạng chữ viết tay hạn chế.
Chương 4: Thử nghiệm hệ thống nhận dạng chữ viết tay hạn chế
Chương này sẽ mô tả chi tiết quá trình thử nohiệm cũno như các kết quả thử nghiệm
của hệ thống với các tập dữ liệu khác nhau.
Phần kết luận
Phần này sẽ nêu lên các vấn đề đã giải quyết được, chưa giải quyết được và hướng
phát triển trone tương lai của luận văn.
Các phần phụ lục A, B, c
Các phần phụ lục sẽ cung cấp các thông tin tham khảo có giá trị về các kết quả thực
nghiệm của chương trình, các kí hiệu, từ khóa được sử dụng trong luận văn, các tài
liệu tham khảo,
MỞ ĐÂU
Nguvcn Thị Thanh Tàn Trans - 8
Luận vãn thạc sĩ
CHƯƠNG 1 - TỔNG QUAN VÈ NHẬN DẠNG CHỮ DỰA
TRÊN MÔ HÌNH MẠNG NƠRON
1.1 Tổng quan về mạng noron

1.1.1 Cấu trúc của một nơron
Một nơron là một đơn vị xử lý thôn° tin và là thành phần cơ bản của một mạns
nơron. cấu trúc của một nơron đươc mô tả trên Hình 1.1.
Các tín
hiệu vào
/ v v ,
x2 o -
XP c>-
— @ —
\
\

Hàm
— Q —
tổng
Các trọng số
liên kết
Hàm kích
hoạt
f(.)
Đầu ra
Hình 1.1: cấu trúc của một noron
Trong đó:
(Xi, x2, Xp ): Là các tín hiệu đầu vào (input signals) của một nơron, các tín
hiệu này thường được đưa vào dưới dạng một vector p chiều.
(wkl, wk2, wkp): Là tập các trọng số liên kết của nơron k với p đầu vào,
trọng số liên kết giữa tín hiệu vào thứ j với nơron k thường được kí hiệu là
w/ỳ. Thông thường, các trọng số liên kết của mỗi nơron được khởi tạo một
cách ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong
quá trình học mạng.

Z: Là hàm tổng trên một nơron, dùng để tính tổng giá trị kích hoạt lên nơron
đó ( thường tính bang tổng của tích các đầu vảo với trọng số liên kêt của nó).
TỔNG QUAN VỀ NHẬN DẠNG CHỮ DựA TRÊN MÔ HÌNH M ẠNG NƠRON
Nixuyễn Thị Thanh Tân
Trang - 9 -
Luận văn thạc sĩ
• uk\ Là tông giá trị kích hoạt lên nơron thứ k (giá trị này là đầu ra của hàm
tổng).
• bk- Là độ lệch của nơron thứ k, giá trị này được dùng như một thành phần
phân ngưỡng trên hàm kích hoạt.
• f(.): Là một hàm kích hoạt (Activation function), hàm này được dùng để giới
hạn phạm vi đầu ra của mỗi nơron. Giá trị của hàm này thường được xác
định dựa trên hàm tons và độ lệch đã cho. Thông thường, phạm vi đâu ra của
mỗi nơron được giới hạn trong đoạn [0,1] hoặc [-1, 1], Các hàm kích hoạt có
thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn hàm kích hoạt nào là
tuỳ thuộc vào từng bài toán . Một số hàm kích hoạt thường sử dụng trong các
mô hình mạng nơron được thể hiện trên Bảng 1-1.
• yk‘. Là tín hiệu đâu ra của một nơron, môi nơron sẽ có tôi đa một đâu ra.
Với thuật ngữ toán học, cấu trúc của một nơron k, được mô tả bàng cặp biểu thức
sau:
P
uk = x wkjxj
và
yk=f(uk-bk)
y
Hàm Symmetrical
Hard Limit (hardlims)
+1
ü~
-1

X
y
+1
Hàm tuyển tính
Linear (purelin)
X
-1
TỎNG QUAN VÈ NHẬN DẠNG CHỮ DựA TRÊN MÔ HÌNH MẠNG NƠRON
Nuuyễn I hi Thanh Tàn Trail ü -10-
I.uận vfln thạc sĩ
1.1.2 Các phương pháp huấn luyện một mạng nơron
Hai phương pháp học máy phổ biến thường dược đề cập đến trong lĩnh vực trí tuệ
nhân tạo đó là: phương pháp học có thầy (còn gọi là học có giám sát - supervised
learning) và phương pháp học không có thầy (học không có giám sát - unsupervised
learning). Việc lựa chọn kiểu học có thầy hay không có thầy là tuỳ thuộc vào từng
bài toán cũng như từng vấn đề cần giải quyết. Cũng cần chú ý rằng mồi mạng nơron
thường được kết hợp với một thủ tục học, mồi thủ tục học có đặc thù riêng và chúng
không thể hoán đổi được. Nói cách khác, chúng ta không thể sử dụng một mạng
nơron kiểu ABC để huấn luyện một mạng kiểu XYZ được và ngược lại.
1. Phuong pháp học có thầy
Phương pháp học có thầy là học để thực hiện một công việc nào đó dưới sự giám sát
của một thầy giáo. Với cách tiếp cận này, thuật toán huấn luyện mạng thường được
cung cấp một tập mẫu học dưới dạng: D = {(x,t) I (x,t) e [IRNX R K]}, trong đó:
X = ( X |, X2,. ,X N) là vector đặc trưng N chiều của mẫu huấn luyện và t = (t|, t2, ,t«)
là vector mục tiêu K chiều tương ứng, nhiệm vụ của thuật toán là phải thiết lập
được một cách tính toán trên mạng như thế nào đó để sao cho với mỗi vector đặc
TỎNG QUAN VÈ NHẶN DẠNG CHỮ DỰA TRẼN MÔ HÌNH MẠNG Nơ RON
Nguyen Thị Thanh Tân
Trang -II-
Luận văn thạc sĩ

tnrnu đâu vào thì sai sô ci ừ a giá trị đâu ra thực sự của mạng và aiá trị mục tiêu
tương ứng là nhỏ nhất.
Với bài toán nhận dạng, ta có thể nói: Phương pháp học có thầy là phương pháp học
để phàn lớp trên tập mẫu huân luyện đầu vào. Trong đó số lớp cần phân là biết
trước và thuật toán học mạno có nhiệm vụ phải xác định được các luật phân lớp sao
cho mỗi huấn luyện đầu vào sẽ được phân vào đúng lớp của nó. Một số thuật toán
điển hình tron? phương pháp học có thầy là: thuật toán LMS (Least Mean Square
error), thuật toán lan truyên ngược sai so (back propagation),
2. Phuong pháp học không có thầy
Ngược lại với học có thầy, phương pháp học không có thầy là học để thực hiện một
công việc mà không cần bất kỳ sự giám sát nào. Với cách tiếp cận nảy, tập mẫu
huấn luyện chỉ được cung cấp cho thuật toán dưới dạng: D = {(X|, X2, ,XN) } , với
(Xi, X2, ,XN) là vector đặc trưng của mẫu huấn luyện và nhiệm vụ của thuật toán
huấn luyện mạng là phải phân chia tập dữ liệu D thành các nhóm con, mỗi nhóm
chứa một tập vector đầu vào có các đặc trưng giống nhau, việc phân nhóm này cho
phép tạo ra các lớp một cách tự động. Đe phân nhóm trên tập mẫu huấn đâu vào, ta
thường phải xây dựng các tiêu chuẩn để đánh giá “độ giống nhau” giữa các mẫu.
Với bài toán nhận dạng, ta có thể nói: Phương pháp học không có thầy là phương
pháp học để phân lớp tập mẫu huấn luyện đầu vào. Trong đó, số lớp cần phânlà
không biết trước và thuật toán học mạng có nhiệm vụ phải xây dựng được các tiêu
chuẩn đánh giá “độ giống nhau” giữa các mẫu sao cho các lớp mẫu được tạo ra một
cách tự động là tương đương với các lớp mẫu thực sự.
Trong thực tế, phương pháp học có thầy được ứng dụng nhiều hơn phương pháp
học không có thầy. Kiểu huấn luyện không có thầy thường không thích hợp với bài
toán phân lóp bởi vì rất khó để xây dựng một phương pháp đảm bảo được chắc chắn
có sự tương ứng giữa các lớp được tạo ra một cách tự động với các lớp dữ liệu thực
sự, phương pháp này thường thích hợp hơn với các bài toán mô hình hoá dữ liệu.
TÔNG QUAN VỀ NHẬN DẠNG CHỬ DựA TRÊN MÔ HÌNH MẠNG N ơ RON
Nuuyễn I 11! Thanh Tàn Trang -12-
Luận văn thạc sĩ

1.2 Qui trình chung của một hệ nhận dạng chữ
Qui trình chun" của một hệ thông, nhận dạng chữ thườn" gồm hai giai đoạn là: Phân
lớp mẫu và nhận dạns văn bản.
1.2.1 Phân lớp mẫu
Phân lớp (sắp lớp) mẫu là giai đoạn quyết định trong quá trình nhận dạng. Hai kiểu
phân lớp điển hình thường được sử dụng là: phân lớp có thầy (học có thầy) và phân
lớp khônR có thầy(học không có thầy). Các vấn đề thường được đặt ra tronơ bước
phân lớp là:
• Độ chính xác: Độ tin tưởng của một luật phân lớp được thể bởi tỷ lệ phân
lớp đúne. Nhìn chung, dộ chính xác được đo bởi tập dữ liệu học và độ chính
xác được đo bởi tập dữ liệu thử nghiệm là khác nhau. Đây không phải là một
điều bất thường, đặc biệt trong các ứng dụng học máy, đối với tập dữ liệu
học thì có thể đúng hoàn toàn, nhưng trên tập dữ liệu thử nghiệm có khi kết
quả lại rất tồi tệ. Khi nói đến độ chính xác của một thuật toán phân lớp thì
thường là nói đến độ chính xác trên tập dữ liệu thử nghiệm. Kinh nghiệm
thực tế cho thấy, độ chính xác của một thuật toán phân lớp phụ thuộc khá
nhiều vào tập dữ liệu học (cả về mặt số lượng lẫn chất lượng) nói một cách
khác là việc trích chọn đặc trưng của các mẫu có ảnh hưởng lớn tới độ chính
xác của quá trình phân lớp.
• Tốc độ phân lóp: Đây là yếu tố đặc biệt quan trọng đối với các hệ thống có
tính thời gian thực, chẳns hạn như nhận dạng chữ viết tay trực tuyên
(online),
• Tính dễ hiểu: Thuật toán phân lớp đơn giản, dễ cài đặt và hiệu quả.
• Thòi gian học: Nhất là trong một môi trường thường xuyên thay đổi, cần
phải học một luật phân lóp một cách nhanh chóng hoặc hiệu chỉnh một luật
đã có trong thời gian thực. Đe học nhanh, nhiều khi ta chỉ cần sử dụng một
số lượng nhỏ các mẫu huấn luyện để thiết lập các luật phân lớp.
TỔNG QUAN VÈ NHẬN DẠNG CHŨ' DựA TRÊN MỎ HÌNH MẠNG NƠRON
Niiuvền Thị Thanh Tân
I ran” -13-

Luặn văn thạc sĩ
1.2.2 Nhận dạng văn bản
Các bước cần thực hiện trong giai đoạn này được thê hiện trên Hình 1.2 , bao gồm:
1. Thu nhận và lưu trữ ảnh: Đây là cône đoạn đầu tiên trons một quá trình nhận
dạng ảnh. Trong một hệ thống nhận dạng, ảnh thường được thu nhận qua
scanner, sau đó được lưu trữ dưới các định dạng file (*.pcx, *.bmp, * -jpg, * tif,
* .gif, *.png, ). Nhìn chun» việc lựa chọn định dạng file lưu trữ sẽ tuỳ thuộc
vào các văn bản đầu vảo cần nhận dạng và các yêu cầu cụ thể của từng hệ
thống.
2. Tiền xử lý ảnh: Đây lả cônơ đoạn sử dụna, các kỹ thuật xử lý ảnh để nâng cao
chất lượng ảnh đầu vào. Nhìn chung, chất lượng của ánh đầu vào sẽ ảnh hưởng
nhiều đến chất lượng nhận dạng. Vì vậy, tiền xử lý ảnh là một bước không thể
thiếu được trong một hệ thống nhận dạng hay xử lý ảnh. Các kỹ thuật thường
được sử dựng trong quá trình tiền xử lý là: Phân ngưỡng, căn chỉnh độ lêch
trang văn bản, lọc nhiễu, nối nét đứt trên ảnh,
3. Phân đoạn ảnh: đây là một trong những công đoạn quan trọng nhất trọng nhất
của quá trình nhận dạng và có ảnh hưởng lớn đến kết quả nhận dạng. Hai cách
tiếp cận phổ biến được đề xuất trong quá trình phân đoạn ảnh là:
• Cách tiếp cận trên xuống (top-down): Toàn bộ ảnh văn bản cần phân đoạn
được coi là một khối lớn, sau đó khối này được phân thành các khối nhỏ hơn,
các khối nhỏ này lại tiếp tục được phân thành các khối nhỏ hơn nữa cho đến
khi thu được các kí tự hoặc không thể phân nhỏ hơn được nữa. Nhìn chung,
với cách tiếp cận này, phương pháp thường dùng để phân đoạn ảnh là sử
dụng các biểu đồ tần suất ngang và dọc. Tuy nhiên, do biểu đồ tần suất bị
ảnh hưởng nhiều bởi độ nghiêng trang văn bản nên trước khi xử lý phân
đoạn, ta thường phải căn chỉnh độ lệch của trang văn bản.
TỔNG QUAN VÈ NHẬN DẠNG CHŨ' DựA TRÊN MÔ HÌNH MẠNG NƠRON
Nüuven Thị Thanh Tàn
Trang - 14 -
Luận văn thạc sĩ

• Cách tiếp cận dưới lên (bottom-up): Quá trinh phân đoạn bắt đẩu bằng việc
xác định nhữns thành phần nhỏ nhất, sau đó gộp chúng lại thành nhữns
thành phần lớn hơn, cho đến khi thu được tất cả các khối trong trang văn bản.
Hình 1.2: Qui trình chung của một hệ thống nhận dạng chữ
4. Nhận dạng: Đây chính là thao tác gán nhãn cho đối tượng dựa trên những tri
thức đã học được, nói cách khác đây là thao tác tìm kiếm một lớp mẫu phù hợp
nhất với đối tượng đầu vào.
5. Học mẫu mói: Do tập mẫu huấn luyện không thể bao quát được toàn bộ các
mẫu trong thực tế nên trong quá trình nhận dạng có thể sẽ gặp những mẫu mới
TÓNG QUAN VỀ NHẬN DẠNG CHŨ' DựA TRÊN MÔ HÌNH MẠNG NƠRON
Niiz.ilvòn 'I hi Thanh Tân
Trang -15- Luặn vSn thạc sĩ
mới mà hệ thống không thể nhộn dạng chính xác được. Khi đó việc học thêm
những mẫu này sẽ góp phần làm tăng chất lượng của hệ thống nhận dạng.
6. Hậu xử lý: Đây là một trong những công đoạn cuối cùng của quá trình nhận
dạnơ. Trong nhận dạng chữ, có thể hiểu hậu xử lý là bước ghép nối các kí tự đã
nhận dạng được thành các từ, các câu, các đoạn văn nhàm tái hiện lại văn bản
đồns; thời phát hiện ra các lỗi nhận dạng bằna; cách kiểm tra chính tả dựa trên
cấu trúc và ngữ nghĩa của câu, đoạn văn. Việc phát hiện ra các lỗi, các sai sót
trong nhận dạng ở bước này đã góp phần đáng kể vào việc nâng cao kết quả
nhận dạng. Đặc biệt đối với các ảnh văn bản đầu vào không tốt (chẳng hạn: Bản
in bị mờ, bị đứt nét do photo nhiều lần, ) hoặc các văn bản in chứa nhiêu thông
tin hồn họp (chẳng hạn: Trong văn bản có cả số lẫn chữ và các kí hiệu), điều này
rất dễ gây nhầm lẫn trong nhận dạng. Thậm chí có những trường hợp nhập
nhàng chỉ có thể giải quyết được bằng ngữ cảnh bàng cách phân tích ngữ cảnh
của câu, chẳng hạn như trường hợp nhập nhàng giữa từ “10” với số “ 10”.
7. Liru văn bản: Sau khi văn bản cần nhận dạng đã được tái tạo về dạng nguyên
bản sẽ được lưu lại ở các định dạng file được hệ thống hỗ trợ, chẳng hạn như file
dạng (.doc, .rtf, .xls, )■
Trong lý thuyết nhận dạng mẫu nói chung và nhận dạng chữ nói riêng có bốn cách

tiếp cận phổ biến thường được sử dụng là:
• Cách tiếp cận nhận dạng dựa trên phân hoạch không gian.
• Cách tiếp cận nhận dạng dựa trên kỹ thuật đối sánh mẫu
• Cách tiếp cận nhận dạng dựa vào cấu trúc.
• Cách tiếp cận nhận dạng dựa trên mạng nơron.
Hiện nay, cách tiếp cận nhận dạng dựa trên mô hình mạng nơron đang trở thành
một trong những hướng nghiên cứu chính và nó đã được ứng dụng rộng rãi không
chỉ trong lĩnh vực nhận dạne; chữ mà cả những lĩnh vực khác, chẳnghạn như: Điều
khiển thông tin, dự tính, dự báo, Mạng nơron có khả năng học từ kinh nghiệm
TỎNG QUAN VỀ NHẬN DẠNG CHỮ DựA TRÊN MÔ HÌNH MẠNG Nơ RON
Niiiiycn I hi Thanh l ãn
'1'rnnụ. -16-
Luận v;ìn thạc sĩ
hay từ một tập mẫu do vậy nó rất phù hợp với các bài toán đổi sánh, phân loại mẫu,
xấp xì hàm, tối ưu hoá. lượn2 tử hoá vcctor và phân hoạch không oian dừ liệu.
Trong sô các mô hình mạne có thể ứng dụno trong nhận dạng thì mô hình mạng
nhiều lớp truyền tlìẳns MLP (Multilayer Perceptrons) với thuật toán huấn luyện lan
truyền ngược sai số là mô hình mạng phổ biến nhất và được ứng dụng nhiều nhất.
Phần sau đây, luận văn sẽ sẽ tập trung khảo sát khả năng nhận dạng của mô hình
mạng này một cách cụ thể và chi tiết hơn.
1.3 Mạng MLP và ứng dụng trong nhận dạng chữ
Mạna; MLP là mô hình mạng phổ thường được sử dụng tronR nhận dạng [9], [19],
[22], [29]. Cấu trúc mạng MLP là sự kết hợp của nhiều lớp nơron (ít nhất lả hai
lớp), trong đó mỗi lớp nơron được tạo thành từ nhiều Perceptron và sự liên kết giữa
các lớp nơron là liên kết đầy đủ.
v ề lý thuyết, người ta đã chứng minh được rằng chì cần sử dụng mạng nơron hai
lớp truyền thẳng (gồm một lớp ẩn và một lớp ra) là đủ để giải quyết các bài toán
phân lớp trên tập dữ liệu đầu vào không khả tách tuyên tính bằng cách huân luyện
chúng theo cách có giám sát (có thầy) với một thuật toán học khá phổ biến là thuật
toán lan truyền ngược sai số.

1.3.1 Cấu trúc một Perceptron
Perceptron là một cấu trúc mạng nơron đơn giản nhất, chỉ gồm 1 nơron với các liên
kết có khả năng thay đổi trọng số và một hàm kích hoạt như đã mô tả trên Hình 1.3.
X
Các đầu X.
2
vào
X
Đầu ra
Hình 1.3: cấu trúc một Perceptron
TỔNG QUAN VÊ NHẬN DẠNG CHỮ DỤ A TRÊN MỒ HÌNH MẠNG NƠRON
Trong đó:
■ [X|, X-),
-Yp]:
là vector đàu vào của mạn".
■ W\, w2, vvp: là các trọne số liên kết của nơron trên lớp Perceptron với p
đầu vào.
■ b: là độ lệch của nưron trên lớp Perceptron.
■ v: là đầu ra của mạng, được xác định bởi:
p
j/ = /(m )€{-1,+ 1}, với u = Y JX,WI - b,
1=1
Hàm kích hoạt/ thường dùnơ ở đây là hàm tuyến tính (hardlims - Bảng 1-1), với giá
trị hàm được xác định theo công thức y = hardlim(x) =
Nuuyễn Thị Thanh Tàn Trang -17- Luận văn thạc sĩ
1 i f X < 0
1 otherwise
Do cấu trúc đơn giản nên mỗi Perceptron chỉ có khả năng phân lớp được trên tập
mẫu khả tách tuyến tính (các mẫu nằm trên hai mặt đối diện nhau của một siêu
phẳng) [19].

1.3.2 Kiến trúc mạng nhiều lớp truyền thẳng (MLP)
Hình 1.4 thể hiện mô hình mạng ba lớp với hai lớp ẩn. Các liên kết trong mạng là
liên kết đầy đủ tức là một nơron trong một lớp bất kỳ của mạng được liên kết với tât
cả các nơron ở lớp liền trước của nó. Trong đó, các tín hiệu lan truyền trên mạng
gồm hai loại:
■ Các tín hiệu đầu ra của mỗi nơron, các tín hiệu này thường được truyền
thẳng (theo từng nơron) trong mạng.
* Sai số trên các lớp của mạng. Mỗi tín hiệu sai số thường xuất phát ở một
nơron đầu ra của mạng, và được lan truyền ngược (theo từng lớp) ở trên
mạng- >ỹ'-
Ịtrungũm Tiiár. ■ ^ ri-îifv-:”nị
ri- V - L O / m
TỔNG QUAN VÈ NHẬN DẠNG CHỮ DựA TRÊN MÔ HỈNH MẠNG Nơ RON
Nỉiuvễn Thị Thanh Tàn
Trang -18-
Luận văn thạc sĩ
Pk-
V
-—►í

Vc

4 \ > , . 7 V \
M Ỉ Ẵ
rẨ V
7 V
r r
V 4 . X y Y '
Ị
/ <

%
Lớp đầu
vào
Lớp ân Lớp ân
thử nhất thứ hai
Lóp đầu
ra
Hình 1.4: Câu trúc mạng Perceptron ba lóp
Mỗi nơron ẩn hoặc nơron đầu ra của mạng Perceptron được thiết kế để thực hiện hai
công đoạn tính toán cơ bản:
■ Tính giá trị đầu ra của mồi nơron. Việc tính đầu ra của mỗi nơron được thực
hiện bởi một hàm liên tục phi tuyến tính của các tín hiệu vào với các trọng số
liên kết tương ứng của chúng. Với mạng Perceptron nhiều lớp thì đầu ra của
một lớp sẽ được lấy làm đầu vào của lớp liền sau nó.
■ Tính sai số trên các lớp mạng. Các sai sô này sẽ được lan truyền ngược từ
lớp cuối cùng đến lớp đâu tiên của mạng.
1.3.3 Quá trình huấn luyện mạng MLP
Như đã đề cập ở phần trên, để huấn luyện mạng Perceptron nhiều lớp người ta sử
dụng thuật toán lan truyền ngược sai số. Đây là một thuật học rất phổ biến trong các
phương pháp học có thầy (supervised learning) [19], [22]. Tiêu chuẩn đánh giá của
thuật toán này là sai số bình phương trun2 bình (mean square eưor).
Việc huấn luyện mạng MLP bởi thuật toán lan truyền ngược sai số bao gồm hai quá
trình: Quá trình truyền thẳng và quá trình truyền ngược. Trong quá trình truyền
thẳng, các vector đầu vào sẽ được cung cấp cho các nơron của mạng và tín hiệu sẽ
được lan truyền lần lượt trên từng lớp mạng. Cuối cùng ta sẽ tính được một tập các
đâu ra thực sự của mạng. Trong suốt quá trình truyền thẳng, tất cả các trọng số liên
TỐNG QUAN VỀ NHẶN DẠNG CHỮ DỤ A TRÊN MÔ HÌNH MẠNG NƠRON
Nííuvễn Thị Thanh Tân
Trane -19- Luặn vfln thạc sĩ
kết của mạng đều cố định. Nsược lại, trons quá trình truyền ngược, tất cả các trọng

số liên kết đó sẽ dược hiệu chỉnh theo các luật hiệu chỉnh trọng số. Sai số của mạng
sẽ dược đo bằng độ sai lệch giữa dầu ra thu được với các giá trị mục tiêu tương ứng.
Các sai số này sau đó sẽ được lan truyền ngược lần lượt trên các lớp mạng (từ lóp
cuối cùng đến lớp đầu tiên). Các trọng số liên kết sẽ được hiệu chỉnh sao cho các
đầu ra thực sự của mạng càng gân với các RÍá trị mục tiêu càng tôt.
Forw ard p ro p a g a tio n
phase
x0 Hj! w 1, b 1, n 1, -1
- I
H,: w 2, b \ rr
V2
y
f
O : w -\ b \ n 3
A . „3
• v l
f3 01
I
r Z
4
p f* I °>.
I
lỊ
f <
0
f3 q ,
B ack- p r o p a g a tio n
phase
T ▼ ▼
f ' 1

I
f ▼
f '2
T
7 '
i
Ạ
T
X- y '—
( /
►
T
X •
I
(
_____
4
_
0— 4
▼ T ▼
f3
T
r í
Y
>!
. Ị
Ỵ
\ . ' \
— ,
►

/ '\
' ‘ Ằ
- J V
- —•
~?2
T T T
▼ ▼
T T T
r > f
Hình 1.5: Mô hình mạng MLP vói thuật toán huân luyện lan truyên ngược sai sô
TỔNG QUAN VÈ NHẶN DẠNG CHỮ DỰA TRÊN MÔ HÌNH MẠNG NƠRON
Níiuyen Thị Tlunh Tân Trang - 20 -
Luận văn thạc sĩ
Quá trình huấn luyện một mạng nơron ba lớp với thuật toán lan truyền ngược sai số
được mô tả một cách chi tiết trên Hình 1.5 . Phần phía trên của mô hình thể hiện
quá trình lan truyền thẳns các giá trị đầu ra của các lớp, còn phần phía dưới thể
hiện quá trình lan truyền ngược sai số từ lớp cuối cùng về lớp đầu tiên của mạng.
Đây là mô hình mạng thực tế có thể sử dụna; trong các chương trình nhận dạng.
Những kí hiệu sử dụng trên mô hình được qui định như sau:
■ ///, H2, O: Lần lượt là kí hiệu của lớp ẩn thứ nhất, lớp ẩn thứ hai và lóp đầu
ra.
■ p, q: Lần lượt là số đầu vảo và số đầu ra của mạng.
■ L: Là số lớp của mạne (ở đây L = 3).
" (x/, Xị, Xp): Là p đầu vào của mạng.
■ (o/, 02, ,oq)\ Là ợ đầu ra của mạng.
■ (Ji, t2, tq): Là q giá trị mục tiêu tương ứng của vector đầu vào.
• w‘: Là ma trận trọng số liên kết trên lớp thứ i (i = 1->L).
■ b': Là độ lệch (ngưỡng phân lóp) của các nơron trên lớp thứ i (i = 1—»L).
■ d \ Là hệ sô học trên lớp thứ i của mạng.
■ v' : Là tổng giá trị kích hoạt lên nơron thứ j của lớp i

■ ỳ : Là đầu ra của các nơron trên lớp thứ i (i = 1—»L), với i = L thì y' = 0 , với
G=i->q)-
■ ỗ1: Là vector gradient của nơron ở lớp thứ i (i = 1-»L).
■ e: Là vector sai số của mạng được thể hiện bởi các phần tử ei, e2, e q.
Các mâu huân luyện thường được cung cấp cho thuật toán dưới dạng cặp vector:
{(x = Xp), (t = t], ,tq)}, trong đó X là vector đặc trư n g p chiều của mẫu cần
TÓNG QUAN VÈ NHẬN DẠNG CHỪ DựA TRÊN MÔ HÌNH MẠNG NƠRON
nhận dạns. các phần tử .V /

xp thườns có siá trị e [-1.1] hoặc e Ị0.11 và / là siá
trị mục tiêu tương ứng của mẫu dó.
Với mỗi mẫu đầu vào, thuật toán sẽ tiến hành hiệu chình các tham số mạng để cực
tiểu hoá sai số bình phươns trung bình:
F(x) = E(e2) = E(t-o)2
Nguvễn Thị Thanh Tàn Trang - 21 - Luận văn thạc sĩ
W'
b'
trong đó X là vector tạo bởi các trọng số liên kết và độ lệch của mạng (x
Nếu mạng có nhiều đầu ra thì :
F(x) = E(e2) = E[(t-o)r -ụ-o)]
Ta sẽ xấp xỉ sai số bình phương trung bình bởi:
F(x) = ([l(k) - o(k)]1 o(k)]) = e' (k) ■ e(k), trong đó giá trị hiện thời của sai
số bình phương trung bình sẽ được thay thế bằng sai số bình phương trung bình ở
lần lặp thứ k.
Thuật toán xuống dổc nhanh nhất để xấp xỉ sai số bình phương là:
õ F
WÈm. (k + 1) = W"\ (k) - a m (1.1)
d F
b:\k+\)=b:'(k)-a"’ ^ (1.2)
õb,

Đối với mạng nhiều lớp, sai số là hàm gián tiếp của các trọng sổ trong các lớp ẩn.
Do vậy để tính được các đạo hàm chúng ta phải sử dụng cách tính đạo hàm thành
phần như sau: giả sử chúng ta có một hàm f là hàm trực tiếp duy nhất của biến a.
Chúng ta muốn tính đạo hàm của/ theo biến thứ ba w. Khi đó ta tính:
# 0 0 ) ) = df(a) da(w)
dw da dw
Ap dụng điều này để tính các đạo hàm trong các công thức (1.1) và (1.2), ta được:
TÓNG QUAN VỀ NHẬN DẠNG CHŨ' DỤ A TRÊN MÔ HÌNH MẠNG NƠRON
Niỉuyễn Thị Thanh Tân
Trang - 22 -
Luận văn thạc sĩ
ề r = Ể - ê r (1.4)
"\ m m r\, ti) ' '
õw”j ỡv, ỡvt',;y
(1.5)
db"; d v 56,”
Ta dễ dànu tính được vế thứ hai của các biểu thức trên do mạng đưa vào lớp thứ m
là hàm trực tiếp của các trọnơ sổ và độ lệch tron» lớp đó.
n'" 1
m V ' w „ . /M-1 . L /■
v- = 2 . 0 " +ố'
7 = 1
Bây giờ thuật toán xuống dốc nhanh nhất trở thành:
< ;( * + l) = <,(* )-« < ? ; O'”"1)7'
ồ;,(Ấ: + l) = ồ,m(Ả:)-a<5;'
Viết ở dạng ma trận ta được:
w“ (Ẳ + l) = (£)-«"'< r(/'-')r
b " \k + \) = bm(k)-amôm
( 1.6)
Và y- = / ' > ” ) (1.7)

Do vậy:
o ni III
*■ ^ - 1 (1.8)
aw" y 56,
'.V *
Với ổ"' được định bởi:
A
s r = — (1.9)
cu-;”
Khi đó ta có:
A A
Õ F = S " ’ y n'-\ ^ z = S m (1.10)
/ s I 7 T m / x
( 1.12)
TÓNG QUAN VÊ NHẬN DẠNG CHỮ DựA TRÊN MÔ HÌNH MẠNG NƠRON
Nguyễn Thị Thanh Tân
Trang - 23 -
Luận văn thạc sĩ
V ớ i
ồ'" =
A
ÕF
ổv*
ô F
d v ”
ÕF
dv'"
(1.13)
ÕF
ôv'"„,

Đe tính ổ 1" ta sử dụng cách tính dạo hàm thành phần ở trên:
Ổ’" =
ÔF (õv

Y ÕF
õ v "
dv"1 õv
M+\
(1.14)
C'y""1 , ' , ,
Trong đó, giá trị của ——— được viêt dưới dạng ma trận Jacobin như sau:
d v n
d v
ô v n
ỡvt"'+l ổv"'+l õ v
/» +1
õv
ổv"
/H + l
I
m+1
ỡv;
d v '"+'
ổv'
dv
m +1
õ v ? ' d v "
õ v '
. m +1 ^ . n ì + [
ỡv w + | ơV , „ v

m + 1
ỡv”+‘.
â v !" õ v
nì +1
Ởv"
(1.15)
Xét thành phần thứ (i,j) của ma trận, ta có:
nm
/» +1 m . 1)
w ,. l >/
/=1
ỡv;
ổv"
= <;■ —— = w,m+l
a , ,® i j
dv"
ổ /m( 0 , .
_
__
i - i — = w m+l f " ' ( v n' )
Õvm ‘J J
Ỡ / K )
(1.16)
(1.17)
TỐNG QUAN VÈ NHẬN DẠNG CHỮ DựA TRÊN MỒ HÌNH MẠNG NƠRON
Niiuvễn Thị Thanh Tân Trang - 24 -
Luận văn thạc sĩ
Do vậy ta viêt dược ma trộn Jacobian dưới dạm
rn+1
Đv

dv"
/M +l r- 1'/;/ / m \
= w t (v )
(1.18)
Với: F (vm ) =
/"'(ví") 0.
0 / > * ) ■
0 0.
(1.19)
Với hàm kích hoạt / " ’ là hàm Log-Sigmoid, ta sẽ có: f'"(v"') =
Khi đó: (vr; ) = = (1

!

)(_

1

(1 + exp(v'” ))2 1 + exp(v("' ) 1 + exp(v;' )
Vậy:
1
( 1.20)
1 + exp(-v,"' )
) = ( ! - / > ; (1.21)
ổ'" =
ÕF fỡv",+1Y ÔF
dv"
V ỡv'" y
A
rl F

- = F (vm )(wm+l Ÿ = F'"1 (vm )(w'"+[)TSn
Qv'" d v
(1.22)
Với nhiều lớp lan truyền ngược lỗi, các lỗi sẽ được lan truyền ngược trên mạng từ
lớp cuối cùng đến lớp đầu tiên. Với mạng có L lớp thì các lỗi sẽ được lan truyền
theo chiều mũi tên như sau: <5' —» ÔL~X s 2-> s '. (1-23)
Từ công thức (18) và (19), ta thấy để tính được ổ' (/ = 1—»L-1), ta phải tính được
ỏ'*]. Như vậy, trước hết chúng ta phải tính được sai số ở lớp cuối cùng ( ổ1' ).
XTu t ♦ A ~ ' si _ d F õ { t - o ) ‘ (t- o )
Như trên ta đã có: ổ = —— = —

—
-
=
õv
i=1
ỡv.
Do g l . M .
õ v 1; d v ; Õ VL 1
ôv‘;
Nên ta có thể viết ốL=-2(t - o ) f 'L(vL)
= - 2 ( / , - 0, ) ^ - (1.24)
Õv,
(1.25)
(1.26)
TỎNG QUAN VỀ NHẶN DẠNG CHỮ DựA TRÊN MÔ HÌNH MẠNG Nơ RON