nghiên cứu mạng nơron và ứng dụng mạng nơron trong nhận dạng chữ viết tay tiếng việt

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
---------------------------------------

Hoàng Thị Hồng Hà

NGHIÊN CỨU MẠNG NƠRON VÀ ỨNG DỤNG MẠNG NƠRON
TRONG NHẬN DẠNG CHỮ VIẾT TAY TIẾNG VIỆT

Chuyên ngành: Điện tử Viễn thông

LUẬN VĂN THẠC SĨ KHOA HỌC
ĐIỆN TỬ VIỄN THÔNG

NGƯỜI HƯỚNG DẪN KHOA HỌC :
TS. PHẠM NGỌC NAM

Hà Nội – 2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

LI CAM OAN

Tụi xin cam oan rng ton b ni dung trong lun vn ca tụi di õy
khụng c sao chộp y nguyờn t mt bi lun vn ca mt tỏc gi khỏc.
Tụi cng xin cam oan rng mi s tham kho, trớch dn trong bi lun vn
ca tụi u ó c ghi rừ ngun trong mc ti liu tham kho ca lun vn.
Nu hi ng phỏt hin cú nhng im khụng ỳng vi nhng gỡ tụi ó cam
oan trờn thỡ tụi xin chu hon ton trỏch nhim.

H Ni, 10 thỏng 10 nm 2010

Hoàng Thị Hồng Hà

Học viên: Hoàng Thị Hồng Hà

-I-

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

MC LC

LI CAM OAN
DANH MC CC BNG
DANH MC CC HèNH V
M U.................................................................................................................. 1
CHNG 1 - TNG QUAN V MNG NRON NHN TO......................... 4
1.1 Lch s phỏt trin mng nron .................................................................. 4
1.2 So sỏnh mng nron vi mỏy tớnh truyn thng ......................................... 7
1.3 Khỏi nim mng nron ............................................................................. 8
1.3.1 Nron sinh hc................................................................................. 8
1.3.2 Nron nhõn to ................................................................................... 13
1.3.3

Mng nron nhõn to ......................................................................... 17

1.4 c trng ca mng nron..................................................................... 18

1.4.1 Tớnh phi tuyn..................................................................................... 18
1.4.2 Tớnh cht tng ng u vo u ra ................................................... 18
1.4.3 Tớnh cht thớch nghi ............................................................................ 19
1.4.4 Tớnh cht a ra li gii cú bng chng ............................................. 19
1.4.5 Tớnh cht chp nhn sai sút................................................................. 19
1.4.6 Kh nng ci t VLSI (Very-large-scale-intergrated) ....................... 19
1.4.7 Tớnh cht ng dng trong phõn tớch v thit k ................................ 20
1.5 Phõn loi mng nron nhõn to .............................................................. 20
1.5.1 Phõn loi theo kiu liờn kt nron ...................................................... 20
1.5.2 Mt s loi mng nron...................................................................... 21
1.5.2.1 Mng dn tin............................................................................. 21

Học viên: Hoàng Thị Hồng Hà

- II -

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

1.5.2.2 Mng quy hi (recurrent network) ............................................. 24
1.6 Xõy dng mng nron ........................................................................... 25
1.7 Hun luyn mng nron......................................................................... 26
1.7.1 Phng phỏp hc ................................................................................. 26
1.7.1.1 Hc cú giỏm sỏt .......................................................................... 27
1.7.1.2 Hc khụng giỏm sỏt.................................................................... 27
1.7.1.3 Hc tng cng .......................................................................... 27
1.7.2 Hc cú giỏm sỏt trong mng nron..................................................... 28
1.7.2.1 Thut toỏn hc ca mng nron mt lp ................................... 29

1.7.2.2 Thut toỏn hc ca mng nron nhiu lp................................. 30
1.8 Mt s vn ca mng nron............................................................... 36
1.9 ng dng ca mng nron..................................................................... 37
1.10 Kt lun .............................................................................................. 37
CHNG 2 - MNG NRON KOHONEN........................................................ 39
2.1 Gii thiu v mng nron Kohonen......................................................... 39
2.2 Cu trỳc ca mng nron Kohonen ......................................................... 40
2.3 Thc hin mng nron Kohonen ............................................................ 41
2.3.1 Chun húa u vo.............................................................................. 41
2.3.2 Tớnh toỏn u ra cho mi nron.......................................................... 41
2.3.3 Chn nron chin thng...................................................................... 42
2.3.4 Quỏ trỡnh hc ca mng nron Kohonen............................................ 42
2.3.4.1 Tc hc.................................................................................. 44
2.3.4.2 Hiu chnh trng s .................................................................... 44
2.3.5 Kt lun............................................................................................... 46

Học viên: Hoàng Thị Hồng Hà

- III -

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

CHNG 3 - NG DNG MNG NRON KOHONEN TRONG BI TON
NHN DNG CH VIT TAY TING VIT ................................................... 47
3.1 Gii thiu s lc v nhn dng............................................................. 47
3.2 Gii thiu v nhn dng ch vit tay ting Vit....................................... 49
3.3 Phng phỏp nhn dng ch vit tay bng mng nron ........................... 53

3.4 Phỏt biu bi toỏn .................................................................................. 54
3.5 Cỏc bc gii quyt bi toỏn s dng mng nron nhn dng ký t: ........ 55
3.5.1 Xõy dng giao din v ........................................................................ 55
3.5.2 Xõy dng mng nron Kohonen......................................................... 56
3.5.3 X lý d liu (phõn tớch nh).............................................................. 56
3.5.4 Hun luyn mng nron Kohonen...................................................... 57
3.5.5 Nhn dng mng nron Kohonen ....................................................... 59
3.5.6 Kt lun................................................................................................ 59
CHNG 4 - Mễ PHNG NHN DNG Kí T VIT TAY TING VIT
RI RC TRC TUYN BNG MNG NRON KOHONEN ...................... 60
4.1 Gii thiu.............................................................................................. 60
4.2 Thc hin chng trỡnh nhn dng ký t .................................................... 61
4.2.1 Xỏc nh cỏc tham s cho mng ......................................................... 62
4.2.2 V hỡnh nh......................................................................................... 62
4.2.3 Ly mu xung hỡnh nh .................................................................... 63
4.2.3.1 Lu hỡnh nh c ly mu xung ............................................ 63
4.2.3.2 Kớch thc v v trớ ..................................................................... 64
4.2.3.3 Thc hin ly mu xung........................................................... 64
4.2.4 Cỏc tp hun luyn.............................................................................. 65
4.2.5 Lp mng c bn ................................................................................ 65

Học viên: Hoàng Thị Hồng Hà

- IV -

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

4.2.6 Lp mng nron Kohonen.................................................................. 66
4.2.6.1 Tớnh toỏn u ra ca mng Kohonen ......................................... 67
4.2.6.2 Hun luyn mng nron Kohonen ............................................. 68
4.3 Chng trỡnh mụ phng......................................................................... 70
4.3.1 Cỏc chc nng ca chng trỡnh ........................................................ 70
4.3.2 Kt qu nhn dng .............................................................................. 71
4.3.3 Kt lun............................................................................................... 74
CHNG 5 - KT LUN .................................................................................... 76
5.1 Cỏc kt qu ó t c......................................................................... 76
5.1.1 V mt lý thuyt.................................................................................. 76
5.1.2 V mt thc tin................................................................................... 77
5.2 Hng phỏt trin tip theo ..................................................................... 77
5.3 Mt vi suy ngh sau khi nghiờn cu ....................................................... 77
TI LIU THAM KHO...................................................................................... 79
PH LC................................................................................................................. 1

Học viên: Hoàng Thị Hồng Hà

-V-

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

DANH MC CC BNG
Bng 1.1 So sỏnh kh nng lm vic ca b nóo v mỏy tớnh .............................. 10
Bng 1.2 Mt s hm kớch hot c bn trong mng nron.................................. 16

DANH MC CC HèNH

Hỡnh 1.1 Mng nron sinh hc................................................................................. 8
Hỡnh 1.2 S nron sinh hc.............................................................................. 12
Hỡnh 1.3 Mụ hỡnh mt nron nhõn to.................................................................. 13
Hỡnh 1.4 S tng ng gia nron sinh hc v nron nhõn to...................... 13
Hỡnh 1.5 Mụ hỡnh phi tuyn th hai ca mt mng nron................................... 16
Hỡnh 1.6 S n gin v mt mng nron nhõn to ........................................ 17
Hỡnh 1.7 Mng truyn thng ................................................................................. 21
Hỡnh 1.8 Mng phn hi........................................................................................ 21
Hỡnh 1.9 Mng tin vi mt mc nron .............................................................. 22
Hỡnh 1.10 Mng tin kt ni y vi mt mc n v mt mc u ra ........... 24
Hỡnh 1.11 Mng hi quy khụng cú nron n v khụng cú vũng lp t phn hi . 24
Hỡnh 1.12 Mng hi quy cú cỏc nron n ............................................................ 25
Hỡnh 1.13 S th cú hng n gin .......................................................... 25
Hỡnh 1.14 Bi toỏn XOR...................................................................................... 30
Hỡnh 2.1 Cu trỳc ca mng Kohonen .................................................................. 40
Hỡnh 2.2 Quỏ trỡnh hun luyn mng nron Kohonen.......................................... 43
Hỡnh 3.1 Mụ hỡnh chung trong nhn dng ký t vit............................................ 53
Hỡnh 3.2 Quỏ trỡnh tỡm gii hn ký t................................................................... 55

Học viên: Hoàng Thị Hồng Hà

- VI -

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

Hỡnh 3.3 Quỏ trỡnh ly mu xung........................................................................ 56
Hỡnh 3.4 Quỏ trỡnh ỏnh x t ma trn im sang ma trn giỏ tr........................... 57

Hỡnh 3.5 Quỏ trỡnh hun luyn mng.................................................................... 58
Hỡnh 4.1 Giao din chng trỡnh mụ phng ......................................................... 70
Hỡnh 4.2 Nhn dng ký t ................................................................................. 72
Hỡnh 4.3 Nhn dng ký t ................................................................................. 72
Hỡnh 4.4 Nhn dng ký t ................................................................................. 73
Hỡnh 4.5 Nhn dng ký t ................................................................................. 73
Hỡnh 4.6 Nhn dng ký t ................................................................................. 74

Học viên: Hoàng Thị Hồng Hà

- VII -

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

M U
Mng nron nhõn to ANN (Artificial Neural Networks) l mt mụ phng x
lý thụng tin, c nghiờn cu ra t h thng thn kinh ca sinh vt, ging nh b
nóo x lý thụng tin. Nú bao gm s lng ln cỏc mi gn kt cp cao x lý
cỏc yu t lm vic trong mi liờn h gii quyt vn rừ rng. ANN ging nh con
ngi, c hc bi kinh nghim, lu nhng kinh nghim hiu bit v s dng
trong nhng tỡnh hung phự hp v quan trng hn ht, con ngi cú kh nng sỏng
to.
u tiờn ANN c gii thiu nm 1943 bi nh thn kinh hc Warren
McCulloch v nh logic hc Walter Pits. Nhng vi nhng k thut trong thi gian
ny cha cho phộp h nghiờn cu c nhiu. Nhng nm gn õy mụ phng ANN
xut hin v phỏt trin. Cỏc nghiờn cu ng dng ó c thc hin trong cỏc
ngnh: in, in t, k thut ch to, y hc, quõn s, kinh t... Mt trong nhng

ng dng kinh in ca mng nron l bi toỏn nhn dng mu, ú mi mt mu
l mt tp hp (hay mt vector) cỏc tham s biu th cỏc thuc tớnh ca quỏ trỡnh vt
lý no ú. Ngoi sc mnh vn cú, mng nron cũn th hin u im ca mỡnh
trong vic nhn dng thụng qua kh nng mm do, d thớch nghi vi mụi trng.
Chớnh vỡ vy, cú th coi mng nron trc tiờn l mt cụng c nhn dng.
Cỏc bi toỏn nhn dng c nghiờn cu nhiu nht hin nay bao gm nhn
dng cỏc mu hỡnh hc (võn tay, mt ngi, hỡnh khi,), nhn dng ting núi v
nhn dng ký t vit. Nhn dng ký t vit bao gm hai kiu chớnh l nhn dng ký
t in v nhn dng ký t vit tay. Cho n nay bi toỏn nhn dng ký t in ó c
gii quyt khỏ trn vn vi s ra i ca nhiu h thng nhn dng t ti chớnh
xỏc gn nh tuyt i. Nhn dng ký t vit tay ang l vn thỏch thc ln i
vi cỏc nh nghiờn cu, bi ton ny cha th gii quyt trn vn c vỡ nú ph
thuc quỏ nhiu vo ngi vit v s bin i quỏ a dng trong cỏch vit v trng
thỏi tinh thn ca tng ngi vit. c bit i vi vic nhn dng ký t vit tay

Học viên: Hoàng Thị Hồng Hà

-1-

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

ting Vit li cng gp nhiu khú khn hn do b ký t ting Vit cú nhiu ký t cú
hỡnh dỏng rt ging nhau, ch khỏc nhau chỳt ớt v phn du.
Chớnh vỡ cỏc lý do nờu trờn cựng vi s gi ý ca thy giỏo tụi nhn thy
nghiờn cu v mng nron l mt hng nghiờn cu quan trng, mi m v cú
nhiu trin vng. ng thi ỏp dng mng nron gii quyt bi toỏn nhn dng
ch vit tay ting Vit l mt hng tip cn khoa hc cú hiu qu, gúp phn gii

quyt bi toỏn nhn dng ch vit tay ting Vit hin cũn cha c gii quyt trn
vn. Do ú tụi chn ti: Nghiờn cu mng nron v ng dng mng nron
trong nhn dng ch vit tay ting Vit.
Tuy nhiờn do hn ch v mt thi gian cng nh phc tp ca bi toỏn.
Trong lun vn ny tụi ch i sõu nghiờn cu v mụ phng nhn dng ký t vit tay
ting Vit ri rc trc tuyn.
Ni dung lun vn gm:
Chng 1: Tng quan v mng nron nhõn to.
Trỡnh by nhng lý thuyt c bn v mụ hỡnh mng nron nh: lch s ra i
v phỏt trin ca mng nron, khỏi nim mng nron, cỏc loi mụ hỡnh mng nron,
cỏc c trng ca mng, cỏc phng phỏp hun luyn mng nron, phng phỏp
hc cú giỏm sỏt. Cỏc vn v ng dng ca mng nron.
Chng 2: Mng nron Kohonen
Trỡnh by lý thuyt c bn v mang nron Kohonen nh: gii thiu v mng,
cu trỳc mng, cỏc bc thc hin trong mng: chun húa u vo, tớnh toỏn u ra,
tỡm nron chin thng, quỏ trỡnh hun luyn mng.
Chng 3: ng dng mng nron Kohonen trong bi toỏn nhn dng ch
vit tay ting Vit.
Gii thiu v cỏc bi toỏn nhn dng, nhn dng ch vit tay ting Vit.
Phng phỏp nhn dng ch vit tay bng mng nron, phỏt biu bi toỏn, cỏc bc
gii quyt bi toỏn s dng mng nron Kohonen nhn dng ký t vit tay ri rc:

Học viên: Hoàng Thị Hồng Hà

-2-

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

xõy dng giao din v, xõy dng mng, x lý d liu u vo, hun luyn mng,
nhn dng mng.
Chng 4: Mụ phng nhn dng ký t vit tay ting Vit ri rc trc tuyn
bng mng nron Kohonen
Trỡnh by phm vi chng trỡnh mụ phng, cỏc bc thc hin chng trỡnh
mụ phng: Thc hin chng trỡnh nhn dng ký t, xỏc nh cỏc tham s cho
mng, v hỡnh nh, ly mu xung hỡnh nh, cỏc tp hun luyn, lp mng c bn,
lp mng nron Kohonen. Chng trỡnh mụ phng: Cỏc chc nng ca chng
trỡnh, kt qu nhn dng, kt lun.
Chng 5: Kt lun
Trỡnh by cỏc kt qu ó t c, hng phỏt trin tip theo v mt s suy
ngh khi nghiờn cu.
hon thnh tt ti ny tụi nhn c s giỳp v gúp ý ca cỏc thy cụ
giỏo v cỏc bn ng nghip. u tiờn, tụi xin t lũng bit n sõu sc n thy giỏo
TS. Phm Ngc Nam, ngi ó tn tỡnh hng dn, giỳp tụi trong sut quỏ trỡnh
lm lun vn. Thy l ngi ó truyn t nhiu kinh nghim tụi cú th thc hin
v hon thnh ti ny.
Tụi xin chõn thnh cm n Vin o to sau i hc, cm n cỏc thy cụ giỏo
khoa in t Vin thụng, Trng i hc Bỏch Khoa H Ni ó tn tỡnh dy d,
truyn t cho tụi nhiu kin thc quý bỏu trong nhng nm hc va qua.

Học viên: Hoàng Thị Hồng Hà

-3-

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

CHNG 1
TNG QUAN V MNG NRON NHN TO

Chng ny giỳp cho chỳng ta cú nhng kin thc v cỏi nhỡn tng quan v
mt mng nron. Bt u t vic tỡm hiu lch s ra i v phỏt trin ca mng
nron thy c hng nghiờn cu khoa hc v mng nron nhõn to rt mi m
v y trin vng. Cỏc kin thc c bn v mng nron tụi xin trỡnh by cỏc ni
dung chớnh nh sau: So sỏnh mng nron vi mỏy tớnh truyn thng. Khỏi nim
mng nron: mng nron sinh hc, mng nron nhõn to. Cỏc c trng ca mng
nron, phõn loi mng nron, cỏc phng phỏp hun luyn mng nron, phng
phỏp hc cú giỏm sỏt. Cỏc vn v ng dng ca mng nron trong thc t.
1.1 Lch s phỏt trin mng nron [3]
Cỏc nghiờn cu v b nóo con ngi ó c tin hnh t hng nghỡn nm
nay. Cựng vi s phỏt trin ca khoa hc k thut c bit l nhng tin b trong
ngnh in t hin i, vic con ngi bt u nghiờn cu cỏc nron nhõn to l
hon ton t nhiờn. Cú th tớnh t nghiờn cu ca William (1890) v tõm lý hc vi
s liờn kt cỏc noron thn kinh. S kin u tiờn ỏnh du s ra i ca mng nron
nhõn to din ra vo nm 1943 khi nh thn kinh hc Warren McCulloch v nh
toỏn hc Walter Pitts vit bi bỏo mụ t cỏch thc cỏc nron hot ng. H cng ó
tin hnh xõy dng mt mng nron n gin bng cỏc mch in. Cỏc nron ca
h c xem nh l cỏc thit b nh phõn vi ngng c nh. Kt qu ca cỏc mụ
hỡnh ny l cỏc hm logic n gin chng hn nh a OR b hay a AND b [6]
Tip bc cỏc nghiờn cu ny, nm 1949 Donald Hebb cho xut bn cun
sỏch Organization of Behavior. Cun sỏch ó ch ra rng cỏc nron nhõn to s tr
lờn hiu qu hn sau mi ln chỳng c s dng.
Nhng tin b ca mỏy tớnh u nhng nm 1950 giỳp cho vic mụ hỡnh húa
cỏc nguyờn lý ca nhng lý thuyt liờn quan ti cỏch thc con ngi suy ngh ó tr
thnh hin thc. Nathanial Rochester sau nhiu nm lm vic ti cỏc phũng thớ

Học viên: Hoàng Thị Hồng Hà

-4-

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

nghim nghiờn cu ca IBM ó cú nhng n lc u tiờn mụ phng mt mng
nron. Trong thi kỡ ny tớnh toỏn truyn thng ó t c nhng thnh cụng rc
r trong khi ú nhng nghiờn cu v nron cũn giai on s khai. Mc dự vy
nhng ngi ng h trit lý thinking machines (cỏc mỏy bit suy ngh) vn tip
tc bo v cho lp trng ca mỡnh.
Nm 1956 d ỏn Dartmouth nghiờn cu v trớ tu nhõn to (Artificial
Intelligence) ó m ra thi k phỏt trin mi c trong lnh vc trớ tu nhõn to ln
mng nron. Tỏc ng tớch cc ca nú l thỳc y hn na s quan tõm ca cỏc nh
khoa hc v trớ tu nhõn to v quỏ trỡnh x lý mc n gin ca mng nron
trong b nóo con ngi.
Nhng nm tip theo ca d ỏn Dartmouth, John von Neumann ó xut
vic mụ phng cỏc nron n gin bng cỏch s dng rle in ỏp hoc ốn chõn
khụng. Nh sinh hc chuyờn nghiờn cu v nron Frank Rosenblatt cng bt u
nghiờn cu v Perceptron nm 1958. Sau thi gian nghiờn cu ny Perceptron ó
c ci t trong phn cng mỏy tớnh v c xem nh l mng nron lõu i nht
cũn c s dng n ngy nay. Perceptron mt tng rt hu ớch trong vic phõn
loi mt tp cỏc u vo cú giỏ tr liờn tc vo mt trong hai lp. Perceptron tớnh
tng cú trng s cỏc u vo, ri tr tng ny cho mt ngng v cho ra mt trong
hai giỏ tr mong mun cú th. Tuy nhiờn Perceptron cũn rt nhiu hn ch, nhng
hn ch ny ó c ch ra trong cun sỏch v Perceptron ca Marvin Minsky v
Seymour Papert ca MIT (Massachurehs Insritute of Technology) vit nm 1969 ó

chng minh nú khụng dựng c cho cỏc hm logic phc.
Nm 1959, Bernard Widrow v Marcian Hoff thuc trng i hc Stanford
ó xõy dng mụ hỡnh ADALINE ( ADAptive LINear Elements) v MADALINE.
(Multiple ADAptive LINear Elements). Cỏc mụ hỡnh ny s dng quy tc hc
Least-Mean-Squares ( LMS : Ti thiu bỡnh phng trung bỡnh). MADALINE l
mng nron u tiờn c ỏp dng gii quyt mt bi toỏn thc t. Nú l mt b
lc thớch ng cú kh nng loi b tớn hiu di li trờn ng dõy in thoi. Ngy
nay mng nron ny vn c s dng trong cỏc ng dng thng mi.

Học viên: Hoàng Thị Hồng Hà

-5-

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

Nm 1973 Von der Marlsburg: a ra quỏ trỡnh hc cnh tranh v self
organization. Nm 1974 Paul Werbos ó phỏt trin v ng dng phng phỏp hc
lan truyn ngc ( back-propagation). Tuy nhiờn phi mt mt vi nm thỡ phng
phỏp ny mi tr lờn ph bin. Cỏc mng lan truyn ngc c bit n nhiu nht
v c ỏp dng rng dói nht nht cho n ngy nay.
S rng ó n lỳc mỏy múc cú th lm mi vic ca con ngi. Nhng lo
lng ny khin ngi ta bt u phn i cỏc nghiờn cu v mng neuron. Thi kỡ
tm lng ny kộo di n nm 1981. Cú th tớnh vo khong u thp niờn 80.
Nhng úng gúp ln cho mng noron trong giai on ny phi k n Grossberg,
Kohonen, Rumelhart v Hopfield. Kohonen l mng SOM (Self Organizing Map),
Grossberg l mng ART ( Adaptive Resonance Theory). Trong ú úng gúp ln ca
Hopfield gm hai mng phn hi: Mng ri rc nm 1982 v mng liờn tc nm

1984. c bit, ụng ó d kin nhiu kh nng tớnh toỏn ln ca mng m mt
nron khụng cú kh nng ú. Nm 1982 trong bi bỏo gi ti vin khoa hc quc
gia, John Hopfield bng s phõn tớch toỏn hc rừ rng, mch lc, ụng ó ch ra cỏch
thc cỏc mng nron lm vic v nhng cụng vic chỳng cú th thc hin c.
Cng hin ca Hopfield khụng ch giỏ tr ca nhng nghiờn cu khoa hc m cũn
s thỳc y tr li cỏc nghiờn cu v mng neuron. Cm nhn ca Hopfield ó
c Rumelhart, Hinton v Williams xut thut toỏn sai s truyn ngc ni
ting hun luyn mng noron nhiu lp nhm gii bi toỏn m mng khỏc khụng
thc hin c. Nhiu ng dng mnh m ca mng noron ra i cựng vi cỏc
mng theo kiu mỏy Boltzmann v mng Neocognition ca Fukushima.
Cng trong thi gian ny, mt hi ngh vi s tham gia ca Hoa K v Nht
Bn bn v vic hp tỏc/cnh tranh trong lnh vc mng nron ó c t chc ti
Kyoto, Nht Bn. Sau hi ngh, Nht Bn ó cụng b nhng n lc ca h trong
vic to ra mỏy tớnh th h th 5. Tip nhn iu ú, cỏc tp chớ nh k ca Hoa K
by t s lo lng rng nc nh cú th b tt hu trong lnh vc ny. Vỡ th, ngay
sau ú, Hoa K nhanh chúng huy ng qu ti tr cho cỏc nghiờn cu v ng dng
mng neuron.

Học viên: Hoàng Thị Hồng Hà

-6-

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

Nm 1985, vin vt lý Hoa K bt u t chc cỏc cuc hp hng nm v
mng neuron ng dng trong tin hc (Nron Networks for Computing).
Nm 1987, hi tho quc t u tiờn v mng neuron ca Vin cỏc k s

in v in t IEEE (Institute of Electrical and Electronic Engineer) ó thu hỳt hn
1800 ngi tham gia. Tớnh t nm 1987 n nay, hng nm th gii u m hi
ngh ton cu chuyờn ngnh nron IJCNN (International Joit Conference on Neural
Networks).
Ngy nay, khụng ch dng li mc nghiờn cu lý thuyt, cỏc nghiờn cu
ng dng mng nron gii quyt cỏc bi toỏn thc t c din ra khp mi
ni. Cỏc ng dng mng nron ra i ngy cng nhiu v ngy cng hon thin
hn. in hỡnh l cỏc ng dng: x lý ngụn ng (Language Processing), nhn dng
ký t (Character Recognition), nhn dng ting núi (Voice Recognition), nhn dng
mu (Pattern Recognition), x lý tớn hiu (Signal Processing), Lc d liu (Data
Filtering),
1.2 So sỏnh mng nron vi mỏy tớnh truyn thng
Cỏc mng nron cú cỏch tip cn khỏc trong gii quyt vn so vi mỏy
tớnh truyn thng. Cỏc mỏy tớnh truyn thng s dng cỏch tip cn theo hng gii
thut, tc l mỏy tớnh thc hin mt tp cỏc ch lnh gii quyt mt vn . Vn
c gii quyt phi c bit v phỏt biu di dng mt tp ch lnh khụng
nhp nhng. Nhng ch lnh ny sau ú phi c chuyn sang mt chng trỡnh
ngụn ng bc cao v chuyn sang mó mỏy mỏy tớnh cú th hiu c.
Tr khi cỏc bc c th m mỏy tớnh cn tuõn theo c ch ra rừ rng, mỏy
tớnh s khụng lm c gỡ c. iu ú gii hn kh nng ca cỏc mỏy tớnh truyn
thng phm vi gii quyt cỏc vn m chỳng ta ó hiu v bit chớnh xỏc cỏch
thc hin. Cỏc mỏy tớnh s tr lờn hu ớch hn nu chỳng cú th thc hin c
nhng vic m bn thõn con ngi khụng bit chớnh xỏc l phi lm nh th no.
Cỏc mng nron x lý thụng tin theo cỏch thc ging nh b nóo con ngi.
Mng c to nờn t mt s lng ln cỏc phn t x lý c kt ni vi nhau
lm vic song song gii quyt mt vn c th. Cỏc mng nron hc theo mụ

Học viên: Hoàng Thị Hồng Hà

-7-

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

hỡnh, chỳng khụng th c lp trỡnh thc hin mt nhim v c th. Cỏc mu
phi c chn la cn thn nu khụng s rt mt thi gian, thm chớ mng s hot
ng khụng ỳng. iu hn ch ny l bi vỡ mng t tỡm ra cỏch gii quyt vn ,
thao tỏc ca nú khụng th d oỏn c [6]
Cỏc mng nron v cỏc mỏy tớnh truyn thng khụng cnh tranh nhau m b
sung cho nhau. Cú nhng nhim v thớch hp hn vi mỏy tớnh truyn thng, ngc
li cú nhng nhim v li thớch hp hn vi cỏc mng nron. Thm chớ rt nhiu
nhim v ũi hi cỏc h thng s dng t hp c hai cỏch tip cn thc hin
c hiu qu cao nht. Thụng thng mt mỏy tớnh truyn thng c s dng
giỏm sỏt mng nron.[1]
1.3 Khỏi nim mng nron
1.3.1 Nron sinh hc [1]

Hỡnh 1.1 Mng nron sinh hc
Do nhu cu ngy cng cao trong vic gii quyt cỏc vn phc tp v do
bn cht ca con ngi l khụng mun bng lũng vi hin ti m luụn mun vn
ti nhng gỡ cao hn, hon thin hn, nhng thut ng mng nron hoc mng
nron nhõn to hoc x lý song song v phõn tỏn ó ra i. Cỏc thut ng ú núi
n mt ngnh k thut mi ũi hi kin thc t nhiu ngnh khoa hc khỏc nhau
nh toỏn hc, vt lý hc, húa hc, sinh vt hc, tõm lý hc, thn kinh hc, Tt c

Học viên: Hoàng Thị Hồng Hà

-8-

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

ch nhm lm sao to ra nhng chic mỏy tớnh hot ng ging nh b nóo ca
chớnh chỳng ta.
Cỏc mng nron nhõn to c mụ phng da theo nóo b ca con ngi. Cho
nờn, trc khi trỡnh by v mng nron nhõn to cỏc phn sau, tụi xin trỡnh by s
lc v nóo b nh sau:
ắ

Chc nng, t chc v hot ng ca b nóo con ngi
a. Chc nng
B nóo ca con ngi cú chc nng ht sc quan trng trong i sng
ca con ngi. B nóo gn nh kim soỏt hu ht mi hnh vi ca con ngi,
t cỏc hot ng c bp n gin n nhng hnh ng phc tp nh hc tp,
nh, suy lun, t duy, sỏng to,
b. T chc
B nóo ca con ngi c hỡnh thnh t s liờn kt ca khong 1011
phõn t (t bo), trong ú cú khong 1010 phn t l nron, s cũn li khong
9*1010 phn t l cỏc t bo thn kinh m. Cỏc t bo thn kinh m cú
nhim v phc v cng nh h tr cho cỏc nron. Thụng thng, mt b nóo
trung bỡnh cõn nng khong 3 pound v cú th tớch l 90 inches3. Cu to chi
tit ca b nóo thỡ n nay ngi ta vn cha thc s bit rừ. Tuy vy, v i
th thỡ cu to nóo b c phõn chia thnh nhiu vựng khỏc nhau. Mi vựng
cú th kim soỏt mt hay nhiu hot ng ca con ngi.
B nóo cú cu trỳc nhiu lp. Lp bờn ngoi thng thy l cỏc np
nhn, l lp cú cu to phỳc tp nht. õy cú th l ni kim soỏt v phỏt sinh

cỏc hnh ng phc tp nh nghe, nhỡn, t duy,

Học viên: Hoàng Thị Hồng Hà

-9-

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

c. Hot ng
Mc dự mi nron (cú th xem nh phn t x lý hay phn t tớnh)
cú tc rt chm so vi tc cỏc cng logic silicon trong cỏc vi chip 10-3
giõy so vi 10-10 giõy, nhng do mi nron liờn kt vi khong 104 nron
khỏc, cho nờn, khi hot ng thỡ b nóo hot ng mt cỏch tng lc v t
hiu qu cao. Núi mt cỏch khỏc l phn t ca nóo hot ng mt cỏch song
song v tng tỏc ht sc tinh vi phc tp. Hiu qu hot ng thng rt cao,
nht l trong cỏc vn phc tp.
Bng 1.1 So sỏnh kh nng lm vic ca b nóo v mỏy tớnh
Máy tính
Đơn vị tính
toán
Bộ nhớ

Bộ não ngời

Bộ xử lý trung tâm với 105 mạch logic
cơ sở

Mạng 1011 nơ ron

109 bit RAM

1011 nơ ron

1010 bit bộ nhớ ngoài

với 1014 khớp nối thần
kinh

Thời gian xử lý 10-8 giây

10-3 giây

Thông lợng

109 bit/giây

1014 bit/giây

Cập nhật

105 bit/giây

1014 nơ ron/giây

thông tin

Túm li, b nóo cú chc nng ht sc quan trng i vi i sng ca con

ngi. Cu to ca b nóo rt phc tp, tinh vi bi c to thnh t mng nron cú
hng chc t t bo vi mc liờn kt gia cỏc nron l rt cao. Hn na, b nóo
cũn c chia thnh cỏc vựng v cỏc lp khỏc nhau. B nóo hot ng da trờn c
ch hot ng song song ca cỏc nron to nờn b nóo ú.
Lý thuyt v mng nron nhõn to, hay gi tt l mng nron, c xõy
dng xut phỏt t mt thc t l b nóo con ngi luụn luụn thc hin cỏc tớnh toỏn
mt cỏch hon ton khỏc so vi cỏc mỏy tớnh s. Cú th coi b nóo l mt mỏy tớnh

Học viên: Hoàng Thị Hồng Hà

- 10 -

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

hay mt h thng x lý thụng tin song song, phi tuyn v cc k phc tp. Nú cú
kh nng t t chc cỏc b phn cu thnh ca nú, nh l cỏc t bo thn kinh
(neuron) hay cỏc khp ni thn kinh (synapse), nhm thc hin mt s tớnh toỏn
nh nhn dng mu v iu khin vn ng nhanh hn nhiu ln cỏc mỏy tớnh
nhanh nht hin nay. S mụ phng b nóo con ngi ca mng nron l da trờn c
s mt s tớnh cht c thự rỳt ra t cỏc nghiờn cu v thn kinh sinh hc.
ắ

Nron
Nron l phn t c bn to nờn b nóo. Cu to v hot ng ca nron nh

sau:
a. Cu to

Mt nron in hỡnh cú 3 phn chớnh:
- Phn th nht: Thõn phn t hay soma (hoc cell body). Nhõn ca nron
c t õy.
- Phn th hai: Cỏc dendrite. õy chớnh l cỏc mng dng cõy ca cỏc dõy
thn kinh ni cỏc soma vi nhau.
- Phn th ba: axon. õy l mt ni kt, hỡnh tr di v mang cỏc tớn hiu t
ú ra ngoi. Phn cui ca axon c chia thnh nhiu nhỏnh nh. Mi nhỏnh nh
(c ca dendrite v axon) kt thỳc trong mt c quan nh hỡnh c hnh c gi l
synapte m ti õy cỏc nron a cỏc tớn hiu ca nú vo cỏc nron khỏc. Nhng
im tip nhn vi cỏc synapte trờn cỏc nron khỏc cú th cỏc dendrite hay chớnh
soma.

Học viên: Hoàng Thị Hồng Hà

- 11 -

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

Hỡnh 1.2 S nron sinh hc
b. Hot ng
Cỏc tớn hiu c a ra bi mt synapte v c nhn bi cỏc dendrite l cỏc
kớch thớch in t. Vic truyn tớn hiu nh trờn liờn quan n mt quỏ trỡnh húa hc
phc tp m trong ú cỏc cht truyn c trng c gii phúng t phớa gi ca ni
tip ni. iu ny lm tng hoc gim in th bờn trong thõn ca nron nhn.
Nron nhn tớn hiu s c kớch hot (fire) nu in th vt khi mt ngng no
ú. Mt xung (hoc in th hot ng) vi cng mnh v thi gian tn ti c
nh s c gi ra ngoi thụng qua axon ti phn nhỏnh ca nron ú, ri ti cỏc

ch ni synapte ca cỏc nron khỏc. Sau khi kớch hot, nron s ch mt khong
thi gian c gi l chu k refractory, trc khi nú cú th kớch hot li. Synapses
l excitatory nu chỳng cho phộp cỏc kớch thớch truyn qua gõy ra tỡnh trng kớch
hot i vi nron nhn. Ngc li, chỳng l inhibitory nu chỳng cho phộp cỏc
kớch thớch truyn qua lm ngn ch trng thỏi kớch hot ca nron nhn.

Học viên: Hoàng Thị Hồng Hà

- 12 -

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

Cỏc synapses úng vai trũ rt quan trng trong s hc tp. Khi chỳng ta hc
tp thỡ hot ng ca cỏc synapses c tng cng, to nờn nhiu liờn kt mnh
gia cỏc nron. Cú th núi rng ngi no hc cng gii thỡ cng cú nhiu synapses
v cỏc synapses y cng mnh m, hay núi cỏch khỏc, thỡ liờn kt gia cỏc nron
cng nhiu, cng nhy bộn.
1.3.2 Nron nhõn to
Nron nhõn to l mt n v tớnh toỏn cú nhiu u vo v mt u ra. Mi
u vo n t mt liờn kt. c trng ca nron l mt hm kớch hot phi tuyn
chuyn i t hp tuyn tớnh ca tt c cỏc tớn hiu u vo thnh tớn hiu u ra.
Hm kớch hot ny m bo tớnh cht phi tuyn cho tớnh toỏn ca mng nron.

Hỡnh 1.3 Mụ hỡnh mt nron nhõn to [13]

Hỡnh 1.4 S tng ng gia nron sinh hc v nron nhõn to [10]

Học viên: Hoàng Thị Hồng Hà

- 13 -

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

Cỏc thnh phn c bn ca mt nron nhõn to bao gm:
Tp cỏc u vo: L cỏc tớn hiu vo (input signals) ca nron, cỏc tớn hiu
ny thng c a vo di dng mt vector N chiu.
Tp cỏc liờn kt: Mi liờn kt c th hin bi mt trng s (gi l trng
s liờn kt Synaptic weight). Trng s liờn kt gia tớn hiu vo th j vi nron k
thng c kớ hiu l wkj. Thụng thng, cỏc trng s ny c khi to mt cỏch
ngu nhiờn thi im khi to mng v c cp nht liờn tc trong quỏ trỡnh hc
mng. Cỏc trng s liờn kt chớnh l cỏc tham s t do c bn ca mng nron. Cỏc
trng s ny cú th c thay i nhm thớch nghi vi mụi trng xung quanh.
B tng (Summing function): Thng dựng tớnh tng ca tớch cỏc u
vo vi trng s liờn kt ca nú.
Ngng (cũn gi l mt lch -bias): Ngng ny thng c a vo
nh mt thnh phn ca hm truyn. H s iu chnh b cú tỏc dng tng lờn hoc
gim i u vo thc ca hm truyn tựy theo hm truyn dng hay õm.
Hm truyn (Transfer function) : Hay cũn c gi l hm kớch hot, hm
ny c dựng gii hn phm vi u ra ca mi nron. Nú nhn u vo l kt
qu ca hm tng v ngng ó cho. Thụng thng, phm vi u ra ca mi nron
c gii hn trong on [0,1] hoc [-1, 1]. Cỏc hm truyn rt a dng, cú th l
cỏc hm tuyn tớnh hoc phi tuyn. Vic la chn hm truyn no l tu thuc vo
tng bi toỏn v kinh nghim ca ngi thit k mng. Mt s hm truyn thng
s dng trong cỏc mụ hỡnh mng nron c a ra trong bng 1.2 .

u ra: L tớn hiu u ra ca mt nron, vi mi nron s cú ti a l mt
u ra.
Di dng cụng thc toỏn hc, chỳng ta cú th mụ t mt nron k bng cp
cụng thc sau:

Học viên: Hoàng Thị Hồng Hà

- 14 -

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

m

u k = wkj x j

(1.1)

yk=(uk+b)

(1.2)

j =1

v

ú x1,x2,...,xm l cỏc tớn hiu u vo; wk1,wk2,...,wkm l cỏc trng s synapse
ca neuron k; uk l u ra b t hp tuyn tớnh tng ng; bk l h s hiu chnh.

H s hiu chnh bk l mt tham s ngoi ca neuron nhõn to k. Chỳng ta
cú th thy c s cú mt ca nú trong cụng thc (1.2). Mt cỏch tng ng,
chỳng ta cú th t hp cỏc cụng thc (1.1) v (1.2) nh sau:
m

v k = wkj x j

(1.3)

y k = (v k )

(1.4)

j =0

v

Trong cụng thc (1.3), chỳng ta ó thờm mt synapse mi. u vo ca nú
l:
x0=+1

(1.5)

wk0=bk

(1.6)

v trng s ca nú l:

Nh vy chỳng ta v li mụ hỡnh ca neuron k nh trong hỡnh 1.5. Trong

hỡnh ny, nhim v ca h s hiu chnh l thc hin hai vic: (1) thờm mt tớn hiu
u vo c nh l 1, v (2) thờm mt trng s synapse mi bng giỏ tr ca h s
bk. Mc du cỏc mụ hỡnh trong hỡnh 1.3 v 1.5 l khỏc nhau v hỡnh thc nhng
tng t v bn cht toỏn hc.

Học viên: Hoàng Thị Hồng Hà

- 15 -

Lớp: CHĐTVT1-2008/2010


Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

Hỡnh 1.5 Mụ hỡnh phi tuyn th hai ca mt mng nron [13]
Bng 1.2 Mt s hm kớch hot c bn trong mng nron [1]
Tờn hm

Cụng thc
vi n < 0
vi n 0

Hardlim

a=0
a=1

Hardlims

a = -1

a=1
a=n
a=0
a=n
a=1

vi n < 0
vi n 0

a = -1
a=n
a=1

vi n < 0
vi 0 n 1
vi n > 1

Purelin
Satlin

Satlins

Tansig

a=

vi n < 0
vi 0 n 1
vi n > 1

en en
1 + e n

Poslin

a=0
a=n

Compet

a = 1 vi nron cú n ln nht
a = 0 vi cỏc nron cũn li

Logsig

Học viên: Hoàng Thị Hồng Hà

a=

vi n < 0
vi n 0

1
1 + e n

- 16 -

Lớp: CHĐTVT1-2008/2010

Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay tiếng Việt

1.3.3 Mng nron nhõn to
Cỏc mng nron nhõn to (Artificial neural networks ANN), cng cũn c
gi l Cỏc h thng x lý song song phõn b (Parallel distribute processing
systems), l mt h thng bao gm nhiu phn t x lý n gin (hay cũn gi l
nron) ta nh nron thn kinh ca nóo ngi. Cỏc phn t ny hot ng song
song v c ni vi nhau bi cỏc liờn kt nron. Mi liờn kt kốm theo mt trng
s no ú, c trng cho tớnh kớch hot hoc c ch gia cỏc nron.
Cỏc trng s l phng tin lu tr thụng tin di hn trong mng nron.
Nhim v ca quỏ trỡnh hun luyn mng l cp nht cỏc trng s ú khi cú thờm
thụng tin v mu hc. Hay núi mt cỏch khỏc, cỏc trng s u c iu chnh sao
cho quan h vo ra ca mng s mụ phng hon ton phự hp vi mụi trng ang
xem xột.
a. Mng nron:
Mụ hỡnh mng nron

Hỡnh 1.6 S n gin v mt mng nron nhõn to [4]

Học viên: Hoàng Thị Hồng Hà

- 17 -

Lớp: CHĐTVT1-2008/2010