Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay trực tuyến

i
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

I HC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀ N
THÔNG


CHU HOÀNG HÀ


NGHIÊN CỨU MẠNG NƠRON VÀ ỨNG DỤNG
TRONG NHẬN DẠNG CHỮ VIẾT TAY TRỰC TUYẾN

Chuyên ngành: Khoa học máy tính
Mã số: 60.48.01

LU    

    
PGS-TS Ngô Quốc Tạo

ii
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



Thái Nguyên – 2013

BẢN CAM KẾT

Tên tôi là: Chu Hoàng Hà
Lp: Cao hc Công ngh thông tin K10A
Khoá hc: 2011 - 2013
Chuyên ngành:Khoa hc máy tính
Mã s chuyên ngành: 60 48 01
 i hc Công ngh thông tin và Truyn thông
Thái Nguyên
ng dn: PGS-TS Ngô Quc To
i hm K Thunh
 nc trình bày trong bn lu
này là kt qu tìm hiu và nghiên cu ca riêng tôi, trong quá trình nghiên cu
lu“Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết
tay trực tuyến” các kt qu và d lic nêu ra là hoàn toàn trung thc.
Mi thông tin trích dc tuân theo lut s hu trí tu, có lit kê rõ ràng
các tài liu tham kho.
Tôi xin chu hoàn toàn trách nhim vi nhng nc vit trong
lu

Thái Nguyên, ngày 08 tháng 06 năm 2013
HỌC VIÊN

CHU HOÀNG HÀ
iii
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


iv
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

LỜI CẢM ƠN

Luc thc hin ti hc Công ngh Thông tin và
Truyn Thông - i hi s ng dn ca thy PGS-TS
Ngô Quc To.
c ht em xin bày t lòng bic ti thy PGS-TS Ngô Quc
To - Vin Công ngh ng d  em
hoàn thành tt lua mình.
Em xin gi li cn các thy cô giáo i hc
Công ngh Thông tin và Truyn Thông - i hc Thái Nguyên, cùng các thy
t tình ging dy, truyt kin thc cho em trong sut quá
trình hc tp t
Cui cùng em xin gi li cm ng nghip
nh và tu kin cho em trong quá trình hc
tp và hoàn thành lu

Thái Nguyên, ngày 08 tháng 06 năm 2013
HỌC VIÊN


CHU HOÀNG HÀ

v
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

MỤC LỤC
LI M U 1
Chng 1
KHÁI QUÁT V MNG NRON
1.1. Khái nim mng nron 4
1.1.1. Gii thiu 4
1.1.1.1. Nron 7

1.1.1.2. Ch chc và hong ca b não con ngi 8
1.1.1.3. So sánh mng nron vi máy tính truyn thng 10
1.1.2. Nron nhân to 11
1.1.3. Mng nron nhân to 14
c trng ca mng nron[5] 15
1.2.1. Tính phi tuyn 15
1.2.2. Tính cht tng u ra 16
1.2.3. Tính cht thích nghi 16
1.2.4. Tính cha ra li gii có bng chng 16
1.2.5. Tính cht chp nhn sai sót 16
1.2.6. Kh p VLSI (Very-Large-Scale-Intergrated) 17
1.2.7. Tính cht tng t trong phân tích và thit k 17
1.3. Phân loi mng nron nhân to 17
1.3.1. Phân loi theo kiu liên kt nron 17
1.3.2. Mt s loi mng nn hình[20] 18
1.3.2.1. Mng dn tin (feedforward) 18
1.3.2.1. Mng quy hi (recurrent network) 20
1.4. Xây dng mng nron[8] 21
1.5. Hun luyn mng nron 22
1.5.1. Phng pháp hc 22
1.5.1.1. Hc có giám sát 22
vi
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

1.5.1.2. Hc không giám sát 23
1.5.1.3. Hng 23
1.5.2. Thut toán hc 23
1.6. Thu thp d liu cho mng nron 24
1.7. Biu din tri thc cho mng nron 26
1.8. ng dng ca mng nron. 28

Chng 2
NG DNG MNG NRON TRONG NHN DNG CH VIT TAY
TRC TUYN
2.1. Gii thiu bài toán nhn dng kí t 30
2.1.1. Gii thiu s lc v nhn dng 30
2.1.2. Gii thiu v nhn dng ch vit tay 31
2.1.3. Nhn dng ch vit tay bng mng nron[5] 35
2.1.4. Phát biu bài toán 36
2.1.5. Các bc gii quyt bài toán s dng mng nron trong nhn dng ký t . 36
2.2. Mng Perceptron nhn dng ký t 36
2.2.1. Gii thiu v mng nron Perceptron 36
2.2.2. Cu trúc ca mng nron Perceptron 37
2.2.3. Thc thi ca mng nron Perceptron 38
2.2.3.1. Thut toán hc ca mng nron mt lp 38
2.2.3.2. Thut toán hc ca mng nron nhiu lp 40
2.2.4. Nhn xét 44
2.3. Mng Kohonen nhn dng ký t 45
2.3.1. Gii thiu v mng nron Kohonen 45
2.3.2. Cu trúc ca mng nron Kohonen[16] 46
2.3.3. Thc thi ca mng nron Kohonen[15] 46
2.3.2.1. Chuu vào 46
u ra cho mi nron 47
vii
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

2.3.2.3. Chn nron chin thng 47
2.3.2.4. Quá trình hc ca mng nron Kohonen 48
2.3.3. Nhn xét 51
Chng 3
XÂY DNG CHNG TRÌNH NHN DNG CH VIT TAY

TRC TUYN
3.1. Gii thiu 52
3.2. Xây dng giao din v 53
3.3. X lý d liu (phân tích nh) 54
3.4. Xây dng mng nron 54
3.4 .1. Xây dng mng nron Perceptron 54
3.4.2. Xây dng mng nron Kohonen. 56
3.5. Chng trình minh ha 59
3.5.1. Các cha chng trình 59
3.5.2. Kt qu nhn dng 60
n xét 62
KT LUN VÀ HNG PHÁT TRIN
1. Nhng kt qu mà luc 64
2. Hng phát trin tip theo 64
TÀI LIU THAM KHO

viii
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

DANH MỤC CÁC HÌNH
Hình 1 c 7
Hình 1.2 Mron sinh hc 10
Hình 1.3 Mô hình mo 11
Hình 1.4 S o[16] 12
Hình 1.5 Mô hình phi tuyn th hai ca mt m 14
 n v mt mo[8] 15
Hình 1.7 Mng truyn thng 18
Hình 1.8 Mng quy hi 18
Hình 1.9 Mng tin vi mt m 19
Hình 1.10 Mng tin kt n vi mt mc n và mt mu ra 20

Hình 1.11 Mng hn và không có vòng lp t phn hi20
Hình 1.12 Mng hn 21
  th n 21
Hình 2.1 Mô hình chung trong nhn dng ch vit 34
Hình 2.2 Mô hình tng quát ca m 37
Hình 2.3 Bài toán XOR 39
Hình 2.4 Cu trúc ca mng Kohonen 46
Hình 2.5 Quá trình hun luyn m 48
Hình 3.1 Quá trình tìm gii hn ký t 53
Hình 3.2 Quá trình ly mu xung 53
Hình 3.3 Quá trình ánh x t ma trm sang ma trn giá tr 54
Hình 3.4 Quá trình hun luyn mng 58
Hình 3.5 Giao dia 59
Hình 3.6 Ti mu 60
Hình 3.7 Nhn dng ký t e bng mng Kohonen 61
Hình 3.8 Nhn dng ký t e bng mng Perceptron 61
Hình 3.9 Thêm mu mi 62
1
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

LỜI MỞ ĐẦU
M  n to ANN (Artificial Neural Networks) là mt mô
phng x c nghiên cu ra t h thng thn kinh ca sinh vt,
gi  x lý thông tin. Nó bao gm s ng ln các mi gn kt
c x lý các yu t làm vic trong mi liên h gii quyt v rõ
ràng. ANN gic hc bi kinh nghing kinh
nghim hiu bit và s dng trong nhng tình hung phù hp và quan trng
t, i có kh  sáng to.
c gii thii nhà thn kinh hc Warren
McCulloch và nhà logic hi nhng k thut trong thi

 nghiên cc nhiu. Nh
phng ANN xut hin và phát trin. Các nghiên cu ng dc thc
hin trong các ngn t, k thut ch to, y hc, quân s, kinh t
Mt trong nhng ng dn ca mn dng
mu,  i mt mu là mt tp hp (hay mt vector) các tham s biu th
các thuc tính ca quá trình v    Ngoài sc mnh vn có, mng
 him ca mình trong vic nhn dng thông qua kh 
mm do, d thích nghi vng. Chính vì vy, có th coi m
c tiên là mt công c  nhn dng.
Các bài toán nhn dc nghiên cu nhiu nht hin nay bao gm
nhn dng các mu hình hc (vân tay, mi, hình khn dng
ting nói và nhn dng ký t vit. Nhn dng ký t vit bao gm hai kiu chính
là nhn dng ký t in và nhn dng ký t vin nay bài toán nhn
dng ký t c gii quyt khá trn vn vi s i ca nhiu h thng
nhn dt t chính xác gi. Nhn dng ký t vit tay
 thách thc li vi các nhà nghiên c
th gii quyt trn vc vì nó ph thuc quá nhii vit và s
bing trong cách vit và trng thái tinh thn ca ti
vic bii vi vic nhn dng ký t vit tay ting Vit li càng gp
nhi ký t ting Vit có nhiu ký t có hình dáng rt
ging nhau, ch khác nhau chút ít v phn du.
2
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

Chính vì các lý do nêu trên cùng vi s gi ý ca thy giáo tôi nhn thy
nghiên cu v mng nghiên cu quan trng, mi m và có
nhiu trin vng thi áp dng m gii quyt bài toán nhn
dng ch vit tay ting Vit là mng tip cn khoa hc có hiu qu, góp
phn gii quyt bài toán nhn dng ch vit tay ting Vit hic
gii quyt trn v Nghiên cứu mạng nơron và ứng

dụng trong nhận dạng chữ viết tay trực tuyến”.
Tuy nhiên do hn ch v mt th phc tp ca bài
 u và mô phng nhn dng ký t vit tay
ting Vit ri rc trc tuyn.
Nội dung luận văn gồm:
Chƣơng 1: Khái quát về mạng nơron
Trình bày nhng lý thuyn v mô hình mch s
i và phát trin ca mm mi mô hình
m     a m    n luyn mng
c có giám sát. Các v và ng dng ca m
Chƣơng 2: Ứng dụng mạng nơron trong nhận dạng chữ viết tay trực tuyến
Gii thiu v nhn dng, các bài toán nhn dng, nhn dng ch vit tay
ting Vin dng ch vit tay bng mu
c gii quyt bài toán.
Trình bày lý thuyn v m   
gii thiu v mng, cu trúc mc thc thi trong mng: chun hóa
u ra, quá trình hun luyn m
Chƣơng 3: Xây dựng chƣơng trình nhận dạng chữ viết tay trực tuyến
Trình bày phc thc hi
trình minh ha: Thc hin dng ký t, nh các tham s
cho mng, v hình nh, ly mu xung hình nh, các tp hun luyn, lp mng
a: Các cht qu
nhn dn xét.
Kết luận và hƣớng phát triển
3
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

Trình bày các kt qu ng phát trin tip theo và mt s
khi nghiên cu.
Do th còn hn ch nên lui nhng

thiu sót, kính mong nhc s  bo ca các thy giáo, cô
giáo và các bng nghip.
Cui cùng, tác gi xin chân thành bày t lòng bin thy
giáo PGS-TS Ngô Quc To - Vin Công ngh thông tin, Vin Khoa hc và
Công ngh Ving dn, ch b, khích l tác gi
trong sut quá trình làm lung thi, tác gi xin chân thành c
các thu kin thun
l tác gi hoàn thành lu

H


Chu Hoàng Hà

4
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

Chƣơng 1
KHÁI QUAN VỀ MẠNG NƠRON
1.1. Khái niệm mạng nơron
1.1.1. Giới thiệu
Các nghiên cu v b c tin hành t hàng nghìn
i s phát trin ca khoa hc bit là nhng tin
b n t hii, vii bu nghiên c
nhân to là hoàn toàn t nhiên. Có th tính t nghiên cu ca William (1890)
v tâm lý hc vi s liên kt các noron thn kinh. S kiu s
i ca mo din kinh hc
Warren McCulloch và nhà toán hc Walter Pitts vit bài báo mô t cách thc
 ng. H n hành xây dng mt m 
gin bng các ma h t b nh

phân vng c nh. Kt qu c
gin chng h[12]
Ti c các nghiên c 1949 Donald Hebb cho xut bn
cun sách Organization of Behavior. Cu ra r
to s tr nên hiu qu i lc s dng.
Nhng tin b cu nhc mô hình
hóa các nguyên lý ca nhng lý thuyt liên quan ti cách thi suy
 thành hin thc. Nathanial Rochester sau nhic ti
các phòng thí nghim nghiên cu cng n l mô
phng mt mi kì này tính toán truyn thc
nhng thành công rc r ng nghiên cu v  giai
c dù vy nhi ng h tri
(các máy bin tip tc bo v cho lng ca mình.
 án Dartmouth nghiên cu v trí tu nhân to (Artificial
 ra thi k phát trin mi c c trí tu nhân to
ln mng tích cc ca s quan tâm ca
các nhà khoa hc v trí tu nhân to và quá trình x lý  mn ca
m i.
5
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

Nhp theo ca d 
xut vic mô phn bng cách s dn áp hoc
Nhà sinh hc chuyên nghiên cu v n Frank Rosenblatt
u nghiên cu v i gian nghiên cu
t trong phn c
mi nhc s dn ngày nay. Perceptron mt tng
rt hu ích trong vic phân loi mt tu vào có giá tr liên tc vào mt
trong hai lp. Perceptron tính tng có trng s u vào, ri tr tng này
cho mng và cho ra mt trong hai giá tr mong mun có th. Tuy nhiên

Perceptron còn rt nhiu hn ch, nhng hn ch c ch ra trong cun
sách v Perceptron ca Marvin Minsky và Seymour Papert ca MIT
(Massachurehs Insritute of Technology) vi  ng minh nó
c cho các hàm logic phc.
     cian Hoff thu  i hc
ng mô hình ADALINE ( ADAptive LINear Elements) và
MADALINE. (Multiple ADAptive LINear Elements). Các mô hình này s
dng quy tc hc Least-Mean-Squares ( LMS : Ti thi
bình). MADALINE là mc áp d gii quyt mt
bài toán thc t. Nó là mt b lc thích ng có kh i b tín hiu di li
n thoi. Ngày nay mc s dng trong
các ng di.
c cnh tranh và self 
n và ng d
hc lan truyc ( back-propagation). Tuy nhiên phi mt m
i tr lên ph bin. Các mng lan truyn nc bit
n nhiu nhc áp dng rng dãi nht nhn ngày nay.
S rn lúc máy móc có th làm mi vic ci. Nhng
lo lng này khii ta bu phi các nghiên cu v mng neuron.
Thi kì tm l tính vào khou thp
niên 80. Nhn cho mn này phi k n
Grossberg, Kohonen, Rumelhart và Hopfield. Kohonen là mng SOM (Self
6
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

Organizing Map), Grossberg là mng ART (Adaptive Resonance Theory).
n ca Hopfield gm hai mng phn hi: Mng ri rc
ng liên tc bi kin nhiu kh 
tính toán ln ca mng mà mt nron không có kh 
bài báo gi ti vin khoa hc quc gia, John Hopfield bng s phân tích toán

hc rõ ràng, mch l ra cách thc các mc và
nhng công vic chúng có th thc hic. Cng hin ca Hopfield không
ch  giá tr ca nhng nghiên cu khoa hc mà còn  s y tr li các
nghiên cu v mng neuron. Cm nhn c   c Rumelhart,
 xut thut toán sai s truyc ni ti hun
luyn mng noron nhiu lp nhm gii bài toán mà mng khác không thc hin
c. Nhiu ng dng mnh m ca mi cùng vi các mng
theo kiu máy Boltzmann và mng Neocognition ca Fukushima.
i gian này, mt hi ngh vi s tham gia ca Hoa K và
Nht Bn bàn v vic hp tác/cc mc t
chc ti Kyoto, Nht Bn. Sau hi ngh, Nht B nhng n lc
ca h trong vic to ra máy tính th h th 5. Tip nhp chí
nh k ca Hoa K bày t s lo lng rc nhà có th b tt hu trong
c này. Vì thHoa K 
cho các nghiên cu và ng dng m
n vt lý Hoa K bu t chc các cuc h
v mng neuron ng dng trong tin h
i tho quc t u tiên v mng neuron ca Vin các k 
n t 
i tham gia. Tính t  gii
u m hi ngh toàn cu chuyên ngành nron IJCNN (International Joit
Conference on Neural Networks).
Ngày nay, không ch dng li  mc nghiên cu lý thuyt, các nghiên
cu ng dng m gii quyt các bài toán thc t c din ra 
khp mng dng mi ngày càng nhiu và ngày càng
hoàn thi  n hình là các ng dng: x lý ngôn ng (Language
7
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

Processing), nhn dng ký t (Character Recognition), nhn dng ting nói

(Voice Recognition), nhn dng mu (Pattern Recognition), x lý tín hiu
(Signal Processing), Lc d liu (Data Filtering)
1.1.1.1. Nơron
n t n to nên b não. Cu to và hong c

a) Cấu tạo
Mn hình có 3 phn chính:
- Phần thứ nhất: Thân phn t hay soma (hoc cell body). Nhân ca
t  
- Phần thứ hai: Các deng dng cây ca các
dây th ni các soma vi nhau.
- Phần thứ ba: t ni kt, hình tr dài và mang các tín
hiu t n cui cc chia thành nhiu nhánh nh. Mi
nhánh nh (c ca dendrite và axon) kt thúc trong m hình c
c gi là synapte mà tu ca nó vào các
m tip nhn v
 các dendrite hay chính soma.

Hình 1.1 
8
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

b) Hoạt động
Các tín hii mc nhn bi các dendrite
n t. Vic truyn tín hin mt quá
trình hóa hc phc tt truyc gii phóng
t phía gi cp nc gin th bên trong
thân cn tín hiu s c kích hot (fire) nn th
t khi mt xung (hon th hong) vng
 mnh và thi gian tn ti c nh s c gi ra ngoài thông qua axon ti

phn nhánh ci ti các ch ni synapte c
khi kích ho   ch mt khong th  c gi là chu k
c khi nó có th kích hot li. Synapses là excitatory nu chúng
cho phép các kích thích truyn qua gây ra tình trng kích hoi v
nhc li, chúng là inhibitory nu chúng cho phép các kích thích truyn
 trng thái kích hot cn.
t quan trng trong s hc tp. Khi chúng ta
hc tp thì hong cng, to nên nhiu liên kt
mnh gi   nói ri nào hc càng gii thì càng có
nhiu synapses và các synapses y càng mnh m, hay nói cách khác, thì liên
kt giu, càng nhy bén.
1.1.1.2. Chức năng, tổ chức và hoạt động của bộ não con ngƣời
a) Chức năng
B não ci có cht sc quan tri sng
ci. B não gm soát hu ht mi hành vi ci,
t các hon nhng phc tc tp,
nh, suy lu
b) Tổ chức
B não cc hình thành t s liên kt ca khong 10
11

phân t (t ng 10
10
phn t  còn li khong
9*10
10
phn t là các t bào thm. Các t bào thm có nhim
v phc v  tr u to chi tit ca b n
i ta vc s bit rõ. Tuy vy, não b có th c phân chia
9

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

thành nhiu vùng khác nhau. Mi vùng có th kim soát mt hay nhiu hot
ng ci.
B não có cu trúc nhiu lp. L ng thy là các np
p có cu to phúc tp nh m soát và phát sinh
các ng phc t
c) Hoạt động
Mc dù m n t x lý hay phn t tính) có
t rt chm so vi t các cng logic silicon trong các vi chip 10-3 giây
so vi 10-10 t vi khong 104 
cho nên, khi hong thì b não hong mt cách tng lt hiu qu
cao. Nói mt cách khác là phn t ca não hong mt cách song song và
t sc tinh vi phc tp. Hiu qu hong rt cao, nht là
trong các v phc tp.
Tóm li, b não có cht sc quan tri vi sng ca
i. Cu to ca b não rt phc tp, tinh vi bc to thành t mng
c t t bào vi m liên kt gi
na, b c chia thành các vùng và các lp khác nhau. B não hot
ng d hong song song co nên b 
Lý thuyt v mo, hay gi tc
xây dng xut phát t mt thc t là b i luôn luôn thc hin các
tính toán mt cách hoàn toàn khác so vi các máy tính s. Có th coi b não là
mt máy tính hay mt h thng x lý thông tin song song, phi tuyn và cc k
phc tp. Nó có kh  t chc các b phn cu thành ca 
t bào thn kinh (neuron) hay các khp ni thn kinh (synapse), nhm thc
hin mt s n dng mu khin v
nhiu ln các máy tính nhanh nht hin nay. S mô phng b i
ca m mt s tính chc thù rút ra t các nghiên
cu v thn kinh sinh hc.

10
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


Hình 1.2 
1.1.1.3. So sánh mạng nơron với máy tính truyền thống
Các mp cn khác trong gii quyt v so vi
máy tính truyn thng. Các máy tính truyn thng s dng cách tip cn theo
ng gii thut, tc là máy tính thc hin mt tp các ch l gii quyt
mt v. V c gii quyt phc bit và phát bii dng mt
tp ch lnh không nhp nhng. Nhng ch lc chuyn
sang m bc cao và chuy máy tính
có th hic.





 




11
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




[12].




          

1.1.2. Nơron nhân tạo
o là m tính toán có nhiu vào và mu ra.
Mn t mt liên kt hàm kích hot
phi tuyn chuyi t hp tuyn tính ca tt c các tín hiu vào thành tín
hiu ra. Hàm kích hom bo tính cht phi tuyn cho tính toán ca
m

Hình 1.3 
12
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


[16]
Các thành phần cơ bản của một nơron nhân tạo bao gồm:
♦ Tập các đầu vào: Là các tín hiu vào (input signals) c
hii dng mt vector N chiu.
♦ Tập các liên kết: Mi liên kc th hin bi mt trng s (gi là
trng s liên kt  Synaptic weight). Trng s liên kt gia tín hiu vào th j
vc kí hing, các trng s c
khi to mt cách ngu nhiên  thm khi to mc cp nht liên
tc trong quá trình hc mng. Các trng s liên kt chính là các tham s t do
n ca m ng s này có th i nhm thích
nghi vng xung quanh.

♦ Bộ tổng (Summing function) tính tng ca tích các
u vào vi trng s liên kt ca nó.
♦ Ngƣỡng (còn gọi là một độ lệch -bias) c
t thành phn ca hàm truyn. H s u chnh b có tác dng
n hoc giu vào thc ca hàm truyn tùy theo hàm truy
hay âm.
♦ Hàm truyền (Transfer function)       
   
 
13
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

-1, 1]. Các hàm




♦ Đầu ra

i dng công thc toán hc, chúng ta có th mô t mng
cp công thc sau:



m
j
jkjk
xwu
1
(1.1)

Và
y
k
=(u
k
+b) (1.2)
 
1
,x
2
, ,x
m
là các tín hiu vào; w
k1
,w
k2
, ,w
km
là các trng s
synapse ca neuron k; u
k
u ra b t hp tuyng; b
k
là h s
hiu chnh.
H s hiu chnh b
k
là mt tham s ngoài ca neuron nhân to k. Chúng
ta có th thc s có mt ca nó trong công thc (1.2). M
 t hp các công th




m
j
jkjk
xwv
0
(1.3)
và
)(
kk
vy


(1.4)
Trong công tht synapse mu vào ca nó là:
x
0
=+1 (1.5)
và trng s ca nó là:
w
k0
=b
k
(1.6)
y chúng ta v li mô hình c
hình này, nhim v ca h s hiu chnh là thc hin hai vic: (1) thêm mt tín
14
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

hiu vào c nh là (1), và (2) thêm mt trng s synapse mi bng giá tr
ca h s b
k
. Mc du các mô hình trong hình 1.3 và 1.5 là khác nhau v hình
th v bn cht toán hc.

Hình 1.5 Mô hì
1.1.3. Mạng nơron nhân tạo
Các mo (Artificial neural networks  
c g    thng x lý song song phân b  
processing systems), là mt h thng bao gm nhiu phn t x n
(hay còn gn kinh ci. Các phn t này
hoc ni vi nhau bi các liên ki liên kt
kèm theo mt trng s t hoc c ch gia

Các trng s       thông tin dài hn trong mng
m v ca quá trình hun luyn mng là cp nht các trng s 
khi có thêm thông tin v mu hc. Hay nói mt cách khác, các trng s u
u chnh sao cho quan h vào ra ca mng s mô phng hoàn toàn phù
hp v
15
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

Mô hình mạng nơron

[8]
Mô hình m trên gm 3 lp: lp nhp (input), lp n (hidden)
và lp xut (output). Mi nút trong lp nhp nhn giá tr ca mt bic lp
và chuyn vào mng.

D liu t tt c các nút trong lp nhc tích hp (ta gi là tng trng
s) và chuyn kt qu cho các nút trong lp n. Lc gp  vì
các nút trong lp này ch liên lc vi các nút trong lp nhp và lp xut. Ch có
i thit k mng mi bit li s dng không bit lp này).
Các nút trong lp xut nhn các tín hiu tng trng hóa t các nút trong
lp n. Mi nút trong lp xung vi mt bin ph thuc.
1.2. Đặc trƣng của mạng nơron[5]
1.2.1. Tính phi tuyến
M tính toán mt cách tuyn tính hay phi tuyn. Mt mng
u thành b có tính phi tuy
nc bit là tính phi tuyc phân tán trên toàn mng. Tính phi
tuyn là mt thuc tính rt quan trng, nh vt lý sinh ra các
tín hiu vào (ví d tín hiu ting nói) vn là phi tuyn.
16
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

1.2.2. Tính chất tƣơng ứng đầu vào, đầu ra
Mc dù khái nin luy
 hic mi quan h u vào-u ra ca m  cp
 khái nim này. Mt mô hình hc ph bic gc có th
n vii các trng s liên kt ca
mng vic áp dng mt tp hp các mu tích lu. Mi mt mu
bao gm mt tín hiu vào và mu ra mong mung. Các trng
s liên kt ca mc bii sao cho có th cc tiu hoá s sai khác gia
u ra mong muu ra thc s ca mng theo mt tiêu chun thng kê
thích hp. S tích lu ca mc lp li vi nhiu ví d trong tp hp cho
ti khi mt ti mt trng thái nh mà  t s i
 nào ca các trng s liên kt. Các ví d tích lu c áp dc có
th c áp dng li trong thi gian ca phiên tích lu t th t
  vy, m c t các ví d bng cách xây dng nên mt

u vào - u ra cho v cn gii quyt.
1.2.3. Tính chất thích nghi
Các mt kh nh là có th bii các trng s
liên kt tu theo s i cc bit, mt m
c tích lu  hong trong mnh có th c tích lu
li mt cách d dàng khi có nhi nh cu king.
1.2.4. Tính chất đƣa ra lời giải có bằng chứng
Trong ng cnh phân loi mu, mt m c thit k 
 v mc phân loi, mà còn v s tin cy ca
quyc thc hin. Thông tin này có th c s d loi b
các m hay nhp nhng.
1.2.5. Tính chất chấp nhận sai sót
Mt mi dng phn cng, vn có kh 
chp nhn li, hay kh ng tính toán thô (ch không nhy cm li). Tc là,
a m thoái hoá (ch  v) khi có nhu
kin hong bt li. Ví d, nu mt kt ni ca nó b
hng, vic nhn dng li mt m s suy gim v chng. Tuy
17
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

nhiên, do bn cht phân tán ca thông tin lu tr trong m hng
c tri ra trên toàn mng. Nh vy, v c bn, trong trng hp
này mt m th hin mt s thoái hoá v n là s  v
trm trng.
1.2.6. Khả năng tích hợp VLSI (Very-Large-Scale-Intergrated)
Bn ch s ca mt m
ri vi mt s công vi
mt m      p trong vi  t s dng k thut
Very-large-scale-intergrated (VLSI). K thut này cho phép xây dng nhng
mch cng tính toán song song quy mô ln. Chính vì vm ni bt ca

VLSI là mang li nhn hu hi có th x c nhng
hành  phc tp cao.
1.2.7. Tính chất tƣơng tự trong phân tích và thiết kế
V n, các mt chung nh là các b x lý thông
u này áp dng cho tt c c có liên quan ti vic ng dng
mc tính này th hin  mt s m nh sau:
 i dng này hoc dng khác, biu din mt thành phn
chung cho tt c các m
 Tính thng nhi kh  các lý thuyt và các
thut toán hc trong nhiu ng dng khác nhau ca m
 Các mng t hp (modular) có th c xây dng thông qua mt s
tích hp các mô hình khác nhau.
1.3. Phân loại mạng nơron nhân tạo
1.3.1. Phân loại theo kiểu liên kết nơron
Ta có mn thng quy hi[17].
- Mng truyn thng nhnh to thành
 th       nh là các
nh là các liên kt gia chúng.