Giới thiệu về mạng nơ ron

ĐẠI H Ọ C Q l

lố c

GIA H À NỘI

TRƯỞNÍỈ ĐẠI n ọ c KIIOA n ọ c T ự N I I I Ê N
- m ............-

P IIIL P I C T O N

GIỚI THIỆU VỂ

MỌNG Nơ RON
NGƯÒI DỊCll

PIIẠM HỒNG NGUYÊN

Hà Nôi - 1999


Mục lục

C h ư ơ t i g 1 i M ạ n g n ơ r o n là g ỉ ? 5
[. ì Phân loại mẫu 5
! .2 Học và tổng quát hóa 7
1.3 c á u trúc của các mạng iKfron 8
1.3.! M ạng nơron Boolean 8
1.3.2 M ạng nơron m ô p h ả ig s in h học 10
1.4 T ổn g kết 13

*

Chươtig 2 Adaline 14
2.1 D ậy và diều chỉnh trọng số 14
2.2 Luật Delta 18
2.3 Các giá trị vào và ra 23
2.4 T ổn g kết 24

Chương 3 Perceptron 25
3.1 Perceptron m ột tầng 25
3.1.1 Hạn chể của Perceptron tầng đơn 27
3.2 Phân tách tuyển tính 28
3.3 Truyền ngược 32
3.3.1 Hàm hoặc-đảo 38
3.3.2 S ô tầng ẩn 4 0
3.3.3 B ộ phân loại số 4 0
3.4 Các biến thể khác 41
3.5 T ổn g kết 42

Chương 4 M ạng nơron Boolean 43
4.1 Chương trình của Blecboe và Browning 43
4.2 W IS A R D 45
4.2. ì Mã hóa các mức xára47
4.2.2 M ổ sẻ m ột số khía cạnh của WIS a R D 47

2


4 . 3 ư u đ iế m ci'in v i ệ c n ổ l n g 3 u n liiC n 4 8

4.4 r á c nghiên cứu khíc 52
4.4.! riu^MliAi 52
4.4.2 Dậy nhi?u 53
4.4.3 Các lìúl Idgic 53
4.4.4 Các mạng xác
'l.5 T < ỉn g k ể t5 4

'

C h iíơ ầ iR 5 M

ỉịiir

54

kểt

h ộ nhỏ" v à n i ạ i i g p l i ả i i h ổ i 5 6

5.1 Ma Irện liọc 57
5.2 M ạn g I lo p ílc ld 6 0
5.3 NSng ItíỢnp

5.3.1 Dổi xiíng (Ịuay IsinR n
5.4 M ạng H nm niing ÍÍ9

5.5 I,iẽn kểt bộ nluí hni cliiẻu 71
5.6 T ^ g k ể t 74

CluAmR 6 IMọng Xíỉc «1IÍÍ( 75

6.1 M áy n o lt /m a ĩt 7S
6.1.1 Một tiiạng mỉ\ii 78
6 . 1.2 D ậ y m n y n o l ( 7.m n ii 8 0

6.2

M áy Cnnchy R2

6 .3 P I - N 8 2
6.4 1YỈng kẻt 84

Clnf7.1 Các mạng Instar vn Oiitslnr 86
7.2 F)ịiỉli lý tạo tiểng dội thích lỉng 91
7.3 C á c m ạ n g K lin lio n e n 9 6

7 Â Neocogtiitrnii 99

7.5 K^t luạn 102

Cluíntìg 8 Mạng noTnn (rong ílịền klnểii lUííy 104
8.1 Các hộp Michie 104
5


8.2 Tăng cường học 106
8.3 A D A L IN E 109
8..4 Perceplron đa tầng 110
8.4.1 Nhận dạng hệ ihổng 1 ĩ 1
8.4.2 Điều khiển vòng lặp mở 112

8.4.■; Tăne cường học dùng A D A L I N E .U 2
3.5'M ạnc nơron hồi quy 113
8.5.1 Học bằng các thuật toán di truyền 114
8.5.2 M ạngE lm an 115
8.6 Mạng Kohonen 116
8.7 Tổng kết ỉ 17

Chưofng 9 Logic ngiíỡng 118
9. l Một phép kiểm tra sự phân tách tuyến tính t i9
9.2 Phân loại các hàm loeic 122
9 .2 .1Các mạng nơron có bậc cao 125
9.3 Các hàm logic nhiều ngưdng 126
9.4 T ổng két 127

Phụ lục A Từ vựng 130
Phụ lục B Sách tham khảo 133


{ lllítHI

C liiio iig
M íu ig

hỏi {!<)

1

n c iir a l la

ỉ)f\y là cfln liói (tầu liên nin lìiọi

I

g ỉ?

íliU(iiig (tại in. I)ể Irả l(’íi (lỗ (Inng

nên Inch c Am

lini pliAii;
V ì .s(to l ợ i r ó / / ' n y ọ i VĨỌIÌỊỈ, i K i r o i ì ?

M ạng ndron (m ạng ihAn k iiili) là ỈCn gụi củii inộl mạng nổi các phAii ui lại V'('íi
Iiliau. C ác plií\ii u’í nny gọi là c:íc iKlion (lo clniiig (lược Síing (ạo biil iigiiAn lừ vìộc Iigliic.n
críii hệ lliổng

kiiih sinli vẠl. N(')i cíícli kli.íc, mọng iKíron là mỌl sự có gẳng nliằm lạ «

ra c á c m á y m ó c h o ạ t ( l ộ n g g i ổ n g V(')i cíícli lioiỊl d ộ n g c ú n b ộ n ã o c o n ngiícìi bhiig c n c h sìií

(lụng các phâii lử hoạt dộng giAiiR Iìlì\f các (lAy lliAn kinh sinlỉ vật.
M ộ t m ạ t ì ^ Iiiír o n là m (ỈÌỈỢC vi/ĩc g ì?

M ột mạng iKlron C() chức nSng lạo rn inộl tnSii (niAii ra) klii (liía cho nó niột 111
(inííiii vào). K liái niệm này li(»i (rửn iượi-.p,

vẠy In sẽ mỏ tả (liíííi clAy niộl Im ng cá c

liniib ( l ộ n g qiinii t r ọ n g nh.il IIIÍI IU) lliực IiiỌn (liíỢc

phAii loại nilỉu. 1’hAn loại m?íu In q i i á

Irìnli s.^p xép các inítti lliriĩili cnc nli(')m kliííc nlinii.

I . I r i i r i i i l o n i i i iAii

K hi bạn (lọc cííc (lòng Iiíiy, liộ n:u) n líi liíin (líinp Ịiliiii Siip xép cííc lỉii

liiộti nhíìn (ừ m l\l

bạn. D o vẠy, n() iihẠn rn cflu rỏi cả tloạii vỉíti... f !nnh (lộng nlìện dạng tửng chiì cái riCiig lé là nhộn (lạng lìiAu cự,
cnc ký lùệii IrCn lin iig sncli liỏ lliànl) ctíc inỉHii cAii plini nliộn (lụng.
ĩ)o quyến snch này In Síícli iii, rnc t liiT rríi (lẠn llmộc tnỌf tnặl cliíì nào (ló. M(’)i vẠy
lốt cẴ các chữ (hnỌc inộ! inlỊt clnT

kỳ (ví (lụ tilní tí\( cả các cliơ n) tlồii ríil gi<*>ng Iihati.

C ó (hể (lễ dàng tliiét kể một cni inny nhẠii dạng (tiíỢc các cliíl a, và cni iniíy này chỉ cí\n
nhận (lạng inột mSu tnn lliAi.
! ) i ề u gi x ẩ y m n é n cliiíníi ta I i mổ n xAy ( lựng m ộ l c á i niííy clọc diíỢc cnc c l u ì v i é t

lay? v ổ ii (lồ In í nên khó kliỉlii li()n ImIì vI c(Í rííl nliiỗii (lọng klinc nliíni, (lù cli! líi của mỌl
tliíT r!Íi. R íil klió Hrn

Cfíc (!ỈỊo Iníng fh(» lửt*g ( Int. 'I'a plìíỉl xíìy (lựng một lẠp cóc (lặc

I ơng (lníởiig gạp. V I (lụ tổt cả c:íc kiếii cliiT kliríc nliíiu cna cluT a sc plìíu (lược gộp llùiiili
một Iiluíin. 'I iídng fự như vậy (n sc C(í (Ổ|1}» cộng 2 (t lộp cho (ál c;'i các chữ cni (liếng
Anh). M ồ i mội fẠp chữ c;'ìi p,ọi l.ì mộl

HHy

Víic ílịnli (liíựr l«íp lif(tnfỉ líiiR (lối ''('li HỊỗi lìiiíii v n o

IIIMII. v?\n ròtỉ
c Am

klió

Iihuiip

líi |>linì xíìy ílựnp một
(fAy c h i n h In m ộ i h ộ pliíìn l(íp t'!Íc

(liK Hiiic, ịiliỊU' thíụr

v) Cííc Iiiiín víiti kliỏiig

p fiả i kli('ip h o n n í o à n V('ti Iri"! t l i ữ C!Í| n:i(i (l(í t r o n g i:in n . '1 rái l ạ i , c á i t n n y n n y c l i l c n ii

(lỊnli r^ng ni?ÌM vno tiny giổiig cno lliíiiili ỊihAn củn một lí'ip nny nhiều luiii các I(Í|1
klipc. N h i ệ m VỊI n à y cí i ti g klin (1(in giỏn.

5 '


...... .

k ỉln{)iiị^ I

l,ợi ícli của viộc dủiig C.IC 1(IỊ1 iiiiUi liong bài toííii này là inộl chữ Cííi viổl lay vói
r;1l nlii^u bién tliể, (lưục hộ l|iốtiỊi (lục v;u>, llii mộí chữ cái iii clược (hííi ra ỏ (lủii ni. Nói
(. n ch klióc, ta (!rí c ó i n ộ l liệ (liổnp clni)'ếii (Iríi lừ c h ữ cái v i é t tny s a n g c l i ữ cói in.
N liiề u bài (oán khííc cfm g C() tliể (lưọc giải (Ịd yổ t h ầng cách phíìii loại innu. C ác

hài ( dá n n ny lliií(''!ig liôii <Ịu:ni f l ni v i ệ c nliẠn (IniiR m ộ t s ổ lliứ m à k li ôi i g (liể m ô l;1 h o ặ c
liêl

íonii b ộ

VI (In nltif Iihộn (lnnfj k l u i ỏ n niỉtl, (lổii víìn (ny, pliAii biộ( p i o n g iKÍi,

( ' n r h ệ tl iAnp, n n l o n n CMUIP

(MHIỊỊ kliAnp,

r n n l i 1x5(1 (i KỌr

v ỏ v . i n ( l ề p i bí^l l))\f('liip x í ỉ y ra, m à

x;í<- (lịiili (!ifỢc lnf('tc (!(í là cói gi.

v ề npnyẽi) líic, mộl luiioii c<) lliổ (iiRtc (lùiiỊi (lể giải (Ịuyél lioiỊc lliực liiộn Iiiộl hni
I( ì ;í i ) n ổ i i b n i l o í í i i (1() C(í ( l i ổ ( Ịi i y v ồ i il i iCii i VỊI p l i An l ớ p Ii i í í n. M ộ l s ổ I n í ỏ n g l iỌịi k h á l(')n

C(> lliế Inin (lược như vẠy. Clitíc MÌÌiip củn mniiỊỉ ndron In iiIiiỊn ĩn/iii vào và lạn lìiỌt mí\n ('l
(lí^ii rn (liíiig V(')i pliAn l(Kii.

Nluí vộy C() lliổ Ii()i I?ÍI1P. inộl IKIKIII l;ì mộl hộ |iliAn loại inílỉii. VẠy cAu liỏi (!iỊl rn

là c ó phni Ic4t Cíỉ các bộ pliAii lo:ii innii l;'i iKtmn Iiny khAiig? K h ỏ n g phải như víìy, 'l a sẽ
cliỉ ra <’» {lií(íi (líìy.
C á c !i (ổl nhíil d ế giíỉi Ihírli (liồii Iiòy l;'i xcl i nộ l ví (lụ nl ní SÍUI. I l n y
(n ( ;*in plíải fạ(i mộ< Cííi inríy (l ọr dư ọ; ' c:íc

tiíỢnp I;'|

('(111 sA li'f 0 (lổii 9 I r o n g tìỉỌI vỉln bííii. C n c c o n

sí*) C(') lliể (Iược (lííiili liiííy Itny virỉ Ííty, vò cluíii|ĩ C(í r.il nlnỏu kiến, cO, lnf(ínp kliííc nlinii.
Ví (Iti ĩilní ííổ T ỉronp, liiiih I . I

(!Ty <■(> i:1l

liií^n liiỌn.

33^d3
ỉ lình ì . l ( 'óc hi A i ìììỌìi n ư i s ố 3

V ( ’)i bíit CIỈ h i ế u liiỌn n:'u) r ủ a h ì n h liCii, In n n i ổ i i m n y (lồii plini I m lỏi nliií nlinu,
cliỉ r a (lơỢc In s ổ 3 clã (!i(Ợc (!ư,'i v à o

v à d . NliU v ộ y tn c ó t ! i í Ii()i n*ÍMg l ỏ n tại c á c !(ìp

c liữ c ái , vl d ụ nliií lt')p C 3 clu) srt 3. Klii m ộ i chi ì s ó 3 cliíỌc cliía v à o ilAu v n o , m á y n à y t rả
lỏi bííiig c á c h h á o r ằ n g clà c ó m ộ l lliàiili viOii c ủ a I(Í|1 C 3 clưực cliía Víio.
C ó lliể pluít triếii ví (lụ này tlìổMi m ột chúi. H ìiili 1.2 clu) tliily S(l (lồ k h ố i cỉia tnííy

d(). ỉ)ồli v à o là m ộ l n n h s ố , ilược cliin (hniili m;i (lẠii 8 xR (liíiii. I)(ì tnn liẠn ít (liếm nOii
ảiili cún các COI) s<) (rô ng lidi lliA lliiế ii iiln íiiỊi cnng (Im (lổ pliAii biỌỉ 10 con Rổ vi')i lìluin.

I'Ọ Iiliií (lí^ ('liiín r;'ic 111^!!. v < ’li k íc li llnf('lc R x 8 v;')

!>(? gin i bài lo n ii. I;\ cAn .'ìở
m ỗi

ró ||)(f l;i

hny

tn .sr (■()

CiA

k liiíc Iilirm , Ino in

7/”* liíiy

1.8y I ọ '” Iiirln v;Vi r ó lh('^ C('» I )() Ii:'iy c q k íc li tliif(k íl Iili/il l;'i 10 Iiíl (lo ỊilvMÌ biổii ilic ii 10 gi;í Irị m khác Iiliíu i. (ÌÌM sử néu
C'<) loọl c liíp Iiln l I ( ỉ l i i l , lliì (:i

cần (t|i I 70 li iỌii cliicc.

6


(1_.-/C I c Iin

ỉinh 1.4 C ác
nẫu s ổ 3

SSẼ”
8.SB


c hìidìiỊị /

Dí^n rn ci’in h(^ii llinnli I ^ A M (!('» ( Iưụr n ổi V(ìi liỌ ííing. Nổti e:'i liốii R A M n à y tliín

1 1lliì

(lần ra l()iig có pÌ!Í Irị cực (lại líi

Nốii clil có Ini RAM dưa rn I , c;íi còn lại 0, llii

(U ra t ổ n g l à 3 v à Iiiẫ ii v à o c h íỢ c n(')i In g i ổ i i g 7 5 % m ộ t Icìp n à o d ó .

V i ệ c h ọ c (liỗn m b?íng cncli clio liộ lIiAiig x c i n inộl, I r o n g c á c

đ ã clược phflii

hi, vỉ (lụ s ổ 3, v à (lạt 1 VÍIO b/ni vị li[ b/) nlu') I n i n g b ộ pliAn b i ẹ t Í5ố 3 v ớ i clịa c h ỉ ll ico
(II v à o , n l u í t h ổ y ỗ liinh 1.3. C; í c liộ

c ủ n c á c b(\ pIiAn biộl kli.-íc k h ỏ n g lliay clrĩi.

N ổ n n l u í c h o l)Ọ l l i ổ i i g X(,‘I11 V iu m S n c u n COII s ố 3 , m ỗ i m í í i i C(í C ỉ k v ị l f í

tnu. Snti klii (!Ạy xoiig, mộỉ niAii

VMO

(!if(lc nliìii iihẠii Im kli(’)p

V(ìi

1 klií\c

mộl trong cííc ni?íii (in

le, (lil (lAn rn ("’in inAt !n'iip c:íc l'Ạ pltAii biọi I|(’| lliMiili ctíc (lọi. MỌI

sA hộ pliAn biỌl

l
CÍÍC Iiiíín, nhifiif;

p,iốiifỊ nlinn piữn

(1II1Ị> Ịilini I i l i ỏ l i d n f>iii Irị CIÍC (Irii.

M ộ t diỊc (liếm tliiì vị củ:i liỌ (hổng là I 1() cú lliế lổng quát clưọc. ỉ l i i i l i 1.4 (;i) c lio

l\y hai m ầ u ciỉa s ổ ,1 (lã ( l ù n g (lể (lẠy Iiộ lliuiig. MìỊc (lù hộ tl iổ ng c h ỉ (lưực h ọ c hai ví d ụ ,
I c ó t h ể c ó (lển 16 inSn Vĩio kliíic mIkui líun cli o

rn c ó g i á Irị c ự c (lại ( t ư d n p ứ n g với

4 vn C(í 14 in^ii t r o n p s o (1(\ hộ (li ổnp clnííi liỏ Iiliiii lli,'^y lrif(')c (ló. n ổ n Ir o i ig s ổ (ló b i ế n

di) ('l hìril) 1.4(b). MtỊc clìi cliiíiig c ó liiiih í l ạ n g r;1l lliỏ tliidii c ủ a s ố 3, Ihl c ũ n g víín g i ổ n g
cti s ổ 3 lutn b á i k ỳ s ổ kliác. D o il(), liỢp lý c h ú n g pliMÌ d\f(,)c pliAii loại n h ư là s ổ 3.
Nhvf v ộ y , W Ỉ S A R n In Iiiộl ví (ItỊ vổ m ộ t b ộ ịiliAn l(íp c ó tliế Iiọc vn l ổ n g qiitU

tíợc. C liú n g có cric hnii clié iniì cluìnp In sc (lỏ cẠp (lổii /í chikỉMR

Ỉ3.2 IMíịiiịị n o T o i i m O | ) l i ỏ n j » s ỉ i i l i l iỌc
liủii l ú n c á c k i ể u k h á c nli au c ủ a m ọ n g n d m i i , n g o ạ i trừ m ạ n g B o o l c n n , t lư ực xAy d ự n g lừ

tc phầii uỉí dựa llieo niữ liìiili ndroii siiili vỌl (loMc Ciilloch

và Pills (1943) sáng lạo

lỉnh 1.5 c li o I há y m ộ l S(1 clA c ủ n i n ộ t m l r o n M c C i i l l o c h Pi lls.

Nó có

ni.

CÍÍCt lầ u v à o k í c h

lícli A’ (excitory) và các (lầu vào ik clié ỉ (iiiliiiiilory). Các clí)\i vào kích Ihícli l:'tni cho
liron tr ỏ n ô n luíiig plií^ii h a y "pli;il h ó a " ( l i r c ) , CÒM c á c clầu ra lỉc cliố lại n g ă n c á n n d r o n
líiig pliíln. cl ií iil i Xííc luln, Iiốii C()
(fỌc IIIÔ lả h ằ n g s ổ Iiliị

0

gi ; í Irị l à 0 .

ci'f (liìu v à d ứ c cliố Iino claiig h o ạ t clộiig ( ( lii íỏng

1), llii (lí^ii ra, (liínli nli ãn líi

s ẽ kl i ôi ig li(iạl d ộ n g dưỢc liny

T r o n g I n í ờ n g l iỢị i k l i í t c , n ổ l i

II cn c:íc (I.Au vào líc cliổ l:'i 0, v;'i Iiổii (rmg

0 (‘

vàn kích lliícli l(íiì h(tii MIỘI f>i:í Irị 7’

lut (ló ( d i r c s l i o k l - gin Irị ní >ưnng) ỉliì (lầu tn
1

(ỈỌiig ( a c l i v c ) liíiy n i n n p giíí Irị

I.

liếii l l u í c l o í í i i h ọ c Iiliií snt i:

ĩỉin h ì . ĩ N ơ r o n M c C tillo c li
Y ^ 1 n ốu

I, - 0 vỉ\

Í'^I > T

Y - 0 nốii klinc nliií (rOii

^ 0


/'Mí >//_V ,

Ndmii Mc Ciillocli l’ills In inO Iiìiili (lủn liGii cổ piítig mỏ lả Cíkli hoạt (lộng cún
Cííc ii()rofi sinh vột. Dièu lliú vị In cííc MdroiiIiiìy có (liổ (lược ché lạo lliMiih bí^ng các
logic nodlean lliAtig tlníỏng Iiliií /i A N D n

{A

A ỉì), A O R ìì (À

cíĩng

V ỉ ĩ) và N O 'I’ /í

l ỉiiili 1 .6 c h o Ihổy c á c lulroii i nm (liồu n òy Iilití tlié nno.

Các khói cán kiội! củn c:íc Iiuíy lính Iiìiih lliưỏiig là cííc cổng logic. ( ’ác cOìng này
In ciíc lliiốt bị cliộn tủ (Iiực liiộn c:íc plió|i tíiil) loỊỊÌc như niỏ lả ("Ì IrOii. lì(ìi vẠy, c;íc' tidron
C(ì ( hể lioọl ilộiig Iiluí ciíc tf )i ig I(1Ị>ÌC. Tn C(í

Ihổ

I hổy n^iip,. h ộ iiHd

(lược xAy ( l ự n g lử hítiiíỉ

liiộii iKlron, pltỉỉi là mội cni niny líiili í'\k' I()I1 .Như vẠy, Iiéu có ílủ sổ liíỢng ndioii Mc
Ciillocli pid'! líỉ I'lní(' llinnli Iti;' lliniip, rlniiii', có l!)í^ hỉ^l c.luííìc c;íc cliríc nỉliig r.nn h o IIMO.
Nhiínịi (•() I? (!() clitÍM plini hì íliik' K' hìc iiMy (lo c;íc ndroii (!(’>còn lliiổii klin nỉlng liọe hoiỊc
lổng (Ịnál.

Dã có nliiều l)ién tliế cỏn mỏ liiiili ngiiyổn
lliủy Iiny. Mộl Iroiig sổ (i(í In Ciìci Von Ncnniniiii
(I^)'i 6 ), Oiig (!ã (lưa r:i (lí liídng I;ị() các. (I;ui v;ui líc
ché Am, Diều này có nghĩa In, dể líim clio (lầii rn cTia
một ndron liiíng phán lioSc phái luỉa, (ổng cnc dầu
v à o k í c h t h í c h Irìí di t ổ n g c ó c (!nu v no i'fc clié pliMÌ

l(ín li()n giá trị ng\f(1 iig. Biíík 1 i(?p thcc/, ònp (lifn r;i
"Irọng sổ" (wciglit) cna lìiỗi (lAii v;u), (.'ííc li( 111)1 sổ
n n y l à c á c s ổ l l i ự c V(')i r ắ t n l i i ồ i i g i ; i Irị kli:'\c n l i í i u ỏ

vào, (lo (ló cAn lííy trọng sổ cúa c;íc (lAii vào
tnf(íc khi cộng chúng lại.
M ộ l t r o n g c á c m ạ n g n d i o i i (liíỢc Xíly clựtig

S(’1|T1 nli;1( V(íi các ilầu vào C() (íiili Irọiig sổ I:'| AỈ)Al,INI',, clo Wic!ro\v và llolTpli;U triển
(1^60). Cni (ôn ADA1,INI'. In viét l;1l của eác lử A(!:i|itivc Lliicar Ncurdii (nơron (liiycii
lính lliích nglii), sau này dổi Ihniili A(l:i|Mivc Lincnr Klcmcnỉs (các pliần tỉí Uiyốn lính
I h í c h ngiii). I l ì n h 1.7 c h o tlií\y i n ộ l I r o n g c á c Ị-iliần u'í cíia nó.

M ỗ i m ộ i pltiln iTl, Itny inir on, C() nliiỏii
(Inu VÌIO C(j (lid c ó CÍÍC giíí Irị I 1 lioộc

1. D i ồ u

n n y kliííc V(')i iK)roi\ M c C^illdck l’ it(s C() C!ÍC

gi:'i Irị dầu vào là 1 hoặc 0. Mỗi iiiỌl (l;ui v;'io ,v
có

Irụiig s ố

»I' l à c ; í c g i n

trị (|U.1I1 t r ọ i i g c i ’i;i

IIKIHỊỈ lulrcMi, 'IVọììg ííA C(í lliể .h((lnỊ> lidSc Alll
vn piíí trị là sổ tliực. Klii một

111*11

(!ược
vno cnc (lầii vào, tíỉiig trọng sổ, gọi In ncí,

Ị

Ị

(tưỢc l í n h lilí ii g c á c h Iilirin (líHi v à o Víi I r ọ n g s ố

Uídng <ỉpg của nó rồi cộtig t;1l Cíỉ CÍÍC két qiiẬ V('ii nhíiu.

7 Một pìu^n íủ' của A D A L IN E

i.hìíónịi I

Ng Uỏ i ta tl iôm v à o m ộ t (l.^u v n o (lỉỊc biột và t r ọ n g s ố c ủ n nó, gọi là x„ v à Ii'n (!ổ l ạ o
ra I11ỘI hi^ng s ó b ù (o(Tscl), I r o n g clỏ x„ tlược gáii c ố dịnli !à I 1. N ó t h a y cl)o g i á trị
Iigtíring dùng trong l u lr o n M c Cii lldcl i - Pilts. Giá Irị Iiel i lược c l iu yổ n clổi lliànii g i á trị

(lAn m ) ' qua một hàm ra kliAng tuyéii líiili, lỉàin n:'iy clio ra giíì Irị

11

néu lổng liụng sổ

l('iii lidn 0 và -1 nổu tổiig nliỏ Iu)n hoặc hằng 0. Kiổii kliOtig luyén tínli này clược Rọi là
I11ỘI b ộ giói h ạ n dií('li (liarcl lii ni tcr ), clược (lịiili n g h ĩ a Iilut snu:

y - I nổii net > 0
y = 0 néii net < 0
*

V ấ n d ề rất qiiaii I r ọ n g dối V()i tliiét bị n à y v à c á c m ạ n g nrtron k h á c là c h ọ n c á c g i á

trị Irụng số. Ta sẽ clề cập dén các chi tiél của qiiá trình Iiày trong clnídng 2. Việc chọn
các trọng só pliải làni sao clio clầii ra là I 1 hoặc -I UWiig ứng vỏi nic^u vào.
Dể dậy mạng iKiroii Iiọc, củii pliải clio nó xem một lập các niílii vào mà bạn tnuón
pliíìn loại, và clẩ cho các Irọng só ciàu xép lại Iheo cácli nào cló mà cuói cùng tất cả các
inẫu dang học sẽ tạo ra các dáp ứng mong miiổii. Một ndron cUln sẽ có khả nỉlng tạo ra
các clầii ra I I hoặc -l líiig V('ji

111.^11 vào có

llmộc một lớp nliẩt (lịnh nno cló hay khỏng.

Nểu ta giải qtiyél v<4ii clề Ịilirni loại CÍÍC cliữ s ổ từ 0 (léii 9 như trong A D A L I N I Ĩ llù
íl nliấl p h ả i c ó t m íỏ i n d r o n , m ỗ i iKlron iiliỌii ( lạ ng cliĩ clio m ộ t cliữ số. V í d ụ p hả i c ó m ộ l

lulroii clniyểii thàiili kích hoại klii có số ^ clưa vào dần vào. Các trọng số Irong nđron cló
s c tlược tlặl k h i s ó 3 XLiát hiỌn, l ổ n g c á c t r ọ n g s ố s c l ỏ n hcln 0 c ỏ n k hi c á c s ố k h á c x u ấ t

liiỌii llii lổng Irọng số sc nliỏ hdii 0. Nổii iliín vào inộl m.^ii Iiào tló lịii không pliíỉi là chữ
so, llù Itộ lliổng lioỉil (lộiig sẽ Idiriiig (liế iKíỉng Iníớc (iiíỢc. Nluíng nốii t!() là ITIỘI con sổ,
I1() sc Ịilini cliíỢc phAn loại cliinli

x:'ic.

Ilệ Ihổng này cíing có tliể lổng quát ilitợc - bằng cácli clicu chỉnli các trọng số sao
clio lộp CỈÍC mỉ ỉ u v à o c ủ a c ù n g m ộ l k í p s ẽ t ạ o m c ù n g m ộ l tlđii ra t ư d n g tíng. l . à n i Iiliií

vẠv, (lì nliiôn sẽ có các mỉĩii kliííc (Iiy clnín (híỢc (lệy cííiig sẽ clược pliíìii loại cliỉnli xác.
'I'n C(í lliể lliáy (Ịtin ví (lụ (!()I1 gián V(íi sổ 3.
Mình 1.8 cho lliÁy iim Irậii (liểin ci'i;i số 3. Cíic sổ I I v;i -I (hạic sử dụng hiển clìỗn
c lu ) CÍÍC ( ! i ể m ( l e n v à tn 1 n g ( l í d n g t í ii g V(íi íinli s ố .

Mội pluídng pháp khííc (lẠy mộl innng luỉroii nluỌii íiụng

^ lí'> giíii gÌ!Í lii "l clio

CÍÍC Irọng sAliídiig lÍMg vỏi tlilu v;'u) Irìíng, Ví'i I I litdng ứng V(')i tlủu vào dcii. Snii khi gán
c;íc Irọng số

I I, -I rồi Ihì mỗi niộl dầu vào Irọng sổ có thể là -1

I . 'I ổng của các ililu vào trọng sổ lu i là 64 Vlii
63, thì (ổiig

Irọng só là 64 63^1, k'iii h()n Ví'

X1

- 1 hoặc -I !

X

I I =-

VcKi l;ì 3. Nốii pliủii l)iì II',; (li(Ợc (lặl In ra clầu ra I I sau

khi

qua bộ hạn dưỏi.

BAy girìị, Iién bất CIÍ inỗu vào nào kliííc xiiíll liiộn, (ổng (rọng số sẽ (lạt dổti cực elại là 1,
^2/


v à c ó lliế lụt x u ố n g clốii - 1 2 7 , vì vẠy (lủu ra s ẽ là -1 V(')i (ắt c ả

các niềiii kliác. Chỉ có số 3 sẽ tạo (!ifcic mội sổ M ỏ dầu rn, còn
V(íi m ọ i

mẫu

k h á c là - 1 .

Vậy, liệu một m íu hơi khác sổ 3 có lliế (híỢc nhện dạng
kliAiig. Ví tlụ như một ảiili có niộl bít bị sai (dcM Ihay cho trắng
lioăc Iigược lại)? Illiih 1.9 cho Ihí^y niỌt
S (1 g.^ii sổ

.1

vf

(!ụ vồ tliồii này.

tló có mộ( bíl sni sẽ tạo rn tổiig trọĩig sổ là

62. Sổ Híiy (lược llin b^ng cácli líly idng củ:i l<4l c;ỉ các trọng số
mn (lầu vno có cniig giá Irị Uíclng líiig I I lidiỊc 1 và inộl Irọiig
s ổ s a i kl i í í c, cli o ta ( ổ n g ( r ọ n g s ổ là ( 6 3 X I 1) 1 ( 1

Khi lí^y bìi,

X -1) -

-1
-1
-1
-1

-1
-1
-1

-1 -1 -1 -1 -1
-1
ì ;
-1 -1 -1 -1
-1 -1
-1 -] -1 -1
-I -1 -1 -1
-1
-1 -1 - Ị -1 : 1

Ùi ê
lí
Àms

-1 -1
-1 ±
-1 ■1
-1 -1
-1
-i -1
-1 -1

1 -1
i
i i âi
iL

il

r>2.

== 63, llil hiộii là -1, bé luỉii 0 và tạo ra -I ỏ dầu

Hinh 1.8 Anh .sô 3

ra.
Nếu giá tfị của phầii bìi )t'n (lược ginm xuóiig còn

6!

lliì giíí trị của ĩieí dổi vrii sổ 3 có sai sót (ló In I v.ì (lầii Ví\ là
I I. c ò t i s ố 3 cliiiíin tạo rn m ộ t s ố n r í Iìi()i V(')i girí trị iiKÌi c ủn
Un, v 3 n c h o (!,^n ra I 1. Nl ní vẠy, b ầ i i p cncli lliíiy (líỉi g i á trị

llil íiili

3 clniẩn và ánh sổ 3 bị sni

111Ộ1

11’„,

hlt (1^11 (lược pliíìn

loại tlúng. Rõ ràng là hẹ lIiAiig cliiín liề (lược Ili.iy tíít Cíỉ cííc

kliổ nỉlng cua Anh có một bỉl 1^)1, nhưng nó có lliế lổng quát

cliỉ qua một ví dụ,

-1 -1 -1
-1 -1
-1 -1 -1
-1 -1
-1
-1
-1 -1 -1
-1 -1
-1 -1 -1

- 1 - 1 -1 -1
-1
-1 -1
-1
■1
-1 -1
-1
-1 -1
-i
-1
ế 'jv,x
-1 -1 -1 -I

ắ ểâ
ũá M
i
ẳĩ
i®

ắ ì-

-1
-1
-1
1
-1
-1
!

Hi/ili 1.9 Ảiih ,vô 3 với
I !)it hỏng

1.4 '1'ổng k ế t

Cliiíclng Iiíiy dã cho cliitiig la lliáy rầng,

CÍÌC

mạng iKlmn tno các mííii ra khi cho nó các

iiiỉÍm víio, vn một Irong cổc líiiỊỊ (lụng clilnh (Iiian Irọnp nliíít của IKÍ là pliAn loại IIIỈÍII.
M ạ n g n d r o n c í ĩ n g c h o Ihổy clníiiR c ó t i i ổ l iục v à l ổ n g (Ịuríl lioíí. Di èi i Iiny c ó Iipliĩn lò
c l i i i n g C() ( liế c lư ự c (!ộ y clổ p liA n lo ụ i CÍÍC m iít i hi^íiig c í í c l i c l i o c l u ì i i g X C III c ; íc in ílíu clụ i (íiC ii

(liícli hỢp.
Còn nhiều lính cliííl khác của mạng iKlron còn cliita clược clề cộp (lén cũng rál
qunn trụng. ’l’rưOc liôn là chúng có klniynh hưúiig làm viCc song song, công viộc cl íỢc
pliAn bổ cho các pliần tif xil lý. Diồii cló !àin clio nụiiig iKlron còn có mộl cái (On khác; các
hộ x»’í lý pIiAn (án song song. I^ợi ícli của viộc xi'í lý song soMg lìi kliả Iiỉlng xử lý ỏ l(K {lộ

cao. I,ợi ích của viộc xiĩ lý pliíín tííii là Iniii viộc ỏ một cưỏĩig dộ xác clịnli. Viộc này lao
cho Miạng mội clăc línli gọi ià "pliAii tán Iihọ" (lo Iiéii niộl phần chức nìliig ciìa mạng bị
h ô n g , (liì l o à n b ộ liộ t h ố n g v ẫ n c ó lliế ltoạ( ( l ộ n g tiốp (lù k l i ỏ n g lliộl lốl. N g i í ỏ i In g ọi (1) là

kliiiynli lní('liig kliíic pliục cliỗ liỏng.
Như vậy, mặc clù việc (ỉliig lổc (lọ Y!1 pliAn rã Iilic íl klii chíỢc (lồ cộp, t!ặc liiil cơ
h ả n c ủ ^ t ii ạ ng iKỉron V?ỈI1 là kliả Iiìíiig pliA)] loịii n i ẫ u li ôn c ơ s ỏ lử c á c I h ô n g lin Iiià n ó

(!ií(tc Ii'V' iOf niột Rổ niầu.

/5