Mạng nơron nhân tạo(neural network) và chuỗi thời gian

M ng n¬ron nhân t o(Neural network)ạ ạ
v chu i th i gianà ỗ ờ
(Artificial neural network and time series)
1. T i sao l i l m ng .ạ ạ à“ ạ ”
Có m t cách gi i các b i toán ph c t p l dùng “b ” “chia nh ra v ộ ả à ứ ạ à ổ đề ỏ à để
x lý” . Ngh a l khi nghiên c u m t h khá ph c t p ng i ta th ng phân tíchử ĩ à ứ ộ ệ ứ ạ ườ ườ
h ó th nh nhi u h con ph n t , nhi u ph n t n gi n h n tìm hi uệ đ à ề ệ ầ ư ề ầ ử đơ ả ơ để đẽ ể
h n. Tuy nhiên, nhi u ph n t , y u t n gi n l i t o th nh m t h th ng ph cơ ề ầ ử ế ốđơ ả ạ ạ à ộ ệ ố ứ
t p, v lý thuy t m ng chính l cách ti p c n d t c i u ó.ạ à ế ạ à ế ậ ễđạ đượ đề đ
2. M ng l gì ?ạ à
Có nhi u lo i m ng khác nhau nh ng chóng u c tr ng b i hai c uề ạ ạ ư đề đặ ư ở ấ
th nh : m t t p à ộ ậ các nút v m t t p các quan h , à ộ ậ ệ k t n iế ố gi a các nút.ữ
Nút có th l m t n v tính toán. Nút nh n u v o(input), x lý u v o vể à ộ đơ ị ậ đầ à ử đầ à à
cho u ra(output). Quá trình x lý có th r t n gi n ch¶ng h n ch l c ngđầ ử ể ấ đơ ả ạ ỉ à ộ
các u v o, c ng có th c c k ph c t p (m t nút c ng có th chính l c m tđầ à ũ ể ự ỳ ứ ạ ộ ũ ể à ả ộ
m ng ).ạ …
Các k t n i xác nh b ng lu ng ế ố đị ằ ồ thông tin gi a các nút, lu ng thông tin óữ ồ đ
có th l ể à m t chi uộ ề , khi thông tin ch truy n i theo m t h ng v l ỉ ề đ ộ ướ à à hai chi uề
khi truy n theo c hai h ng (thu n v ng c).ề ả ướ ậ à ượ
Nh ng t ng tác gi a các nút thông qua k t n i ã cho m t dáng i u to nư ươ ữ ế ố đ ộ đệ à
c c c a m ng, i u m khi nghiên c u riêng r t ng ph n t c a m ng khôngụ ủ ạ đề à ứ ẽ ừ ầ ư ủ ạ
th phát hi n ra c, tính to n c c c a dáng i u ó g i l ể ệ đượ à ụ ủ đệ đ ọ à tính tr i lên ồ c aủ
m ng, c a h th ng v chính i u n y l m cho m ng tr th nh m t công cạ ủ ệ ố à đ ề à à ạ ở à ộ ụ
nghiên c u r t hi u qu .ứ ấ ệ ả
3. M ng nhân t o v m ng n¬ron nhân t o ANN.ạ ạ à ạ ạ
Có m t lo i m ng c coi l lo i m ng ph c t p nh t, ó l m ng th nộ ạ ạ đượ à ạ ạ ứ ạ ấ đ à ạ ầ
kinh(neural network) c a con ng i. T 1943[1] Mc Culloh v Pitts v sau óủ ườ ừ à à đ
nhi u nh khoa h c thu c nhi u ng nh khác nhau ã tìm cách mô ph ng m ngề à ọ ộ ề à đ ỏ ạ
th n kinh, v g i l m ng n¬ron nhân t o(atificial networks), vi t g n l ANN;ầ à ọ à ạ ạ ế ọ à
t nay tr i, trong b i n y, khi nói m ng thì c hi u l ANN.ừ ởđ à à ạ đượ ể à
3.1 T b o n r«n.[2]ế à ơ

Tín hi u ệ c truy n i t n¬r«n n y sang n¬r«n khác c a n¬r«n thông quađượ ề đ ừ à ủ
các kh p(synapse), kh p l n v óng vai trò trung gian trong t ng tác gi aớ ớ à đơ ị đ ươ ữ
các n¬r«n. Khi tr m i m kh p, n u tín hi u m nh, ngh a l tín hi u ó v tạ để ớ ế ệ đủ ạ ĩ à ệ đ ượ
qua m t ng ng n o ó thì tín hi u ó c truy n qua m t kh p khác c aộ ưỡ à đ ệ đ đượ ề ộ ớ ủ
m ng n¬r«n khác, còn n u tín hi u không m nh, không v t qua m tạ ế ệ đủ ạ ượ ộ
ng ng n o ó thì tín hi u b d ng t i kh p ó. Thông th ng m t kh p l mưỡ à đ ệ ị ừ ạ ớ đ ườ ộ ớ à
vi c d i d ng bi n i m t tín hi u i n th nh m t tín hi u hoá v sau ó trệ ướ ạ ế đổ ộ ệ đệ à ộ ệ à đ ở
th nh m t tín hi u i n v theo thu t ng c a i n thì m t ph n t nh thà ộ ệ đệ à ậ ữ ủ đệ ộ ầ ư ư ế
c g i l m t thi t b có hai c ng không ngh ch(nonreciprocal two-portsđượ ọ à ộ ế ị ổ ị
device)
Theo Arbib[3], h óc con ng i, t c l trung tâm c a h th n kinh c môệ ườ ứ à ủ ệ ầ đượ
hình hoá l m t m ng n¬r«n, l m t h th ng g m 3 kh i(xem hình v )à ộ ạ à ộ ệ ố ồ ố ẽ
S R
e
Kích thích áp ngĐ ứ
1
Ti p ế
nh n ậ
R
M ngạ
n¬r«n
NN
Hiệ
u
qu¶
E
Hình vẽ
Tín hi u kích thích(stimulus) t c th con ng i hay t môi tr ng bênệ ừ ơ ể ườ ừ ườ
ngo i qua kh p ti p nh n R(Reciptor) v kh i n y bi n i nh ng tín hi u kíchà ớ ế ậ à ố à ế đổ ữ ệ
thích ó th nh nh ng xung i n truy n thông tin n kh i m ng n¬r«nđ à ữ đệ để ề đế ố ạ

NN(Neural Net), kh i n y x lý v ra nh ng quy t nh d i d ng các xung i nố à ử à ữ ế đị ướ ạ đệ
v chuy n các xung i n sang kh i hi u qu E(Effeetor), kh i E n y l i bi n cácà ể đệ ố ệ ả ố à ạ ế
xung i n do NN t o ra th nh các áp ng đ ệ ạ à đ ứ
e
R
(Response) th hi n d i d ngđể ể ệ ướ ạ
các u ra(output) c a h .đầ ủ ệ
3.2 Mô hình toán h c c a m t n¬r«n.ọ ủ ộ
M t n¬r«n l m t n v x lý thông tin, l c s c a thao tác c a m t m ngộ à ộ đơ ị ử à ơ ở ủ ủ ộ ạ
n¬r«n. Hình v d i ây mô t n¬r«n th k l m t mô hình c b n c a m tẽ ướ đ ả ứ à ộ ơ ả ủ ộ
ANN theo mô hình do Mc Culloh v Pitts x ng g i l mô hình MC.à đề ướ ọ à
l ch Độ ệ
k
b

0
x
so v i ng ngớ ưỡ
Tín
hi uệ
1
x
H m kích ho tà ạ
v oà
.
. y
k
Ra
. B t ng ộ ổ

m
x
Trong mô hình MP n y có 3 y u t c s :à ế ố ơ ở
M t t p các kh p có ph n t c tr ng b i m t tr ng s ( c tr ng choộ ậ ớ ầ ư đặ ư ở ộ ọ ố đặ ư
c ng hay d i c a kh p), c th l m t tín hi u ườ độ độ à ủ ớ ụ ể à ộ ệ
j
x
t i u v o c a kh p jạ đầ à ủ ớ
d i k t n i v i n¬r«n th k b i tr ng s ướ ế ố ớ ứ ở ọ ố
kj
W
; (
mj ,1=
)
1) M t “thi t b ” b t ng(ộ ế ị ộ ổ addu,∑) c ng các tín hi u ộ ệ
j
x
sau khi ã c liênđ đượ
k t v i các tr ng s ế ớ ọ ố
kj
W
do các kh p ti p nh n, d nhiên kích ho t n y cóớ ế ậ ĩ ạ à
d ng m t t h p tuy n tính.ạ ộ ổ ợ ế
Ngo i ra t i n¬r«n th k còn có m t l ch à ạ ứ ộ độ ệ
k
b
có t¸cdông nâng cao hay hạ
th p u v o c a kh i E ph thu c v o ấ đầ à ủ ố ụ ộ à
k
b

d ng hay âm.ươ
2) M t “thi t b ” ho t kích(Activation function,ộ ế ị ạ ϕ) gi i h n biên c ađể ớ ạ độ ủ
u v o c a m t n¬r«n, th ng c h n ch trong kho ng [-1,1] ho cđầ à ủ ộ ườ đượ ạ ế ả ặ
[0,1].
V y, v i n¬r«n th k, ta có ậ ớ ứ
2
∑
ϕ(•)
u
k
:=
kj
m
j
kj
bxw
+
∑
=
1
(3.2.1)
hay, n u coi ế
k
b
l m t tín hi u à ộ ệ
1
0
≡
x
, thì ta có th bi u di nể ể ễ

u
k
:=
j
m
j
kj
xw
∑
=
1
;
kk
bwx == :;1:
00
(3.2.2)
Cu i cùng, v i mô hình MP, ta có :ố ớ
y
k
=ϕ
)(
k
u
; u
k
:=
j
m
j
kj

xw
∑
=
1
(3.3.3)
Trong ó đ
1 u≥0
ϕ(u)= (3.2.4)
0 u<0
H m à ϕ(•) nh ngh a nhđị ĩ trên c g i l h m ng ng (shold function),đượ ọ à à ưỡ
nh ng n¬r«n có h m ữ à ϕ l h m ng ng th ng c g i l n¬r«n MP.à à ưỡ ườ đượ ọ à
D i ây, gi i thi u thêm m t s h m ho t kích ướ đ ớ ệ ộ ố à ạ ϕ(•) khác:
• H m tuy n tính t ng khúcà ế ừ
1 u≥
2
1
1
ϕ(u)= u+
2
1

2
1
≥ u≥-
2
1
(3.2.5)
0 u≤-
2
1

-1/2 1/2
• H m ch S (sigmoid fuction)à ữ
)exp(1
1
)(
au
u
−+
=
ϕ
(3.2.6)
a l h s góc c a hamg ch Sà ệ ố ủ ữ
• H m Gaussà
)exp()(
2
uu −=
ϕ
(3.2.7)
Ngo i ra, ng i ta c ng hay dùng các d ng b t ng d i ây à ườ ũ ạ ộ ổ ướ đ
• Tuy n tính ( i v i các tín hi u v o)ế đố ớ ệ à
j
m
j
kjk
xwu
∑
=
=
0
(3.2.8)

gi ng nhố mô hình MP
•
B c hai( i v i các tín hi u v o)ậ đố ớ ệ à
3
2
0
j
m
j
kjk
xwu
∑
=
=
(3.2.9)
• H m c uà ầ
k
m
j
kjjk
bwxu
−−=
∑
=
1
22
)(
ρ
(3.2.10)
Trong ó đ ρ l bán kính hình c uà ầ

Bây gi ta có th nh ngh a m ng n¬r«n ANN [3] l m t b x lý l n(m tờ ểđị ĩ ạ à ộ ộ ử ớ ộ
h th ng g m r t nhi u n¬r«n MP) c c u th nh b i các n v x lý “ nệ ố ồ ấ ề đượ ấ à ở đơ ị ủ đơ
gi n” (n¬r«n).ả
M ng ANN có ch c n ng c t gi “tri th c” có c t kinh nghi m v bi nạ ứ ă ấ ữ ứ đượ ừ ệ à ế
tri th c ó tr th nh s d ng c tu theo m c ích c th . M ng ANN gi ngứ đ ở à ử ụ đượ ỳ ụ đ ụ ể ạ ố
b não con ng i hai khía c nh:ộ ườ ở ạ
1. Trí th c c ANN thu nh n t môi tr ng thông qua m t quá trìnhứ đượ ậ ừ ườ ộ
h c .“ ọ ”
2. S c b n c a các liên k t gi a các n¬r«n, t c l các tr ng s kh p ứ ề ủ ế ữ ứ à ọ ố ớ
kj
w
ng v i tín hi u th j v o n¬r«n th k, c dùng l u tr các thông tinứ ớ ệ ứ à ứ đượ để ư ữ
ã thu nhân c. đ đượ
3.3 Nh ng u i m c a ANNữ ư để ủ
Vì ANN có c u trúc s v có kh n ng h c hay nói r ng h n, l kh n ngấ đồ ộ à ả ă ọ ộ ơ à ả ă
khái quát hoá c a nó, ngh a l ANN có th cho nh ng u ra h p lý ngay c iủ ĩ à ể ữ đầ ợ ảđố
v i tr ng h p u v o m nó ch a t ng g p trong quá trình hu n luy n(h c).ớ ườ ợ đầ à à ư ừ ặ ấ ệ ọ
u i m n i b t c a ANN c th hi n d i 4 khía c nh:Ư để ổ ậ ủ đượ ể ệ ướ ạ
• Tính phi tuy n. Do h m xây dùng trong b t ng có th tuy n tính ho cế à ộ ổ ể ế ặ
phi tuy n nên ANN có nhi u kh n ng phù h p v i nh ng b i toán phiế ề ả ă ợ ớ ữ à
tuy n.ế
• Có c u trúc ánh x v o-ra . V i c u trúc ánh x v o-ra nên ANN có th sấ ạ à ớ ấ ạ à ể ử
d ng tri t ụ ệ để thu t toán h c có th yậ ọ à ngh a l dùng ánh x v o-ra i uĩ à ạ à để đề
ch nh u ra sao cho có th áp ng v i ỉ đầ ể đ ứ ớ u ra mong mu nđầ ố , c ng có thũ ể
dùng lu t h c không có th yậ ọ à ngh a l dùng ánh x v o ra i u ch nhĩ à ạ à để đề ỉ
u ra sao cho đầ tr ng s kh p t c giá tr n nhọ ố ớ đạ đượ ị ổ đị (vì không bi t uế đầ
ra mong mu n).ố
• Tính thích nghi. Ho t ng b n ch t c a ANN l dùng các lu t h c ạ độ ả ấ ủ à ậ ọ để
i u ch nh theo di n bi n th i gian các tr ng s kh p do v y, v nguyênđề ỉ ễ ế ờ ọ ố ớ ậ ề
t c ANN t o nên m t h th ng có tính thích nghi.ắ ạ ộ ệ ố

• Tính dùng th l i. Vì ANN ho t ng theo các lu t h c v có tính thíchư ỗ ạ độ ậ ọ à
nghi nên v nguyên t c có th i u ch nh d n các sai sót do ó có thề ắ ể đề ỉ ầ đ ể
ch p nh n các l i, các thi u sót trong quá trình h c.ấ ậ ỗ ế ọ
V i nh ng c i m trên ANN ã c nhi u nghµnh khoa h c [2] dùngớ ữ đặ để đ đượ ề ọ
trong mô hình hoá m t l p r ng v o các hi n t ng trong v t lý, trong khoaộ ớ ộ à ệ ượ ậ
h c máy tính, trong sinh hoá, trong lý thuy t t i u[4], trong lý thuy t nh nọ ế ố ư ế ậ
d ng, trong th ng kê toán h c[5]. Trong truy n thông v nhi u l nh v cạ ố ọ ề à ề ĩ ự
khác[6] .
3.4 Ki n trúc c a ANN.ế ủ
4
Ng i ta phân bi t hai lo i ki n trúc c a ANN : lo i có c u trúc m t t ngườ ệ ạ ế ủ ạ ấ ộ ầ
hay lo i có c u trúc nhi u t ng.ạ ấ ề ầ
• ANN m t t ngộ ầ l lo i ANN có các n¬r«n ng th i l m hai nhi m v ,à ạ đồ ờ à ệ ụ
v a l n v nh n tín hi u u v o v c ng l n v phát tín hi uừ à đơ ị ậ ệ đầ à à ũ à đơ ị ệ
u ra.đầ
• ANN nhi u t ng ề ầ l lo i ANN có phân bi t hai l p n¬r«n khác nhauà ạ ệ ớ
g i l t ng th c hi n hai nhi m v nh n tín hi u u v o, v l pọ à ầ ự ệ ệ ụ ậ ệ đầ à à ớ
n¬r«n phát các áp ng u ra; gi a hai t ng n y có th có m t hayđ ứ đầ ở ữ ầ à ể ộ
nhi u t ng n¬r«n trung gian gi a, g i l các t ng khu t.ề ầ ở ữ ọ à ầ ấ
Tuy nhiên, nh sau n y s th y ch c n xây d ng thu t toán h c i v ià ố ấ ỉ ầ ự ậ ọ đố ớ
lo i ANN m t t ng còn i v i lo i nhi u t ng thì c ng l p lu n t ngạ ộ ầ đố ớ ạ ề ầ ũ ậ ậ ươ
t .ự
M t khác, khi nói h c, thì ph i h c ặ ọ ả ọ tri th c.ứ
3.4.1. Tri th c l gì.ứ à
Theo ti p c n ANN[7], tri th c c hi u l ế ậ ứ đượ ể à nh ng thông tinữ hay
nh ng ữ mô hình c đượ con ng iườ , ho c máy l u tr di n gi i, d oánặ ư ữ để ễ ả ựđ
v à áp ng cho thích h pđ ứ ợ v i th gi i bên ngo i.ớ ế ớ à
di n gi i c tri th c ph i th c hi n c:Để ễ ả đượ ứ ả ự ệ đượ
(1) Thông tin n o th t s c l m rõ à ậ ự đượ à
Và

(2) Thông tin c l m rõ ó c mã hoá nhđượ à đ đượ th n o thu n l iế à để ậ ợ
cho vi c s d ng nó sau n y.ệ ử ụ à
Nhi m v “h c” ch y u c a ANN l ệ ụ ọ ủ ế ủ à h c mô hìnhọ c a môi tr ng mủ ườ à
ANN ang t n t i trong ó v duy trì mô hình ó sao cho phù h pđ ồ ạ đ à đ đủ ợ
v i th c t t c m t yêu c u n o ó c a ng d ng ang xét. Triớ ự ếđểđạ đượ ộ ầ à đ ủ ứ ụ đ
th c v môi tr ng bao g m hai lo i:ứ ề ườ ồ ạ
(1) Nh ng thông tin gì ã bi t v môi tr ng ph n ánh cái gì (c aữ đ ế ề ườ ả ủ
môi tr ng) v nhườ à th n o, g i l thông tin tiên nghi m(a prioriế à ọ à ệ
informaition)
(2) Nh ng thông tin do các quan sát ( o c) th hi n d i d¹ngc¸cữ đ đạ ể ệ ướ
m u quan sát v môi tr ng (môi tr ng m ANN c s d ng)ẫ ề ườ ườ à đượ ử ụ
th ng c th hi n b i các sensors v nói chung l có kèm theoườ đượ ể ệ ở à à
nhi u.ề
• Chú ý
Trong m t ANN v i m t ki n trúc nh t nh thì vi c bi u di n thông tin v môiộ ớ ộ ế ấ đị ệ ể ễ ề
tr ng ch a ANN ó c nh ngh a thông qua các giá tr c a các tham s tườ ứ đ đượ đị ĩ ị ủ ố ự
do, ch ng h n các tr ng s ẳ ạ ọ ố
kj
w
. V các ng ng kích ho t à ưỡ ạ
k
b
v chính vi cà ệ
bi u di n ó ã h m ch a chính ki n trúc c th c a ANN.ể ễ đ đ à ứ ế ụ ể ủ
Dù v y vi c bi u di n tri th c i v i m t ANN r t ph c t p nh ng m t cách tậ ệ ể ễ ứ đố ớ ộ ấ ứ ạ ư ộ ự
nhiên v n có 4 quy t c th ng c áp d ng[8].ẫ ắ ườ đượ ụ
3.4.2 Các quy t c bi u diÓn tri th c.ắ ể ứ
• Quy t c 1ắ .
Nh ng tín hi u v o “t ng t ” (theo m t ngh a n o ó) xu t phát t các l pữ ệ à ươ ự ộ ĩ à đ ấ ừ ớ
t ng t ph i c phân lo i thu c cùng m t l p.ươ ự ả đượ ạ ộ ộ ớ

Hai tín hi u x v xệ à
'
; x, x
'
∈R
n
c hi u có s t ng t cao n u đượ ể ự ươ ự ế
'
xx −
bé.
C ng có tác gi hi u x v xũ ả ể à
'
cã s t ng t cao n u tích vô h ng x xự ươ ự ế ướ
'
t ngươ
i l n vìđố ớ
5
V i gi thi t ớ ả ế
1
'
==
xx
thì:
(x x
'
)
'2
2
j
t

j
xx
−=
• Quy t c 2ắ
Nh ng tín hi u thu c các l p tách r i nhau c bi u di n xa nhau trongữ ệ ộ ớ ờ đượ ể ễ
ANN.
• Quy t c 3ắ
Nh ng tín hi u ph n ánh nh ng c tính có vai trò quan tr ng thì c ữ ệ ả ữ đặ ọ đượ
dùng ph n l n các n¬r«n c a ANN di n t c tính n y.ầ ớ ủ để ễ đạ đặ à
• Quy t c 4ắ .
Nh ng thông tin tiên nghi m v nh ng y u t b t bi n thì phân d a v o ữ ệ à ữ ế ố ấ ế ự à
trong c u th nh c a ANN ANN không ph i h c l i các thông tin ó.ấ à ủ để ả ọ ạ đ
Quy t c 4 th c s quan tr ng nh ng cho n nay c ng ch a ai xây d ng cắ ự ự ọ ư đế ũ ư ự đượ
các quy t c c th v có hi u qu v v n n y.ắ ơ ể à ệ ả ề ấ đề à
3.4 Quá trình h c c a ANN.ọ ủ
3.5.1 H c l gì?ọ à
Trong lý thuy t ANN ng i ta hi u [9] h c l m tế ườ ể ọ à ộ quá trình i u ch nhđề ỉ
các tham s c a m ngố ủ ạ n¬r«n c kích thích t đượ ừmôi tr ngườ trong ó ANN ho tđ ạ
ng. Ki u h c c a quá trình h c độ ể ọ ủ ọ cđượ xác nh b i cách i u ch nh các thamđị ở đề ỉ
s .ố
nh ngh a quá trình h c n y bao h m m t lo t các s ki n n i ti p nhauĐị ĩ ọ à à ộ ạ ự ệ ố ế
1. ANN c môi tr ng kích thíchđượ ườ
2. ANN thay i giá tr c a tham s t do d i tác ng c a các kích thích môiđổ ị ủ ố ự ướ độ ủ
tr ng ườ
3. ANN áp ng l i v i môi tr ng theo m t ki u m i do có s thay iđ ứ ạ ớ ườ ộ ể ớ ự đổ
c¸ctham s c u trúc c a môi tr ng.ố ấ ủ ườ
3.5.2 Thu t toán h c ậ ọ
M t t p các quy t c cho cách xác nh l i gi i c a b i toán h c c g iộ ậ ắ đị ờ ả ủ à ọ đượ ọ
là thu t toán h c.ậ ọ D nhiên không th có m t thu t toán h c duy nh t cho m iĩ ể ộ ậ ọ ấ ọ
ANN; m i m t ki u thu t toán h c thích h p v i t ng lo i c u trúc ANN v cácỗ ộ ể ậ ọ ợ ớ ừ ạ ấ à

thu t toán h c khác nhau ó c ng d a trên 5 lu t h c c b n:ậ ọ đ ũ ự ậ ọ ơ ả
1. Lu t h c theo ki u i u ch nh sai sót ECL(Error –Correction Learning)ậ ọ ể đề ỉ
2. Lu t h c dùng b nh MBL (Memory Based Learning)ậ ọ ộ ớ
3. Lu t h c dùng Hebb HL (Hebbian Learning)ậ ọ
4. Lu t h c theo ki u c nh tranh CL (Compsititive Learning)ậ ọ ể ạ
5. Lu t h c theo Boltzman BL (Boltzman Learning)ậ ọ
• ECL
Xét 1 n¬r«n k ch g m 1 nút tính toán trong t ng ra (output) c a ANN(hình v )ỉ ồ ầ ủ ẽ
Véc t u v oơđầ à
)(my
k
)(nd
k



)(nb
k
M ng nhi u t ngạ ề ầ
6
M t hay ộ
nhi u t ng ề ầ
khu tấ
N¬r«n uđầ
ra k
∑
N¬r«n k c i u khi n b i 1 véc t tín hi u x(n) san ra do m t hayđượ đề ể ở ơ ệ ộ
nhi u t ng c a các n¬r«n khu t, nh ng cái c i u khi n b i m t véc t uề ầ ủ ấ ư đượ đề ể ở ộ ơ đầ
v o(kích thích) tác ng v o các t ng v o(input), véc t ra l à độ à ầ à ơ à
)(ny

k
trong khi
u ra mong mu n l đầ ố à
k
d
, khi ó nh ngh a đ đị ĩ
)()(:)( nyndne
kkk
−=
)(ne
k
kích ho t m t c ch i u ch nhạ ộ ơ ếđề ỉ
m c tiêu c a vi c h c ây l i u ch nh ụ ủ ệ ọ ởđ àđề ỉ
kj
w
sao cho ξ(n) :
ξ(n):=
)(
2
1
2
ke
n
t minđạ
c bi t, ng i ta th ng dùng quy t c Windows –Đặ ệ ườ ườ ắ
Hoff(1960)[2], b ng cách thi t l pằ ế ậ
)()1(:)( nwnwnw
kjkjkj
−+=∆
(3.5.1)

v t i bi u th c n, chuy n sang b c (n+1) theo quy t c à ạ ể ứ ể ướ ắ
)()(:)( nxnenw
jkkj
×=∆
η
(3.5.2)
v i ớ
η
l m t h ng s d ng, xác nh t c h cà ộ ằ ố ươ đị ố độ ọ
• MBL
Trong cách h c n y, t t c (ho c ph n l n) kinh nghi m quá kh cọ à ấ ả ặ ầ ớ ệ ứ đượ
l u tr trong b nh l n d i d ng ư ữ ộ ớ ớ ướ ạ
{ }
N
i
ii
dx
1
),(
=
, x
i
lµ véc t v o, dơ à
i
l áp ngà đ ứ
mong mu n. Th ng c dùng ki u n y trong b i toán x p l p: gi s cóố ườ đượ ể à à ế ớ ả ử
hai l p ớ
0
ξ
ng v i dứ ớ

0
;
1
ξ
ng v i dứ ớ
1
; khi phân lo i l p ng i ta dùng véc tạ ớ ườ ơ
tst x
tst
(không bi t tr c), thu t toán áp ng d n n vi c phân tích lân c nế ướ ậ đ ứ ẫ đế ệ ậ
a ph ng c a xđị ươ ủ
tst
Trong tr ng h p n y m i ki u gi i thu t u c n n ườ ợ à ọ ể ả ậ đề ầ đế
• Tiêu chu n nh ngh a lân c n a ph ng c a véc t tst xẩ đị ĩ ậ đị ươ ủ ơ
tst
• Lu t h c c áp d ng trong lân c n a phậ ọ đượ ụ ậ đị ¬g ó.đ
Dùng lu t lân c n a ph ng g n nh t.ậ ậ đị ươ ầ ấ
x
G
l lân c n g n nh t xà ậ ầ ấ
tst
:
d(x
G
, x
tst
)=
)x ,(min
tsti
i

xd
(3.5.3)
T 1967 nhi u tác gi (Cover and Hart []) d a v o hai gi thi t c b nừ ề ả ự à ả ế ơ ả
d i ây nghiên c u lu t lân c n g n nh t ướ đ để ứ ậ ậ ầ ấ
• Các m u (xẫ
i
,d
i
) l c l p v cùng chung phân ph i, v ph thu cà độ ậ à ố à ụ ộ
phân ph i (x,d)ố
7
x
)(
1
n
x
)(2 n
•
•
• v
)(n
k
y
)(n
k
d
)(n
k
x
)(n

m
• Kích th c N l n vô h n ướ ớ ạ
• HL .Hebb (1949) l nh n¬r«n h cà à ọ
Xét m t tr ng s kh p ộ ọ ố ớ
kj
w
c a n¬r«n k v i tín hi u v o l xủ ớ ệ à à
j
v tín hi u ra l yà ệ à
k
, m c i u ch nh b c th n l :ứ đề ỉ ở ướ ứ à
))(),(()( nxnyFnw
jkkj
=∆
(3.5.4)
d ng n gi n c a lu t Hebb l ạ đơ ả ủ ậ à

)()()( nxnynw
jkkj
η
=∆
(3.5.5)
v i ớ
η
l t c h c à ố độ ọ
• CL
úng nhĐ tên g i, cách h c n y các n¬r«n ra c nh tranh v i nhau cọ ọ à ạ ớ đểđượ
phát ho ngh a l c gây ra quy t nh c a con ng i. V i m t n¬r«n k, mu nả ĩ àđượ ế đị ủ ườ ớ ộ ố
tr th nh k chi n th ng thì ph i tho :ở à Ĩ ế ắ ả ả
1 n u ế

jk
uu
>
kj
≠
y
=
k
(3.5.6)
0 n u khác iế đ
trong ó uđ
k
ã c nh ngh a ph n tr c, xem (3.2.3)đ đượ đị ĩ ở ầ ướ
Ngo i ra n u g i à ế ọ
kj
w
l tr ng s kh p k t n i à ọ ố ớ ế ố nút n¬r«n j v i n¬r«n k, thì cớ đượ
gi thi t thêm ả ế
1
=
∑
j
kj
w
∀k (3.5.7)
Lu t h c ậ ọ
δ
ây l đ à

( )

jj
wkx
−
η
n u n¬r«n k th ngế ắ
=∆
kj
w
(3.5.8)
0 n u n¬r«n k thuaế
η
l t c h cà ố độ ọ
• BL
Lu t n y xu t phát t c h c th ng kê c Achkey (1985) v Hintonậ à ấ ừ ơ ọ ố đượ à
Sejrowski (1986) ngh xu t phát t các thi t b c g i l máy Boltzmann, lđề ị ấ ừ ế ị đượ ọ à à
m t thi t b có ANN có c u trúc qui v ho t ng theo 2 ch , ch ng h n,ộ ế ị ấ đệ à ạ độ ếđộ ẳ ạ
thi t b ch “ON” kÝ hi u tr ng thái +1, ch “ OF ”, tr ng thái-1. Thi tế ị ở ế độ ệ ạ ế độ ạ ế
b c tr ng b i m t h m n ng l ng E nh ngh a b iị đặ ư ở ộ à ă ượ đị ĩ ở
∑∑
−=
j k
jkkj
xxwE
2
1
:

kj
≠
trong ó đ

j
x
l tr ng thái c a n¬r«n j, à ạ ủ
kj
w
l tr ng s k t n i k t n i n¬r«n j v ià ọ ố ế ố ế ố ớ
n¬r«n k ; j
≠
k ch ng t r ng không có n¬r«n n o trong thi t b c t ph n h i.ứ ỏ ằ à ế ị đượ ự ả ồ
Thi t b n y thao tác b ng ch n ng u nhiên m t ti n hi u, ch ng h n ế ị à ằ ọ ẫ ộ ế ệ ẳ ạ
k
x
t i m tạ ộ
b c n o ó trong quá trình h c r i tr t tr ng thái sang ướ à đ ọ ồ ượ ạ
k
x
−
v i m t “ nhi t ” T n o ó v i xác su t ớ ộ ệ độ à đ ớ ấ
8
( )
( )
TE
xxP
k
kk
/exp1
1
∆−+
=−→
Lu t n y c ng l p cho n khi thi t b t c cân b ng nhi t h theo quiậ à ũ ặ đế ế ị đạ đượ ằ ệ ạ

t cắ
( )
−+
−=∆
kjkjkj
w
ρρη
v i ớ
+
kj
ρ
l t ng quan gi a các tr ng thái j v k v i ANN ch có i u ki nà ươ ữ ạ à ớ ở ếđộ đề ệ
r ng bu c, à ộ
−
kj
ρ
l t ng quan ch t doà ươ ở ếđộ ự
Trong ANN ng i ta c ng phân bi t 2 ki u h c ch y u : ườ ũ ệ ể ọ ủ ế h c có th yọ ầ
(learning with a teacher ) c ng c coi l h c có giám sát (supervised). Ki uũ đượ à ọ ể
h c n y l ki u h c trong ó các tri th c c hi u d i d ng u v o (x) - uọ à à ể ọ đ ứ đượ ể ướ ạ đầ à đầ
ra (d) , v i x v d ã bi t, khi ó yêu c u h c l i u ch nh tr ng s w sao choớ à đ ế đ ầ ọ à đề ỉ ọ ố
dx
−
t m c nh nh t có th . D i ây l s minh ho ki u h c có th y:đạ ứ ỏ ấ ể ướ đ à ơđồ ạ ể ọ ầ
áp ng mong mu nĐ ứ ố
+
§/ th c tự ế

Tín hi u l iệ ỗ
H c không có th yọ ầ (learning without teacher) ho c t h c (self –ặ ự ọ

learning) ây l ki u h c trong ó ANN ch bi t u v o (x) còn u ra mongđ à ể ọ đ ỉ ế đầ à đầ
mu n ố c ng ch a bi tũ ư ế. Khi ó, v nguyên t c, ph i t o ra m t ch tiêu t t v thu tđ ề ắ ả ạ ộ ỉ ố à ậ
toán h c d n n vi c i u ch nh các tr ng s w sao cho t c m t “t n th t”ọ ẫ đế ệ đề ỉ ọ ố đạ đượ ộ ổ ấ
ít nh t. S c a lo i h c n y có d ngấ ơđồ ủ ạ ọ à ạ
Véc t mô t tr ngơ ả ạ
thái môi tr ngườ
3.6 T i u không r ng bu cố ư à ộ
M t trong nh ng thu t toán c b n c a các lu t h c l ộ ữ ậ ơ ả ủ ậ ọ à thu t toán truy nậ ề
ng cượ v ngu n g c c a b i toán n y l thu t toán tìm l i gi i t i u c a b ià ồ ố ủ à à à ậ ờ ả ố ư ủ à
toán t i u không r ng bu cố ư à ộ .
Ta xét m t h m t n th t ộ à ổ ấ
( )
w
ξ
,w ∈
m
R
, gi s ả ử
( )
w
ξ
kh vi i v i véc t w,ả đố ớ ơ
b i toán l c c ti u hoá à à ự ể
( )
w
ξ
i v i w.đố ớ
V i gi thi t kh vi c a ớ ả ế ả ủ
( )
w

ξ
, véc t gradient c a ơ ủ
( )
w
ξ
:
( )
t
n
www
w






∂
∂
∂
∂
∂
∂
=∇
ξξξ
ξ
:
21
9
Môi tr ngườ Th yầ

Σ
H th ng h c ệ ố ọ

Môi tr ngườ H th ng lu t h cệ ố ậ ọ
v d nhiên à ĩ
t
n
www






∂
∂
∂
∂
∂
∂
=∇
:
21
ý t ng c a ph ng pháp l p gi m (iterative descent) l xu t phát t m tưở ủ ươ ặ ả à ấ ừ ộ
giá tr ban u w(0), t o ra m t dãy các véc t tr ng s w(1), w(2) sao choị đầ ạ ộ ơ ọ ố
h m t n th t gi m d n, ngh a l à ổ ấ ả ầ ĩ à

( )( ) ( )( )
nwnw
ξξ

<+
1
(*)
trong ó w(n) l giá tr c a véc t tr ng s t i b c th n, w(n+1) l giá tr m iđ à ị ủ ơ ọ ố ạ ướ ứ à ị ớ
c p nh t .ậ ậ
Chúng ta “hi v ng” r ng thu t toán n y s h i t n m t nghi m optimelọ ằ ậ à ẽ ộ ụđế ộ ệ
*
w
, v d i ây nêu m t v i ph ng pháp gi m(Gi m???).à ướ đ ộ à ươ ả ả
3.6.1 Ph ng pháp gi m nhanh nh t (DNN)ươ ả ấ
cho g n ta kÝ hi uĐể ọ ệ
( )
wg
ξ
∇=
:
(3.6.1)
khi ó ph ng pháp gi m nhanh nh t ta tìm véc t tr ng s , ta cho đ ươ ả ấ ơ ọ ố
( )
w
ξ
gi mả
theo h ng nhanh nh t, ngh a l theo h ng ng c v i véc t gradient g, vì thướ ấ ĩ à ướ ượ ớ ơ ế
thu t toán gi m nhanh nh t s c mô t b iậ ả ấ ẽđượ ả ở
( ) ( ) ( )
ngnwnw
η
−=−
1
(3.6.2)

trong ó đ
0
>
η
l m t h ng s , c g i l tham s t c h c, à ộ ằ ố đượ ọ à ố ố độ ọ
( )
ng
l véc tà ơ
gradient tính t i i m ạ để
( )
nw
, nói khác i lu t h c n y theo ki u hi u ch nhđ ậ ọ à ể ệ ỉ
( ) ( ) ( ) ( )
ngnwnwnw
η
−=−+=∆
1:
(3.6.3)
hay
( ) ( ) ( )
ngnwnw
η
−=+
1
Bây gi ta s ch ng minh r ng thu t toán i u ch nh tr ng s w cho trênờ ẽ ứ ằ ậ đề ỉ ọ ố
tho mãn i u ki n (*).ả đ ề ệ
Th t v y, theo gi thi t ậ ậ ả ế
( )
w
ξ

kh vi, do ó khai tri n Taylor lân c n ả đ ể ậ
( )
nw
x p x để ấ ỉ
( )( )
1
+
nw
ξ
ta cđượ
( )( ) ( )( ) ( ) ( )
nwngnwnw
t
∆+=+
ξξ
1
(3.6.4)
v i ớ
η
bé, thay giá tr c a đủ ị ủ
( )
nw
∆
v o bi u th c trên ta cà ể ứ đượ

( )( ) ( )( ) ( ) ( )
ngngnwnw
t
ηξξ
−=+

1
=
( )( ) ( )
2
ngnw
ηξ
−
(3.6.5)
v i u ó ch ng t r ng v i t c h c àđề đ ứ ỏ ằ ớ ố độ ọ
0
>
η
thì h m t n th t à ổ ấ
( )( )
nw
ξ
gi m d nả ầ
theo thu t toán ã gi i thi u trên.ậ đ ớ ệ
Ph ng pháp gi m nhanh nh t h i t ch m n l i gi i t i u w*. H n n aươ ả ấ ộ ụ ậ đế ờ ả ố ư ơ ữ
thu t toán n y ph thu c nhi u v o giá tr ậ à ụ ộ ề à ị
η
3.6.2 Ph ng pháp Newton (N)ươ
ý t ng c b n c a ph ng pháp Newton l dùng khai tri n Taylor n c pưở ơ ả ủ ươ à ể đế ấ
hai, ngh a l vi t:ĩ à ế

( )( ) ( )( ) ( )( ) ( ) ( ) ( ) ( )
nwnHnwnwgnwnwnw
tt
∆∆+∆=−+=∆
2

1
1
ξξξ
(3.6.6)
trong ó đ
( )
nH
l ma tr n h s c a à ậ ệ ố ủ
( )
w
ξ
, ngh a l ĩ à
10
( ) ( )
=∇= wnH
ξ
2



















∂
∂
∂∂
∂
∂∂
∂
∂∂
∂
∂∂
∂
∂
∂
∂∂
∂
∂∂
∂
∂
∂
.



2
2
2

2
1
2
2
2
1
2
2
2
2
12
2
21
2
2
1
2
n
n
n
nn
w
ww
ww
wwww
w
ww
ww
w
ξ

ξ
ξ
ξξ
ξξ
ξξ
(3.6.7)
T bi u di n ừ ể ễ
( )( )
nw
ξ
∆
trên suy ra ( Xem (3.6.6) )

( ) ( ) ( )
0
=∆+
nwnHng
(3.6.8)
hay
( ) ( ) ( )
ngnHnw
1−
−=∆
(3.6.9)
hay
( ) ( ) ( ) ( )
ngnHnwnw
1
1
−

−=+
(3.6.10)
Ph ng pháp Newton òi h i ươ đ ỏ
( )
nH
ph i xác nh d ng, i u m khôngả đị ươ đề à
ph i t i b c l p n o c ng có th có c, vì th c ng ã có nh ng c i ti nả ạ ướ ặ à ũ ể đượ ế ũ đ ữ ả ế
([15],[16])
3.6.3 Ph ng pháp Gauss—Newton (G—N)ươ
Ph ng pháp n y áp d ng v i h m t n th t có d ng t ng c a bình ph ngươ à ụ ớ à ổ ấ ạ ổ ủ ươ
các sai số
( ) ( )
iew
n
i
2
1
2
1
:
=
∑−=
ξ
Trong ó đ
( )
ie
l m t h m ch nh véc t à ộ à ỉ ơ
w
; khi ã cho m t i mđ ộ để
( )

nw
, ta có thể
tuy n tính hóa s ph thu c c a e(i) i v i ế ự ụ ộ ủ đố ớ
w
b ng cách vi t ằ ế
( ) ( )
( )
( )
( )( )
nww
w
ie
iewie
t
nww
−






∂
∂
+=
′
=
:,

ni , ,2,1,

=
hay, d i d ng ma tr n l :ướ ạ ậ à
( ) ( ) ( ) ( )( )
nwwnJnewne
−+=
′
,
(3.6.12)
v iớ
( ) ( ) ( ) ( )
[ ]
t
neeene , ,2,1:
=
trong ó đ
( )
nJ
l ma tr n Jacobi c p n c a à ậ ấ ủ
( )
ne
:























∂
∂
••
∂
∂
∂
∂
•••••
•••••
∂
∂
••
∂
∂
∂
∂
∂

∂
••
∂
∂
∂
∂
=
n
n
n
w
ne
w
ne
w
ne
w
e
w
e
w
e
w
e
w
e
w
e
nJ
)()()(

)2()2()2(
)1()1()1(
:)(
21
21
21
(3.6.13)
Ta th y r ng ma tr n J(n) chính l ma tr n chuy n v c a ma tr nấ ằ ậ à ậ ể ị ủ ậ
gradient,
( )
ne
∇
v i ớ
11
( ) ( ) ( ) ( )
[ ]
neeene
∇∇∇=∇
, ,2,1:
Nh th công th c c p nh t c a ế ứ ậ ậ ủ
( )
1
+
nw
là
( ) ( )







′
=+
2
,
2
1
minarg1 wnenw
w
(3.6.14)
M t khác t bi u th c bi u di n ặ ừ ể ứ ể ễ
( )
wne ,
′
trên suy raở
( ) ( ) ( ) ( ) ( )( ) ( )( ) ( ) ( ) ( )( )
nwwnJnJnwwnwwnJnenewne
t
t
t
−−+−+=
′
2
1
2
1
,
2
1

22
(3.6.15)
L y o h m bi u th c trên i v i ấ đạ à ể ứ đố ớ
w
v cho tích trên , ta cà đượ
( ) ( ) ( ) ( ) ( )( )
0=−− nwwnJnJnenJ
tt
(3.6.16)
Gi i ph ng trình trên i v i ả ươ đố ớ
w
v dùng bi u th c c a à ể ứ ủ
( )
1
+
nw
trên taở
c [3]đượ
( ) ( ) ( ) ( )
( )
( ) ( )
nenJnJnJnwnw
tt
1
1
−
−=+
(3.6.17)
V ó chính l d ng công th c c a ph ng pháp G—Nàđ à ạ ứ ủ ươ
Khác v i ph ng pháp N, ph ng pháp G—N không òi h i ph i bi t maớ ươ ươ đ ỏ ả ế

tr n Hess c a h m t n th t ậ ủ à ổ ấ
( )
n
ξ
nh ng ph ng pháp n y l i òi h i ma tr nư ươ à ạ đ ỏ ậ
( ) ( )
nJnJ
t
ph i kh o v i u ó d n n l ả ả đả à đề đ ẫ đế à
( )( )
nJrank
ph i b ng ả ằ
n
, d nhiên,ĩ
i u n y c ng không d .đề à ũ ễ
3.6.4 L c tuy n tính bình ph ng nh nh t (linear leastsquareọ ế ươ ỏ ấ
filter(LLSF))
Nh tên g i, ph ng pháp n y có hai c tr ng phân bi t. Th nh t, cácọ ươ à đặ ư ệ ứ ấ
n¬r«n n c ph i c thi t l p theo ki u tuy n tính, gi ng nhđơ độ ả đượ ế ậ ể ế ố bi u th cể ứ
(3.2.1), th hai h m t n th t dùng thi t k l c ph i l t ng bình ph ng cácứ à ổ ấ để ế ế ọ ả à ổ ươ
sai sót. Nh th v i véc t sai sót ế ớ ơ
( )
ne
:
( ) ( ) ( ) ( ) ( )
[ ]
( )
nwnxxxndne
t
, ,2,1:

−=

( ) ( ) ( )
nenXnd
−=
:
(3.6.18)
Trong ó đ
( )
nd
l véc t áp ng mong mu n à ơđ ứ ố
n
chi uề
( ) ( ) ( ) ( )
[ ]
t
ndddnd , ,2,1:
=
(3.6.19)
Còn
( )
nX
l ma tr n d li u c p à ậ ữ ệ ấ
n
:
( ) ( ) ( ) ( )
[ ]
t
nxxxnX , ,2,1:
=

(3.6.20)
L y o h m i v i ấ đạ à đố ớ
( )
nw
bi u th c ể ứ
( )
ne
ta c ma tr n gradient :đượ ậ
( ) ( )
nXne
t
−=∇
(3.6.21)
T ng ng, ma tr n Jacobi c a ươ ứ ậ ủ
( )
ne
là
( ) ( )
nXnJ
−=
Khi ó bi u th c (3.6.17) s có d ng:đ ể ứ ẽ ạ
( ) ( ) ( ) ( )
( )
( ) ( ) ( ) ( )( )
nwnXndnXnXnXnwnw
tt
−+=+
−1
1

( ) ( )
( )
( ) ( )
ndnXnXnX
tt
1−
=
(3.6.22)
N u t ế đặ
( ) ( ) ( )
( )
( )
nXnXnXnX
tt
1
:
−
−
=
(3.6.23)
12
thì công th c cu i cùng s lứ ố ẽ à
( ) ( ) ( )
ndnXnw
−
=+1
(3.6.24)
3.6.5 Thu t toán trung bình bình ph ng nh nh t(least –meansquareậ ươ ỏ ấ
algorithm LMS)
Thu t toán LMS d a v o vi c dùng các giá tr t c th i c a h m t n th tậ ự à ệ ị ứ ờ ủ à ổ ấ

( )
w
ξ
:
( ) ( )
new
2
2
1
:
=
ξ
(3.6.25)
trong ó đ
( )
ne
l sai sót c a tín hi u o c t i th i i m à ủ ệ đ đượ ạ ờ để
n
.
L y o h m ấ đạ à
( )
w
ξ
i v i đố ớ
w
, c:đượ
( )
( )
( )
w

ne
ne
w
w
∂
∂
=
∂
∂
ξ
Vì thu t toán LMS th c hi n v i n¬r«n có d ng tuy n tính(3.2.1) nênậ ự ệ ớ ạ ế
( ) ( ) ( ) ( )
nwnxndne
t
−=
(3.6.26)
do óđ
( )
( )
nx
w
ne
−=
∂
∂
và
( )
( )
( ) ( )
nenx

nw
w
−=
∂
∂
ξ
(3.6.27)
N u dùng bi u th c ế ể ứ
( ) ( )
nenx
−
nh l m t x p x c a véc t gradient ngh aà ộ ấ ỉ ủ ơ ĩ
l (xem (3.6.1)) :à
( ) ( ) ( )
nenxng
=
:
(3.6.28)
Bây gi , dùng công th c t ng t ờ ứ ươ ự
( )
3.6.3
ta c :đượ
( ) ( ) ( ) ( )
nenxnwnw
η
−=+
ˆ
1
ˆ
(3.6.29)

trong ó, nhđ th ng l ườ ệ
η
l t c h c.à ố độ ọ
4. Thu t toán lan truy n ng c BA (Backpropagation algolrithm)ậ ề ượ
4.1 ý t ng c a ph ng phápưở ủ ươ
Thu t toán BA [17] c dùng r ng rãi trong các ANN có nhi u t ng vậ đượ ộ ề ầ à
có h ng ti n, ngh a l ANN c t ch c th nh nhi u t ng v luôn chuy n tínướ ế ĩ à đượ ổ ứ à ề ầ à ể
hi u “v phía tr c” v sau ó các sai sót c truy n v sau. Nh ã bi t trongệ ề ướ à đ đượ ề ề ưđ ế
ANN thì các n¬r«n chuyên nh n tín hi u u v o l t ng u v o v u ra c aậ ệ đầ à à ầ đầ à àđầ ủ
các ANN c th c hi n b i các n ron thu c t ng u ra. Ngo i ra có th cóđượ ự ệ ở ơ ộ ầ đầ à ể
m t hay nhi u t ng khu t trung gian gi a t ng u v o v t ng u ra. Thu tộ ề ầ ấ ở ữ ầ đầ à à ầ đầ ậ
toán BA c dùng cho các lu t h c có th y, ý t ng c a thu t toán l t i m iđượ ậ ọ ầ ưở ủ ậ à ạ ỗ
b c tính toán tr ng s kh p ướ ọ ố ớ
( )
nw
tính sai sót gi a u ra th c t v u raữ đầ ự ế à đầ
mong mu n v ANN s “h c” sao cho sai sót c gi m d n n m c có th .ố à ẽ ọ đượ ả ầ đế ứ ể
H m kích ho t (activation function) c a ANN trong thu t toán BA l m tà ạ ủ ậ à ộ
t ng có tr ng s , ngh a l t i n¬r«n th ổ ọ ố ĩ à ạ ứ
k
, v i u v o ớ đầ à
( )
t
mj
xxxxx , ,, ,,
10
=
;
1:
0

=∆
x
v tr ng s kh p à ọ ố ớ
kj
w
( )( )
kmkjkkk
wwwww , , ,:
21
=
(4.1.1)
thì h m kích ho t à ạ
( )
kk
wxA ,
s l :ẽ à
( )
jkj
m
j
kk
xwwxA
0
:,
=
∑=
kk
bw =:
0
( )

t
m
xxxx , ,,:
10
=
(4.1.2)
13
(xem các bi u th c t ể ứ ừ
( )
1.2.3
n đế
( )
3.2.3
)
H m kích ho t ch ph thu c các u v o v các tr ng s . N u h m uà ạ ỉ ụ ộ đầ à à ọ ố ế à đầ
ra ch l h m ng nh t ( u ra = kích ho t) thì n¬r«n c g i l n¬r«n tuy nỉ à à đồ ấ đầ ạ đượ ọ à ế
tính, v d nhiên lo i n¬r«n n y có nhi u h n ch . Có m t lo i h m u raà ĩ ạ à ề ạ ế ộ ạ à đầ
thông d ng: h m signoide, có d ng ụ à ạ
( )
6.2.3
, c th l :ụ ể à
( )
( )
kk
wxA
kk
e
wxO
,
1

1
:,
−
+
=
(4.1.3)
D nhiên ĩ
( )
,
k
O
r t g n 1 khi ấ ầ
( )
,
k
A
l y giá tr d ng khá l n, b ng ấ ị ươ ớ ằ
2
1
khi
( )
,
k
A
l y giá tr không v r t g n s không. Khi ấ ị à ấ ầ ố
( )
,
k
A
l y các giá tr âm v có trấ ị à ị

tuy t i khá l n chúng ta c ng th y r ng h m u ra ệ đố ớ ũ ấ ằ à đầ
k
O
n y ch ph thu c h mà ỉ ụ ộ à
kích ho t v do ó, r t cu c ạ à đ ố ộ
−
y
ch ph thu c các giá tr u v o v các tr ng sỉ ụ ộ ị đầ à à ọ ố
t ng ng.ươ ứ
Bây gi l u ý m c ích c a quá trình h c c a chúng ta ch i n¬r«n kờ ư ụ đ ủ ọ ủ ờđợ ở
l sao cho t c m t u ra mong mu n à đạ đượ ộ đầ ố
k
d
ng v i u ra th c t lứ ớ đầ ự ế à
k
O
, do
v y ta nh ngh a h m sai sót i v i u ra t i n ron k l :ậ đị ĩ à đố ớ đầ ạ ơ à
( ) ( )( )
2
,:,,
kkkkkk
dwxOdwxE
−=
(4.1.4)
Nh th , t ng các sai sót m i n ron t ng ra s n gi n l :ế ổ ở ọ ơ ở ầ ẽđơ ả à
( ) ( )
[ ]
2
,

2
1
:, ,
kkk
k
dwxOdxE
−∑=
(4.1.5)
Nhi m v c a thu t toán BA l tìm các ệ ụ ủ ậ à
w
sao cho bi u th c sai sótể ứ
( )
5.1.4
t giá tr min. V mu n th , theo công th c đạ ị à ố ế ứ
( )
3.6.3
ta ph i tính ả
E
∇
, để
dùng công th c d ng:ứ ạ
( ) ( )
kj
kjkjkj
w
E
nwnww
∂
∂
=−+=∆

η
1:
(4.1.6)
Tuy nhiên, vì
E
ph thu c qua ụ ộ
O
v à
O
ph thu cụ ộ
A
nên r t cu c ta ph iố ộ ả
dùng công th c tính o h m h m ph c h pứ đạ à à ứ ợ
kj
k
k
k
kkj
w
A
A
O
O
E
w
E
∂
∂
∂
∂

∂
∂
=
∂
∂
(4.1.7)
v d nhiên t à ĩ ừ
( )
5.1.4
ta có:
( )
kk
k
dO
O
E
−=
∂
∂
(4.1.8)
T ừ
( )
3.1.4
suy ra:
( )
{ }
( )
( ) ( )
′
++−=

′
+=
∂
∂
−
−
−
−
−
kkk
AAA
k
k
eee
A
O
1111
21

( ) ( )
22
1
11
1
k
k
k
k
A
A

A
A
e
e
e
e
−
−
−
−
+
−+
=
+
=

( )
=
+
−
+
=
−
− 2
1
1
1
1
k
k

A
A
e
e
14
2
1
1
1
1






+
−
+
=
∂
∂
−−
kk
AA
k
k
ee
A
O

(4.1.9)

( )
kkkk
OOOO
−=−=
1
2
Bây gi , t ờ ừ
( )
2.1.4
suy ra:
j
kj
k
x
w
A
=
∂
∂
(4.1.10)
Cu i cùng, t ố ừ
( ) ( )
10.1.48.1.4
−
v à
( )
7.1.4
suy ra

( ) ( )
jkkkk
kj
xOOdO
w
E
−−=
∂
∂
1
(4.1.11)
V cu i cùng thu t toán BA c th hi n d i d ng:à ố ậ đượ ể ệ ướ ạ

( ) ( ) ( ) ( )
jkkkkkjkjkj
xOOdOnwnww
−−−=−+=∆
11:
η
(4.1.12)
trong ó đ
0
>
η
l m t tham s d ng c tr ng “t c h c”à ộ ố ươ đặ ư ố độ ọ
4.2 Chú ý
1. Khi dùng công th c ứ
( )
12.1.4
nh t thi t ph i có giá tr kh i u ấ ế ả ị ở đầ

( )
0
kj
w
,
( ng v i ứ ớ
n
=0) khi ó, v nguyên t c, n u không có thông tin tiên nghi m vđ ề ắ ế ệ ề
( )
0
kj
w
thì ph i gi thi t ả ả ế
( )
0
kj
w
l y m t giá tr ng u nhiên n o ó, v c ng vấ ộ ị ẫ à đ à ũ ề
nguyên t c, không nh t thi t ph i bi t lu t xác xu t hay các c tr ng ng uắ ấ ế ả ế ậ ấ đặ ư ẫ
nhiên. Tuy nhiên khi dùng ti p c n ANN v o các ng nh khác nhau thì các giáế ậ à à
tr ị
( )
0
kj
w
th ng c coi l k t qu tính toán c a m t ph ng pháp n o ó [20]ườ đượ à ế ả ủ ộ ươ à đ
v ng i ta dùng ti p c n ANN l m t t h n k t qu tính toán ã có.à ườ ế ậ để à ố ơ ế ả đ
2. Nh ã nói á ph n 4.1, công th c ưđ ầ ứ
( )
12.1.4

dùng tính, i u ch nh cácđể đề ỉ
tr ng s ọ ố
kj
w
trong các ANN có 2 t ng: m t t ng u v o v m t t ng u ra.ầ ộ ầ đầ à à ộ ầ đầ
Bây gi chúng ta b n n vi c dùng ờ à đế ệ
( )
12.1.4
khi ANN có 3 t ng: m t t ng uầ ộ ầ đầ
v o, m t t ng u ra v m t t ng khu t. Ch ng h n, ta mu n i u ch nh tr ng sà ộ ầ đầ à ộ ầ ấ ẳ ạ ố đề ỉ ọ ố
c a t ng tr c, t m g i l ủ ầ ướ ạ ọ à
ij
v
thì vi c u tiên l ph i tính l m sao cho sai sótệ đầ à ả à
không nh ng ph thu c tr ng s m còn ph thu c các u v o c a t ng tr c,ữ ụ ộ ọ ố à ụ ộ đầ à ủ ầ ướ
v mu n th chúng ta ch c n i à ố ế ỉ ầ đổ
j
x
v à
kj
w
trong
( )
9.1.4
,
( )
11.1.4
v à
( )
12.1.4

, tuy
nhiên chúng ta c ng ph i bi t sai sót ph thu c v o vi c i u ch nh ũ ả ế ụ ộ à ệ đề ỉ
ij
v
nh thư ế
n o, v nh th d n n:à à ư ế ẫ đế
( ) ( )
ij
ijijij
v
E
nvnvv
∂
∂
−=−+=∆
η
1:
(4.2.1)
ij
j
jij
v
x
x
E
v
E
∂
∂
∂

∂
=
∂
∂
(4.2.2)
trong ó, d nhiên :đ ĩ
( ) ( )
kjkkk
j
wOOdO
x
E
−−=
∂
∂
1
(4.2.3)
v cu i cùng, t ng t à ố ươ ự
( )
9.1.4
v à
( )
10.1.4
15
( )
jijj
ji
j
vxx
v

x
−=
∂
∂
1
(4.2.4)
R t cu c, ta có:ố ộ
( ) ( ) ( ) ( )
( )
( )
nvxxwOOdvnvnvv
jijjkjkkkkjijiji
−−−=−+=∆
111:
Nguy n h qu nhễ ồ ỳ
M ng n¬r«n nhân t o v chu i th i gianạ ạ à ỗ ờ
(artificirl neural network and times reries)
khoa toán ng d ng Tr ng i h c bách khoa hà n iứ ụ ườ đạ ọ ộ -2003
16