TÌM HIỂU và mô PHỎNG MẠNG NƠRON

ĐẠI HỌC THÁI NGUYÊN
KHOA CÔNG NGHỆ THÔNG TIN
BỘ MÔN KHOA HỌC MÁY TÍNH
BÁO CÁO THỰC TẬP TỐT NGHIỆP




Giáo viên hướng dẫn !"#!
Sinh viên thực hiện  $%&'(!
Lớp  )*)+

Thái Nguyên, tháng 03 năm 2011

Mục Lục


 !"#$%&'#
()*+,-.&/#*01!"#$#%&'#
2%&'#+#3*4
5%&'##6#"'7
.*8#-9#*01!:#%&'##6#"';
2%#<)=,>?
58!=,>?2
58!@AB-2
528!@C*'"D8!* E/#F5
.*@A#&G*!"#$
"#$:9#$
2"#$19#$7
H.*I#&"#$*01!"#$2J
H"#$& EK#L#$2J

H2"#$MN E2
A-*O#%&'#*'C#'.#22
( O3*22
2P*Q:3*2H
5.*> O3*2
4R"!<S#$TU#$*01!"#$#%&'#24
4V#$W8'.#C*B-24
42R6#>'"27
45XI#'.2;
4(Y#@A5J
7.*>Z#<[*S#$TU#$*01!"#$#%&'#5J
; #\B*Q/!*01!"#$#%&'#5
JO#=]52
^_`_(aR55
2b.#!55
22bc#d#$/#5
25ef#QKA@A*f &G*!"#$5H
25gP>-h#5H
2
252gPQ%#<)&'#$>-h#5
2 O'.#>1#& EK##$\B*Di1*@jR&'-1$1'#F54
2Xc O'.#54
22g[:U2
25g[k#$N .l12
mRn
 
5 h#W)TV> 
52('1TTV> ;
558'"'!"#$HJ
551TV> HJ

5523#TV> 3*<8*.*1!+PH
5558'"'!"#$D&1##$FH2
55b/!&1QM)>oH
55Hb/!&1QM)&3#$+P<8Q9 <8'& #$WI#*01!:#%&'#H
55pq!QM)TV> <8QM)Q9 &1*01!"#$H7
5bA> O#
5H:+P#O#=]
br(s5
t(ubv
5
MỞ ĐẦU
w *.*@c#d#$3*x# >"<8@.N .'.y *.* !z  f#> E#'{*
TV> x!"#$#%&'##6#"'&|8#!:-.!#!Q9ES1}#*01P#$
=,>?X#$#.*C#'.##%&'#*'-]-$cN EAP#V#$W8'.#Q{*
&\#$ W| !: +P '{* f *c *.* C# *f +1  g, TU#$@X#$$1##K *K x
*.*\%#$.*-S*"-x*\1WA'{*@X#$/q'T~<K!{'.#3*$V1
*.*WA#$'8 &1-\%#$ -  #8E *•#*'-]-I!&1#$!*01#V#$W8'.#
Q•€Q9 <8'>8*.**c!#O#*01*'##$\w#\A#$#lx#I#<8#O#T"#$
•#$<+[-.&/#*01!XI#@'TV> D‚11ƒ1&q ' +qFx |e#1!
#$8E*8#$*l #K  @' TV >  < >\B#$ TV >  &f ># / @1 .* *l   N c
#V#$ TV> @k#$>M#8ExQ„*l#K *X#$*UQ\B*=6ET[#$Q/€1!„## *9
@1.*TV> !S**1'e*=6ET[#$*.** EY#$1x*.*P#$T[1&Y#!:
*%+|&S**01*.** EY#$1xQ/*l/T[W.'Q\B*@ E#\#$-.&/#*01
TV> x[*#*.*-6#C*&Y#*.*TV> *01k*S*{*T•*.**X#$*Ux*.*
P#$&Y#'8#'8#*l/[*#Q\B*-9#>#*.**X#$<*#Y &Y#x*G#$<z#
EY *9 !:Q:*C#=.*xQ9EQ0#fQ)#<K!{TV> Q/*l/Q\1&1Q\B**.*
*6 &c>w*C#=.*
"#$%&'#*l/Q\B* f#> E#<8.#="y*.*TV> <8'*.*TV> &1
!8@X#$EY *9 *.*TV> Ql-cQ9EQ0 .* !"#$#%&'#*l@c#d#$W/ T…#
*.*.#="- EA#$V1Q9 <8'<8Q9 &1x*G#$Q\B**'#\>8*.*†W:=f-=‡Q1

#d#$ˆ{*WQP<<*T[W.'@ E#\#$1EQk*01*.*TV> .*#$-
&'#$*.**%N 1#xk*S*@#Ax=„:x
{* T• Q„ A +S* #o >[*x +'#$ T' w $1# <8 @# #$! #$Y# *S @'1
3**•#"#*A#Y#@X#$/&.#@€#V#$A +l‰!&f!'#$#O#Q\B*+[
$l- ? *01 *.* 9E *X <8W"# WŠ QM#$ #$- Q/ /  WA *01!I##$8E!:'8#
#%#

 1QK8#8Eq!=#*6#8#*c!%#+$ E…#) E/#W:!X#b
Q„O#I#$G-Q‹xQ:#$<Y#xQ)#\#$x\#$ Tz#q!#$Y# *S <8 '8#
8#QK8 #8E‰!=#*c!%#*.*9E *X $.' &'#$ W:!X#bx *.* 9E *X
$.' @'1 X#$#$X#$#.$ EY#xQ„$c#$T"E<8$G-Q‹q!x*c!%#
+[$G-Q‹#I#*01*.*W"#+#<Y#&'#$>-b
.$ EY#x.#$5#d!2J
g#<Y#[*#
Lê Ngọc Thắng
H

1.1. Giới thiệu mạng Nơron.
1.1.1. Lịch sử phát triển của mạng nơron.
"#$#'&'##6#"'Q\B*=6ET[#$y#V#$#d!;J#Œ!!X
-€#$!:+P*S*#d#$*01W:#„'#$\w‚[1&Y#N 1#Q/!*'&Œ#$W:#„'#$\w
>8W:QK @/#"#$#'&'##6#"'Q\B*A@A\%#$[#\

#%&'#+#3*+•*l
@c#d#$$cN EA8#$>'"*.*W8'.##\C#'.#P\ xQK @/#x*X#$#$
&'W'Ž
 .&I##$Y#*S <8-.&/##'&'##6#"'*l/*18#$1Q'"#
#\+1 
j 1Q'"#  l /C# y #$Y# *S  *01 •>>1!D7;JF<K 6!>?3*
<+[>Y#@A*.*#'&'#9#@#d!;J* >>'*<8R+Q„*'WA#%&'#*l

/!XI#'.#\AW)#$\‹#$D"#FQ/[*#*.*-]-C#>'$*<8!X
I#!"#$#'&'#*01* >>'*•R+*•#$<$c O f#> E#!"#$*01qWW
&1Qw#d!;5
j1Q'"#2e8'@'c#$$9##V#$#d!;Jx!:+P!XI##'&'#'8#
#%#Q„Q\B*Q\1&1#\XI#Rq&*q-&'#*01'+q#W>1D;H7Fx T1>>q
*01 •T&'ƒ D;2F &'#$ Ql !X I# Rq&*q-&'# &f Q\B*N 1# 6! <I #$ EY# >?
Q%# $c#x #\#$ #l *‘#$ *l "# *A <I #\ 1&<##+@E<8gqE!' &-1-q&*01
D1++1* &q+#+& q'’q*#'>'$EFQ„*S#$!##l@X#$T•#$Q\B*
*'*.*8!>'$*-S*D;;F•#T1>#q>8!XI# EA#C#x[*‡#xQ\B*
T•#$&:#$&„&'#$QK @/#C*#$x.*#… <8-.&/#*'QA##1E
j1Q'"#5e8'@'c#$Q9 O-#Y#7JV#$Ql#$$l->#*'!"#$
#'&'# &'#$ $1 Q'"# #8E -c @/ QA# &'++Wq&$x b''#q#x  !q>1& <8 '-’q>T
&'#$QlQl#$$l->#*01'-’q>T$M!1!"#$-c#M"#$&w&"*#d!;72
<8 !"#$ >Y# U* #d! ;7{*Wx X#$ Q„ T[ @A# #K  @c #d#$ C# '.# >#
*01 !"#$ !8  !: #%&'# @X#$ *l @c #d#$ Ql c! #O# *01 '-’q>T Q„ Q\B*

 !q>1&x#'#<8•>>1!+QK= f O'.#+1+P& EK##$\B*#kA#$Q/ f#
> E#!"#$#%&'##K >-#Œ!$cW8'.#!8!"#$@.*@X#$[*#
Q\B*K S#$TU#$!"#!•*01!"#$#%&'#&1Qw*•#$<*.*!"#$q'
@/ !.Ei'>“!1##<8!"#$q'*'$#'#*01” @ +!1
j 1 Q'"#  C# y #d! ;74 QA# #1Ex 8#$ #d! A $ QK  !|:
#$) '8# *9  * EY# #$8# #%&'# • D#q&#1'#1> •' '#’q&q#*q '#  q &1>
qƒ'&@+Ff#K *X#$&I#Q\B*#$Y#*S Q/S#$TU#$!"#$#%&'#<8'
*.*>Z#<[*#\b– OC#xQK @/#xW8'.#P\ xE3*x +# 3*x P#$ @Yx
$1' X#$x '. 3*x' QA# #1E !"#$ #%&'# Q„I!<8@L#$Q)#Q\B*<)&C*01
!I#&'#$&f#K S#$TU#$@.*#1 
1.1.2. Nơron sinh học.
9#@#$M!1>-AW8'%&'#DAW8'9#@#F<8$>1DAW8'$>1F
%&'#>88#-9#*%Wc#*019#@#x*G#$*l*S*#d#$=,>?X#$#>1
[*#*S*#d#$o&BeI<OE&\*@#$Y#*S <K#%&'##6#"'*G#$1+•

&I#W8E@.N .<K*f "'<8'"Q:#$*01#%&'#+#3*
%&'#+#3**l#K >'"x*G#$@.*#1 <K@C*\*<8@c#d#$
 -.C#  E#Y#*G#$*l*f &G*<8#$ EY#>?'"Q:#$* #$#\+1 
o#%&'#+#3*$M!*l 5 8#-9#6##%&'#< #6# |WY#&'#$
D+'!1Fx !: Q9  T6E 9# @# &1 D1='#F <8 !:  P#$ -6# #.# I# *6E
D‚q#T&qFQ/#O#*.*X#$#<8'&'#$[*A*l&f#K T6E9#@# <8' <8
*G#$W1'-0!:T#C*&f>#DJx2H!!
2
F9 T6E9#@#&1Q\B*&•
#.##Œ!* E/#$1'C# y6##%&'##%&'#@.*.*#.#*01Q9
T6E9#@#Q\B*#P<*.*@-9#@#D+E#1-+qF.*@-9#@##8E
Q\B*#P<9#@#<8'*01*.*#%&'#@.*.*#%&'#*l/+,1 QkC# "
*.*@-I#c#Q%#$c#*01!:#%&'#/#&'#$I#
4
,!--.,!!/01!!&'
'"Q:#$*01#%&'#+#3**l/Q\B*!Xc#\+1 
o#%&'# #O# C#   <8' y *.*AW8'9#@#@.*G#$C*B-*.*
C# <8'x@k#$C# <\BN .!:#$\‹#$#8'Ql*G#$"'C#   &1<8$,
C# #8E *.*#%&'#@.*X#$N 1T6E9#@#
.*#%&'#>Y#@A<#1 8#!"#$S*Q:WK#<V#$*01*.*>Y#@A#8E
=.*Q)#!:+P$3>8&3#$+P>Y#@A
1.1.3. Nơron nhân tạo.
X-€#$#%&'#+#3*x1*l#%&'##6#"'o#%&'#*l&f#K T6E 9#
@#<8'x#$Z1>8!o#%&'#*l/A-#O#QM#$w#K TV> 
"#$ #%&'# #6# "' D&’*1> q &1> qƒ'&@F >8 !: *f  &G* !"#$Q\B*
I#8##Y# W|!:+P>\B#$>#*.* #%&'# #6#"' >Y# @A<#1 o
#%&'#*l*.*Q{*C#Q9 <8'xQ9 &1<8[*#!:*S*#d#$C#'.#*U*W:
e<*$c>O-*.*P#$+#3*x*.**f &G*C#'.#!"#$
#%&'#*l/$cN EAQ\B*>-*.*W8'.##fQ)##\W8'.#>O->)*xW8'.#
I! @A!x W8 '.# #O# T"#$ !z x W8 '.# =A- >'"x "#$ #%&'#*•# $c N EA

Q\B* >- *.* W8 '.# +, TU#$ TV >  @X#$ Q9E Q0x = #$ Q: !w '{* =.* + f
V#$W8'.##8EQ\B*Q{*&\#$W|!:+P'{*f*c*.* C# *f +1  g, TU#$
@X#$ $1# #K  *K x *.* \%#$ .* -S* "-x*\1WA'{*@X#$/q'T~<K
7
!{'.#3*$V1*.*WA#—@X#$$1##$!*l / &o#$x*l#$!T E#f '{*
*l!: +P #$!WI#QL#$#\#1 $'8&1x!"#$#%&'##6#"'*•#C*B-
Q/ I! #$! *01#V#$W8'.#Q•€Q9 <8'>8#V#$ *c!#O#W| *'##$\w
#\ A#$#lx #I# <8 #O# T"#$x  E #Y# <* .# =" y !: W8 '.# Wf @˜
+1#$!:$c- !"#$#%&'#>">8!:<*@X#$Q%#$c#
1.1.4. Các thành phần của một nơron nhân tạo.
R9##8E!Xc!:+P8#-9#*%Wc#*01!:#%&'##6#"'V#$
8#-9##8E>8$P#$#1 *'T•#%&'#QlT•#$&'#$9#$<8'x9#$&11E>8|
&'#$9#$h#
Thành phần 1. Các nhân tố trọng số: :#%&'#\w#$#O##K Q9 <8'*•#$
>G*oQ9 <8'*l&3#$+P>Y#N 1#*01&Y#$#lx&3#$+P#8E$G-*'Q9 <8'*l
c#\|#$*9#A>Y#8!k#$*01Q%#<)=,>?D8#-9#=,>?FV#$&3#$+P
#8E*l*S*#d#$$P#$#\+S*!"#*01*.*+E#1-q+@.*#1 &'#$#%&'#+#3*
&'#$*c1&\w#$B-D#6#"'<8+#3*Fx!:+PQ9 <8'N 1#&3#$%##V#$
Q9 <8'@.*T'<OE*G#$*lc#\|#$>#%#8#-9#=,>?Q/&M*G#$@A
B->"Q/"'&1+[-c#S#$*01#%&'#D#q &1>&q+-'#+qF
.*&3#$+P>8#V#$+PC*#$WY#&'#$!:!"#$x*G#$=.*Q)#*\w#$
Q:D+S*!"#1E>8+S*c#\|#$F*01C# <8'>Y##%&'##6#"'V#$+S*
!"##8E*l/Q\B*QK *‡#q'#V#$O-Q8'"'Q1T"#$@.*#1 <8q'!:
@A#&G*!"#$*U/1E>8N 1*.*> O3**01#l
Thành phần 2. Hàm tổng: i\*Q9 Y#&'#$'"Q:#$*01!:8#-9#=,
>?>8C#'.#k#$*l&3#$+P*01f*c*.*Q9 <8'eK!{'.#3*x#V#$Q9 <8'<8
*.*&3#$+P\%#$S#$>8#V#$<]*%*l/Q\B*W/ T…#
™D

x

2
xx
#
F<8•™Dƒ

xƒ
2
xŽxƒ
#
FC# <8'k#$>8C*<X\#$*01!o8#
-9#&'#$<]*%<8#-9#\%#$S#$&'#$<]*%•<8*:#$>"f*c*.*C*
#- 

™

ƒ

x#- 
2
™
2
ƒ
2
Ž P*•#$Q\B**:#$>"#- 

š#- 
2
šŽš#- 
#
bA

N c>8!:+PT E#fx@X#$-c>8!:<]*%
;
8!k#$*l/-S*"-%##K +'<!Xc|&Y#9 <8'<8*.*+P
&3#$+P*l/Q\B*@AB-q'#K *.*@.*#1 &\*@Q\B*Q\1<8'8!
* E/#QkiY#*"#<*C#k#$*.*C*Q%#$c#x8!k#$*l/*3#!1=x!#x
C*Ž#w!:+P O'.#* h#›* O'.#*U/Q/@AB-*.*Q9 <8'*01
#%&'#Q\B*=.*Q)#W|<**3#@A#&G*!"#$<8!XI#!"#$
Thành phần 3. Hàm chuyển đổi:bAN c*018!k#$x9 #\> X#>8k#$*l
&3#$+PxQ\B** E/#Qk8#!:Q9 &1*l?#$Z1#w!:N .&I#=,>?*l O
'.#$3>88!* E/#Qk&'#$8!* E/#Qkk#$*l/Q\B*+'+.#<!:
#$\‹#$#8'QlQ/N EAQ)#Q9 &1*01!"#$A #\k#$>#%#$.&)#$\‹#$I
8#-9#=,>?Q\1&1Q9 &1!:C# A #\k#$*01Q9 <8'<8*.*C**l
&3#$+P#€%##$\‹#$I@X#$*lC# |Q9 &1c1@/ -c#S#$QK N 1#
&3#$
.&)#$\‹#$x*•#$38!* E/#Qkx\w#$>8- EA#.*8! EA#C#
W)$"#<IQ9 &1*‡Q%#$c#>8œ>*01Q9 <8'
8!* E/#Qk*l/*‡Q%#$c#>8*'WA8!k#$>8T\%#$1E6!"#$*l/
*'&1Q9 &1J<8x<8jx1E*'#+P@AB-#8'Ql
Thành phần 4. Hàm ra:o8#-9#=,>?*'-]-!:C# Q9 &1!8
Q9 &1#8E*l/Q8#$&d!#%&'#@.*K #8E$P#$<#%&'#+#3*&'#$
Ql*l&f#K Q9 <8'<8*‡*l!:8#Q:#$&1\w#$IQ9 &1\%#$Q\%#$<
@AN c*018!* E/#Qk E#Y#x!:+P@A#&G*!"#$*‡#+,1@AN c*01
8!* E/#QkQ/@AB-<#V#$8#-9#=,>?>6#*O#.*#%&'#*'-]-
*"#&1#<#V#$#%&'#@.*x@#8E*G#$"#*A*.*8#-9#=,>?@.*&y
*.*8#-9#=,>?*l+S*!"#&f>#g[*"#&1#*l/=hE&1|!:1E>8*c1
!S*9 Y#+[*"#&1#N EAQ)#=q!#%&'##6#"'#8'+•>8C**[*x1E>8
* #$*f-!:Q9 &1A-q'*.*Q9 &1*"#&1#$G-=.*Q)#8#-9#=,>?#8'
+•1!$1<8N .&I#3*1E>8N .&I#C*#$
Thành phần 5. Giá trị truyền ngược và hàm lỗi&'#$9 A*.*!"#$3*
+[@.*W$V1Q9 &1#"<8Q9 &1!'#$! P#Q\B*C#'.#x+[@.*W*l/

Q\B*$3>8>oXg1 @Q\B*C#'.#x>oXQlQ\B** E/#QkW|8!>oQ/>8!
J
*'-•B-<!:@A#&G*!"#$*U/#8'Ql.*@A#&G*!"#$*%+|#f+,
TU#$>o#8E!:*.*&[*A-#\#$!:+P@.*WI#-\%#$>oQl&'#$@<z#$V
>"Tf *01#lx!:+PC#WO*W1*01>ox!:+P@.*>" *‡#>oXQlQ/Q"
Q\B*!U*QC**U/#8'Ql(o*01#%&'##6#"'\w#$Q\B*& EK#<8'8!3*
*01!:8#-9#=,>?@.*gP"#$>o#8EQX@*•#Q\B*$3>8>o#w
(o#w\w#$Q\B*& EK##$\B*<K!:9#$&\*Ql\#$$.&)
& EK##$\B*#8E*l/>8>o#w1E>8>o#wQ„Q\B*QK *‡#q'!:
*.*#8'QlD\w#$+,TU#$Q"'8!*018!* E/#QkFx1E>8!:Q9 &1!'#$
! P##8'QlxQK #8E-U :*<8'@/ !"#$#%&'#Q\B*+,TU#$\w#$I$.&)
& EK##$\B*#8E+1 @Q\B*QK *‡#W|8!3*Q\B*#6#<!o&3#$+P@A
#P<8'Q/1EQk*G#$&\*@W\*<8'* @˜3*!
Thành phần 6. Hàm học:U*QC**018!3*>8Q/1EQk$.&)*01WA#
&3#$+P@A#P|*.*Q9 <8'*01!o8#-9#=,>?q'!: O'.##8'Ql .
&I#1EQk*.*&3#$+P*01*.*@A#PQ9 #8'#Œ! Q\B*!:+P@AN c!'#$
! P#*‘#$*l/Q\B*$3>88!C*#$x1E*•#$3>8*AQ:3*l1@/ 3*
*C#>83**l$.!+.<83*@X#$*l$.!+.3**l$.!+.Q•€*l!:†$.'
<Y#ˆ$\w†$.'<Y#ˆ#8E*l/>8!:O-TV> Q8'"'1E>8!:†#$\wN 1#
+.xˆ†#$\wN 1#+.ˆ#8EQ.#$.@AN c'"Q:#$*01!"#$&'#$@@X#$*l
†$.'<Y#ˆWY##$'8#8'xP#$+•-c[+›-=A-#w!:Y * h#WY#&3#$
Q\B*A@A+•#&'#$!"#$
1.2. Đơn vị xử lý.
:Q%#<)=,>?DI#2Fx*‘#$Q\B*$3>8!:#%&'#1E!:#GD#'TqFx
[*#!:*X#$<*&fQ%#$c##l#O#C# <8'y*.*Q%#<)-C1&\*1E
!:#$ M#WY##$'8<8+,TU#$*G#$Q/C#C# &1+•Q\B*>1#& EK#+1#$*.*
Q%#<)@.*

,!-2/!3"4567801'9!!:
&'#$Ql

X
j
*.*Q9 <8'
w
ji
*.*&3#$+P\%#$S#$<*.*Q9 <8'
žj Q:>*DW1+F
1j Q9 <8'!"#$D#qj#- F
;j Q9 &1*01#%&'#
g(x)8!* E/#D8!@C*'"F
Trong một mạng nơron có ba kiểu đơn vị:
F.*Q%#<)Q9 <8'D#-  #+Fx#O#C# yWY##$'8—
2F.*Q%#<)Q9 &1D -  #+Fx$,TV> &1WY##$'8—
5F.*Q%#<)h#DTTq# #+FxC# <8'D#- F<8&1D' - F*01#l#Œ!&'#$
!"#$
oQ%#<)j *l/*l!:'{*#K Q9 <8'=
J
x=

x=
2
xŽ=
#
x#\#$*‡*l!:
Q9 &1“
Ÿ

:Q9 <8'!:Q%#<)*l/>8TV> yWY##$'8!"#$x'{*Q9 &1*01
!:Q%#<)@.*x'{*>8Q9 &1*01*C##l
1.3. Hàm xử lý

1.3.1. Hàm kết hợp
o!:Q%#<)&'#$!:!"#$@AB-*.*$.&)Q\1<8'#lX#$N 1*.*>Y#
@A<*.*Q%#<)@.*x+#&1!:$.&)$3>8!9!<8![*##!<U#8E
2
$3>88!@AB-xQ\B*Q)##$Z1W|!:> O>1#& EK#*U/&'#$-9#>#*.*
!"#$#%&'#x$c+,!o!:Q%#<)* #$*f-!:W:*:#$#\>8Q9 <8'*'Q%#<)
!8#l*l>Y#@Ak#$Q9 <8'Q%#<)j Q%#$c#*‡>8k#$&3#$+P*01*.*Q9 &1
&Y#$> y*.*Q%#<)@A#P*:#$Y!#$\‹#$1EQ:>*DW1+F
θ
j


n
a
j

=

∑
w
ji
x
i

+

θ
j
i
=

&\w#$B-
w
ji

¡Jx#%&'#Q\B**'>8Q1#$|&'#$&"#$.@C*C*\%#$[x
#A #\
w
ji

¢Jx#%&'#|&"#$.@K!*AG#$1$3*.*Q%#<)<> O>1#& EK#
#\&Y#>8*.*+$!1 #+&'#$!:<8&\w#$B-#$\w1*‘#$*l/+,TU#$*.*
> O>1#& EK#-S*"-%#:&'#$+PQl>8> O+$!1j-x*lT"#$#\+1 
f#K 8!@AB-+,TU#$!:£Q:>*£1E£#$\‹#$£Q/C##q#- 
Q%#<)P<!:Q%#<)Q9 &1 EA#C#xX#$\w#$x
θ
j

Q\B**3#>8Œ#$+P<8
&'#$W8'.#=f-=‡Q1S*
θ
j

™
1.3.2. Hàm kích hoạt (hàm chuyển)
R9# ># *.* Q%# <) &'#$ !"#$ #%&'# * E/# #q #- WŒ#$ *.* +, TU#$ !:
8! <X\#$ D+*1>1&j'j+*1>1& ’ #*'#F $3 >8 8!@C* '"x @A N c *01 8! #8E >8
!:$.&)$3>8!S*Q:@C*'"*01Q%#<)D #¤+1*<1'#F('"&y@c#d#$Q%#<)
Ql :*>-&1x$.&)@C*'"Q\B*Q\1<8'!:1E#K Q%#<)@.*.*8!@C*
'"\w#$W)]-<8'!:@'c#$$.&)=.*Q)#xT'Ql\w#$Q\B*$3>8*.*8!W}-
D+N 1+#$F.*8!@C*'"1EQ\B*+,TU#$>8

F 8!QM#$#fD(#q1&’ #*'#xTq#E’ #*'#F
$D=F™=
5
A *'*.*Q9 <8'>8!:Q%#<)I*G#$+•+,TU#$8!#8EX@!:Œ#$+P
Q\B*#6#<#qj#- Q/"'&1!:8!QM#$#f
,!-=->?@!!A8B9!C!'1!:
2F8!W\*#)-6#Di#1&E+q-’ #*'#x1&T>!’ #*'#F
8!#8E*‘#$Q\B*WAQA#<Y#£8!#$\‹#$£D&q+'>T’ #*'#1E
q1<+Tq’ #*'#F9 &1*018!#8EQ\B*$"#<8'!:&'#$1$.&)
‚"#$ 8! #8E Q\B* +, TU#$ &'#$ *.* !"#$ *‡ *l !: >- &'#$ I# <• +1 x
θ
Q\B**3#WŒ#$
,!-=2>DEF'!"<G!8H!I09<C!'1!:
5F8!+$!'TDg$!'T’ #*'#D>'$+$FF
8! #8E Q{* W  O# >B @ +, TU#$ *' *.* !"#$ Q\B*  f# > E# D&1#qTF W|
 O'.# $I! 0! !EJ' DW1*@j-&'-1$1'#Fx W| <I #l T… >fE Q"' 8!x T' Ql *l
/ $c!Q.#$@/C#'.#&'#$N .&I# f#> E#8!#8EQ\B*S#$TU#$*'*.*
*\%#$&I#S#$TU#$!8*.*Q9 &1!'#$! P#&%<8'@'c#$¥Jx¦

Hình 1.3.3 >K>1B
F8!+$!'T>\‹#$*[*Di-'>1&+$!'T’ #*'#D1#+$FF
8!#8E*l*.* :*C#\%#$[8!+$!'Tl>8!<*PQP<*.*S#$TU#$
*lQ9 &1EY *9 &'#$@'c#$¥jx¦
,!-=L>>1B6EM!'N'
.*8!* E/#*01*.*Q%#<)h#DTTq# #+F>8*9#AQ/W/ T…#+[-
 EA# <8'&'#$ !"#$ (? T' >8 B- 8# *01 *.* 8!QM#$#f >8 !: 8!QM#$
#f{*T•<OE#\#$#l!1#$C#*f- EA#D#$Z1>8x@c#d#$W/ T…#*.*
8!- EA#F>8!*'*.*!"#$#K 9#$*l@c#d#$&fP&'#$W/ T…#*.*.#
=" -  EA#  E #Y#x QP  < > O 3* >1# & EK# #$\B*x 8! -c @c <
DT’’q&q#1W>qF <8+•*lC*#A #\8!Q\B*$›#&'#$!:@'c#$#8'Ql‚'<OEx

8!+$!'T>8>[1*3#X#$TU#$#f
P<*.*Q%#<)Q9 &1D' -  #+Fx*.*8!* E/#*9#Q\B**3#+1'*'
-•B-<+[-6#-P*01*.*$.&)QC*!'#$! P#G#$1Q„fE&Œ#$QP<
*.*$.&)&1&'#$@'c#$¥Jx¦x8!+$!'T>8*lC*—QP<*.*$.&)QC*!'#$
! P#>8>Y#U*&'#$@'c#$QlI8!#8E*‘#$<z#*lC*x#l*l/*'1*.*$.
&)&11E$.&)QC*Q\B* *d# &'#$ !: @'c#$ *01 8! @C* '" Q9  &1 \#$
#A  *.* $. &) QC* @X#$Q\B* WA &\* @'c#$ =.* Q)# I 8! 1E Q\B* +,
H
TU#$#f>88!QM#$#fA $.&)!'#$! P#>8T\%#$#\#$@X#$WA*O#
&Y#I#Y#+,TU#$!:8!@C*'"T"#$!‘
1.4. Các kiến tr^c mạng.
1.4.1. Mạng Một Tầng.
"#$!:9#$<g#%&'#Q\B*!#31&'#$I#G?&Œ#$<!o
!:Q9 <8'&3#$+PQ9 <8'+•Q\B*#P<y#$#%&'#<8!1&O#&3#$+PW6E$w
+•*lg8#$
,!-LOA0P'>Q!!/01!-R!
:9#$W1'$M!!1&O#&3#$+Px*.*W:*:#$x<q*'&#$\‹#$Wx8!* E/#<8
<q*'&Q9 &1a.
o-9#,*01<q*'&Q9 <8'pQ\B*#P<y#$#%&'#X#$N 1!1&O#
&3#$+PWo#%&'#*l!:#$\‹#$W

x!:W:*:#$x!:8!* E/#f<8!:Q9 &1
1

•#$<#1 x*.*Q9 &1"'8#!:<q*'&Q9 &1a.
X#$\w#$I+P>\B#$Q9 <8'*019#$@.*<+P>\B#$#%&'#D§gF
f*c*.*#%&'#&'#$*•#$!:9#$@X#$*l8!* E/#$P#$#1 l/
Q)##$Z1*.*#%&'#&'#$!:9#$*l8!* E/#@.*#1 WŒ#$*.*@AB-+'#$
+'#$1!"#$#%&'#$P#$|&Y#c1+•*lQ9 <8'$P#$#1 x<8!o!"#$+c#
= f&1<8Q9 &1


1&O#&3#$+P*'*.*-9#,&'#$<q*'&Q9 <8'W
W =














RSSS
R
R
www
www
www
x2xx
x22x2x2
x2xx





.**‡+P8#$*01*.*-9#,&'#$!1&O#W *‡&1#%&'#QC*Q„@AB-<
&3#$+PQlx&'#$@*‡+P*:*'WAQ9 <8'*'&3#$+PQleI<OEx*.**‡+P
&'#$ƒ
52
#l&Œ#$Q6E>8&3#$+P*01Q9 <8'S2#P<#%j&'#S5
&'#$I#&Y#x#V#$@C |T\*.*WA#*'WA*.*X#$+P<K9#$#8Ex
p >8!:<q*'&*lQ:T8xW >8!1&O#g
×
xa<8b>8#V#$<q*'&*lQ:T8g\
Q„Q)##$Z1&\*&Mx!:9#$W1'$M!!1&O#&3#$+PxW:*:#$<8*.*-]-'.#
#6#x<q*'&#$\‹#$bx8!* E/#<8<q*'&Q9 &1
4
W
D
f
+
×R

RS ×
×S
n
a
×S
S
R
#-  (1Eq&'’gq &'#+
ISC8T<UD:
,!-+>IV!>WR!3X0P&!
×S
p

1.4.2. Mạng Đa Tầng
o9#$*l!1&O#&3#$+PW *01&Y#$#lx<q*'&bx<q*'&Q9 <8'nx<8!:
<q*'&Q9 &1bQl*9#-c@1W.'Y!<8@C Q/-6#W$V1*.*9#$#8E
1+•+,TU#$*.*<A>Y#&Y#Q9 Q/#O#WA@C Ql :*9#$#8'C#=.*>8
*G#$1$›#Y!*‡+P*019#$&Y#Q9 !oWA#\<OEx!1&O#&3#$+P*019#$
S2Q\B*<A#\#8EW
2
. .*@C #8EQ\B*T•#$&'#$!"#$#%j&'#59#$#\
I#
,!-YOA0P'>Q!!/01!=6F<
\Q„fEx*lQ9 <8'xg

#%&'#|9#$S#fxg
2
#%&'#|9#$S1x
g
5
#%&'#|9#$SW1x<<\Q„*G?x#V#$9#$@.*#1 *l/*l+P>\B#$
#%&'#@.*#1 
9 &1*01*.*9#$<82>8Q9 <8'*019#$2<89#$5eI<OE9#$2*l/
Q\B*=q!#\!"#$#%&'#!:9#$<Q9 <8'™g

x#%&'#g™g
2
x<8!1&O#&3#$
+PW ™g

×
g
2

9 <8'*019#$2>81

x<8Q9 &1>81
2

9 &1*01!:9#$*C#>8Q9 &1*01!"#$I1$3Ql>8tầng ra.*9#$
*•#>"$3>8tầng ẩn"#$#%&'##\|&Y#*l!:9#$&1D9#$5F<819#$h#D9#$
<89#$2F
7
:!"#$*lW19#$$P#$#1 #\&Y#*‘#$*l/Q\B*<•$3#>"#\
I#4
,!-ZQ!!/01!=R![3X0P&!
"#$Q19#$*lS#$TU#$!"#%#!"#$!:9#$eCTUx!:!"#$19#$*l
9#$S#f>89#$=*!1<89#$S1>89#$ EA#C#*l/Q\B* f#> E#Q/
=f-=‡!38!'.#3*•E?@.* h#"#$!:9#$@X#$>8!Q\B*QK #8E
A *lWP#EA PWY##$'8Q\B*T•#$#\*.*@C*C*Q9 <8'xI!"#$*01
1+•*lWP#Q9 <8'\%#$[#\<OE#A !"#$*lWcEQ9 &1I-c*lWcE#%&'#|
9#$&1 P*•#$x*.*Q{*Q/!!'#$! P#*lQ\B*|C# Q9 &1*‘#$$G-1*3#
>[18!* E/#B->?%#*'9#$&1c+,!:Q9 &1>8!:&'#$1$.&)j'{*
xI@Ql8!* E/#$"##${QP=S#$+•Q\B*>[1*3#\<OEx@A#&G*
!"#$!:9#$9 #\Q\B*=.*Q)#'8#'8#W|*.*EA P@– OxW1'$M!+PQ9
<8'xQ9 &1x<8*.* :*C#*01C# &1
b!"#$*l#K %#19#$.*EA PWY##$'8@X#$*'WA+P>\B#$*.*
#%&'#EY *9 W1'#Y |*.*9#$h#[*Ax*l!:<8<f#QK*'<*T[Q'.#+P
>\B#$#%&'#P\ |9#$h#ef#QK#8E>8!:>Z#<[*#$Y#*S 
eK+P>\B#$9#$&'#$!"#$I9 A#V#$!"#$#%&'#[*A*‡*l11E
W19#$iP#9#$'{*#K %#&fC@Q\B*+,TU#$
:!"#$*l/*3#>[1<**.*#%j&'#*l1E@X#$*l*.*$.&)#$\‹#$
.&)#$\‹#$>8!:WA#-U*'!"#$(\ ?x*l!:#%&'#@X#$*l$.&)#$\‹#$
@QlQ9 <8'*018!* E/#D#q#- F+•> X#> X#>8J@Q9 <8'*01!"#$p>8J

;
6E>8QK @X#$!'#$! P#<8*G#$1*l/>'"W€<f#QK#8EWŒ#$<*+,
TU#$$.&)#$\‹#$v#\|#$*01$.&)#$\‹#$QA#@AN c#\A#8'*G#$1+•
-c#$Y#*S +6 %#.&)#$\‹#$*l/W€Qx&'#$!:+P&\w#$B-QK #8E
Q\B*>8!Q%#$c#>8Q/$c!+P>\B#$1!+P*01!"#$‡<1WA#x*G#$1*l
/<•Q\B*QM)*'!{-L#$1*K i11E#K WA#%#+•@l/#)
šO\'?]'0E!'^I>Q!!/01!
"#$ #%&'# >8 !: *f  &G* =, >? +'#$ +'#$x X#$ # -6# .# <8 *l*.*Q{*
&\#$#kWO+1 
 (8!XI#'.#3*T[1&Y#Wc#*f*01#%&'#+#3*
 i1'$M!!:+P>\B#$>#*.*#%&'#>Y#@A<#1 
 "#$ #%&'# *l @c #d#$ 3*x @. N . '. O- TV >  3* X#$
N 1<*$.#<8 *‡#*.*&3#$+P>Y#@A
 k *S* q' @/  O- B- !1#$ >" *' !"#$ #%&'# @c #d#$ C#
'.#&f>#x&'#$Ql@X#$*l#%&'##8'!1#$X#$#&Y#$W
1.5. Các hình trạng của mạng.
I#&"#$*01!"#$Q\B*Q)##$Z1W|+P>-x+PQ%#<)&Y#!o>-x<8+[
>Y#@A$V1*.*>-#\A#8'.*!"#$<Kk#$/Q\B**18#1>'"T[1&Y#
*.*S*>Y#@A*.*Q%#<)
"#$#%&'##6#"'*l!:+P!XI#X#$TU#$+1 
1.5.1. Mạng truyền thẳng.
j"#$& EK#L#$!:>-(8!XI#>Y#@A*%Wc#<8Q%#$c##f.*
#%&'# k *S* >" < #1  "' 8# !: >-x C#   Q\B* & EK# q'!: \#$
#fQ)##8'Ql.*Q9 <8'Q\B*#P<*.*#%&'#q'&3#$+P@.*#1 x+1 N .
&I#=,>?*'&1!:* o*.*C# &1A !"#$>8!XI#(I#lQ\B*$3
>8!"#$-q&*q-'#x*•#!"#$#%&'#q'!XI#(IQ\B*$3>8T1>#q
=
 
E


2J
=
2 
E
2
=
! 
E
#
,!-_.,!>Q!0!`!>W6F<
e!o$.&)Q9 <8'=™¥=

x=
2
xx=
!
¦
 
N 1N .&I#=,>C*01!"#$+•
Q\B*!:W:Q9 &1
ươ
#$S#$E™¥E

xE
2
xxE
#
¦

j"#$& EK#L#$#K >-e*f &G*Q%#$c##\&Y#x@$cN EA*.*

W8 '.# -S* "- !"#$ & EK# L#$ !: >- +• ${- &f #K  @l@d#/@›*
-U*#\B*Q/!#8Ex#$\w1Q\1&1!"#$& EK#L#$#K  >- 6E >8
!"#$ & EK# L#$ $M! #K >- @A B-< #1  (-#O#C# $3>8>-Q9
<8'D#- >1Eq&Fx>-Q\1*.*C# &1$3>8>-Q9  &1 D' -  >1Eq&Fx *.* >- |
$V1>-<8'<8>-&1$3>8>-h#DTTq#>1Eq&+F f  &G**01 !"#$#%&'# & EK#
L#$ #K  >- Q\B*!Xc &'#$I#;
,!-aQ!!/01!0!`!!6F<
1.5.2. Mạng hồi quy.
iY#*"#!"#$& EK#L#$*•#*l#V#$T"#$!"#$@.*#\*.*!"#$M
N E.*!"#$MN E\w#$*l*.*>Y#@A#$\B*y*.*>--C1+1 QA#*.*>--C1
&\*1E$V1*.*#%&'#&'#$Wc#6#!:>-
2
 "#$MN E!:>-*l#P#$\B*
,!--bQ!@c>W6F<'d!e!EJ'
 "#$MN E#K >-*l#P#$\B*
,!- Q!@c!6F<'d!e!EJ'
1.6. Tiếp cận Nơron cho tính toán.
1.6.1. Luật học.
.*> O3*Ql#$<1&•N 1#&3#$&'#$<*=.*Q)#!:!"#$#%&'#
#6#"':*.*Q%#$c#<K@.#!3* *01 !"#$ #%&'# >8 *O-#O *.* &3#$
+P&Y#*%+|*.*!z 
22
S*#d#$*01!:!"#$#%&'#Q\B*N EAQ)#W|*.*#6#P#\I#&"#$
!"#$D+P>-x+PQ%#<)&Y#!o9#$x<8*.*!8*.*>-Q\B*>Y#@A<#1 F<8*.*
&3#$+P*01*.*>Y#@AWY#&'#$!"#$I#&"#$*01!"#$\w#$>8*PQ)#x<8*.*
&3#$+PQ\B*N EAQ)#W|!: O'.# f#> E#D&1##$1>$'&!FA#&I#
QK *‡#*.*&3#$+PQ/!"#$†#O#WAˆQ\B*N 1#$V1Q9 <8'<8QC*!'#$
! P#Q\B*$3>83*D>q1&##$F1E f#> E#D&1##$Ff#K  O'.#3*Q„
Q\B*-.!#Q/I!&1O-&3#$+PP\ >8!$c- *'*.*W8'.#.* O
'.#Ql*l/*1>8!1#l!*C#3**l$.!+.Dg -q&<+qT>q1&##$F<83*

@X#$*l$.!+.D#+ -q&<+qT(q1&##$F
I &''d\>\
6E>8-\%#$- -kWA##fQ/Q8'"'!:!"#$#%&'##6#"'#Œ!I!
&1>w$c-•B-*'W8'.#q'*%*A#8ExQ9 &1[*+[*01!"#$Q\B*+'+.#
<Q9 &1!'#$! P#.*&3#$+P\w#$Q\B*$.##$z #Y#&\*@W›Q9 Q8'
"'+1 QlQ\B* *‡#W|!"#$QlQ/&'#$>9#>{-A-q'x1E* @˜A-q'x
+•"'&1!:@AN c$9#<@AN c!'#$! P#%#.*-\%#$- 3*#I#* #$
QK *P$›#$$c!/ *.*>o#w*01*.*8#-9#=,>?/yQl$c!>o'8#
*U*'!"#$x<*$c!>o'8#*U*#8ET…#&1>Y#U*#Œ!1EQk*.*&3#$+P<8'
*'@Q"Q\B*Q:*C#=.**f-#O#Q\B*
e3**l$.!+.x!"#$#%&'##6#"'-cQ\B*Q8'"'&\*@*l/+,
TU#$e*Q8'"'W1'$M!Q\1TV> Q9 <8'<8Q9 &1<8'!"#$‚V> #8E\w#$
Q\B*$3>8O-Q8'"'l#$Z1>8<!oO-Q8'<8'Q\B** #$*f-*'P#$*l
!:O-Q9 &1!'#$! P#\%#$S#$&'#$9 A*.*S#$TU#$xTV> [*+[
O-yA$[*Q\B*+,TU#$1Q'"#Q8'"'#8E\w#$P#@.#K w$1#
&'#$*.*P#$Wc#!z x<+S*!"#=,>?@X#$Q S#$EY *9 x<*3*
*l/T…#&1&'#$#K  9#e*Q8'"'Q\B**'>8'8#8#@!8!"#$#%&'#
Q"QA#!S*Q:*C#=.*T'#$\w+,TU#$QK&1S*Q:#8E*l?#$Z1>8!"#$Q„Q"
Q\B*Q:*C#=.*P#$@Y!'#$! P#x#l+#&1@AN cQ9 &1T'#$\w+,TU#$Q{
&1<!:O-Q9 <8'*'&\*b@X#$*9#3*Y!#V1x*.*&3#$+P\w#$Q\B*
T E&I*PQ)#*'S#$TU#$Ql:+P@/ !"#$*'-]-A-U*3*x+1 @Q„
Q\B*Q\1<8''"Q:#$x#\#$|P*Q:f-%##K K #8E$G-*'!"#$C*
25
#$T9#T9#<#V#$QK @#1EQk&'#$A$[*+1 @Q„Q\B*Q\1<8'+,
TU#$
O-Q8'"'\w#$-c@.>#Q/Q"Q\B*f*c*.*X#$#*9#AxQ/!"#$
*l/3*Q\B**.*Q{*C#<8#V#$!PN 1#N 1#&3#$yO-QlbX#$*‡O-
Q8'"'-c>#!8*.*-Y#Q8'"'-c[*#<#V#$TV> Q1T"#$@.*
#1 A #\!"#$Q\B*Q8'"'*‡!:<CTU!:>9#I*l/f*c*.*&3#$+P
Q\B*QK *‡#*PQ)#!:*.*‡!‡\%#$S#$<!:#6#PQ/#I#&'#$<CTU

Qlx#\#$#6#P#8E*l/W)1EQk&f#K &'#$>9#3*A-q'D@!"#$3*
<K!:#6#P@.*x+,TU#$!:<CTU@.*F.*#6#P&\**l/W)N Y#Q@!8
3*<K!:#6#P!‚'<OE!8P#$-c3*!3S*•#$>G*xI!&1+[+›-
Q{&3#$+PP#f<f*c*.*#6#P*01TV> eCTUQ/T"EP#$#O#T"#$
*.*!z -=q>*01J+Px#A #\*l2J<CTU*'!o+Px'8#W:*.*<CTU<K+P4#Y#
Q\B*Q\1<8'!"#$|*•#$wQ/!
‚V> <8'&1Q\B*Q\1<8'!"#$#\A#8'D1EQ\B*!„l1#\A#8'F>8
!:EA P&fN 1#&3#$Q/$G-*'!"#$>8!<*8#*X#$"#$#%&'##6#"'
*‡$cN EAQ\B*TV> <8'T"#$+PeOE#Y#xTV> Xy!X&\w#$WY##$'8
-cQ\B** E/#Qk9#-c-6#-"!<*'TV> x1E>8* h#l1#l*'-•
B-<@/ !"#$ .&I#K#=,>?#8EQ„@.-kWA#<!.EC#& EK#P#$
#\X#$N 1*1!q&1x*c!WA#D+q#+'&+Fx1E>8!.E*l/Q3*D&q1T1W>q!1*#q+FŽ
g1 @Q„Q8'"'*l$.!+.='#$*9#-c@/!&1=q!!"#$*l/>8!$I<
TV> !8#l*\1K${-&\*QlA #\P#$*'!:Q9 &1@X#$Q0P<
O-TV> @/!&1xIN .&I#Q8'"'*\1/@AG*Q\B*[*+[<*@/!&1
#8E>8&fN 1#&3#$#Œ!Qc!Wc'>8!"#$@X#$*‡Q%#$c##!:O-TV> *'
&\*!8Q„3*Q\B*#V#$!z * #$x-.#*.*Q{*C#= f#WY#&'#$S#$
TU#$
D &'f.!'d\>\
e*.*3*@X#$*l$.!+.x@X#$*l-c#My!X&\w#$Q/*‡&1&Œ#$
Q9 &1*01!"#$>8QG#$"#$+•-c@.!-.*.*Q{*&\#$x*.*QK *‡#x*.*!P
\%#$N 1#x1E*.*>-&'#$TV> <8'!:*.*[Q:#$&'#$[*AxQP<-9#
>#*.*WA#/*013*@X#$*l$.!+.x*.*QC*&•#$<Q9 <8'l!:*.*
2
@.*x3*@X#$*l$.!+.> X#[*#!:*X#$<*\%#$[#\!:!"#$[>Y#
B-x*XQ3#$X#$#yTV> <8'
3*@X#$*l$.!+.>8!:S1}#>#&'#$\%#$>1.EC##Y#[3*
#\!:&'W'[*+[##1E-\%#$- #8E<z#*•##K "#*A<*f &G*
!"#$#%&'#Q„WAQA#$3>8*.*.#="[+›-=A-('"!"#$#%&'##8E<z#*\1
Q\B*+,TU#$&:#$&„ E#Y##$\w1Q„*S#$!#Q\B*&Œ#$*G#$* #$*f-!:

$c- *'!:+PT"#$W8'.##fQ)#
1.6.2Tốc độ học.
P*Q:3**01!:!"#$#%&'##6#"'-U :*<8'!:+P#6#P*l/QK
@/#e*>[1*3#*.*A-*O#<f#QK*l&f#K EA P*9#-c=q!=]~&8#$
&Œ#$P*Q:3*f-%#QM#$#$Z1<<*-cY P##K w$1#%#Q/Q8'"'
!"#$Q/ Q\B*!:!"#$Q\B*Q8'"'Q0P E#Y#<P*Q:3*#1#%#I
!"#$*l/@X#$Q0@c#d#$"'&1@AN cP#\>8!:!"#$3**O!%#A
.*#8#$Y#*S Q1#$#$Y#*S Q/T #$•11<f#QK#8E
9#-c=q!=]!:+P#6#PWY#*"##6#Pw$1#&'#$@QK*O-QA#
#!<UQ8'"'xQK #8E&f-S*"-f*c*.*EA P#\Q:-S*"-x@C**‹x<*
*3#!XI#x@A#&G*x@/ > O3*x*.*> OQ\B*+,TU#$x<8Q:*C#=.*!'#$
! P#*01!"#$*9#-cQ\B*=q!=]V#$#6#P#8EQl#$<1&•A+S*N 1#
&3#$&'#$<*!fW1'>6 Q/Q8'"'!"#$e*1EQk!:&'#$#V#$#6#P#8E
*l/@]'T8w$1#Q8'"'!:Q:Q8N .>#1EO!*C Q\B*@AN c*l
Q:*C#=.*@X#$/*f-#O#Q\B*
9 A*.*8!3*QK *lP*Q:3*1E$3>8Œ#$3*\w#$I+P"#$#8E
>8T\%#$<8#Œ!&'#$@'c#$DJxFA #\P*Q:>#%#I O'.#3*QK
*‡#*.*&3#$+P*01!"#$N .T…T8#$<8@Ql!"#$>8!<*@X#$k#Q)#.*
$.&)P*Q:3*#€+•@X#$QK *‡#>o#w#1#x#\#$#A *‡*9#[*
#!:+PW\*#€Q/QK *‡#>oI@X#$@l@d#>›!Q/Q"Q\B*Q::UP
#f
2H