Chuong04 nhap mon dktm

Môn học

NHẬP MƠN ĐIỀU KHIỂN THƠNG MINH
Giảng viên: PGS.TS. Huỳnh Thái Hồng
Bộ mơn Điều Khiển Tự Động
Khoa Điện – Điện Tử
Đại học Bách Khoa TP.HCM
Email:
Homepage: />
19 August 2014

© H. T. Hoàng - ÐHBK TPHCM

1


Chương 4

MẠNG
Ạ G THẦN KINH

19 August 2014

© H. T. Hồng - ÐHBK TPHCM

2


Nội dung
 Khái

niệm về mạng thần kinh
 Các cấu trúc mạng và giải thuật huấn luyện
 Perceptron
 Adaline
 Mạng truyền thẳng nhiều lớp
 Giới thiệu
ệ Neural Network Toolbox của Matlab

19 August 2014

© H. T. Hồng - ÐHBK TPHCM

3


MẠNG THẦN KINH

19 August 2014

© H. T. Hồng - ÐHBK TPHCM

4


Bộ não



Bộ não
ã con người

ời là hệ thống
hố xử
ử lý thơng
hơ tin
i phức
hứ
hợp, phi tuyến và song song có khả năng học, ghi
nhớ tổng quát hóa và xử lý lỗi
nhớ,
lỗi.

19 August 2014

© H. T. Hồng - ÐHBK TPHCM

5


Mạng thần kinh sinh học



Bộ não con người gồm khoảng 1011 tế bào thần kinh
liê kết với
liên
ới nhau
h thà
thành
h mạng

19 August 2014

© H. T. Hồng - ÐHBK TPHCM

6


Tế bào thần kinh sinh học



Tế bào thần kinh gồm: thân tế bào (soma), đầu dây
thần kinh vào (dendrite), khớp nối (synapse), sợi
t
trục
(axon)
(
) và
à đầu
đầ dây
dâ thầ
thần kinh
ki h ra

19 August 2014

© H. T. Hồng - ÐHBK TPHCM

7

Tế bào thần kinh

x  x1

x2  xm 

w  w1

w 2  wm 

19 August 2014

T

vector tín hiệu vào tế bào thần
T

kinh
vector trọng số te
tế bao
bào than
thần kinh

© H. T. Hoàng - ÐHBK TPHCM

8


Hàm tích hợp ngõ vào tế bào thần kinh



Hàm tuyến
t ến tính (linear function):
f nction)


m
f  net    w j x j     w T x  
 j 1



Hàm toàn p
phương
g (q
(quadratic function):
)

m
2
f  net    w j x j   
 j 1



Hàm cầu ((spherical
p
function):
)

 2 m
2
f  net     ( x j  w j )      2 ( x  w )T ( x  w )  
j 1


19 August 2014

© H. T. Hồng - ÐHBK TPHCM

9


Hàm tác động








Hàm nấc (step):

1 if f  0
a( f )  
0 if f  0

Hàm dấu (sign):

 1 if f  0
a( f )  
- 1 if f  0

Hàm dốc bão hòa:

1

a( f )   f
0


Hàm tuyến tính bão hịa:

19 August 2014

nếu f  1
nếu 0  f  1
neu
neáu f  0

á f 1
neu
1

a( f )   f
neáu 0  f  1
 1 nếáu f  1


© H. T. Hồng - ÐHBK TPHCM

10


Hàm tác động


Hàm tuyến
ế tính: (purelin)

a( f )  f


Hàm dạng S đơn cực (logistic sigmoid function - logsig)

1
a( f ) 
1  e f


(  1)

Hàm dạng S lưỡng cực (hyperbolic tangent sigmoid
function - tansig)

19 August 2014

1  e  f

a( f ) 
1  e  f
© H. T. Hoàng - ÐHBK TPHCM

(  1)
11


Các dạng hàm tác động
a(f)
(f)

a(f)
(f)

a(f)
(f)

1

1

1

f

f

0

0

1

0

Hàm dạng S đơn cực

Hàm dốc bão hịa

Hàm nấc

a(f)
(f)

a(f)
(f)

1

a(f)
(f)

1
f

0
1
Hà dấ
Hàm

dấu
19 August 2014

f

1

1
f

0

1
1

Hà ttuyến
Hàm
ế tí
tính
h bão
bã hị
hịa
© H. T. Hoàng - ÐHBK TPHCM

f
0
1
Hà d
Hàm
dạng S llưỡng

ỡ cực
12


Ví dụ tính ngõ ra của tế bào thần kinh
x1
x2
x3

w1



w2

a(.)

y



w3

 Tính

ngõ ra của tế bào thần kinh, biết rằng hàm tổng ở ngõ
vào là hàm tuyến tính, hàm tác động là sigmoid đơn cực:

x1  1; x2  0.5; x3  0.4;
w1  0.3; w2  0.8; w3  0.4;   0.6

 Giải:

19 August 2014

© H. T. Hồng - ÐHBK TPHCM

13


Cấu trúc mạng thần kinh

Mạng truyền thẳng 1 lớp

Mạng truyền thẳng nhiều lớp

Mạng hồi qui lớp

Mạng hồi qui nhiều lớp

19 August 2014

© H. T. Hồng - ÐHBK TPHCM

14


Các phương pháp huấn luyện mạng

Học có giám sát
19 August 2014

© H. T. Hồng - ÐHBK TPHCM

15


Các phương pháp huấn luyện mạng

Học có củng cố

19 August 2014

© H. T. Hồng - ÐHBK TPHCM

16


Các phương pháp huấn luyện mạng

Học có khơng giám sát

19 August 2014

© H. T. Hồng - ÐHBK TPHCM

17


Sơ đồ huấn luyện một tế bào thần kinh

wi (k  1)  wi (k )  wi (k )

wi (k )  rx (k )
r  f r wi (k ) , x (k ), d i 
19 August 2014

© H. T. Hồng - ÐHBK TPHCM

18


Cấu trúc mạng perceptron



Mạng
ạ gp
perceptron
p
là mạng
ạ g truyền
y thẳng
g 1 lớp,
p, trong
g đó:
 Hàm xử lý ngõ vào là hàm tuyến tính
m

net i   wij x j  w iT x
j 1



Hàm kích hoạt ở ngõ ra là hàm nấc

19 August 2014

1 neáu neti  0
yi  a (netti )  step
t (netti )  
0 neáu neti  0
© H. T. Hồng - ÐHBK TPHCM

19


Ví dụ tính ngõ ra của Perceptron
x1
x2
x3
 Tính

w1



w2

a

y



w3

ngõ ra của Perceptron ở trên, biết:

x1  1; x2  0.5; x3  0.4;
w1  0.5; w2  0.8; w3  0.8;   0.2
 Giải:

19 August 2014

© H. T. Hồng - ÐHBK TPHCM

20