điều khiển hành vi sử dụng giải thuật học truyền lùi BP

Điều Khiển Hành Vi Sử Dụng Giải Thuật Học Truyền Lùi BP


Start
0<<1 ; Emax ; E=0 ;k =0

random(wij, bias)[-0.1,0.1];u(k),d(k)
0

y0 (k) = ul(k); 0y1 (k) = ul(k-1)

0

y2 (k) = ur(k); 0y3(k) = ur(k-1)
0

2

y4 (k) = yl(k); 0y5 (k) = yl(k)

9

net j =2 w0 i *1 actvi
i =0

2

N

netout=0

net j 0

Y

netout=1

j=j+1
Y

j<2
N

ul(k-1)=ul(k); ur(k-1)=ur(k)

yl(k)=yl(k+1); yr(k)=yr(k+1)
Y

k = k+1

kN
N

E < Emax

E=0 ; k=1

Y

End

Maùng ẹieu Khieồn Haứnh Vi Cuỷa Robot
ul(k)

w00

1

w00

2

ul(k-1)
ur(k)

yl(k+1)




ur(k-1)
yl(k)
yr(k)

yr(k+1)
w19

1

w95

1


Điều Khiển Tốc Độ Sử Dụng Giải Thuật Học Truyền Lùi BP


Start
0<η<1 ; Emax ; E=0 ;k =0

random(wij, bias)∈[-0.1,0.1];u(k),d(k)
0

y0 (k) = y(k); 0y1 (k) = y(k-1)
y2 (k) = u(k); 0y3(k) = u(k-1)

0

;

y(k-1)=y(k); y(k)=y(k+1)
uk(k-1)=u(k)
k = k+1

Y

kN
N

E < Emax

E=0 ; k=1

Y

End

Mạng Điều Khiển Tốc Độ Của Robot
y(k)

w00

1

y(k-1)

2

w00

2

w01

2

w02

2

w03

2

w04

2

w05

u(k)
u(k-1)

w54

1

y(k+1)


Giaỷi Thuaọt Hoùc Truyen Luứi BP
Start
0<<1 ; Emax ; E=0 ;k =0

random(wij, bias)[-0.1,0.1];u(k),d(k)

q

q

yi = 1yi = xi(k)

yi = a( q net i ) = a( q wij q 1 y j )
j

q = q+1

q>Q

N

Y

;

q = q-1

q=1

N

Y
xi(k-1)=xi(k)

k = k+1

Y

k

N

E < Emax
Y

End

N

E=0 ; k=1


Giới Thiệu Tổng Quát Về Mạng Neuron
Mạng nuôi tiến
Y (t) ∈ Rm

X (t) ∈ Rn
x1(t)

y1(t)

x2(t)

y2(t)

•
•
•

•

•
•

•
•
•

xn(t)

yn(t)

Mạng nuôi lùi

x1

y1

x2

y2

.
.
xm

.
.
yn

Học giám sát (supervised learning)

Các chế độ học của mạng

Học củng cố (reinforcement learning)
Học không giám sát (unsupervised learning )

Luật học tổng quát của mạng

∆wi (t ) = η.r. X (t )

wi (t + 1) = wi (t ) + ∆ wi (t ) = wi (t ) + η .r. X (t )
Một số luật học thông dụng
• Luật học perceptron :

2ηd i x j
∆wij = η[ d i − sgn( wi x)]x j = 
0
• Luật học LMS :
T

p
∂E
k
∆w j = η
= η ∑ (d k − wT x k ) x j
∂w j
k =1

• Luật học Delta

∆wij = −η

∂E
= η[d ik − a (net ik )]a , (net ik ) x kj
∂wij


Quá Trình Học Của Mạng Nuôi Tiến Nhiều Lớp
∗ Truyền từ lớp neuron đầu vào đến lớp neuron ẩn

y1(t)

x1(t)

y2(t)
x2(t)
•
•
•

•
•
•

•
•
•

xn(t)
yn(t)

∗ Truyền từ lớp neuron ẩn đến lớp neuron đầu ra
y1(t)
x1(t)

x2(t)

y2(t)
•
•
•

•
•
•

•
•
•

xn(t)

yn(t)

Input layer

∗

Hidden layer

Output layer

Truyền lùi để cập nhật trọng số của mạng

x1(t)

y1(t)

x2(t)

y2(t)
•
•
•

xn(t)

•
•
•

x1(t)

y1(t)
yn(t)

x2(t)

y2(t)
•
•

•

xn(t)

•
•
•
yn(t)