Mạng nơron RBF và ứng dụng
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (1.82 MB, 81 trang )
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Hoàng Tiến Dũng
MẠNG NƠRON RBF VÀ ỨNG DỤNG
LUẬN VĂN THẠC SĨ
HÀ NỘI – 2006
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Hoàng Tiến Dũng
MẠNG NƠRON RBF VÀ ỨNG DỤNG
LUẬN VĂN THẠC SĨ
NGƯỜI HƯỚNG DẪN KHOA HỌC:
TS. Hoàng Xuân Huấn
HÀ NỘI – 2006
Trang - 2 -
MỤC LỤC
LỜI CẢM ƠN 1
MỤC LỤC 2
MỞ ĐẦU 5
CHƢƠNG 1:
BÀI TOÁN NỘI SUY VÀ XẤP XỈ HÀM 8
1.1.
Giới thiệu chung 8
1.2.
Bài toán nội suy và xấp xỉ hàm nhiều biến 8
1.2.1. 8
1.2.2. k- 8
1.2.3. 10
CHƢƠNG 2:
GIỚI THIỆU MẠNG NƠRON 12
2.1.
Giới thiệu chung 12
2.2.
Mạng nơron tự nhiên 13
2.3.
Mạng nơron nhân tạo (Artificial Neural Network) 14
2.3.1. 15
2.3.2. 17
2.3.3. 18
2.3.4. 20
2.4.
Luật học của mạng Nơron 21
2.4.1. 21
2.4.2. 21
2.4.3.
. 21
2.4.4.
21
2.5.
Luật học Perceptron 22
2.5.1. 22
2.5.2.
23
2.5.3. 25
2.5.4. 26
2.6.
Mạng ADALINE 26
2.6.1.
27
2.6.2. 27
2.6.3.
28
Trang - 3 -
2.6.4.
(Least Mean Square) 29
2.6.5.
31
2.6.6. 31
2.7.
Mạng Perceptron nhiều tầng MLP (Multi-Layer Perceptrons) 31
2.7.1. 31
2.7.2. -Propagation). . 32
CHƢƠNG 3:
MẠNG NƠRON NỘI SUY RBF (RADIAL BASIC FUNCTION) 36
3.1.
Giới thiệu 36
3.2.
Mạng nội suy RBF và các vấn đề liên quan 37
3.2.1. 37
3.2.2. 38
3.3.
Phƣơng pháp Trung bình bình phƣơng nhỏ nhất huấn luyện mạng RBF 40
3.3.1. 40
3.3.2. 40
3.4.
Phƣơng pháp Lặp huấn luyện mạng RBF 40
3.4.1. 40
3.4.2. 41
3.4.3. 44
3.5.
Ứng dụng mạng RBF 45
CHƢƠNG 4:
CHƢƠNG TRÌNH MÁY TÍNH THỰC NGHIỆM 48
4.1.
Giới thiệu chƣơng trình máy tính 48
4.1.1. 48
4.1.2. 50
4.2.
Sử dụng chƣơng trình máy tính 50
4.2.1. 50
4.2.2. 51
4.2.3. 52
4.2.4. 54
4.2.5. 55
CHƢƠNG 5:
BÀI TOÁN XẤP XỈ HÀM TRONG KHÍ TƢỢNG THỦY VĂN 57
5.1.
Phát biểu bài toán 57
5.1.1. 57
5.1.2. 59
Trang - 4 -
5.2.
Một vài phƣơng pháp áp dụng 60
5.2.1. 60
5.2.2. 61
5.2.3. 61
5.3.
Ứng dụng chƣơng trình máy tính 61
5.3.1. 61
5.3.2. 62
5.3.3. 63
5.3.4. 64
5.4.
Nhận xét ứng dụng mạng nội suy RBF 67
KẾT LUẬN 69
Các kết quả đạt đƣợc 69
Hƣớng nghiên cứu tiếp theo 69
TÀI LIỆU THAM KHẢO 71
PHỤ LỤC 73
Môi trƣờng viết chƣơng trình 73
Giới thiệu một số thủ tục chính của chƣơng trình 74
Trang - 5 -
truy
-
g
Multilayer
P
Trang - 6 -
.
.
C 1:
Trình bày tóm tắt các điểm cơ bản về bài toán nội suy bao gồm nội suy
hàm một biến và nội suy hàm nhiều biến.
2:
Giới thiệu ngắn gọn về mạng nơron bao gồm kiến trúc và luật học của
Perceptron đơn, mạng ADALINE và mạng MLP.
3:
Trình bày khảo cứu về mạng RBF và một số ứng dụng. Nội dung chính
của Phương pháp Lặp huấn luyện mạng RBF.
Giới thiệu chương trình máy tính thực nghiệm bài toán nội suy bằng
mạng RBF được huấn luyện bằng phương pháp lặp được trình bày tại
chương 3.
5:
Giới thiệu bài toán thực tế trong khí tượng thuỷ văn đòi hỏi áp dụng xấp
xỉ hàm nhiều biến. Bài toán này được đặt ra dựa trên công tác nghiên
Trang - 7 -
cứu, hoạt động của Khoa Khí tượng Thủy văn và Hải dương học – Đại
học KHTN – Đại học Quốc gia Hà Nội. Đồng thời giới thiệu ứng dụng
chương trình máy tính được xây dựng để nội suy giá trị theo các mốc
quan trắc.
Trang - 8 -
1.1.
.
.
5 K
k-
1.2. n
n
f
. Nx
1
,x
2
….x
N
trong D: f(x
i
) = y
i
1.2.1. B
f(x)
)(x
(x
i
)=y
i
x
i
f(x)
(x).
x
i
.
1.2.2. k-
Dx
)(x
.
Trang - 9 -
1
k
)(x
k
j
jj
zfx
1
)()(
i
k
j
j
i
i
zxd
zxd
1
1
1
),(
),(
)(x
k-
Bài toán phân loại văn bản:
,
:
(
)
.
Cách thực hiện: Khi
-___
-
-
Trang - 10 -
1.2.3.
t
.
,
.
ra
)(xfy
N
k
k
x
1
n
R
Nkxfy
kk
1);(
Dxxx
k
n
kk
), ,(
1
mk
Ry
.
)(xf
ta
), ,,,()(
21 k
cccxx
k
ccc , ,,
21
theo
N
i
ii
yx
1
2
)(
m
j
i
j
i
j
ii
yxyx
1
2
))(()(
)(x
)(xf
theo
)(xy
B
Trang - 11 -
.
Ni 1
Mi 1
M
i
ii
zfz
1
2
)()(
M
k
k
z
1
), ,,,(
21 k
cccx
Trang - 12 -
2.1.
i.
B
C
vi.
i.
.
i. ANN (Artificial Neural Network)
Trang - 13 -
C
2.2.
(1911)
10
14
-10
. So
-6
:
2.2.1 : C
:
DS
S
i.
Trang - 14 -
t
.
.
2.3. (Artificial Neural Network)
Trang - 15 -
n
tin
2.3.1.
.
i
i
.
i
i
t
,
x
2
y
x
n
k
i
ii
xws
1
)(
s
2
||||
xs
x
1
Trang - 16 -
k
i
ii
xw
1
2
wx
i.
- ( s-
0:0
0:1
)(
vkhi
vkhi
v
(v)= av
g
2
v
:
v
v
e
e
v
1
1
)(
Trang - 17 -
v
ev
)(
2.3.2.
Ta b
Trang - 18 -
B
I
0
theo
i.
2.3.3.
tr
2.3.2
Trang - 19 -
ecto
:
i.
.
Trang - 20 -
Xây dựng kiến trúc mạng:
Huấn luyện mạng:
i.
Kiểm tra hoạt động của mạng:
i.
2.3.4.
m
i
Clor m
Trang - 21 -
2.4.
2.4.1. .
2.4.2. t
11
,tp
,
22
,tp
, ,
tp ,
, p
q
t
q
Perceptron
.
2.4.3. .
( ) .
2.4.4.
Trang - 22 -
2.5. ptron
2.5.1.
ci.
,
SRS
R
ww
ww
W
1
111
b .
w
i
W
iR
i
i
w
w
w
1
.
W :
T
S
T
T
w
w
w
W
2
1
i
=hardlim(n
i
)=hardlim(
i
w
T
p + b
i
)=
00
01
i
T
i
i
T
i
bpw
bpw
R
W
R x 1
1
S x R
S x 1
n
a
S x 1
S x 1
b
Trang - 23 -
=hardlim(Wp+b) )=hardlim(
1
w
T
p + b)=hardlim(w
1,1
p
1
+w
1,2
p
2
+b).
:
p
R
2
1
w
T.
i
w
T
p + b
i
=0.
S
2.5.2.
{p
1
, t
1
}, {p
2
,t
2
}, ,{p
Q
,t
Q
} p
q
t
q
p
q
q
Q
q
P
1
a
q
t
q
:
p
=t-a .
:
V=1 Q, pa(p
q
)
n
a
p
1
p
2
b
Trang - 24 -
q
1
w
new
=
1
w
old
+p ; b
new
=b
old
+1.
q
=-
1
w
new
=
1
w
old
-p ; b
new
=b
old
-1.
q
1
w
new
=
1
w
old
; b
new
=b
old.
w
new
= w
old
+ep b
new
=b
old
+e
au.
e= t-a.
p a
:
W
new
= W
old
+ep ;
b
new
=b
old
+e.
i.
Procedure
Begin
b;
Repeat
For q=1 to Q do
q
;
-a;
For i=1 to R do
i
i
W + e
i
p;
End;
End;
Uq,
