Tài liệu Mạng nơron truyền thẳng và ứng dụng trong dự báo dữ liệu docx

M
M
ạ
ạ
ng nơron truy
ng n
ơron truy
ề
ề
n th
n th
ẳ
ẳ
ng
ng
v
v
à
à
ứ
ứ
ng d
ng d
ụ
ụ
ng trong d
ng trong d
ự
ự
b
b

á
á
o d
o d
ữ
ữ
li
li
ệ
ệ
u
u
Gi
Gi
á
á
o viên hư
o viên hư
ớ
ớ
ng d
ng d
ẫ
ẫ
n
n
TS. Lê H
TS. Lê H
ả
ả

i Khôi
i Khôi
Ngư
Ngư
ờ
ờ
i th
i th
ự
ự
c hi
c hi
ệ
ệ
n
n
Tr
Tr
ầ
ầ
n Đ
n Đ
ứ
ứ
c Minh
c Minh
LU
LU
Ậ
Ậ

N VĂN TH
N VĂN TH
Ạ
Ạ
C S
C S
Ĩ
Ĩ
KHOA H
KHOA H
Ọ
Ọ
C
C
2
Nội dung
1. Gi
1. Gi
ớ
ớ
i thi
i thi
ệ
ệ
u.
u.
2. C
2. C
á
á

c kh
c kh
á
á
i ni
i ni
ệ
ệ
m cơ b
m cơ b
ả
ả
n v
n v
ề
ề
m
m
ạ
ạ
ng nơron
ng nơron
.
.
3. M
3. M
ạ
ạ
ng nơron truy
ng nơron truy

ề
ề
n th
n th
ẳ
ẳ
ng.
ng.
4. Thu th
4. Thu th
ậ
ậ
p, Phân t
p, Phân t
í
í
ch v
ch v
à
à
x
x
ử
ử
lý d
lý d
ữ
ữ
li
li

ệ
ệ
u.
u.
5.
5.
Chương tr
Chương tr
ì
ì
nh d
nh d
ự
ự
b
b
á
á
o d
o d
ữ
ữ
li
li
ệ
ệ
u.
u.
6. K
6. K

ế
ế
t lu
t lu
ậ
ậ
n
n
3
1. Giới thiệu


M
M
ạ
ạ
ng nơron nhân t
ng nơron nhân t
ạ
ạ
o xu
o xu
ấ
ấ
t ph
t ph
á
á
t t
t t

ừ
ừ
vi
vi
ệ
ệ
c mô ph
c mô ph
ỏ
ỏ
ng ho
ng ho
ạ
ạ
t
t
đ
đ
ộ
ộ
ng c
ng c
ủ
ủ
a b
a b
ộ
ộ
não con ngư
não con ngư

ờ
ờ
i.
i.


M
M
ạ
ạ
ng nơron l
ng nơron l
à
à
c
c
á
á
c mô h
c mô h
ì
ì
nh t
nh t
í
í
nh to
nh to
á
á

n ch
n ch
ứ
ứ
a c
a c
á
á
c đơn v
c đơn v
ị
ị
x
x
ử
ử
lý
lý
c
c
ó
ó
kh
kh
ả
ả
năng truy
năng truy
ề
ề

n thông v
n thông v
ớ
ớ
i nhau b
i nhau b
ằ
ằ
ng c
ng c
á
á
ch g
ch g
ử
ử
i c
i c
á
á
c t
c t
í
í
n
n
hi
hi
ệ
ệ

u đ
u đ
ế
ế
n l
n l
ẫ
ẫ
n nhau thông qua c
n nhau thông qua c
á
á
c liên k
c liên k
ế
ế
t c
t c
ó
ó
tr
tr
ọ
ọ
ng s
ng s
ố
ố
.
.



C
C
ó
ó
kh
kh
ả
ả
năng th
năng th
í
í
ch nghi, ngh
ch nghi, ngh
ĩ
ĩ
a l
a l
à
à
“
“
h
h
ọ
ọ
c t
c t

ừ
ừ
c
c
á
á
c m
c m
ẫ
ẫ
u
u
”
”
thay v
thay v
ì
ì
“
“
l
l
ậ
ậ
p tr
p tr
ì
ì
nh
nh

”
”
.
.


C
C
á
á
c
c
ứ
ứ
ng d
ng d
ụ
ụ
ng c
ng c
ủ
ủ
a m
a m
ạ
ạ
ng nơron
ng nơron
:
:



Phân lo
Phân lo
ạ
ạ
i: t
i: t
í
í
n hi
n hi
ệ
ệ
u radar; xem x
u radar; xem x
é
é
t c
t c
á
á
c m
c m
ẫ
ẫ
u b
u b
ệ
ệ

nh,
nh,
…
…


Gi
Gi
ả
ả
m nhi
m nhi
ễ
ễ
u: ti
u: ti
ế
ế
ng n
ng n
ó
ó
i,
i,
ả
ả
nh t
nh t
ĩ
ĩ

nh b
nh b
ị
ị
nhi
nhi
ễ
ễ
u,
u,
…
…


D
D
ự
ự
đo
đo
á
á
n/D
n/D
ự
ự
b
b
á
á

o :
o :
lư
lư
ợ
ợ
ng s
ng s
ử
ử
d
d
ụ
ụ
ng, th
ng, th
ị
ị
trư
trư
ờ
ờ
ng, d
ng, d
ự
ự
đo
đo
á
á

n
n
lư
lư
ợ
ợ
ng b
ng b
á
á
n,
n,
…
…
4
2. Các khái niệm cơ bản về mạng nơron:
M
M
ạ
ạ
ng nơron c
ng nơron c
ó
ó
c
c
á
á
c đ
c đ

ặ
ặ
c trưng sau
c trưng sau
:
:


T
T
ậ
ậ
p c
p c
á
á
c đơn v
c đơn v
ị
ị
x
x
ử
ử
lý.
lý.


M
M

ộ
ộ
t m
t m
ứ
ứ
c k
c k
í
í
ch ho
ch ho
ạ
ạ
t cho m
t cho m
ỗ
ỗ
i đơn v
i đơn v
ị
ị
.
.


C
C
á
á

c liên k
c liên k
ế
ế
t gi
t gi
ữ
ữ
a c
a c
á
á
c đơn v
c đơn v
ị
ị
.
.


Lu
Lu
ậ
ậ
t lan truy
t lan truy
ề
ề
n.
n.



C
C
á
á
c h
c h
à
à
m chuy
m chuy
ể
ể
n.
n.


C
C
á
á
c đ
c đ
ầ
ầ
u v
u v
à
à

o ngo
o ngo
à
à
i d
i d
ữ
ữ
li
li
ệ
ệ
u
u
(
(
đ
đ
ộ
ộ
l
l
ệ
ệ
ch
ch
-
-
bias
bias

).
).


Phương ph
Phương ph
á
á
p thu th
p thu th
ậ
ậ
p thông tin
p thông tin
-
-
Lu
Lu
ậ
ậ
t h
t h
ọ
ọ
c.
c.


Môi trư
Môi trư

ờ
ờ
ng trong đ
ng trong đ
ó
ó
h
h
ệ
ệ
th
th
ố
ố
ng c
ng c
ó
ó
th
th
ể
ể
ho
ho
ạ
ạ
t đ
t đ
ộ
ộ

ng.
ng.
Σ g(a
j
)
x
0
x
1
x
n
w
j0
w
jn
a
j
z
j
j
n
i
ijij
xwa




1
)(

jj
agz

j
...
θ
j
w
j1
5
3. Mạng nơron truyền thẳng
3.1. Cấu trúc cơ bản
x
1
x
2
h
2
x
l
h
1
h
m
y
1
y
2
y
n

… … …
x
0
h
0
Input Layer Hidden Layer Output Layer
bias bias
ij
w
)1(
jk
w
)2(
• Bao gồm một số lớp (1 lớp vào, 1 hay
nhi
ều lớp ẩn và 1 lớp ra).
• M
ỗi lớp có một số các đơn vị.
• M
ỗi đơn vị nhận đầu vào từ các đơn
vị ở lớp trước đó và gửi các tín hiệu
nà
y đến các đơn vị ở lớp kế tiếp.
•
Đầu ra được biểu diễn bởi một hàm
tường minh của các trọng số và độ
lệch.




l
i
ijijj
xwgagh
0
)1(
)()(



l
i
ijij
xwa
0
)1(



m
j
jkjk
hwa
0
)2(
))((2)(2
0 0
)1()2(
 
 


m
j
l
i
ijikjkk
xwgwgagy
Đơn vị ẩn:
Đơn vị đầu ra:
6


C
C
á
á
c m
c m
ạ
ạ
ng không c
ng không c
ó
ó
c
c
á
á
c l
c l

ớ
ớ
p
p
ẩ
ẩ
n ch
n ch
ỉ
ỉ
c
c
ó
ó
kh
kh
ả
ả
năng gi
năng gi
ả
ả
i quy
i quy
ế
ế
t
t
c
c

á
á
c b
c b
à
à
i to
i to
á
á
n kh
n kh
ả
ả
phân tuy
phân tuy
ế
ế
n t
n t
í
í
nh.
nh.


C
C
á
á

c m
c m
ạ
ạ
ng nơron v
ng nơron v
ớ
ớ
i m
i m
ộ
ộ
t l
t l
ớ
ớ
p
p
ẩ
ẩ
n c
n c
ó
ó
th
th
ể
ể
x
x

ấ
ấ
p x
p x
ỉ
ỉ
kh
kh
á
á
t
t
ố
ố
t b
t b
ấ
ấ
t
t
k
k
ỳ
ỳ
m
m
ộ
ộ
t
t

á
á
nh x
nh x
ạ
ạ
h
h
à
à
m n
m n
à
à
o t
o t
ừ
ừ
không gian h
không gian h
ữ
ữ
u h
u h
ạ
ạ
n m
n m
ộ
ộ

t chi
t chi
ề
ề
u
u
sang m
sang m
ộ
ộ
t không gian kh
t không gian kh
á
á
c.
c.


C
C
á
á
c m
c m
ạ
ạ
ng nơron v
ng nơron v
ớ
ớ

i 2 l
i 2 l
ớ
ớ
p
p
ẩ
ẩ
n c
n c
ó
ó
kh
kh
ả
ả
năng th
năng th
ể
ể
hi
hi
ệ
ệ
n m
n m
ộ
ộ
t
t

đư
đư
ờ
ờ
ng phân chia hay x
ng phân chia hay x
ấ
ấ
p x
p x
ỉ
ỉ
m
m
ộ
ộ
t
t
á
á
nh x
nh x
ạ
ạ
m
m
ị
ị
n b
n b

ấ
ấ
t k
t k
ỳ
ỳ
t
t
ớ
ớ
i m
i m
ộ
ộ
t
t
đ
đ
ộ
ộ
ch
ch
í
í
nh x
nh x
á
á
c b
c b

ấ
ấ
t k
t k
ỳ
ỳ
.
.
3.2. Khả năng thể hiện
7
3.3. Huấn luyện bằng thuật toán lan truyền ngược:
• Đây là phương pháp thông dụng nhất để huấn luyện cho các mạng nơron
truyền thẳng nhiều lớp.
• Có th
ể áp dụng cho các mạng truyền thẳng với các hàm chuyển và các
hàm l
ỗi khả vi
.
Bước 1: Lan truyền xuôi đầu vào qua mạng:
a
0
= p
a
m+1
= f
m+1
(W
m+1
a
m

+ b
m+1
), với m = 0, 1, ..., M – 1.
a = a
M
Bước 2: Lan truyền độ nhậy cảm (lỗi) ngược lại qua mạng:
, trong đó
, v
ới m = M – 1, ..., 2, 1.
Bước 3: Cuối cùng, các trọng số và độ lệch được cập nhật bởi công thức sau:
 
 
atnFs 

M
M
M
2
  
11 


m
T
mm
m
m
sWnFs
   
 

   
mmm
T
mmmm
kk
kk
sbb
asWW





1
1
1
∆W
m
(k) = ∆W
m
(k - 1) – (1 - ) s
m
(a
m – 1
)
T
,
∆b
m
(k) = ∆b

m
(k - 1) - (1 - ) s
m
.
Sử dụng bước đà:
8
4. Thu thập, Phân tích và Xử lý dữ liệu
Xác định yêu cầu về dữ liệu
- Dữ liệu nào có liên quan trực tiếp đến bài toán
.
- Dữ liệu nào có thể không liên quan
.
Thu thập, phân
tích d
ữ liệu
Tiền xử lý
dữ liệu
Mạng nơron
Hậu xử lý
dữ liệu
Phân t
Phân t
í
í
ch sơ b
ch sơ b
ộ
ộ
d
d

ữ
ữ
li
li
ệ
ệ
u (Th
u (Th
ố
ố
ng kê v
ng kê v
à
à
Tr
Tr
ự
ự
c quan h
c quan h
ó
ó
a)
a)
Ki
Ki
ể
ể
m tra t
m tra t

í
í
nh h
nh h
ợ
ợ
p l
p l
ệ
ệ
c
c
ủ
ủ
a d
a d
ữ
ữ
li
li
ệ
ệ
u
u
Phân ho
Phân ho
ạ
ạ
ch d
ch d

ữ
ữ
li
li
ệ
ệ
u (Hu
u (Hu
ấ
ấ
n luy
n luy
ệ
ệ
n/Ki
n/Ki
ể
ể
m tra/Ki
m tra/Ki
ể
ể
m đ
m đ
ị
ị
nh)
nh)
Biến đổi
Điều chỉnh giá trị về khoảng (0,1) hoặc (-1,1)

Áp d
ụng một hàm toán học cho các giá trị (chẳng hạn hàm
logarit hay bì
nh phương)
Mã hóa các bi
ến số / Trích chọn đặc trưng.
Tùy thuộc vào ứng dụng và quá trình tiền xử lý.
Phân loại
D
ự báo,
…