Tổng quan về mạng Neural Network trong phân tích ảnh pdf

- 1 -
Tổng quan về mạng Neural Network
trong phân tích ảnh
Trịnh Vũ Long Giao
MSSV: 0211053
Lớp: 02TT1
Khoa: Toán – Tin Học
Trường: ðH KHTN
- 2 -
Mục Lục
TổNG QUAN 3

GIớI THIệU Về MạNG NEURAL 3

Giới thiệu 3

Xấp xỉ hàm số 4

Hệ thống ñộng (Dynamic) và chuỗi thời gian (Time Series) 4

Phân loại (Classification) và nhóm (Clustering) 5

MÔ HÌNH TUYếN TÍNH (LINEAR MODELS) 5

MÔ HÌNH TRựC GIÁC (PERCEPTRON) 6

Thuật toán Huấn luyện 7

FEEDFORWARD VÀ RADIAL BASIS FUNCTION NETWORKS 7

Mạng neural Feedforward (FF) 7

Mạng ña lớp 9

Ví dụ 9

Mạng Radial Basis Network (RBF) 12

Huấn luyện mạng Feedforward và Radial Basis Function 14

Levenberg-Marquardt 15

Gauss-Newton 15

Giảm dốc nhất (Steepest Descent) 15

Lan truyền ngược (Backpropagation) 16

Ví dụ minh so sánh các phương pháp huấn luyện khác nhau 16

MạNG NEURAL ðộNG (DYNAMIC) 19

MạNG HOPFIELD 21

Mạng Hopfield rời rạc thời gian 22

Mạng Hopfield Liên tục thời gian 23

MạNG KHÔNG GIÁM SÁT (UNSUPERVISED) VÀ MạNG VECTOR LƯợNG Tử HÓA (QUANTIZATION) (VQ) 23

CÁC MINH HọA CƠ BảN 24

BÀI TOÁN PHÂN LOạI (CLASSIFICATION) 25

XấP Xỉ HÀM Số (FUNCTION APPROXIMATION) 26

THAM KHảO: 27

- 3 -
Tổng quan
Giới thiệu về mạng Neural
Giới thiệu
• Mạng neural ñược xem như là 1 hàm số với tham số có thể ñiều chỉnh cho thích
hợp.
o Dữ liệu nhập ñược ký hiệu là x là 1 vector dòng giá trị thực với chiều hoặc
ñộ dài tùy ý. 1 cách thông thừơng x chỉ dữ liệu nhập, vector nhập, giá trị
hồi quy (regressor), hoặc vector mẫu (pattern vector). ðộ dài vector chỉ số
nút nhập của mạng.
o Dữ liệu xuất ñược ký hiệu là
ˆ
y
là xấ
p x
ỉ
c
ủ
a giá tr
ị
ra lý t
ưở
ng. là 1 vector

giá tr
ị
th
ự
c có 1 hay nhi
ề
u ph
ầ
n t
ử
ch
ỉ
s
ố
nút ra c
ủ
a m
ạ
ng.
o
Thông th
ườ
ng t
ậ
p d
ữ
li
ệ
u bao g
ồ

m nhi
ề
u c
ặ
p d
ữ
li
ệ
u nh
ậ
p-xu
ấ
t. x và y
bi
ể
u di
ễ
n b
ở
i ma tr
ậ
n v
ớ
i 1 vector nh
ậ
p vector xu
ấ
t
ở
m

ỗ
i dòng.
•
m
ạ
ng neural là 1 c
ấ
u trúc bao hàm các quan h
ệ
các tr
ọ
ng s
ố
c
ủ
a neurons, hay các
ñơ
n v
ị
(units) v
ớ
i các phép bi
ế
n
ñổ
i vô h
ướ
ng không tuy
ế
n tính và tuy

ế
n tính.

Minh h
ọ
a ví d
ụ
v
ề
m
ạ
ng neural 1 l
ớ
p
ẩ
n v
ớ
i 3 nút nh
ậ
p, x = {x
1
,x
2
,x
3
} và nút giá
tr
ị
l
ệ

ch (unity bias) n
ố
i vào 2 neuron trong l
ớ
p
ẩ
n. 2 giá tr
ị
ra t
ừ
l
ớ
p
ẩ
n cùng v
ớ
i
giá tr
ị
l
ệ
ch
ñượ
c
ñư
a vào 1 neuron
ở
l
ớ
p xu

ấ
t tính ra giá tr
ị
xu
ấ
t vô h
ướ
ng
ˆ
y
.
L
ớ
p ch
ứ
a các neuron g
ọ
i là l
ớ
p
ẩ
n vì giá tr
ị
xu
ấ
t c
ủ
a nó không c
ầ
n xu

ấ
t ra tr
ự
c
ti
ế
p trong d
ữ
li
ệ
u. các ki
ể
u
ñặ
t tr
ư
ng c
ủ
a m
ạ
ng neural
ñượ
c
ñề
c
ậ
p trong ph
ầ
n
mạng Feedforward và Radial Basis Function

.
Các m
ũ
i tên t
ượ
ng tr
ư
ng cho các tham s
ố
giá tr
ị
th
ự
c hay tr
ọ
ng s
ố
c
ủ
a m
ạ
ng.
•
1 neuron là 1 c
ấ
u trúc
ñể
x
ử
lý các nút nh

ậ
p, bao g
ồ
m c
ả
giá tr
ị
l
ệ
ch, theo h
ướ
ng
không tuy
ế
n tính, cho ra 1 giá tr
ị
xu
ấ
t.
ðồ
ng th
ờ
i, t
ấ
t c
ả
các nút nh
ậ
p
ñư

a vào
neuron
ñượ
c gia t
ố
thêm b
ở
i các tr
ọ
ng s
ố
. sau
ñ
ó l
ấ
y t
ổ
ng và
ñư
a vào hàm s
ố

không tuy
ế
n tuy
ế
n g
ọ
i là hàm ho
ạ

t
ñộ
ng
σ
.
- 4 -
•
Nh
ư
minh h
ọ
a
ở
hình trên, giá tr
ị
xu
ấ
t c
ủ
a m
ạ
ng d
ượ
c tính nh
ư
sau:

trong
ñ
ó các tr

ọ
ng s
ố
là
1 1 2 2
, , 1
{ , , , }
i j i j
w b w b

•
Eq (1) là 1 ánh x
ạ
không tuy
ế
n tính x

ˆ
y
,
ở
d
ạ
ng rút g
ọ
n, ánh x
ạ

ñượ
c vi

ế
t:

Trong
ñ
ó
θ
là vector giá tr
ị
th
ự
c có các ph
ầ
n t
ử
là các tham s
ố
(tr
ọ
ng s
ố
) c
ủ
a
m
ạ
ng.
•
M
ụ

c tiêu c
ủ
a vi
ệ
c hu
ấ
n luy
ệ
n m
ạ
ng là tìm giá tr
ị
tham s
ố

θ
thích h
ợ
p
ñể
v
ớ
i d
ữ

li
ệ
u nh
ậ
p x b

ấ
t k
ỳ
có ra 1 giá tr
ị

ˆ
y
x
ấ
p x
ỉ
g
ầ
n v
ớ
i y nh
ấ
t. các thu
ậ
t toán hu
ấ
n
luy
ệ
n s
ẽ
l
ặ
p nhi

ề
u b
ướ
c v
ớ
i vector tham s
ố
kh
ở
i t
ạ
o
θ
và
ñượ
c c
ậ
p nh
ậ
t t
ố
t h
ợ
p
trong m
ỗ
i b
ướ
c l
ặ

p.
•
Tr
ướ
c khi m
ạ
ng
ñượ
c ch
ấ
p nh
ậ
t, c
ầ
n có b
ướ
c ki
ể
m nghi
ệ
m (validate). Ngh
ĩ
a là
m
ạ
ng s
ẽ

ñượ
c ch

ạ
y th
ử
v
ớ
i 1 s
ố
d
ữ
li
ệ
u
ñ
ã bi
ế
t.
ðơ
n gi
ả
n và t
ố
t nh
ấ
t là th
ử

nghi
ệ
m m
ạ

ng v
ớ
i t
ậ
p d
ữ
li
ệ
u mà không có trong d
ữ
li
ệ
u
ñượ
c hu
ấ
n luy
ệ
n và d
ữ

li
ệ
u này v
ớ
i d
ữ
li
ệ
u hu

ấ
n luy
ệ
n
ñượ
c t
ạ
o ra trong cùng các
ñ
i
ề
u ki
ệ
n t
ươ
ng t
ự

nhau. Vi
ệ
c hu
ấ
n luy
ệ
n m
ạ
ng th
ườ
ng th
ấ

t b
ạ
i trong b
ướ
c ki
ể
m nghi
ệ
m, trong
tr
ườ
ng h
ợ
p này, ta ph
ả
i ch
ọ
n mô hình t
ố
t h
ơ
n. Tuy nhiên,
ñ
ôi khi ta ch
ỉ
c
ầ
n l
ặ
p l

ạ
i
b
ướ
c hu
ấ
n luy
ệ
n v
ớ
i giá tr
ị
tham s
ố
kh
ở
i t
ạ
o
θ
khác. M
ộ
t khi m
ạ
ng neural
ñ
ã
ñượ
c ki
ể

m nghi
ệ
m thành công, m
ạ
ng có th
ể

ñượ
c
ñư
a vào s
ử
d
ụ
ng.
Xấp xỉ hàm số
•
Khi d
ữ
li
ệ
u nh
ậ
p b
ắ
t ngu
ồ
n t
ừ
1 hàm s

ố
v
ớ
i các nút xu
ấ
t giá tr
ị
th
ự
c trong 1
kho
ả
ng liên t
ụ
c, m
ạ
ng neural
ñượ
c xem nh
ư
là s
ự
x
ấ
p x
ỉ
hàm s
ố
truy
ề

n th
ố
ng. 1
ví d
ụ
c
ủ
a bài toán x
ấ
p x
ỉ
là nhi
ệ
t
ñộ
c
ủ
a 1
ñố
i t
ượ
ng có th
ể

ñượ
c tính b
ằ
ng
ñộ
b

ứ
c
x
ạ
. ví d
ụ
thông th
ườ
ng khác là c
ỡ
giày có th
ể

ướ
c l
ượ
ng t
ừ
chi
ề
u cao c
ủ
a ng
ườ
i
mang. 2 ví d
ụ
này liên quan
ñế
n mô hình m

ạ
ng v
ớ
i 1 nút nh
ậ
p vào 1 nút xu
ấ
t. 1
mô hình m
ạ
nh h
ơ
n
ở
ví d
ụ
2 là dùng gi
ớ
i tính nh
ư
nút nh
ậ
p th
ứ
2
ñể

ướ
c l
ượ

ng
chính xác h
ơ
n.
•
Các hàm s
ố
thu
ầ
n túy có th
ể

ñượ
c x
ấ
p x
ỉ
b
ở
i 2 ki
ể
u m
ạ
ng neural:
o
Feedforward Neural Networks
o
Radial Basis Function Networks
Hệ thống ñộng (Dynamic) và chuỗi thời gian (Time
Series)

•
D
ữ
li
ệ
u vào ph
ụ
thu
ộ
c th
ờ
i gian, c
ầ
n
ñế
n “b
ộ
nh
ớ
” (memory) nên
ñượ
c nói
ñế
n
nh
ư
là h
ệ
th
ố

ng
ñộ
ng.
- 5 -
•
thông tin quá kh
ứ

ñượ
c dùng
ñể
d
ự

ñ
oán tr
ạ
ng thái t
ươ
ng lai.
•
Ví d
ụ
: d
ự

ñ
oán giá c
ả
; mô t

ả
i t
ố
c
ñộ
máy d
ự
a vào
ñ
i
ệ
n áp và t
ả
i tr
ọ
ng
o
Ví d
ụ
1: time-series không có d
ữ
li
ệ
u nh
ậ
p.
o
Ví d
ụ
2: 2 d

ữ
li
ệ
u nh
ậ
p là
ñ
i
ệ
n áp và t
ả
i tr
ọ
ng.
•
M
ạ
ng neural
ñộ
ng có th
ể
dùng FF hay RBF và c
ầ
n b
ộ
nh
ớ
cho thông tin quá kh
ứ
.

Phân loại (Classification) và nhóm (Clustering)
•
Phân lo
ạ
i d
ữ
li
ệ
u vào trong danh m
ụ
c, l
ớ
p d
ự
a trên t
ậ
p các
ñặ
t tr
ư
ng riêng.
•
G
ọ
i là m
ạ
ng phân lo
ạ
i (network classifier).
•

Hu
ấ
n luy
ệ
n dùng d
ữ
li
ệ
u vào t
ừ
các l
ớ
p khác nhau, d
ữ
li
ệ
u ra là vectors ch
ỉ
ra
thu
ộ
c l
ớ
p nào.
•
D
ữ
li
ệ
u ra th

ườ
ng là vector các l
ớ
p trong
ñ
ó 1 ch
ỉ
ra d
ữ
li
ệ
u thu
ộ
c l
ớ
p và 0 cho t
ấ
t
c
ả
l
ớ
p còn l
ạ
i.
•
Các ki
ể
u m
ạ

ng th
ườ
ng dùng
ñể
gi
ả
i bài toán phân lo
ạ
i:
o
Perceptron
o
Vector Quantization (VQ) Networks
o
Feedforward Neural Networks
o
Radial Basis Function Networks
o
Hopfield Networks
Mô hình tuyến tính (Linear Models)
•
Minh h
ọ
a mô hình tuy
ế
n tính:

x
1
, x

2
, …, x
n
là các nút nh
ậ
p,
ˆ
y
là nút xu
ấ
t. m
ỗ
i m
ũ
i tên
ñạ
i di
ệ
n trong s
ố
t
ươ
ng
ứ
ng các nut.
- 6 -
•
Bi
ễ
u di

ễ
n b
ằ
ng ph
ươ
ng trình:

•
Mô hình tuy
ế
n tính v
ớ
i nhi
ề
u nút xu
ấ
t:

Mô hình trực giác (Perceptron)
•
Là d
ạ
ng
ñơ
n gi
ả
n nh
ấ
t c
ủ

a m
ạ
ng neural. Th
ườ
ng
ñượ
c dùng trong vi
ệ
c phân lo
ạ
i.
•
Minh h
ọ
a mô hình tr
ự
c giác v
ớ
i các nút nh
ậ
p x
1
, x
2
, …, x
n
và 1 nút xu
ấ
t
ˆ

y
:

•
nút xu
ấ
t
ñượ
c tính b
ằ
ng công th
ứ
c:

trong
ñ
ó {w
1
, w
2
, …, w
n
} là tr
ọ
ng s
ố
c
ủ
a nút nh
ậ

p, b là
ñộ
d
ố
c (bias weigth). M
ỗ
i
tr
ọ
ng s
ố

ñạ
i di
ệ
n b
ở
i m
ũ
i tên trong hình trên.
Hàm UnitStep tr
ả
v
ề
0 cho các giá tr
ị
nh
ỏ
h
ơ

n 0, ng
ượ
c l
ạ
i tr
ả
v
ề
1. Do
ñ
ó nút
nh
ậ
p
ˆ
y
có giá tr
ị
0 hay 1 tùy theo giá tr
ị
t
ổ
ng tr
ọ
ng s
ố
. Cho nên mô hình tr
ự
c
giác ch

ỉ
ra 2 l
ớ
p t
ươ
ng
ứ
ng 2 giá tr
ị
xu
ấ
t.
•
Trong quá trình hu
ấ
n luy
ệ
n, các tr
ọ
ng s
ố
(nút nh
ậ
p và
ñộ
d
ố
c)
ñượ
c

ñ
i
ề
u ch
ỉ
nh
ñể

giá tr
ị
nh
ậ
p ánh x
ạ
chính xác
ñế
n 2 l
ớ
p.
- 7 -
Thuật toán Huấn luyện
•
Mô hình tr
ự
c giác
ñượ
c bi
ể
u di
ễ

n b
ằ
ng tham s
ố
b
ở
i {w, b}. w là vector c
ộ
t có
ñộ

dài b
ằ
ng chi
ề
u vector nh
ậ
p x.
•
Vector nh
ậ
p x = {x
1
,x
2
,…,x
n
}, nút xu
ấ
t

ñượ
c bi
ể
u di
ễ
n:

•
N
ế
u x là ma tr
ậ
n v
ớ
i m
ỗ
i dòng là 1 vector thì
ˆ
y
là vector c
ộ
t có giá tr
ị
t
ươ
ng
ứ
ng
cho m
ỗ

i dòng.
•
{w, b} nh
ậ
n
ñượ
c trong các b
ướ
c l
ặ
p hu
ấ
n luy
ệ
n m
ạ
ng v
ớ
i các c
ặ
p d
ữ
li
ệ
u nh
ậ
p –
xu
ấ
t

ñ
ã xác
ñị
nh. M
ỗ
i vector nh
ậ
p là 1 dòng ma tr
ậ
n x, m
ỗ
i nút xu
ấ
t là 1 dòng c
ủ
a
vector dòng
ˆ
y
.
•
Cho N c
ậ
p, vi
ệ
c hu
ấ
n luy
ệ
n m

ạ
ng
ñượ
c
ñị
nh ngh
ĩ
a nh
ư
sau:

Trong
ñ
ó i là các b
ướ
c l
ặ
p,
η
là
ñộ
l
ớ
n b
ướ
c nh
ả
y và
ε
i

=y-
ˆ
y
(x,w
i
,b
i
) là vector c
ộ
t
N ph
ầ
n t
ử
sai s
ố
t
ươ
ng
ứ
ng N d
ữ
li
ệ
u m
ẫ
u trong t
ậ
p hu
ấ

n luy
ệ
n. Ph
ầ
n t
ử
c
ủ
a
vector sai s
ố
có th
ề
là 1 trong 3 giá tr
ị
0, -1, 1.
Ở
m
ỗ
i b
ướ
c l
ặ
p i, 0 ch
ỉ
ra d
ữ
li
ệ
u

m
ẫ
u phân lo
ạ
i chính xác, các giá tr
ị
còn l
ạ
i là không chính xác.
•
Vi
ệ
c huy
ế
n luy
ệ
n s
ẽ
d
ừ
ng khi t
ấ
t c
ả
các tr
ọ
ng s
ố
{w,b}
ñựơ

c c
ậ
p nh
ậ
t sao cho t
ấ
t
c
ả
d
ữ
li
ệ
u m
ẫ
u
ñề
u
ñựơ
c phân lo
ạ
i chính xác ho
ặ
c b
ướ
c l
ặ
p i ti
ế
n

ñế
n gi
ớ
i h
ạ
n
i
max
.
• ðộ
l
ớ
n b
ướ
c nh
ả
y
η
hay còn g
ọ
i là t
ố
c
ñộ
h
ọ
c (learning rate) có giá tr
ị
m
ặ

c
ñị
nh:

m
ặ
c dù giá tr
ị

η
càng l
ớ
n có th
ể
t
ă
ng t
ố
c
ñộ
h
ọ
c, tuy nhiên c
ũ
ng có th
ể
gây ra s
ự

dao

ñộ
ng làm có th
ể
làm ch
ậ
m s
ự
h
ộ
i t
ụ
.

Feedforward và Radial Basis Function Networks
[introduction…]
Mạng neural Feedforward (FF)
•
Ph
ổ
bi
ế
n và
ứ
ng d
ụ
ng r
ộ
ng rãi nh
ấ
t.

ñượ
c bi
ế
t v
ớ
i tên g
ọ
i khác là m
ạ
ng tr
ự
c giác
nhi
ề
u l
ớ
p (multi-layer perceptrons)
- 8 -
•
Minh h
ọ
a m
ạ
ng FF 1 l
ớ
p
ẩ
n v
ớ
i các nút nh

ậ
p x
1
, x
2
, …, x
n
và 1 nút xu
ấ
t
ˆ
y


m
ạ
ng
ñượ
c chia thành nhi
ề
u l
ớ
p. l
ớ
p nh
ậ
p bao g
ồ
m các nút nh
ậ

p, l
ớ
p
ẩ
n bao g
ồ
m
các neuron
ẩ
n
ñặ
t song song. M
ỗ
i neural bi
ể
u di
ễ
n t
ổ
ng tr
ọ
ng các nút nh
ậ
p sau
ñ
ó
ñượ
c
ñư
a vào hàm ho

ạ
t
ñộ
ng
σ
(activation function) còn
ñượ
c g
ọ
i là hàm neural.
•
Bi
ể
u di
ễ
n toán h
ọ
c:
1
n
j j j
j
w x b
σ
=
 
+
 
 
∑

trong
ñ
ó tr
ọ
ng s
ố
{w
j
, b
j
} t
ượ
ng tr
ư
ng b
ằ
ng các m
ũ
i tên h
ướ
ng vào neuron.
•
Nút xu
ấ
t b
ằ
ng t
ổ
ng tr

ọ
ng
ñầ
u ra c
ủ
a các neuron. T
ậ
p các nút xu
ấ
t g
ọ
i là l
ớ
p xu
ấ
t.
•
D
ữ
li
ệ
u xu
ấ
t c
ủ
a m
ạ
ng
ñượ
c tính b

ở
i công th
ứ
c:

n là s
ố
nút nh
ậ
p, nh là s
ố
neuron trong l
ớ
p
ẩ
n. các bi
ế
n {
1
,
i j
w
,
1
,
j i
b
,
2
i

w
,
2
b
}
ñượ
c
g
ộ
p chung trong vector
θ
. M
ộ
t cách t
ổ
ng quát, mô hình m
ạ
ng neural
ñượ
c vi
ế
t
d
ướ
i d
ạ
ng rút g
ọ
n g(
θ

,x) .
•
Trong quá trình hu
ấ
n luy
ệ
n m
ạ
ng. các tham s
ố
s
ẽ

ñượ
c
ñ
i
ề
u chính t
ă
ng d
ầ
n cho
ñế
n khi d
ữ
li
ệ
u m
ẫ

u th
ỏ
a ánh x
ạ
mong mu
ố
n nh
ấ
t, t
ứ
c là
ˆ
( )
y
ϑ
ñạ
t
ñế
n y chính xác
nh
ấ
t có th
ể
trong gi
ớ
i h
ạ
n s
ố
các b

ướ
c l
ặ
p.
•
Hàm ho
ạ
t
ñộ
ng phi tuy
ế
n th
ườ
ng
ñượ
c ch
ọ
n là hàm có b
ướ
c nh
ả
y m
ị
n (smooth
step function). Ph
ổ
bi
ế
n nh
ấ

t là hàm sigma

- 9 -
ñồ
th
ị
là:

Mạng ña lớp
•
Hình minh h
ọ
a m
ạ
ng có 2 l
ớ
p
ẩ
n v
ớ
i nhi
ề
u nút xu
ấ
t:

•
S
ố
các l

ớ
p
ẩ
n và s
ố
neuron
ẩ
n là các tham s
ố
do ng
ườ
i dùng thi
ế
t k
ế
. 1 quy t
ắ
c
chung là ch
ọ
n các tham s
ố
sao cho mô hình kh
ả
thi nh
ấ
t v
ớ
i ít các tham s
ố

nh
ấ
t có
th
ể
. Trong th
ự
c t
ế
, quy t
ắ
c này không ph
ả
i luôn t
ố
t, mà ta c
ầ
n th
ử
v
ớ
i nhi
ề
u m
ẫ
u
l
ự
a ch
ọ

n khác nhau, so sánh các k
ế
t qu
ả

ñể
ch
ọ
n ra mô hình m
ạ
ng phù h
ợ
p nh
ấ
t
cho bài toán.
•
Trong nhi
ề
u
ứ
ng d
ụ
ng th
ự
c t
ế
, m
ạ
ng 1 ho

ặ
c 2 l
ớ
p
ẩ
n là v
ừ
a
ñủ
.
•
Giá tr
ị
xu
ấ
t c
ủ
a các neuron trong hình trên là tuy
ế
n tính, không có hàm ho
ạ
t
ñộ
ng
phi tuy
ế
n tính
ñượ
c tính sau khi l
ấ

y t
ổ
ng tr
ọ
ng s
ố
.
ñ
i
ề
u này t
ố
t trong các bài toán
h
ệ
th
ố
ng
ñộ
ng và dãy th
ờ
i gian (dynamic và time series). Tuy nhiên n
ế
u dùng
m
ạ
ng FF trong các bài toán phân lo
ạ
i, s
ẽ

thu
ậ
n l
ợ
i n
ế
u các giá tr
ị
xu
ấ
t c
ủ
a neuron
là không tuy
ế
n tính. Mô t
ả
s
ẽ

ñượ
c di
ễ
n gi
ả
i trong ví d
ụ
dùng m
ạ
ng FF cho bài

toán phân lo
ạ
i. (example)
Ví dụ
•
Quy
ướ
c:
o ðể
hu
ấ
n luy
ệ
n m
ạ
ng c
ầ
n 1 t
ậ
p d
ữ
li
ệ
u
1
{ , }
N
i i i
x y
=

ch
ứ
a N c
ậ
p d
ữ
li
ệ
u nh
ậ
p -
xu
ấ
t.
ñượ
c bi
ể
u di
ễ
n d
ướ
i d
ạ
ng ma tr
ậ
n, trong
ñ
ó x
i
là vector trên dòng th

ứ

i c
ủ
a ma tr
ậ
n d
ữ
li
ệ
u nh
ậ
p, y
i
là vector trên dòng i c
ủ
a d
ữ
li
ệ
u xu
ấ
t.
Ví d
ụ
: 20 c
ặ
p, vector x
i
có

ñộ
dài 1, vectory y
i
có
ñộ
dài 2.
x =
- 10 -
y =

o
Trong bài toán phân lo
ạ
i, d
ữ
li
ệ
u nh
ậ
p
ñượ
c g
ọ
i là vector m
ẫ
u. M
ỗ
i dòng
c
ủ

a d
ữ
li
ệ
u nh
ậ
p x ch
ứ
a 1 vector m
ẫ
u, và dòng t
ươ
ng
ứ
ng trong d
ữ
li
ệ
u
xu
ấ
t y ch
ỉ
ra chính xác l
ớ
p c
ủ
a vector m
ẫ
u. ma tr

ậ
n y có m
ỗ
i c
ộ
t t
ươ
ng
ứ
ng 1 l
ớ
p, trên m
ỗ
i dòng,
ứ
ng v
ớ
i l
ớ
p chính xác có giá tr
ị
1, còn l
ạ
i mang
giá tr
ị
0. N
ế
u bài toán phân lo
ạ

i ch
ỉ
có 2 l
ớ
p, ta c
ũ
ng có th
ể
ch
ỉ
dùng 1 c
ộ
t,
ch
ỉ
ra l
ớ
p v
ớ
i giá tr
ị
0 ho
ặ
c 1.
Ví d
ụ
:
vector m
ẫ
u x

25
=
t
ươ
ng
ứ
ng y
25
= nên m
ẫ
u thu
ộ
c l
ớ
p 2.
•
D
ữ
li
ệ
u m
ẫ
u bao g
ồ
m 3 l
ớ
p, m
ỗ
i l
ớ

p phân thành 2 nhóm. x là d
ữ
li
ệ
u nh
ậ
p, y ch
ỉ

ra l
ớ
p t
ươ
ng
ứ
ng.

•
Trong bài toán phân l
ọ
ai,
ñ
i
ể
m quan tr
ọ
ng là s
ự
không tuy
ế

n tính khác nhau
ở
nút
ra trong m
ạ
ng FF. m
ụ
c
ñ
ích c
ủ
a không tuy
ế
n tính là ch
ắ
c r
ằ
ng giá tr
ị
xu
ấ
t n
ằ
m
bên trong vùng phân l
ớ
p khác nhau. chúng ta s
ẽ
dùng hàm Sigma
ñể

bão hòa các
giá tr
ị
là 0 ho
ặ
c 1 chính xác v
ớ
i d
ữ
li
ệ
u xu
ấ
t c
ủ
a l
ớ
p. Chú ý r
ằ
ng hàm Sigma
không bao gi
ờ
ti
ế
n
ñế
n chính xác giá tr
ị
0, 1.
•

Hu
ấ
n luy
ệ
n m
ạ
ng FF v
ớ
i 8 b
ướ
c l
ặ
p:

- 11 -
•
Sau khi
ñượ
c hu
ấ
n luy
ệ
n v
ớ
i t
ậ
p d
ữ
li
ệ

u m
ẫ
u, áp d
ụ
ng th
ử
cho 2 vector nh
ậ
p:
nh
ậ
p:
xu
ấ
t:
vector d
ữ
li
ệ
u t
ươ
ng
ứ
ng v
ớ
i l
ớ
p mà có giá tr
ị
l

ớ
n nh
ấ
t. n
ế
u vector xu
ấ
t có nhi
ề
u
ph
ầ
n t
ử
mang giá tr
ị
l
ớ
n nh
ấ
t, ho
ặ
c không có ph
ầ
n t
ử
nào thì h
ệ
th
ố

ng phân lo
ạ
i
ñượ
c xem nh
ư
không
ñ
áng tin c
ậ
y
ñố
i v
ớ
i d
ữ
li
ệ
u
ñượ
c dùng.
•
Bi
ể
u di
ễ
n h
ệ
th
ố

ng phân lo
ạ
i b
ằ
ng
ñồ thị ñường biên
:

•
Chúng ta c
ũ
ng có quan sát
ñồ thị hàm phân loại
. có 3
ñồ
th
ị

ứ
ng v
ớ
i 3 l
ớ
p. các
ñườ
ng biên (bi
ễ
u di
ễ
n

ở
trên)
ứ
ng v
ớ
i
ñườ
ng cong c
ắ
t m
ặ
t t
ạ
i giá tr
ị
xu
ấ
t 0.5:

- 12 -
•
Minh h
ọ
a quá trình hu
ấ
n luy
ệ
n:

Mạng Radial Basis Network (RBF)

•
Minh h
ọ
a m
ạ
ng neural v
ớ
i các n nút nh
ậ
p và 1 nút xu
ấ
t.
ñầ
u ra c
ủ
a neuron
ñượ
c
ñư
a vào hàm basis function. Nút xu
ấ
t c
ủ
a m
ạ
ng
ñượ
c tính b
ằ
ng các l

ấ
y t
ổ
ng tr
ọ
ng
- 13 -
s
ố
các neuron.

•
M
ạ
ng RBF th
ườ
ng bao g
ồ
m c
ả
ph
ầ
n tuy
ế
n tính.
ðượ
c vi
ế
t b
ằ

ng ph
ươ
ng trình nh
ư

sau:

nb là s
ố
neuron, m
ỗ
i neuron có 1 hàm basis. Tham s
ố
m
ạ
ng RBF bao g
ồ
m t
ậ
p các
v
ị
trí
1
i
w
c
ủ
a các hàm basis là ngh
ị

ch
ñả
o
ñộ
dài
i
λ
c
ủ
a hàm basis, tr
ọ
ng s
ố

2
i
w
c
ủ
a
t
ổ
ng xu
ấ
t, và các tham s
ố
c
ủ
a các thành ph
ầ

n tuy
ế
n tính
χ
1,

χ
2,…,

χ
n
.
•
Các tham s
ố

ñượ
c g
ộ
p chung thành
θ
trong d
ạ
ng thu g
ọ
n g(
θ
,x), g là hàm m
ạ
ng và

x là d
ữ
li
ệ
u nh
ậ
p.
•
Trong quá trình hu
ấ
n luy
ệ
n, các tham s
ố

ñượ
c
ñ
i
ề
u ch
ỉ
nh
ñể
d
ữ
li
ệ
u m
ẫ

u
ñ
úng v
ớ
i
Eq. (10) t
ố
t nh
ấ
t có th
ể
. Quy trình hu
ấ
n luy
ệ
n s
ẽ

ñượ
c mô t
ả

ở
ph
ầ
n ti
ế
p theo.
•
Trong Eq. (10), hàm basis

ñượ
c ch
ọ
n là hàm Gaussian, tuy nhiên có th
ể
ch
ọ
n 1
hàm khác.
•
Minh h
ọ
a m
ạ
ng RBF v
ớ
i nhi
ề
u nút xu
ấ
t:

- 14 -
Huấn luyện mạng Feedforward và Radial Basis Function
•
Cho m
ạ
ng v
ớ
i d

ữ
li
ệ
u m
ẫ
u g
ồ
m N c
ậ
p d
ữ
li
ệ
u xu
ấ
t – d
ữ
li
ệ
u nh
ậ
p (
1
( , )
N
i i i
x y
=
. Sai
s

ố
bình ph
ươ
ng trung bình (MSE)
ñượ
c
ñị
nh ngh
ĩ
a nh
ư
sau:

•
Vi
ệ
c hu
ấ
n luy
ệ
n m
ạ
ng là tìm ra tham s
ố

θ
phù h
ợ
p nh
ấ

t.
θ

ñượ
c
ñ
ánh giá t
ố
t khi
MSE là nh
ỏ
nh
ấ
t:

•
thông th
ườ
ng sai s
ố
c
ă
n bình ph
ươ
ng trung bình (RMSE) th
ườ
ng
ñượ
c dùng khi
ướ

c l
ượ
ng mô hình trong và sau khi hu
ấ
n luy
ệ
n, RMSE
ñượ
c so sánh tr
ự
c ti
ế
p v
ớ
i
giá tr
ị
xu
ấ
t. giá tr
ị
RMSE
ñượ
c ghi nh
ậ
n l
ạ
i minh h
ọ
a quá trình hu

ấ
n luy
ệ
n b
ằ
ng
ñồ
th
ị
.

•
Có nhi
ề
u thu
ậ
t toán
ñể
hu
ấ
n luy
ệ
n m
ạ
ng. các thu
ậ
t toán b
ắ
t
ñầ

u v
ớ
i tham s
ố
kh
ở
i
t
ạ
o
θ
0
, quá trình hu
ấ
n luy
ệ
n s
ẽ
làm gi
ả
m MSE
ở
các b
ứơ
c l
ặ
p b
ằ
ng cách c
ậ

p nh
ậ
t
θ
t
ă
ng d
ầ
n theo h
ướ
ng làm gi
ả
m d
ố
c (gradient) c
ủ
a MSE:

•
R có th
ể
làm
ñổ
i h
ướ
ng tìm ki
ế
m t
ừ
h

ướ
ng gi
ả
m d
ố
c sang h
ướ
ng khác có l
ợ
i h
ơ
n.
Tham s
ố

µ

ñ
i
ề
u ch
ỉ
nh
ñộ
l
ớ
n m
ỗ
i l
ầ

n c
ậ
p nh
ậ
t
θ
cho b
ướ
c l
ặ
p i và gi
ả
m giá tr
ị

MSE. Vi
ệ
c ch
ọ
n R và
µ
khác nhau tùy theo các thu
ậ
t toán hu
ấ
n luy
ệ
n.
•
N

ế
u R
ñượ
c ch
ọ
n là ngh
ị
ch
ñả
o Hessian c
ủ
a hàm MSE. Hessian
ñượ
c tính nh
ư

sau:

Eq. (15) là d
ạ
ng c
ủ
a thu
ậ
t toán Newton. N
ế
u Hessian không xác
ñị
nh,
θ

ñượ
c c
ậ
p
nh
ậ
t theo h
ướ
ng t
ă
ng d
ố
c mà s
ẽ
làm t
ă
ng giá tr
ị
MSE. Có th
ể
tránh b
ằ
ng cách
dùng các R khác nhau. Thu
ậ
t toán GN gi
ố
ng v
ớ

i Newton v
ớ
i ph
ầ
n cu
ố
i
ñượ
c l
ượ
c
b
ỏ
, ph
ầ
n
ñầ
u c
ủ
a Eq. (15):

•
V
ớ
i H
ñ
ã
ñượ
c
ñị

nh ngh
ĩ
a, các ph
ươ
ng pháp tìm ki
ế
m có th
ể
ch
ọ
n 1 trong các
thu
ậ
t toán sau:
o
Levenberg-Marquardt
o
Gauss-Newton
o
(Gi
ả
m d
ố
c nh
ấ
t) Steepest-descent
o
(Lan truy
ề
n ng

ượ
c) Backpropagation
- 15 -
Levenberg-Marquardt
•
Thu
ậ
t toán Levenberg-Marquardt (LMA) n
ộ
i suy gi
ữ
a Gauss-Newton (GNA) và
ph
ươ
ng pháp gi
ả
m d
ố
c. LMA thông d
ụ
ng h
ơ
n so v
ớ
i GNA, trong nhi
ề
u tr
ườ
ng
h

ợ
p nó tìm ra giá tr
ị
c
ự
c ti
ể
u r
ấ
t nhanh.
•
Thay vì l
ự
a ch
ọ
n
ñộ
l
ớ
n
µ

ñể

ñả
m b
ả
o
ñ
i theo h

ướ
ng xu
ố
ng d
ố
c
ở
m
ỗ
i b
ướ
c l
ặ
p
Eq (14), ma tr
ậ
n
ñườ
ng chéo
ñượ
c thêm vào H
ở
Eq. (16), R
ñượ
c ch
ọ
n nh
ư
sau:

và
µ
=1.
•
Giá tr
ị

λ
s
ẽ

ñượ
c ch
ọ
n t
ự

ñộ
ng
ñể
sinh ra b
ướ
c xu
ố
ng d
ố
c.
ở
m
ỗ

i b
ướ
c l
ặ
p, thu
ậ
t
toán s
ẽ
c
ố
gi
ả
m giá tr
ị
c
ủ
a
λ
b
ằ
ng cách t
ă
ng
∆λ
. N
ế
u giá tr
ị
hi

ệ
n t
ạ
i c
ủ
a
λ
mà
không làm gi
ả
m MSE
ở
Eq. (14) thì
λ
s
ẽ

ñượ
c làm t
ă
ng trong các b
ướ
c ti
ế
p theo
v
ớ
i giá tr
ị

∆λ
cho
ñế
n khi MSE gi
ả
m.
•
Vi
ệ
c hu
ấ
n luy
ệ
n s
ẽ
b
ị
d
ừ
ng n
ế
u x
ả
y ra 1 trong các
ñ
i
ề
u ki
ệ
n sau:

o λ
>10
∆λ
+Max[s]
o

s là
ñộ
dài vector giá tr
ị
riêng l
ớ
n nh
ấ
t c
ủ
a H
•
Giá tr
ị

λ
l
ớ
n t
ạ
o ra các tham s
ố
t
ă

ng ch
ủ
y
ế
u theo h
ướ
ng gi
ả
m d
ố
c
Gauss-Newton
•
Nhanh, và m
ạ
nh,
ñượ
c dùng trong nhi
ề
u bài toán c
ự
c ti
ể
u khác nhau. Tuy nhiên
n
ế
u m
ạ
ng neural có Hessian
ñ

i
ề
u ki
ệ
n y
ế
u, t
ứ
c là
ñộ
dài vector riêng n
ằ
m trong
kho
ả
ng r
ấ
t l
ớ
n, thu
ậ
t toán s
ẽ
làm ch
ậ
m quá trình h
ọ
c
ñ
áng k

ể
.
•
Thu
ậ
t toán h
ọ
c dùng ph
ươ
ng pháp Gauss-Newton v
ớ
i ma tr
ậ
n R
ñượ
c ch
ọ
n là
ngh
ị
ch
ñả
o c
ủ
a H trong Eq. (16) nh
ư
sau:

• ở
m

ỗ
i b
ướ
c l
ặ
p, tham s
ố

ñộ
dài b
ướ
c nh
ả
y
ñượ
c s
ẽ
là
µ
=1 n
ế
u MSE trong Eq. (11)
gi
ả
m, ng
ượ
c l
ạ
i
µ

ñượ
c chia
ñ
ôi cho
ñế
n khi t
ạ
o ra b
ướ
c
ñ
i xu
ố
ng d
ố
c. Sau
ñ
ó
thu
ậ
t toán s
ẽ
ti
ế
p t
ụ
c v
ớ
i b

ướ
c l
ặ
p k
ế
.
•
Vi
ệ
c hu
ấ
n luy
ệ
n s
ẽ
b
ị
d
ừ
ng n
ế
u x
ả
y ra 1 trong các
ñ
i
ề
u ki
ệ
n sau:

o

o

Giảm dốc nhất (Steepest Descent)
•
Eq. (14) gi
ả
m d
ố
c nh
ấ
t khi
- 16 -

Có ngh
ĩ
a là vector tham s
ố

θ

ñượ
c c
ậ
p nh
ậ
t theo h
ướ
ng gi

ả
m d
ố
c c
ủ
a MSE
ở
Eq.
(13)
• ở
m
ỗ
i b
ướ
c l
ặ
p,
µ

ñượ
c nhân
ñ
ôi, n
ế
u MSE không gi
ả
m,
µ
s
ẽ

ñượ
c chia
ñ
ôi cho
ñế
n khi làm gi
ả
m.
• ð
i
ề
u ki
ệ
n dùng
ở
ph
ươ
ng pháp này t
ươ
ng t
ự
ph
ươ
ng pháp Gauss-Newton.
•
So sánh v
ớ
i 2 ph
ươ

ng pháp tr
ướ
c thì ph
ươ
ng pháp này c
ầ
n ít s
ự
tính toán h
ơ
n
ở

m
ỗ
i b
ướ
c l
ặ
p b
ở
i không có ma tr
ậ
n ngh
ị
ch
ñả
o. tuy nhiên l
ạ
i không hi

ệ
u qu
ả
b
ằ
ng
2 ph
ươ
ng pháp trên.
Lan truyền ngược (Backpropagation)
•
Ph
ươ
ng pháp lan truy
ề
n ng
ượ
c t
ươ
ng t
ự
gi
ả
m d
ố
c nh
ấ
t. v
ớ
i

ñ
i
ể
m khác bi
ệ
t là
µ

ñượ
c gi
ữ
c
ố

ñị
nh trong su
ố
t quá trình h
ọ
c.
µ

ñượ
c ch
ọ
n m
ặ
c
ñị
nh b

ằ
ng 0.1.
•
Luy
ệ
n m
ạ
ng trong Eq. (24) có th
ể

ñượ
c m
ở
r
ộ
ng thêm v
ớ
i tham s
ố
mômen
α
:


giá tr
ị
m
ặ
c
ñị

nh c
ủ
a
α

ñượ
c ch
ọ
n là 0.
•
Vi
ệ
c dùng mômen là c
ầ
n thi
ế
t
ñể
tránh c
ự
c ti
ể
u
ñị
a ph
ươ
ng.
•
T
ố

t h
ơ
n nên ch
ọ
n các ph
ươ
ng pháp hu
ấ
n lu
ậ
n khác và l
ặ
p l
ạ
i quá trình h
ọ
c nhi
ề
u
l
ầ
n v
ớ
i tham s
ố
kh
ỏ
i t
ạ
o khác nhau.

Ví dụ minh so sánh các phương pháp huấn luyện khác
nhau
•
Trong minh h
ọ
a này m
ạ
ng ch
ỉ
có 2 tham s
ố
,
ñể
ta có th
ể
bi
ễ
u di
ễ
n
ñượ
c b
ằ
ng
ñồ

th
ị
, RMSE
ñượ

c bi
ể
u di
ễ
n nh
ư
m
ặ
t cong.
•
Hàm minh h
ọ
a
ñượ
c ch
ọ
n có 1 nút nh
ậ
p và 1 nút xu
ấ
t v
ớ
i tham s
ố

ñ
úng là 2 và -1.
•
Hình minh h
ọ

a các tham s
ố
lân c
ậ
n v
ớ
i tham s
ố
c
ự
c ti
ể
u (2, -1).

- 17 -
•
Ch
ọ
n tham s
ố
kh
ở
i t
ạ
o là (-0.5, -5).
•
Ph
ươ
ng pháp
Levenberg-Marquardt

o
Mô hình 3D:

tr
ụ
c x, y bi
ể
u di
ễ
n 2 tham s
ố
, tr
ụ
c chi
ề
u cao z bi
ể
u di
ễ
n giá tr
ị
RMSE
t
ươ
ng
ứ
ng.
o ở

các b
ướ
c l
ặ
p,
ñ
i
ể
m t
ươ
ng
ứ
ng
ñượ
c tô
ñ
en, n
ố
i liên t
ụ
c b
ằ
ng các
ñườ
ng
th
ẳ
ng minh h
ọ
a

ñườ
ng qu
ỹ

ñạ
o. quá trình hu
ấ
n luy
ệ
n h
ộ
i t
ụ
sau 5 b
ướ
c
l
ặ
p.
•
Ph
ươ
ng pháp
Gauss-Newton


- 18 -
o
Mô hình 3D:

o
Thu
ậ
t toán h
ộ
i t
ụ
sau 7 b
ướ
c l
ặ
p.
•
Ph
ươ
ng pháp
Steepest Descent Method

o
Mô hình 3D:

o
M
ạ
ng s
ẽ
không h
ộ
i t
ụ

trong 30 b
ướ
c, tuy nhiên
ñ
i
ề
u này không quan
tr
ọ
ng, tham s
ố
ch
ỉ
c
ầ
n
ñặ
t
ñượ
c
ñủ
g
ầ
n giá tr
ị
h
ộ
i t
ụ
.

o
Minh h
ọ
a cho th
ấ
y càng
ñế
n g
ầ
n
ñ
i
ể
m h
ộ
i t
ụ
t
ố
c
ñộ
càng ch
ậ
m. Ph
ươ
ng
pháp Gi
ả
m d
ố

c nh
ấ
t cho th
ấ
y s
ự
h
ộ
i t
ụ
di
ễ
n ra ch
ậ
m h
ơ
n so v
ớ
i 2 ph
ươ
ng
pháp trên.
•
Ph
ươ
ng pháp
Backpropagation

o
Thu

ậ
t toán
ñ
òi h
ỏ
i ch
ọ
n
ñộ
l
ớ
n b
ướ
c nh
ả
y và giá tr
ị
mômen mà ko ph
ả
i d
ễ

dàng
ñể
ch
ọ
n ra giá tr
ị
thích h
ợ

p.
ñ
i
ề
u này không quan tr
ọ
ng
ñố
i v
ớ
i các
ph
ươ
ng pháp khác b
ở
i kh
ả
n
ă
ng t
ự

ñ
i
ề
u ch
ỉ
nh kích th
ứơ
c b

ướ
c nh
ả
y. vi
ệ
c
- 19 -
ch
ọ
n giá tr
ị
ban
ñầ
u c
ủ
a các tham s
ố
s
ẽ

ả
nh h
ưở
ng
ñế
n t
ố
c
ñộ
h

ộ
i t
ụ
.

o
Mô hình 3D:

o
B
ở
i toán t
ử
momen
ñượ
c dùng trong quá trình h
ọ
c, tham s
ố

ướ
c l
ượ
ng s
ẽ

ñ
i lên sát d
ố
c

ở
giá tr
ị
kh
ở
i t
ạ
o
Mạng Neural ðộng (Dynamic)

•
H
ệ
th
ố
ng g
ồ
m 3 ki
ể
u tín hi
ệ
u:
o
tín hi
ệ
u xu
ấ
t y(t) là tín hi
ệ
u có th

ể

ñ
o/quan sát
ñượ
c.
o
tín hi
ệ
u vào u(t) là tín hi
ệ
u
ñ
o
ñượ
c t
ừ
bên ngoài, có
ả
nh h
ưở
ng
ñế
n h
ệ

th
ố
ng.
o

tín hi
ệ
u nhi
ễ
u e(t)
ả
nh h
ưở
ng
ñế
n h
ệ
th
ố
ng nh
ữ
ng là tín hi
ệ
u không
ñ
o
ñượ
c.

•
Trong h
ệ
th
ố
ng 1 vào 1 ra (SISO), tín hi

ệ
u là 1 ch
ỉ
s
ố
ph
ụ
thu
ộ
c th
ờ
i gian.
- 20 -
•
Trong h
ệ
th
ố
ng n vào n ra (MIMO), tín hi
ệ
u là 1 vector ph
ụ
thu
ộ
c th
ờ
i gian.
•
N
ế

u không có tín hi
ệ
u vào h
ệ
th
ố
ng
ñượ
c xem là bài toán d
ự
doán dãy th
ờ
i gian
(time series prediction). H
ệ
th
ố
ng
ñượ
c g
ọ
i là loan truy
ề
n nhi
ễ
u (noise driven) vì
tín hi
ệ
u xu
ấ

t ch
ỉ
b
ị

ả
nh h
ưở
ng b
ở
i nhi
ễ
u e(t).

•
H
ệ
th
ố
ng m
ạ
ng neural dynamic bao g
ồ
m:
o
T
ậ
p h
ợ
p m

ạ
ng neural FF ho
ặ
c RBF.
o
Vector tín hi
ệ
u hay vào vector h
ồ
i quy (regressor vector) g
ồ
m giá tr
ị
tr
ễ

vào và ra
ñượ
c
ñ
ánh ch
ỉ
s
ố
n
a
, n
b
, n
k

.
•
Trong h
ệ
th
ố
ng SISO vector nh
ậ
p s
ẽ
là:
( ) [ ( 1) ( ) ( ) ( 1)]
T
a k k b
x t y t y t n u t n u t n n= − − − − − + (22)
ch
ỉ
m
ụ
c n
a
ch
ứ
a giá tr
ị
tr
ễ
bao lâu c
ủ
a tính hi

ệ
u xu
ấ
t. Ch
ỉ
m
ụ
c n
k
ch
ứ
a giá tr
ị
trì
hoãn c
ủ
a tính hi
ệ
u nh
ậ
p so v
ớ
i tính hi
ệ
u xu
ấ
t. ch
ỉ
m
ụ

c n
b
ch
ứ
a giá tr
ị
tr
ễ
c
ủ
a tính
hi
ệ
u xu
ấ
t.
•
ðố
i v
ớ
i h
ệ
th
ố
ng MIMO, giá tr
ị
tính hi
ệ
u tr
ễ

là 1 vector có
ñộ
dài t
ươ
ng
ứ
ng s
ố

tính hi
ệ
u ra và vào. Ví d
ụ
: 3-out – 2-in: n
a
={1,2,1}, n
k
={2,1}, n
b
={1,0}:
1 2 2 3 1 1 2
( ) [ ( 1) ( 1) ( 2) ( 1) ( 1) ( 2) ( )]
x t y t y t y t y t u t u t u t
= − − − − − −
(t
ươ
ng t
ự
công th
ứ

c c
ủ
a SISO nh
ư
ng áp d
ụ
ng cho 3 nút xu
ấ
t và 2 nút nh
ậ
p).
•
ðố
i v
ớ
i bài toán chu
ỗ
i th
ờ
i gian, thì ch
ỉ
có n
a

ñượ
c ch
ọ
n.
•

Giá tr
ị
d
ự

ñ
oán
ˆ
( )
y t
ñượ
c di
ễ
n t
ả
nh
ư
sao:
ˆ
( ) ( , ( ))
y t g x t
θ
=
(23)
•

Mô v
ớ
i giá tr
ị

h
ồ
i quy nh
ư
Eq. (22)
ñượ
c g
ọ
i là mô hình ARX (AutoRegressive with
eXtra input signal). Khi không có tính hi
ệ
u vào u(t) giá tr
ị
tr
ễ

ñượ
c lo
ạ
i tr
ừ
t
ừ
Eq.
(22)
ñượ
c g
ọ
i là mô hình AR.
•

M
ạ
ng neural mô hình ARX d
ự
a trên m
ạ
ng FF 1 l
ớ
p
ẩ
n:

•

Mô hình ARX không có tín hi
ệ
u xu
ấ
t g
ọ
i (n
a
=0) g
ọ
i là mô hình FIR (Finite Impulse
Response)

- 21 -
•

Tính hi
ệ
u nhi
ễ
u e(t) m
ặ
t dù không
ñ
o
ñượ
c, nh
ư
ng v
ẫ
n có th
ể

ướ
c l
ượ
ng khi mô hình
ñ
ã
ñượ
c hu
ấ
n luy
ệ
n.

ðượ
c g
ọ
i là l
ỗ
i d
ự

ñ
óan (prediction error) và
ñượ
c
ñị
nh ngh
ĩ
a là:
ˆ ˆ
( ) ( ) ( )
e t y t y t
= −
(24)

ˆ
( )
e t
ñượ
c xem nh
ư
là ch
ỉ

s
ố
ch
ấ
t l
ượ
ng mô hình (càng nh
ỏ
càng t
ố
t).

Mạng Hopfield
•

Th
ườ
ng dùng trong các bài toán phân lo
ạ
i v
ớ
i các vector m
ẫ
u nh
ị
phân (binary
pattern vector).
•

M

ạ
ng Hopfield
ñượ
c t
ạ
o ra b
ằ
ng cách cung c
ấ
p các vector d
ữ
li
ệ
u vào - vector
ki
ể
u m
ẫ
u t
ươ
ng
ứ
ng v
ớ
i các l
ớ
p khác nhau. G
ọ
i là các m
ẫ

u phân lo
ạ
i l
ớ
p (class
patterns).
•

Trong không gian d
ữ
li
ệ
u n chi
ề
u, các m
ẫ
u phân lo
ạ
i l
ớ
p có n thành ph
ầ
n nh
ị

phân {1,-1} mà m
ỗ
i m
ẫ
u t

ươ
ng
ứ
ng v
ớ
i 1 góc c
ủ
a hình kh
ố
i (cube) trong không
gian n chi
ề
u. Th
ườ
ng dùng
ñể
phân lo
ạ
i các m
ẫ
u b
ị
bi
ế
n d
ạ
ng vào trong l
ớ
p thích
h

ợ
p.
•

Khi m
ẫ
u bi
ế
n d
ạ
ng
ñ
ã
ñượ
c phân lo
ạ
i trong m
ạ
ng, nó
ñượ
c quy v
ề
1 m
ẫ
u khác
(associated pattern). N
ế
u m
ạ
ng làm vi

ệ
c chính xác m
ẫ
u liên k
ế
t là 1 trong các
m
ẫ
u phân lo
ạ
i l
ớ
p. trong 1 vài tr
ườ
ng h
ợ
p, c
ự
c ti
ể
u gi
ả
(spurious minima) có th
ể

xu
ấ
t hi
ệ
n, d

ẫ
n
ñế
n m
ẫ
u liên k
ế
t s
ẽ
không n
ằ
m trong các vector m
ẫ
u.
•

M
ạ
ng Hopfield
ñ
ôi khi c
ũ
ng
ñượ
c g
ọ
i là m
ạ
ng Liên k
ế

t (associative networks) b
ở
i
nó liên k
ế
t m
ẫ
u phân lo
ạ
i l
ớ
p cho m
ỗ
i m
ẫ
u d
ữ
li
ệ
u nh
ậ
p.
•

Ví d
ụ
: nh
ậ
n d
ạ

ng ký t
ự
. ký t
ự
A, I, Y l
ầ
n l
ượ
t
ñượ
c ma tr
ậ
n hóa 3x4 sau
ñ
ó
ñư
a v
ề

d
ạ
ng vector.
ð
ây là các m
ẫ
u phân lo
ạ
i l
ớ
p.

x=-{{{1,-1,1},{1,1,1},{1,-1,1},{1,1,1}},
{{-1,1,-1},{-1,1,-1},{-1,1,-1},{-1,1,-1}},
{{-1,1,-1},{-1,1,-1},{1,-1,1},{1,-1,1}}};
ñư
a vào m
ạ
ng Hopfield.
t
ạ
o các m
ẫ
u d
ữ
li
ệ
u nh
ậ
p là các ký t
ự
b
ị
nhi
ễ
u:

ñư
a vào m
ạ
ng

ñ
ánh giá. Tr
ả
v
ề
:
- 22 -

ñố
i v
ớ
i d
ữ
li
ệ
u nh
ậ
p
ñượ
c sinh ng
ẫ
u nhiên:

quan sát d
ữ
li
ệ
u tr
ả
v

ề
:

không ph
ả
i lúc nào m
ạ
ng c
ũ
ng tr
ả
v
ề
1 trong các d
ữ
li
ệ
u m
ẫ
u.
ñ
i
ề
u này do g
ặ
p
ph
ả
i tr
ườ

ng h
ợ
p c
ự
c ti
ể
u gi
ả
.
•

2 ki
ể
u m
ạ
ng Hopfield:
o
Liên t
ụ
c th
ờ
i gian (Continuous-time).
o
R
ờ
i r
ạ
c th
ờ
i gian (discrete-time).

•

Ma tr
ậ
n tr
ọ
ng s
ố

ñượ
c
ñị
nh ngh
ĩ
a là:

D là s
ố
các m
ẫ
u phân lo
ạ
i l
ớ
p (class patterns) {
ξ
1
,
ξ
2

, …,
ξ
D
}, các vector m
ẫ
u
ξ
i

g
ồ
m các ph
ầ
n t
ử
±1
ñượ
c l
ư
u tr
ữ
trong m
ạ
ng, n là s
ố
thành ph
ầ
n hay chi
ề
u c

ủ
a
vector m
ẫ
u.

Mạng Hopfield rời rạc thời gian
•
ðố
i v
ớ
i m
ạ
ng Hopfield r
ờ
i r
ạ
c th
ờ
i gian:

ch
ỉ
ra 1 tr
ạ
ng thái x(t) t
ạ
i m
ộ
t th

ờ
i
ñ
i
ể
m.
ở
m
ỗ
i b
ướ
c l
ặ
p, tr
ạ
ng thái
ñượ
c c
ậ
p nh
ậ
t
ng
ẫ
u nhiên. Ti
ế
n trình c
ậ
p nh
ậ

t không
ñồ
ng b
ộ
này c
ầ
n thi
ế
t
ñể
m
ạ
ng h
ộ
i t
ụ

x(t)=Sign[W x(t)].
B
ắ
t
ñầ
u v
ớ
i x(0) là m
ẫ
u bi
ế
n d
ạ

ng. l
ặ
p cho
ñế
n khi Eq. (26) tr
ả
v
ề
1 m
ẫ
u liên k
ế
t
khi ph
ươ
ng trình này h
ộ
i t
ụ
.

•
ðố
i v
ớ
i m
ạ
ng Hopfield r
ờ
i r

ạ
c th
ờ
i gian, n
ă
ng l
ượ
ng (energy) c
ủ
a 1 vector x nào
ñ
ó
ñượ
c cho b
ở
i:

Eq. (26) h
ộ
i t
ụ
v
ề
giá tr
ị
có n
ă
ng l
ượ
ng nh

ỏ
nh
ấ
t. do
ñ
ó các c
ự
c ti
ể
u c
ủ
a Eq. (27)
t
ạ
o ra các
ñ
i
ể
m h
ộ
i t
ụ
c
ủ
a m
ạ
ng. Các c
ự
c ti
ể

u này ch
ỉ
ra các m
ẫ
u phân lo
ạ
i l
ớ
p
{
ξ
1
,
ξ
2
, …,
ξ
D
}. Do
ñ
ó có th
ể

ñả
m b
ả
o
rằng mạng Hopfield sẽ luôn hội tụ về 1
- 23 -
mẫu phân loại lớp

, tuy nhiên không th
ể

ñả
m b
ả
o nó h
ộ
i t
ụ
v
ề
chính xác m
ẫ
u
ñ
úng.

Mạng Hopfield Liên tục thời gian
•
ðị
nh ngh
ĩ
a b
ằ
ng ph
ươ
ng trình vi phân:

x(t) là vector tr

ạ
ng thái m
ạ
ng. W các tr
ọ
ng s
ố
.
σ
là hàm phi tuy
ế
n tính thay
ñổ
i lên
tr
ạ
ng thái x(t). Tr
ọ
ng s
ố
W
ñượ
c
ñị
nh ngh
ĩ
a nh
ư
Eq. (25).
•

Hàm n
ă
ng l
ượ
ng
ñượ
c
ñị
nh ngh
ĩ
a:

•

Vector x(t) h
ộ
i t
ụ
v
ề
c
ự
c ti
ể
u n
ă
ng l
ượ
ng

ñị
a ph
ươ
ng (local energy minimum). Do
ñ
ó các c
ự
c ti
ể
u trong Eq. (29) t
ạ
o thành các
ñ
i
ể
m h
ộ
i t
ụ
c
ủ
a m
ạ
ng Hopfield.
Nh
ữ
ng c
ự
c ti
ể

u này
ñồ
ng nh
ấ
t v
ớ
i các m
ẫ
u phân lo
ạ
i l
ớ
p {
ξ
1
,
ξ
2
, …,
ξ
D
}. Tuy
nhiên
không ñảm bảo ñược rằng các cực tiểu này trùng khớp với tập mẫu
phân loại lớp khởi tạo
.
Mạng không giám sát (Unsupervised) và Mạng
vector Lượng tử hóa (Quantization) (VQ)
•

Thu
ậ
t toán không giám sát
ñượ
c dùng
ñể
tìm c
ấ
u trúc c
ủ
a d
ữ
li
ệ
u. ví d
ụ
nh
ư
tìm
nhóm các
ñ
i
ể
m d
ữ
li
ệ
u hay tìm ra m
ố
i quan h

ệ
1 chi
ề
u trong d
ữ
li
ệ
u. n
ế
u c
ấ
u trúc
t
ồ
n t
ạ
i nó có th
ể

ñượ
c dùng
ñể
mô t
ả
d
ữ
li
ệ
u
ở

nhi
ề
u d
ạ
ng rút g
ọ
n.
•

H
ầ
u h
ế
t các mô hình m
ạ
ng
ñượ
c hu
ấ
n luy
ệ
n v
ớ
i thu
ậ
t toán giám sát. Có ngh
ĩ
a là
d
ự

li
ệ
u xu
ấ
t mong mu
ố
n ph
ả
i t
ồ
n t
ạ
i
ứ
ng v
ớ
i m
ỗ
i vector d
ữ
li
ệ
u nh
ậ
p trong d
ụ
ng
trong vi
ệ
c hu

ấ
n luy
ệ
n. M
ạ
ng không giám sát hay m
ạ
ng t
ự
t
ổ
ch
ứ
c ch
ỉ
d
ự
a vào d
ữ

li
ệ
u nh
ậ
p
ñể
tìm ra c
ấ
u trúc trong không gian d
ữ

li
ệ
u nh
ậ
p. thu
ậ
t toán hu
ấ
n luy
ệ
n
do
ñ
ó
ñượ
c g
ọ
i là không giám sát.
•

Do không có d
ữ
li
ệ
u ra “chính xác”, nên c
ũ
ng không có “sai”. Do
ñ
ó quy
ế

t
ñị
nh
tùy thu
ộ
c vào ng
ườ
i thi
ế
t k
ế
. sau khi hu
ấ
n luy
ệ
n, c
ầ
n ki
ể
m nghi
ệ
m c
ấ
u trúc nh
ậ
n
ñượ
c th
ự
c s

ự

ñạ
i di
ệ
n cho d
ữ
li
ệ
u. Vi
ệ
c ki
ệ
m nghi
ệ
m s
ẽ
r
ấ
t ph
ứ
c t
ạ
p
ñặ
t bi
ế
t v
ớ
i

không gian nhi
ề
u chi
ề
u.
ðố
i v
ớ
i các bài toán 2 ho
ặ
c 3 chi
ề
u, có th
ể
bi
ể
u di
ễ
n d
ữ

li
ệ
u và c
ấ
u trúc b
ằ
ng
ñồ
th

ị
. 1 ki
ể
m nghi
ệ
m có th
ể
có s
ố
chi
ề
u b
ấ
t k
ỳ

ñể
ki
ể
m tra
kho
ả
ng cách trung bình gi
ữ
a các
ñ
i
ể
m d
ữ

li
ệ
u và tâm nhóm. Kho
ả
ng cách càng
nh
ỏ
thì d
ữ
li
ệ
u càng
ñựơ
c
ñạ
i di
ệ
n t
ố
t b
ở
i nhóm.
•

M
ạ
ng không giám sát bao g
ồ
m m
ộ

t s
ố
các vector codebook, mà thi
ế
t l
ậ
p nên các
tâm nhóm. Vector codebook có cùng chi
ề
u v
ớ
i không gian d
ữ
li
ệ
u nh
ậ
p, các ph
ầ
n
t
ử
c
ủ
a nó là các tham s
ố
c
ủ
a m
ạ

ng không giám sát. Vector codebook
ñượ
c g
ọ
i là
neron c
ủ
a m
ạ
ng không giám sát.
- 24 -
•

Khi m
ạ
ng
ñ
ã
ñượ
c hu
ấ
n luy
ệ
n, v
ị
trí c
ủ
a các vector codebook xác
ñị
nh, kho

ả
ng
cách Euclidian trung bình gi
ữ
a
ñ
i
ể
m d
ữ
li
ệ
u
ñế
n vector codebook g
ầ
n nh
ấ
t là nh
ỏ

nh
ấ
t.
•

M
ạ
ng không giám sát có th
ể

dùng
ñặ
t tr
ư
ng lân c
ậ
n (neighbor feature). Mà hình
thành ánh x
ạ
t
ự
t
ổ
ch
ứ
c (self-organizing map) SOM. M
ạ
ng SOM không ch
ỉ
có
kho
ả
ng cách trung bình gi
ữ
a d
ữ
li
ệ
u và codebook g
ầ

n nh
ấ
t nh
ỏ
nh
ấ
t, mà còn có
kho
ả
ng cách trung bình nh
ỏ
nh
ấ
t gi
ữ
a các vector codebook. Có kh
ả
n
ă
ng
ñị
nh
ngh
ĩ
a m
ố
i quan h
ệ
1 ho
ặ

c 2 chi
ề
u gi
ữ
a các vector codebook, và m
ạ
ng không giám
sát nh
ậ
n
ñượ
c tr
ở
thành ánh x
ạ
không tuy
ế
n tính t
ừ
không gian d
ữ
li
ệ
u g
ố
c
ñế
n
không gian
ñặ

c tr
ư
ng 1 ho
ặ
c 2 chi
ề
u
ñượ
c
ñị
nh ngh
ĩ
a b
ở
i các vector codebook.
Ánh x
ạ
t
ự
t
ổ
chúng th
ườ
ng
ñượ
c g
ọ
i là ánh x
ạ

ñặ
c tr
ư
ng t
ự
t
ổ
ch
ứ
c (self-
organizing feature maps) hay m
ạ
ng Kohonen.
•

Khi t
ậ
p d
ữ
li
ệ
u
ñượ
c ánh x
ạ
b
ở
i SOM
ñế
n không gian 1 ho

ặ
c 2 chi
ề
u, nó có th
ể

ñượ
c minh h
ọ
a b
ằ
ng
ñộ
th
ị
1 cách tr
ự
c quan.
•

M
ộ
t ki
ể
u m
ạ
ng neural khác t
ươ
ng t
ự

v
ớ
i m
ạ
ng không giám sát là m
ạ
ng vector
l
ượ
ng t
ử
(Vector Quantization) VQ th
ườ
ng dùng trong các bài toán phân lo
ạ
i.
Gi
ố
ng nh
ư
m
ạ
ng không giám sát, m
ạ
ng VQ d
ự
a trên t
ậ
p các vector codebook.
M

ỗ
i l
ớ
p có 1 t
ậ
p con các vector codebook k
ế
t h
ợ
p v
ớ
i nó, và vector d
ữ
li
ệ
u
ñượ
c
phân lo
ạ
i vào trong l
ớ
p có vector phân lo
ạ
i codebook g
ầ
n nh
ấ
t. Vector codebook
th

ườ
ng
ñượ
c g
ọ
i là các neuron c
ủ
a m
ạ
ng VQ.
•

M
ỗ
i vector codebook có 1 ph
ầ
n không “gian thu
ộ
c” v
ề
nó. Nh
ữ
ng t
ậ
p con này
ñựơ
c t
ạ
o ra b
ở

i các
ñ
a giác và
ñượ
c g
ọ
i là các ô Voronoi. Trong các bài toán 2
chi
ề
u, ta có th
ể
v
ẽ

ñượ
c các ô này.
•

V
ị
trí c
ủ
a vector codebook nh
ậ
n
ñượ
c b
ằ
ng các thu
ậ

t toán h
ọ
c giám sát. có 2 thu
ậ
t
toán toán khác nhau. Ph
ươ
ng pháp h
ọ
c Vector L
ượ
ng t
ử
(Learning Vector
Quantization) LVQ
ñ
i
ề
u ch
ỉ
nh v
ị
c trí c
ủ
a các vector codebook dùng c
ả
d
ữ
li
ệ

u
phân lo
ạ
i chính xác và không chính xác. Ph
ươ
ng pháp th
ứ
2 là thu
ậ
t toán h
ọ
c
c
ạ
nh tranh, s
ử
d
ụ
ng m
ạ
ng không giám sát.
ðố
i v
ớ
i m
ạ
ng VQ thu
ậ
t toán hu
ấ

n
luy
ệ
n này có th
ể

ñựơ
c dùng b
ằ
ng cách xét d
ữ
li
ệ
u và vector codebook c
ủ
a 1 l
ớ
p
nào
ñ
ó thu
ộ
c d
ữ
li
ệ
u còn l
ạ
i và các vector codebook còn l
ạ

i. T
ươ
ng ph
ả
n v
ớ
i
m
ạ
ng không giám sát, d
ữ
li
ệ
u xu
ấ
t bi
ể
u th
ị
l
ớ
p chính xác là c
ầ
n thi
ế
t,
ñượ
c dùng
ñể
chia d

ữ
li
ệ
u xu
ấ
t vào trong các l
ớ
p khác nhau.
Các minh họa cơ bản
•

M
ỗ
i bài toán m
ạ
ng neural
ñ
i
ề
u th
ự
c hi
ệ
n theo 4 b
ướ
c sau:
1.

chu
ẩ

n b
ị
t
ậ
p d
ữ
li
ệ
u nh
ậ
p.
2.

Kh
ở
i t
ạ
o m
ạ
ng.
3.

Hu
ấ
n luy
ệ
n m
ạ
ng.
- 25 -

4.

ki
ể
m
ñị
nh mô hình.
Bài toán phân loại (Classification)
•

Bài toán có 2 tham s
ố

ñể
có th
ể
minh h
ọ
a
ñượ
c b
ằ
ng
ñồ
th
ị
. D
ữ
li
ệ

u nh
ậ
p g
ồ
m
tu
ổ
i và tr
ọ
ng l
ượ
ng tr
ẻ
em. D
ữ
li
ệ
u ra
ñạ
i di
ệ
n phân l
ớ
p mà nh
ữ
ng
ñứ
a tr
ẻ
thu

ộ
c
vào. Có 2 l
ớ
p trong ví d
ụ
này.
•

Vì d
ữ
li
ệ
u ra ch
ỉ
có 2 l
ớ
p nên có th
ể

ñượ
c l
ư
u tr
ữ
trong 1 c
ộ
t, v
ớ
i 1 và 0 ch

ỉ
ra
ñứ
a
tr
ẻ
thu
ộ
c l
ớ
n nào.
•

D
ữ
li
ệ
u ra y:

•

Bi
ể
u di
ễ
n d
ữ
li
ệ
u vào b

ằ
ng
ñồ
th
ị
:

•
ðồ
th
ị
cho th
ấ
y rõ d
ữ
li
ệ
u phân thành 2 l
ớ
p mà có th
ể

ñượ
c chia ra b
ở
i 1
ñườ
ng
cong.
ðườ

ng cong này s
ẽ

ñượ
c tìm ra trong quá trình hu
ấ
n luy
ệ
n. M
ạ
ng phân lo
ạ
i
thành công s
ẽ
tr
ả
v
ề

ñ
úng l
ớ
p mà nh
ữ
ng
ñứ
a tr
ẻ
thu

ộ
c vào cho b
ở
i tu
ổ
i và cân
n
ặ
ng.
•

Th
ướ
c
ñ
o
ñộ
phù h
ợ
p (measure of fit),
ñượ
c t
ố
i ti
ể
u b
ở
i thu
ậ
t toán hu

ấ
n luy
ệ
n,
ph
ả
i
ñựơ
c ch
ọ
n.
ñố
i v
ớ
i bài toán phân l
ọ
ai, chu
ẩ
n
ñượ
c gán là s
ố
m
ẫ
u phân lo
ạ
i
sai. M
ạ
ng phân lo

ạ
i là chính xác n
ế
u chu
ẩ
n b
ằ
ng 0.
•

M
ạ
ng Perception là m
ạ
ng phân l
ọ
ai
ñơ
n gi
ả
n nh
ấ
t,
ñượ
c s
ử
d
ụ
ng trong ví d
ụ

này.
•

Quá trình hu
ấ
n luy
ệ
n
ñượ
c minh h
ọ
a nh
ư
sau: