Neurol Networks and applications ppsx

1

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Neural Networks and
Applications
Người hướng dẫn:
TS. Hoàng Mạnh Thắng
or


2

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Nội dung môn học
Gồm lý thuyết và thực hành:
1. Lý thuyết đưa ra các chủ đề về neural
network và ứng dụng vào quá trình học
có/không có giám sát
(supervised/unsupervised learning)
2. Thực hành với Matlab và ứng dụng của
thuật toán học trong neural network.
3. Các ứng dụng của Neural Networks
trong lĩnh vực điện tử-viễn thông

3

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006

Neural Network là gì ?

Là mạng của các phần tử tính toán
đơn giản (gọi là neuron)

Nhấn mạnh đến quá trình học (pattern
recognition)

Vấn đề tính toán của các phần tử
(neurons)

NN được mô tả dựa theo mạng neuron
sinh học

4

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Lịch sử
Nguồn gốc của NN bắt nguồn từ:

Các nghiên cứu về thần kinh sinh học (cách đây cả thế
kỷ):
Từ những kích thích thần kinh, và ngưỡng kích thích bằng
bao nhiêu thì có đáp ứng? etc

Từ các nghiên cứu về tâm lý học:
Làm thế nào để động vật có thể học được…

Từ vật lý về tâm lý thực nghiệm giúp các nhà khoa học

hiểu các neuron và nhóm các neuron làm việc như thế
nào.

McCulloch và Pitts lần đầu tiên đưa ra mô hình toán của
neuron đơn và nó được ứng dụng cho các nghiên cứu
sau này.

5

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Lịch sử, cont
Tiền sử:

Golgi and Ramony Cajal nghiên cứu các hệ thống thần
kinh và phát hiện ra các neuron (cuối thế kỷ 19)
Tóm tắt qua các mốc thời gian:

McCulloch và Pitts (1943): NN đầu tiên với các neuron
binary

Hebb (1949): quá trình học khi các neuron nối với nhau

Minsky (1954): NN cho quá trình reinforcement
learning

Taylor (1956): associative memory

Rosenblatt (1958): perceptron, một neuron với các quá
trình học có và ko có giám sát

6

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Lịch sử, cont

Widrow and Hoff (1960): Adaline (adaptive linear neuron)

Minsky and Papert (1969): đưa ra các hạn chế của perceptron
một lớp và đưa đến perceptron nhiều lớp
Ngừng trệ trong thập kỷ 70:

Các nhà nghiên cứu độc lập tiếp tục nghiên cứu

von der Marlsburg (1973): đưa ra quá trình học competitive
learning và self-organization
NN phát triển cực manh ở thập niên 80's

Grossberg: adaptive resonance theory (ART)

Hopfield: Hopfield network

Kohonen: self-organising map (SOM)

7

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Lịch sử, cont


Oja: phân tích thành phần độc lập(PCA)

Ackley, Hinton and Sejnowski: Máy Boltzmann

Rumelhart, Hinton and Williams: backpropagation
Sự đa dạng hóa trong thập niên 90's:

Machine learning: Phương pháp toán, Bayesian các
phương pháp, lý thuyết thông tin, support vector
machines (công cụ mạnh hiện nay),

Computational neurosciences: làm việc với hầu hết các
phần của hệ thống của não và được hiểu ở mức nào
đó. Nghiên cứu từ các mô hình mức thấp của các
neuron đến các mô hình bộ não.

8

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Phân loại các giải thuật học
Learning Tasks
Supervised Unsupervised
Data:
Labeled examples
(input , desired output)
Tasks:
classification
pattern recognition

Regression
NN models:
perceptron
adaline
feed-forward NN
radial basis function
support vector machines
Data:
Unlabeled examples
(different realizations of the
input)
Tasks:
clustering
content addressable
memory
NN models:
self-organizing maps (SOM)
Hopfield networks

9

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
NNs: mục đích và thiết kế

Học được thực hiện với tập các mẫu
(dataset) và được gọi là training examples.

Một NN được quan tâm theo 3 khía cạnh:


Kiến trúc của mạng: Các neuron và liên kết giữa chúng với
nhau. Mỗi liên kết có một trọng số, gọi là weight,

Mô hình của Neuron: liên quan đến số đầu vào và hàm
kích hoạt,

Thuật tóan học: dùng để dạy NN thông qua điều chỉnh các
weight để có đầu ra như mong muốn.

Mục đích cuối cùng là có được NN có thể
nhận ra được những thông tin được đưa
vào trong quá trình nó làm việc

10

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Ví dụ: Alvinn
Tự động lái ở tốc độ 110
Km/h
Camera
image
Đầu vào là các ảnh
30x32 pixels
30 đầu ra
30x32 weights
Cho 1 trong
4 hidden neuron
4 hidden
Neurons

11

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Các thông số cho NN

Kiến trúc mạng

Các loại neuron

Các giải thuật học

Các ứng dụng

12

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Các kiến trúc mạng neuron

Có 3 loại kiến trúc

single-layer feed-forward Các neuron được nối với nhau

multi-layer feed-forward không tạo ra vòng (acyclic)

Recurrent neural network

kiến trúc của NN có liên hệ với giải thuật học được dùng để

dạy cho mạng

13

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Single Layer Feed-forward
Input layer
of
source nodes
Output layer
of
neurons

14

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Multi layer feed-forward
Input
layer
Output
layer
Hidden Layer
3-4-2 Network

15

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006

Recurrent network
Recurrent Network có các hidden neuron:
phần tử làm trễ z
-1
được dùng
z
-1
z
-1
z
-1
input
hidden
output

16

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Mô hình một Neuron

Input
values
weights
Summing
function
Bias
b
Activation
function

Local
Field
v
Output
y
x
1
x
2
x
m
w
2
w
m
w
1
∑
(.)
ϕ
………….

17

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Tín hiệu vào và Weights

Input signals


Tín hiệu được đưa
vào có thể dưới dạng
thô hoặc được qua
tiền xử lý
(preprocessed).

Có thể đưa vào các
đặc tính cụ thể của
đối tượng cần phân
loại.

Weights

Weights được dùng trong
kết nối giữa các đầu vào
và hàm tổng, hoặc giữa
đầu ra của một neuron
với đầu vào hàm tổng của
lớp tiếp theo.

Hoạt động của NN được
theo các Weights

Bias là đầu vào hằng số
và có weight xác định.

Thường weights được
gán giá trị ngẫu nhiên
trước khi NN được dạy

18

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Neuron

Neuron là phần tử xử lý thông tin cơ bản của NN.
Nó gồm:

Một tập các liên kết, các đầu vào, và weights
w
1
, w
2
, …, w
m

Hàm cộng thực hiện cộng tuyến tính:

Hàm kích hoạt (Activation function) hình
thành đầu ra dựa trên
∑
=
=
m
1
jj
xwu
j
(.)

ϕ
) (u y b
+=
ϕ

19

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Bias của Neuron

bias b và u
v = u + b

v được gọi là induced field của neuron
x2x1
u
−
=
x1-x2=0
x1-x2= 1
x1
x2
x1-x2= -1

20

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Bias as extra input

•
Bias có thể được xem như một đầu vào
Input
signal
Synaptic
weights
Summing
function
Activation
function
Local
Field
v
Output
y
x
1
x
2
x
m
w
2
w
m
w
1
∑
)(
−

ϕ
w
0
x
0
= +1
bw
xwv
j
m
j
j
=
=
∑
=
0
0
…………

21

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Activation Function
ϕ
Có nhiều hàm activation khác nhau dùng cho các ứng dụng khác
nhau. Một số hàm như sau:
Hard-limiter
Piecewise linear Sigmoid Hyperbolic tangent

( )



<
≥
=
00
01
vif
vif
v
ϕ
( )





−≤
−≥≥
≥
=
210
2121
211
vif
vifv
vif
v

ϕ
( )
)exp(1
1
av
v
−+
=
ϕ
( ) ( )
vv tanh
=
ϕ

22

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Các mô hình neuron

Lựa chọn hàm quyết định đến mô hình của neuron. Ví dụ:

step function:

ramp function:

sigmoid function:
với 3 tham số z,x,y

Gaussian function:

ϕ














−
−=
2
2
1
exp
2
1
)(
σ
µ
σπ
ϕ
v
v

)exp(1
1
)(
yxv
zv
+−+
+=
ϕ





−−−+
>
<
=
otherwise ))/())(((
if
if
)(
cdabcva
dvb
cva
v
ϕ



>

<
=
cvb
cva
v
if
if
)(
ϕ

23

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Các giải thuật học
Phụ thuộc vào kiến trúc của mạng:

Error correcting learning (dùng cho
perceptron)

Delta rule (AdaLine, Backprop.)

Competitive Learning (Self Organizing
Maps)

24

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Ứng dụng


Classification:

Image recognition

Speech recognition

Diagnostic

Fraud detection

…

Regression:

Forecasting (prediction on base of past history)

…

Pattern association:

Retrieve an image from corrupted one

…

Clustering:

clients profiles

disease subtypes


…

25

Faculty of Electronics and Telecommunications, HUT
Bangkok, Jun. 14 – 23, 2006
Supervised learning
Non-linear classifiers
Linear classifiers
Perceptron
Adaline
Feed-forward networks
Radial basis function networks
Support vector machines
Unsupervised learning
Clustering
Content addressable memories
Optimization
Hopfield networks
Self-organizing maps
K-means
Ứng dụng