Mô hình mạng neural network

CHƯƠNG 2
MÔ HÌNH MẠNG NEURAL NETWORKS
Mô hình mạng Neural tổng quát có dạng như sau :
Ngày nay mạng Neural có thể giải quyết nhiều vấn đề phức tạp đối với con người, áp dụng
trong nhiều lónh vực như nhận dạng, đònh dạng, phân loại, xử lý tín hiệu, hình ảnh v.v…
1. MÔ HÌNH NEURON VÀ CẤU TRÚC MẠNG
1.1 Mô hình neuron
Cấu trúc một Neuron
Ngõ vào một neuron có thể là đại lượng vô hướng hoặc có hướng, đại lượng này được nhân với
trọng số tương ứng để đưa vào neuron, hoặc có thể cộng thêm ngưỡng (bias), thường bằng 1.
Dưới đây là mô hình một neuron với ngõ vào vô hướng p không có ngưỡng b (hình bên trái) và
có ngưỡng b (hình bên phải). Ngõ vào vô hướng p được nhân với trọng số vô hướng w tạo
thành wp, đối số wp (hình bên trái) qua hàm truyền f cho kết quả đầu ra là vô hướng a = f(wp).
Hình bên phải là neuron có ngưỡng b, giá trò b được cộng với wp rồi qua hàm truyền f cho kết
quả đầu ra là vô hướng a = f(wp+b). Có thể điều chỉnh những thông số của neuron như trọng
số và ngưỡng (w và b) để đạt được yêu cầu mong muốn nghóa là “huấn luyện” mạng.
Hàm truyền
Có rất nhiều hàm truyền áp dụng trong Neural Networks, trong đó ba hàm thường sử dụng nhất
là Hard Limit, Linear, Log-Sigmoid.
Tổng quát với một hàm truyền có đầu vào là một hoặc một nhóm vector thì đầu ra là
a = f ( p * w + b ).
Với a : đầu ra
p : đầu vào
w : trọng số
b : ngưỡng
f : hàm truyền
Vậy một ngõ vào với các hàm truyền khác nhau sẽ cho các kết quả khác nhau. Để có giải
pháp tối ưu thì cần phải có kinh nghiệm sử dụng các hàm truyền hoặc phải tốn một khoảng thời
gian để thử nghiệm hàm truyền.
Neuron với Vector nhập
Một neuron được cho trên hình vẽ sau với vector nhập p = [p

1
, p
2
, ……p
R
], trọng số W = w
1,1
,
w
1,2
,……w
1,R
, ngưỡng b và hàm truyền f . Tổng đối số và ngưỡng tạo ở ngõ ra n là
n = w
1,1
p
1
+ w
1,2
,p
2
+ ……w
1,R
p
R
+ b
hay n = W*p + b
Nếu có nhiều neuron thì cách biểu diễn trên không hiệu quả, do đó có thể đònh nghóa một lớp
gồm nhiều neuron như sau.
1.2 Cấu trúc mạng

Hai hay nhiều neuron kết hợp thành một lớp, và một mạng riêng biệt có thể chứa một hay
nhiều lớp neuron.
Một lớp neuron
Trong hình dưới mô tả một lớp neuron với : R : số phần tử của vectơ đầu vào
S : số neuron trong lớp
a : vector ngõ ra của lớp neuron
Ma trận trọng số W :












=
RSSS
R
R
www
www
www
W
,2,1,
,22,11,2
,12,11,1

...
...
...
Một lớp mạng được vẽ gọn như sau :
Mạng nhiều lớp neuron
Mạng có nhiều lớp, mỗi lớp có một ma trận W, một ngưỡng b và một vectơ ngõ ra a. Thông
thường giá trò ra của một lớp là giá trò vào của lớp tiếp theo. Mỗi lớp trong mạng đảm nhiệm
vai trò khác nhau, lớp cho kết quả ở đầu ra của mạng được gọi là lớp ngõ ra _ output layer, tất
cả các lớp còn lại được gọi là lớp ẩn _ hidden layers. Mạng đa lớp có khả năng xử lý rất lớn.
Chẳng hạn như một mạng có hai lớp, lớp thứ nhất là sigmoid, lớp thứ hai là linear có thể được
huấn luyện đến một hàm gần đúng với một số kết nối cố đònh.
2. CẤU TRÚC DỮ LIỆU
Cấu trúc đònh dạng của dữ liệu vào ảnh hưởng đến việc mô phỏng của mạng. Có hai loại mạng
static network và dynamic network. Hai kiểu vector đầu vào cơ bản là kiểu xảy ra đồng thời
(concurrently) và kiểu xảy ra liên tục theo thời gian (sequentially).
Kiểu đầu vào xảy ra đồng thời được mô phỏng trong mạng tónh (không có hồi tiếp hoặc trễ),
thứ tự của các vector đầu vào không quan trọng và chúng không ảnh hưởng lẫn nhau.
Kiểu đầu vào xảy ra liên tục được mô phỏng trong mạng dynamic. Thứ tự các giá trò đầu vào
rất quan trọng. Trong trường hợp này, giá trò đầu ra thu được là do giá trò vào hiện tại và giá trò
vào trước đó. Nếu thay đổi thứ tự của dữ liệu vào thì sẽ làm thay đổi dữ liệu ra.
3. KIỂU HUẤN LUYỆN
Trong phần này mô tả hai kiểu huấn luyện khác nhau.
• Incremental training : trọng số và ngưỡng của mạng được cập nhập mỗi khi có dữ liệu
vào mạng. Kiểu này ứng dụng trong cả hai mạng tónh và động, tuy nhiên thường dùng
trong mạng động nhiều hơn, như là những bộ lọc thích ứng.
• Batch training : trọng số và ngưỡng của mạng chỉ được cập nhập sau khi tất cả dữ liệu
đã vào mạng, dùng trong cả hai mạng tónh và động.