Perceptron, mạng tuyến tính thích ứng

Phần 3_Chương 3 : Perceptron
CHƯƠNG 3
PERCEPTRON

Perceptron là một lớp mạng đơn mà trọng số w, và ngưỡng b có thể được đào tạo để tạo ra vector ngõ
ra chính xác với vector vào tương ứng. Kỹ thuật huấn luyện được gọi là quy luật huấn luyện
perceptron. Perceptron đặc biệt thích hợp cho những vấn đề đơn giản trong việc phân loại mô hình,
mạng này giải quyết vấn đề nhanh chóng và đáng tin cậy.
1. MÔ HÌNH NEURON
Neuron perceptron dùng hàm truyền hardlim
Mỗi dữ liệu vào có một trọng số và kết hợp với ngưỡng được đưa qua hàm truyền Hardlim. Kết quả
đầu ra là 1 nếu giá trò vào của hàm truyền lớn hơn hoặc bằng 0, ngược lại bằng 0 khi giá trò vào của
hàm truyền nhỏ hơn 0. Như vậy không gian dữ liệu được chia thành hai lớp mà trong mỗi vùng kết
quả đầu ra sẽ không thay đổi nếu ta chỉ thay đổi đầu vào trong vùng đó.
Hai vùng dữ liệu ra được phân cách bởi đường thẳng Wp+b = 0. Đường thẳng này trực giao với
vector trọng số W và dòch chuyển theo sự thay đổi của b.
Lê Thanh Nhật-Trương Ánh Thu 1 GVHD : Ths Hoàng Đình Chiến
Phần 3_Chương 3 : Perceptron
2. CẤU TRÚC PERCEPTRON
Mạng Perceptron gồm có một lớp đơn có S neuron perceptron kết nối với R ngõ vào kết hợp với một
tập trọng số w
i,j
(j là ngõ vào thứ j và i là neuron thứ i). Quy luật học tập perceptron chỉ có khả năng
huấn luyện một lớp đơn.
Lê Thanh Nhật-Trương Ánh Thu 2 GVHD : Ths Hoàng Đình Chiến
Phần 3_Chương 3 : Perceptron
3. QUY LUẬT HỌC TẬP
Quy luật học tập là một qui trình sửa đổi trọng số và ngưỡng của một mạng (quy trình này cũng có
thể hiểu là thuật toán huấn luyện), có hai loại học tập giám sát và không giám sát.
Các cặp vector : p
1

t
1,
p
2
t
2
, …… , p
Q
t
Q
p: vector đầu vào
t: vector ngõ ra mong muốn
Với vector đầu ra thực tế a, sai số giữa đầu ra mong muốn và thực tế là e = t - a. Quy luật học
perceptron

learnp thay đổi w, b để thu được a giống t. Với hàm hardlim vector t phải chứa một
trong hai giá trò 0 và 1. Có ba trường hợp xảy ra trong mạng đơn :
e = 0 thì thay đổi của ∆w = 0
e = 1 ∆w = p
T
e = -1 ∆w = -p
T
Cả ba trường hợp có thể viết dưới dạng biểu thức đơn giản sau :
∆W = (t - a) p
T
= ep
T
∆b = (t - a) (1) = e
Như vậy :
W

new
= W
old
+ ep
T
b
new
= b
old
+ e
với e = t-a
Trong phần này sử dụng hàm sim để mô phỏng mạng và hàm learnp là hàm học của perceptron.
Công việc được lặp đi lặp lại để tìm ra w, b đến khi không còn lỗi.
4. HUẤN LUYỆN THÍCH ỨNG
Sim, learnp được sử dụng lặp đi lặp lại thay đổi w, b của perceptron theo sai số e và cuối cùng
perceptron sẽ tìm ra w, b. Mỗi vòng lặp xử lý gọi là pass.
Hàm adapt tiến hành như là một vòng lặp tính toán. Trong mỗi pass hàm adapt sẽ xử lý các dữ liệu
vào, tính toán đầu ra, sai số và điều chỉnh mạng cho mỗi vector đầu vào. Nếu một lần sửa w, b chưa
thành công thì gọi lại hàm adapt để tiến hành lại hoặc phân tích xem vấn đề đó có thể giải quyết
bằng perceptron hay không.
Lê Thanh Nhật-Trương Ánh Thu 3 GVHD : Ths Hoàng Đình Chiến
Phần 3_Chương 3 : Perceptron
CHƯƠNG 4
MẠNG TUYẾN TÍNH THÍCH ỨNG
Mạng ADAPLINE (Adaptive Linear Neuron networks) giống như perceptron nhưng hàm
truyền là tuyến tính cho ngõ ra có giá trò không giới hạn, chỉ giải quyết những vấn đề độc
lập tuyến tính. Chương này đề cập quy luật huấn luyện LMS (Least Mean Squares) hay
Widrow-Hoff, mạnh hơn quy luật huấn luyện perceptron.
Với mỗi vector vào ta có thể tính được vector ra, sai số e là sự sai khác giữa vector ra và vector
mong muốn. Ta có thể thay đổi giá trò trọng số w, giá trò ngưỡng b để tổng bình phương sai số

là nhỏ nhất hoặc nhỏ hơn một giá trò cụ thể. Vấn đề này có thể được giải quyết bởi vì mạng
tuyến tính chỉ có một giá trò nhỏ nhất của sai số. Trong hầu hết trường hợp chúng ta có thể tính
trực tiếp mạng tuyến tính như là việc tính sai số cực tiểu trên vector vào và vector ra.
Ta thiết kế hệ thống tuyến tính thích ứng có khả năng đáp ứng được với sự thay đổi môi trường.
Mạng tuyến tính được điều chỉnh theo từng bước dựa trên vector vào mới và vector mong muốn
để tìm được các giá trò trọng số và ngưỡng thích hợp sao cho tổng bình phương sai số nhỏ nhất.
Mạng loại này thường được sử dụng trong những bộ lọc, những hệ thống điều khiển và xử lý tín
hiệu số.
1. MÔ HÌNH NEURON
Một neuron tuyến tính có R ngõ vào được cho như sau :
Mô hình mạng tuyến tính này có cấu trúc giống mạng perceptron, chỉ khác là sử dụng hàm
truyền tuyến tính purelin.
Lê Thanh Nhật-Trương Ánh Thu 4 GVHD : Ths Hoàng Đình Chiến
Phần 3_Chương 3 : Perceptron
Hàm truyền tuyến tính tính toán ngõ ra của neuron theo những giá trò được đưa qua nó :
a = purelin (n) = purelin (Wp + b) = Wp + b
Neuron có thể được huấn luyện để học tập một hàm quan hệ của các vector đầu vào hoặc tìm
xấp xỉ gần đúng cho hàm phi tuyến. Mạng tuyến tính dó nhiên không thể thực hiện những tính
toán phi tuyến.
2. CẤU TRÚC MẠNG
Hình dưới là mạng một lớp gồm S neuron kết nối với R ngõ vào qua ma trận trọng số W.
Luật Widrow-Hoff chỉ có thể huấn luyện mạng tuyến tính một lớp. Tuy nhiên nhiều mạng
tuyến tính một lớp có khả năng như một mạng tuyến tính đa lớp.
Cũng giống perceptron, ADALINE cũng có đường phân cách được xác đònh bằng cách cho
vector vào mạng n = 0 nghóa là Wp + b = 0. Hình dưới minh họa một ADAPLINE đơn hai ngõ
vào và đường phân cách của mạng :
Lê Thanh Nhật-Trương Ánh Thu 5 GVHD : Ths Hoàng Đình Chiến