HỆ MỜ & NƠRON TRONG KỸ THUẬT ĐIỀU KHIỂN - TS. NGUYỄN NHƯ HIỀN & TS. LẠI KHẮC LÃI - 6 pot

90
a
4
= W
1,1
*p
1
+W
1,2
*p
2
=1*4+2*3+0=10 (giá trị đầu vào 2 là 3)
Vậy A = [1] [4] [7] [10].
3.4.3. Mô tả các dữ liệu vào đồng thời trong mạng động
Khi đưa vào mạng động đã xét ở trên một tập các dữ liệu đồng thời thay
cho các dữ liệu liên tiếp, ta có thể thu được kết quả khác nhau hoàn toàn. Ví
dụ có tập các dữ liệu vào đồng thời:
P
1
= [1], P
2
= [2], P
3
= [3], P
4
= [4] được thiết lập theo mã sau:
P = [1 2 3 4];
Sau khi chạy mô phỏng với các dữ liệu vào đồng thời ta thu được:
A = [1 2 3 4].
Kết quả này giống như khi ta áp dụng đồng thời mỗi đầu vào tới một

mạng riêng biệt và tính toán một đầu ra.
Chú ý: Một khi ta không ấn định bất kỳ điều kiện đầu nào cho mạng có
trễ thì chúng được coi bằng zero. Trong trường hợp này đầu ra chỉ đơn giản
là 1 nhân với đầu vào vì hàm trọng nhân với đầu vào hiện thời là 1.
Trong trường hợp đặc biệt, ta có thể cần phải mô phỏng đáp ứng của
mạng với một vài chuỗi số khác nhau trong cùng một thời gian, ta cần đưa tới
mạ
ng với một tập đồng thời của chuỗi. Ví dụ ta cần đưa tới mạng hai dữ liệu
liên tiếp sau:
p
1
(1) = [1], p
1
(2) = [2], p
1
(3) = [3], p
1
(4) = [4]
p
2
(1) = [4], p
2
(2) = [3], p
2
(3) = [2], p
2
(4) = [1].
Đầu vào P cần phải là một mảng, trong đó mỗi phần tử của mảng bao
gồm 2 phần tử liên tiếp mà chúng xuất hiện cùng một lúc.
P = {[1 4] [2 3] [3 2] [4 1]};

Chạy mô phỏng mạng:
A = sim(net,P);
Kết quả đầu ra của mạng sẽ là:
A = {[1 4] [4 11] [7 8] [10 5]} = {[a
11
a
21
] [a
12
a
22
] [a
13
a
23
] [a
14
a
24
] trong đó:
Simpo PDF Merge and Split Unregistered Version -

91
a
11
= W
1,1
.p
1
+ W

1,2
.p
2
+b = 1 * 1 + 2 * 0 + 0 = 1;
a
21
= W
1,1
.p
1
+ W
1,2
.p
2
+b = 1 * 4 + 2 * 0 + 0 = 4;
a
12
= W
1,1
.p
1
+ W
1,2
.p
2
+b = 1 * 2 + 2 * 1 + 0 = 4;
a
22
= W
1,1

.p
1
+ W
1,2
.p
2
+b = 1 * 3 + 2 * 4 + 0 = 11;
a
13
= W
1,1
.p
1
+ W
1,2
.p
2
+b = 1 * 3 + 2 * 2 + 0 = 7;
a
23
= W
1,1
.p
1
+ W
1,2
.p
2
+b = 1 * 2 + 2 * 3 + 0 = 8;
a

14
= W
1,1
.p
1
+ W
1,2
.p
2
+b = 1 * 4 + 2 * 3 + 0 = 7;
a
24
= W
1,1
.p
1
+ W
1,2
.p
2
+b = 1 * 1 + 2 * 2 + 0 = 8;
Ta có thể thấy cột đầu tiên của mỗi ma trận kết quả, chuỗi ra được tạo ra
từ chuỗi vào đầu tiên mà chúng ta đã làm quen trong ví dụ trước. Cột thứ hai
của mỗi ma trận kết quả chuỗi ra được tạo ra từ chuỗi vào thứ hai. Không có
sự tương tác giữa hai chuỗi đồng thời. Nó giống như khi mỗi ứng dụng của
các mạng riêng biệt được chạy song song.
S
ơ đồ dưới đây chỉ ra khuôn dạng chung của đầu vào P khi ta có Q chuỗi
vào đồng thời qua những bước thời gian Ts, nó bao hàm cả trường hợp khi có
1 véctơ vào. Mỗi phần tử của mảng là một ma trận của các véctơ đồng quy

mà nó ứng với cùng một thời điểm cho mỗi chuỗi. Nếu có nhiều véctơ vào sẽ
có nhiều hàng của ma trận trên mảng.

Trong mục này chúng ta đã áp dụng các nữ liệu vào liên tiếp và đồng thời
cho mạng động.
Chú ý: ở mục 3.4.1 ta đã áp dụng dữ liệu vào đồng thời cho mạng tĩnh.
Ta cũng có thể áp dụng dữ liệu vào liên tiếp cho mạng tĩnh, nó sẽ không làm
thay đổi kết quả mô phỏng của mạng, nhưng nó có thể ảnh hưởng tới cách
thức huấn luyện mạng.
Simpo PDF Merge and Split Unregistered Version -

92
3.5. HUẤN LUYỆN MẠNG
Trong phần này, chúng ta đề cập đến 2 kiểu huấn luyện mạng: Huấn
luyện gia tăng (tiến dần) và huấn luyện theo gói. Đối với sự huấn luyện gia
tăng, hàm trọng và độ dốc của mạng được cập nhật mỗi khi dữ liệu được đưa
vào mạng. Đối với sự huấn luyện theo gói, hàm trọng và độ dốc chỉ được c
ập
nhật sau khi tất cả các dữ liệu được đưa vào mạng.
3.5.1. Huấn luyện gia tăng
Sự huấn luyện gia tăng (huấn luyện tiến dần) có thể được áp dụng cho cả
mạng tĩnh và mạng động. Tuy nhiên, trong thực tế nó được sử dụng nhiều
hơn cho mạng động, ví dụ các bộ lọc thích nghi. Trong mục này, chúng ta sẽ
giải thích sự huấn luyện gia tăng được thực hiện như thế nào trên mạng tĩnh
và mạng
động.
a/ Huấn luyện gia tăng đối với mạng tĩnh
Xét mạng tĩnh học, ta muốn huấn luyện nó gia tăng, sao cho hàm trọng
và độ dốc của nó được cập nhật mỗi khi đầu vào có mặt. Trong trường hợp
này chúng ta sử dụng hàm

"Adapt" và ta coi các giá trị đầu vào và đích là
các chuỗi nối tiếp.
Giả thiết ta muốn huấn luyện mạng để tạo ra hàm tuyến tính:
t = 2p
1
+ P
2

Các dữ liệu vào ban đầu được sử dụng:

Đích của mạng là:
t
1
=[4] t
2
= [5] t
3
= [7] t
4
= [7]
Trước hết ta thiết lập mạng với những hàm trọng và độ dốc ban đầu bảng
zero. Ta cũng đặt mức học xuất phát từ zero, để cho thấy hiệu ứng của sự
huấn luyện gia tăng.
net = newlin([-1 1;-1 1], 1,0,0);
net.IW{1,1} = [0 0];
net.b{1} = 0;
Simpo PDF Merge and Split Unregistered Version -

93
Để huấn luyện gia tăng, ta cần coi các đầu vào và đích là các chuỗi:

P = {[1;2] [2;1] [2;3] [3;1]}
T = {4 5 7 7};
Như đã đề cập ở mục trước, đối với mạng tĩnh kết quả sự mô phỏng của
mạng ở đầu ra liệu có giống như đầu vào đã được đưa ra như là một ma trận
của véctơ đồng thời hay như là một mảng của các véctơ liên tiếp. Điều này là
không đúng khi huấn luyện mạng. Tuy vậy khi sử dụng hàm
Adapt, nếu một
mảng các véctơ liên tục được đưa đến đầu vào thì hàm trọng được cập nhật
như với mỗi đầu vào được đưa đến. Như chúng ta sẽ thấy ở phần sau, nêu
một ma trận của véctơ đồng thời được đưa đến đầu vào thì hàm trọng chỉ
được cập nhật sau khi tất cả các tín hiệu vào được đưa đến.
Để huấn luyệ
n gia tăng ta sử dụng dòng lệnh:
[net,a,e,p,f] = adapt(net,P,T);
Đầu ra của mạng vẫn là zero bởi lẽ tốc độ học bằng zêro và hàm trọng
không được cập nhật. Các giá trị sai lệch sẽ bằng các giá trị đích:
a = [0] [0] [0] [0]
e = [4] [5] [7] [7]
Nếu bây giờ ta đặt tốc độ học bằng 0, 1 ta có thể thấy mạng sẽ được điều
chỉnh mỗi khi đầu vào có tín hiệu:
net,inputWeights{1,1}.learnParam.Ir=0.1;
net.biases{1,1}.learnParam.Ir=0.1;
[net,a,e,pf] = adapt(net,P,T);
a = [0] [2] [6.0] [5.8]
e = [4] [3] [1.0] [1.2]
Dữ liệu ra thứ nhất tương tự như dữ liệu ra với tốc độ học bằng 0, do
không có sự cập nhật nào cho tới khi dữ liệu vào thứ nhất xuất hiện. Dữ liệu
ra thứ hai là khác do hàm trọng đã được cập nhật. Các hàm trọng liên tục
được sửa đổi theo mỗi sai lệch được tính toán. Nếu mạng có năng lực và tốc
độ huấn luyện chọn h

ợp lý thì các sai lệch sẽ dần tiến tới zêro.
Simpo PDF Merge and Split Unregistered Version -

94
b/ Huấn luyện gia tăng đối với mạng động
Đối với mạng động, ta cũng có thể huấn luyện gia tăng (đây là kiểu huấn
luyện chung nhất). Xét mạng tuyến tính với một trễ ở đầu vào mà ta đã đề
cập ở phần trước. Ta cho giá trị ban đầu của hàm trọng bằng 0 và đặt tốc độ
học là 0,1.
net = newlin([-l 1],1,[0 1], 0.1);
net.IW{1, 1} = [0 0];
net.biasconnect = 0;
Để huấn luyện gia tăng mạng này, ta biểu diễn dữ liệu vào và dữ liệu
đích như là các phần tử của mảng.
Pi = {l};
P = {2 3 4};
T = {3 5 7};
Ở đây ta thử huấn luyện mạng thực hiện phép cộng dữ liệu vào hiện thời
và dữ liệu vào trước để tạo ra dữ liệu ra hiện thời. Điều này giống như sự nối
tiếp dữ liệu vào ta đã sử dụng ở ví dụ trước của sự sử dụng hàm
Sim, Chỉ có
điều chúng ta gán giới hạn đầu tiên trong sự nối tiếp như điều kiện ban đầu
cho sự trì hoãn. Bây giờ ta có thể sử dụng hàm
Addapt để huấn luyện mạng:
[net,a,e,pf] = adapt(net,P,T,Pi);
a = [0] [2.4] [7.98]
e = [3] [2.6] [-0.98]
Dữ liệu ra đầu tiên bằng 0 do hàm trọng chưa được cập nhật. Hàm trọng
sẽ thay đổi tại mỗi bước thời gian kế tiếp.
3.5.2 Huấn luyện mạng theo gói

Huấn luyện theo gói trong đó các hàm trọng và độ dốc chỉ được cập nhật
sau khi tất cả các dữ liệu vào và đích đã được đưa tới, có thể được áp dụng
cho cả mạng tĩnh và mạng động. Trong mục này, chúng ta sẽ thảo luận kỹ cả
hai loại mạng này.
a/ Huấn luyện theo gói đối với mạng tĩnh
Simpo PDF Merge and Split Unregistered Version -

95
Để huấn luyện theo gói, ta có thể sử dụng hàm adapt hoặc hàm train,
song nói chung trai là tuỳ chọn tốt nhất, vì nó đặc trưng cho sự truy nhập có
hiệu quả hơn của giải thuật huấn luyện. Như vậy, sự huấn luyện gia tăng chỉ
có thể làm việc với hàm adapt, còn hàm train chỉ có thể thực hiện để huấn
luyện theo gói. Trước hết ta hãy bắt đầu huấn luyện theo gói đối v
ới mạng
tĩnh đã đề cập trong ví dụ trước, tốc độ hoạc đặt bằng 0,1.
net = newlin([-1 1;-1 1],1,0,0.1);
net.IW{1,1} = [0 0];
net.b{1} = 0;
Để huấn luyện theo gói mạng tĩnh các véc tơ dữ liệu vào cần được đặt
trong ma trận của các véc tơ đồng thời.
P = [1 2 2 3; 2 1 3 1];
T = [4 5 7 71;
Khi ta gọi lệnh Adapt, nó sẽ kéo theo trains (là các hàm thích nghi mặc
định của mạng tuyến tính) và learnwh (là các hàm huấn luyện mặc định của
hàm trọng và độ dốc).
[net,a,e,pf] = Adapt(net,P,T);
a = 0 0 0 0
e - 4 5 7 7.
Chú ý rằng tất cả các đầu ra của mạng đều bằng zero, bởi lẽ các hàm
trọng chưa được cập nhật cho tới khi tất cả tập hợp huấn luyện được đưa tới.

Nếu hiển thị trên màn hình ta thấy:
»net.IW{1,l}
ans = 4.9000 4.1000
»net.b{1}
ans =
2.3000.
Đây là sự khác nhau về kết quả ta nhận được sau một lần thực hiện hàm
Adapt với sự cập nhật gia tăng. Bây giờ chúng ta hãy thực hiện việc huấn
luyện theo gói sử dụng hàm
train. Do luật Widrow-Hoff có thể sử dụng cho
kiểu gia tăng và kiểu gói, nó có thể được gọi bằng
Adapt hoặc train. Có một
vài thuật toán huấn luyện chỉ có thể sử dụng trong kiểu gói (ví dụ Levenberg-
Marquardt) và do đó các thuật toán này chỉ có thể gọi bằng lệnh
train. Mạng
Simpo PDF Merge and Split Unregistered Version -

96
sẽ được cài đặt bằng cách tương tự.
net = newlin([-1 1;-1 1],0,0.1);
net.
IW{1,1} = [0 0];
net.b{1} = 0;
Trong trường hợp này véc tơ dữ liệu vào có thể đặt dưới dạng ma trận của
các véc tơ đồng thời (concurrent vectors) hoặc dưới dạng mảng của các véc tơ
liên tiếp. Trong
Train, mảng của các véc tơ liên tiếp bất kỳ được chuyển đổi
thành ma trận của các véc tơ đồng thời. Đó là do mạng là tĩnh và do lệnh
train luôn luôn hoạt động theo kiểu gói.
P = [1 2 2 3; 2 1 3 1];

T = [4 5 7 7];
Bây giờ ta sẵn sàng để huấn luyện mạng. Ta sẽ huấn luyện nó chỉ trong
một kỳ vì ta chỉ sử dụng một lần hàm
Adapt. Hàm huấn luyện mặc định cho
mạng tuyến tính là
train và hàm huấn luyện mặc định cho hàm trọng và độ
dốc là learnwh, vì vậy ta có thể nhận được các kết quả tương tự kết quả sử
dụng
Adapt trong ví dụ trước, khi ta sử dụng hàm thích nghi mặc định là
trains.
net.inputWeights{1,1}.learnParam.Ir = 0,1;
net.biases{l}.learnParam.Ir = 0,1;
net.trainparam.epochs : 1;
net = train(net,P,T);
Nếu cho hiển thị hàm trọng sau một kỳ huấn luyện ta thấy:
»net.IW{1,1}
ans = 4.9000 4.1000
»net.b{1}
ans =
2.3000.
Kết quả này tương tự với kết quả huấn luyện theo gói sử dụng Adapt. Đối
với mạng tĩnh, hàm
Adapt có thể thực hiện sự huấn luyện gia tăng hoặc theo
gói tuỳ thuộc vào khuôn dạng dữ liệu vào. Nếu dữ liệu được đưa tới mạng
dưới dạng ma trận của các véc tơ đồng thời thì huấn luyện theo gói sẽ xảy ra.
Nếu dữ liệu được đưa tới dưới dạng chuỗi thì huấn luyện gia tăng sẽ xảy ra.
Điều này không đúng vơ
i hàm train, nó luôn luôn huấn luyện theo gói mà
không phụ thuộc vào khuôn dạng của dữ liệu vào.
Simpo PDF Merge and Split Unregistered Version -

97
b/ Huấn luyện theo gói đối với mạng động
Huấn luyện mạng tĩnh học tương đối dễ hiểu. Nếu ta sử dụng thun để
huấn luyện mạng theo gói và dữ liệu vào được chuyển đổi thành véc tơ đồng
thời (các cột của ma trận) cho dù khuôn dạng trước đây của chúng là chuỗi.
Nếu ta sử dụng
Adapt thì khuôn dạng dữ liệu vào quyết định phương pháp
huấn luyện. Nếu khuôn dạng dữ liệu vào là chuỗi thì mạng được huấn luyện
kiểu gia tăng, nếu khuôn dạng dữ liệu vào là véc tơ đồng thời thì mạng được
huấn luyện kiểu gói.
Đối với mạng động, kiểu huấn luyện theo gói chỉ được thực hiện với hàm
train. Để minh hoạ điều này ta lại xét mạng tuyến tính có trễ. Ta sử dụng tốc
độ học là 0,02 để huấn luyện. Khi sử dụng giải thuật giảm độ dốc ta chọn tốc
độ học cho kiểu huấn luyện gói nhỏ hơn kiểu huấn luyện gia tăng.
Ví dụ:
net = newlin([-1 1],1,[0 1],0.02);
net.IW{1,1}=[0 0];
net.biasConnect 0;
net.trainparam.epochs = 1;
Pi = {1};
P = {2 3 4};
T = {3 5 6};
Ta muốn huấn luyện mạng với chuỗi tương tự như đã sử dụng cho sự
huấn luyện gia tăng trước đây thế nhưng thời điểm cần thiết để cập nhật các
hàm trọng chỉ xảy ra sau khi tất cả dữ liệu vào được áp dụng (kiểu gói). Mạng
được coi như tuần tự vì đầu vào là tuần tự, song các hàm trọng được cập nh
ật
theo kiểu gói.
net=train(net,P,T,Pi);

»net.IW{1,1}
ans = 0.9000 0.6200.
Kết quả này khác với kết quả ta đã thu được bằng huấn luyện gia tăng, ở
đó các hàm trọng được cập nhật 3 lần trong thời gian một tập huấn luyện. Đối
với huấn luyện theo gói các hàm trọng chỉ được cập nhật một lần trong một
khóa huấn luyện.
Simpo PDF Merge and Split Unregistered Version -

98
Chương 4
MẠNG PERCEPTRONS
4.1. MỞ ĐẨU
Chương này với mục tiêu đầu tiên là: Giới thiệu về các luật học, các
phương pháp để diễn giải những sự thay đổi tiếp theo mà nó có thể được làm
trong một mạng, vì sự huấn luyện là một thủ tục mà nhờ đó mạng được điều
chỉnh để làm một công việc đặc biệt. Tiếp theo đó ta tìm hiểu về các hàm
công cụ để thiết lập mạng Perceptron
đơn giản đồng thời chúng ta cũng khảo
sát các hàm để khởi tạo và mô phỏng các mạng tương tự. Ta sử dụng mạng
Perceptron như là một phương tiện biểu lộ của các khái niệm cơ bản.
Rosenblatt đã thiết lập nhiều biến thể của mạng perceptron. Một trong các
dạng đơn giản nhất là mạng lớp đơn mà hàm trọng và độ dốc của nó có thể
được huấ
n luyện để đưa ra một véc tơ đích chính xác khi có véc tơ vào tương
ứng được gửi tới. Kỹ thuật huấn luyện được gọi là luật học perceptron.
Perceptron làm phát sinh nhiều cơ hội quan trọng cho khả năng khái quát hoá
từ các véc tơ huấn luyện chúng và sự học từ điều kiện đầu phân bổ các mối
quan hệ một cách ngẫu nhiên. Perceptron đặc biệt phù hợp cho những vấn đề
đơ
n giản trong phân loại sản phẩm. Chung là những mạng nhanh và tin cậy

cho những vấn đề chúng có thể giải quyết. Hơn nữa, sự thông hiểu hoạt động
của Perceptron sẽ tạo cơ sở cho sự hiểu biết các mạng phức tạp hơn. Trong
chương này, ta sẽ định nghĩa luật học, giải thích mạng Perceptron và luật học
của nó, làm thế nào để khởi tạo và mô phỏng mạng Perceptron. Các v
ấn đề
nêu ra ở đây chỉ là những vấn đề tóm lược cơ bản, để hiểu sâu hơn ta cần đọc
trong [10].
4.1.1. Mô hình nơron perceptron
Một nơron Perceptron sử dụng hàm chuyển hardlim được chỉ ra trên hình
4.1
.
Mỗi đầu p
i
có hàm trọng với trọng liên kết w
lj
và tổng các đầu vào kể cả
độ dốc b là n =
∑
+ b wl
j
được gửi đển hàm chuyển bước nhảy (hard-limit)
(Hình 4.1b). Đầu ra của nơron perceptron có giá trị 1 nếu n lớn hơn hoặc bằng
0 và có giá trị bằng 0 nếu n nhỏ hơn không:
Simpo PDF Merge and Split Unregistered Version -

99

Hình 4.1a,b. Nơron với R đầu vào
a) Mô hình nơron, b) Hàm chuyển bước nhảy
Với hàm chuyển

hard-limit cho phép Perceptron có khả năng phân loại
véc tơ vào bằng cách phân chia không gian vào thành 2 vùng, phân cách với
nhau bằng đường biên giới L ứng với phương trình:
W.p + b = 0.
Ví dụ: Xét của nơron Perceptron có 2 đầu vào với các hàm trọng w
1,1
= -1,
w
1,2
= 1 và độ gốc b = 1. Ta có:
n =
W.p + b = w
1.1
p
1
+ w
1,2
.p
2
+ b
= -p
l
+ p
2
+ 1.
Đường biên giới L được chỉ ra trên hình 4. 1
. Đường này vuông góc với
ma trận trọng W và di chuyển dọc theo độ dốc b.
Các véc tơ vào ở phía trên và bên trái đường L có giá trị đầu vào mạng
lớn hơn 0, vì vậy, nơron

hard-limit đưa ra 1. Đường biên giới có thể chuyển
hướng và di chuyển đển bất cứ chỗ nào để phân loại không gian vào mong
muốn bằng cách lựa chọn hàm trọng và giá trị độ dốc. Nơron
hard-limit
không có độ dốc sẽ luôn có đường biên giới đi qua gốc toạ độ. Cộng thểm độ
dốc sẽ cho phép nơron giải quyết bài toán ở đó 2 tập véc tơ vào không nằm
trên 2 cạnh khác nhau của gốc toạ độ. Độ dốc cho phép đường biên giới thay
đổi rời xa khỏi gốc như trên hình 4.2. Ta có thể thay đổi hướng của đường
phân cách, chọn các đầu vào mới để phân loại và quan sát quá trình lặp của
các luật học.
Simpo PDF Merge and Split Unregistered Version -

100

Hình 4.2. Sự phân loại của nơron Perceptron 2 đầu vào
4.1.2. Kiến trúc mạng perceptron
Hình 4.3a,b biểu diễn cấu trúc của mạng Perceptron bao hàm một lớp với
S nơron Perceptron nối với R đầu vào thông qua tập các hàm trọng
I
ij
W .
Luật học của perceptron được miêu tả ngắn gọn là khả năng huấn luyện
chỉ của lớp đơn. Do vậy, ta chỉ coi là mạng một lớp, và nó chỉ có khả năng
giải quyết được những bài toán đơn giản. Những hạn chế của Perceptron sẽ
được đề cập đển phần cuối của chương.

Hình 4.3a,b. Kiến trúc một lớp mạng Perceptron
a) Kiến trúc đầy đủ, b) Ký hiệu tắt
4.2. THIẾT LẬP VÀ MÔ PHỎNG PERCEPTRON TRONG MATLAB
4.2.1 Thiết lập

Để thiết lập mạng perceptron ta dùng hàm newp với cú pháp:
Simpo PDF Merge and Split Unregistered Version -

101
newp net = newp(PR,S)
trong đó PR là min và max của các giá trị của R phần tử vào, S là số nơron.
Hàm chuyển mặc định của perceptron là hardlim.
Ví dụ: để thiết lập một mạng perceptron với một phần tử, một lớp, giới
hạn véc tơ vào từ 0 - 2 ta dùng lệnh:
net = newp([0 2],1);
Ta có thể thấy mạng đã được thiết lập thế nào bằng cách thực hiện chuỗi
lệnh:
inputweights = net.inputweights{1,1}.
Kết quả cho ra
inputweights =
delays: 0
initFcn: 'initzero'
learn: 1
learnFcn: 'learnp'
learnParam: [ ]
size: 11 11
userdata: [IXI structl
weightFcn: 'dotprod'.
Hàm học mặc định là cho mạng Perceptron là hàm learnp (sẽ được đề
cập ở phần sau). Tích số của véc tơ vào với ma trận trong liên kết cộng với độ
dốc được đưa đển hàm chuyển hardlim. Hàm khởi tạo mặc định
initzero được
sử dụng để thiết lập giá trị ban đầu của trọng liên kết (thiết lập giá trị ban đầu
bằng zero). Mô phỏng mạng ta được:
biases = net.biases{1}

gives biases =
initFcn: 'initzero'
learn: 1
learnFcn: 'learnp'
learnparam: [ ]
size: 1
userdata: [1x1 struct]
Simpo PDF Merge and Split Unregistered Version -

102
Ta cũng thấy rằng giá trị mặc định ban đầu của độ dốc là 0.
4.2.2. Mô phỏng (sim)
Để thấy sự làm việc của sim, ta xét ví dụ cần tạo ra một Perceptron một
lớp có 2 đầu vào (hình 4.4). Ta định nghĩa một mạng với:
net = newp([-2 2;-2 +2],1);
Như đã biết ở trên, hàm trọng
và độ dốc ban đầu lấy giá trị mặc
định bằng 0, vì vậy nếu ta muốn
một tập khác 0, ta cần phải thiết lập
chúng. Ví dụ để thiết lập 2 hàm
trọng và một độ dốc là: w
1,1
= -1,
w
1,2
= 1 và b = 1 ta thực hiện 2 dòng
lệnh:
net.IW{1,1}= [-1 1];
net.b{1} = [1];
Để đảm bảo chắc chắn rằng các tham số được thiết lập là chính xác, ta

kiểu tra chúng với lệnh:
net.IW{1,1}
ans -
-1 1
net.b{1}
ans =
Bây giờ ta thấy nếu mạng đưa ra 2 tín hiệu, một trong mỗi cạnh của
đường biên giới perceptron.
P1 = [1;1];
a1 = sim(net,p1)
a1 =
1
and for p2 = [1;-1]
a2 = sim(net,p2)
a2 =
0
Simpo PDF Merge and Split Unregistered Version -

103
Như vậy perceptron đã phân loại 2 đầu vào một cách chính xác.
Chú ý: Ta cũng có thể đưa đển 2 đầu vào một chuỗi dữ liệu, khi đó ở đầu
ra ông nhận được một chuỗi dữ liệu. Ví dụ:
p3 = {[1;1] [1;-1]};
a3 = sim(net,p3)
a3 =
[1] [0]
4.2.3. Khởi tạo
Ta có thể sử dụng hàm init để thiết lập lại (reset) hàm trọng và độ dốc về
giá rị ban đầu. Để làm điều đó, chúng ta hãy bắt đầu với mạng:
net = newp(1-2 2;-2 +2],1);

Để kiểm tra hàm trọng của nó, ta dùng lệnh:
wts = net.IW{1,1}
Kết quả ta được:
wts =
0 0
Tương tự, ta có thể kiểm tra độ dốc b = 0
bias = net.b{1}
Kết quả:
hias =
0
Bây giờ ta thiết lập hàm trọng có giá trị 3 và 4, độ dốc bằng 5
net.IW{1,1} = [3,4];
net.b{1} = 5;
Kiểm tra lại kết quả
wts =
3 4
bias =
Sử dụng init để reset the hàm trọng và độ dốc về giá trị ban đầu
net - init(net);
Simpo PDF Merge and Split Unregistered Version -

104
Kiểm tra
wts -
0 0
bias =
0
Ta có thể thay đổi cách thức của perceptron được khởi tạo với init. Ví dụ,
ta ó thể định nghĩa lại các hàm trọng đầu vào mạng và độ dốc
intFcn như sự

ngẫu nhiên và sau đó áp dụng inh như chỉ ra như sau:
net.inputweights{1,1}.initFcn = 'rands';
net.biases{1}.initFcn = 'rands';
net = init(net);
Kiểm tra hàm trọng và độ dốc
wts =
0 2309 0.5839
biases =
-0.1106
Ta thấy rằng hàm trọng và độ dốc được lấy các số ngẫu nhiên.
4.3. CÁC LUẬT HỌC
4.3.1. Khái niệm
Luật học là một thủ tục nhằm sửa đổi hàm trọng và độ dốc của mạng (thủ
tục này cũng có thế coi như một thuật toán huấn luyện). Luật học được áp
dụng để huấn luyện mạng thực hiện một vài nhiệm vụ cụ thể nào đó. Các luật
học trong mạng được phân thành 2 loại: học có giám sát và học không có
giám sát.
+
Đối với học có giám sát các luật học được cung cấp cùng với một tập
các ví dụ (tập huấn luyện) đặc trưng của mạng:
{P
1
,t
1
}; {p
2
,t
2
} ;{p
Q

,t
Q
}
Trong đó P
Q
là đầu vào mạng vả từ đầu ra đáp ứng chính xác tương ứng
(đích). Giống như các đầu vào áp dụng cho mạng, ở các đầu ra mạng được so
sánh với đích. Luật học được sử dụng để điều chỉnh hàm trọng và độ dốc của
mạng nhằm dịch chuyển dần các đầu ra mạng tiến dần đển đích.
+
Đối với học không giám sát, hàm trọng và độ dốc của mạng được thay
Simpo PDF Merge and Split Unregistered Version -

105
đổi tương ứng giá trị ở đầu vào mà không có sẵn đích ở đầu ra. Phần lớn các
thuật toán này biểu diễn thành một tập bó. Người ta chia mẫu vào thành con
số cụ thể của hạng (loại). Điều này đặc biệt hữu ích trong các ứng dụng cụ thể
như một véc tơ lượng tử hoá. Trong chương này ta chỉ đề cập đển các thuật
toán huấn luyện mạ
ng perceptron theo kiểu học có giám sát. Trong Matlab
người ta sử dụng 2 hàm để huấn luyện mạng là hàm
learnp và hàm train.
4.3.2. Luật học Perceptron (learnp)
Perceptron được huấn luyện theo mẫu mong muốn cho trước. Mẫu mong
muốn có thể tập hợp thành một tập các cặp đầu vào, đầu ra:
P
1
, t
1
; p

2
, t
2
; ; p
Q
, t
Q

trong đó: p là đầu vào mạng, t là đáp ứng tương ứng ở đầu ra. Mục đích là
giảm sai lệch e giữa đáp ứng của nơron và hàm mục tiêu
t (e = t - a). Luật học
perceptron (leranp) tính trước sự thay đổi mong muốn đối với hàm trọng và
độ dốc gửi tới véc tơ vào p và kết hợp với sai lệch e. Do véc tơ đích t chỉ có
thể có giá trị 0 hoặc 1, đối với nơron perceptron (với các hàm truyền dạng
hardlim) đầu ra chỉ có thể có 1 trong 2 giá trị. Mỗi lần lệnh
learnp được thực
hiện, mạng sẽ có một giá trị kết quả đầu ra chính xác hơn. Luật học
perceptron sẽ hội tụ đển kết quả cuối cùng sau một số hữu hạn các lần lặp nếu
như có tồn tại đáp án. Nếu không sử dụng độ dốc, learnp làm việc để tìm đáp
án bằng việc thay đổi véc tơ trọng liên kết W để chỉ rõ véc tơ
đầu vào thuộc
lớp 1 hay lớp 0. Kết quả này dùng để quyết định đường biên giới là đường
trực giao với W và nó phân loại chính xác véc tơ vào.
Trong quá trình huấn luyện mạng có thể xảy ra 3 trường hợp mỗi khi véc
tơ đầu vào (
p) xuất hiện và đáp ứng mạng (a) được tính toán:
+ Trường hợp 1: nếu véc tơ đầu vào xuất hiện và đáp ứng đầu ra của nó là
đúng (
a = t, và e = t - a = 0) thì véc tơ hàm trọng W không thay đổi.
+ Trường hợp 2: nếu đầu ra của nơron bằng 0 còn trước đó bằng 1 (

a = 0;
t = 1 và e = t - a = 1) véc tơ đầu vào P làm tăng véc tơ hàm trọng W. Điều
này làm cho véc tơ trọng tiến gần tới véc tơ vào, dần dần khả năng véc tơ vào
sẽ được phân loại a = 1 trong tương lai.
+ Trường hợp 3: nếu đầu ra của nơron bằng 1 trước đó có thể là 0 (
a = 1;
t = 0 và e = t - a = -l) véc tơ vào P được trừ đi véc tơ hàm trọng W. Điều đó
làm cho véc tơ trọng ngày càng xa véc tơ vào, dần dần véc tơ vào được phân
loại a = 0 trong tương lai.
Luật học perceptron có thể được viết cô đọng trong mối quan hệ của sai
lệch e = t - a và sự thay đổi của véc tơ trọng Δ
W như sau:
Trường hợp 1: Nếu
e = 0 thì sự thay đổi giá trị của ΔW bằng 0.
Simpo PDF Merge and Split Unregistered Version -

106
Trường hợp 2: Nếu
e = 1 thì sự thay đổi giá trị của ΔW bằng 0.
Trường hợp 3: Nếu
e = -1 thì sự thay đổi giá trị của ΔW bằng 0 cả 3
trường hợp trên có thể viết dưới dạng biểu thức đơn giản:
ΔW = (t - a)p
T
= ep
T
.
Ta có thể nhận được biểu thức để thay đổi độ dốc của nơron với chú ý
rằng, độ dốc chỉ đơn giản là hàm trọng có đầu vào là 1:
Δb = (t - a).(1) = e.

Đối với trường hợp của một lớp nơron ta có:
ΔW = (t - a)PT = ep
T
và
Δb = (t - a).(1) = e.
Luật học perceptron có thể tóm tắt như sau:
W
mới
= W
cũ
+ eP
T
và
b
mới
=b
cũ
+ e Trongđó e = t-a.
Ví dụ: xét nơron đơn giản có véc tơ vào với 2 phần tử
net = newp([-2 2;-2 +2],1);
Để đơn giản ta thiết lập độ dốc bằng 0, các hàm trọng là 1 và 0,8.
net.b{1} = [0];
w = [1 -0 8];
net.IW{1,1} = w;
Cặp vào đích được xác định bởi:
p = [t; 2];
t = [1];
Ta có thể tính toán đầu ra và sai lệch với các lệnh:
a = sim(net,p)
Kết quả: a = 0

e = t- a = 1
Và cuối cùng sử dụng hàm learnp để nhận được sự thay đổi hàm trọng.
dw - learnp(w, p, [ ], [ ], [ ], [ ], e, [ ], [ ], [ ])
dw : 1 2
Hàm trọng mới thu được là:
Simpo PDF Merge and Split Unregistered Version -

107
W = W + dW
W = 2.0000 1.2000
Quá trình tìm hàm trọng mới (và các độ dốc mới) có thể được lặp đi lặp
lại cho đển khi không còn sai lệch.
Chú ý: Luật học perceptron đảm bảo để hội tụ sau một số hữu hạn các
bước của tất cả các bài toán có thể được giải quyết bằng perceptron. Nó bao
hàm tất cả các bài toán phân loại “tách rời tuyến tính” (linearly separable).
Các đối tượng để phân loại trong mọi trường hợp đều có thể cách li bằ
ng
đường đơn.
4.3.3. Huấn luyện mạng (train)
Lệnh sim và hàm learnp được sử dụng lặp để đưa các dữ liều đầu vào
đển perceptron và để thay đổi hàm trọng và độ dốc của perceptron theo sai
lệch giữa đầu ra của mạng và đích, perceptron sẽ tìm được hàm trọng và độ
dốc cuối cùng để giải quyết bài toán đặt ra (với điều kiện bài toán đó
perceptron có thể giải quyết được) Mỗi đường ngang xuyên qua tất cả các đầu
vào huấn luyện và véc t
ơ đích được gọi bằng lệnh pass.
Hàm
train đưa ra như vòng lặp của sự tính toán. Trong mỗi một pass hàm
trình thu được thông qua chuỗi các tín hiệu vào, tính toán đầu ra, sai số và
điều chỉnh mạng để mỗi véc tơ tín hiệu vào trong chuỗi giống như các đầu

vào đã có.
Chú ý rằng huấn luyện trình không đảm bảo kết quả mạng làm được công
việc của nó. Giá trị mới của W và b cần được
kiểm tra bằng việc tính toán
đầu ra mạng theo mỗi véc tơ vào để thấy được nếu tất cả các đích đã đạt được.
Nếu mạng thực hiện không thành công, nó cần được huấn luyện thểm nữa
bằng cách gọi lại train với hàm trọng và độ dốc mới cho các lần huấn luyện
thểm, hoặc có thể phân tích để thấy rằng bài toán không phù họp cho
perceptron. (Các bài toán không thể giải được bằ
ng mạng perceptron được
trình bày trong mục cuối của chương này).
Để minh hoạ cho thủ tục huấn
luyện
train, ta xét một nơron
perceptron với véc tơ vào có 2
phần tử như hình vẽ. Đây là một
mạng rất đơn giản cho phép ta có
thể thực hiện tính toán bằng tay
(nếu cần).
Giả thiết ta sử dụng mạng trên
để giải quyết bài toán phân loại với
các cặp véc tơ đích như sau:
Simpo PDF Merge and Split Unregistered Version -

108


Sử dụng hàm trọng và độ dốc ban đầu. Ta biểu diễn các biến ở mỗi bước
tính bằng cách sử dựng con số trong dấu ngoặc đơn sau biến. Theo cách đó ta
có giá trị ban đầu là W(0) và b(0).

W(0) = [0 0]; b(0) = 0
Ta bắt đầu bằng việc tính đầu ra của perceptron a đối với đầu vào thứ nhất
là véc tơ p
1
, sử dụng điều kiện về hàm trọng và độ dốc,

Đầu ra a không bằng giá trị đích t
1
, vì vậy ta sử dụng luật perceptron để
tìm sự thay đổi của hàm trọng và độ dốc trên cơ sở của sai lệch.
e=t1 – a = 0 - 1 = - 1
ΔW = e P
1
T
= (-1)[2 2] - [- 2 - 2]
Δb = e = (-1) = -1.
Ta có thể tính hàm trọng và độ dốc mới nhờ sử dụng các quy tắc cập nhật
perceptron đã chỉ ra trước đây:
W
mới
= W
cũ
+ eP
T
= [0 0] + [-2 -2] = [-2 -2 ] = w(1)
b
mới
= b
cũ
+ e = 0 + (-1) = -1 = b(1).

Với véc tơ vào P
2
tiếp theo, đầu ra được tính:

Trong trường hợp này đích là 1 vì vậy sai lệch bằng 0. Do không có sự
thay đổi hàm trọng và độ dốc:
W(2) = W(1) = [-2 -2] và b(2) = b(1) = - 1.
Tương tự ta tiếp tục xem xét sự có mặt của P3' tính toán đầu ra, sai lệch
và tìm sự thay đồi của hàm trọng và độ dốc.
Sau khi thực hiện một lượt qua
cả 4 giá trị vào, ta nhận được:
W(4) = [-3 -1] và b(4) = 0.
Để kết thúc khi đã thu được đáp án thỏa đáng, ta cần phải làm một lượt
Simpo PDF Merge and Split Unregistered Version -