Nghiên cứu ứng dụng các phương pháp học máy tiên tiến trong công tác dự báo vận hành hồ Hòa Bình

I HC QUC GIA H NI
TRƯờNG ĐạI HọC CÔNG NGHệ






Phạm thị hoàng nhung





Nghiên cứu ứng dụng các ph-ơng pháp
học Máy tiên tiến trong công tác dự báo
vận hành hồ hoà bình






LUậN VĂN THạC Sĩ

H NI - 2007


I HC QUC GIA H NI
TRƯờNG ĐạI HọC CÔNG NGHệ








PHạm thị hoàng nhung


Nghiên cứu ứng dụng các ph-ơng pháp
học máy tiên tiến trong công tác dự báo
vận hành hồ hoà bình



Ngành: Công nghệ thông tin

Chuyên ngành: Hệ thống thông tin
Mã số: 60.48.05

luận văn thạc sỹ





Ng-ời h-ớng dẫn khoa học:
Gs.TS. hà quang thụy








H NI - 2007


4
M
M
ụ
ụ
c
c

l
l
ụ
ụ
c
c


Lời cảm ơn 3
Mục lục 4
Danh sách hình vẽ 7
Danh sách bảng biểu 9
MỞ ĐẦU 10
CHƢƠNG 1 - MẠNG NƠ-RON NHÂN TẠO TRUYỀN THẲNG NHIỀU
LỚP 13
1.1 Giới thiệu về mạng nơ-ron nhân tạo 13
1.1.1 Khái niệm cơ bản 13
1.1.2 Mô hình mạng nơ-ron nhân tạo 15
1.1.3 Khả năng ứng dụng của mạng nơ-ron nhân tạo 18
1.2 Mạng nơ-ron lan truyền thẳng nhiều lớp 19
1.2.1 Mạng perceptron một lớp 19
1.2.2 Mạng perceptron nhiều lớp 22
1.2.3 Một số vấn đề cần chú ý khi sử dụng mạng MLP 30
Kết luận chương 33
CHƢƠNG 2 - KẾT HỢP GIẢI THUẬT DI TRUYỀN VỚI GIẢI THUẬT
LAN TRUYỀN NGƢỢC SAI SỐ ĐỂ TỐI ƢU HOÁ TRỌNG SỐ MẠNG
NƠ-RON NHÂN TẠO 34
2.1 Giới thiệu giải thuật di truyền 34
2.1.1 Giới thiệu 34

2.1.2 Tư tưởng chính của giải thuật di truyền 35
2.1.3 Giải thuật di truyền đơn giản 37
2.2 Ứng dụng giải thuật di truyền vào bài toán tối ưu hoá trọng số của mạng
nơ-ron nhân tạo 41
2.2.1 Xây dựng hàm giá 41
2.2.2 Mã hoá nhiễm sắc thể 41
2.2.3 Lai ghép 43


5
2.2.4 Đột biến 44
2.2.5 Thử nghiệm 44
2.2.6 Giải thuật đề xuất 49
2.3 Kết hợp giải thuật di truyền với giải thuật lan truyền ngược sai số để tối
ưu hoá trọng số mạng nơ-ron nhân tạo 51
2.3.1 Đặt vấn đề 51
2.3.2 Kết hợp giải thuật di truyền và giải thuật lan truyền ngược sai số53
Kết luận chương 55
CHƢƠNG 3 - ỨNG DỤNG MẠNG NƠ RON NHÂN TẠO VÀO VIỆC DỰ
BÁO LƢU LƢỢNG NƢỚC ĐẾN HỒ HOÀ BÌNH 56
3.1 Điều kiện địa lý, tự nhiên, khí tượng thuỷ văn lưu vực sông Đà 56
3.1.1 Vị trí địa lý 56
3.1.2 Địa hình 57
3.1.3 Điều kiện địa chất 57
3.1.4 Điều kiện thổ nhưỡng 57
3.1.5 Đặc điểm khí hậu 57
3.1.6 Đặc điểm chế độ thuỷ văn 58
3.1.7 Thống kê dữ liệu thu thập được 62
3.2 Các phương pháp dự báo 63
3.2.1 Dựa trên mô hình vật lý 63

3.2.2 Dựa trên mô hình toán 65
3.2.3 Hướng tiếp cận mới 66
3.3 Một số chỉ tiêu đánh giá kết quả dự báo 66
3.4 Dự báo lưu lượng đến hồ Hoà Bình trước 10 ngày 67
3.4.1 Phần mềm xây dựng 67
3.4.2 Số liệu sử dụng 68
3.4.3 Các tham số 69
3.4.4 Các phương án dự báo 69
Kết luận chương 74
KẾT LUẬN 75


6
TÀI LIỆU THAM KHẢO 77
PHỤ LỤC 79
Phụ lục A - Giới thiệu về phần mềm dự báo 79
Phụ lục B - Mẫu học thử nghiệm so sánh các phương pháp lai ghép và đột
biến 84
Phụ lục C - Số liệu học và kiểm tra trong bài toán dự báo lưu lượng nước
đến hồ Hoà Bình 85


7
D
D
a
a
n
n
h

h


s
s
á
á
c
c
h
h


h
h
ì
ì
n
n
h
h


v
v
ẽ
ẽ

Hình 1.1 Cấu tạo của tế bào nơ-ron sinh học 14
Hình 1.2 Mô hình nơ-ron nhân tạo 14
Hình 1.3 Mạng nơ-ron nhân tạo chỉ có một nút và có sự phản hồi 16
Hình 1.4 Mạng nơ-ron truyền thẳng một lớp 16
Hình 1.5 Mạng nơ-ron truyền thẳng nhiều lớp 17
Hình 1.6 Mạng nơ-ron hồi quy một lớp 17
Hình 1.7 Sự khác nhau giữa hồi quy tuyến tính và mạng nơ-ron 19
Hình 1.8 Mạng perceptron một lớp 20
Hình 1.9 Thực hiện hàm XOR bằng mạng MLP 22
Hình 1.10 Lan truyền tín hiệu trong quá trình học theo phương pháp lan truyền
ngược sai số 23
Hình 1.11 Sai số E được xét là hàm của trọng số W 25
Hình 1.12 Minh họa về ý nghĩa của quán tính trong thực tế 30
Hình 1.13 Hàm sigmoid g(x) = 1/(1+e
-x
) 30
Hình 1.14 Nội suy hàm y = sin(x/3) + v, 0 x  20 sử dụng MLP 32
Hình 2.1 Sự sinh sản đơn giản phân bố các chuỗi con cháu nhờ sử dụng bánh xe
roulette với các khe hở tỷ lệ với độ thích nghi 38
Hình 2.2 Lưu đồ thuật toán của giải thuật di truyền đơn giản 40
Hình 2.3 Mã hoá nhị phân trọng số theo phương pháp GENITOR 42
Hình 2.4 Ví dụ về phương pháp mã hoá trọng số bằng số thực 43
Hình 2.5 Lai ghép nút (crossover-nodes) 44
Hình 2.6 Kết hợp giải thuật di truyền và giải thuật lan truyền ngược sai số 53
Hình 3.1. Bản đồ phân bố các trạm trên sông Đà (dấu chấm đỏ) 60
Hình 3.2 Mô hình dự báo dựa trên công nghệ học máy 66
Hình 3.3 Giao diện chính của phần mềm thử nghiệm 68
Hình 3.3 Kết quả dự báo với dữ liệu kiểm tra theo phương án 1 70
Hình 3.4 Kết quả dự báo với dữ liệu kiểm tra theo phương án 1 trên đồ thị scatter . 71

8
Hình 3.5 Kết quả dự báo với dữ liệu kiểm tra theo phương án 2 72
Hình 3.6 Kết quả dự báo với dữ liệu kiểm tra theo phương án 2 trên đồ thị scatter . 72
Hình 3.7 Kết quả dự báo với dữ liệu kiểm tra theo phương án 3 73
Hình 3.8 Kết quả dự báo với dữ liệu kiểm tra theo phương án 3 trên đồ thị scatter . 73


9
D
D
a
a
n
n
h
h


s
s
á
á
c
c
h
h


b

b
ả
ả
n
n
g
g


b
b
i
i
ể
ể
u
u



Bảng 2.1 Các chuỗi của bài toán mẫu và các giá trị thích nghi 38
Bảng 2.2 So sánh các phương pháp đột biến 45
Bảng 2.3 So sánh các phương pháp lai ghép 46
Bảng 2.4 Kết quả thử nghiệm so sánh GA và BP với ngưỡng sai số 0.05 48
Bảng 2.5 Kết quả thử nghiệm với giải thuật đề xuất 50
Bảng 2.6 Kết quả thử nghiệm so sánh GA‟ và BP với ngưỡng sai số 0.0005 51
Bảng 2.7 So sánh khả năng hội tụ của mạng khi sử dụng hai phương pháp học GA‟ và
BP với sai số dừng lặp khác nhau 52
Bảng 2.8 Kết quả thử nghiệm giải thuật kết hợp GA‟ và BP với ngưỡng sai sô 0.0005
54

Bảng 3.1 Thống kê số liệu mưa thu thập được 62
Bảng 3.2 Thống kê số liệu lưu lượng thu thập được 63


10
M
M
Ở
Ở


Đ
Đ
Ầ
Ầ
U
U



Dự báo thuỷ văn là công việc dự báo trước một cách có khoa học về trạng thái
biến đổi các yếu tố thuỷ văn trong tương lai. Đây là một ngành khoa học có nhiệm vụ
báo trước sự xuất hiện các yếu tố thủy văn trên cơ sở nghiên cứu các quy luật của
chúng. Hiện nay có rất nhiều bài toán dự báo thuỷ văn được đặt ra như dự báo dòng
chảy, dự báo mực nước, dự báo lưu lượng nước trên sông, dự báo lũ, và dự báo các
hiện tượng khác trên sông ngòi và hồ [3].
Tùy vào quan điểm phân chia mà tồn tại một số phân loại dự báo thủy văn.
Chẳng hạn, theo yêu cầu phục vụ thì có các loại dự báo như dự báo cho nông nghiệp,
dự báo cho giao thông, dự báo cho chống lũ lụt; còn theo đối tượng dự báo thì có các
loại dự báo mực nước, dự báo lưu lượng, dự báo bùn cát… Tuy nhiên, phân loại dự

báo theo thời gian là một phân loại điển hình với các loại dự báo là ngắn hạn, trung
hạn, dài hạn và siêu dài hạn. Dự báo ngắn hạn với khoảng thời gian dự báo từ một đến
ba ngày. Dự báo trung hạn với khoảng thời gian dự báo dài hơn dự báo ngắn hạn
nhưng tối đa không quá mười ngày. Dự báo dài hạn có khoảng thời gian dự báo từ hơn
mười ngày đến một năm. Khi thời gian dự báo lớn hơn một năm đó là dự báo siêu dài
hạn.
Thuỷ văn là một quá trình tự nhiên phức tạp, chịu tác động của rất nhiều yếu tố.
Tính biến động của các yếu tố này phụ thuộc vào cả không gian và thời gian nên gây
khó khăn rất lớn cho quá trình dự báo, tìm ra được mối liên quan giữa các yếu tố.
Thêm vào đó, do thiếu các trạm quan trắc cần thiết và thiếu sự kết hợp giữa các ngành
liên quan cho nên dữ liệu quan trắc thực tế thường là không đầy đủ, không mang tính
chất đại diện.
Yêu cầu chung mà tất cả các bài toán dự bảo thủy văn cần phải giải quyết là làm
cách nào để có thể phân tích và sử dụng chuỗi dữ liệu có trong quá khứ để dự đoán
được giá trị tương lai. Hiện nay, có rất nhiều phương pháp dự báo đã được đưa ra dựa
trên mô hình vật lý và mô hình toán học. Trong nhiều trường hợp, kết quả nghiên cứu
dự báo thủy văn theo các mô hình nói trên đã đạt được một số thành công đáng ghi
nhận [1]. Tuy nhiên, vấn đề tìm kiếm phương pháp đủ tốt, đáp ứng các yêu cầu thực tế
giải quyết bài toán dự báo thuỷ văn vẫn là nội dung nghiên cứu thời sự hiện nay. Ở
trong nước, tại Viện Khí tượng Thủy văn có hàng chục công trình nghiên cứu liên
quan tới dự báo thủy văn, đặc biệt có tới bốn đề tài cấp Nhà nước [3]. Trên thế giới,
việc áp dụng các phương pháp của khai phá dữ liệu (đặc biệt là các phương pháp học
máy sử dụng mạng nơ-ron nhân tạo và kết hợp với giải thuật di truyền) vào dự báo
thủy văn đã trở thành nội dung nghiên cứu dự báo thủy văn thời sự trong thời gian gần
đây [5-7,12-14, 19].


11
Khai phá dữ liệu là một trong những lĩnh vực nghiên cứu của khoa học máy tính
hiện nay đang được phát triển rất mạnh mẽ. Nó kết hợp giữa học máy, công nghệ cơ sở

dữ liệu và một số chuyên ngành khác để tìm ra những tri thức, bao gồm cả các thông
tin dự báo, từ những cơ sở dữ liệu lớn.
Luận văn này tập trung khảo sát một số phương pháp học máy tiên tiến, thực hiện
việc kết hợp giữa phương pháp học máy sử dụng mạng nơ-ron nhân tạo [5-7,9-20] với
giải thuật di truyền [4,8,21] và ứng dụng vào bài toán dự báo lưu lượng nước đến hồ
Hòa Bình. Luận văn tập trung khảo sát một số công trình nghiên cứu liên quan trên thế
giới [5-7, 12-14, 19]. Demetris F. Lekkas [12] cung cấp một khung nhìn phương pháp
luận về các phương pháp dự báo dòng chảy. Ibrahim Can cùng các đồng tác giả [5] và
Cristiane Medina Finzi Quintao cùng các đồng tác giả [19] công bố một số kết quả
nghiên cứu cập nhật về dự báo dòng chảy của một số dòng sông tại Thổ Nhĩ Kỳ và
Brazin. Đặc biệt, các công trình này đã cung cấp cách thức đánh giá kết quả thực
nghiệm các phương pháp dự báo thủy văn được đề cập. Các công trình nghiên cứu
khác về mạng nơ-ron nhân tạo, giải thuật di truyền và kết hợp chúng được luận văn sử
dụng để làm nền tảng khoa học cho các nghiên cứu phát triển. Luận văn đã hoàn thành
phần mềm thử nghiệm và tiến hành thực nghiệm trên bộ dữ liệu được thu thập tin cậy
thông qua hệ thống đo đạc thủy văn dọc sông Đà, nguồn nước chính chảy vào hồ Hòa
Bình. Đóng góp khoa học của luận văn là một báo cáo khoa học đã được trình bày tại
Hội thảo khoa học quốc gia Một số vấn đề chọn lọc về Công nghệ thông tin và Truyền
thông lần thứ X được tổ chức tại Đại Lải vào tháng 9/2007 với kết quả thực hiện cho
dự báo nước trước 10 ngày có chỉ số R
2
khá cao, lên tới 0.8737 [2]. Cải tiến do luận
văn đề xuất kết hợp đột biến BIASED với đột biến UNBIASED trong đó đột biến
BIASED sẽ đóng vai trò chủ đạo nhằm vượt ra khỏi cực trị địa phương (D. Montana
and L. Davis [16]) là có ý nghĩa. Các kết quả thực nghiệm cải tiến trên cho thấy mọi
tiêu chí đánh giá đều tốt lên, chỉ số R
2
nâng lên 0.8742 (so với 0.8737 [2]), sai số quân
phương là 72.28 m
3

/s (so với 76.10 m
3
/s [2]).
Nội dung chính của luận văn được tổ chức thành 3 chương có nội dung được
mô tả như dưới đây.
Chương I. Mạng nơ-ron nhân tạo truyền thẳng nhiều lớp. Chương này trình
bày những lý thuyết cơ bản về mạng nơ-ron nhân tạo, tập trung nghiên cứu mạng
truyền thẳng nhiều lớp. Chương này cung cấp một cách nhìn tổng quát nhất, và những
vấn đề về quá trình huấn luyện mạng và thuật toán học của mạng trong đó tập trung
chủ yếu vào thuật toán lan truyền ngược sai số.
Chương II. Kết hợp giải thuật di truyền với giải thuật lan truyền ngược sai số
để tối ưu hoá trọng số mạng nơ-ron nhân tạo. Chương này trình bày về lý thuyết
của giải thuật di truyền và khả năng ứng dụng của giải thuật này kết hợp với thuật toán


12
lan truyền ngược sai số nhằm đạt tới một kết quả tốt hơn đối với bài toán tối ưu trọng
số mạng nơ-ron nhân tạo.
Chương III. Ứng dụng mạng nơ ron nhân tạo vào việc dự báo lưu lượng nước
đến hồ Hoà Bình. Chương này giới thiệu sơ lược về bộ dữ liệu sử dụng, các phương
pháp đánh giá kết quả dự báo và tập trung vào thử nghiệm các phương pháp để dự báo
lưu lượng nước đến hồ Hoà Bình trước mười ngày, từ đó đánh giá được khả năng ứng
dụng các phương pháp học máy đã trình bày trong dự báo chuỗi thời gian, cụ thể là dự
báo lưu lượng.
Phần kết luận tổng kết những kết quả đã đạt được của luận văn và hướng phát
triển nghiên cứu tiếp theo. Phần phụ lục giới thiệu về phần mềm dự báo và hướng dẫn
cách thức cơ bản sử dụng phần mềm.
13

C

C
H
H
Ư
Ư
Ơ
Ơ
N
N
G
G


1
1


-
-


M
M
Ạ
Ạ
N
N
G
G

N
N
Ơ
Ơ
-
-
R
R
O
O
N
N


N
N
H
H
Â
Â
N
N


T
T
Ạ
Ạ
O

O


T
T
R
R
U
U
Y
Y
Ề
Ề
N
N


T
T
H
H
Ẳ
Ẳ
N
N
G
G


N

N
H
H
I
I
Ề
Ề
U
U


L
L
Ớ
Ớ
P
P



Mạng nơ-ron nhân tạo được coi là một công cụ mạnh để giải quyết các bài toán
có tính phi tuyến, phức tạp và đặc biệt trong các trường hợp mà mối quan hệ giữa
các quá trình không dễ thiết lập một cách tường minh. Có nhiều loại mạng nơ-ron
khác nhau trong đó mạng nơ-ron truyền thẳng nhiều lớp là một trong những mạng
nơ-ron thông dụng nhất. Đã có nhiều nghiên cứu sử dụng mạng nơ-ron truyền thẳng
nhiều lớp trong bài toán dự báo [5], [7], [10], [14] và đã chứng tỏ đây là hướng tiếp
cận rất hiệu quả. Trong chương này chúng ta sẽ tìm hiểu những kiến thức về mạng
nơ-ron nhân tạo, mạng nơ-ron truyền thẳng nhiều lớp và khả năng ứng dụng của
chúng trong bài toán dự báo.
1.1 Giới thiệu về mạng nơ-ron nhân tạo

1.1.1 Khái niệm cơ bản
Theo các nhà nghiên cứu sinh học về bộ não, hệ thống thần kinh của con người
bao gồm khoảng 100 tỷ tế bào thần kinh, thường gọi là các nơ-ron. Mỗi tế bào nơ-
ron gồm ba phần:
 Thân nơ-ron với nhân bên trong (gọi là soma), là nơi tiếp nhận hay phát ra các
xung động thần kinh.
 Một hệ thống dạng cây các dây thần kinh vào (gọi là dendrite) để đưa tín hiệu
tới nhân nơ-ron. Các dây thần kinh vào tạo thành một lưới dày đặc xung
quanh thân nơ-ron, chiếm diện tích khoảng 0,25 mm
2

 Đầu dây thần kinh ra (gọi là sợi trục axon) phân nhánh dạng hình cây, có thể
dài từ một cm đến hàng mét. Chúng nối với các dây thần kinh vào hoặc trực
tiếp với nhân tế bào của các nơ-ron khác thông qua các khớp nối (gọi là
synapse). Thông thường mỗi nơ-ron có thể có từ vài chục cho tới hàng trăm
ngàn khớp nối để nối với các nơ-ron khác. Có hai loại khớp nối, khớp nối
kích thích (excitatory) sẽ cho tín hiệu qua nó để tới nơ-ron còn khớp nối ức
chế (inhibitory) có tác dụng làm cản tín hiệu tới nơ-ron. Người ta ước tính
mỗi nơ-ron trong bộ não của con người có khoảng 10
4
khớp nối (hình 1.1)
Chức năng cơ bản của các tế bào nơ-ron là liên kết với nhau để tạo nên hệ thống
thần kinh điều khiển hoạt động của cơ thể sống. Các tế bào nơ-ron truyền tín hiệu
cho nhau thông qua các dây thần kinh vào và ra, các tín hiệu đó có dạng xung điện
và được tạo ra từ các quá trình phản ứng hoá học phức tạp. Tại nhân tế bào, khi điện


14
thế của tín hiệu vào đạt tới một ngưỡng nào đó thì nó sẽ tạo ra một xung điện dẫn tới
trục dây thần kinh ra. Xung này truyền theo trục ra tới các nhánh rẽ và tiếp tục

truyền tới các nơ-ron khác.

Hình 1.1 Cấu tạo của tế bào nơ-ron sinh học
Với mục đích tạo ra một mô hình tính toán phỏng theo cách làm việc của nơ-ron
trong bộ não con người, vào năm 1943, các tác giả McCulloch và Pitts [15] đã đề
xuất một mô hình toán cho một nơ-ron như sau:

Hình 1.2 Mô hình nơ-ron nhân tạo
Trong mô hình này, một nơ-ron sẽ nhận các tín hiệu vào x
i
với các trọng số
tương ứng là w
i
, tổng các thông tin vào có trọng số là
1
m
ij j
j
wx



Thông tin đầu ra ở thời điểm t+1 được tính từ các thông tin đầu vào như sau:
( 1) ( )
ij j i
out t g t
wx


  




(1.1)
Trong đó g là hàm kích hoạt (còn gọi là hàm chuyển) có dạng là hàm bước nhảy,
nó đóng vai trò biến đổi từ thông tin đầu vào thành tín hiệu đầu ra






i



x
1

x
2

x
m

w
1

w
i2

w
m

.
.
.

Nếu f > 0
Nếu f

0




0
1
)( fg

(1.2)


15
Như vậy, out = 1 (ứng với việc nơ-ron tạo tín đầu ra) khi tổng các tín hiệu vào
lớn hơn ngưỡng 
i
, còn out = 0 (nơ-ron không tạo tín hiệu ở đầu ra) khi tổng các tín
hiệu vào nhỏ hơn ngưỡng 
i

.
Trong mô hình nơ-ron của McCulloch và Pitts, các trọng số w
ij
thể hiện ảnh
hưởng của khớp nối trong liên kết giữa nơ-ron j (nơ-ron gửi tín hiệu) và nơ-ron i
(nơ-ron nhận tín hiệu). Trọng số w
ij
dương ứng với khớp nối kích thích, trọng số âm
ứng với khớp nối ức chế còn w
ij
bằng 0 khi không có liên kết giữa hai nơ-ron. Hàm
chuyển g ngoài dạng hàm bước nhảy còn có thể chọn nhiều dạng khác nhau và sẽ
được đề cập ở các phần sau.
Thông qua cách mô hình hoá đơn giản một nơ-ron sinh học như trên, McCulloch
và Pitts đã đưa ra một mô hình nơ-ron nhân tạo có tiềm năng tính toán quan trọng.
Nó có thể thực hiện các phép toán lô-gíc cơ bản như AND, OR và NOT khi các
trọng số và ngưỡng được chọn phù hợp. Sự liên kết giữa các nơ-ron nhân tạo với các
cách thức khác nhau sẽ tạo nên các loại mạng nơ-ron nhân tạo (Artificial Neural
Network - ANN) với những tính chất và khả năng làm việc khác nhau.
1.1.2 Mô hình mạng nơ-ron nhân tạo
Như đã được giới thiệu, mạng nơ-ron nhân tạo là một hệ thống xử lý thông tin
được xây dựng trên cơ sở tổng quát hoá mô hình toán học của nơ-ron sinh học và
phỏng theo cơ chế làm việc của bộ não con người. Mạng nơ-ron nhân tạo được thể
hiện thông qua ba thành phần cơ bản: mô hình của nơ-ron, cấu trúc và sự liên kết
giữa các nơ-ron, phương pháp học được áp dụng cho mạng nơ-ron.
a. Các phần tử xử lý
Việc xử lý thông tin tại mỗi nơ-ron có thể xem là gồm hai phần: xử lý tín hiệu
vào (input) và đưa tín hiệu ra (output). Tương ứng với phần vào của mỗi nơ-ron là
một hàm tương tác (interaction) f, hàm này kết hợp các thông tin truyền tới nơ-ron và
tạo thành thông tin đầu vào tổng hợp (gọi là net input) của nơ-ron đó .

Một nơ-ron thứ i trong mạng thường có hàm f
i
ở dạng tuyến tính như sau :
1
m
i i ij j i
j
f net w x


  

(1.3)
Thao tác thứ hai trong mỗi nơ-ron là tính giá trị đầu ra tương ứng với giá trị đầu
vào f thông qua hàm kích hoạt hay còn gọi là hàm chuyển g(f) (hàm kích hoạt). Một
số hàm chuyển thường được sử dụng:
 Hàm bước nhảy


16








00
01

)(
fkhi
fkhi
fg
(1.4)
 Hàm dấu








01
01
)sgn()(
fkhi
fkhi
ffg
(1.5)
 Hàm sigmoid
f
e
fg




1

1
)(
hoặc
1
1
2
)( 


 f
e
fg

(1.6)
b. Liên kết trong mạng nơ-ron nhân tạo
Mạng nơ-ron nhân tạo gồm các nơ-ron và liên kết có trọng số giữa chúng. ANN
tạo nên một hệ thống xử lý thông tin làm việc trên cơ sở phỏng theo cách làm việc
của hệ thống các nơ-ron trong bộ não con người. Tuy nhiên, trong bộ não của con
người, các tế bào nơ-ron liên kết với nhau chằng chịt và tạo nên một mạng lưới vô
cùng phức tạp.
Các loại mạng nơ-ron nhân tạo được xác định bởi cách liên kết giữa các nơ-ron,
trọng số của các liên kết đó và hàm chuyển tại mỗi nơ-ron. Các hình vẽ dưới đây thể
hiện các cách kết nối khác nhau.

Hình 1.3 Mạng nơ-ron nhân tạo chỉ có một nút và có sự phản hồi

Hình 1.4 Mạng nơ-ron truyền thẳng một lớp
(Single-layer feedforward network)

.
.
.
x
1


x
2


x
m


y
1


y
2


y
n

17
Mạng nơ-ron truyền thẳng một lớp là loại mạng chỉ có lớp nơ-ron đầu vào và
một lớp nơ-ron đầu ra (thực chất lớp nơ-ron đầu vào không có vai trò xử lý, do đó ta
nói mạng chỉ có một lớp). Loại mạng này còn được gọi là mạng perceptron một lớp.
Mỗi nơ-ron đầu ra có thể nhận tín hiệu từ các đầu vào x
1
, x
2
, …, x
m
để tạo ra tín hiệu
đầu ra tương ứng.

Hình 1.5 Mạng nơ-ron truyền thẳng nhiều lớp
(Multil-layer feedforward network).
Trong mạng nơ-ron truyền thẳng nhiều lớp, lớp nhận tín hiệu vào của mạng gọi
là lớp vào (input layer), nó thường không thực hiện việc chuyển đổi thông tin mà chỉ
làm chức năng nhận tín hiệu. Tín hiệu ra của mạng được đưa ra từ lớp ra (output
layer). Các lớp ở giữa lớp vào và lớp ra gọi là các lớp ẩn. Trong mạng truyền thẳng
(feedforward network) không có nút nào mà đầu ra của nó là đầu vào của một nút
khác trên cùng lớp với nó hoặc lớp trước.
Mạng có phản hồi (feedback network) là mạng mà đầu ra của một nơ-ron có thể
trở thành đầu vào của nơ-ron trên cùng một lớp hoặc của lớp trước đó. Mạng
feedback có chu trình khép khín gọi là mạng hồi quy (recurrent network)

Hình 1.6 Mạng nơ-ron hồi quy một lớp

.
.
.

x
1


x
2


x
m


y
1


y
2


y
n


x
1

x
2


x
m





.
.
.




.
.
.




.
.
.

.
.
.

y
1


y
2


y
n


Lớp vào

Các lớp ẩn

Lớp ra



18
c. Các luật học của mạng nơ-ron nhân tạo

Như đã được đề cập ở phần đầu luật học là một trong ba yếu tố quan trọng tạo
nên một mạng nơ-ron nhân tạo. Có hai vấn đề cần học đối với mỗi mạng nơ-ron
nhân tạo đó là học tham số (parameter learning) và học cấu trúc (structure learning).
Học tham số là việc thay đổi trọng số của các liên kết giữa các nơ-ron trong một
mạng, còn học cấu trúc là việc điều chỉnh cấu trúc của mạng bao gồm thay đổi số lớp
nơ-ron, số nơ-ron của mỗi lớp và cách liên kết giữa chúng. Hai vấn đề này có thể
được thực hiện đồng thời hoặc tách biệt.
Về mặt phương pháp học, có thể chia ra làm ba loại: học có giám sát hay còn gọi
là học có thầy (supervised learning), học tăng cường (reinforcement learning) và học
không có giám sát hay còn gọi là học không có thầy ( unsupperviced learning).
1.1.3 Khả năng ứng dụng của mạng nơ-ron nhân tạo
Đặc trưng của mạng nơ-ron nhân tạo là khả năng học và xử lý song song. Nó có
thể gần đúng mối quan hệ tương quan phức tạp giữa các yếu tố đầu vào và đầu ra của
các quá trình cần nghiên cứu và khi đã học được thì việc kiểm tra độc lập thường cho
kết quả tốt. Sau khi đã học xong, mạng nơ-ron nhân tạo có thể tính toán kết quả đầu
ra tương ứng với bộ số liệu đầu vào mới.
Về mặt cấu trúc, mạng nơ-ron nhân tạo là một hệ thống gồm nhiều phần tử xử lý
đơn giản cùng hoạt động song song. Tính năng này của ANN cho phép nó có thể
được áp dụng để giải các bài toán lớn.
Về khía cạnh toán học, theo định lý Kolmogorov, một hàm liên tục bất kỳ f(x
1
,
x
2
, , x
n
) xác định trên khoảng I
n
( với I =[0,1]) có thể được biểu diễn dưới dạng:

21
11
( ) ( ( ))
nn
j ij i
ji
f x x





(1.7)
trong đó : 
j
, 
ij
là các hàm liên tục một biến. 
ij
là hàm đơn điệu, không phụ thuộc
vào hàm f. Mặt khác, mô hình mạng nơ-ron nhân tạo cho phép liên kết có trọng số
các phần tử phi tuyến (các nơ-ron đơn lẻ) tạo nên dạng hàm tổng hợp từ các hàm
thành phần. Do vậy, sau một quá trình điều chỉnh sự liên kết cho phù hợp (quá trình
học), các phần tử phi tuyến đó sẽ tạo nên một hàm phi tuyến phức tạp có khả năng
xấp xỉ hàm biểu diễn quá trình cần nghiên cứu. Kết quả là đầu ra của nó sẽ tương tự
với kết quả đầu ra của tập dữ liệu dùng để luyện mạng. Khi đó ta nói mạng nơ-ron
nhân tạo đã học được mối quan hệ tương quan đầu vào - đầu ra của quá trình và lưu
lại mối quan hệ tương quan này thông qua bộ trọng số liên kết giữa các nơ-ron. Do
đó, mạng nơ-ron nhân tạo có thể tính toán trên bộ số liệu đầu vào mới để đưa ra kết
quả đầu ra tương ứng.

19

Hồi qui tuyến tính Xấp xỉ bằng mạng nơron
Y = a
1
X + a
2
Y=f(X, a
1
, …. , a
n
)


Hình 1.7 Sự khác nhau giữa hồi quy tuyến tính và mạng nơ-ron
Với những đặc điểm đó, mạng nơron nhân tạo đã được sử dụng để giải quyết
nhiều bài toán thuộc nhiều lĩnh vực của các ngành khác nhau. Các nhóm ứng dụng
mà mạng nơ-ron nhân tạo đã được áp dụng rất có hiệu quả là:
 Bài toán phân lớp: Loại bài toán này đòi hỏi giải quyết vấn đề phân loại các
đối tượng quan sát được thành các nhóm dựa trên các đặc điểm của các nhóm
đối tượng đó. Đây là dạng bài toán cơ sở của rất nhiều bài toán trong thực tế:
nhận dạng chữ viết, tiếng nói, phân loại gen, phân loại chất lượng sản
phẩm,…
 Bài toán dự báo: Mạng nơ-ron nhân tạo đã được ứng dụng thành công trong
việc xây dựng các mô hình dự báo sử dụng tập dữ liệu trong quá khứ để dự
đoán số liệu trong tương lai. Đây là nhóm bài toán khó và rất quan trọng trong
nhiều ngành khoa học.
 Bài toán điều khiển và tối ưu hoá: Nhờ khả năng học và xấp xỉ hàm mà

mạng nơ-ron nhân tạo đã được sử dụng trong nhiều hệ thống điều khiển tự
động cũng như góp phần giải quyết những bài toán tối ưu trong thực tế.
Tóm lại, mạng nơ-ron nhân tạo được xem như là một cách tiếp cận đầy tiềm
năng để giải quyết các bài toán có tính phi tuyến, phức tạp và đặc biệt là trong tình
huống mối quan hệ bản chất vật lý của quá trình cần nghiên cứu không dễ thiết lập
tường minh.
1.2 Mạng nơ-ron lan truyền thẳng nhiều lớp
1.2.1 Mạng perceptron một lớp
Mạng perceptron một lớp do F.Rosenblatt đề xuất năm 1960 [15] là mạng truyền
thẳng chỉ một lớp vào và một lớp ra không có lớp ẩn. Trên mỗi lớp này có thể có


20
một hoặc nhiều nơ-ron. Mô hình mạng nơ-ron của Rosenblatt sử dụng hàm ngưỡng
đóng vai trò là hàm chuyển. Do đó, tổng của các tín hiệu vào lớn hơn giá trị ngưỡng
thì giá trị đầu ra của nơ-ron sẽ là 1, còn trái lại sẽ là 0.

Ngay từ khi mạng Perceptron một lớp được đề xuất nó đã được sử dụng để giải
quyết bài toán phân lớp. Một đối tượng sẽ được nơ-ron i phân vào lớp A nếu
Tổng thông tin đầu vào :
ij j i
wx




Trong đó w
ij
là trọng số liên kết từ nơ-ron j tới nơ-ron i , x
j

là đầu vào từ nơ-ron
j, và

là ngưỡng của nơ-ron i. Trong trường hợp trái lại đối tượng sẽ được phân vào
lớp B.
Việc huấn luyện mạng dựa trên phương pháp học có giám sát với tập mẫu học là
{(x
(k)
, d
(k)
)}, k= 1,2, …, p .Trong đó d
(k)
= [d
1
(k)
, d
2
(k)
, …, d
n
(k)
]
T
là đầu ra quan sát
được tương ứng với đầu vào x
(k)
= [x
1
(k)
, x

2
(k)
, …, x
m
(k)
]
T
(với m là số đầu vào, n là
số đầu ra và p là cặp mẫu đầu vào - đầu ra dùng cho việc học). Như vậy chúng ta
mong rằng sau quá trình học, đầu ra tính toán được y
(k)
= [y
1
(k)
, y
2
(k)
, …, y
n
(k)
]
T
sẽ
bằng với đầu ra của mẫu học d
(k)

( ) ( ) ( ) ( )
1
( ) ( )
m

k T k k k
i i ij j i
j
y g w x g w x d

  

với i=1, 2, …, n ; k = 1,2 , …, p (1.8)
`
Hình 1.8 Mạng perceptron một lớp



.
.
.
x
1

x
2

x
m
=-1
y
1

y
2

y
n

w
11

w
12

w
1m

w
n1

w
n2

w
nm


e
1

d
1

Đầu ra tính toán

Đầu ra mong muốn

d
2

e
2

.
.
.

e
n

d
n

(w
1m
= 
1
, w
2m
= 
2
, w
nm
= 
n

)



Out
i
=
1 nếu net
i
 
0 nếu net
i
< 
với net
i
=

w
ij
x
j
là tổng thông tin
đầu vào của nơ-ron i


21
Để bắt đầu quá trình luyện mạng, các trọng số được gán giá trị ngẫu nhiên trong
khoảng [-3, 3]. Sau đó hiệu chỉnh các trọng số cho phù hợp với mẫu học để làm giảm
sai số giữa y
(k)

và d
(k)

Các bước tiến hành :
 Xác định ngẫu nhiên bộ trọng số.
 Với mỗi mẫu học (x
(k)
, d
(k)
) , k=1,2, …, p thực hiện các bước:
o Tính giá trị y
(k)
theo công thức
o Xác định sai số 
i
tại nơ-ron i:

i
= d
i
– y
i
, trong đó d
i
là giá trị đầu ra
quan sát được và y
i
là giá trị đầu ra tính toán tại nơ-ron thứ i
o Tính


w
ij
là số gia của trọng số w
ij
(trọng số liên kết giữa đầu vào j tới
nơ-ron i) theo công thức:

w
ij
=

i
x
j
trong đó  là tốc độ học (0<<1)
o Hiệu chỉnh w
ij
(t+1)
= w
ij
(t)
+

w
ij
=w
ij
(t)
+


i
(t)
x
j
(t)

trong đó w
ij
(t+1)
là
trọng số sau khi điều chỉnh ở lần học tại thời điểm t
Rosenblatt đã chứng minh rằng quá trình học của mạng Perceptron sẽ hội tụ tới
bộ trọng số W, biểu diễn đúng các mẫu học với điều kiện là các mẫu này biểu thị các
điểm rời rạc của một hàm khả tách tuyến tính nào đó (f: R
n
 R được gọi là khả
tách tuyến tính nếu các tập {F
-1
(x
k
)}, với x
k
thuộc miền trị của f, có thể tách được với
nhau bởi các siêu phẳng trong không gian R
n
).
Năm 1969, Minsky và Papert đã chứng minh một cách chặt chẽ rằng lớp hàm thể
hiện sự phụ thuộc giữa đầu vào và đầu ra có thể học bởi mạng Perceptron một lớp là
lớp hàm khả tách tuyến tính. Khả tách tuyến tính là trường hợp tồn tại một mặt siêu
phẳng để phân cách tất cả các đối tượng của một lớp này với một lớp khác, ví dụ một

mặt phẳng sẽ phân chia không gian ba chiều thành hai vùng riêng biệt. Mở rộng ra,
nếu có n đầu vào , n>2 thì công thức
1
n
ij j i
i
wx




tạo nên một siêu phẳng có n-1
chiều trong không gian n chiều, nó chia không gian đó thành hai nửa. Trong nhiều
bài toán thực tế đòi hỏi chia các vùng của các điểm trong một siêu không gian thành
các lớp riêng biệt. Loại bài toán này gọi là bài toán phân lớp. Bài toán phân lớp có
thể giải quyết bằng cách tìm các tham số thích hợp cho một siêu phẳng để nó có thể
chia không gian n chiều thành các vùng riêng biệt.
Với tính chất của như đã nêu trên, mạng perceptron một lớp có thể mô tả các
hàm logic như AND, OR và NOT. Tuy nhiên nó không thể hiện được hàm XOR.
Như vậy chứng tỏ mô hình perceptron một lớp không thể giải quyết bài toán này.
Vấn đề này sẽ được giải quyết bằng mô hình mạng nơ-ron perceptron nhiều lớp
(Multilayer Perceptron - MLP).


22
1.2.2 Mạng perceptron nhiều lớp
Mạng perceptron nhiều lớp (Multilayer Perceptron –MLP) còn được gọi là mạng
truyền thẳng nhiều lớp là sự mở rộng của mô hình mạng perceptron với sự bổ sung
thêm những lớp ẩn và các nơ-ron trong các lớp ẩn này có hàm chuyển (hàm kích
hoạt) dạng phi tuyến. Mạng MLP có một lớp ẩn là mạng nơ-ron nhân tạo được sử

dụng phổ biến nhất, nó có thể xấp xỉ các hàm liên tục được định nghĩa trên một miền
có giới hạn cũng như những hàm là tập hợp hữu hạn của các điểm rời rạc.
a. Giải quyết bài toán XOR với mạng MLP

Ta thấy có thể dùng hai đường thẳng để phân tách với trường hợp hàm XOR.
-0,5+x
1
+x
2
=0 và -1,5+x
1
+x
2
=0
Hay ta giải hệ bất phương trình



Dễ thấy mỗi bất phương trình ở trên có thể được thực hiện bằng một nơ-ron và
đầu ra của hai nơ-ron này (2 bất phương trình) là đầu vào của một hàm AND. Do
vậy có thể sử dụng mạng MLP sau để thực hiện chức năng của hàm XOR như sau:

Hình 1.9 Thực hiện hàm XOR bằng mạng MLP
b. Thuật toán học theo phương pháp lan truyền ngược sai số
Thuật toán học theo phương pháp lan truyền ngược sai số do Rumelhart và các
cộng sự đề xuất [20] là một trong số những kết quả nghiên cứu quan trọng nhất đối
1

1
X
1

X
2

-0,5
1,5
-1
1
-1
1
1
-1,5
1
Y=X
1
XOR X
2

X
1

X
2


-0,5+x
1

+x
2
> 0
-1,5+x
1
+x
2
< 0

-0,5 + x
1
+ x
2
> 0
1,5 - x
1
- x
2
> 0



23
với sự phát triển của mạng nơ-ron nhân tạo. Thuật toán này được áp dụng cho mạng
truyền thẳng nhiều lớp trong đó các nơ-ron có thể sử dụng các hàm chuyển là các
hàm liên tục có các dạng khác nhau.
Thuật toán sử dụng một tập các mẫu gồm các cặp đầu vào - đầu ra để luyện
mạng. Với mỗi cặp đầu vào - đầu ra (x
(k)
,d

(k)
) thuật toán lan truyền ngược sai số thực
hiện hai giai đoạn sau:
 Giai đoạn thứ nhất, mẫu đầu vào x
(k)
được truyền từ lớp vào tới lớp ra, và ta
có kết quả đầu ra tính toán được là y
(k)
.
 Giai đoạn tiếp theo, tín hiệu lỗi được tính toán từ sự khác nhau giữa đầu ra
quan sát được d
(k)
với đầu ra tính toán y
(k)
sẽ được lan truyền ngược lại từ lớp
ra đến các lớp trước để điều chỉnh các trọng số của mạng. Để làm ví dụ ta xét
mạng truyền thẳng có một lớp ẩn dưới đây, đối với các mạng có kích thước
lớn hơn thì thao tác cũng tương tự.
Mạng nơ-ron được xét có m nơ-ron ở lớp vào, l nơ-ron trong lớp ẩn và n nơ-ron
ở lớp ra. Đường kẻ liền thể hiện luồng tín hiệu được truyền từ đầu vào tới đầu ra còn
các đường kẻ nét đứt thể hiện luồng tín hiệu lỗi được truyền ngược trở lại từ đầu ra.

Hình 1.10 Lan truyền tín hiệu trong quá trình học theo phương pháp lan truyền
ngược sai số
Chúng ta xét một cặp đầu vào - đầu ra để luyện mạng (x,d), để đơn giản chúng ta
bỏ ký hiệu mũ k thể hiện số thứ tự của cặp mẫu này trong bộ mẫu dùng để luyện
mạng. Khi đưa vào đầu vào x, nơ-ron thứ q trong lớp ẩn sẽ nhận tín hiệu vào của
mạng là:

.
.
.

.
.
.




.
.
.

.
.
.




.
.
.

.
.
.

x
1

x
j

x
m

y
1

y
i

y
n

Lớp vào
Lớp ẩn
Lớp ra
v
qj

w
iq

z
q

(q=1,…, l)
z
q



24




m
j
jqjq
xvnet
1
(1.9)
nơ-ron q ở lớp ẩn sẽ tính toán và tạo kết quả ở đầu ra của nó là:




m
j
jqjqq
xvgnetgz
1
)()(
(1.10)
Do đó tín hiệu vào của nơ-ron thứ i trên lớp ra sẽ là:

1 1 1
()
l l m
i iq q iq qj j
q q j
net w z w g v x
  

  
(1.11)
Và cuối cùng, đầu ra của nơ-ron i trên lớp ra sẽ là:

1 1 1
( ) ( ) ( ( ))
l l m
i i iq q iq qj j
q q j
y g net g w z g w g v x
  
  
  
(1.12)
Công thức trên cho biết quá trình lan truyền tín hiệu từ đầu vào qua lớp ẩn tới
đầu ra. Tiếp theo chúng ta xét tín hiệu lỗi được lan truyền ngược lại từ lớp ra. Trước
hết, đối với mỗi cặp giá trị vào – ra chúng ta xây dựng một hàm giá như sau:

 
2
2

2
1 1 1 1
1 1 1
( ) ( ) ( ) ( )
2 2 2
n n n l
i i i i i iq q
i i i q
E w d y d g net d g w z
   

     


   
(1.13)
Như vậy với một tập gồm p mẫu học, chúng ta lần lượt xây dựng được p hàm
giá như vậy. Việc học của mạng hay nhiệm vụ của giải thuật thực chất là tìm kiếm
tập trọng số W trong không gian R
M
(M là số trọng số có trong mạng) để lần lượt tối
thiểu hoá các hàm giá như vậy. Điều đáng chú ý là việc tối thiểu hoá được tiến hành
liên tiếp nhau và theo chu kỳ đối với các hàm giá.
Để tối thiểu hoá các hàm giá như vậy, giải thuật lan truyền ngược sai số sử dụng
phương pháp giảm gradient để điều chỉnh các trọng số liên kết giữa các nơ-ron. Bản
chất của phương pháp này là khi sai số E được vẽ như hàm của tham số gây ra sai số
sẽ phải có một cực tiểu tại bộ giá trị nào đó của tham số. Khi quan sát độ dốc của
đường cong, chúng ta quyết định phải thay đổi tham số thế nào để có thể tiến gần
đến cực tiểu cần tìm kiếm hơn. Trong hình vẽ dưới đây, giá trị của trọng số phải
giảm nếu đạo hàm d

E
/d
W
là dương


25

Hình 1.11 Sai số E được xét là hàm của trọng số W
Bằng biểu thức, chúng ta có thể biểu diễn phương pháp giảm gradient như sau:


w= w
(new)
– w
(old)
= -

.

E/

w (1.14)
Ở đây  là hằng số dương xác định tốc độ giảm giá trị của w, còn dấu âm chỉ
chiều giảm gradient.
Áp dụng phương pháp giảm gradient đối với các trọng số liên kết giữa các nơ-
ron trong lớp ẩn tới các nơ-ron của lớp ra ta có:

iq
iq

E
w
w


  

(1.15)
Do hàm sai số E là một hàm phức tạp và là hàm gián tiếp của trọng số w
iq
(công
thức 1.13). Sử dụng nguyên tắc tính đạo hàm của hàm gián tiếp cho
iq
E
w


ta có:
   
'( )
ii
iq i i i q oi q
i i iq
y net
E
w d y g net z z
y net w
  



   



     

   

  

   

(1.16)
Trong đó 
oi
là tín hiệu sai số và chỉ số oi có nghĩa là nút thứ i trong trên lớp ra.
Tín hiệu sai số được tính như sau:

   
'( )
i
oi i i i
i i i
y
EE
d y g net
net y net


     



    
     
  
     
(1.17)
Trong đó net
i
là tín hiệu vào của nơ-ron thứ i trên lớp ra và g’(net
i
) =

g(net
i
)/

net. Kết quả này tương tự luật học delta áp dụng cho mạng perceptron một
lớp với đầu vào bây giờ là đầu ra z
q
của lớp ẩn.
W
(new)

W
(old)

d
E
/d

w
= tan  >
0
tan 
< 0
E
W


26
Để điều chỉnh trọng số của các liên kết giữa lớp vào tới lớp ẩn ta cũng sử dụng
phương pháp giảm gradient và lấy đạo hàm theo các biến trung gian như đã áp ở
trên. Xét liên kết giữa nơ-ron thứ j ở lớp vào và nơ-ron thứ q trên lớp ra:

q q q
qj
qj q qj q q qj
net z net
E E E
v
v net v z net v
  
          
  
  
      
          
     
          
          

(1.18)
Từ công thức (1.13) mỗi thành phần lỗi [d
i
-y
i
] , i=1, 2,…, n, là hàm của z
q
do
vậy công thức trên có thể tiếp tục biến đổi:
   
 
1
''
n
qj i i i iq q j
i
v d y g net w g net x



  


(1.19)
Sử dụng công thức (1.13) chúng ta viết lại biểu thức (1.15) như sau:
 
1
'
n
qj oi iq q j hq j

i
v d w g net x x
 


  


(1.20)
Trong đó

hq
là tín hiệu lỗi của nơ-ron thứ q trong lớp ẩn và được định nghĩa như
sau:

 
1
'
n
q
hq q oi iq
i
q q q
z
EE
g net w
net z net




     


   
     
  
     
     

(1.21)
Với net
q
là tín hiệu vào của nơ-ron thứ q, như vậy tín hiệu lỗi của nơ-ron trên lớp
ẩn khác với tín hiệu lỗi của nơ-ron trên lớp ra (xem công thức 1.17 và 1.21). Vì sự
khác nhau này, thủ tục điều chỉnh trọng số được gọi là luật học delta mở rộng. Nhìn
lại công thức (1.21) tín hiệu lỗi

hq
của nơ-ron thứ q trong lớp ẩn được xác định từ
các tín hiệu lỗi

oi
, của các nơ-ron trên lớp ra.
Tổng quát đối với lớp bất kỳ, luật lan truyền ngược có dạng:
jinputioutputjiij
xxw
__


(1.22)

Trong đó “output_i ” là đầu ra của nơ-ron i và “ input_j ” là đầu vào của nơ-ron
j, 
i
là tín hiệu học được định nghĩa trong công thức (4.10)
Từ các phân tích trên, thuật toán lan truyền ngược sai số được xây dựng như
sau:
Xét một mạng nơ-ron truyền thẳng có Q lớp, q = 1, 2, …, Q, và gọi net
i
và y
i
là
tín hiệu vào và ra của nơ-ron thứ i trong lớp q. Mạng này có m đầu vào và n đầu ra.
Đặt
q
w
ij
là trọng số của liên kết từ nơ-ron thứ j trong lớp q-1 tới nơ-ron thứ i trong
lớp q.