Mạng nơ ron truyền thẳng và ứng dụng trong dự báo lũ lụt

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

1

ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

NGUYỄN XUÂN HÒA



MẠNG NƠ RON TRUYỀN THẲNG VÀ ỨNG
DỤNG TRONG DỰ BÁO LŨ LỤT

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH




Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

2

MỤC LỤC










ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

NGUYỄN XUÂN HÒA

MẠNG NƠ RON TRUYỀN THẲNG VÀ ỨNG
DỤNG TRONG DỰ BÁO LŨ LỤT
Chuyên Ngành: Khoa học máy tính
Mã số : 60.48.01


LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

NGƢỜI HƢỚNG DẪN KHOA HỌC
TS. Nguyễn Long Giang






Thái Nguyên - 2014

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

3
LỜI CẢM ƠN
LỜI CAM ĐOAN
MỤC LỤC 1
DANH SÁCH BẢNG 5
DANH SÁCH HÌNH VẼ 6
MỞ ĐẦU 7

Chƣơng 1. CÁC KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠRON 9
1.1. Lịch sử phát triển 9
1.2. Nơron sinh học và mạng nơron sinh học 10
1.3. Nơron nhân tạo 10
1.4. Mạng nơron nhân tạo 13
1.4.1. Khái niệm 13
1.4.2. Cấu trúc 13
1.4.3. Các đặc trƣng của mạng nơron 15
1.5. Thủ tục học của mạng nơron 15
1.5.1. Học tham số 15
1.5.2. Học cấu trúc 17
1.6. Một số ứng dụng của mạng nơron 17
Chƣơng 2. MẠNG NƠRON TRUYỀN THẲNG VÀ THUẬT TOÁN LAN TRUYỀN
NGƢỢC 19
2.1. Kiến trúc cơ bản của mạng nơron truyền thẳng 19
2.2. Khả năng thể hiện của mạng nơron truyền thẳng 20
2.3. Cơ chế học của mạng nơron truyền thẳng 21
2.4. Thuật toán lan truyền ngƣợc của sai số (Back-Propagation) 22
2.4.1. Mô tả thuật toán BP 22
2.4.2. Sử dụng thuật toán BP 27
2.4.3. Một số cải tiến của thuật toán BP 32
2.4.4. Nhận xét chung về thuật toán BP 37
2.5. Một số thuật toán tối ƣu khác 39
2.5.1. Thuật toán giả luyện kim (Simulated annealing) 39

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

4
2.5.2. Thuật giải di truyền 40
Chƣơng 3. ỨNG DỤNG MẠNG NƠRON TRUYỀN THẲNG TRONG DỰ BÁO DỮ LIỆU

42
3.1. Sơ lƣợc về ứng dụng mạng nơron trong dự báo dữ liệu 42
3.2. Thu thập, phân tích và xử lý dữ liệu 42
3.2.1. Kiểu của các biến 43
3.2.2. Thu thập dữ liệu 44
3.2.3. Phân tích dữ liệu 45
3.2.4. Xử lý dữ liệu 45
3.2.5. Tổng hợp 47
3.3. Chƣơng trình dự báo dữ liệu 48
3.3.1. Các bƣớc chính trong quá trình thiết kế và xây dựng 48
3.3.2. Ứng dụng mạng nơron truyền thẳng nhiều lớp trong dự báo đỉnh lũ sông Trà
Khúc trạm Sơn Giang 53
3.3.3. Chƣơng trình dự báo dữ liệu 56
3.4. Một số nhận xét 60
KẾT LUẬN 62
TÀI LIỆU THAM KHẢO 64
PHỤ LỤC 66


Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

5
DANH SÁCH BẢNG

Bảng 2.1. Thuật toán lan truyền ngƣợc của sai số (Thuật toán BP) 27
Bảng 2.2. Các hàm kích hoạt 29


Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

6
DANH SÁCH HÌNH VẼ
Hình 1.1. Đơn vị xử lý thứ j 11
Hình 1.2. Hàm tuyến tính (Identity Function) 12
Hình 1.3. Hàm bƣớc nhị phân (Binary Step Function) 12
Hình 1.4. Hàm Sigmoid 13
Hình 1.5 Mạng nơron truyền thẳng nhiều lớp (Feed-Forward Neural Network) 14
Hình 1.6. Mạng hồi quy (Recurrent Neural Network) 14
Hình 1.7. Sơ đồ học có thầy 16
Hình 2.1. Mạng nơron truyền thẳng 2 lớp 19

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

7
MỞ ĐẦU
Dự báo dữ liệu là một trong những bài toán quan trọng trong khai phá dữ liệu
và học máy nhằm tìm ra các quy luật của dữ liệu. Dự báo dữ liệu mang lại nhiều lợi
ích thiết thực phụ vụ con ngƣời, nó giúp con ngƣời nắm bắt đƣợc các quy luật vận
động trong tự nhiên và trong đời sống kinh tế xã hội. Nguyên lý của dự báo dữ liệu
là dựa vào dữ liệu lịch sử để xây dựng mô hình nhằm dự báo các dữ liệu trong
tƣơng lai. Có rất nhiều các phƣơng pháp dự báo dữ liệu khác nhau tùy thuộc vào
từng đặc thù của các bài toán cụ thể và các nhiệm vụ khai phá dữ liệu, điển hình là
các phƣơng pháp thống kê và học máy, hệ chuyên gia, hệ hỗ trợ quyết định Ngày
nay, các kho dữ liệu ngày càng lớn, ngày càng phức tạp và đa dạng. Để xây dựng
các mô hình dự báo hiệu quả trên những dữ liệu khổng lồ và phức tạp này, các nhà
khoa học đã và đang nỗ lực nghiên cứu các phƣơng pháp mô phỏng tƣ duy của bộ
óc của con ngƣời nhằm xây dựng các mô hình dự báo hiệu quả nhất, đặc biệt là các
phƣơng pháp “học có thầy”, trong đó mạng nơron nhân tạo là công cụ điển hình.
Mạng nơ ron nhân tạo là một lớp các mô hình tính toán mô phỏng hoạt động
bộ não con ngƣời. Các mô hình đó đều sử dụng một cấu trúc mạng trong đó các

đỉnh đƣợc gọi là các nơ ron. Các nơ ron này xử lý tín hiệu số từ môi trƣờng bên
ngoài hoặc các nơ ron khác trong mạng gửi tới qua các kết nối và sau đó gửi tín
hiệu đến các nơ ron khác hoặc ra môi trƣờng. Mạng nơron truyền thẳng là một lớp
các mạng nơron nhân tạo đƣợc thực tiễn chứng minh là khá mạnh và hiệu quả trong
các bài toán dự báo, phân tích dữ liệu. Chúng có thể đƣợc huấn luyện và ánh xạ từ
các dữ liệu vào tới các dữ liệu ra mà không yêu cầu các dữ liệu đó phải đầy đủ.
Trong số các loại mạng tƣơng đối phổ biến thì các mạng nơron truyền thẳng nhiều
lớp, đƣợc huấn luyện bằng thuật toán lan truyền ngƣợc đƣợc sử dụng nhiều nhất.
Các mạng nơron này có khả năng biểu diễn các ánh xạ phi tuyến giữa đầu vào và
đầu ra, chúng đƣợc coi nhƣ là các “bộ xấp xỉ đa năng”. Việc ứng dụng của loại
mạng này chủ yếu là cho việc phân tích, dự báo, phân loại các số liệu thực tế. Đặc
biệt đối với việc dự báo khuynh hƣớng thay đổi của các dữ liệu tác nghiệp trong các
cơ quan, tổ chức kinh tế, xã hội, Nếu có thể dự báo đƣợc khuynh hƣớng thay đổi
của dữ liệu với một độ tin cậy nhất định, các nhà lãnh đạo có thể đƣa ra đƣợc các
quyết sách đúng đắn cho cơ quan, tổ chức của mình.
Luận văn này đƣợc thực hiện với mục đích tìm hiểu và làm sáng tỏ một số
khía cạnh về mạng nơron truyền thẳng nhiều lớp, thuật toán lan truyền ngƣợc và
ứng dụng chúng để xây dựng mô hình dự báo dữ liệu và thử nghiệm mô hình với
bài toán dự báo đỉnh lũ sông Trà Khúc tại trạm khí tƣợng Sơn Giang.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

8
Đối tượng nghiên cứu của luận văn là các tập (bảng) dữ liệu mẫu của lĩnh vực
dự báo lũ lụt, bao gồm tập dữ liệu huấn luyện (training), tập dữ liệu kiểm tra (test)
và tập dữ liệu xác nhận (validation). Mỗi bảng dữ liệu bao gồm các giá trị thuộc
tính đầu vào (thuộc tính điều kiện) và giá trị thuộc tính mong muốn (thuộc tính
quyết định)
Phạm vi nghiên cứu lý thuyết là mạng nơron truyền thẳng ba lớp, phạm vi
nghiên cứu thực nghiệm là xây dựng chƣơng trình dự báo đỉnh lũ sông Trà Khúc tại

trạm khí tƣợng Sơn Giang bằng cách áp dụng mô hình mạng nơron truyền thẳng ba
lớp.
Phương pháp nghiên cứu của luận văn là nghiên cứu lý thuyết và nghiên cứu
thực nghiệm. Về nghiên cứu lý thuyết: luận văn thực hiện tổng hợp các khái niệm
và các kết quả nghiên cứu về mạng nơron truyền thẳng nhiều lớp và các vấn đề liên
quan đến thuật toán lan truyền ngƣợc. Về nghiên cứu thực nghiệm: luận văn thực
hiện xây dựng mô hình dự báo sử dụng mạng nơron truyền thẳng và thử nghiệm mô
hình với bài toán cụ thể nhằm sáng tỏ các vấn đề về lý thuyết.
Bố cục của luận văn gồm phần mở đầu và ba chƣơng nội dung, phần kết luận
và danh mục các tài liệu tham khảo.
Chƣơng 1 trình bày các khái niệm cơ bản về mạng nơron nhân tạo. Chƣơng 2
trình bày mô hình mạng nơron truyền thẳng nhiều lớp và thuật toán lan truyền ngƣợc
của sai số (Back-Propagation), gọi tắt là thuật toán BP. Chƣơng 3 trình bày các vấn
đề về mô hình mạng nơron dự báo và xây dựng chƣơng trình dự báo đỉnh lũ sông
Trà Khúc tại trạm khí tƣợng Sơn Giang. Cuối cùng, phần kết luận nêu những đóng
góp của luận văn, hƣớng phát triển tiếp theo.


Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

9
Chƣơng 1. CÁC KHÁI NIỆM CƠ BẢN VỀ MẠNG NƠRON
1.1. Lịch sử phát triển
Dƣới đây đƣa ra các mốc đáng chú ý trong lịch sử phát triển của mạng nơron
nhân tạo.
Cuối thế kỷ 19, sự phát triển chủ yếu là những công việc có sự tham gia
của cả ba ngành: Vật lý học, Tâm lý học, Thần kinh học bởi các nhà khoa
học nhƣ: Hermann von Hemholtz, Ernst Mach, Ivan Pavlov. Các công
trình nghiên cứu này chủ yếu đi sâu vào các lý thuyết tổng quát về Học
(Learning), Nhìn (vision) và Điều kiện (conditioning) và không đƣa ra

những mô hình toán học cụ thể nào để mô tả hoạt động của các Nơron.
Bắt đầu vào những năm 1940 với công trình của Warrem McCulloch và
Walter Pitts. Họ chỉ ra rằng về nguyên tắc, mạng của các nơron nhân tạo
có thể tính toán bất kỳ một hàm số học hay logic nào.
Tiếp theo là Donald Hebb, ông đã phát biểu rằng việc thuyết phản xạ cổ
điển (classical conditioning) là hiện thực bởi vì do các thuộc tính của từng
nơron riêng biệt. Ông cũng nêu ra một phƣơng pháp học của các nơron
nhân tạo.
Ứng dụng thực nghiệm đầu tiên của các nơron nhân tạo có đƣợc vào cuối
những năm 50 cùng với phát minh của mạng perceptron và luật học tƣơng
ứng bởi Frank Rosenblatt. Mạng này có khả năng nhận dạng các mẫu.
Điều này đã mở ra rất nhiều hy vọng cho việc nghiên cứu mạng nơron.
Tuy nhiên nó chỉ có thể giải quyết một số lớp hữu hạn các bài toán.
Cùng thời gian đó, Bernard Widrow và Ted Hoff đƣa ra một thuật toán
học mới và sử dụng nó để dạy cho các mạng nơron tuyến tính thích nghi,
mạng có cấu trúc và chức năng tƣơng tự nhƣ mạng của Rosenblatt. Luật
học Widrow-Hoff vẫn còn đƣợc sử dụng cho đến nay.
Tuy nhiên cả Rosenblatt và Widrow-Hoff đều cùng vấp phải một vấn đề
do Marvin Minsky và Seymour Papert phát hiện ra. Họ cố gắng cải tiến
luật học và mạng để có thể vƣợt qua đƣợc hạn chế này nhƣng họ đã không
thành công trong việc cải tiến luật học để có thể dạy đƣợc các mạng có
cấu trúc phức tạp hơn.
Do những kết quả của Minsky-Papert nên việc nghiên cứu về mạng nơron

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

10
gần nhƣ bị đình lại trong suốt một thập kỷ do nguyên nhân là không có
đƣợc các máy tính đủ mạnh để có thể thực nghiệm.
Mặc dù vậy, cũng có một vài phát kiến quan trọng vào những năm 70.

Năm 1972, Teuvo Kohonen và James Anderson độc lập cùng phát triển
một loại mạng mới có thể hoạt động nhƣ một bộ nhớ. Stephen Grossberg
cũng rất tích cực trong việc khảo sát các mạng tự tổ chức (Self_organizing
networks).
Vào những năm 80, việc nghiên cứu mạng nơron phát triển rất mạnh mẽ cùng
với sự ra đời của PC. Hai khái niệm mới có liên quan đến sự hồi sinh này đó là:
1) Việc sử dụng các phƣơng pháp thống kê để giải thích hoạt động của một
lớp các mạng hồi quy (recurrent networks) có thể đƣợc dùng nhƣ bộ nhớ
liên hợp (associative memory) trong công trình của nhà vật lý học Johh
Hopfield.
2) Sự ra đời của thuật toán lan truyền ngƣợc (back-propagation) để luyện các
mạng nhiều lớp đƣợc tìm ra bởi một vài nhà nghiên cứu một cách độc lập
nhƣ: David Rumelhart, James McCelland, Đó cũng là câu trả lời cho
Minsky-Papert.
1.2. Nơron sinh học và mạng nơron sinh học
Hệ thần kinh ở ngƣời có khoảng 10
10
tế bào thần kinh đƣợc gọi là các nơron.
Mỗi nơron gồm có ba phần: thân nơron với nhân ở bên trong, một đầu thần kinh ra
và một hệ thống hình cây các đầu thần kinh vào. Độ lớn của các tín hiệu vào có thể
bị thay đổi khi đƣợc truyền qua các khớp thần kinh có trên các nhánh thần kinh vào.
Tỷ lệ biến đổi tín hiệu ở khớp thần kinh đƣợc gọi là độ khuyếch đại khớp và đƣợc
gọi là các trọng số trong các nơron. Theo các nghiên cứu về sinh học, chức năng
của hệ thần kinh không phụ thuộc nhiều vào vai trò của từng nơron đơn lẻ mà phụ
thuộc vào cách mà toàn bộ các nơ ron đƣợc nối với nhau, gọi là mạng nơron sinh
học.
1.3. Nơron nhân tạo
Nơ ron nhân tạo là mô hình toán học mô phỏng nơron sinh học. Mỗi nơron
nhân tạo đƣợc gọi là một đơn vị xử lý với chức năng: nhận tín hiệu vào từ các đơn vị
phía trƣớc (hay một nguồn bên ngoài), tính tín hiệu ra từ các tín hiệu vào và lan

truyền tín hiệu ra sang các đơn vị khác[4].

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

11
Σ g(a
j
)
x
0
x
1
x
n
w
j0
w
jn
a
j
z
j
j
n
i
ijij xwa
1
)( jj agz
j

θ
j
w
j1

Hình 1.1. Đơn vị xử lý thứ j
Mỗi tín hiệu đầu vào nơron thứ j đƣợc ký hiệu là x
i
với trọng số tƣơng ứng là
w
ji
. Đại lƣợng đo tín hiệu tổng cộng đi vào nơron thứ j, ký hiệu là a
j
, đƣợc xác định
một cách đơn giản nhƣ sau :
a
j
là hàm của các tín hiệu x
i
và các trọng số w
ji
, gọi là Hàm kết hợp
Hàm kết hợp là tổng các tích của tín hiệu x
i
và trọng số tƣơng ứng w
j
:
j
n
i

ijij xwa
1

Trong đó là một tham số đƣợc gọi là ngƣỡng của nơ ron. Nếu w
ji
>0, nơ ron
đƣợc coi là ở trong trạng thái kích thích. Nếu w
ji
< 0, nơ ron ở trạng thái kiềm chế.
Quá trình biến đổi giá trị a
j
thành tín hiệu đầu ra z
j
đƣợc thực hiện bởi hàm
kích hoạt (hàm chuyển) phi tuyến z
j
= g(a
j
). Hàm kích hoạt phải thoả mãn các điều
kiện sau:
Tín hiệu đầu ra z
j
là không âm với bất kể giá trị nào của a
j

g là hàm liên tục và bị chặn trong khoảng [0,1].
Những hàm thỏa mãn điều kiện trên còn đƣợc gọi là các hàm nén theo nghĩa
chúng nén tín hiệu đầu ra vào một khoảng nhỏ. Có khá nhiều hàm thoả mãn các
điều kiện trên, song trong thực tế chỉ có một số hàm thƣờng đƣợc sử dụng trong các
mạng nơ ron nhƣ sau [4].

1) Hàm tuyến tính (Linear) :
xxg )(

Nếu coi các đầu vào là một đơn vị thì chúng sẽ sử dụng hàm này. Đôi khi một
hằng số đƣợc nhân với net-input để tạo ra một hàm tuyến tính.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

12
g(x)
-1
0
1
-1 0 1
x

Hình 1.2. Hàm tuyến tính (Identity Function)
2) Hàm ranh giới cứng (Hard-Limiter) : Hàm này chỉ có hai giá trị là 0 và 1,
ngoài ra hàm còn có một giá trị ngƣỡng . Tín hiệu đầu ra phụ thuộc tổng
tín hiệu đầu vào và giá trị ngƣỡng.
) if(
) if(

0
1
)(
x
x
xg

Vì hàm này rất thuận tiện khi đƣa câu trả lời có hay không nên nó thƣờng
xuyên đƣợc sử dụng cho các tín hiệu ra cuối cùng của mạng. Dạng hàm này đƣợc sử
dụng trong các mạng chỉ có một lớp.
g(x)
0
1
-1 0 1 2 3
x

Hình 1.3. Hàm bước nhị phân (Binary Step Function)
3) Hàm sigmoid (Sigmoid function (logsig))
x
e
xg
1
1
)(

Hàm này đặc biệt thuận lợi khi sử dụng cho các mạng đƣợc huấn luyện bằng
thuật toán BP, bởi vì nó dễ lấy đạo hàm, do đó có thể giảm đáng kể tính toán trong
quá trình huấn luyện. Mặt khác, hàm này đƣợc ứng dụng cho các bài toán mà đầu ra
mong muốn rơi vào khoảng [0,1].

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

13
g(x)
0
1
-6 -4 -2 0 2 4 6

x

Hình 1.4. Hàm Sigmoid
1.4. Mạng nơron nhân tạo
1.4.1. Khái niệm
Mạng nơ ron nhân tạo là hệ thống bao gồm nhiều nơ ron nhân tạo kết hợp với
nhau. Hệ thống này có khả năng học số liệu và tổng quát hóa từ các số liệu đƣợc
học.
1.4.2. Cấu trúc
Mạng nơ ron nhân tạo đƣợc biểu diễn bằng một đồ thị gồm một tập các nút và
các cung có hƣớng, mỗi nút tƣơng ứng với một nơ ron, các cung biểu diễn các liên
kết giữa các nơ ron. Cấu trúc mạng nơ ron gồm cơ cấu tổ chức và sơ đồ kết nối.
Cơ cấu tổ chức thƣờng đƣợc xác định bởi số lớp mạng và số nơ ron trong mỗi
lớp:
Lớp vào: Các nơron trong lớp vào gọi là các nơron vào, chúng không xử lý
thông tin mà chỉ mã hóa mẫu đƣa vào mạng để xử lý. Thông thƣờng, số
thuộc tính của mẫu đƣa vào mạng bằng số nơron vào, chính là số đầu vào
của mạng.
Lớp ẩn: Các nơron trong lớp này gọi là các nơron ẩn vì chúng không thể
quan sát trực tiếp đƣợc. Mạng có thể có một hay nhiều lớp ẩn. Chúng cung
cấp các mô hình toán học phi tuyến cho mạng.
Lớp ra: Các nơron ở lớp này gọi là các nơron ra, các nơron này mã hoá giá
trị hay khái niệm của các mẫu đƣa vào mạng. Ví dụ, trong bài toán phân
lớp, mỗi đầu ra là đại diện cho một lớp các đối tƣợng.
Sơ đồ kết nối xác định bởi phƣơng thức kết nối giữa các nơ ron trong mạng [4]:

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

14
Mạng truyền thẳng: Luồng dữ liệu đi từ các nơ ron vào đến các nơ ron ra

chỉ đƣợc truyền thẳng. Không có các liên kết từ các nơ ron ra tới các nơ
ron vào trong cùng một lớp hay của các lớp trƣớc đó.


x
1
x
2
h
2
x
l
h
1
h
m
y
1
y
2
y
n
…
…
…
x
0
h
0
Líp vµo

Líp Èn
Líp ra
bias
bias
)
1
(
ji
w
)
2
(
kj
w

Hình 1.5 Mạng nơron truyền thẳng nhiều lớp (Feed-Forward Neural Network)
Mạng hồi quy: Có chứa các liên kết ngƣợc, nghĩa là các liên kết từ nơ ron
lớp ra tới nơ ron lớp vào trong cùng một lớp hoặc các lớp trƣớc đó.


x
0
x
1
h
1
x
l
h
0

y
0
y
1
y
n
…
…
…
x
0
x
1
h
1
x
l
h
0
h
m
y
0
y
1
y
n
…
…
…

Líp vµo
Líp Èn
Líp ra

Hình 1.6. Mạng hồi quy (Recurrent Neural Network)
Các thông số cấu trúc của mạng nơ ron nhân tạo:
Sơ đồ kết nối (mạng truyền thẳng hay hồi quy)
Số tìn hiệu vào và số tín hiệu ra
Số lớp mạng
Số nơ ron trên mỗi lớp
Số lƣợng các trọng số của mỗi lớp

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

15
1.4.3. Các đặc trƣng của mạng nơron
Mạng nơron, đôi khi đƣợc xem nhƣ là các mô hình liên kết (connectionist
models), là các mô hình phân bố song song (parallel-distributed models) có các đặc
trƣng phân biệt sau:
Tập các đơn vị xử lý;
Trạng thái kích hoạt hay là đầu ra của đơn vị xử lý;
Liên kết giữa các đơn vị. Xét tổng quát, mỗi liên kết đƣợc định nghĩa bởi
một trọng số w
jk
cho ta biết hiệu ứng mà tín hiệu của đơn vị j có trên đơn
vị k;
Một luật lan truyền quyết định cách tính tín hiệu ra của từng đơn vị từ đầu
vào của nó;
Một hàm kích hoạt, hay hàm chuyển (activation function-transfer function),
xác định mức độ kích hoạt khác dựa trên mức độ kích hoạt hiện tại;

Một đơn vị điều chỉnh (độ lệch) (bias, offset) của mỗi đơn vị;
Phƣơng pháp thu thập thông tin (luật học - learning rule);
Môi trƣờng hệ thống có thể hoạt động.
1.5. Thủ tục học của mạng nơron
Thành phần quan trọng nhất và không thể thiếu của các mạng nơ ron là các
thủ tục học (thuật toán huấn luyện mạng). Có thể chia các thủ tục này thành hai
nhóm chính là học tham số và học cấu trúc. Cả hai thủ tục học này có thể đƣợc thực
hiện đồng thời hoặc tách biệt. Các thủ tục học tham số lại có thể đƣợc chia thành ba
lớp nhỏ hơn là học có thầy, học tăng cường và học không có thầy [4].
1.5.1. Học tham số
Với một cấu trúc mạng cho trƣớc, các trọng số của mạng (gọi là các tham số
của mạng) phải đƣợc xác định trƣớc khi sử dụng mạng để thực thi một nhiệm vụ cụ
thể. Ngoại trừ trƣờng hợp các mạng nơ ron một lớp Hopfield (các trọng số đƣợc
tính toán một cách giải tích), thông thƣờng, các trọng số của mạng đƣợc khởi tạo
ngẫu nhiên trong một khoảng nhất định. Học tham số là quá trình điều chỉnh các
trọng số để mạng nhận biết đƣợc mối quan hệ giữa đầu vào và đầu ra mong muốn.
Rất nhiều các thuật toán học đƣợc đề xuất để tìm tập trọng số tối ƣu đối với mỗi bài

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

16
toán, các thuật toán đó có thể chia thành hai nhóm chính : Học có thầy (Supervised
learning) và Học không có thầy (Unsupervised Learning).
1) Học có thầy
Mạng đƣợc học bằng cách cung cấp cho nó các cặp mẫu đầu vào và đầu ra
mong muốn. Sai số giữa các đầu ra thực tế so với các đầu ra mong muốn đƣợc thuật
toán sử dụng để hiệu chỉnh các trọng số trong mạng.
Tập mẫu là tập các cặp véc tơ vào/ra mong muốn M = {(x
i
,y

i
)} đƣợc sử dụng
để luyện mạng nơron. Đối với mỗi véc tơ tín hiệu vào x
i
, mạng nơron tính toán tín
hiệu ra out và so sánh tín hiệu này với tín hiệu ra mong muốn y
i
để tạo ra tín hiệu sai
số. Tín hiệu sai số này xác định bề mặt sai số là hàm của các trọng số, có thể dùng
nhƣ hàm mục tiêu để hiệu chỉnh các trọng số. Các thuật toán tìm kiếm đƣợc áp dụng
trong thủ tục học để hiệu chỉnh các trọng số sao cho mạng nơ ron có thể sản sinh ra
các tín hiệu ra out với một sai số chấp nhận đƣợc so với tín hiệu ra mong muốn.








Hình 1.7. Sơ đồ học có thầy
2) Học không có thầy
Với phƣơng pháp học không có thầy, không có thông tin phản hồi từ môi
trƣờng bên ngoài để chỉ ra rằng đầu ra out của mạng là đúng hay sai. Mạng nơron
phải tự khám phá các đặc trƣng, các mối tƣơng quan, tính cân xứng của các mẫu
học một cách tự động. Đối với phần lớn các biến thể của học không có thầy, các
đích trùng với đầu vào. Nói một cách khác, học không có thầy luôn thực hiện một
công việc tƣơng tự nhƣ một mạng tự liên hợp, cô đọng thông tin từ dữ liệu vào.
Giải thuật luyện
(Phƣơng pháp tối ƣu)

Hàm
mục tiêu

Dữ liệu huấn luyện
Đầu vào
Đầu ra cá nhân
Mạng
Ra
Vào
+
-
Đích
Sai số

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

17
1.5.2. Học cấu trúc
Trong phần học tham số, giả định là đã có một cấu trúc mạng. Thủ tục học
tham số tinh chỉnh các giá trị trọng số sao cho mạng hoạt động nhƣ mong muốn.
Thủ tục học cấu trúc tìm kiếm các tham số cấu trúc của mạng để tạo ra một mạng
hoạt động tốt nhất. Thực chất, học cấu trúc là việc tìm ra số lớp ẩn và số nơron trên
mỗi lớp ẩn vì số đầu vào và số đầu ra của mạng là xác định đối với một bài toán cụ
thể.
Kết quả học cấu trúc phụ thuộc nhiều vào kết quả học tham số. Do đó, việc
xây dựng một thuật toán tìm kiếm cho thủ tục học tham số là cần thiết. Thuật toán
tìm kiếm này phải có khả năng tìm kiếm lời giải toàn cục, tìm kiếm hiệu quả trong
không gian nhiều chiều và có thể sử dụng cho nhiều cấu trúc mạng khác nhau.
Trong những năm gần đây, một số thuật toán tối ƣu toàn cục mang tính tất định và

một số thuật toán mang tính xác suất đã đƣợc đề xuất. Các thuật toán mang tính xác
suất bao gồm các thuật toán tiến hóa [3] mà thuật toán di truyền (GA - Genetic
Algorithms) là một ví dụ điển hình.
1.6. Một số ứng dụng của mạng nơron
Mạng nơron thƣờng đƣợc ứng dụng trong các lĩnh vực nhƣ phân loại
(classification), mô hình hóa (modeling), biến đổi (transformation and mapping) và
dự báo các sự kiện phụ thuộc thời gian.
Phân loại
Phân loại là cách sắp xếp các đối tƣợng vào các tập hoặc vào các lớp con của
các lớp lớn hơn. Việc phân loại thƣờng đƣợc tiến hành nhiều mức giống nhƣ phép
toán ra quyết định, phân lớp đối tƣợng vào nhóm, nhóm con; vào chủng loại, chủng
loại con hoặc vào lớp, lớp con. Một đối tƣợng có thể đồng thời thuộc vào nhiều lớp
khác nhau, do đó kết quả của việc phân loại là tích của hai hay nhiều quyết định.
Mô hình hóa
Hệ thống phân loại thƣờng đƣa ra câu trả lời rời rạc nhƣ có, không hoặc một
số nguyên định danh đối tƣợng đầu vào thuộc lớp nào. Tuy nhiên, việc mô hình hóa
yêu cầu hệ thống phải sản sinh ra các câu trả lời mang tính liên tục. Một số lƣợng
nhỏ các số liệu thực nghiệm đƣợc sử dụng để xây dựng mô hình, mô hình này có
thể đƣa ra các dự báo cho tất cả các đối tƣợng đầu vào có thể. Việc tìm ra đƣờng
cong phù hợp với các số liệu thực nghiệm là một ví dụ ứng dụng thuộc dạng này.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

18
Các ứng dụng thuộc dạng này phần lớn là thủ tục của một biến vào và một biến ra
nhƣ sau:
, , , ,y f x a b p

Hàm f chứa một tập các tham số a, b,…, p. Các tham số này phải đƣợc xác
định bằng việc tối thiểu hóa độ chênh lệch giữa số liệu thực nghiệm và giá trị tính

toán từ mô hình. Mô hình hóa cũng có thể mở rộng cho bài toán nhiều biến vào /
một biến ra hoặc nhiều biến vào / nhiều biến ra.
Việc mô hình hóa thƣờng đƣợc sử dụng cho các đối tƣợng có ít biến, khoảng
từ 1 đến 10. Điều này có nghĩa là thƣờng sử dụng các mạng nhỏ, thời gian tính cũng
nhƣ tài nguyên máy tính ít hơn so với các mạng dùng cho việc phân loại.
Biến đổi
Việc biến đổi nhằm mục đích nén các đối tƣợng từ không gian m chiều vào
không gian có số chiều nhỏ, khoảng hai hoặc ba. Qua việc nén các đối tƣợng này,
chúng sẽ bộc lộ những đặc điểm mà chúng ta không nhận thấy khi chúng ở trong
không gian nhiều chiều. Việc biến đổi tƣơng tự nhƣ việc nhóm các đối tƣợng hay
phân loại. Sự khác biệt không lớn lằm nằm ở phƣơng pháp biểu diễn các kết quả.
Những câu hỏi mà việc biến đổi có thể trả lời là bàn đồ của toàn bộ đối tƣợng nhƣ
thế nào, có bao nhiêu vùng trên bản đồ có thể phân biệt đƣợc, hình dáng các vùng
đó nhƣ thế nào…
Một trong những ứng dụng của biến đổi là tiền xử lý số liệu. Thông qua tiền
xử lý, các đối tƣợng điển hình đƣợc chọn từ tập vô số các đối tƣợng ngẫu nhiên
nhận đƣợc, loại trừ đƣợc các đối tƣợng dƣ thừa hay trùng lặp. Điều này rất quan
trọng khi chọn các đối tƣợng làm mẫu học cho mạng truyền thẳng huấn luyện bằng
thuật toán lan truyền ngƣợc của sai số đƣợc trình bày ở Chƣơng 2.
Dự báo các sự kiện phụ thuộc thời gian
Lĩnh vực nghiên cứu các quá trình phụ thuộc thời gian là một trong những lĩnh
vực chính trong nghiên cứu điều khiển quá trình. ở đây, mô hình dự báo đƣợc xây
dựng dựa trên một chuỗi số liệu đƣợc ghi nhận theo thời gian. Trong mô hình này,
các biến của tín hiệu vào và tín hiệu ra về cơ bản là giống nhau. Chỉ một điều khác
biệt là, tín hiệu vào là các giá trị hiện tại và quá khứ của các biến quá trình, tín hiệu
ra là giá trị dự báo trong tƣơng lai của các biến quá trình đó.


Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

19
Chƣơng 2. MẠNG NƠRON TRUYỀN THẲNG VÀ THUẬT
TOÁN LAN TRUYỀN NGƢỢC
2.1. Kiến trúc cơ bản của mạng nơron truyền thẳng
Để đơn giản và tránh hiểu nhầm, mạng truyền thẳng xét trong chƣơng này là
các mạng truyền thẳng có nhiều lớp. Kiến trúc mạng truyền thẳng nhiều lớp (Multi-
layer Feed Forward (MLFF)) là kiến trúc chủ đạo của các mạng nơron hiện tại.
Một mạng nơron truyền thẳng nhiều lớp gồm một lớp vào, một lớp ra và một
hoặc nhiều các lớp ẩn. Các nơron đầu vào thực chất không phải các nơron theo
đúng nghĩa, bởi lẽ chúng không thực hiện bất kỳ một tính toán nào trên dữ liệu vào.
Các nơron ở lớp ẩn và lớp ra mới thực sự thực hiện các tính toán. Cụm từ “truyền
thẳng” có nghĩa là tất cả các nơron chỉ có thể đƣợc kết nối với nhau theo một hƣớng
tới một hay nhiều các nơron khác trong lớp kế tiếp (loại trừ các nơ ron ở lớp ra).
Mỗi liên kết gắn với một trọng số, trọng số này đƣợc thêm vào trong quá trình
tín hiệu đi qua liên kết đó. Các trọng số có thể dƣơng (kích thích) hay âm (kiềm
chế). Mỗi nơron tính toán mức kích hoạt của chúng bằng cách cộng tổng các đầu
vào và đƣa ra hàm chuyển (hàm kích hoạt). Một khi đầu ra của tất cả các nơron
trong một lớp mạng cụ thể đã thực hiện tính toán thì lớp kế tiếp có thể bắt đầu thực
hiện tính toán của mình bởi vì đầu ra của lớp hiện tại là đầu vào của lớp kế tiếp. Khi
tất cả các nơron đã thực hiện tính toán thì các nơron đầu ra thể hiện kết quả của
chúng.






Hình 2.1. Mạng nơron truyền thẳng 2 lớp
Hình 2.1 là sơ đồ mạng nơron truyền thẳng hai lớp, trong đó:
P: Vector đầu vào (vector cột)

W
1
: Ma trận trọng số của các nơ ron lớp thứ 1 có kích thƣớc S
1
xR
1
S
1
x1
n
1

1
S
1
xR
1

R
1
x1
W
1

b
1

f
1

S
1
x1
S
1
x1
a
1

S
2
x1
n
2

1
S
2
xS
1

W
2

b
2

f
2

S
2
x1
S
2
x1
a
2

P

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

20
W
2
: Ma trận trọng số của các nơ ron lớp thứ 2 có kích thƣớc S
2
xR
2

b
1
, b
2
: Vector độ lệch (bias) của lớp thứ 1 và 2 (kích thƣớc S
1
x1 và S
2
x1)

n
1
, n
2
: Vector vào của lớp thứ 1 và thứ 2 (kích thƣớc S
1
x1 và S
2
x1)
f
1
, f
2
: Hàm chuyển (hàm kích hoạt) của lớp thứ 1 và 2
a
1
, a
2
: Đầu ra của lớp thứ 1 và 2 (kích thƣớc S
1
x1 và S
2
x1)
: Hàm tổng thông thƣờng (Sum)
Số nơ ron ở lớp thứ nhất và lớp thứ hai là S
1
và S
2
tƣơng ứng với ma trận
trọng số là W

1
và W
2
. Véc tơ đầu vào ở lớp thứ hai chính là véc tơ đầu ra của lớp
thứ nhất, công thức tính toán cho đầu ra của lớp thứ hai nhƣ sau:
a
2
= f
2
(W
2
(f
1
(W
1
.P + b
1
)) + b
2
)
trong đó, ý nghĩa của các ký hiệu nhƣ đã nêu trong hình vẽ.
2.2. Khả năng thể hiện của mạng nơron truyền thẳng
Các mạng truyền thẳng cho ta một kiến trúc tổng quát thể hiện khả năng ánh
xạ hàm phi tuyến tính giữa một tập các biến đầu vào và tập các đầu ra. Khả năng
thể hiện của một mạng có thể đƣợc định nghĩa là khoảng mà nó có thể thực hiện
ánh xạ khi mà các trọng số biến thiên [15].
1) Các mạng một lớp chỉ có khả năng thể hiện các hàm khả phân tuyến tính
hay các miền phân chia đƣợc.
2) Các mạng có 2 lớp ẩn có khả năng thể hiện một đƣờng biên phân chia tùy
ý với một độ chính xác bất kỳ với các hàm chuyển phân ngƣỡng và có thể

xấp xỉ bất kỳ ánh xạ mịn nào với độ chính xác bất kỳ với các hàm chuyển
có dạng sigmoid.
3) Một mạng có một lớp ẩn có thể xấp xỉ tốt bất kỳ một ánh xạ hàm liên tục
nào từ một không gian hữu hạn sang một không gian hữu hạn khác, chỉ
cần cung cấp số nơron đủ lớn cho lớp ẩn. Chính xác hơn, các mạng truyền
thẳng với một lớp ẩn đƣợc luyện bởi các phƣơng pháp bình phƣơng tối
thiểu (least-squares) là các bộ xấp xỉ chính xác cho các hàm hồi quy nếu
nhƣ các giả thiết về các mẫu, độ nhiễu, số đơn vị trong lớp ẩn và các nhân
tố khác thỏa mãn. Các mạng nơron truyền thẳng với một lớp ẩn sử dụng
các hàm chuyển hay hàm phân ngƣỡng là các bộ xấp xỉ đa năng cho bài
toán phân lớp nhị phân với các giả thiết tƣơng tự.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

21
2.3. Cơ chế học của mạng nơron truyền thẳng
Mạng nơ ron truyền thẳng nhiều lớp thƣờng đƣợc huấn luyện bằng thuật toán
lan tryền ngƣợc của sai số (Back-Propagation), viết tắt là thuật toán BP [4]. Thuật
toán này đƣợc sử dụng thƣờng xuyên và thông dụng tới mức nhiều tác giả đã đồng
khái niệm mạng nơron với mạng nơron nhiều lớp lan truyền ngƣợc của sai số.
Thuật toán BP là thuật toán học có thầy, do đó nó cần một tập mẫu gồm các
cặp véc tơ
,
ii
XY
, với
i
X
là véc tơ vào,
i

Y
là véc tơ ra mong muốn. Đối với một
cặp véc tơ vào và véc tơ ra mong muốn, thuật toán BP thực hiện hai giai đoạn theo
dòng chảy số liệu :
Tín hiệu vào
i
X

đƣợc lan truyền qua mạng từ lớp vào đến lớp ra. Kết quả
của việc lan truyền là sản sinh véc tơ tín hiệu ra
last
i
Out

Tín hiệu sai số là kết quả của việc so sánh giữa véc tơ ra mong muốn và
véc tơ tín hiệu ra. Sai số đƣợc lan truyền ngƣợc từ lớp ra tới các lớp phía
trƣớc để hiệu chỉnh các trọng số.










Hình 2.2: Sơ đồ hiệu chỉnh các trọng số của thuật toán BP
Đối với mỗi cặp tín hiệu vào ra này, hàm giá đƣợc xây dựng nhƣ sau:

n
k
last
ikik
OutywE
1
2
2
1
)(
(2.1)
Trong đó n là số nơ ron trên lớp ra; y
ik
là thành phần thứ k của véc tơ ra mong
muốn y
i
, out
ik
là thành phần thứ k của véc tơ ra out
i
do lan truyền véc tơ vào X
i
.
W
1

W
2

W

3

Véc tơ ra
Lời giải
Sai số
Hiệu chỉnh
Hiệu chỉnh W
3

Hiệu chỉnh W
2

Hiệu chỉnh W
1

Véc tơ vào

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

22
Việc học của thuật toán thực chất là việc tìm kiếm một tập trọng số W trong
không gian R
M
(M là số trọng số của mạng) để lần lƣợt tối thiểu hoá hàm giá nêu
trên. Giá trị hàm sai số E
i
đối với một mẫu đƣợc tính toán dựa trên giá trị các trọng
số hiện tại. Các giá trị trọng số này sau đó đƣợc hiệu chỉnh và trở thành các giá trị
trọng số hiện tại để tính giá trị hàm sai số tiếp theo E
i+1

. Dễ nhận thấy, cách làm này
có khả năng tạo ra sự dao động trong quá trình hiệu chỉnh các trọng số. Kết quả hiệu
chỉnh hiện tại có thể làm hỏng kết quả hiệu chỉnh ở các lần trƣớc đó.
2.4. Thuật toán lan truyền ngƣợc của sai số (Back-Propagation)
Về cơ bản, thuật toán BP là dạng tổng quát của thuật toán bình phƣơng lỗi nhỏ
nhất (Least Means Square), viết tắt là LMS. Thuật toán LMS thuộc dạng thuật toán
xấp xỉ để tìm các điểm mà tại đó, hiệu năng của mạng là tối ƣu. Chỉ số tối ƣu
(performance index) thƣờng đƣợc xác định bởi một hàm số của ma trận trọng số và
các đầu vào nào đó trong quá trình tìm hiểu bài toán đặt ra.
2.4.1. Mô tả thuật toán BP
Thuật toán áp dụng cho dạng tổng quát của mạng nơ ron truyền thẳng nhiều
lớp. Khi đó, đầu ra của một lớp trở thành đầu vào của lớp kế tiếp. Phƣơng trình thể
hiện hoạt động này nhƣ sau:
1 1 1 1m m m m m
a f W a b
với
0,1, , 1mM

trong đó M là số lớp trong mạng. Các nơron trong lớp thứ nhất nhận các tín hiệu từ
bên ngoài:
0
ap
, chính là điểm bắt đầu của phƣơng trình trên. Đầu ra của lớp cuối
cùng đƣợc xem là đầu ra của mạng:
M
aa
.
Chỉ số hiệu năng (performance index)
Tƣơng tự thuật toán LMS, thuật toán BP sử dụng chỉ số hiệu năng là trung
bình bình phƣơng lỗi của đầu ra so với giá trị đích. Đầu vào của thuật toán chính là

tập các cặp mô tả hoạt động đúng của mạng (các mẫu dùng để huấn luyện mạng):
11
, , , ,
QQ
p t p t

trong đó p
i
là một đầu vào và t
i
là đầu ra mong muốn tƣơng ứng, với
1, ,iQ
. Mỗi
đầu vào đƣa vào mạng, đầu ra của mạng đối với nó đƣợc đem so sánh với đầu ra
mong muốn. Thuật toán sẽ điều chỉnh các tham số của mạng để tối thiểu hóa trung
bình bình phƣơng lỗi:

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

23
2
2
F x e e e t a

trong đó x là biến đƣợc tạo thành bởi các trọng số và độ lệch, e là ký hiệu kỳ vọng
toán học. Nếu nhƣ mạng có nhiều đầu ra, phƣơng trình trên có thể đƣợc viết lại dƣới
dạng ma trận:
T
T
F x e e e e t a t a

Tƣơng tự nhƣ thuật toán LMS, xấp xỉ của trung bình bình phƣơng lỗi nhƣ sau:
),()()()()()( kkkkkkF
T
T
eeatatx

trong đó kỳ vọng toán học của bình phƣơng lỗi đƣợc thay bởi bình phƣơng lỗi tại
bƣớc k.
Thuật toán giảm theo hƣớng cho trung bình bình phƣơng lỗi xấp xỉ là:
(**),1
(*),1
,
,,
m
i
m
i
m
i
m
ji
m
ji
m
ji
b
F
kbkb
w

F
kwkw

trong đó là hệ số học.
Nhƣ vậy, mọi chuyện đến đây đều giống nhƣ thuật toán trung bình bình
phƣơng tối thiểu, tiếp theo sẽ đi vào phần khó nhất của thuật toán: tính các đạo hàm
từng phần.
Luật xích (Chain Rule)
Đối với các mạng nơ ron truyền thẳng nhiều lớp, lỗi không phải là một hàm
của chỉ các trọng số trong các lớp ẩn, do vậy việc tính các đạo hàm từng phần này là
không đơn giản. Chính vì lý do đó mà phải sử dụng luật xích để tính. Luật này đƣợc
mô tả nhƣ sau: giả sử có một hàm f là một hàm của biến n, muốn tính đạo hàm của f
có liên quan đến một biến w khác. Luật xích này nhƣ sau:
dw
wdn
dn
ndf
dw
wndf
x

Phƣơng pháp này đƣợc dùng để tính các đạo hàm trong (*) và (**) ở phần
trƣớc

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

24
,
,
,,

m
i
m
i
m
i
m
i
m
ji
m
i
m
i
m
ji
b
n
x
n
F
b
F
w
n
x
n
F
w
F

trong đó hạng thức thứ 2 của các phƣơng trình trên có thể dễ dàng tính toán bởi vì
đầu vào của mạng tới lớp m là một hàm của trọng số và độ lệch:
1
1
1
,
.
m
S
j
m
i
m
j
m
ji
m
i
bawn

trong đó S
m-1
là số đầu ra của lớp (m – 1). Do vậy :
.1,
1
,
m
i
m

i
m
j
m
ji
m
i
b
n
a
w
n

Ký hiệu
m
i
m
i
n
F
s

đƣợc gọi là độ nhậy cảm của
F
đối với các thay đổi của phần tử thứ i của đầu vào
của mạng tại lớp thứ m. Khi đó:
.
1
,,
m

i
m
i
m
i
m
i
m
i
m
j
m
i
m
ji
m
i
m
i
m
ji
s
b
n
x
n
F
b
F
as

w
n
x
n
F
w
F

Bây giờ, thuật toán giảm nhanh nhất xấp xỉ đƣợc phát biểu nhƣ sau:
m
i
m
i
m
j
m
i
m
ji
m
ji
skbkb
askwkw
1
,1
1
,,

ở dạng ma trận:
mmm

T
mmmm
kk
kk
sbb
asWW
1
,1
1

trong đó:

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

25
m
S
m
2
m
1
m
m
m
F
F
F
F
n
n

n
n
s


Lan truyền ngược độ nhậy cảm
Vấn đề là tính nốt ma trận độ nhậy cảm s
m
. Để thực hiện điều này cần sử dụng
một áp dụng khác của luật xích. Quá trình này cho khái niệm về sự “lan truyền
ngƣợc” bởi vì nó mô tả mối quan hệ hồi quy trong đó độ nhậy cảm s
m
đƣợc tính qua
độ nhậy cảm s
m+1
của lớp m + 1.
Để dẫn đến quan hệ đó, ma trận Jacobian đƣợc sử dụng nhƣ sau:
m
S
m
S
m
m
S
m
m
S
m
S
m

m
m
m
m
m
S
m
m
m
m
m
m
m
m
mmm
m
m
n
n
n
n
n
n
n
n
n
n
n
n
n

n
n
n
n
n
n
n
1
2
1
1
1
1
2
2
1
2
1
1
2
1
1
2
1
1
1
1
1
1
111






Xét phần tử (i, j) của ma trận trên:
m
j
m
m
ji
m
j
m
j
m
m
ji
m
j
m
i
m
ji
m
j
S
l
m
i

m
i
m
li
m
j
m
i
nfw
n
nf
w
n
a
w
n
baw
n
n
m
1
,
1
,
1
,
1
11
,
1

trong đó:
m
j
m
j
m
m
j
m
n
nf
nf
.
Nhƣ vậy, ma trận Jacobian có thể viết lại nhƣ sau: