nghiên cứu ứng dụng mạng nơ ron trong nhận dạng đối tượng phi tuyến

ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC KỸ THUẬT CÔNG NGHIỆP
---------------------------------------

NGUYỄN VĂN NGHIỆP

NGHIÊN CỨU ỨNG DỤNG MẠNG NƠ RON TRONG
NHẬN DẠNG ĐỐI TƢỢNG PHI TUYẾN

Chun ngành : Tự Động Hóa
Mã số

:

TĨM TẮT LUẬN VĂN THẠC SĨ KỸ THUẬT

THÁI NGUYÊN – 2013
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




PHẦN MỞ ĐẦU
1. Lý do lựa chọn đề tài.
Để điều khiển chính xác đối tƣợng khi chƣa biết rõ đƣợc thơng số,
trƣớc tiên ta phải hiểu rõ đối tƣợng đó. Đối với đối tƣợng là phi tuyến, ta cần
thực hiện nhận dạng đặc tính vào ra của nó để đảm bảo tạo ra tín hiệu điều
khiển thích nghi đƣợc lựa chọn chính xác hơn. Hiện nay thƣờng sử dụng logic
mờ (Fuzzy Logic), mạng nơ ron ( Neural Networks), và mạng no ron mờ
(Fuzzy Neural Networks) để nhận dạng và điều khiển thích nghi hệ thống phi
tuyến.Trong khn khổ của khố học Cao học, chuyên ngành Tự động hoá tại

trƣờng Đại học Kỹ thuật Công nghiệp Thái Nguyên, đƣợc sự tạo điều kiện
giúp đỡ của nhà trƣờng và Tiến sĩ Phạm Hữu Đức Dục, em đã lựa chọn đề tài
của mình là “Nghiên cứu ứng dụng mạng nơ ron trong nhận dạng đối
tƣợng phi tuyến”.
2. Mục đích của đề tài.
Nghiên cứu việc ứng dụng mạng nơ ron trong quá trình nhận dạng và
điều khiển hệ thống phi tuyến nói chung. Đặc biệt đi sâu nghiên cứu mạng nơ
ron truyền thẳng nhiều lớp nhận dạng đặc tính vào – ra của đối tƣợng phi
tuyến, làm cơ sở cho việc tạo ra tín hiệu điều khiển thích nghi đƣợc lựa chọn
chính xác hơn.
3. Đối tƣợng và phạm vi nghiên cứu.
a/ Đối tượng nghiên cứu.
Đối tƣợng nghiên cứu của đề tài là sử dụng mạng nơ ron truyền thẳng
nhiều lớp nhận dạng đối tƣợng phi tuyến.
Mơ hình nhận dạng
Y P (k)

Đối tƣợng
ei(k)

-

u(k
)

+
Mơ hình
nhận dạng
^

Y P (k)

b/ Phạm vi nghiên cứu của đề tài.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Chương I. Tổng quan về mạng nơ ron nhân tạo:
Phân tích tổng quan nề mạng nơ ron bao gồm : Lịch sử phát triển, kết
cấu của các mạng nơ ron, vai trò của các mạng nơ ron trong điều khiển.
Chương II. Ứng dụng mạng nơ ron trong nhận dạng .
Trình bày các ứng dụng mơ hình mạng nơ ron trong nhận dạng..
Chương III. Ứng dụng mạng nơ ron nhận dạng đối tượng phi tuyến.
Đƣa ra mơ hình nhận dạng đối tƣợng phi tuyến, từ đó phân tích, lựa
chọn mạng nơ ron truyền thẳng nhiều lớp và mạng nơ ron elmal với luật học
lan truyền ngƣợc tiến hành nhận dạng đặc tính vào ra của đối tƣợng phi tuyến.
u

yp
Đối tƣợng

Mạng nơ ron nhận dạng

+

ym

e1
Luật học

.

Sơ đồ nhận dạng đối tƣợng

4. Ý nghĩa khoa học và thực tiễn của đề tài.
Với ứng dụng mạng nơ ron truyền thẳng nhiều lớp và mạng nơ ron
elmal nhận dạng đối tƣợng phi tuyến. Sau khi nhận dạng đƣợc đối tƣợng, ta
có thể thay thế gần đúng mơ hình đối tƣợng bằng một mạng nơ ron từ mơ
phỏng mạng nơ ron .

CHƢƠNG I
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




TỔNG QUAN VỀ MẠNG NƠ RON NHÂN TẠO
Mạng nơ ron nhân tạo (Artificial Neural Networks) là hệ thống đƣợc
xây dựng dựa trên nguyên tắc cấu tạo của bộ não ngƣời. Nó cho chúng ta một
hƣớng mới trong nghiên cứu hệ thống thơng tin. Mạng nơ ron nhân tạo có thể
thực hiện các bài tốn: Tính tốn gần đúng các hàm số, thực hiện các bài toán
tối ƣu, nhận mẫu, nhận dạng và điều khiển đối tƣợng hiệu quả hơn so với các
phƣơng pháp truyền thống.
Mạng nơ ron nhân tạo có một số lƣợng lớn mối liên kết của các phần tử
biến đổi có liên kết song song. Nó có hành vi tƣơng tự nhƣ bộ não ngƣời với
khả năng học ( Learning ), gọi lại (Recall) và tổng hợp thông tin từ sự luyện
tập của các tập mẫu dữ liệu. Các phần tử biến đổi của mạng nơ ron nhân tạo
đƣợc gọi là các nơ ron nhân tạo hoặc gọi tắt là nơ ron
1.1 . LỊCH SỬ PHÁT TRIỂN CỦA MẠNG NƠ RON NHÂN TẠO.
Mạng nơ ron nhân tạo đã có một lịch sử phát triển lâu dài. Năm 1943,

McCulloch và Pitts đã đƣa ra khả năng liên kết và một số liên kết cơ bản của
mạng nơ ron. Năm1949, Hebb đã đƣa ra các luật thích nghi trong mạng nơ
ron. Năm 1958, Rosenbatt đƣa ra cấu trúc Perception. Năm 1969, Minsky và
Papert phân tích sự đúng đắn của Perception, họ đã chứng minh các tính chất
và chỉ rõ các giới hạn của một số mơ hình. Năm 1976, Grossberg dựa vào tính
chất sinh học đã đƣa ra một số cấu trúc của hệ động học phi tuyến với các tính
chất mới. Năm 1982, Rumelhart đƣa ra mơ hình song song một số thuật toán
và kết quả. Thuật toán học lan truyền ngƣợc đƣợc Rumelhart, Hinton,
Williams (1986) đề xuất luyện mạng nơ ron nhiều lớp. Những năm gần đây,
nhiều tác giả đã đề xuất nhiều loại cấu trúc mạng nơ ron mới. Mạng nơ ron
đƣợc ứng dụng trong nhiều lĩnh vực kinh tế kỹ thuật khoa học vũ trụ (Hecht –
Nielsen, 1988)

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




1.2 . CÁC TÍNH CHẤT CỦA MẠNG NƠ RON NHÂN TẠO.
Là hệ phi tuyến: Mạng nơ ron có khả năng to lớn trong lĩnh vực nhận
dạng và điều khiển các đối tƣợng phi tuyến.
Là hệ xử lý song song: Mạng nơ ron có cấu trúc song song, do đó có độ
tính tốn rất cao rất phù hợp với lĩnh vực nhận dạng và điều khiển.
Là hệ học và thích nghi: Mạng đƣợc luyện từ các số liệu quá khứ và có
khả năng tự chỉnh khi số liệu đầu vào bị mất, có thể điều khiển on- line.
Là hệ nhiều biến, nhiều đầu vào, nhiều đầu ra (MIMO), rất tiện dùng
khi đối tƣợng điều khiển có nhiều biến số.
1.3 . MƠ HÌNH NƠ RON
1.3.1. Mơ hình nơ ron sinh học.
1.3.1.1. Chức năng, tổ chức và hoạt động của bộ não con người.

Bộ não ngƣời có chức năng hết sức quan trọng trong đời sống của con
ngƣời. Nó gần nhƣ kiểm sốt hầu hết mọi hành vi của con ngƣời từ các hoạt
động cơ bắp đơn giản đến những hoạt động phức tạp nhƣ học tập, nhớ, suy
luận, tƣ duy, sáng tạo, ...
Bộ não ngƣời đƣợc hình thành từ sự liên kết của khoảng 1011 phần tử
(tế bào), trong đó có khoảng 1010 phần tử là nơ ron, số còn lại khoảng 9*1010
phần tử là các tế bào thần kinh đệm và chúng có nhiệm vụ phục vụ cũng nhƣ
hỗ trợ cho các nơ ron. Thơng thƣờng một bộ não trung bình cân nặng khoảng
1,5 kg và có thể tích là 235 cm3 . Cho đến nay ngƣời ta vẫn chƣa thực sự biết
rõ cấu tạo chi tiết của bộ não. Tuy vậy về đại thể thì cấu tạo não bộ đƣợc phân
chia ra thành nhiều vùng khác nhau. Mỗi vùng có thể kiểm soát một hay nhiều
hoạt động của con ngƣời.
Các đặc tính của não ngƣời:
- Tính phân lớp: Các vùng trong bộ não đƣợc phân thành các lớp, thông
tin đƣợc xử lý theo các tầng.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




- Tính mơđun: Các vùng của bộ nhớ đƣợc phân thành các mơđun đƣợc
mã hố bằng các định nghĩa mối quan hệ tích hợp giữa các tín hiệu vào qua
các giác quan và các tín hiệu ra.
- Mối liên kết: Liên kết giữa các lớp dẫn đến các dữ liệu dùng chung
xem nhƣ các liên hệ phản hồi khi truyền tín hiệu.
- Sử lý phân tán các tín hiệu vào: Các tín hiệu vào đƣợc truyền qua
nhiều kênh thơng tin khác nhau, đƣợc xử lý bằng các phƣơng pháp đặc biệt.
Bộ não có cấu trúc nhiều lớp. Lớp bên ngồi thƣờng thấy nhƣ là các
nếp nhăn, là lớp có cấu tạo phức tạp nhất. Đây là nơi kiểm soát và phát sinh
các hành động phức tạp nhƣ nghe, nhìn, tƣ duy, ...

Tín hiệu thu, nhận ở các dạng xung điện – Màng (Membrane): Mỗi tế
bào thần kinh có một màng, có nhiệm vụ giữ cho các chất ni tế bào khơng
tràn ra ngồi. Do đó, các phần tử nội bào và ngoại bào khơng bằng nhau, giữa
chúng có dung dịch muối lỏng làm cho chúng bị phân rã thành các nguyên tử
âm và dƣơng. Các nguyên tử dƣơng trong màng tạo ra điện thế màng, nó tồn
tại trong trạng thái cân bằng lực: lực đẩy các nguyên tử dƣơng ra khỏi tế bào
bằng với lực hút chúng vào trong tế bào.
Điện thế màng là phần tử quan trọng trong quá trình truyền tin của hệ
thần kinh. Khi thay đổi khả năng thẩm thấu ion của màng thì điện thế màng
của tế bào bị thay đổi và tiến tới một ngƣỡng nào đó, đồng thời sinh ra dịng
điện, dịng điện này gây ra phản ứng kích thích làm thay đổi khả năng thẩm
thấu ion của tế bào tiếp theo.
Xử lý thông tin trong bộ não:
Thông tin đƣợc tiếp nhận từ các giác quan và chuyển vào các tế bào
thần kinh vận động vào các tế bào cơ. Mỗi tế bào thần kinh tiếp nhận thông
tin, điện thế sẽ tăng trong thần kinh cảm giác, nếu điện thế này vƣợt ngƣỡng
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




nó tạo ra dịng điện trong tế bào thần kinh cảm giác, ý nghĩa dịng điện đó
đƣợc giải mã và lƣu ở thần kinh trung ƣơng, kết quả xử lý thông tin đƣợc gửi
đến các tế bào cơ.
Các tế bào thần kinh đƣa các tín hiệu giống nhau, do đó khơng thể phân
biệt đƣợc đó là của lồi động vật nguyên thuỷ hay của một giáo sƣ. Các khớp
thần kinh chỉ cho các tín hiệu phù hợp qua chúng, cịn lại các tín hiệu khác bị
cản lại. Lƣợng tín hiệu đƣợc biến đổi đƣợc gọi là cƣờng độ khớp thần kinh đó
chính là trọng số của nơ ron trong mạng nơ ron nhân tạo.
Tại sao việc nghiên cứu về mạng thần kinh lại có tầm quan trọng lớn

lao. Có thể trả lời ngắn gọn là sƣ giống nhau của các tín hiệu của các tế bào
thần kinh đơn lẻ, do đó chức năng thực sự của bộ não khơng phụ thuộc vào
vai trò của một tế bào thần kinh đơn, mà phụ thuộc vào toàn bộ các tế bào
thần kinh hay các tế bào thần kinh liên kết với nhau thành một mạng thần
kinh hay một mạng nơ ron (Neural Networks)
Hoạt động của bộ não nói riêng và của hệ thần kinh nói chung đã đƣợc
con ngƣời quan tâm nghiên cứu từ lâu nhƣng cho đến nay ngƣời ta vẫn chƣa
hiểu rõ thực sự về hoạt động của bộ não và hệ thần kinh. Đặc biệt là trong các
hoạt động liên quan đến trí óc nhƣ suy nghĩ, nhớ, sáng tạo, ... Tuy thế cho đến
nay, ngƣời ta cũng có những hiểu biết căn bản về hoạt động cấp thấp của não.
Mỗi nơ ron liên kết với khoảng 104 nơ ron khác, cho nên khi hoạt động
thì bộ não hoạt động một cách tổng lực và đạt hiệu quả cao. Nói một cách
khác là các phần tử của não hoạt động một cách song song và tƣơng tác hết
sức tinh vi phức tạp, hiệu quả hoạt động thƣờng rất cao, nhất là trong các vấn
đề phức tạp. Về tốc độ xử lý của bộ não ngƣời rất nhanh mặc dù tốc độ xử lý
của mỗi nơ ron (có thể xem nhƣ phần tử xử lý hay phần tử tính) là rất chậm so
với xử lý của các cổng logic silicon trong các chip vi xử lý (10 -3 giây so với
10-10 giây).

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Hoạt động của cả hệ thống thần kinh bao gồm não bộ và các giác quan
nhƣ sau:
Trƣớc hết con ngƣời bị kích thích bởi giác quan từ bên ngồi hoặc
trong cơ thể. Sự kích thích đó đƣợc biến thành các xung điện bởi chính các
giác quan tiếp nhận kích thích. Những tín hiệu này đƣợc chuyển về trung
ƣơng thần kinh là não bộ để xử lý. Trong thực tế não bộ liên tục nhận thông

tin xử lý, đánh giá và so sánh với thông tin lƣu trữ để đƣa ra các quyết định
thích đáng.
Những mệnh lệnh cần thiết đƣợc phát sinh và gửi đến những bộ phận
thi hành thích hợp nhƣ các cơ tay, chân, ... Những bộ phận thi hành biến
những xung điện thành dữ liệu xuất của hệ thống.
Tóm lại: Bộ não ngƣời có chức năng hết sức quan trọng đối với đời
sống của con ngƣời. Cấu tạo của nó rất phức tạp, tinh vi bởi đƣợc tạo thành từ
mạng nơ ron có hàng chục tỉ tế bào với mức độ liên kết giữa các nơ ron là rất
cao. Hơn nữa, nó cịn đƣợc chia thành các vùng và các lớp khác nhau. Bộ não
hoạt động dựa trên cơ chế hoạt động song song của các nơ ron tạo nên nó.
1.3.1.2. Mạng nơron sinh học.
a/ Cấu tạo.
Nơ ron là phần tử cơ bản tạo nên bộ não con ngƣời. Sơ đồ cấu tạo của
một nơ ron sinh học đƣợc chỉ ra nhƣ trong hình 1.1. Một nơ ron điển hình có
3 phần chính:
Nhánh

Khớp nối
Thân
Sợi trục

Hình 1.1. Mơ hình 2 nơ ron sinh học

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




- Thân nơ ron (soma): Nhân của nơ ron đƣợc đặt ở đây.
- Các nhánh (dendrite): Đây chính là các mạng dạng cây của các dây

thần kinh để nối các soma với nhau.
- Sợi trục (Axon): Đây là một nối kết, hình trụ dài và mang các tín hiệu
từ đó ra ngoài. Phần cuối của axon đƣợc chia thành nhiều nhánh nhỏ. Mỗi
nhánh nhỏ (cả của dendrite và axon) kết thúc trong một cơ quan nhỏ hình củ
hành đƣợc gọi là synapte mà tại đây các nơ ron đƣa các tín hiệu của nó vào
các nơr on khác. Những điểm tiếp nhận với các synapte trên các nơ ron khác
có thể ở các dendrite hay chính soma.
b/ Hoạt động.
Các tín hiệu đƣa ra bởi một synapte và đƣợc nhận bởi các dendrite là
các kích thích điện tử. Việc truyền tín hiệu nhƣ trên liên quan đến một q
trình hóa học phức tạp mà trong đó các chất truyền đặc trƣng đƣợc giải phóng
từ phía gửi của nơi tiếp nối. Điều này làm tăng hay giảm điện thế bên trong
thân của nơ ron nhận. Nơ ron nhận tín hiệu sẽ kích hoạt (fire) nếu điện thế
vƣợt khỏi một ngƣỡng nào đó và một xung (hoặc điện thế hoạt động) với độ
mạnh (cƣờng độ) và thời gian tồn tại cố định đƣợc gửi ra ngồi thơng qua
axon tới phần nhánh của nó rồi tới các chỗ nối synapte với các nơ ron khác.
Sau khi kích hoạt, nơ ron sẽ chờ trong một khoảng thời gian đƣợc gọi là chu
kỳ, trƣớc khi nó có thể đƣợc kích hoạt lại. Synapses là hƣng phấn (excitatory)
nếu chúng cho phép các kích thích truyền qua gây ra tình trạng kích hoạt
(fire) đối với nơ ron nhận. Ngƣợc lại, chúng là ức chế (inhibitory) nếu các
kích thích truyền qua làm ngăn trở trạng thái kích hoạt (fire) của nơ ron nhận.
1.3.2. Mạng nơ ron nhân tạo.
1.3.2.1. Khái niệm.
Nơ ron nhân tạo là sự sao chép nơ ron sinh học của não ngƣời, nó có
những đặc tính sau:
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

- Mỗi nơ ron có một số đầu vào, những kết nối (Synaptic) và một đầu
ra (axon)
- Một nơ ron có thể hoạt động (+35mV) hoặc khơng hoạt động (-0,75mV)
- Chỉ có một đầu ra duy nhất của một nơ ron đƣợc nối với các đầu vào
khác nhau của nơ ron khác. Điều kiện để nơ ron đƣợc kích hoạt hay khơng
kích hoạt chỉ phụ thuộc những đầu vào hiện thời của chính nó.Thơng thƣờng
một nơ ron có 3 phần nhƣ hình 1.2:
y1

Wi1

yj

Wij

ym



WiN

u1

yi

a(.)

W*iM

1

xi

Hàm
động học
phi tuyến

W*ik

uM

vi

W*i1

uk

Hệ
động
học
tuyến
tính


Hình 1.2. Mơ hình nơ ron nhân tạo

Trên mỗi đầu vào của nơ ron có gắn một trọng số để liên kết giữa nơ
ron thứ i và nơ ron thứ j. Các trọng số này tƣơng tự nhƣ các tế bào cảm giác
của mạng nơ ron sinh học.
N

M

j 1

k 1

*
Tổng trọng: Vi(t) = neti(t) =  Wij . y j (t )   W ik .u k (t )   i

(1.1)

Với Vi(t) là tổng trọng của nơ ron thứ i; yj(t) là các đầu ra của nơ ron
thứ jvà uk(t) là các đầu vào từ bên ngoài tƣơng ứng với các trọng số Wij và
W*ik;  là hằng số gọi là ngƣỡng của nơ ron thứ i.
Hệ động học tuyến tính SISO: Đầu vào là vi đầu ra là xi. Ở dạng toán tử
Laplace ta có:
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Xi(s)= H(s).Vi(s)

(1.2)

Dạng thời gian của (1.2) có dạng (1.3)
t

xi (t ) 

 h(t   )vi ( )d

(1.3)



Quan hệ của H(s) và h(t) và quan hệ vào – ra tƣơng ứng của nơ ron
đƣợc cho trong bảng 1.1
Bảng 1.1
e  sT

1
s

1
sT  1

 (t )

1(t)

1 T
e
T

 (t  T )

xi(t) = wi(t)

xi(t) = vi(t)

Txi(t) +xi(t) = vi(t)

xi(t) = vi(t-T)

H(s)

1

h(t)

t

Hàm động học phi tuyến: Mô tả mối quan hệ của đầu ra yi với đầu vào xi:
yi=a(xi)

với a(.) là hàm chuyển đổi.

Hàm chuyển đổi: Để tìm đƣợc đầu ra của nơ ron ta phải tiến hành qua hai
bƣớc nhƣ sau:
- Tìm các giá trị tổng trọng lƣợng đầu vào neti(t)
- Căn cứ vào neti(t) để tìm ra yi bằng các hàm chuyển đổi vào ra.
Hàm chuyển đổi a(.) thực hiện coi nơ ron nhƣ một hộp đen, chuyển đổi
một tín hiệu vào thành tín hiệu ra.Các dạng hàm chuyển đổi thƣờng đƣợc sử
dụng có dạng nhƣ sau:
+ Hàm Rump (Rump Function) là hàm có biểu diễn tốn học nhƣ (1.4):
a(f) =

1 nếu f > 1

f nếu 0 f  1
0 nếu f < 0

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

(1.4)



Biểu diễn hình học của hàm Rump nhƣ hình vẽ 1.3.(a)
+ Hàm bƣớc nhảy (Step Function) là hàm có biểu diễn toán học nhƣ (1.5):
1 nếu f  0
a(f) =
0 nếu f < 0

(1.5)

Biểu diễn hình học của hàm nhƣ hình vẽ 1.3.(b)
+ Hàm giới hạn cứng (Threshold Function) là hàm có biểu diễn tốn học
nhƣ (1.6):

1 nếu f  0
a(f) =

(1.6)

-1 nếu f < 0

Biểu diễn hình học của hàm nhƣ hình vẽ 1.3.(c)
+ Hàm chuyển đổi dạng tang hyperbolic là hàm có biểu diễn tốn học

nhƣ (1.7):
a(f)=

2
1p
1  e  f

(1.7)

Biểu diễn hình học của hàm nhƣ hình vẽ 1.3(d)
+ (Bipolar Sigmoid Function) là hàm có biểu diễn tốn học nhƣ (1.8):
a(f)=

2
1  e  f

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

(1.8)




Biểu diễn hình học của hàm nhƣ hình vẽ 1.3(e)
a

1

a

a

1

0 1

f

(a)

1

0

0

f

f
-1

(b)

(c)
1

1

0

0

-1

(d)

(e)

Hình 1.3. Đồ thị các dạng hàm chuyển đổi a(.)
(a). Hàm rum; (b). Hàm bƣớc nhảy; (c). Hàm giới hạn cứng;
(d). Tang hyperbolic; (e). Hàm sigmoid hai cực
1.3.2.2. Phân loại mạng nơ ron.
Nelson và IIlingworth (1991) đã đƣa ra mộy số loại cấu trúc của mạng
nơ ron nhƣ hình 1.4. Nơron đƣợc vẽ là các vòng tròn xem nhƣ một tế bào thần
kinh, chúng có các mối liên hệ đến các nơ ron khác nhờ các trọng số, lập
thành các ma trận trọng số tƣơng ứng.
Mỗi một nơ ron có thể phối hợp với các nơ ron khác tạo thành một lớp
các trọng số. Mạng một lớp truyền thẳng (Single- Layer Feedforward
Network) nhƣ hình 1.4 a
Có thể nối vài lớp nơ ron với nhau tạo thành mạng nhiều lớp truyền
thẳng (Multi- Layer Feedforward Network) nhƣ hình 1.4.b

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Hai loại mạng nơ ron một lớp và nhiều lớp đƣợc gọi là truyền thẳng
nếu đầu ra của mỗi nơ ron đƣợc nối với các đầu vào của các nơ ron của lớp
trƣớc đó.

Mạng nơ ron phản hồi là mạng mà đầu ra của mỗi nơ ron đƣợc quay trở lại
nối với đầu vào của các nơ ron cùng lớp đƣợc gọi là mạng Laeral nhƣ hình 1.4.c
Mạng nơ ron phản hồi có thể thực hiện đóng vịng đƣợc gọi là mạng nơ
ron hồi quy (Recurrent Network) nhƣ hình 1.4.d
w11

x1

y1

x2

y2

xm

yn

wmm
(a)

x1

y1

x2

y2

xm

yn
(b)

x1

y1

x2

y2

xm

x1
x1
x1

ym

y

(c)

(d)

x1

y1

x2

y2

xm

yn

(e)
(f)
Hình 1.4. Cấu trúc của một số loại mạng nơ ron thƣờng gặp
(a). Mạng nơ ron truyền thẳng một lớp; (b). Mạng nơ ron truyền thẳng
nhiều lớp
(c). Mạng nơ ron chỉ có một nơ ron tự hồi quy; (d). Mạng nơ ron hồi quy
một lớp;
(e). Mạng có cấu trúc ngang – hạn chế; (f). Mạng nơ ron hồi quy nhiều lớp.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Các nơ ron lớp vào trực tiếp nhận tín hiệu ở đầu vào, ở đó mỗi nơ ron chỉ
có một tín hiệu vào. Mỗi nơ ron ở lớp ẩn đƣợc nối với tất cả các nơ ron lớp
vào và lớp ra. Các nơ ron ở lớp ra có đầu vào đƣợc nối với tất cả các nơ ron ở
lớp ẩn, chúng là đầu ra của mạng. Cần chú ý rằng một mạng nơ ron cũng có
thể có nhiều lớp ẩn. Các mạng nơ ron trong mỗi nơ ron chỉ đƣợc liên hệ với
tất cả các nơ ron ở lớp kế tiếp và tất cả các mối liên kết chỉ đƣợc xây dựng từ
trái sang phải đƣợc gọi là mạng nhiều lớp truyền thẳng (perceptrons).
1.3.2.3. Các luật học.

Thông thƣờng mạng nơ ron đƣợc điều chỉnh hoặc đƣợc huấn luyện để
hƣớng các đầu vào riêng biệt đến đích ở đầu ra. Cấu trúc huấn luyện mạng
đƣợc chỉ ra trên hình 1.5 Ở đây, hàm trọng của mạng đƣợc điều chỉnh trên cơ
sở so sánh đầu ra với đích mong muốn (taget) cho tới khi đầu ra mạng phù
hợp với đích. Những cặp vào/đích (input/taget) đƣợc dùng để giám sát cho sự
huấn luyện mạng.
Đích
Vào

Hàm trọng (weights)
giữa các nơ ron

So sánh

Điều chỉnh
Hình 1.5. Cấu trúc huấn luyện mạng nơ ron

Để có đƣợc một số cặp vào/ra, ở đó mỗi giá trị vào đƣợc gửi đến mạng
và giá trị ra tƣơng ứng đƣợc thực hiện bằng mạng là sự xem xét và so sánh
với giá trị mong muốn. Bình thƣờng tồn tại một sai số bởi lẽ giá trị mong
muốn khơng hồn tồn phù hợp với giá trị thực. Sau mỗi lần chạy, ta có tổng
bình phƣơng của tất cả các sai số. Sai số này đƣợc sử dụng để xác định các
hàm trọng mới.
Sau mỗi lần chạy, hàm trọng của mạng đƣợc sửa đổi với đặc tính tốt
hơn tƣơng ứng với đặc tính mong muốn. Từng cặp giá trị vào/ra phải đƣợc

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

kiểm tra và trọng lƣợng đƣợc điều chỉnh một vài lần. Sự thay đổi các hàm
trọng của mạng đƣợc dừng lại nếu tổng các bình phƣơng sai số nhỏ hơn một
giá trị đặt trƣớc hoặc đã chạy đủ một số lần chạy xác định (trong trƣờng hợp
này mạng có thể không thoả mãn yêu cầu đặt ra do sai lệch cịn cao). Có hai
kiểu học:
- Học thơng số (Paramater Learning): Tìm ra biểu thức cập nhật các
thơng số về trọng số, cập nhật kết nối giữa các nơ ron.
- Học cấu trúc (Structure Learning): Trọng tâm là sự biến đổi cấu trúc
của mạng nơ ron gồm số lƣợng nút (node) và các mẫu liên kết
Nhiệm vụ của việc học thông số là bằng cách nào đó, tìm đƣợc ma trận
chính xác mong muốn từ ma trận giả thiết ban đầu với cấu trúc của mạng nơ
ron có sẵn. Để làm đƣợc việc đó, mạng nơ ron sử dụng các trọng số điều
chỉnh, với nhiều phƣơng pháp học khác nhau có thể tính tốn gần đúng ma
trận W cần tìm đặc trƣng cho mạng.Có ba phƣơng pháp học:
- Học có giám sát ( Supervised Learning).
Là quá trình học ở mỗi thời điểm thứ i khi đƣa tín hiệu x i vào mạng nơ
ron, tƣơng ứng sẽ có các đáp ứng mong muốn d i của đầu ra cho trƣớc ở thời
điểm đó. Hay nói cách khác, trong q trình học có giám sát, mạng nơ ron
đƣợc cung cấp liên tục các cặp số liệu mong muốn vào –ra ở từng thời điểm
(x1 ,d1), (x2, d2),… (xk, dk),…khi cho tín hiệu vào thực là xk sẽ tƣơng ứng có
tín hiệu đầu ra cũng đƣợc lặp lại là d k giống nhƣ mong muốn. Kết quả của
q trình học có giám sát là tạo đƣợc một hộp đen có đầu vào là véc tơ tín
hiệu vào X sẽ đƣa ra đƣợc câu trả lời đúng d.
Để đạt đƣợc kết quả mong muốn trên, khi đƣa vào tín hiệu xk, thơng
thƣờng sẽ có sai lệch ek giữa tín hiệu đầu ra thực yk với tín hiệu đầu ra mong
muốn dk. Sai lệch đó sẽ đƣợc truyền ngƣợc tới đầu vào để điều chỉnh thông
số mạng nơ ron là ma trận trọng số W…Quá trình cứ thế tiếp diễn sao cho
sai lệch giữa tín hiệu ra mong muốn và tín hiệu ra thực tế nằm trong phạm vi
cho phép, kết quả nhận đƣợc ma trận trọng số với các phần tử wij đã đƣợc

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




điều chỉnh phù hợp với đặc điểm của đối tƣợng hay hàm số mạng nơ ron cần
học. Mơ hình học có giám sát đƣợc minh hoạ nhƣ hình 1.6
Mạng
nơron
e

x

y

Máy tính
phát hiện
sai

d

Hình 1.6. Mơ hình học có giám sát và học củng cố

- Học củng cố:(Reinforcement Learning).

Là phƣơng pháp học trong đó tín hiệu d đƣợc đƣa từ bên ngồi nhƣng
khơng đƣợc đầy đủ mà có thể chỉ đƣa đại diện 1 bít để có tính chất kiểm tra
q trình đúng hay sai. Tín hiệu đó đƣợc gọi là tín hiệu củng cố
(Reinforcement Signal). Phƣơng pháp học củng cố chỉ là một phƣơng pháp
học riêng của phƣơng pháp học có giám sát, bởi vì nó cũng nhận tín hiệu chỉ

đạo từ bên ngồi. Chỉ khác là tín hiệu củng cố có tính ƣớc lƣợng hơn là để
dạy. Tín hiệu giám sát bên ngồi d thƣờng đƣợc tiến hành bởi các tín hiệu
ƣớc lƣợng để tạo thông tin ƣớc lƣợng cho mạng nơ ron điều chỉnh trọng số
với hy vọng sự ƣớc lƣợng đó mang lại sự chính xác trong q trình tính tốn.
Mơ hình học củng cố đƣợc minh hoạ nhƣ hình 1.6
- Học khơng có giám sát (Unsupervied Learning).
Trong trƣờng hợp này, hồn tồn khơng có tín hiệu ở bên ngồi. Giá trị
mục tiêu điều khiển khơng đƣợc cung cấp và không đƣợc tăng cƣờng. Mạng
phải khám phá các mẫu, các nét đặc trƣng, tính cân đối, tính tƣơng quan…
Trong khi khám phá các đặc trƣng khác, mạng nơ ron đã chải qua việc tự thay
đổi thông số, vấn đề đó đƣợc gọi tự tổ chức (Self- Organizing). Mơ hình học
khơng có giám sát đƣợc minh hoạ nhƣ hình 1.17
x

Mạng
nơron

y

Hình 1.7. Mơ hình học khơng có giám sát
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Luật học trọng số ở dang cơ bản hình 1.8
wi1
x1

Nơ ron thứ i

xj

y
wij
wi

xm-1

wim-1= 

xm= -1

r
x(t)

Máy phát tín
hiệu học

d


Hình 1.8. Sơ đồ luật học trọng số ở dang cơ bản

Trong đó tín hiệu vào xj, j=1,2,3…,m, có thể đƣợc lấy từ đầu ra của các
nơ ron khác hoặc có thể đƣợc lấy từ bên ngồi. Tín hiệu mong muốn d i có sẵn
chỉ có trong phƣơng pháp học có giám sát hoặc củng cố. Từ hai phƣơng pháp
học trên, trọng số của nơ ron thứ i đƣợc thay đổi tuỳ theo tín hiệu ở đầu vào
mà nó thu nhận và giá trị đầu ra của nó. Trong phƣơng pháp học khơng có
giám sát sự thay đổi của trọng số chỉ dựa trên cơ sở các giá trị đầu vào và đầu

ra. Dạng tổng quát của luật học trọng số của mạng nơ ron là cho biết gia số
của véc tơ wi là wi tỷ lệ với tín hiệu học r và tín hiệu đầu vào x(t):
wi(t) = .r.x(t)

(1.9)

: Là hằng số học, xác định tốc độ học và là một số dƣơng
r: Là tín hiệu học r = fr(wi,x,di)
Biểu thức (1.9) là biểu thức chung để tính số gia của trọng số, ta thấy
trọng số wi = (wi1, wi2, …, wim)T có gia số tỷ lệ với tín hiệu vào x và tín
hiệu học r. Từ các biểu thức trên ta có véc tơ trọng số ở thời điểm (t+1)
đƣợc tính là:
w i(t+1) = wi(t) + .fr{wi (t), x(t), di(t)}.x(t)

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

(1.10)




Vấn đề quan trọng trong việc phân biệt luật học cập nhật trọng số có
giám sát hay khơng có giám sát là tín hiệu học r nhƣ thế nào để thay đổi hoặc
cập nhật trọng số có trong mạng nơ ron.
Có 2 phƣơng pháp cơ bản để huấn luyện mạng nơ ron: Huấn luyện gia
tăng (tiến dần) và huấn luyện theo gói. Sự huấn luyện theo gói của mạng nhận
đƣợc bằng việc thay đổi hàm trọng và độ dốc trong một tập (batch) của véc tơ
đầu vào. Huấn luyện tiến dần là thay đổi hàm trọng và độ dốc của mạng sau
mỗi lần xuất hiện của một phần tử véc tơ đầu vào. Huấn luyện tiến dần đôi
khi đƣợc xem nhƣ huấn luyện trực tuyến hay huấn luyện thích nghi.

Mạng nơ ron đã đƣợc huấn luyện để thực hiện những hàm phức tạp
trong nhiều lĩnh vực ứng dụng khác nhau nhƣ trong nhận dạng, phân loại sản
phẩm, xử lý tiếng nói, chữ viết và điều khiển hệ thống.
Thơng thƣờng để huấn luyện mạng nơron, ngƣời ta sử dụng phƣơng
pháp huấn luyện có giám sát, nhƣng cũng có mạng thu đƣợc từ sự huấn luyện
khơng có giám sát. Mạng huấn luỵện khơng giám sát có thể đƣợc sử dụng
trong trƣờng hợp riêng để xác định nhóm dữ liệu.
1.4. Mơ hình tốn học mạng nơ ron truyền thẳng và mạng nơ ron elman.
1.4.1. Mạng nơ ron truyền thẳng.
1.4.1.1. Mạng nơ ron một lớp.
Một cấu trúc toán học mạng 1 lớp với R đầu vào và S nơ ron đƣợc chỉ
ra trên hình 1.9.
Trong đó:
-Véc tơ vào P có R phần tử PT = [p1 p2 … pR]
-Véc tơ vào n có S phần tử nT = [n1 n2 … nS]
-Véc tơ ra a có S phần tử aT = [a1 a2 … aS]

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Vào

Các nơron
w1,1

p1

1

p2

n1



1

.

n2

f
.
.

.

.

nS


wS,R
1

a2
.

b2

.

pR

a1

b1



p3

f

.
.

aS

f

bS

a = f(WP+b)

Hình 1.9. Cấu trúc mạng nơ ron truyền thẳng 1 lớp

Trong mạng này mỗi phần tử của véc tơ vào P liên hệ với đầu vào mỗi

nơ ron thông qua ma trận trọng lƣợng liên kết W. Bộ cộng của nơ ron thứ i
thu thập các trọng liên kết đầu vào và độ dốc để tạo thành một đầu ra vô
hƣớng ni. Các ni tập hợp với nhau tạo thành s phần tử của véc tơ vào n. Cuối
cùng ở lớp ra nơ ron ta thu đƣợc véc tơ a gồm s phần tử.
Ta có thể thiết lập lớp đơn của các nơ ron có các hàm chuyển khác
nhau một cách dễ dàng bởi lẽ hai mạng đƣợc đặt song song. Tất cả các mạng
có thể có chung đầu vào và mỗi mạng có thể thiết lập một vài đầu ra.
Các phần tử của véc tơ đầu vào đƣợc đƣa vào mạng thông qua ma trận
trọng W, với:
 w11 w12  w1R 
w w  w 
2R 
W   21 22




 wS 1 wS 2  wSR 

(1.11)

Trong đó: Chỉ số hàng trong các phần tử của ma trận W cho biết nơ ron
nơi đến còn chỉ số cột cho biết nơi xuất phát của trọng liên kết. Ví dụ: w12 nói
lên sự có mặt của tín hiệu vào từ phần tử thứ hai đến nơ ron thứ nhất với trong
liên kết là w12.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

Để đơn giản ta ký hiệu mạng
một lớp gồm S nơ ron, R đầu vào
nhƣ hình vẽ 1.10.

P
W
Rx1
SxR
1
b

Trong đó: véc tơ vào P có kích
thƣớc R, ma trận trọng liên kết W có
kích thƣớc S x R cịn a và b là các

Nơ ron

Vào

Sx1

R

véc tơ có kích thƣớc S. Nhƣ chúng ta
đã biết, một lớp mạng bao gồm ma
trận trọng liên kết, tốn tử nhân, véc

n
+

Sx1

f

a
Sx1

S

a = f(WP+b)
Hình 1.10. Ký hiệu mạng một lớp
R đầu vào và S nơ ron

tơ độ dốc b, bộ tổng và hàm truyền.
1.4.1.2. Mạng nơron nhiều lớp.
Để khảo sát mạng nhiều lớp trƣớc hết chúng ta cần đƣa ra các ký hiệu qui
ƣớc cho một lớp mạng. Đặc biệt ta cần phải phân biệt sự khác nhau giữa ma trận
trọng lƣợng liên kết ở đầu vào và các ma trận trọng liên kết giữa các lớp.
Ta gọi ma trận trọng lƣợng liên kết nối với đầu vào là các trọng vào
(input weights) và các ma trận đến từ lớp ra là trọng liên kết lớp (layer weights).
Ta sẽ dùng các chỉ số viết bên trên để phân biệt nguồn (chỉ số thứ hai) và đích
(chỉ số thứ nhất) cho các trọng liên kết và các phần tử khác của mạng.
Để minh hoạ, ta xét một lớp mạng có nhiều đầu vào nhƣ hình 1.11.
Trong đó R là số phần tử lớp vào và S1 là số nơron của lớp 1. Ta thấy ma trận
trọng liên kết với véc tơ vào P là ma trận trọng vào (IW1,1) có nguồn là 1 (chỉ
số thứ 2) và đích là 1 (chỉ số thứ nhất). Đồng thời các phần tử của 1 lớp nhƣ
độ dốc, tín hiệu vào hàm chuyển, đầu ra có chỉ số viết trên là 1 để nói rằng
chúng đƣợc liên kết với lớp thứ nhất (b1, n1, a1).
Một mạng nơ ron có thể có một vài lớp. Mỗi lớp có ma trận trọng liên
kết W, véc tơ độ dốc b và đầu ra a. Để phân biệt các ma trận trọng liên kết véc

tơ vào cho mỗi lớp mạng trong sơ đồ, ta thêm con số chỉ lớp viết ở phía trên
cho biến số quan tâm.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Vào

Lớp 1

P
Rx1

.

1
R

W1,1
1

S xR
1

b

n1
+

S1x1

S1x1

f

1

a1
S1x1

S1

a1 = f1(W1,1P+b1)
Hình 1.11. Ký hiệu một lớp mạng

Hình 1.12 là ký hiệu sơ đồ mạng 3 lớp. Trong đó có R1 đầu vào, S1 nơ
ron ở lớp 1, S2 nơron ở lớp 2 … Thông thƣờng, các lớp khác nhau có số nơ
ron khác nhau.
Chú ý rằng đầu ra của mỗi lớp trung gian là đầu vào của lớp tiếp theo.
Nhƣ vậy lớp 2 có thể đƣợc xem nhƣ mạng 1 lớp với S1 đầu vào, S2 nơ ron và
S2 x S1 trọng liên kết của ma trận W2. Đầu vào của lớp 2 là véc tơ a1, đầu ra là
véc tơ a2. Các lớp của mạng nhiều lớp đóng vai trị khác nhau. Lớp cuối cùng
là kết quả ở đầu ra của mạng, đƣợc gọi là lớp ra. Lớp đầu tiên thu thập tín
hiệu vào đƣợc gọi là lớp vào, các lớp khác đƣợc gọi là lớp ẩn. Mạng 3 lớp ở
trên có 1lớp ra (lớp3) có 1lớp vào (lớp1) và 1lớp ẩn (lớp 2).
Đối với mạng 3 lớp ta cũng có thể sử dụng ký hiệu tắt để biểu diễn
(hình 1.13). Mạng nhiều lớp rất mạnh, ví dụ có mạng 2 lớp, trong đó lớp
1 có hàm chuyển sigmoid, lớp 2 có hàm chuyển linear có thể đƣợc huấn
luyện để làm xấp xỉ một hàm bất kỳ (với số điểm gián đoạn có hạn chế).

Trong đó a3 là đầu ra của mạng, ta ký hiệu đầu ra này là y. Ta sẽ sử
dụng ký hiệu này để định rõ đầu ra của mạng nhiều lớp.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




Vào

Lớp 2 (lớp ẩn)

Lớp 1(lớp vào)

iw 1,,1
11

n1 1


1
1 b1

p1
p2

n21



f

3
a21 lw1,,12

2

a

1
2

f

1

b

1

1
2



f

3

a3 1

3

a3 2

3

1
2

n

n31



2

n



p3

f

1

a1 1

Lớp 3 (lớp ra)

a

f2

2

b

1

2
2

1

n32



f

3

1

b2
b22
1

……………………………………………………………………………………….
2
n2S 2 a S
n3S 3
a3 S
n1S 1 a1S
pR
f

f


f
2,1
3, 2
iw 1,,1R
2
lw S ,S
S
lwS3 ,S2
b3S
b1 S
1 bS
1
1
1 b

1

2

2

a1 = f1(W1,1P+b1)

1

a2 = f2(W2,1a1+b2)

a3 = f3(W3,2a2+b3)

Hình 1.12. Cấu trúc mạng nơ ron truyền thẳng 3 lớp

Vào

P

a1

IW1,1

n1

Rx1
1

S xR
1

R

Lớp 2

Lớp 1

+

f1

S1x1

LW2,1

a2

S1x1

n2
2

S xS
1

b1

Lớp 3

1

+

n3
S xS

2

1
3

b

S x1

S2

S

a1 = f1(IW1,1P+b1)

S2x1
3

S2x1

b2
2

1

f

2

a3 = y

LW3,2

S3x1

a2 = f2(LW2,1a1+b2)

+

f3

S3x1

S3x1
S3

a3 = f3(LW3,2a2+b3)

a3 = f3[LW3,2f2(LW2,1f1(IW1,1P+b1)+b2]+b3 = y
Hình 1.13. Ký hiệu tắt của mạng nơ ron truyền thẳng 3 lớp

b2 : là những trọng số của lớp ra
f2: là sự chuyển chức năng của lớp ra
a2: là đầu ra của lớp ra
Với S nơron lớp ra có thể có S x 1 ma trận của a2(k).

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




1.4.2. Mạng nơron Elman:
1.4.2.1. Cấu trúc mạng nơron Elman:
Mạng nơron Elman là một phần của mạng nơron hồi qui, nó đƣợc phát
minh bởi Elman ( Elman 1990) thông thƣờng là mạng hai lớp với các thông
tin phản hồi từ đầu ra của lớp thứ nhất tới đầu vào. Đƣờng hồi tiếp này cho
phép mạng Elman phát hiện và tạo ra những mẫu thời gian khác nhau. Điều
đó có nghĩa là sau khi huấn luyện mối quan hệ giữa đầu vào hiện tại và và các
lớp bên trong là quá trình đƣa ra đầu ra và miêu tả có liên quan đến những
thông tin cũ bên trong. Sơ đồ cấu trúc mạng Elman nhƣ hình 1.14

Hình 1.14. Sơ đồ cấu trúc mạng Elman
Mạng Elman có các nơron tansig trong lớp ẩn và những nơron purelin ở
lớp ra. Sự kết hợp này là rất đặc biệt vì trong mạng hai lớp với những hàm
truyền này có thể tạo ra bất kỳ hàm nào với độ chính xác tuỳ ý. Yêu cầu duy
nhất là lớp ẩn phải có đủ số nơron. Số nơron trong lớp ẩn càng nhiều thì mạng
càng mơ tả chính xác nhƣng cũng phức tạp hơn. Hình 3.2 là lƣợc đồ mạng
Elman với đầu vào x1  xn và hai lớp, lớp ẩn và lớp ra. Chúng ta có thể sử
dụng chức năng thay thế cho mỗi lớp. Một vài chức năng có giới hạn đầu ra
nên ta cần chọn chức năng phù hợp.
Mạng elman khác với mạng hai lớp thơng thƣờng trong đó lớp thứ nhất
có liên kết phản hồi. Hình 3.2 là lƣợc đồ mạng Elman
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

Hình 1.15. Lƣợc đồ mạng Elman
Sự trễ trong liên kết này lƣu trữ trị số từ bƣớc nhảy trƣớc, nó có thể
đƣợc sử dụng trong bƣớc nhảy hiện tại.
a1(k) = f1 (IW1,1x + LW1,1a1(k -1) + b1

(1.12)

Trong đó:
IW1,1 : là kích thƣớc ma trận thơng số vào của lớp phản hồi
X là m x1 kích thƣớc ma trận của các đầu vào
LW1,1 : là R x R kích thƣớc ma trận thông số hiện tại
a1(k -1) : là đầu ra của lớp hồi qui tại bƣớc nhảy thứ ( k – 1)
b1 : là trọng số của lớp hồi qui
f1 : là chức năng chuyển đổi của lớp hồi qui
a1(k) : là đầu ra của lớp hồi qui ở bƣớc nhảy k
Với R nơron lớp hồi qui có thể có một R x1 ma trận của a1(k)
a2(k)=f2(LW2,1a1(k)+b2)

(1.13)

Trong đó:
LW2,1: Là S xR kích thƣớc ma trận thơng số từ lớp hồi qui tới lớp ra.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên