Tiểu luận môn Máy học và ứng dụng NEURAL NETWORK VÀ THUẬT TOÁN LAN TRUYỀN NGƯỢC

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN

CAO HỌC KHÓA 8
NEURAL NETWORK VÀ THUẬT TOÁN LAN
TRUYỀN NGƯỢC
Giảng viên hướng dẫn: PGS.TS Vũ Thanh Nguyên
Học viên thực hiện: CH1301031 - Nguyễn Thành Phương
TP. Hồ Chí Minh, tháng 3 năm 2014
MỤC LỤC
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 3
CHƯƠNG 1: TỔNG QUAN
1.1 Lý do chọn đề tài
Bộ não con người là một máy tính kì diệu, từ lâu con người đã nghĩ tới viêc xây
dựng các mô hình tính toán, mô phỏng quá trình hoạt động của bộ não con người.
Trước đây, do công cụ tính toán chưa phát triển mạnh nên ý tưởng đó vẫn nằm trong
phòng thí nghiệm và chỉ những người nghiên cứu mới biết về nó. Khi máy tính điện
tử, công cụ chủ yếu của công nghệ thông tin hiện đại, phát triển tới mức độ cao thì
những ý tưởng này đã được hiện thực hoá. Chất lượng và khối lượng của các hoạt
động trí óc này không ngừng tăng lên theo sự tiến triển nhanh chóng về khả năng lưu
trữ và xử lý thông tin của máy. Từ hàng chục năm nay, cùng với khả năng tính toán
khoa học kỹ thuật không ngừng được nâng cao, các hệ thống máy tính đã được ứng
dụng và thực hiện được rất nhiều mô hình tính toán thông minh để phục vụ cho các
ngành kinh tế, xã hội, hình thành dần kết cấu hạ tầng thông tin quốc gia, nền móng của
sự phát triển kinh tế thông tin ở nhiều nước. Sự phong phú về thông tin, dữ liệu cùng
với khả năng kịp thời khai thác chúng đã mang đến những năng suất và chất lượng
mới cho công tác quản lý, hoạt động kinh doanh, phát triển sản xuất và dịch vụ
Một trong những mô hình tính toán thông minh đó, ta phải kể đến đó chính là
mạng Neural nhân tạo. Điểm quyết định nên sự tồn tại và phát triển ở một con người
đó chính là bộ não. Cùng với sự phát triển như vũ bão của công nghệ thông tin trong

thời đại ngày nay, con người đã sử dụng bộ não của mình để tư duy, để tạo ra một
mạng Neural nhân tạo có thể thực hiện tính toán và làm được những điều huyền bí,
tưởng chừng như nan giải! Với sự kết hợp kỳ diệu của tin học và sinh học, con người
đã có thể mô phỏng được hoạt động của các mạng noron trong bộ não của chúng ta
thông qua các chương trình máy tính.
Có lẽ mạng Neural không chỉ hấp dẫn đối với những người yêu thích công nghệ
thông tin bởi khả năng do con người huấn luyện, mà còn bởi những ứng dụng thực tiễn
trong cuộc sống của nó. Chúng ta hoàn toàn có thể nhận dạng dấu vết vân tay của tội
phạm trong hình sự, có thể dự đoán thị trường chứng khoán, dự đoán thời tiết, dự toán
chi phí cho một dự án đường cao tốc, khôi phục những tấm ảnh, hay một chiếc xe lăn
dành cho người khuyết tật có thể nhận được mệnh lệnh điều khiển bằng cử chỉ, hành
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 4
động, thậm chí là suy nghĩ của người ngồi trên xe v.v… nhờ có mạng Neural nhân
tạo.
Trong khuôn khổ của một tiểu luận, em chọn đề tài “Neural network và thuật
toán lan truyền ngược” nhằm tìm hiểu chung về mạng neural và thuật toán lan truyền
ngược, bên cạnh đó hoàn thành một chương trình hiện thực thuật toán này.
1.2 Mục đích nghiên cứu
- Tìm hiểu về mạng neural.
- Tìm hiểu và viết chương trình minh họa thuật toán lan truyền ngược với mạng neural.
1.3 Nội dung nghiên cứu
- Mạng Neural.
- Một số giải thuật học của các mạng Neural với các trọng số.
- Thuật toán lan truyền ngược
1.4 Bố cục báo cáo
- Chương 1: Tổng quan
- Chương 2: Mạng neural
- Chương 3: Thuật toán lan truyền ngược.
- Chương 4: Ứng dụng minh họa

- Chương 5: Kết luận và hướng phát triển
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 5
CHƯƠNG 2: MẠNG NEURAL
2.1 Cấu trúc và mô hình của một neural nhân tạo
Mô hình toán học của mạng neural sinh học được đề xuất bởi McCulloch và
Pitts, thường được gọi là Neural M-P, ngoài ra nó còn được gọi là phần tử xử lý và
được ký hiệu là PE (Processing Element).
Mô hình Neural có m đầu vào x
1
, x
2
, , x
m
, và một đầu ra y
i
như sau:
Hình 2.1. Mô hình một Neural nhân tạo
Giải thích các thành phần cơ bản:
- Tập các đầu vào: Là các tín hiệu vào của Neural, các tín hiệu này thường được đưa vào
dưới dạng một vector m chiều.
- Tập các liên kết (các trọng số): Mỗi liên kết được thể hiện bởi một trọng số (thường
được gọi là trọng số liên kết). Trọng số liên kết giữa tín hiệu vào thứ j cho Neural i
thường được ký hiệu là w
ij
. Thông thường các trọng số này được khởi tạo ngẫu nhiên ở
thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học mạng.
- Bộ tổng (Hàm tổng): Thường dùng để tính tổng của tích các đầu vào với trọng số liên
kết của nó.
- Ngưỡng: Ngưỡng này thường được đưa vào như một thành phần của hàm truyền.

- Hàm truyền: Hàm này dùng để giới hạn phạm vi đầu ra của mỗi Neural. Nó nhận đầu
vào là kết quả của hàm tổng và ngưỡng đã cho. Thông thường, phạm vi đầu ra của
mỗi Neural được giới hạn trong đoạn [0,1] hoặc [-1,1]. Các hàm truyền rất đa dạng, có
thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn hàm truyền tùy thuộc vào từng
bài toán và kinh nghiệm của người thiết kế mạng.
- Đầu ra: Là tín hiệu đầu ra của một Neural, với mỗi Neural sẽ có tối đa một đầu ra.
Về mặt toán học, cấu trúc của một Neural i được mô tả bằng cặp biểu thức sau:
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 6
)(
iii
netfy
θ
−=
và
j
n
j
iji
xwnet
∑
=
=
1
trong đó: x
1
, x
2
, …x
m

là các tín hiệu đầu vào, còn w
i1
, w
i2
,…,w
im
là các trọng số
kết nối của Neural thứ i, net
i
là hàm tổng, f là hàm truyền,
i
θ
là một ngưỡng, y
i
là tín
hiệu đầu ra của Neural.
Hàm truyền có thể có các dạng sau:
- Hàm bước



<
≥
=
00
01
xkhi
xkhi
y
(1)

- Hàm giới hạn chặt (hay còn gọi là hàm bước)



<−
≥
==
01
01
)sgn(
xkhi
xkhi
xy
(2)
- Hàm bậc thang





<
≤≤
>
==
00
10
11
)sgn(
xkhi
xkhix

xkhi
xy
(3)
- Hàm ngưỡng đơn cực
x
λ
−
+
=
e
y
1
1
với λ>0 (4)
- Hàm ngưỡng hai cực
1
1
2
−
+
=
− x
λ
e
y
với λ>0 (5)
Đồ thị các dạng hàm truyền được biểu diễn như sau:
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 7
Hình 2.2 Đồ thị các dạng hàm truyền

2.2 Lớp neural
Một lớp bao gồm một nhóm các noron được tổ chức theo một cách sao cho tất cả
chúng đều nhận cùng một vecto đầu vào X để xử lý tại cùng thời điểm. Việc sản sinh ra
Net đầu vào, biến đổi thành tín hiệu ra Out xuất hiện cùng một lúc trong tất cả các
noron.
Vì mỗi noron trong một lớp sản sinh ra Net đầu vào và tín hiệu ra Out riêng nên
tất cả các tín hiệu này được tổ chức thành các vecto Net và Out. Các vecto Out này có
thể dùng như tín hiệu vào X của các noron kế tiếp. Hình vẽ sau là một ví dụ về 1 lớp có
4 noron và vecto tín hiệu vào có 3 biến.
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 8
Hình 2.3.Lớpneural
2.3 Khái niệm và phân loại mạng neural
1.1.1 Mạng neural một lớp
Mỗi một Neural có thể phối hợp với các Neural khác tạo thành một lớp các
trọng số. Mạng một lớp truyền thẳng như hình 4. Một lớp Neural là một nhóm các
Neural mà chúng đều có cùng trọng số, nhận cùng một tín hiệu đầu vào đồng thời.
Hình 2.4. Mạng truyền thẳng một lớp
Trong ma trận trọng số, các hàng là thể hiện Neural, hàng thứ j có thể đặt nhãn
như một vector w
j
của Neural thứ j gồm m trọng số w
ji
. Các trọng số trong cùng một
cột thứ j (j=1,2, ,n) đồng thời cùng nhận một tín hiệu đầu vào x
j
.
w
j
= [w

j1
, w
j2
, , w
jm
]
Tại cùng một thời điểm, vector đầu vào x = [x
1
, x
2
, , x
n
] có thể là một nguồn bên
ngoài là cảm biến hoặc thiết bị đo lường đưa tới mạng.
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 9
1.1.2 Mạng neural truyền thẳng nhiều lớp
Hình 2.5. Mạng truyền thẳng nhiều lớp
Mạng neural nhiều lớp có các lớp được phân chia thành 3 loại sau đây:
- Lớp vào là lớp Neural đầu tiên nhận tín hiệu vào x
i
(i = 1, 2, , n). Mỗi tín hiệu
x
i
được đưa đến tất cả các Neural của lớp đầu vào. Thông thường, các Neural đầu vào
không làm biến đổi các tín hiệu vào x
i
, tức là chúng không có các trọng số hoặc không
có các loại hàm chuyển đổi nào, chúng chỉ đóng vai trò phân phối các tín hiệu.
- Lớp ẩn là lớp Neural sau lớp vào, chúng không trực tiếp liên hệ với thế giới bên

ngoài như các lớp Neural vào/ra.
- Lớp ra là lớp Neural tạo ra các tín hiệu ra cuối cùng.
1.1.3 Mạng neural phản hồi
Mạng neural phản hồi là mạng mà đầu ra của mỗi Neural được quay trở lại nối
với đầu vào của các Neural cùng lớp được gọi là mạng Laeral như hình 6
Hình 2.6. Mạng hồi tiếp một lớp
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 10
1.1.4 Mạng neural hồi quy
Hình 2.7.Mạng neural hồi quy
Mạng neural phản hồi có thể thực hiện đóng vòng được gọi là mạng neural hồi
quy như hình 7. Mạng neural hồi quy có trọng số liên kết đối xứng như mạng
Hopfield, mạng luôn hội tụ về trạng thái ổn định (Hình 6). Mạng BAM thuộc nhóm
mạng neural hồi quy, gồm 2 lớp liên kết 2 chiều, không được gắn với tín hiệu vào/ra.
Nghiên cứu mạng neural hồi quy mà có trọng số liên kết không đối xứng, thì sẽ gặp
phải vấn đề phức tạp nhiều hơn so với mạng truyền thẳng và mạng hồi quy có trọng số
liên kết đối xứng.
1.1.5 Mạng Hopfield
Mạng Hopfield là mạng phản hồi một lớp, được chỉ ra trong hình 6. Cấu trúc chi
tiết của nó được thể hiện trong hình 8. Khi hoạt động với tín hiệu rời rạc, nó được gọi
là mạng Hopfield rời rạc, và cấu trúc của nó cũng được gọi là mạng hồi quy.
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 11
Hình 2.8. Cấu trúc của mạng Hopfield
Như mạng Hopfield đã vẽ ở trên, ta thấy nút có một đầu vào bên ngoài x
j
và một
giá trị ngưỡng
j
θ

(j = 1,2, n). Một điều quan trọng cần nói ở đây là mỗi nút không có
đường phản hồi về chính nó. Nút đầu ra thứ j được nối tới mỗi đầu vào của nút khác
qua trọng số w
ij
, với i
≠
j, (i = 1,2, ,n), hay nói cách khác w
ii
= 0, (với i = 1,2, ,n).
Một điều quan trọng nữa là trọng số của mạng Hopfield là đối xứng, tức là w
ij
=
w
ji
, (với i,j = 1,2, ,n). Khi đó, luật cập nhật cho mỗi nút mạng là như sau:
,sgn
1
)()1(










−+=
∑

≠
=
+
n
ij
j
i
k
jij
k
i
xywy
θ
i = 1,2, ,n (6)
Luật cập nhật trên được tính toán trong cách thức không đồng bộ. Điều này có
nghĩa là, với một thời gian cho trước, chỉ có một nút mạng cập nhật được đầu ra của
nó. Sự cập nhật tiếp theo trên một nút sẽ sử dụng chính những đầu ra đã được cập
nhật. Nói cách khác, dưới hình thức hoạt động không đồng bộ của mạng, mỗi đầu ra
được cập nhật độc lập.
Có sự khác biệt giữa luật cập nhật đồng bộ và luật cập nhật không đồng bộ. Với
luật cập nhật không đồng bộ thì sẽ chỉ có một trạng thái cân bằng của hệ (với giá trị
đầu đã được xác định trước). Trong khi đó, với luật cập nhật đồng bộ thì có thể làm
mạng hội tụ ở mỗi điểm cố định hoặc một vòng giới hạn.
1.1.6 Mạng BAM
Mạng BAM bao gồm hai lớp và được xem như là trường hợp mở rộng của mạng
Hopfield. Ở đây ta chỉ xét mạng rời rạc, vì nó đơn giản và dễ hiểu.
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 12
Hình 2.9. Cấu trúc của BAM
Khi mạng neural được tích cực với giá trị đầu vào của vector tại đầu vào của một

lớp, mạng sẽ có hai mẫu trạng thái ổn định, với mỗi mẫu tại đầu ra của nó là một lớp.
Tính động học của mạng thể hiện dưới dạng tác động qua lại giữa hai lớp. Cụ thể hơn,
giả sử một vector đầu vào x được cung cấp cho đầu vào của lớp Neural y. Đầu vào
được xử lý và truyền tới đầu ra của lớp y như sau:
y’ = a(wx) ;








=
∑
jiji
xway
'
; với i = 1,2, ,n (7)
Ở đó a(.) là hàm truyền, vector y’ bây giờ lại nuôi trở lại lớp Neural X và tạo nên
đầu ra như sau:
x’ = a(w
T
y’);







=
∑
=
n
i
iijj
ywax
1
; với j = 1,2, ,m (8)
Sau đó x’ nuôi trở lại đầu vào của lớp y và tạo ra hàm y’’ theo phương trình (7).
Quá trình này cứ tiếp tục, bao gồm các bước như sau:
y
(1)
= a(wx
(0)
) (truyền thẳng lần thứ nhất)
x
(2)
= a(w
(T)
y
(1)
) (truyền ngược lần thứ nhất)
y
(3)
= a(wx
(2)
) (truyền thẳng lần thứ hai)
x
(4)

= a(w
(T)
y
(3)
) (truyền ngược lần thứ hai) (9)

y
(k-1)
= a(wx
(k-2)
) (truyền thẳng lần thứ k/2)
x
(k)
= a(w
(T)
y
(k-1)
) (truyền ngược lần thứ k/2)
Chú ý rằng trạng thái cập nhật trong phương trình (9) là đồng bộ theo phương
trình (7) và (8). Trạng thái cập nhật cũng có thể không đồng bộ theo phương trình (7)
và (8) với các nút i, j được chọn tự do. Người ta đã chỉ ra rằng, hệ thống ổn định cho
cả hai chế độ đồng bộ và không đồng bộ. Tuy nhiên, chế độ đồng bộ sẽ làm cho hệ
thống hội tụ nhanh hơn nhiều.
2.4 Các thủ tục học của mạng
Nguyên tắc học của mạng noron được chia làm 2 loại: học tham số và học cấu trúc.
Trong đo, học tham số quam tâm đến chiến lược hiệu chỉnh trong số của các noron
trong mạng. Học cấu trúc tập trung vào việc thay đổi cấu trúc bao gốm số lớp, số
noron, cấu trúc topo của các trọng số. Cả 2 loại có thể học đồng thời hoặc tách biệt.
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 13

1.1.7 Học tham số
Giả sử co n noron, mỗi noron có m trọng số. Chúng có thể được kết hợp lại tạo
thành ma trận dạng sau:
W=














T
n
T
T
W
W
W

2
1
=













nmnn
m
m
WWW
WWW
WWW




21
22221
11211
Trong đó, w
i
=(w
i1
,w
i2

,…,w
im
)
T
, i=1,2,…,n là vecto trọng số của noron thứ i và
w
ij
là trọng số kết nối từ noron thứ j đến noron thứ i.
Các thủ tục học tham số nhằm tìm kiếm ma trận trọng số W sao cho mạng có
khả năng đưa ra các dự báo sát với thực tế. Các thủ tục học tham số có thể chia thành 3
lớp nhỏ hơn là: học có chỉ đạo (học có thầy), học tăng cường, học không có chỉ
đạo(học không có thầy).
1.1.8 Học có chỉ đạo:
Mỗi lần vectơ tín hiệu vào X được cung cấp cho mạng, ta cũng cấp luôn cho mạng
vectơ đầu ra mong muốn là Y. Và mạng phải sản sinh ra tín hiệu ra Out sao cho nó gần với Y
nhất. Cụ thể, nếu ta cấp một tập ngẫu nhiên M=(X
i
,Y
i
) tức là khi vectơ X
i
đi vào mạng, vectơ
đầu ra Y
i
cũng được cung cấp (hình 1).Độ lệch giữa tín hiệu đầu ra Out và vectơ đầu ra Y
i
sẽ
được bộ sản sinh sai số thu nhận và sản sinh ra tín hiệu sai số. Tín hiệu sai số này sẽ đi vào
mạng và mạng sẽ hiệu chỉnh các trọng số của mình sao cho tín hiệu đầu ra Out sẽ gần với
vectơ đầu ra mong muốn Y

i.
.
Nếu tín hiệu đầu ra Out= Y thì lúc đó mạng noron đã bão hoà, khi đó thủ tục học của
mạng đã hội tụ.
Vecto vào
Mạng noron
Sản sinh sai số
Tín hiệu ra Out
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 14
1.1.9 Học tăng cường:
cũng là một dạng của học có chỉ đạo vì mạng noron vẫn nhận tín hiệu bên ngoài môi trường.
Tuy nhiên, tín hiệu ngoài môi trường chỉ là những tín hiệu mang tính phê phán, chứ không
phải là các chỉ dẫn cụ thể như trong học có chỉ đạo. Nghĩa là, tín hiệu tăng cường chỉ có thể
nói cho mạng biết tín hiệu vừa sản sinh là đúng hay sai chứ không chỉ cho mạng biết tín hiệu
đúng như thế nào. Tín hiệu tăng cường được xử lý bởi bộ xử lý tín hiệu tăng cường (hình 2)
nhằm mục đích giúp cho mạn hiệu chỉnh các trọng số với hi vọng nhận được tín hiệu tăng
cường tốt hơn trong tương lai. Các thủ tục học tăng cường thường được biết đến như các thủ
tục học với nhà phê bình chứ không phải là học với thầy như các thủ tục học có chỉ đạo.
Vecto vào
Mạng noron
Tín hiệu ra Out
Sản sinh tín hiệu
tăng cường
Tín hiệu tăng cường
Hình 2.11- Sơ đồ học tăng cường
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Hình 2.10 - Sơ đồ học có chỉ đạo
Trang 15
1.1.10Học không chỉ đạo:

Trong thủ tục này, không có thông tin nào từ bên ngoài môi trường chỉ ra tín hiệu đầu
ra Out phải như thế nào hoặc đúng hay sai. Mạng noron phải tự khám phá các đặc điểm, các
mối quan hệ đang quan tâm như: dạng đường nét, có chuẩn – có bình thường hay không, các
hệ số tương quan, tính cân xứng, tính chạy,… của các mẫu học và sau đó chuyển những quan
hệ tìm thấy qua đầu ra. Trong quá trình học, các trọng số của mạng sẽ thay đổi để thể hiện các
đặc tính được phát hiện.
Để dễ hình dung công việc này, chúng ta hãy nhớ tới công việc của các nhà
thống kê, nhất là các nhà thống kê dùng máy tính hiện đại.
Vecto vào
Mạng noron
Tín hiệu ra Out
Hình2.12- Sơ đồ học không chỉ đạo
1.1.11Học cấu trúc
Viêc học cấu trúc là việc tìm kiếm các tham số của cấu trúc mạng để tìm ra một
cấu trúc mạng hoạt động tốt nhất. Trong thực tế, việc học cấu trúc là việc tìm ra số lớp
ẩn và số noron trên mỗi lớp đó. Các kĩ thuật như giải thuật di truyền hay lập trình tiến
hoá thường được sử dụng trong các thủ tục học cấu trúc. Các kỹ thuật này thường chạy
rất lâu thậm chí đối với các mạng có kích thước trung bình.
1.1.12Sử dụng mạng
Giả sử đã huấn luyện mạng với tập mẫu {(Xp, Yp)} để được ma trận trọng số W.
Quá trình lan truyền trong mạng một vector tín hiệu vào X = (x
1
, x
2
, x
3
) được cho bởi:
out = g(w
64
a

4
+ w
65
a
5
) = g(w
64
g(w
41
x
1
+ w
42
x
2
+ w
43
x
3
) w
65
g(w
51
x
1
+ w
52
x
2
+ w

53
x
3
))
= F(X, W)
*) Khả năng tính toán của mạng nhiều lớp:
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 16
Với một lớp ẩn, mạng có thể tính toán xấp xỉ một hàm liên tục bất kỳ với các
biến là các tín hiệu đầu vào.
Với hai lớp ẩn, mạng có thể tính toán xấp xỉ một hàm bất kỳ. Tuy vậy, số noron
trong các lớp ẩn có thể tăng theo hàm mũ đối với số đầu vào và cho đến nay vẫn chưa
có những cơ sở lý luận đầy đủ để khảo sát họ các hàm có thể xấp xỉ nhờ các mạng
nhiều lớp.
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 17
CHƯƠNG 3: THUÂT TOÁN LAN TRUYỀN NGƯỢC
3.1 Khảo sát nguyên lý mạng nơ-ron nhiều lớp lan truyền ngược
Việc xử lý dạy nhiều mạng nơ-ron nhiều lớp dùng giải thuật lan truyền ngược.
Minh họa này sử dụng ba lớp nơ-ron hai đầu vào và một đầu ra, Hình sau đây minh
họa việc sử dụng.
Mỗi nơron bao gồm hai đơn vị. Đơn vị đầu tiên thêm các sản phẩm có trọng
lượng hệ số và tín hiệu đầu vào. Các đơn vị thứ hai thực hiện chức năng phi tuyến,
được gọi là chức năng kích hoạt nơ-ron. Tín hiệu e là tín hiệu hàm cộng đầu ra, và y =
f (e) là tín hiệu đầu ra của các phần tử phi tuyến. Tín hiệu y cũng là tín hiệu đầu ra của
nơ-ron.
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 18
Để dạy mạng nơ-ron chúng ta cần tập dữ liệu huấn luyện. Tập dữ liệu huấn
luuyện bao gồm các tín hiệu đầu vào (x1 và x2) được gán với mục tiêu tương ứng (đầu

ra mong muốn) z. Huấn luyện mạng là một quá trình lặp đi lặp lại. Trong mỗi lần lặp
trọng lượng hệ số của các nút được thay đổi sử dụng dữ liệu mới từ những bài tập tập
dữ liệu. Sửa đổi được tính toán sử dụng thuật toán mô tả sau đây: Mỗi bước huấn
luyện bắt đầu bằng việc buộc (forcing) cả hai tín hiệu đầu vào từ tập huấn luyện. Sau
giai đoạn này chúng ta có thể xác định tín hiệu đầu ra giá trị cho mỗi nơ-ron trong mỗi
lớp mạng. Hình ảnh dưới đây minh họa cách tín hiệu được truyền qua mạng, biểu
tượng w
(xm) n
biểu diễn cho trọng số của các kết nối giữa các mạng đầu vào x
m
và nơ-
ron n trong lớp đầu vào. Biểu tượng yn biểu diễn cho tín hiệu đầu ra của nơ-ron n.
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 19
Lan truyền các tín hiệu thông qua các lớp ẩn. Biểu tượng w
mn
biểu diễn cho trọng
số của các kết nối giữa đầu ra của nơ-ron m và đầu vào của nơ-ron n trong các lớp tiếp
theo.
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 20
Lan truyền các tín hiệu qua các lớp đầu ra.
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 21
Trong bước tiếp theo thuật toán tín hiệu đầu ra của mạng ở đây là y được so sánh
với giá trị đầu ra mong muốn (mục tiêu), được tìm thấy trong tập dữ liệu huấn luyện.
Sự khác biệt được gọi là tín hiệu lỗi δ của lớp nơ-ron ra (output).
Không thể tính toán tín hiệu sai cho nơ-ron nội bộ trực tiếp, bởi vì giá trị đầu ra
của nơ-ron chưa được biết. Trong nhiều năm, phương pháp hiệu quả để huấn luyện
mạng nhiều lớp không được biết. Chỉ trong thập niên tám mươi giữa các thuật toán

lan truyền ngược đã được đưa ra. Ý tưởng là để tuyên truyền tín hiệu lỗi δ (tính ở
bước giảng dạy duy nhất) trở lại tất cả các nơ-ron, mà tín hiệu đầu ra là đầu vào cho
các nơ-ron bàn đến.
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 22
Trọng lượng 'hệ số w
mn
được sử dụng để lan truyền lỗi trở lại bằng việc sử dụng
điều này trong tính toán giá trị đầu ra. Chỉ hướng dòng dữ liệu được thay đổi (tín hiệu
được truyền từ đầu ra để đầu vào sau khi khác). Kỹ thuật này được sử dụng cho tất cả
các lớp mạng. Nếu lỗi lan truyền đến từ vài nơ-ron chúng được thêm vào. Xem
hìnhminh họa sau đây:
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 23
Khi tín hiệu lỗi mỗi nơ-ron được tính toán, các hệ số trọng lượng của mỗi nút đầu
vào nơ-ron có thể được sửa đổi. Trong công thức dưới đây df (e) / de biểu diễn dẫn
xuất hàm kích hoạt nơ-ron (có trọng số bị sửa đổi).
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 24
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương
Trang 25
GVHD: PGS.TS Vũ Thanh Nguyên HV: Nguyễn Thành Phương