TIỂU LUẬN MÔN HỌC CHUYÊN ĐỀ ĐỀ TÀI: NEURON MODEL ANH NETWORK ARCHITECTURES

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI

VIỆN ĐÀO TẠO SAU ĐẠI HỌC

TIỂU LUẬN MÔN HỌC
CHUYÊN ĐỀ
ĐỀ TÀI:

NEURON MODEL ANH NETWORK ARCHITECTURES
Giảng viên hướng dẫn

:

TS. NGUYỄN HỮU TRUNG

Nhóm 14

:

ĐỖ HỮU TRỌNG PAGE 1-14
VÕ ANH TUẤN PAGE 15-20

Lớp

:

KTTT1


MỤC LỤC

Nhóm 14

2


Chương 2: Cấu trúc mạng và mơ hình nơron
Trong chương 1, chúng tơi đã trình bày một mơ tả đơn giản về các mạng nơron sinh
học và mạng nơron. Bây giờ chúng tơi sẽ giới thiệu về mơ hình tốn học đơn giản về
nơron và sẽ giải thích các nơron nhân tạo này có thể được liên kết tương tác để tạo thành
nhiều cấu trúc mạng. Chúng tôi cũng sẽ minh họa hoạt động cơ bản của các mạng này
thông qua một số ví dụ đơn giản. Khái niệm và ký hiệu được sử dụng trong chương này
sẽ được sử dụng trong suốt cuốn sách này.
Chương này không bao hàm tất cả các cấu trúc mà sẽ được sử dụng trong cuốn sách
này nhưng nó giới thiệu các khối lắp ghép cơ bản. Các cấu trúc phức tạp hơn sẽ được giới
thiệu và thảo luận khi cần thiết trong những chương sau. Tuy nhiên nhiều chi tiết được
trình bày ở đây. Hãy chú ý rằng người đọc không cần thiết nhớ tất cả tài liệu/ cơng thức/
kí hiệu trong chương này ở lần đọc đầu tiên. Thay vào đó, hãy đọc sách như một tiền đề
để bạn bắt đầu và như một nguồn để bạn có thể xem lại.

Lý thuyết và các ví dụ
1. Các ký hiệu

Các mạng nơron mới đến nỗi mà các kí hiệu tốn học và sự biểu diễn cấu trúc tiêu
chuẩn cho chúng chưa được thiết lập vững chắc. Hơn nữa, giấy tờ và sách về các mạng
nơron đến từ nhiều lĩnh vực khác nhau, bao gồm kỹ thuật, vật lý, tâm lý và toán học và
nhiều tác giả có xu hướng sử dụng từ vựng cá biệt cho chuyên môn của họ. Kết quả là,
nhiều cuốn sách và giây tờ trong lĩnh vực này khó để đọc và các khái niệm được tạo
dường như phức tạp hơn. Đây là một điều đáng tiếc khi nó tránh mở rộng các ý tưởng
mới quan trọng.
Trong cuốn sách này chúng tôi cố gắng sử dụng ký hiệu tiêu chuẩn ở chỗ có làm rõ

ràng và giữ cho các vấn để đơn giản mà khơng mất đi tính chính xác. Đặc biệt là chúng
tơi có gắng xác định các quy ước thực tế và sử dụng chúng một cách thích hợp.
Các hình minh họa, các phương trình tốn học và chữ thảo luận, cả hình minh họa
và các phương trình tốn học sẽ sủ dụng các ký hiệu sau:
Vơ hướng: chữ nhỏ in nghiêng: a, b, c.
Véctơ: chữ nhỏ in đậm: a, b, c.
Nhóm 14

3


Ma trận: chữ viết hoa in đậm: A,B,C.
Ký hiệu thêm mà liên quan tới cấu trúc mạng sẽ được giới thiệu khi bạn đọc chương
này. Một danh sách hoàn chỉnh về các kí hiệu mà chúng tơi sử dụng xun suốt cuốn sách
này được ghi ở Phụ lục B, vì thế bạn có tể xem nếu bạn có thắc mắc.
2. Mơ hình nơron

2.1 Nơron đầu vào đơn.
Một nơron đầu vào đơn được chỉ ra trong hình 2.1, đầu vào vơ hướng p được nhân
lên nhờ khối lượng vô hướng w để tạo thành wp, một trong những thuật ngữ mà được gửi
tới the summer. Một đầu vào khác, l, được nhân lên nhờ một đường chéo b và rồi qua the
summer. Đầu ra summer, n, luôn được xem như một đầu vào mạng, tới một hàm số
chuyển f mà tạo ra đầu ra nơron vô hướng a. (Một số tác giả dùng thuật ngữ “hàm số hoạt
hóa” hơn là sử dụng hàm số biến đổi và “offset” hơn là bias.)
Nếu chúng ta liên hệ mẫu đơn giản này với nơron sinh học mà chúng ta thảo luận
trong chương 1, trọng lượng w tương đương với sức mạnh của khớp thần kinh, tế bào cơ
thể này được giới thiệu nhờ bản tóm tắt và hàm số chuyển và đầu ra nơron a trình bày
cho tín hiệu của sợi trục thần kinh.

Hình 2.1 Nơron đầu vào đơn.

Nơron được tính tốn nhờ
a =f(wp +b).
Ví dụ nếu w = 3, p = 2 và b = -1,5, khi đó
a =f(3(2)- 1,5) = f(4,5)
Nhóm 14

4


Đầu ra thực sự phụ thuộc vào hàm chuyển cụ thể mà được chọn. Chúng tôi sẽ thảo
luận các hàm chuyển trong phần sau.
Bias khá giống một khối lượng trừ khi nó là đầu vào khơng đổi của 1. Tuy nhiên,
nếu bạn khơng muốn có bias trong nơron cụ thể, nó có thể được bỏ qua. Chúng ta sẽ xem
ví dụ về điều này trong chương 3, 7 và 14.
Chú ý rằng cả w và b là các tham số vơ hướng có thể điều chỉnh được của nơron. Điển
hình là, hàm số chuyển được chọn do nhà thiết kế và khi đó các tham số w và b sẽ được
điều chỉnh nhờ một số quy tắc học tập để mối quan hệ đầu ra/đầu vào nơron đạt được một
số mục tiêu cụ thể ( xem chương 4 cho phần giới thiệu các quy tắc học tập). Như được
mô tả trong phần tiếp theo, chúng tơi có các các hàm số chuyển khác nhau cho các mục
đích khác nhau.
2.2 Các hàm số chuyển
Hàm số chuyển trong hình 2.1 có thể là hàm tuyến tính hoặc một hàm phi tuyến tính
của n. Một hàm số chuyển cụ thể được chọn để thỏa mãn một số đặc điểm của vấn đề mà
nơron đang cố gắng giải quyết.
Nhiều hàm số chuyển được đưa ra trong cuốn sách này. Ba trong các hàm số được
sử dụng thường xuyên nhất được thảo luận dưới đây.
Hàm số chuyển hạn chế cứng/nghiêm ngặt, được chỉ ra ở bên trái hình 2.2, đặt đầu
ra của nơron là 0 nếu đối số hàm số nhỏ hơn 0, hoặc 1 nếu đối số của nó lớn hơn hoặc
bằng 0. Chúng ta sẽ sử dụng hàm số để tạo ra các nơron mà phân lọai đầu vào thành 2
loại riêng biệt. Điều này sẽ được sử dụng rộng rãi trong chương 4.

Hình 2.2: Hàm số chuyển hạn chế cứng/nghiêm ngặt.
Hình ở bên phải hình 2.2 minh họa cho đặc tính đầu ra/ đầu vào của một nơron đầu
vào đơn mà sử dụng hàm số chuyển hạn chế nghiêm ngặt. Ở đây chúng ta có thể thấy tác
Nhóm 14

5


động của khối lượng và bias. Chú ý rằng một biểu tượng cho hàm số chuyển hạn chế
cứng được chỉ ra giữa 2 hình. Các biểu tượng như vậy sẽ thay thế toàn bộ f trong các
biểu đồ mạng lưới để chỉ ra các hàm số cụ thể đang được sử dụng.
Đầu ra là một hàm số chuyển tuyến tính bằng với đầu vào của nó
a = n , (2.1)
Như minh họa ở hình 2.3.
Các nơron với hàm số chuyển này được sử dụng trong các mạng ADALINE, mà
được thảo luận trong chương 10.

Hình 2.3. Hàm số chuyển tuyến
Đầu ra (a) chống lại đặc tính đầu vào (p) của nơron tuyến tính đầu vào đơn với một
bias được chỉ ra trong hình 2.3.
Hàm số chuyển log-sigmoid được chỉ ra trong hình 2.4

Nhóm 14

6


Hình 2.4 Hàm số chuyển Log-sigmoid
Hàm số chuyển này đưa đầu vào ( mà có bất cứ giá trị nào giữa dương vô cùng và

âm vô cùng) và bỏ đầu ra trong giới hạn từ 0 đến 1, theo mô tả sau:

Hàm số chuyển log-sigmoid thường được sử dụng trong các mạng đa tầng mà được
huấn luyện khi sử dụng thuật toán truyền lan ngược, một phần do hàm này có thể phân
biệt ( xem chương 11).
Hầu hết các hàm số chuyển này được sử dụng trong cuốn sách này được tóm tắt
trong bảng 2.1. Có thể xác định các hàm chuyển khác thêm vào những hàm đó mà được
chỉ ra trong bảng 2.1 nếu muốn.
Để thí nghiệm với một nơron đầu vào đơn, sử dụng Neural Network Design
Demonstration One-Input Neural nnd2n1.
Bảng 2.1 Các hàm số chuyển
Tên
Hạn chế cứng

Nhóm 14

Mối quan hệ

Biểu tượng

a = 0 n<0
a = 1 n≥0

Hàm MATLAB
Hardlim

7


Hạn chế cứng đối

xứng

a = -1 n<0
a = +1 n≥0

Tuyến

a=n

Purelin

Tuyến bão hòa/ no

a=0 n< 0
a=n 0≤n≤1
a=1 n>1

Satlin

Tuyến bão hòa đối
xứng

a = -1 n < -1
a = n -1 ≤ n ≤ 1
a=1 n>1

Satlins

Hardlims

Log-Sigmoid

Logsig

Sigmoid tiếp tuyến
Hipebon

Tagsig

Tuyến dương

a = 0 n<0
a = n 0≤n

Competive

a = 1 nơron với n
tối đa
a = 0 tất cả nơron
khác

Poslin

Compet

Nơron nhiều đầu vào
Cụ thể là một nơron có nhiều hơn một đầu vào. Một nơron với đầu vào R được chỉ
ra trong hình 2.5

Nhóm 14

8


Hình 2.5 Nơron nhiều đầu vào
Nơron này có một bias b, mà được tóm tắt với các đầu vào trọng lượng để tạo thành
đầu vào mạng n:
n = w1,1p1 + w1,2p2 +…+ w1.RpR + b.

(2.3)

Có thể viết dưới dạng ma trận
n = Wp + b

(2.4)

Trong đó ma trận W cho trường hợp nơron đơn chỉ có một hàng
Bây giờ đầu ra nơron có thể được viết như
a = f(Wp + b)

(2.5)

May mắn là các mạng nơron có thể thường xuyên được mô tả với các ma trận. Loại
diễn đạt ma trận này sẽ được sử dụng xuyên suốt cuốn sách này. Đừng lo lắng nếu bạn ít
thực hành với các phép tốn ma trận và véctơ. Chúng tơi sẽ giới thiệu lại các chủ đề này
trong chương 5 và 6, và chúng tơi sẽ đưa ra nhiều ví dụ và giải quyết các vấn đề mà sẽ
giải thích các thủ tục.
Chúng tôi đã nhận một quy ước cụ thể trong việc chia các bảng chú dẫn về các yếu
tố của ma trận weight. Bảng chú dẫn đầu tiên cho biết nơi đến của nơron cụ thể đối với
khối lượng đó. Chú dẫn thứ hai cho biết nguồn của tín hiệu cho nơron này. Do đó các chú

dẫn chi w1,2 cho biết rằng khối lượng này đại diện cho sự kết nối tới nơron đầu tiên ( và
duy nhất) từ nguồn thứ hai. Tất nhiên là quy ước này hữu ích hơn nếu có nhiều hơn một
nơron, khi đó sẽ là trường hợp sau ở trong chương này.
Nhóm 14

9


Chúng tôi muốn vẽ các mạng với một vài nơron, mỗi nơron có một vài đầu ra. Hơn
nữa, chúng tơi muốn có nhiều hơn mộ tầng nơron. Bạn có thể tưởng tượng một mạng như
vậy phức tạp như thế nào có thể xuất hiện nếu tất cả các đường được vẽ. Sẽ mất nhiều
mực, không thể đọc được và nhiều chi tiết có thể làm mở đi các đặc trưng chính. Do vậy,
chúng tơi sẽ sử dụng một ký hiệu tắt. Một nơron nhiều đầu vào sử dụng ký hiệu này được
minh họa trong hình 2.6.

Hình 2.6 Nơron với đầu ra R , ký hiệu tắt.
Như minh họa ở hình 2.6, vectơ đầu vào p được biểu diễn bởi vạch thẳng đứng đặc
ở bên trái. Kích thước của p được hiển thị dưới giá trị có thể có ví dụ Rx1, cho biết rằng
đầu vào là một vectơ của các yếu tố R. Các đầu vào này cùng với ma trận weight W, mà
có các cột R nhưng chỉ một hàng trong trường hợp nơron đơn này. 1 không đổi thêm vòa
nơron như một đầu vào và được nhân với một bias b vô hướng. Đầu vào lưới tới hàm số
chuyển f là một n, mà là tổng của bias b này và một sản phẩm Wp. Đầu ra a của nơron
này là một vô hướng trong trường hợp này. Nếu chúng tơi có hơn một nơron, đầu ra mạng
có thể là một vectơ.
Thứ nguyên của các biến số này trong các hình ký hiệu tắt này sẽ ln ln được
tính đến, để bạn cóthể nói ngay lập tức nếu chúng tơi nói về vơ hướng hoặc vector hoặc
ma trận. Bạn sẽ khơng phải đốn loại biến số hoặc thứ nguyên của nó.
Chú ý rằng con số đầu vào cho một mạng được đặt bởi các đặc điểm kỹ thuật bên
ngồi của vấn đề. Ví dụ, nếu, bạn muốn thiết kế một mạng nơron mà là để dự báo các
điều kiện cho diều bay và các đầu vào là nhiệt độ khơng khí, vận tốc gió và độ ẩm, khi đó

có 3 đầu vào cho mạng này.
Để nghiên cứu một nơron hai đầu vào, sử dụng Neural Network Design
Demonstration Two-Input Neuron (nnd2n2).
Nhóm 14

10


Các cấu trúc mạng
Thơng thường thì một nơron, thậm chí với nhiều đầu vào có thể khơng đủ. Chúng
tơi có thể cần 5 hoặc 10, họat động song song, mà chúng tôi gọi là một “lớp”. Khái niệm
về một tầng được thảo luận ở dưới.
Một tầng nơron.
Một mạng đơn tang của nơron S được minh họa trong hình 2.7. Chú ý là mỗi đầu
vào R được nối với mỗi nơron và bây giờ ma trận weight có các hàng S.

Hình 2.7 Tầng của các nơron S
Tầng này bao gồm ma trận weight, các summer, vectơ bias b, các khung hàm số
chuyển và vectơ đầu ra a. Một số tác giả cho rằng các đầu vào như một tầng khác, nhưng
ở đây chúng tôi không cho là như vậy.
Mỗi yếu tố của vectơ p được nối với mỗi nơron thông qua ma trận weight W. Mỗi
nơron có một bias b, một summer, một hàm số chuyển f và một đầu ra ai. Đi cùng với
nhau, các đầu ra hình thành nên vectơ đầu ra a.
Thơng thường thì số đầu vào cho một tầng là khác với số nơron (ví dụ, R≠S).
Bạn có thể thắc mắc nếu tất cả các nơron trong một tầng phải có cùng hàm số
chuyển. Câu trả lời là khơng, bạn có thể xác định một tầng đơn ( ghép) của các nơron có
các hàm chuyển khác nhau do việc kết hợp các mạng được chỉ ra tương ứng dưới đây. Cả
mạng có các đầu vào như nhau và mỗi mạng sẽ tạo ra một vài đầu ra.
Nhóm 14

11


Các yếu tố vectơ đầu vào thêm vào mạng thông qua ma trận weight W.

Như trước đây đã lưu ý rằng các chú dẫn của các yếu tố của ma trận W cho biết
nơron nơi đến được liên hợp với ma trận weight này, trong khi các chú dẫn cột cho biết
nguồn của đầu vào cho ma trận weight. Do đó, các chú dẫn trong w3,2 cho biết weight này
đại diện cho sự kết nối với nơron thứ ba từ nguồn thứ hai.
May mắn là, nơron S, đầu vào R, mạng một tầng cũng có thể được vẽ bằng ký hiệu
tắt, như hình 2.8.

Hình 2.8 Tầng của các nơron S, ký hiệu minh họa.
Ở đây các biểu tượng dưới các biến số cho bạn biết là đối với tầng này, p là một
vectơ của độ dài R, W là một ma trận S x R. và a và b là các vectơ của chiều dài S. Khi
được xác định trước đây, tầng gồm ma trận weight, các phép cộng và nhân, vectơ bias b,
các hộp hàm số chuyển và vectơ đầu ra.
Nhóm 14

12


Các tầng bội của các nơron.
Bây giờ coi một mạng với nhiều tầng. Mỗi tầng có ma trận weight W của chính nó,
vectơ bias b, vectơ đầy vào lưới n và một vectơ đầu ra a. Chúng tôi cần giới thiệu một số
ký hiệu thêm để phân biệt giữa các tầng. Chúng tôi sẽ sử dụng chữ viết bên trên nhận
dạng các lớp. Đặc biệt là, chúng tôi thêm vào số tầng như một chữ viết bên trên các tên
cho mỗi biến số này. Do đó, ma trận weight cho tầng đầu tiên được viết là W 1, và ma trận
weight cho tầng thứ hai được viết là W2. Đây là ký hiệu được sử dụng trong mạng ba tầng
trong hình 2.9.

Hình 2.9 Mạng ba tầng
Như hình, có các đầu vào R, nơron S1 trong tầng đầu tiên, nơron S2 trong tầng thứ
hai…. Chú ý rằng, các tầng khác nhau có thể có số nơron khác nhau.
Các đầu ra của các tầng một và hai là các đầu vào của tầng hai và ba. Do đó tầng 2
có thể đựoc nhìn nhận như một mạng một tầng với các đầu vào R = S1, các nơron S = S2
và một ma trận W2, S1x S2. Đầu vào cho tầng 2 là a1 và đầu ra a2.
Một tầng mà đầu ra của nó là một đầu ra mạng được gọi là tầng đầu ra. Các tầng
khác được gọi là các tầng ẩn. Mạng được chỉ ra phía dưới có tầng đầu ra ( tầng 3) và hai
tầng ẩn ( tâng 1 và tầng 2).

Nhóm 14

13


Mạng 3 tầng tương tự được thảo luận trước đó cũng có thể vẽ được nhờ sử dụng các
ký hiệu tắt của chúng tơi, như hình 2.10.

Hình 2.10 Mạng ba tầng, ký hiệu tắt
Các mạng tầng bội mạnh hơn các mạng đơn tầng. Ví dụ như, một mạng hai tầng có
tầng đầu sigmoid và tầng thứ hai tuyến tính có thể được huấn luyện để gần giống với hầu
hết các hàm. Các mạng đơn tầng không thể làm điều này.
Với quan điểm này, số các lựa chọn được tạo ra nhờ việc chỉ rõ một mạng có thể
trơng lấn án, vì vậy chúng ta hãy cân nhắc chủ đề này. Vấn đề khơng phải nó trơng tệ thế
nào. Đầu tiên, xem lại số đầu vào cho mạng này và số đầu ra từ mạng này được xác định
nhờ các đặc điểm kỹ thuật vấn đề ở bên ngồi. Vì vậy nếu có 4 biến số bên ngồi được sử
dụng như các đầu vào, có 4 đầu vào cho mạng này. Tương tự, sẽ có 7 đầu ra từ mạng này,
phải có 7 nơron trong tầng đầu ra. Cuối cùng các đặc tính mong muốn của tín hiệu đầu ra
cũng giúp chọn ra hamg số chuyển cho tầng dầu ra. Nếu một đầu ra vừa khơng là -1 hoặc

là 1 thì khi đó hàm số chuyển hạn chế cứng đối xứng nên được sử dụng. Do đó, cấu trúc
của một mạng đơn tầng là hầu hết được xác định hoàn chỉnh nhờ các đặc tính kỹ thuật
vấn đề, bao gồm số cụ thể các đầu vào và đầu ra và đặc điểm tín hiệu đầu ra.
Bây giờ, nếu chúng ta có nhiều hơn hai tầng? Ở đây, vấn đề bên ngoài khơng nói
trực tiếp cho bạn số nơron được u cầu trong các tầng ẩn. Thực tế là có một số vấn đề
cho ai có thể dự đốn số nơron tối ưu nhất cần trong một mạng ẩn. Vấn đề này la một
phần thực sự của nghiên cứu. Chúng tôi sẽ xây dựng một số cảm nghĩ về vấn đề này khi
chúng tơi thực hiện chương 11, thuật tốn truyền ngược.
Cịn về số tầng, các mạng nơron thực tiễn nhất chỉ có hai hoặc ba tầng. Bốn hoặc
nhiều tầng hơn hiếm khi được dùng.
Nhóm 14

14


Chúng tơi nên nó một vài điều về cách sử dụng các bias. Một người có thể chọn các
nơron có hoặc khơng có các bias. Bias cho mạng một biến số mong đợi và vì vậy bạn có
thể mong đợi rằng các mạng với các bias sẽ mạnh hơn mạng khơng có, và đó là sự thật.
Ví dụ, chú ý tới một nơron khơng có một bias sẽ ln có đầu vào mạng n là 0 khi các đầu
ra mạng p là 0. Điều này có thể khơng mong muốn và có thể tránh được nhờ sử dụng một
bias. Tác động của bias được thảo luận đầy đủ hơn trong chương 3,4 và 5.
Trong các chương sau chúng tôi sẽ bỏ sót một bias trong một vài ví dụ hoặc chứng
minh. Trong một vài trường hợp thì thực hiện đơn giản để giảm số tham số mạng. Chỉ với
2 biến số, chúng tơi có thể vẽ sự hội tụ hệ thống trong một mặt phẳng 2 thứ nguyên. 3
hoặc nhiều biến số hơn sẽ khó trình bày.
Các mạng tuần hồn
Trước khi chúng tơi thảo luận về các mạng tuần hồn, chúng tôi cần giới thiệu về
một vài khối xây dựng đơn giản. Đầu tiên là khối trễ, được minh họa trong hình 2.11.

Hình 2.11 Khối trễ

Đầu ra trễ a(t) được tính tốn từ chính đầu vào u(t) của nó, theo cơng thức:
a(t) = u(t - 1)

(2.7)

Do đó đầu ra là đầu vào bị trễ do một bước thời gian. ( điều này giả thiết rằng thời
gian được cập nhật trong các bước rời rác và chỉ nhận giá trị nguyên.) ví dụ cơng thức 2.7

Nhóm 14

15


yêu cầu tằng đầu ra được cho giá trị ban đầu tại thời điểm t ≈0. Điều kiện ban đầu được
trình bày trong hình 2.11 nhờ đường cong tới điểm cuối của khối trễ.
Khối xây dựng liên quan khác mà chúng tơi sẽ sử dụng trong các mạng tuần hồn
thời gian tiếp diễn trong chương 15 – 18, là máy tích phân, mà được trình bày trong hình
2.12.

Hình 2.12. Khối máy tích phân
Đầu vào máy tích phân a(t) được tính tốn từ đầu vào u(t) của chính nó, như sau

Điều kiện ban đầu a(0) được trình bày nhờ đường cong đến từ cuối của khối máy
tích phân.
Bây giờ chúng tơi sẵng sang giới thiệu các mạng tuần hoàn. Một mạng tuần hồn là
một mạng có thơng tin phản hồi; một số đầu ra của nó được kết nối với các đầu vào. Điều
này hơi khác so với các mạng mà chúng ta nghiên cứu trước mà hồn tồn là thơng tin
khơng có các kết nối trở lại. Một loại mạng tuần hồn thời gian rời biệt được trình bày
trong hình 2.13.

Nhóm 14

16


Hình 2.13. Mạng tuần hồn
Trong mạng cụ thể này, vectơ p cung cấp các điều kiện ban đầu ( ví dụ, a (0) = p).
Khi đó các đầu ra tương lai của mạng được tính tốn nhờ các đầu ra trước đó.

Các mạng tuần hồn mạnh hơn các mạng thơng tin tiến tiến (feedforward) và có thể
trưng bày hoạt động thời gian. Các loại này của các mạng được thảo luận trong chương 3
và 15-18.
Tóm tắt các kết quả
Nơron đầu vào đơn

Nhóm 14

17


Nơron nhiều đầu vào

Nhóm 14

18


Các hàm số chuyển
Tên
Hạn chế cứng

Hệ thức/ mối
quan hệ
a = 0 n<0
a = 1 n≥0

Hạn chế cứng
đối xứng
Tuyến tính
Tuyến tính bão
hòa/ no

Biểu tượng

Hàm
MATLAB
hardlim

a = -1 n<0
a = +1 n≥0

hardlims

a=n

Purelin

a=0 n< 0
a=n 0≤n≤

Satlin

1
a=1 n>1
a = -1 n < -1
a = n -1 ≤ n ≤

Tuyến tính bão
hịa đối xứng

Satlins

1
a=1 n>1
Log-Sigmoid

Logsig

Sigmoid tiếp
tuyến Hipebon
Tuyến
dương
Nhóm 14

tính

Tagsig

a = 0 n<0
a = n 0≤n

Poslin
19


competive

a = 1 nơron
với n tối đa
a = 0 tất cả
nơron khác

compet

Tầng của nhiều nơron

Ba tầng nơron

Trễ

Nhóm 14

20


Máy tích phân

Mạng tuần hồn

Nhóm 14

21


Làm thế nào để chọn một cấu trúc
Tài liệu kỹ thuật vấn đề giúp xác định mạng trong các cách sau:
Số đầu vào mạng = số đầu vào vấn đề
Số nơron trong tầng đầu ra = số đầu ra problem
Lựa chọn hàm chuyển tầng đầu ra ít nhất từng phần được xác định
nhờ các đặc điểm problem của các đầu ra.
1.
2.
3.

Các vấn để được giải quyết
P2.1 Đầu vào nơron đầu vào đơn là 2.0, kích thước của nó là 2.3 và bias là -3.
Đầu vào mạng tới hàm chuyển là gì?
Đầu ra nơron là gì?
Đầu vào mạng được tính nhờ
a = wp + b = (2.3)(2)+(-3) =16
Đầu ra không thể xác định do hàm chuyển không cụ thể.

i.
ii.
i.
ii.

P2.2 Đầu ra nơron của P2.1 là gì nếu nó có các hàm chuyển sau đây?
i.
ii.

iii.

Hạn chế cứng
Tuyến
Log-sigmoid
i.
Đối với hàm chuyển hạn chế cứng
a=hardlim(1.6) =1.0
ii.
Đối với hàm chuyển tuyến
a=purelin(1.6) =1.6
iii.
Đối với hàm chuyển log-sigmoid

Kiểm tra kết quả bằng việc sử dụng MATLAB và hàm logalg, trong thư mục/danh
mục MININNET ( xem phụ lục B).
P2.3 Đưa vào một nơron hai đầu vào với các thông số sau: b =1,2, W =[3 2] và p=[-5 6],
tính đầu ra nơron cho các hàm số chuyển sau đây.
i.
Hàm chuyển hạn chế cứng đối xứng
ii.
Hàm số chuyển tuyến bão hòa
iii.
Một hàm số chuyển sigmoid (tansig) tiếp tuyến hypebol
Đầu tiên tính đầu vào mạng n:

Nhóm 14

22

Bây giờ các đầu ra cho mỗi hàm số chuyển.
i.
ii.
iii.

a=hardlims (-1,8) = -1
a=satlin (-1,8) = 0
a=tansig (-1,8) = -0,9468

P.24 Một mạng nơron đơn tầng có 6 đầu vào và 2 đầu ra. Các đầu ra được giới hạn và
liên tục trong khoảng 0 đến 1. Bạn có thể cho biết gì cấu trúc mạng này? Đặc biệt là :
i.

Bao nhiêu nơron được yêu cầu?
ii.
Kích thước của ma trận weight?
iii.
Loại hàm nào có thể được sử dụng?
iv.
Cần 1 bias?
Các đặc điểm kỹ thuật của vấn đề cho phép bạn nói các điều sau về mạng:
i.

iv.

2 nơron, một cho mỗi đầu ra được yêu cầu.
ii. Ma trận weight có 2 hàng tương ứng với 2 nơron và 6 cột tương ứng với 6
đầu vào. ( kết quả Wp là một vectơ 2 yếu tố).
iii. Hàm số chuyển mà chúng tôi đã thảo luận, hàm số chuyển logsig sẽ là thích

hợp nhất.
Khơng đủ thông tin để xác định nếu một bias được yêu cầu.

3. Kết luận

Chương này đã giới thiệu về một nơron nhận tạo đơn giản và đã minh họa các mạng
nơron khác nhau có thể được tạo ra như thế nào nhờ việc kết nối các nhóm nơron bằng
nhiều cách khác nhau. Một trong các chủ đề chính của chương này là giới thiệu ký hiệu
nền tảng của chúng tôi. Khi các mạng được thảo luận chi thết hơn ở các chương sau, bạn
có thể quay trở lại chương 2 để nhớ lại các kí hiệu thích hợp.
Nhóm 14

23


Chương này khơng có nghĩa là sự trình bày hồn thiện về các mạng mà chúng tôi đề
cập ở đây. Điều đó sẽ được hồn thiện ở các chương sau. Chúng tôi sẽ bắt đầu trong
chương 3, mà giới thiệu về một ví dụ đơn giản về sử dụng một số mạng mà được mô tả
trong chương này và sẽ mang lại cho bạn cơ hội để xem xét các mạng này hoạt động. Các
mạng này được giải thích trong chương 3 là đại diện cho các loại mạng mà có trong các
phần cịn lại của bài.

Nhóm 14

24