TIỂU LUẬN môn học CHUYÊN đề đề tài NEURAL MODEL ANH NETWORK ARCHITECTURES (NẺURAL NETWORK DESIGN)

Tiểu luận chuyên đề

MỤC LỤC

Nhóm 14

1


Tiểu luận chuyên đề

Chương 2: Cấu trúc mạng và mô hình nơron
Trong chương 1, chúng tơi đã trình bày một mô tả đơn giản về các mạng nơron
sinh học và mạng nơron. Bây giờ chúng tôi sẽ giới thiệu về mơ hình tốn học đơn giản
về nơron và sẽ giải thích các nơron nhân tạo này có thể được liên kết tương tác để tạo
thành nhiều cấu trúc mạng. Chúng tôi cũng sẽ minh họa hoạt động cơ bản của các mạng
này thơng qua một số ví dụ đơn giản. Khái niệm và ký hiệu được sử dụng trong chương
này sẽ được sử dụng trong suốt cuốn sách này.
Chương này không bao hàm tất cả các cấu trúc mà sẽ được sử dụng trong cuốn
sách này nhưng nó giới thiệu các khối lắp ghép cơ bản. Các cấu trúc phức tạp hơn sẽ
được giới thiệu và thảo luận khi cần thiết trong những chương sau. Tuy nhiên nhiều chi
tiết được trình bày ở đây. Hãy chú ý rằng người đọc khơng cần thiết nhớ tất cả tài liệu/
cơng thức/ kí hiệu trong chương này ở lần đọc đầu tiên. Thay vào đó, hãy đọc sách như
một tiền đề để bạn bắt đầu và như một nguồn để bạn có thể xem lại.

Lý thuyết và các ví dụ
1. Các ký hiệu

Các mạng nơron mới đến nỗi mà các kí hiệu tốn học và sự biểu diễn cấu trúc tiêu
chuẩn cho chúng chưa được thiết lập vững chắc. Hơn nữa, giấy tờ và sách về các mạng
nơron đến từ nhiều lĩnh vực khác nhau, bao gồm kỹ thuật, vật lý, tâm lý và tốn học và

nhiều tác giả có xu hướng sử dụng từ vựng cá biệt cho chuyên môn của họ. Kết quả là,
nhiều cuốn sách và giây tờ trong lĩnh vực này khó để đọc và các khái niệm được tạo
dường như phức tạp hơn. Đây là một điều đáng tiếc khi nó tránh mở rộng các ý tưởng
mới quan trọng. Điều này kìm hãm sự ra đời của những ý tưởng mới.
Trong cuốn sách này chúng tôi cố gắng sử dụng ký hiệu tiêu chuẩn ở chỗ có làm rõ
ràng và giữ cho các vấn để đơn giản mà khơng mất đi tính chính xác. Đặc biệt là chúng
tơi có gắng xác định các quy ước thực tế và sử dụng chúng một cách thích hợp.
Các hình minh họa, các phương trình tốn học và chữ thảo luận, cả hình minh họa
và các phương trình tốn học sẽ sủ dụng các ký hiệu sau:
Vô hướng: chữ nhỏ in nghiêng: a, b, c.
Véctơ: chữ nhỏ in đậm: a, b, c.
Ma trận: chữ viết hoa in đậm: A,B,C.

Nhóm 14

2


Tiểu luận chuyên đề
Ký hiệu thêm mà liên quan tới cấu trúc mạng sẽ được giới thiệu khi bạn đọc
chương này. Một danh sách hồn chỉnh về các kí hiệu mà chúng tôi sử dụng xuyên suốt
cuốn sách này được ghi ở Phụ lục B, vì thế bạn có tể xem nếu bạn có thắc mắc.
2. Mơ hình nơron

2.1 Nơron đầu vào đơn.
Một nơron đầu vào đơn được chỉ ra trong hình 2.1, đầu vào vơ hướng p được nhân
lên nhờ khối lượng vô hướng w để tạo thành wp, sau đó được gửi tới bộ cộng. Một đầu
vào khác, l, được nhân lên nhờ một đường chéo b và rồi qua bộ cộng. Đầu ra bộ cộng là
n, luôn được xem như một đầu vào mạng, tới một hàm số chuyển f mà tạo ra đầu ra
nơron vô hướng a. (Một số tác giả dùng thuật ngữ “hàm số kích hoạt” thay cho hàm

chuyển và “offset” thay cho giá trị ngưỡng.)
Nếu chúng ta liên hệ mẫu đơn giản này với nơron sinh học mà chúng ta thảo luận
trong chương 1, trọng lượng w tương đương với sức mạnh của khớp thần kinh, tế bào cơ
thể này được đặc trưng bởi bộ cộng và hàm chuyển, đầu ra nơron a tương ứng cho tín
hiệu thần kinh (axon).

Hình 2.1 Nơron đầu vào đơn.
Nơron được tính tốn nhờ
a =f(wp +b).
Ví dụ nếu w = 3, p = 2 và b = -1,5, khi đó
a =f(3(2)- 1,5) = f(4,5)
Đầu ra thực sự phụ thuộc vào hàm chuyển cụ thể mà được chọn. Chúng tôi sẽ thảo
luận các hàm chuyển trong phần sau.
Giá trị ngưỡng khá giống một khối lượng trừ khi nó là đầu vào không đổi của 1.
Tuy nhiên, nếu bạn không muốn có giá trị ngưỡng trong nơron cụ thể, nó có thể được
bỏ qua. Chúng ta sẽ xem ví dụ về điều này trong chương 3, 7 và 14.
Nhóm 14

3


Tiểu luận chuyên đề
Chú ý rằng cả w và b là các tham số vơ hướng có thể điều chỉnh được của nơron. Điển
hình là, hàm số chuyển được chọn do nhà thiết kế và khi đó các tham số w và b sẽ được
điều chỉnh nhờ một số quy tắc học tập để mối quan hệ đầu ra/đầu vào nơron đạt được
một số mục tiêu cụ thể ( xem chương 4 cho phần giới thiệu các quy tắc học ). Như được
mô tả trong phần tiếp theo, chúng tôi có các các hàm số chuyển khác nhau cho các mục
đích khác nhau.
2.2 Các hàm số chuyển
Hàm số chuyển trong hình 2.1 có thể là hàm tuyến tính hoặc một hàm phi tuyến

tính của n. Một hàm số chuyển cụ thể được chọn để thỏa mãn một số đặc điểm của vấn
đề mà nơron đang cố gắng giải quyết.
Nhiều hàm số chuyển được đưa ra trong cuốn sách này. Ba trong các hàm số được
sử dụng thường xuyên nhất được thảo luận dưới đây.
Hàm số chuyển hard limit, được chỉ ra ở bên trái hình 2.2, đặt đầu ra của nơron là
0 nếu đối số hàm số nhỏ hơn 0, hoặc 1 nếu đối số của nó lớn hơn hoặc bằng 0. Chúng ta
sẽ sử dụng hàm số để tạo ra các nơron mà phân lọai đầu vào thành 2 loại riêng biệt.
Điều này sẽ được sử dụng rộng rãi trong chương 4.

Hình 2.2: Hàm số chuyển hạn chế cứng/nghiêm ngặt.
Hình ở bên phải hình 2.2 minh họa cho đặc tính đầu ra/ đầu vào của một nơron đầu
vào đơn mà sử dụng hàm số chuyển hạn chế nghiêm ngặt. Ở đây chúng ta có thể thấy
tác động của khối lượng và giá trị ngưỡng. Chú ý rằng một biểu tượng cho hàm số
chuyển hạn chế cứng được chỉ ra giữa 2 hình. Các biểu tượng như vậy sẽ thay thế toàn
bộ f trong các biểu đồ mạng lưới để chỉ ra các hàm số cụ thể đang được sử dụng.
Đầu ra là một hàm số chuyển tuyến tính bằng với đầu vào của nó
a = n , (2.1)
Như minh họa ở hình 2.3.
Các nơron với hàm số chuyển này được sử dụng trong các mạng ADALINE, mà
được thảo luận trong chương 10.
Nhóm 14

4


Tiểu luận chuyên đề

Hình 2.3. Hàm số chuyển tuyến
Đầu ra (a) chống lại đặc tính đầu vào (p) của nơron tuyến tính đầu vào đơn với
một bias được chỉ ra trong hình 2.3.

Hàm số chuyển log-sigmoid được chỉ ra trong hình 2.4

Hình 2.4 Hàm số chuyển Log-sigmoid
Hàm số chuyển này đưa đầu vào ( mà có bất cứ giá trị nào giữa dương vô cùng và
âm vô cùng) và bỏ đầu ra trong giới hạn từ 0 đến 1, theo mô tả sau:

Hàm số chuyển log-sigmoid thường được sử dụng trong các mạng đa tầng mà
được huấn luyện khi sử dụng thuật toán truyền lan ngược, một phần do hàm này có thể
phân biệt ( xem chương 11).
Nhóm 14

5


Tiểu luận chuyên đề
Hầu hết các hàm số chuyển này được sử dụng trong cuốn sách này được tóm tắt
trong bảng 2.1. Có thể xác định các hàm chuyển khác thêm vào những hàm đó mà được
chỉ ra trong bảng 2.1 nếu muốn.
Bảng 2.1 Các hàm số chuyển
Tên

Mối quan hệ

Biểu tượng

Hàm MATLAB

Hạn chế cứng

a = 0 n<0

a = 1 n≥0

Hardlim

Hạn chế cứng đối
xứng

a = -1 n<0
a = +1 n≥0

Hardlims

Tuyến

a=n

Purelin

Tuyến bão hòa/ no

a=0 n< 0
a=n 0≤n≤1
a=1 n>1

Satlin

Tuyến bão hòa đối
xứng

a = -1 n < -1

a = n -1 ≤ n ≤ 1
a=1 n>1

Satlins

Log-Sigmoid

Logsig

Sigmoid tiếp tuyến
Hipebon

Tagsig

Tuyến dương

a = 0 n<0
a = n 0≤n

Competive

a = 1 nơron với n
tối đa
a = 0 tất cả nơron
khác

Poslin

Compet

2.3 Nơron nhiều đầu vào
Cụ thể là một nơron có nhiều hơn một đầu vào. Một nơron với đầu vào R được
chỉ ra trong hình 2.5

Nhóm 14

6


Tiểu luận chuyên đề

Hình 2.5 Nơron nhiều đầu vào
Nơron này có một bias b, mà được tóm tắt với các đầu vào trọng lượng để tạo
thành đầu vào mạng n:
n = w1,1p1 + w1,2p2 +…+ w1.RpR + b.

(2.3)

Có thể viết dưới dạng ma trận
n = Wp + b

(2.4)

Trong đó ma trận W cho trường hợp nơron đơn chỉ có một hàng
Bây giờ đầu ra nơron có thể được viết như
a = f(Wp + b)

(2.5)

May mắn là các mạng nơron có thể thường xuyên được mô tả với các ma trận.

Loại diễn đạt ma trận này sẽ được sử dụng xuyên suốt cuốn sách này. Đừng lo lắng nếu
bạn ít thực hành với các phép toán ma trận và véctơ. Chúng tôi sẽ giới thiệu lại các chủ
đề này trong chương 5 và 6, và chúng tôi sẽ đưa ra nhiều ví dụ và giải quyết các vấn đề
mà sẽ giải thích các thủ tục.
Chúng tơi đã nhận một quy ước cụ thể trong việc chia các bảng chú dẫn về các yếu
tố của ma trận weight. Bảng chú dẫn đầu tiên cho biết nơi đến của nơron cụ thể đối với
khối lượng đó. Chú dẫn thứ hai cho biết nguồn của tín hiệu cho nơron này. Do đó các
chú dẫn chi w1,2 cho biết rằng khối lượng này đại diện cho sự kết nối tới nơron đầu tiên
( và duy nhất) từ nguồn thứ hai. Tất nhiên là quy ước này hữu ích hơn nếu có nhiều hơn
một nơron, khi đó sẽ là trường hợp sau ở trong chương này.
Chúng tôi muốn vẽ các mạng với một vài nơron, mỗi nơron có một vài đầu ra.
Hơn nữa, chúng tơi muốn có nhiều hơn mộ tầng nơron. Bạn có thể tưởng tượng một
mạng như vậy phức tạp như thế nào có thể xuất hiện nếu tất cả các đường được vẽ. Sẽ
mất nhiều mực, không thể đọc được và nhiều chi tiết có thể làm mở đi các đặc trưng
Nhóm 14

7


Tiểu luận chun đề
chính. Do vậy, chúng tơi sẽ sử dụng một ký hiệu tắt. Một nơron nhiều đầu vào sử dụng
ký hiệu này được minh họa trong hình 2.6.

Hình 2.6 Nơron với đầu ra R , ký hiệu tắt.
Như minh họa ở hình 2.6, vectơ đầu vào p được biểu diễn bởi vạch thẳng đứng
đặc ở bên trái. Kích thước của p được hiển thị dưới giá trị có thể có ví dụ Rx1, cho biết
rằng đầu vào là một vectơ của các yếu tố R. Các đầu vào này cùng với ma trận weight
W, mà có các cột R nhưng chỉ một hàng trong trường hợp nơron đơn này. 1 khơng đổi
thêm vịa nơron như một đầu vào và được nhân với một ngưỡng b vô hướng. Đầu vào
lưới tới hàm số chuyển f là một n, mà là tổng của ngưỡng b này và một sản phẩm Wp.

Đầu ra a của nơron này là một vô hướng trong trường hợp này. Nếu chúng tơi có hơn
một nơron, đầu ra mạng có thể là một vectơ.
Thứ nguyên của các biến số này trong các hình ký hiệu tắt này sẽ ln ln được
tính đến, để bạn cóthể nói ngay lập tức nếu chúng tơi nói về vơ hướng hoặc vector hoặc
ma trận. Bạn sẽ khơng phải đốn loại biến số hoặc thứ nguyên của nó.
Chú ý rằng con số đầu vào cho một mạng được đặt bởi các đặc điểm kỹ thuật bên
ngồi của vấn đề. Ví dụ, nếu, bạn muốn thiết kế một mạng nơron mà là để dự báo các
điều kiện cho diều bay và các đầu vào là nhiệt độ khơng khí, vận tốc gió và độ ẩm, khi
đó có 3 đầu vào cho mạng này.
Để nghiên cứu một nơron hai đầu vào, sử dụng Neural Network Design
Demonstration Two-Input Neuron (nnd2n2).
3. Các cấu trúc mạng

Thông thường thì một nơron, thậm chí với nhiều đầu vào có thể khơng đủ. Chúng
tơi có thể cần 5 hoặc 10, họat động song song, mà chúng tôi gọi là một “lớp”. Khái niệm
về một tầng được thảo luận ở dưới.

Nhóm 14

8


Tiểu luận chuyên đề
3.1 Một tầng nơron.
Một mạng đơn tang của nơron S được minh họa trong hình 2.7. Chú ý là mỗi đầu
vào R được nối với mỗi nơron và bây giờ ma trận weight có các hàng S.

Hình 2.7 Tầng của các nơron S
Tầng này bao gồm ma trận weight, các summer, vectơ bias b, các khung hàm số
chuyển và vectơ đầu ra a. Một số tác giả cho rằng các đầu vào như một tầng khác,

nhưng ở đây chúng tôi không cho là như vậy.
Mỗi yếu tố của vectơ p được nối với mỗi nơron thông qua ma trận weight W. Mỗi
nơron có một bias b, một summer, một hàm số chuyển f và một đầu ra ai. Đi cùng với
nhau, các đầu ra hình thành nên vectơ đầu ra a.
Thơng thường thì số đầu vào cho một tầng là khác với số nơron (ví dụ, R≠S).
Bạn có thể thắc mắc nếu tất cả các nơron trong một tầng phải có cùng hàm số
chuyển. Câu trả lời là khơng, bạn có thể xác định một tầng đơn ( ghép) của các nơron có
các hàm chuyển khác nhau do việc kết hợp các mạng được chỉ ra tương ứng dưới đây.
Cả mạng có các đầu vào như nhau và mỗi mạng sẽ tạo ra một vài đầu ra.
Các yếu tố vectơ đầu vào thêm vào mạng thông qua ma trận weight W.

Nhóm 14

9


Tiểu luận chuyên đề
Như trước đây đã lưu ý rằng các chú dẫn của các yếu tố của ma trận W cho biết
nơron nơi đến được liên hợp với ma trận weight này, trong khi các chú dẫn cột cho biết
nguồn của đầu vào cho ma trận weight. Do đó, các chú dẫn trong w3,2 cho biết weight
này đại diện cho sự kết nối với nơron thứ ba từ nguồn thứ hai.
May mắn là, nơron S, đầu vào R, mạng một tầng cũng có thể được vẽ bằng ký
hiệu tắt, như hình 2.8.

Hình 2.8 Tầng của các nơron S, ký hiệu minh họa.
Ở đây các biểu tượng dưới các biến số cho bạn biết là đối với tầng này, p là một
vectơ của độ dài R, W là một ma trận S x R. và a và b là các vectơ của chiều dài S. Khi
được xác định trước đây, tầng gồm ma trận weight, các phép cộng và nhân, vectơ bias b,
các hộp hàm số chuyển và vectơ đầu ra.
3.2 Mạng đa tầng

Bây giờ coi một mạng với nhiều tầng. Mỗi tầng có ma trận weight W của chính
nó, vectơ bias b, vectơ đầy vào lưới n và một vectơ đầu ra a. Chúng tôi cần giới thiệu
một số ký hiệu thêm để phân biệt giữa các tầng. Chúng tôi sẽ sử dụng chữ viết bên trên
nhận dạng các lớp. Đặc biệt là, chúng tôi thêm vào số tầng như một chữ viết bên trên
các tên cho mỗi biến số này. Do đó, ma trận weight cho tầng đầu tiên được viết là W 1,
và ma trận weight cho tầng thứ hai được viết là W2. Đây là ký hiệu được sử dụng trong
mạng ba tầng trong hình 2.9.

Nhóm 14

10


Tiểu luận chun đề

Hình 2.9 Mạng ba tầng
Như hình, có các đầu vào R, nơron S1 trong tầng đầu tiên, nơron S2 trong tầng thứ
hai…. Chú ý rằng, các tầng khác nhau có thể có số nơron khác nhau.
Các đầu ra của các tầng một và hai là các đầu vào của tầng hai và ba. Do đó tầng 2
có thể đựoc nhìn nhận như một mạng một tầng với các đầu vào R = S1, các nơron S = S2
và một ma trận W2, S1x S2. Đầu vào cho tầng 2 là a1 và đầu ra a2.
Một tầng mà đầu ra của nó là một đầu ra mạng được gọi là tầng đầu ra. Các tầng
khác được gọi là các tầng ẩn. Mạng được chỉ ra phía dưới có tầng đầu ra ( tầng 3) và
hai tầng ẩn ( tâng 1 và tầng 2).
Mạng 3 tầng tương tự được thảo luận trước đó cũng có thể vẽ được nhờ sử dụng
các ký hiệu tắt của chúng tơi, như hình 2.10.

Hình 2.10 Mạng ba tầng, ký hiệu tắt
Nhóm 14

11


Tiểu luận chuyên đề
Các mạng đa tầng mạnh hơn các mạng đơn tầng. Ví dụ như, một mạng hai tầng có
tầng đầu sigmoid và tầng thứ hai tuyến tính có thể được huấn luyện để gần giống với
hầu hết các hàm. Các mạng đơn tầng không thể làm điều này.
Với quan điểm này, số các lựa chọn được tạo ra nhờ việc chỉ rõ một mạng có thể
trơng lấn án, vì vậy chúng ta hãy cân nhắc chủ đề này. Vấn đề khơng phải nó trơng tệ
thế nào. Đầu tiên, xem lại số đầu vào cho mạng này và số đầu ra từ mạng này được xác
định nhờ các đặc điểm kỹ thuật vấn đề ở bên ngồi. Vì vậy nếu có 4 biến số bên ngồi
được sử dụng như các đầu vào, có 4 đầu vào cho mạng này. Tương tự, sẽ có 7 đầu ra từ
mạng này, phải có 7 nơron trong tầng đầu ra. Cuối cùng các đặc tính mong muốn của tín
hiệu đầu ra cũng giúp chọn ra hamg số chuyển cho tầng dầu ra. Nếu một đầu ra vừa
khơng là -1 hoặc là 1 thì khi đó hàm số chuyển hạn chế cứng đối xứng nên được sử
dụng. Do đó, cấu trúc của một mạng đơn tầng là hầu hết được xác định hoàn chỉnh nhờ
các đặc tính kỹ thuật vấn đề, bao gồm số cụ thể các đầu vào và đầu ra và đặc điểm tín
hiệu đầu ra.
Bây giờ, nếu chúng ta có nhiều hơn hai tầng? Ở đây, vấn đề bên ngồi khơng nói
trực tiếp cho bạn số nơron được yêu cầu trong các tầng ẩn. Thực tế là có một số vấn đề
cho ai có thể dự đốn số nơron tối ưu nhất cần trong một mạng ẩn. Vấn đề này la một
phần thực sự của nghiên cứu. Chúng tôi sẽ xây dựng một số cảm nghĩ về vấn đề này khi
chúng tơi thực hiện chương 11, thuật tốn truyền ngược.
Cịn về số tầng, các mạng nơron thực tiễn nhất chỉ có hai hoặc ba tầng. Bốn hoặc
nhiều tầng hơn hiếm khi được dùng.
Chúng tơi nên nó một vài điều về cách sử dụng các ngưỡng. Một người có thể
chọn các nơron có hoặc khơng có các ngưỡng. Ngưỡng cho mạng một biến số mong đợi
và vì vậy bạn có thể mong đợi rằng các mạng với các bias sẽ mạnh hơn mạng khơng có,
và đó là sự thật. Ví dụ, chú ý tới một nơron khơng có một bias sẽ ln có đầu vào mạng
n là 0 khi các đầu ra mạng p là 0. Điều này có thể khơng mong muốn và có thể tránh

được nhờ sử dụng một bias. Tác động của bias được thảo luận đầy đủ hơn trong chương
3,4 và 5.
Trong các chương sau chúng tôi sẽ bỏ sót một bias trong một vài ví dụ hoặc chứng
minh. Trong một vài trường hợp thì thực hiện đơn giản để giảm số tham số mạng. Chỉ
với 2 biến số, chúng tơi có thể vẽ sự hội tụ hệ thống trong một mặt phẳng 2 thứ nguyên.
3 hoặc nhiều biến số hơn sẽ khó hiển thị.
3.3 Mạng hồi quy
Trước khi chúng tôi thảo luận về các mạng hồi quy, chúng tôi cần giới thiệu về
một vài khối xây dựng đơn giản. Đầu tiên là khối trễ, được minh họa trong hình 2.11.

Nhóm 14

12


Tiểu luận chuyên đề

Hình 2.11 Khối trễ
Đầu ra trễ a(t) được tính tốn từ chính đầu vào u(t) của nó, theo cơng thức:
a(t) = u(t - 1)

(2.7)

Do đó đầu ra là đầu vào bị trễ do một bước thời gian. ( điều này giả thiết rằng thời
gian được cập nhật trong các bước rời rác và chỉ nhận giá trị ngun.) ví dụ cơng thức
2.7 u cầu tằng đầu ra được cho giá trị ban đầu tại thời điểm t ≈0. Điều kiện ban đầu
được trình bày trong hình 2.11 nhờ đường cong tới điểm cuối của khối trễ.
Khối xây dựng liên quan khác mà chúng tôi sẽ sử dụng trong các mạng hồi quy
thời gian tiếp diễn trong chương 15 – 18, là máy tích phân, mà được trình bày trong hình
2.12.

Hình 2.12. Khối máy tích phân
Nhóm 14

13


Tiểu luận chuyên đề
Đầu vào máy tích phân a(t) được tính tốn từ đầu vào u(t) của chính nó, như sau

Điều kiện ban đầu a(0) được trình bày nhờ đường cong đến từ cuối của khối máy
tích phân.
Bây giờ chúng tơi sẵng sang giới thiệu các mạng tuần hồn. Một mạng tuần hồn
là một mạng có thơng tin phản hồi; một số đầu ra của nó được kết nối với các đầu vào.
Điều này hơi khác so với các mạng mà chúng ta nghiên cứu trước mà hoàn toàn là thơng
tin khơng có các kết nối trở lại. Một loại mạng tuần hồn thời gian rời rạc được trình
bày trong hình 2.13.

Hình 2.13. Mạng tuần hồn
Trong mạng cụ thể này, vectơ p cung cấp các điều kiện ban đầu ( ví dụ, a (0) = p).
Khi đó các đầu ra tương lai của mạng được tính tốn nhờ các đầu ra trước đó.

Các mạng hồi quy mạnh hơn các mạng truyền thẳng và có thể đưa ra các hành vi
liên quan đến thời gian. Các kiểu mạng này được trình bày trong chương 3 và 15-18.
Tóm tắt các kết quả

Nhóm 14

14

Tiểu luận chuyên đề
Nơron đầu đơn vào

Nơron đa đầu vào

Nhóm 14

15


Tiểu luận chuyên đề

Các hàm số chuyển
Tên
Hạn chế cứng

Hệ thức/ mối
quan hệ
a = 0 n<0
a = 1 n≥0

Hạn chế cứng
đối xứng

Hàm
MATLAB
hardlim

a = -1 n<0

a = +1 n≥0

Purelin

a=0 n< 0
a=n 0≤n≤

tính

hardlims

a=n

Tuyến tính
Tuyến
bão hịa/ no

Biểu tượng

Satlin

1
a=1 n>1
a = -1 n < -1
a = n -1 ≤ n ≤

Tuyến
tính
bão hịa đối xứng

Satlins

1
a=1 n>1
Log-Sigmoid

Logsig

Sigmoid tiếp
tuyến Hipebon
Tuyến
dương
competive

Nhóm 14

tính

Tagsig

a = 0 n<0
a = n 0≤n

Poslin

a = 1 nơron
với n tối đa
a = 0 tất cả
nơron khác

compet

16


Tiểu luận chuyên đề

Mạng một tầng

Mạng đa tầng

Trễ

Nhóm 14

17


Tiểu luận chuyên đề

Mạng tích phân

Mạng hồi quy

Các vấn đề về kĩ thuật sẽ giúp xác định mạng theo các cách sau:
1. Số lượng các đầu vào của mạng = số lượng các vấn đề đưa vào.
2. Số lượng nơ-ron ở tầng ra = số lượng các vấn đề ở đầu ra.
Nhóm 14

18

Tiểu luận chuyên đề
3. Hàm chuyển ở tầng ra được xác định ít nhiều phần nào bởi các vấn đề kĩ
thuật của đầu ra mong muốn
Một Số Bài Tốn Có Lời Giải:
P2.1. Đầu vào một nơ-ron đơn đầu vào là 2.0, trọng số của nó là 2.3 và
ngưỡng là -3.
i. Tính đầu vào của hàm chuyển bằng bao nhiêu?
ii. Đầu ra của nơ ron là bao nhiêu?
i. Đầu vào của hàm chuyển được cho bởi:
n = wp + b = (2.3)(2) + (-3) = 1.6
ii. Đầu ra không thể xác định được bởi vì hàm chuyển chưa được chỉ rõ.
P2.2. Đầu ra của nơ-ron ở bài 2.1 là gì nếu các hàm chuyển được cho như sau
i. Giới hạn ngặt
ii. Tuyến tính
iii. Log-xichma
i. Hàm chuyển giới hạn ngặt:
a = hardlim(1.6) =1.0
ii. Hàm tuyến tính:
a=purelin(1.6) =1.6
iii. Hàm log-xicma:

P2.3. Cho một nơ-ron có hai đầu vào với các tham số như sau: b =1,2, W =[3 2] và p=[5 6] tính đầu ra với các hàm chuyển sau:
i. Symmetrical hard limit.
ii. Saturating linear
iii. Hyperbolic tangent sigmoid (tansig)
Nhóm 14

19

Tiểu luận chuyên đề
Đầu tiên tính net input n:

Bây giờ ta tính đầu ra cho mỗi hàm chuyển.
i. a = hardlims(-1.8) = -1
ii. a = satlin(-1.8) = 0
iii. a = tansig(-1.8) = -0.9468
P2.4. Một mạng nơ-ron một tầng có 6 đầu vào và 2 đầu ra. Đầu ra được giới hạn và liên
tục trong khoảng 0-1. Bạn hãy cho biết về kiến trúc mạng này?
Đặc trưng:
i. Yêu cầu bao nhiêu nơ-ron?
ii. Kích thước của ma trận trọng số?
iii. Các hàm chuyển nào sẽ được sử dụng?
iv. Có yêu cầu một giá trị ngưỡng khơng?

Nhóm 14

20


Tiểu luận chuyên đề

KẾT LUẬN
Chương này đã giới thiệu về một nơron nhận tạo đơn giản và đã minh họa các
mạng nơron khác nhau có thể được tạo ra như thế nào nhờ việc kết nối các nhóm nơron
bằng nhiều cách khác nhau. Một trong các chủ đề chính của chương này là giới thiệu ký
hiệu nền tảng của chúng tôi. Khi các mạng được thảo luận chi thết hơn ở các chương
sau, bạn có thể quay trở lại chương 2 để nhớ lại các kí hiệu thích hợp.

Chương này khơng có nghĩa là sự trình bày hồn thiện về các mạng mà chúng tơi
đề cập ở đây. Điều đó sẽ được hồn thiện ở các chương sau. Chúng tơi sẽ bắt đầu trong
chương 3, mà giới thiệu về một ví dụ đơn giản về sử dụng một số mạng mà được mô tả
trong chương này và sẽ mang lại cho bạn cơ hội để xem xét các mạng này hoạt động.
Các mạng này được giải thích trong chương 3 là đại diện cho các loại mạng mà có trong
các phần cịn lại của bài.

Nhóm 14

21