Mạng noron hopfield cho một lớp bài toán tối ưu

NGUYỄN THỊ PHƢƠNG DUNG

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC MỞ HÀ NỘI

LUẬN VĂN THẠC SỸ
CÔNG NGHỆ THÔNG TIN

CHUYÊN NGÀNH CÔNG NGHỆ THÔNG TIN

MẠNG NORON HOPFIELD
CHO MỘT LỚP BÀI TOÁN TỐI ƢU

NGUYỄN THỊ PHƢƠNG DUNG
2014-2016
HÀ NỘI - 2018


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƢỜNG ĐẠI HỌC MỞ HÀ NỘI

LUẬN VĂN THẠC SỸ

MẠNG NORON HOPFIELD
CHO MỘT LỚP BÀI TOÁN TỐI ƢU
NGUYỄN THỊ PHƢƠNG DUNG
CHUYÊN NGÀNH: CÔNG NGHỆ THÔNG TIN
MÃ SỐ: 8.48.02.018
NGƢỜI HƢỚNG DẪN KHOA HỌC:PGS.TS NGUYỄN QUANG HOAN

HÀ NỘI - 2018

LỜI CAM ĐOAN
Tôi cam đoan đây là công trình nghiên cứu riêng của tôi.
Các số liệu, kết quả nêu trong luận văn là trung thực và chƣa từng đƣợc ai
công bố trong bất kỳ công trình nào khác.

Hà Nội, ngày 02 tháng 12 năm 2018
HỌC VIÊN THỰC HIỆN

Nguyễn Thị Phƣơng Dung

i


LỜI CẢM ƠN
Để luận văn này hoàn thành, tôi đã nhận đƣợc sự hỗ trợ, giúp đỡ của các cơ
quan, tổ chức, cá nhân. Với tình cảm sâu sắc, chân thành, cho phép tôi đƣợc bày tỏ
lòng biết ơn sâu sắc đến tất cả các cá nhân và cơ quan đã tạo điều kiện giúp đỡ trong
quá trình học tập và nghiên cứu đề tài.
Trƣớc hết tôi xin gửi tới đến ban lãnh đạo trƣờng Đại học Mở Hà Nội, các
thầy cô trong Khoa Đào tạo Sau đại học lời chào trân trọng, lời chúc sức khỏe và lời
cảm ơn sâu sắc. Với sự quan tâm, dạy dỗ, chỉ bảo tận tình chu đáo của thầy cô, đến
nay tôi đã có thể hoàn thành luận văn, đề tài:
" Mạng nơ ron Hopfield cho một lớp bài toán tối ưu".
Đặc biệt tôi xin gửi lời cảm ơn chân thành nhất tới thầy giáo PGS.TS
Nguyễn Quang Hoan đã quan tâm giúp đỡ, hƣớng dẫn tôi hoàn thành tốt luận văn
này trong thời gian qua.
Với điều kiện thời gian cũng nhƣ kinh nghiệm còn hạn chế của một học viên,
luận văn này không thể tránh đƣợc những thiếu sót. Tôi rất mong nhận đƣợc sự chỉ

bảo, đóng góp ý kiến của các thầy cô để tôi có điều kiện bổ sung, nâng cao ý thức
của mình, phục vụ tốt hơn công tác thực tế sau này.
Tôi xin chân thành cảm ơn!

Hà Nội, ngày 02 tháng 12 năm 2018

Nguyễn Thị Phƣơng Dung

ii

Comment [H1]: Từ 1/12 gọi là ĐH Mở


MỤC LỤC
LỜI CAM ĐOAN ................................................................................................................... i
LỜI CẢM ƠN ........................................................................................................................ ii
MỤC LỤC ............................................................................................................................ iii
DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT........................................................... v
DANH MỤC CÁC BẢNG BIỂU ......................................................................................... vi
DANH MỤC CÁC HÌNH VẼ ............................................................................................. vii
MỞ ĐẦU ............................................................................................................................... 1
CHƢƠNG 1 ........................................................................................................................... 3
TỔNG QUAN VỀ MẠNG NƠ-RON NHÂN TẠO .............................................................. 3

1.1. Nơ ron sinh vật .................................................................................................3
1.1.1. Quá trình phát triển và nghiên cứu mạng nơ ron. ................................................ 3
1.1.2. Nơ-ron sinh học ................................................................................................... 5
1.1.3. Cấu trúc mạng nơron sinh vật .............................................................................. 6

1.2. Nơ ron nhân tạo ................................................................................................7

1.2.1. Mô hình tổng quát của nơron nhân tạo ................................................................ 7
1.2.2. Mạng noron nhân tạo ......................................................................................... 10
1.2.3. Luật học ............................................................................................................. 12
1.2.4. Mô hình mạng nơ ron nhân tạo điển hình .......................................................... 15
1.2.5. Phạm vi và ứng dụng của mạng noron............................................................... 22

1.3. Kết luận chƣơng 1 ..........................................................................................26
CHƢƠNG 2: MẠNG NƠ-RON HOPFIELD ...................................................................... 28

2.2. Thiết lập trọng trong mạng Hopfield, nguyên tắc bộ nhớ kết hợp hai chiều
(BAM) ...................................................................................................................36
2.3. Sự ổn định mạng .............................................................................................37
2.4. Mạng Hopfield liên tục..................................................................................38
2.6 Ý nghĩa và phạm vi ứng dụng của mạng Hopfield..........................................53
2.7 Kết luận chƣơng 2 ...........................................................................................55
CHƢƠNG 3: MẠNG HOPFIELD VỚI MỘT LỚP BÀI TOÁN TỐI ƢU ......................... 56

3.1. Bài toán ngƣời du lịch sử dụng mạng Hopfield .............................................56
3.1.1. Phát biểu bài toán ngƣời du lịch (TSP) .............................................................. 56

iii


3.1.2. Giải quyết bài toán với mạng Hopfield.............................................................. 56

3.2. Bài toán biến đổi A/D .....................................................................................61
3.2.1. Phát biểu bài toán .............................................................................................. 61
3.2.2. Giải quyết bài toán ............................................................................................. 61

3.3. Kết luận chƣơng 3 ..........................................................................................64

KẾT LUẬN.......................................................................................................................... 66
TÀI LIỆU THAM KHẢO ................................................................................................... 67

iv


DANH MỤC CÁC THUẬT NGỮ, CHỮ VIẾT TẮT
STT

Từ viết tắt

Tiếng Anh

Tiếng Việt
phần tử nơ ron tuyến t nh

1

ALM

Adaptive Linear Element

th ch nghi - tên loại nơ ron
do Widrow đề xuất năm
1960

Back Propagation Network

Mạng nhiều lớp lan truyền

2

BPN

3

BLR

4

EP

Evolutionary Programming

Lập trình tiến hóa

5

Gas

Genetic Algorithm

Thuật toán di truyền

ngƣợc
Backpropagation

Learning

Rule

Internatonal
6

IJCNN

Conference

Joint
on

Neural

Networks

Luật lan truyền ngƣợc

Hội nghị toàn cầu chuyên
ngành nơ ron
Trung bình bình phƣơng

7

LMS

Least Mean Square

8

PL

Parameter Learning

Học tham số

9

RL

Reinforcement Learning

Học củng cố

10

SL

Supervised Learning

Học có giám sát

Structure Learning

Học cấu trúc

11
12

TSP

13

UL

nhỏ nhất

Salesman Bài toán ngƣời bán hàng

Traveling
Problem

du lịch

Unsupervised Learning

Học không giám sát

v


DANH MỤC CÁC BẢNG BIỂU
Bảng 1.1. Một số hàm H(s) thƣờng dùng cho mô hình nơron nhân tạo .....................8
Bảng 1.2. Một số hàm phi tuyến thƣờng đƣợc sử dụng trong các mô hình nơron .....9
Bảng 3.1: Bảng kết quả .............................................................................................60

vi


DANH MỤC CÁC HÌNH VẼ
Hình 1.1 Nơron sinh vật .............................................................................................6

Hình 1.2. Nơron nhân tạo ............................................................................................8
Hình 1.3. Phân loại mạng nơ-ron nhân tạo ...............................................................12
Hình 1.4. Các dạng học .............................................................................................13
Hình 1.5. Mạng Perceptron một lớp đơn ..................................................................17
Hình 1.6. Mạng nhiều lớp lan truyền ngƣợc .............................................................20
Hình 2.1. Cấu trúc của mạng Hopfield .....................................................................31
Hình 2.2. Lƣợc đồ chuyển trạng thái trong v dụ 1. ..................................................33
Hình 3.1. Kiến trúc mạng Hopfield cho bài toán TSP n thành phố ..........................57

vii


MỞ ĐẦU
Nhờ các khả năng: học, nhớ lại và khái quát hóa từ các mẫu huấn luyện hoặc dữ
liệu, mạng nơ-ron nhân tạo trở thành một phát minh đầy hứa hẹn của hệ thống xử lý
thông tin. Các t nh toán nơ-ron cho phép giải quyết tốt những bài toán đặc trƣng bởi
một số hoặc tất cả các t nh chất sau: sử dụng không gian nhiều chiều, các tƣơng tác
phức tạp, chƣa biết hoặc không thể biết về mặt toán học giữa các biến. Ngoài ra
phƣơng pháp này còn cho phép tìm ra nghiệm của những bài toán đòi hỏi đầu vào là
các cảm nhận của con ngƣời nhƣ: ảnh, tiếng nói, nhìn, nhận dạng cũng nhƣ khả năng
học.
Những năm gần đây trên thế giới đƣa ra mô hình mạng nơ-ron nhân tạo là mô
hình t nh toán đƣợc ứng dụng rộng rãi trong lĩnh vực công nghệ thông tin, đặc biệt
là mạng Hopfield rất th ch hợp cho các bài toán nhƣ: bài toán tìm đƣờng đi ngắn
nhất, bài toán tô màu bản đồ, bài toán xếp hậu... Khi ứng dụng mạng nơ-ron
Hopfield để giải bài toán thì thu đƣợc kết quả khá khả quan về mặt chƣơng trình
gọn, đơn giản. Nhận thức đƣợc vấn đề đó và có sự gợi ý định hƣớng của thầy
Nguyễn Quang Hoan, em đã mạnh dạn nghiên cứu đề tài “Mạng nơ-ron Hopfield
cho một lớp bài toán tối ƣu“ với mục đ ch tìm hiểu về mạng nơ-ron nhân tạo, mạng
nơ-ron Hopfield và ứng dụng để giải các bài toán tối ƣu.

Luận văn đƣợc chia làm 3 chƣơng với các nội dung cơ bản sau:
Chƣơng 1: Tổng quan về mạng nơ-ron nhân tạ o
Chƣơng này trình bày phần lý thuyết cơ sở của mạng nơ ron cho việc nghiên cứu
ứng dụng trong việc giải quyết bài toán tối ƣu ngƣời du lịch và bài toán biến đổi
A/D.
Chƣơng 2: Mạng nơ-ron Hopfield
Chƣơng này chủ yếu bàn về các mạng hồi quy một lớp. Đi sâu tìm hiểu về mạng nơ
ron Hopfield trong đó có : mạng Hopfield rời rạc, mạng Hopfield liên tục, nghiên
cứu về sự ổn định mạng…
Chƣơng 3: Mạng nơ-ron Hopfield với một lớp bài toán tối ƣu

1


Chƣơng này tập trung vào 2 vấn đề ch nh đó là ứng dụng mạng nơ ron Hopfield giải
quyết bài toán ngƣời du lịch và bài toán biến đổi A/D. Qua đó xây dựng chƣơng
trình và đƣa ra kết luận cụ thể.
Mặc dù đã hết sức nỗ lực, song do thời gian và kinh nghiệm nghiên cứu khoa học
còn hạn chế nên không thể tránh khỏi những thiếu sót. Em rất mong nhận đƣợc sự
góp ý của các thầy cô trong hội đồng và các anh chị tham gia bảo vệ để hiểu biết
của mình ngày một hoàn thiện hơn.
Qua luận văn này em xin chân thành cảm ơn thầy PGS.TS. Nguyễn Quang
Hoan đã tận tình giúp đỡ, động viên, định hƣớng, hƣớng dẫn em nghiên cứu và
hoàn thành luận văn này. Em xin cảm ơn các thầy cô trong Trƣờng Đại học Mở Hà
Nội đã giảng dạy và giúp đỡ em trong các năm học qua.

2


CHƢƠNG 1

TỔNG QUAN VỀ MẠNG NƠ-RON NHÂN TẠO
1.1. Nơ ron sinh vật
1.1.1. Quá trình phát triển và nghiên cứu mạng nơ ron.
Nghiên cứu bộ não con ngƣời, cụ thể là tế bào thần kinh (nơron) là ƣớc muốn
từ lâu của nhân loại. Từ đó, các nhà khoa học đã không ngừng nghiên cứu và tìm
hiểu về mạng nơron. Với khoảng hơn 15 tỷ nơron ở não ngƣời, nơron có thể nhận
hàng ngàn hàng vạn t n hiệu từ các khớp thần kinh và đƣợc coi là một cơ chế sinh
vật phức tạp nhất. Não ngƣời có khả năng giải quyết những vấn đề nhƣ : nghe, nhìn,
nói, hồi ức thông tin, phân biệt các mẫu mặc dầu sự kiện bị méo mó, thiếu hụt. Não
thực hiện những nhiệm vụ nhƣ vậy nhờ các phần tử t nh toán là nơron. Não phân bố
việc xử l cho hàng tỷ nơron có liên quan, điều khiển các mối liên hệ giữa các nơron
đó. Nơron không ngừng nhận và truyền thông tin lẫn nhau. Các nơron tự liên kết
với nhau thành mạng trong xử lý. Mỗi mạng gồm hàng vạn các phần tử nơron khác
nhau và mỗi phần tử nơron có khả năng liên kết với hàng ngàn nơron khác. Lý
thuyết về mạng nơ ron đã hình thành và đang phát triển, đặc biệt là nghiên cứu các
ứng dụng của chúng.
Mạng nơ-ron nhân tạo đƣợc xây dựng từ những năm 1940 nhằm mô phỏng
bộ điều khiển. Mạng nơ-ron nhân tạo đƣợc thiết kế tƣơng tự nhƣ nơ-ron sinh học sẽ
có khả năng giải quyết hàng loạt các bài toán nhƣ t nh toán tối ƣu, điều khiển, công
nghệ robot…
Quá trình nghiên cứu và phát triển mạng nơ-ron nhân tạo có thể đƣợc chia thành 5
giai đoạn nhƣ sau:

 Giai đoạn thứ nhất: Giai đoạn thứ nhất có thể t nh từ nghiên cứu của
William 1890 về tâm lý học với sự liên kết các nơron thần kinh. Từ năm 1943
Mc.Culloch và Pitts đã cho biết: nơron có thể đƣợc mô hình hoá nhƣ thiết bị ngƣỡng (giới hạn) để thực hiện các phép t nh logic. Mô hình một nơ ron Mc.Culloch và
Pitts còn đƣợc coi là mô hình xác suất khi hàm tƣơng tác đầu ra của nó đƣợc chọn là
hàm Sigmoid đơn điệu không giảm, xác định trong khoảng [0, 1], tƣơng đƣơng với
3

một phân phối xác suất. Mô hình này là điểm xuất phát của hầu hết các phần tử nơ
ron, đặc biệt là các kiến trức mạng nơ ron học sâu có t nh xác suất và luật học nhƣ
máy Boltzmann, mạng học sâu tin tƣởng v… Cũng thời gian đó Wiener đã xét các
mối liên hệ giữa nguyên lý phản hồi và chức năng bộ não.

 Giai đoạn thứ hai: Giai đoạn thứ hai vào những năm 1960, gần nhƣ đồng
thời một số mô hình nơron hoàn hảo hơn đã đƣợc đƣa ra, đó là mô hình:
-

Perceptron của Rosenbatt

-

Adaline của Widrow

-

Ma trận học của Stinbuck

trong đó, mô hình Perceptron rất đƣợc quan tâm vì nguyên lý đơn giản, nhƣng
nó cũng có hạn chế vì nhƣ Minsky và Papert đã chứng minh nó không dùng đƣợc
cho các hàm log c phức. Còn Adaline là mô hình tuyến t nh, tự chỉnh, đƣợc dùng
rộng rãi trong điều khiển th ch nghi, tách nhiễu vẫn phát triển và ứng dụng cho đến
ngày nay.

 Giai đoạn thứ ba: Giai đoạn thứ ba có thể đƣợc t nh là khoảng đầu những
năm 80. Những đóng góp lớn cho mạng nơron trong giai đoạn này phải kể đến
Grossberg, Kohonen và Hopfield. Đóng góp lớn của Hopfield gồm hai mạng phản
hồi: mạng rời rạc 1982 và mạng liên tục năm 1984. Đặc biệt, ông đã dự kiến nhiều

khả năng t nh toán lớn của mạng mà một nơron không có khả năng đó. Cảm nhận
của Hopfied đã đƣợc Rumelhart, Hinton đề xuất thuật toán sai số truyền ngƣợc nổi
tiếng để huấn luyện mạng nơron nhiều lớp nhằm giải bài toán mà mạng khác không
thực hiện đƣợc. Mạng lan truyền ngƣợc là một đóng góp đáng kể gần nhƣ không thể
thay thế cho các mạng nơ ron truyền thẳng nhiều lớp.

 Giai đoạn thứ tư: Giai đoạn thứ tƣ là từ năm 1987 đến năm 2000, hàng năm
thế giới đều mở hội nghị toàn cầu chuyên nghành nơron IJCNN (Internatonal Joint
Conference on Neural Networks). Các công trình nghiên cứu để hoàn thiện thêm về
lý thuyết mạng nơron nhƣ : mở rộng, hoàn thiện các lớp mạng, phân t ch ổn định,
kết hợp lý thuyết mạng nơron với các lý thuyết khác cũng không ngừng đƣợc đƣa
ra. Hàng loạt lĩnh vực khác nhƣ: kỹ thuật t nh, tối ƣu, sinh học, y học, thống kê,
giao thông, hoá học, truyền thông… đã đóng góp nhiều công trình nghiên cứu và
4


ứng dụng mạng nơron vào lĩnh vực của mình và đem lại những kết quả đáng kh ch
lệ. Ở trong nƣớc, mạng nơron đƣợc nghiên cứu từ những năm 1980, đi vào ứng
dụng trong các lĩnh vực tin học viễn thông, đo lƣờng điều khiển… Một số chip
nơron đã đƣợc dùng trong kỹ thuật lọc và một số ứng dụng khác. Đặc biệt, năm
1988 mạng nơ-ron tế bào đƣợc Leon Chua [3] nghiên cứu lý thuyết và ứng dụng;
trên cơ sở đó năm 1993 đã chế tạo thành công năm máy t nh nơ ron tế bào đa năng
và đƣợc giải thƣởng Nobel.

 Giai đoạn thứ năm: từ năm 2000 đến nay là giai đoạn phát triển của mạng nơ
ron học sâu. Mạng nơ ron học sâu là một tập hợp các mạng nơ ron nhiều nhớm lớp,
mỗi nhóm lớp thực hiện một chức năng khác nhau và rất hiệu quả khi giải quyết
những vấn đề với dữ liệu lớn. Mạng nơ ron trong trƣờng hợp đó có khả năng rút gọn
dữ liệu, đảm bảo độ sai số không đáng kể tƣơng ứng với dữ liệu lớn xử lý lâu,
không đảm bảo thời gian thực. Các mạng nơ ron học sâu có thể chia làm 4 nhóm:

kiến trúc mạng nơ ron học sâu hạn chế Boltzmann; kiến trúc mạng nơ ron học sâu
t ch chập; kiến trúc mạng nơ ron học sâu tin tƣởng; kiến trúc mạng nơ ron học sâu
Autoencoder. Mỗi một nhóm kiến trúc có nhiều loại mạng và phiên bản khác nhau.
Mạng nơ ron học sâu đƣợc công ty Google phát triển thanh phần mềm mở có khả
năng ứng dụng và phát triển rộng rãi.

1.1.2. Nơ-ron sinh học
Nơron sinh vật có nhiều dạng khác nhau nhƣ dạng hình tháp, dạng tổ ong,
dạng rễ cây. Tuy nhiên, chúng có cấu trúc và nguyên lý hoạt động chung. Một tế
bào nơron gồm 4 phần cơ bản:

 Các nhánh và rễ : là các bộ phận nhận thông tin, các đầu nhậy hoặc các đầu
ra của các nơron khác bám vào rễ hoặc nhánh của một nơron. Khi các đầu vào từ
ngoài này có sự chênh lệch về nồng độ K+, Na+ hay Cl- so với nồng độ bên trong
của nó thì xẩy ra hiện tƣợng thấm từ ngoài vào trong thông qua một cơ chế màng
thấm đặc biệt. Hiện tƣợng thẩm thấu nhƣ vậy tạo nên một cơ chế truyền đạt thông
tin với hàng ngàn hàng vạn lối vào trên một nơron sinh vật, ứng với hàng nghìn
hàng vạn liên kết khác nhau. Mức độ thẩm thấu đƣợc đặc trƣng bởi cơ chế màng tƣ-

5


ợng trƣng bằng một tỷ lệ. Tỷ lệ đó đƣợc gọi là tỷ trọng hay đơn giản gọi là trọng
(weight).

 Thân thần kinh (soma): chứa các nhân và cơ quan tổng hợp protein. Các ion
vào đƣợc tổng hợp và biến đổi. Khi nồng độ các ion đạt đến một giá trị nhất định,
xảy ra quá trình phát xung (hay k ch th ch). Xung đó đƣợc phát ở các đầu ra của
nơron. Dây dẫn đầu ra xung đƣợc gọi là dây thần kinh.

 Dây thần kinh (axon): là đầu ra. Đó là phƣơng tiện truyền dẫn t n hiệu. Dây
thần kinh đƣợc cấu tạo gồm các đốt và có thể dài từ micro mét đến vài mét tuỳ từng
kết cấu cụ thể. Đầu ra này có thể truyền t n hiệu đến các nơron khác.

 Khớp thần kinh (synape): là bộ phận tiếp xúc của đầu ra nơron với rễ, nhánh
của các nơron khác. Chúng có cấu trúc màng đặc biệt để tiếp nhận các t n hiệu (hình
1.1) khi có sự chênh lệch về nồng độ ion giữa bên trong và bên ngoài. Nếu độ lệch
về nồng độ càng lớn thì việc truyền các ion càng nhiều và ngƣợc lại. Mức độ thẩm
thấu của các ion có thể coi là một đại lƣợng thay đổi tuỳ thuộc vào nồng độ nhƣ một
giá trị đo thay đổi đƣợc gọi là trọng.

Hình 1.1 Nơron sinh vật

1.1.3. Cấu trúc mạng nơron sinh vật
Mạng nơron sinh vật tổ chức thành từng lớp (layer). Ta có:

6


 Mạng một lớp: là tập hợp các phần tử nơron có đầu vào và đầu ra trên mỗi
một phần tử. Nếu mạng nối đầu ra của các phần tử này với đầu vào của phần tử kia
gọi là mạng tự liên kết (autoassociative).

 Mạng hai lớp: gồm một lớp đầu vào và một lớp đầu ra riêng biệt.
 Mạng nhiều lớp: gồm một lớp đầu vào và một lớp đầu ra riêng biệt. Các lớp
nằm giữa lớp đầu vào và lớp đầu ra gọi là lớp ẩn (hidden layers).

 Mạng truyền thẳng: là mạng hai hay nhiều lớp mà quá trình truyền t n hiệu
từ đầu ra lớp này đến đầu vào lớp kia theo một hƣớng.

 Mạng truyền ngược: là mạng mà trong đó một hoặc nhiều đầu ra của các
phần tử lớp sau truyền ngƣợc tới đầu vào của lớp trƣớc.

 Mạng tự tổ chức: là mạng có khả năng sử dụng những kinh nghiệm của quá
khứ để th ch ứng với những biến đổi của môi trƣờng (không dự báo trƣớc). Loại
mạng này thuộc nhóm hệ học, th ch nghi không cần có t n hiệu chỉ đạo từ bên
ngoài.

1.2. Nơ ron nhân tạo
1.2.1. Mô hình tổng quát của nơron nhân tạo
Mô hình một phần tử nơron nhân tạo đƣợc xây dựng từ ba thành phần ch nh:
bộ tổng các liên kết đầu vào, động học tuyến t nh, phi tuyến không động học (hình
1.2)
-1
X1

W1

W

X2

U(t)
V(t)
W2

H(.)

…
7

Xm
Wm

f(.)

Y (t)


Hình 1.2. Nơron nhân tạo

Bộ tổng liên kết: Bộ tổng hợp các liên kết đầu vào của một phần tử nơ
ron có thể mô tả nhƣ sau
m

v(t )   wk xk (t ) - I

(1-1)

k 1

trong đó:
- v(t): tổng tất cả các đầu vào mô tả toàn bộ thế năng tác động ở thân nơ ron;
- xk(t): các đầu vào ngoài, mô tả t n hiệu vào từ các đầu nhạy thần kinh hoặc
từ các nơron khác đƣa vào;
- wk: trọng liên kết vào ngoài, là hệ số mô tả mức độ liên kết giữa các đầu
vào ngoài tới nơron hiện tại, m là số đầu vào; k=1,...,m;
- y(t) : đầu ra nơron mô tả t n hiệu đƣa ra;
- I : hằng số, còn gọi là ngƣỡng (Bias hay Threshold), xác định ngƣỡng k ch
th ch hay ức chế.

Phần động học tuyến tính.
Đầu vào của phần động học là v(t). Đầu ra của nó u(t) gọi là đầu ra
tƣơng tự. Hàm truyền tƣơng ứng của phần động học tuyến t nh có thể
mô tả dƣới dạng:
U(s) = H(s) V(s)

H ( s) 

(1-2)

U ( s)
V (s)

Bảng 1.1. Một số hàm H(s) thƣờng dùng cho mô hình nơron nhân tạo

H(s)

1

1
s

Quan hệ

u(t) = v(t)

du (t )
 v(t )
dt

vào ra

1
1  sT

8

T

du (t )
 u (t )  v(t )
dt

Exp(-sT)
u(t)=v(t-T)


Các hàm phi tuyến: phần sử dụng hàm quan hệ phi tuyến f(.) cho đầu ra
y, để chặn t n hiệu ở đầu ra
m

y = f(u(t)) =f(  xi (t ) wi  I )

(1-3)

i 1

Hàm phi tuyến ở đây có thể chia thành hai nhóm: nhóm hàm bƣớc nhảy
và nhóm hàm liên tục.
Bảng 1.2. Một số hàm phi tuyến thƣờng đƣợc sử dụng trong các mô hình nơron

Công thức

Tên hàm

Đặc t nh

Bƣớc nhảy đơn vị
1
0

f(x)= 

if x  0
if x  0

Hard Limiter hay hàm
dấu
(sign)

if x  0
1

1
if
x0


f(x)= 

Hàm tuyến t nh

Hàm tuyến t nh bảo
hoả đối xứng

Hàm Sigmoid
lƣỡng cực

f(x)=x

if x  1

1


if  1  x  1

f(x)=  x

 1 if x  0


f(x) =

2
-1
1  e  x

Một số dạng khác cũng đƣợc sử dụng nhƣ: dạng hàm Gauss, hàm Logarit,
hàm mũ.

9


1.2.2. Mạng noron nhân tạo
Mạng noron nhân tạo là một cấu trúc mạng đƣợc hình thành nên bởi một số
lƣợng lớn các noron nhân tạo liên kết với nhau. Mỗi noron có các đặc t nh đầu vào,
đầu ra và thực hiện một chức năng t nh toán cục bộ.
Với việc giả lập các hệ thống sinh học, các cấu trúc t nh toán mạng noron có
thể giải quyết đƣợc lớp các bài toán nhất định nhƣ: bài toán lập lịch, bài toán tìm
kiếm, bài toán nhận dạng mẫu, bài toán xếp loại,…Mạng noron còn giải quyết đƣợc
lớp các bài toán sử dụng dữ liệu không đầy đủ, xung đột mờ hoặc xác suất. Những
bài toán này đƣợc đặc trƣng bởi một số hoặc tất cả các t nh chất sau: sử dụng không
gian nhiều chiều, các tƣơng tác phức tạp, chƣa biết hoặc không thể theo dõi về mặt
toán học giữa các biến; không gian nghiệm có thể rỗng, có nghiệm duy nhất hoặc có
một số nghiệm bình đẳng nhƣ nhau. Ngoài ra, mạng noron nhân tạo còn th ch hợp
để tìm nghiệm của những bài toán đòi hỏi đầu vào là những cảm nhận bởi con
ngƣời nhƣ: tiếng nói, nhìn và nhận dạng,…Tuy nhiên việc ánh xạ từ một bài toán
bất kỳ sang một giải pháp mạng noron là một việc không hề đơn giản.
Mạng noron là một cấu trúc xử lý song song, thông tin phân tán và có các đặc
trƣng nổi bật sau:
 Là mô hình toán học dựa trên bản chất của noron sinh học.
 Bao gồm một số lƣợng lớn các noron liên kết với nhau.
 Mạng noron có khả năng học, khái quát hóa tập dữ liệu học thông qua việc
gán và hiệu chỉnh các trọng số liên kết.
 Tổ chức theo kiểu tập hợp mang lại cho mạng noron khả năng t nh toán rất
lớn, trong đó không có noron nào mang thông tin riêng biệt.
Có nhiều cách để phân loại mạng nơron nhân tạo
Dựa vào số lƣợng lớp có trong mạng ta phân thành
-

Mạng một lớp.

-

Mạng nhiều lớp.

Dựa vào đƣờng truyền t n hiệu trong mạng ta phân thành
-

Mạng truyền thẳng.

-

Mạng phản hồi.
10


-

Mạng tự tổ chức.

Trong mỗi lớp mạng lại có nhiều mạng với các tên gọi và các đặc trƣng khác nhau.
Một kiểu phân loại điển hình đƣợc biểu diễn nhƣ hình 1.3

11


MẠNG NƠRON NHÂN TẠO

Phản hồi

(Hồi quy)

Truyền thẳng

Tuyến

Phi
Tuyến

Brain
State-in
Box

tính

Mạng

Mạng
Gabor

Furiê

Máy
Boltzmann

Cohen
Grossberg

Tự tổ chức

Hopfield

ánh
xạ đặc
trƣng

ART

Mc
Culloch
itts

Hình 1.3. Phân loại mạng nơ-ron nhân tạo

1.2.3. Luật học
Các luật học đóng vai trò quan trọng trong việc xác định cấu trúc và tham số của
một mạng noron nhân tạo. Theo nghĩa rộng thì học có thể chia làm 2 loại: Học tham
số và học cấu trúc.
Một cách đơn giản về khái niệm học của mạng noron là cập nhật các trọng số trên
cơ sở các mẫu.
1.2.3.1. Học tham số (Parameter Learning)
Tƣ tƣởng của việc học tham số là thay đổi, cập nhật các trọng liên kết. Hầu hết
các luật học tồn tại thuộc kiểu học tham số. Trong phần này, các kiến trúc mạng
điển hình đƣa ra cũng thuộc dạng học tham số. Thông thƣờng, luật học tham số
đƣợc chia thành 3 dạng ch nh: học giám sát, học không giám sát và học củng cố.
 Học có giám sát (Supervised Learning): còn gọi là học tín hiệu chỉ
đạo.
Trong học giám sát, tại mỗi thời điểm có đầu vào mạng nơron thì đầu ra mong
muốn của hệ sẽ đƣợc cho sẵn. Nói một cách rõ ràng hơn: mạng đƣợc cung cấp một
tập các mẫu (x(1),d(1)), (x(2),d(2)), . . . (x(k),d(k)) là các cặp đầu vào - đầu ra mong muốn.

12


Khi một đầu vào x(k) đƣợc đƣa vào mạng, đầu ra mong muốn d(k) cũng đƣợc đƣa vào
mạng. Nhƣ hình 1.4(a), sai khác giữa giá trị đầu ra thực sự y(k) và đầu ra mong
muốn d(k) sẽ là cơ sở tạo t n hiệu lỗi để mạng sửa đổi trọng sao cho đầu ra thực sự
gần với đầu ra mong muốn hơn.
 Học củng cố (Reinforcement Learning)
Trong luật học có giám sát, các giá trị đầu ra đ ch đƣợc biết ch nh xác đối với
mỗi đầu vào. Tuy nhiên, trong một số trƣờng hợp, chỉ biết đƣợc t thông tin chi tiết,
chẳng hạn: mạng chỉ biết rằng giá trị đầu ra thực sự "quá cao" hay "ch nh xác 50%",
hay có thể mạng chỉ có đƣợc thông tin phản hồi chỉ ra rằng đầu ra đúng hay sai.
Luật học dựa trên thông tin đánh giá này đƣợc gọi là luật học củng cố, và thông tin
phản hồi đƣợc gọi là thông tin củng cố. Luật học củng cố là một dạng của luật học
giám sát vì mạng vẫn có đƣợc vài thông tin phản hồi từ môi trƣờng. Tuy nhiên,
thông tin phản hồi này chỉ mang t nh đánh giá chứ không phải mang t nh chất dạy.
Có nghĩa là, thông tin chỉ đƣa ra đánh giá về đầu ra tốt hay xấu mà không đƣa ra
câu trả lời đúng là gì. T n hiệu củng cố này đƣợc mạng sử dụng để điều chỉnh trọng
với hy vọng là có đƣợc đánh giá phản hồi tốt hơn trong lần học tiếp theo.
Mạng nơron
W

Y
đầu ra thực

X
đầu vào
d: đầu ra mong
muốn

Tạo t n
hiệu lỗi

Tín
hiệu
lỗi
(a)

X
đầu vào

X
đầu vào

Mạng nơron
W

T n hiệu
củng cố

Y
đầu ra thực

Y
đầu ra thực
Tạo t n
hiệu lỗi

T n hiệu

củng cố

Hình 1.4. Các dạng học
(b)

13

Mạng nơron
W

(c)


(a)Học giám sát; (b): Học củng cố; (c): Học không giám sát
 Học không giám sát (Unsupervised Learning)
Trong dạng học không giám sát không có bất kì một thông tin phản hồi từ môi
trƣờng nào Hình 1.4(c). Mạng phải tự tìm ra các mẫu, đặc t nh, t nh qui tắc, sự tƣơng quan trong dữ liệu đầu vào và tập hợp lại để tạo đầu ra. Khi tự tìm ra các đặc
điểm này, mạng đã trải qua các thay đổi về tham số của nó. Quá trình này đƣợc gọi
là tự tổ chức.
Các luật học có thể đƣợc khái quát thành dạng chung với lƣợng điều chỉnh
trọng nhƣ sau:

wij  rx j (t )

(1-4)

trong đó i: nơron thứ i; j: là đầu vào thứ j;  : là hằng số học (dƣơng) xác định tốc
độ học và đƣợc xác định bằng thực nghiệm, thông thƣờng có thể chọn 0<<1; r :
t n hiệu học. Trong trƣờng hợp tổng quát, tín hiệu học tổng quát là một hàm của w,
x và d tức là: r = f(w, x, d). Ở đây, d là t n hiệu chỉ đạo hay t hiệu thầy giáo

(Teacher) là t n hiệu đầu ra mong muốn trong trƣờng hợp học có t n hiệu chỉ đạo
Đối với các trọng biến đổi liên tục, công thức (1.4) có thể thay và sử dụng
dạng vi phân nhƣ sau:
dwi (t )
 rx(t )
dt

(1-5)

1.2.3.2. Học cấu trúc (Structure Learning).
Tƣ tƣởng của học cấu trúc là thay đổi số nơron, kiểu liên kết để làm cấu trúc
mạng thay đổi. Đối với học tham số, chúng ta giả sử cấu trúc mạng đã có, sau đó đƣa ra các thuật học cho các tham số mạng (hay các trọng liên kết) để huấn luyện
mạng thực hiện đƣợc nhiệm vụ nhƣ mong muốn. Còn việc học mức cấu trúc có thể
sử dụng các kỹ thuật liên quan đến thuật toán Gen (Gas: Genetic Algorithm) và lập
trình tiến hoá (EP: Evolutionary Programming). Các cách tìm kiếm trong Gas và EP
là khá tiêu tốn thời gian ngay cả đối với mạng có k ch thƣớc trung bình. Do đó, còn
có thể sử dụng các kỹ thuật sửa đổi hay xây dựng mạng dần dần từ một cấu trúc

14


mạng ban đầu. Các kỹ thuật này bao gồm cắt xén bớt mạng nơron. Phát triển mạng
và kết hợp cả hai cách cắt xén và phát triển mạng nơron.
Trong những thập kỷ qua, một loạt các thuật học đã đƣợc nghiên cứu để xấp xỉ
trọng liên kết. Các thuật học đó có thể chia làm hai nhóm theo sự tồn tại của t n hiệu
chỉ đạo hay không: học có t n hiệu chỉ đạo (thầy giáo) hoặc học không có t n hiệu
chỉ đạo. Một số các thuật học mở rộng cũng đƣợc phát triển và dựa theo các luật
học này.

1.2.4. Mô hình mạng nơ ron nhân tạo điển hình

Mạng truyền thẳng và mạng hồi quy là hai mô hình tiêu biểu của mạng nơron nhân
tạo, Mỗi loại mạng sẽ có những ƣu nhƣợc điểm riêng. Nắm vững những ƣu nhƣợc
điểm của chúng sẽ gúp ta lựa chọn mô hình mạng th ch hợp cho từng ứng dụng sẽ
thiết kế. Những ƣu nhƣợc điểm của từng mô hình mạng sẽ đƣợc thể hiện qua những
nhận xét sau:
- Mạng truyền thẳng một lớp dễ phân t ch nhƣng không mô tả đƣợc mọi hàm. Mạng
nhiều lớp khắc phục đƣợc nhƣợc điểm trên nhƣng lại rất khó phân t ch và gặp khó
khăn trong quá trình xây dựng mạng. Mặt khác mạng truyền thẳng nhiều lớp có thể
gây sai số t ch luỹ qua các lớp.
- Mạng phản hồi một lớp (tiêu biểu là mạng Hopfield) có cấu trúc đơn giản vì thế dễ
phân t ch, không chứa sai số t ch luỹ.
- Mạng nơron truyền thẳng chỉ đơn thuần t nh toán các t n hiệu ra dựa trên các t n
hiệu vào và trọng số liên kết giữa các nơron đã xác định sẵn ở trong mạng. Do đó
chúng không có trạng thái bên trong nào khác ngoài trọng số W. Đối với mạng hồi
quy, trạng thái bên trong của mạng đuợc lƣu trữ tại các ngƣỡng của nơron. Nói
chung các mạng hồi quy không ổn định, mạng cần phải t nh toán rất lâu, thậm chí
có thể lặp vô hạn truớc khi đƣa ra kết quả mong muốn. Quá trình học của mạng hồi
quy cũng phức tạp hơn mạng truyền thẳng rất nhiều. Tuy vậy các mạng hồi quy có
thể cho phép mô phỏng các hệ thống tƣơng đối phức tạp trong thực tế
1.2.4.1. Mạng truyền thẳng
Mạng Perceptron một lớp đơn.
Cấu trúc:

15


Các nơron tạo thành lớp, trong đó mỗi t n hiệu vào có thể đƣợc đƣa vào cho tất
cả các nơron của lớp. Mỗi nơron có nhiều đầu vào và một đầu ra trên mỗi nơron đó.
Cấu trúc của mạng Perceptron đƣợc chỉ ra hình vẽ 1.5.

16