Ứng dụng mạng nơ ron trong mô hình dự báo mức độ tăng trưởng phương tiện cá nhân

ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

VŨ THỊ XUÂN QUYÊN

ỨNG DỤNG MẠNG NƠRON
TRONG MÔ HÌNH DỰ BÁO MỨC ĐỘ
TĂNG TRƢỞNG PHƢƠNG TIỆN CÁ NHÂN

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Thái Nguyên - 2015


1


ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

VŨ THỊ XUÂN QUYÊN

ỨNG DỤNG MẠNG NƠRON
TRONG MÔ HÌNH DỰ BÁO MỨC ĐỘ
TĂNG TRƢỞNG PHƢƠNG TIỆN CÁ NHÂN
Chuyên ngành: Khoa học máy tính
Mã số: 60 48 01 01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Ngƣời hƣớng dẫn khoa học: TS PHẠM THANH HÀ

Thái Nguyên - 2015


1


LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của tôi dƣới sự hƣớng
dẫn khoa học của Tiến sĩ Phạm Thanh Hà, Trƣởng khoa khoa Công nghệ
thông tin, Trƣờng Đại học Giao thông vận tải, các kiến thức trong luận văn
đƣợc hệ thống từ các tài liệu đã đƣợc công bố và đƣợc trích dẫn đầy đủ.
Các kết qủa nghiên cứu và chạy thử nghiệm đều là trung thực dựa trên
chƣơng trình cài đặt kèm theo nghiên cứu này.
Tôi xin chiụ trách nhiê ̣m về lời cam đoan này.
Thái Nguyên, ngày

tháng

năm 2015

Tác giả

Vũ Thị Xuân Quyên


1

LỜI CẢM ƠN

Để hoàn thành luận văn, em xin chân thành cảm ơn Trƣờng Đại học
Công nghệ Thông tin và Truyền thông, Đại học Thái Nguyên, Phòng Đào tạo,
các thầy, cô giáo giảng dạy lớp cao học Khoa học máy tính K12E đã quan
tâm, tạo điều kiện thuận lợi, tận tình giảng dạy và giúp đỡ em trong thời gian
theo học tại trƣờng.
Đặc biệt, em xin bày tỏ lòng biết ơn sâu sắc đến TS. Phạm Thanh Hà,
ngƣời đã dành nhiều thời gian, tâm huyết hƣớng dẫn em trong suốt quá trình
nghiên cứu và hoàn thành luận văn.
Em cũng xin cảm ơn các cán bộ, giảng viên đồng nghiệp ở Trƣờng
Đại học Hùng Vƣơng đã tạo điều kiện về thời gian để em có thể học tập và
hoàn thành luận văn.
Mă ̣c dù đã cố gắ ng hế t sƣ́c hoàn thiê ̣n luâ ̣n văn, tuy nhiên chắ c chắ n vẫn
còn nhiều thiếu sót, rấ t mong sƣ̣ góp ý quý báu của qúy thầ y cô và các ba .̣n
Xin trân trọng cảm ơn.
Thái Nguyên, ngày

tháng

năm 2015

Tác giả

Vũ Thị Xuân Quyên


1

i

MỤC LỤC
LỜI CAM ĐOAN ............................................................................................. 0
LỜI CẢM ƠN ................................................................................................... 0
MỤC LỤC .......................................................................................................... i
DANH MỤC CÁC TỪ VIẾT TẮT ................................................................. iii
DANH MỤC BẢNG ........................................................................................ iv
DANH MỤC HÌNH .......................................................................................... v
MỞ ĐẦU ........................................................................................................... 1
Chƣơng 1. TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO ........................ 4
1.1 Các khái niệm về mạng nơron .................................................................... 5
1.2. Phân loại cấu trúc mạng nơron................................................................. 10
1.2.1. Mạng nơron 1 lớp .................................................................................. 10
1.2.2. Mạng nơron truyền thẳng nhiều lớp ...................................................... 12
1.3. Các luật học .............................................................................................. 12
1.4. Mạng nơron truyền thẳng ......................................................................... 14
1.4.1. Mạng Perceptron một lớp đơn .............................................................. 14
1.4.2. Mạng truyền thẳng nhiều lớp MLP ....................................................... 15
Kết luận chƣơng 1 ........................................................................................... 18
Chƣơng 2. MÔ HÌNH DỰ BÁO SỬ DỤNG MẠNG NƠRON ..................... 19
2.1. Tổng quan về dự báo và mô hình dự báo ................................................. 19
2.1.1. Khái niệm về dự báo ............................................................................. 19
2.1.2. Đặc điểm của dự báo ............................................................................. 19
2.1.3. Các phƣơng pháp dự báo....................................................................... 20
2.2 Một số kỹ thuật dự báo hiện đại ................................................................ 22


ii

2.2.1. Giới thiệu ............................................................................................... 22
2.2.2. Sự ra đời của một mô hình dự báo ........................................................ 23
2.2.3. Các kỹ thuật mô hình hóa dự báo hiện đại ............................................ 24
2.3. Mô hình dự báo sử dụng mạng nơron ...................................................... 31
2.3.1 Mô hình dự báo sử dụng mạng nơron BP (Back Propagation).............. 32
2.3.2 Mô hình dự báo sử dụng mạng nơron RBF (Radial Basic Functions) .. 40
Kết luận chƣơng 2 ........................................................................................... 46
Chƣơng 3.ỨNG DỤNG MÔ HÌNH DỰ BÁO SỬ DỤNG MẠNG NƠRON
TRONG DỰ BÁO MỨC ĐỘ TĂNG TRƢỞNG PHƢƠNG TIỆN GIAO
THÔNG TẠI TỈNH PHÚ THỌ ............................................................. 47
3.1 Bài toán dự báo tăng trƣởng phƣơng tiện giao thông. .............................. 47
3.2 Ứng dụng mô hình dự báo sử dụng mạng nơron BP ................................ 51
3.3 Ứng dụng mô hình dự báo sử dụng mạng nơron RBF.............................. 55
Kết luận chƣơng 3 ........................................................................................... 59
KẾT LUẬN VÀ ĐỊNH HƢỚNG PHÁT TRIỂN ........................................... 60
TÀI LIỆU THAM KHẢO ............................................................................... 61
PHỤ LỤC ........................................................................................................ 63


iii

DANH MỤC CÁC TỪ VIẾT TẮT

NN

Neural Network

ANN

Artificial Neural Network

BP

Back Propagation

RBF

Radial Basic Functions


iv

DANH MỤC BẢNG
Bảng 3.1. Thống kê và dự báo quy mô dân số của tỉnh Phú Thọ đến năm 2020
................................................................................................................ 47
Bảng 3.2. Thống kê và dự báo nhu cầu lao động của tỉnh Phú Thọ đến năm
2020 ........................................................................................................ 48
Bảng 3.3. Thống kê và dự báo nguồn cung lao động của tỉnh Phú Thọ đến
năm 2020 ................................................................................................ 49
Bảng 3.4. Thống kê và dự báo một số chỉ tiêu tăng trƣởng GDP của tỉnh Phú
Thọ đến năm 2020................................................................................... 49
Bảng 3.5. Thống kê và dự báo số lƣợng phƣơng tiện giao thông của tỉnh Phú
Thọ đến năm 2020................................................................................... 50
Bảng 3.6. Tổng hợp dữ liệu quá khứ và dự báo đến năm 2020 ...................... 51
Bảng 3.7. Dữ liệu sử dụng cho mô hình dự báo sử dụng mạng nơron BP ..... 52
Bảng 3.8. Dữ liệu rút gọn trong tiếp cận sử dụng dữ liệu .............................. 52
Bảng 3.9. Dữ liệu thời gian ............................................................................ 55
Bảng 3.10. Dữ liệu quá khứ cho mô hình dự báo sử dụng mạng RBF .......... 55
Bảng 3.11. Dữ liệu quá khứ cho mô hình dự báo sử dụng mạng RBF .......... 56

v

DANH MỤC HÌNH
Hình 1.1. Một mạng nơron đơn giản gồm hai nơron……………………….6
Hình 1.2. Mô hình của một nơron ……...........................................................6
Hình 1.3. Cấu trúc của một nơron…………………………………………..8
Hình 1.4. Các hàm kích hoạt ..........................................................................10
Hình 1.5. Mạng nơron một lớp.......................................................................11
Hình 1.6. Mạng nơron hồi quy………………………...................................11
Hình 1.7. Mạng nơron nhiều lớp. .................................................................... 11
Hình 1.8. Học có giám sát……………….......................................................13
Hình 1.9. Học không có giám sát…................................................................13
Hình 1.10. Mạng perceptron đơn .................................................................... 15
Hình 1.11. Mạng perceptron đa lớp cho bài toán XOR .................................. 16
Hình 2.1. Biểu diễn hai chiều của các vec tơ đầu vào .................................... 24
Hình 2.2. Khung nhìn hai chiều của một siêu phẳng tối ƣu chia tách dữ liệu và
các vec tơ hỗ trợ ............................................................................. 25
Hình 2.3. Khung nhìn hai chiều về kết quả của việc phân cụm một tập dữ liệu
đầu vào thành hai cụm ....................................................................... 26
Hình 2.4. Mạng nơron nhân tạo truyền thẳng ................................................. 27
Hình 2.5. Biểu diễn sơ đồ của một tập hợp mô hình ...................................... 28
Hình 2.6. Một cây quyết định đơn giản .......................................................... 30
Hình 2.7. Mô hình dự báo sử dụng mạng nơron ............................................. 31
Hình 2.8. Mô hình dự báo sử dụng mạng nơron truyền thẳng ........................ 32
Hình 2.9. Mạng truyền thẳng ba lớp lan truyền ngƣợc sai số ......................... 33
Hình 2.10. Một ví dụ về mạng nơron truyền thẳng......................................... 37
Hình 2.11. Mô hình dự báo sử dụng mạng nơron RBF .................................. 40

1

MỞ ĐẦU
1. Đặt vấn đề
Hiện nay ở trên thế giới đã có một số mô hình dự báo nhƣ mô hình dự
báo dựa trên thống kê, mô hình dự báo chuỗi thời gian, … tuy nhiên việc tiếp
tục nghiên cứu và ứng dụng các kỹ thuật mới trong dự báo là cần thiết và có ý
nghĩa.
Nhƣ chúng ta đã biết mạng nơron nhân tạo là sự tái tạo bằng kỹ thuật
những chức năng của hệ thần kinh con ngƣời. Trong quá trình tái tạo không
phải tất cả các chức năng của bộ não con ngƣời đều đƣợc tái tạo, mà chỉ có
những chức năng cần thiết. Bên cạnh đó còn có những chức năng mới đƣợc
tạo ra nhằm giải quyết một bài toán định trƣớc.
Mạng nơron bao gồm các nơron đƣợc liên kết với nhau bằng các trọng
số theo một cấu trúc xác định. Mạng nơron có thể đƣợc huấn luyện để thực
hiện các nhiệm vụ khác nhau. Quá trình huấn luyện sẽ thiết lập bộ trọng số
cho các liên kết giữa các nơron trong mạng.
Mạng nơron nhân tạo đƣợc chia ra làm nhiều loại, trong đó ngƣời ta
quan tâm nhiều đến cấu trúc mạng nơron và giải thuật huấn luyện, về cấu trúc
có thể chia ra các loại mạng nhƣ mạng nơron một lớp, nhiều lớp, mạng nơron
hồi quy, mạng nơron truyền thẳng..
Mỗi cấu trúc mạng nơron có thể sử dụng để giải quyết một số bài toán
nào đó, ví dụ nhƣ mạng nơron 1 lớp có thể dùng để phân lớp dữ liệu, mạng
nơron truyền thẳng nhiều lớp có thể dùng để nhận dạng hoặc dự báo.
Do mạng nơron truyền thẳng có khả năng dự báo nên đề tài này sẽ tập
trung nghiên cứu xây dựng mô hình dự báo sử dụng mạng nơron.


2

Trong những năm gần đây vấn đề ách tắc giao thông trên địa bàn, tỉnh
Phú Thọ (nhất là tại các thị xã và thành phố của tỉnh) luôn là vấn đề thời sự,
điều này đặt ra cho các nhà quản lý là phải có cơ chế quản lý và dự báo đƣợc
mức độ tăng trƣởng của các phƣơng tiện giao thông ở mức trung hạn và dài
hạn. Từ đó hoạch định các chính sách về quản lý phƣơng tiện và xây dựng cơ
sở hạ tầng cho giao thông.
Đề tài này sẽ nghiên cứu, đề xuất và xây dựng mô hình dự báo sử dụng
mạng nơron nhân tạo và ứng dụng giải quyết bài toán dự báo mức độ tăng
trƣởng phƣơng tiện giao thông cá nhân ở trung hạn và dài hạn cho tỉnh Phú
Thọ, tạo điều kiện để các nhà quản lý hoạch định chính sách quản lý phƣơng
tiện và xây dựng hạ tầng giao thông trên địa bàn tỉnh.
2. Đối tƣợng và phạm vi nghiên cứu
Mạng nơron nhân tạo, mô hình dự báo sử dụng mạng nơron.
Ứng dụng mô hình dự báo sử dụng mạng nơron trong dự báo mức độ
tăng trƣởng phƣơng tiện giao thông.
3. Hƣớng nghiên cứu của đề tài
Nghiên cứu, đề xuất và xây dựng mô hình dự báo sử dụng mạng nơron
nhân tạo và ứng dụng giải quyết bài toán dự báo mức độ tăng trƣởng phƣơng
tiện giao thông cá nhân ở trung hạn và dài hạn cho tỉnh Phú Thọ.
4. Phƣơng pháp nghiên cứu
- Nghiên cứu lý thuyết kết hợp với cài đặt thực nghiệm.
5. Ý nghĩa khoa học của đề tài
+ Hệ thống các kiến thức về mạng nơron nhân tạo và nghiên cứu sâu về
lớp mạng truyền thẳng nhiều lớp.


3

+ Nghiên cứu bài toán quản lý và dự báo mức độ tăng trƣởng phƣơng
tiện giao thông.

+ Xây dựng mô hình dự báo sử dụng mạng nơron.
+ Ứng dụng mô hình dự báo sử dụng mạng nơron trong dự báo mức độ
tăng trƣởng phƣơng tiện giao thông cá nhân tại tỉnh Phú Thọ.


4

Chƣơng 1
TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO
Các nghiên cứu về bộ não con ngƣời đã đƣợc tiến hành từ hàng nghìn
năm nay. Cùng với sự phát triển của khoa học kĩ thuật đặc biệt là những tiến
bộ trong ngành điện tử hiện đại, việc con ngƣời bắt đầu nghiên cứu các nơron
nhân tạo là hoàn toàn tự nhiên.
Những tiến bộ của máy tính đầu những năm 1950 giúp cho việc mô hình
hóa các nguyên lý của những lý thuyết liên quan tới cách thức con ngƣời suy
nghĩ đã trở thành hiện thực. Nathanial Rochester sau nhiều năm làm việc tại
các phòng thí nghiệm nghiên cứu của IBM đã có những nỗ lực đầu tiên để mô
phỏng một mạng nơron. Trong thời kì này tính toán truyền thống đã đạt đƣợc
những thành công rực rỡ trong khi đó những nghiên cứu về nơron còn ở giai
đoạn sơ khai. Mặc dù vậy những ngƣời ủng hộ triết lý “thinking machines”
(các máy biết suy nghĩ) vẫn tiếp tục bảo vệ cho lập trƣờng của mình.
Năm 1956 dự án Dartmouth nghiên cứu về trí tuệ nhân tạo (Artificial
Intelligence) đã mở ra thời kỳ phát triển mới cả trong lĩnh vực trí tuệ nhân tạo
lẫn mạng nơron. Tác động tích cực của nó là thúc đẩy hơn nữa sự quan tâm
của các nhà khoa học về trí tuệ nhân tạo và quá trình xử lý ở mức đơn giản
của mạng nơron trong bộ não con ngƣời. [3],[4]
Ngày nay, không chỉ dừng lại ở mức nghiên cứu lý thuyết, các nghiên
cứu ứng dụng mạng nơron để giải quyết các bài toán thực tế đƣợc diễn ra ở
khắp mọi nơi. Các ứng dụng mạng nơron ra đời ngày càng nhiều và ngày
càng hoàn thiện hơn. Điển hình là các ứng dụng: xử lý ngôn ngữ (Language

Processing), nhận dạng kí tự (Character Recognition), nhận dạng tiếng nói
(Voice Recognition), nhận dạng mẫu (Pattern Recognition), xử lý tín hiệu
(Signal Processing), Lọc dữ liệu (Data Filtering),….. [4],[6]


5

Các mạng nơron có cách tiếp cận khác trong giải quyết vấn đề so với
máy tính truyền thống. Các máy tính truyền thống sử dụng cách tiếp cận theo
hƣớng giải thuật, tức là máy tính thực hiện một tập các chỉ lệnh để giải quyết
một vấn đề. Vấn đề đƣợc giải quyết phải đƣợc biết và phát biểu dƣới dạng
một tập chỉ lệnh không nhập nhằng. Những chỉ lệnh này sau đó phải đƣợc
chuyển sang một chƣơng trình ngôn ngữ bậc cao và chuyển sang mã máy để
máy tính có thể hiểu đƣợc.
Các mạng nơron xử lý thông tin theo cách thức giống nhƣ bộ não con
ngƣời. Mạng đƣợc tạo nên từ một số lƣợng lớn các phần tử xử lý đƣợc kết nối
với nhau làm việc song song để giải quyết một vấn đề cụ thể. Các mạng nơron
học theo mô hình, chúng không thể đƣợc lập trình để thực hiện một nhiệm vụ
cụ thể. Các mẫu phải đƣợc chọn lựa cẩn thận nếu không sẽ rất mất thời gian,
thậm chí mạng sẽ hoạt động không đúng. Điều hạn chế này là bởi vì mạng tự
tìm ra cách giải quyết vấn đề, thao tác của nó không thể dự đoán đƣợc.
Các mạng nơron và các máy tính truyền thống không cạnh tranh nhau
mà bổ sung cho nhau. Có những nhiệm vụ thích hợp hơn với máy tính truyền
thống, ngƣợc lại có những nhiệm vụ lại thích hợp hơn với các mạng nơron.
Thậm chí rất nhiều nhiệm vụ đòi hỏi các hệ thống sử dụng tổ hợp cả hai cách
tiếp cận để thực hiện đƣợc hiệu quả cao nhất (thông thƣờng một máy tính
truyền thống đƣợc sử dụng để giám sát mạng nơron).
1.1 Các khái niệm về mạng nơron
Mạng nơron là sự tái tạo bằng kỹ thuật những chức năng của hệ thần
kinh con ngƣời. Trong quá trình tái tạo không phải tất cả các chức năng của

bộ não con ngƣời đều đƣợc tái tạo, mà chỉ có những chức năng cần thiết. Bên
cạnh đó còn có những chức năng mới đƣợc tạo ra nhằm giải quyết một bài
toán định trƣớc [6],[11].


6

Mạng nơron bao gồm vô số các nơron đƣợc liên kết truyền thông với
nhau trong mạng, hình 1.1 là một phần của mạng nơron bao gồm hai nơron.
Rễ đầu ra của nơron 1
được nối với axon

axon

Rễ đầu ra

Chiều thông tin

axon
axon được nối với rễ đầu vào
của nơron 2

Nhân

Hình 1.1. Một mạng nơron đơn giản gồm hai nơron.
Nơron còn có thể liên kết với các nơron khác qua các rễ. Chính vì cách
liên kết đa dạng nhƣ vậy nên mạng nơron có độ liên kết rất cao. Các rễ của
nơron đƣợc chia làm hai loại: loại rễ nhận thông tin từ nơron khác qua axon,
ta gọi là rễ đầu vào và loại rễ đƣa thông tin qua axon tới nơron khác gọi là rễ
đầu ra.

Một nơron có thể có nhiều rễ đầu vào, nhƣng chỉ có một rễ đầu ra nhƣ
vậy có thể xem nơron là mô hình nhiều đầu vào một đầu ra (hình 1.2).
x1
x2
.
.
xn

.
.

Nơron

Hình 1.2. Mô hình của một nơron

y


7

Một tính chất rất cơ bản của mạng nơron sinh học là các đáp ứng theo
kích thích có khả năng thay đổi theo thời gian. Các đáp ứng có thể tăng lên,
giảm đi hoặc hoàn toàn biến mất. Qua các nhánh axon liên kết tế bào nơron
này với các nơron khác, sự thay đổi trạng thái của một nơron cũng kéo theo
sự thay đổi trạng thái của những nơron khác và do đó làm thay đổi toàn bộ
mạng nơron. Việc thay đổi trạng thái của mạng nơron có thể thực hiện qua
một quá trình “dạy” hoặc do khả năng “học” tự nhiên.
Mạng nơron nhân tạo, Artificial Neural Network (ANN) gọi tắt là
mạng nơron (Neural Network – NN ) là một mô hình xử lý thông tin phỏng
theo cách thức xử lý thông tin của các hệ nơron sinh học. Nó đƣợc tạo lên từ

một số lƣợng lớn các phần tử (gọi là phần tử xử lý hay nơron) kết nối với
nhau thông qua các liên kết (gọi là trọng số liên kết) làm việc nhƣ một thể
thống nhất để giải quyết một vấn đề cụ thể nào đó. Một mạng nơron nhân tạo
đƣợc cấu hình cho một ứng dụng cụ thể (nhận dạng mẫu, phân loại dữ liệu ...)
thông qua một quá trình học từ tập các mẫu huấn luyện. Về bản chất học
chính là quá trình hiệu chỉnh trọng số liên kết giữa các nơron.
Sự thay thế những tính chất này bằng một mô hình toán học tƣơng
đƣơng đƣợc gọi là mạng nơron nhân tạo. Mạng nơron nhân tạo có thể đƣợc
xây dựng theo nhiều cách khác nhau, vì vậy trong thực tế có nhiều kiểu mạng
nơron.
Mô hình nơron có m đầu vào x1, x2, ...xm và một đầu ra y (hình 2.3), mô
hình này gồm có ba thành phần cơ bản:
+ Các kích thích đầu vào của tế bào nơron có thế năng tác động vào
màng membran khác nhau đƣợc biểu diễn qua trọng số wi, i = 1, .., m tƣơng
ứng với cƣờng độ kích thích của từng đầu vào. Các kích thích đầu vào đƣợc


8

thực hiện qua bộ tổng f(.), đó là giá trị đo kích thích đầu vào tác động vào tế
bào nơron.
+ Đầu ra của bộ tổng đƣợc đƣa đến bộ đáp ứng a(.), bộ này không chỉ có
chức năng tạo ra đáp ứng tức thời mà còn có khả năng lƣu giữ các đáp ứng
theo thời gian.
+ Nơron bị kích thích trong thời gian thế năng của màng membran vƣợt
quá ngƣỡng. Quan hệ này đƣợc thực hiện nhờ hàm a(.), nó có chức năng xác
định phụ thuộc của tín hiệu ra y vào các kích thích đầu vào.
Cách thành lập các nơron nhân tạo nhƣ vậy tạo ra một độ tự do trong
thiết kế. Việc lựa chọn phép cộng tín hiệu đầu vào và đáp ứng a(.) sẽ cho ra
các kiểu mạng nơron nhân tạo khác nhau và tƣơng ứng là các mô hình mạng

khác nhau.
x1

wi1

x2
wi2
f(.) a(.)


xm

yi

i

wim

Hình 1.3. Cấu trúc của một nơron
Theo hình 1.3 thì tín hiệu đầu ra yi là:
 m

yi t  1  a  wij x j t   i 
 j 1


Trong đó hàm kích hoạt a(f) ở dạng hàm bƣớc nhẩy:

(1.1)

9

1 khi f  0
a f   
0 khi f  0

(1.2)

Nhƣ vậy yi chỉ có thể có 2 giá trị hoặc bằng 0, hoặc bằng 1.
Các hàm f(.) thƣờng đƣợc sử dụng
m
f i  neti   wij x j   i
j 1

(1.3)

+ Hàm bình phƣơng (Quadratic function):
m
fi   wij x2j  i
j 1

(1.4)

+ Hàm hình cầu (Spherical function):
2
m


2

fi  
  x j  wij   i

j 1

(1.5)

Trong đó  và wij là bán kính và tâm của hình cầu.
+ Hàm đa thức (Polynomial function):


m m
fi    w x j x  x j j  x k  i
k
k
j 1k 1 ijk

(1.6)

Trong đó wijk là trọng số kết nối phần tử j và k đến phần tử i; j và k là
các hệ số thực không đổi, ở đây i là ngƣỡng đặt vào phần tử nơron thứ i.
Các hàm kích hoạt thƣờng sử dụng:
+ Hàm bƣớc nhẩy (Step function):
1 if
a f   

0 if

f 0
f 0

+ Hàm dấu (Hard limiter – threshold function):

(1.7)


10

 1 if
a f   sgn  f   
 1 if

f 0

(1.8)

f 0

+ Hàm dốc (Ramp function):
1

a f    f
0


if f  1
if 0  f  1
if f  0

,

(1.9)

+ Hàm sigmoid đơn cực (Unipolar sigmoid function):
a f  

1
1  ef

(1.10)

+ Hàm sigmoid lƣỡng cực (Bipolar sigmoid function):
a f  

2
 1 trong đó  > 0


f
1 e

(1.11)

Hình 1.4 là đồ thị của các hàm nói trên
a

a

1

a
1

1

0

f

(a)

-1
(b)

0
(c)

f

a

a

f

f

 = 7 5 3 2 1.5 1 0.5
(d)

 = 7 5 3 2 1.5 1 0.5
(e)

Hình 1.4. Các hàm kích hoạt: (a) hàm bƣớc nhẩy; (b) hàm dấu;
(c) hàm dốc; (d) hàm sigmoid đơn cực; (e) hàm lƣỡng cực.
1.2. Phân loại cấu trúc mạng nơron
1.2.1. Mạng nơron 1 lớp

f


11

Hình 1.5- 1.7 là một loại liên kết đặc thù của mạng nơron. Nơron có các
mối liên hệ đến các nơron khác nhờ các trọng số. Một lớp nơron là một nhóm
các nơron mà chúng đều có cùng các trọng số, nhận cùng số tín hiệu đầu vào
đồng thời [6].
w11
x1

w21
w1m

x2
.
xm

y1
.
.

y2
..

w2m

y1

x1
x2

y2

xm

yn

yn

wnm

Hình 1.5. Mạng nơron 1 lớp.

Hình 1.6. Mạng nơron hồi quy

x1
y1
x2

.

.

yn

xm

Hình 1.7. Mạng nơron nhiều lớp.
Trong ma trận trọng số, các hàng thể hiện các nơron, mỗi hàng thứ j có
thể đặt nhãn nhƣ một véc tơ wj của nơron thứ j gồm m trọng số wji.
Các trọng số trong cùng một cột thứ j (j = 1, 2, ...., n) đồng thời cùng
nhận một tín hiệu đầu vào xj:
wj = [ wj1, wj2, ..., wjm ]

(1.12)


12

Tại cùng một thời điểm, véc tơ đầu vào:
x = [ x1, x2, ..., xm ]

(1.13)

có thể là một nguồn bên ngoài đƣa tới mạng
1.2.2. Mạng nơron truyền thẳng nhiều lớp
Mạng nơron nhiều lớp (hình 1.7) có các lớp đƣợc phân chia thành 3 loại
với các chức năng và nhiệm vụ nhƣ sau:
- Lớp vào là lớp nơron đầu tiên nhận tín hiệu vào xi. Mỗi tín hiệu xi đƣợc
đƣa đến tất cả các nơron của lớp đầu vào, chúng đƣợc phân phối trên các
trọng số đúng bằng số nơron của lớp này. Thông thƣờng, các nơron đầu vào

không làm biến đổi các tín hiệu vào xi, tức là chúng không có các trọng số
hoặc không có các loại hàm chuyển đổi nào, chúng chỉ đóng vai trò phân phối
các tín hiệu và không đóng vai trò sửa đổi chúng.
- Lớp ẩn là lớp nơron dƣới lớp vào, chúng không trực tiếp liên hệ với thế
giới bên ngoài nhƣ các lớp nơron vào và ra.
- Lớp ra là lớp nơron tạo các tín hiệu ra cuối cùng.
1.3. Các luật học
Trong tài liệu nay chúng ta chỉ đề cập tới luật học tham số [3], [6], [11]:
là các tham số về trọng số cập nhật kết nối giữa các nơron.
Giả sử ma trận trọng số bao gồm tất cả các phần tử thích ứng của mạng
nơron. Nhiệm vụ của việc học thông số là bằng cách nào đó, tìm đƣợc ma trận
chính xác mong muốn từ ma trận giả thiết ban đầu với cấu trúc của mạng
nơron có sẵn.
Để làm đƣợc việc trên, mạng nơron sử dụng các trọng số điều chỉnh, với
nhiều phƣơng pháp học khác nhau có thể tính toán gần đúng ma trận W cần
tìm đặc trƣng cho mạng. Có 2 phƣơng pháp học: