Luận văn mạng noron thích nghi mờ (anfis) và ứng dụng trong dự báo thời tiết khu vực lào cai

B ộ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC s ư PHẠM HẰ NỘI 2

NGUYỄN NGUYÊN NGỌC

MẠNG NORON THÍCH NGHI MỜ
(ANFIS) VÀ ỨNG DỤNG TRONG D ự
BÁO THỜI TIẾT KHU vực LÀO CAI

LUẬN VĂN THẠC s ĩ MÁY TÍNH

HÀ NỘI, 2015


B ộ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC s ư PHẠM HẰ NỘI 2

NGUYỄN NGUYÊN NGỌC

MẠNG NORON THÍCH NGHI MỜ
(ANFIS) VÀ ỨNG DỤNG TRONG D ự
BÁO THỜI TIẾT KHU vực LÀO CAI
Chuyên ngành: Khoa học máy tính
M ã số: 60 48 01 01

LUẬN VĂN THẠC s ĩ MÁY TÍNH

Ngưòi hướng dẫn khoa học:
PG S. TS. LÊ BÁ D Ũ N G

HÀ NỘI, 2015

LỜI CẢM ƠN

Tôi xin bày tỏ lời cảm ơn chân thành tới tập thể các thầy cô giáo Viện
công nghệ thông tin - Viện Hàn lâm Khoa học và Công nghệ Việt Nam, các
thầy cô giáo Trường Đại học Sư Phạm Hà Nội 2 đã tận tình giảng dạy cũng như
tạo mọi điều kiện để tôi học tập và nghiên cứu ừong 2 năm học cao học.
Tôi xin chân thành cảm ơn sâu sắc tới thầy giáo PGS.TS Lê Bá Dũng đã
cho tôi nhiều sự chỉ bảo quý báu, đã tận tình hướng dẫn và tạo điều kiện cho
tôi hoàn thành tốt luận văn tốt nghiệp này.
Quá trình thực hiện đề tài không tránh khỏi các thiếu sót, rất mong tiếp
tục nhận được sự đóng góp ý kiến của các thầy, các cô giáo, các bạn đồng
nghiệp đối với đề tài nghiên cứu của tôi để đề tài được hoàn thiện hơn.
Tôi xin trân trọng cảm ơn!
Hà Nội, ngày.... tháng.... năm 2015


LỜI CAM ĐOAN

m Ạ

_

i Ạ •

IV

Tên tôi là

: Nguyễn Nguyên Ngọc

Lớp

: Cao học K17

Khóa học

: 2013 - 2015

Chuyên ngành

: Khoa học máy tính

Mã số chuyên ngành

: 60 48 01 01

Cơ sở đào tạo

: Trường Đại học Sư Phạm Hà Nội 2

Giáo viên hướng dẫn

: PGS.TS Lê Bá Dũng

Cơ quan công tác

: Viện công nghệ thông tin - Viện Hàn lâm

Khoa học và Công nghệ Việt Nam.
Tôi xin cam đoan luận văn “Mạng noron thích nghi m ờ (.ANFIS) và
ứng dụng trong dự báo thời tiết khu vực Lào Cai” này là công trình nghiên
cứu của riêng tôi. Các số liệu sử dụng trong luận văn là trung thực, các kết
quả nghiên cứu được trình bày trong luận văn chưa từng được công bố tại bất
kỳ công trình nào khác. Tôi cũng xin cam đoan rằng mọi sự giúp đỡ cho việc
thực hiện luận văn này đã được cảm ơn và các thông tin trích dẫn trong luận
văn đã được chỉ rõ nguồn gốc.
Hà Nội, ngày.... thảng.... năm 2015
Học viên

Nguyễn Nguyên Ngọc


MỤC LỤC

MỞ ĐẦU...........................................................................................................1
1. Lý do chọn đề tài............................................................................................ 1
2. Mục đích nghiên cứu...................................................................................... 1
3. Nhiệm vụ nghiên cứu.................................................................................... 2
4. Đối tượng và phạm vi nghiên cứu................................................................. 2
5. Phương pháp nghiên cứu............................................................................... 2
CHƯƠNG 1 TỔNG QUAN VỀ MẠNG NƠ-RON NHÂN TẠO VÀ HỆ MỜ..3
1.1. Tổng quan về mạng nơ-ron nhân tạ o ................................................................................3
1.1.1. Mạng nơ-ron nhân tạ o ....................................................................................................... 3
1.1.2. Mạng thích n g h i................................................................................................................12
1.2. Tổng quan về hệ m ờ .......................................................................................................... 15
1.2.1. Các khái niệm cơ bản của logic m ờ .............................................................................15
1.2.2. Suy luận m ờ ...................................................................................................................... 20
1.2.3. Giải m ờ................................................................................................................................ 23

1.2.4. Cấu trúc của hệ thống suy luận m ờ ............................................................................. 25
1.3.

Kết lu ậ n ................................................................................................................................30

CHƯƠNG 2. MÔ HÌNH MẠNG ANFIS VÀ ỨNG DỤNG........................ 31
2.1. Giới thiệu chung................................................................................................................... 31
2.2. Hệ thống suy luận nơ-ron mờ dựa trên mạng thích n g h i.......................................... 32
2.2.1. Cấu trúc A N FIS.................................................................................................................32
2.2.2. Các thuật toán A N F IS ..................................................................................................... 35
2.3. ứ n g dụng của mạng A N FIS.............................................................................................. 43

CHƯƠNG 3. ỨNG DỤNG MÔ HÌNH MẠNG ANFIS TRONG BÀI
TOÁN PHÂN TÍCH ĐÁNH GIÁ D ự BÁO THỜI TIẾT VÀ THỬ
NGHIỆM........................................................................................................ 45
3.1. Bài toán dự báo thời tiết.......................................................................... 45


3.1.1. Một sô khái quát cơ bản vê khí hậu, môi trường tự nhiên.................... 45
3.1.2. Sự cần thiết của việc dự báo thời tiết.................................................... 46
3.2. ứng dụng mạng ANFIS cho bài toán dự báo thời tiết khu vực............. 48
3.2.1. Xây dựng mạng ANFIS cho các dữ liệu khảo sát................................. 48
3.2.2. Thiết kế hệ suy diễn nơ-ron mờ thích nghi........................................... 49
3.2.3. Thiết kế mạng ANFIS........................................................................... 51
3.2.3.1 Thu thập dữ liệu.................................................................................. 51
3.2.3.2. Huấn luyện mạng ANFIS cho dự báo thời tiết khu vực Lào Cai .... 51
3.3. Đánh giá kết quả dự báo......................................................................... 59
KÉT LUẬN....................................................................................................62
DANH MỤC CÁC TÀI LIỆU THAM KHẢO........................................... 64

DANH MỤC CÁC TỪ VIẾT TẮT

ANN

ANFIS

PE

TSK

BP

LSE
CPI

Artificial Neural Network
Mạng nơ-ron nhân tạo
Adaptive Neuro Fuzzy Insference System
Hệ suy luận mờ
Processing Element
Phần tò xử lý
Takagi - Sugeno - Kang
Mô hình Takagi - Sugeno
Back Propagation
Lan truyền ngược
Least Square Error
Ước lượng sai số bình phương tối thiểu
Chỉ sô giá tiêu dùng

DANH MỤC CÁC BẢNG BIỂU
Bảng 2.1: Hai pha trong thủ tục học lai cho hệ ANFIS.................................. 42
Bảng 3.1: số liệu thu thập tại trạm khí tượng thủy văn ừong 2 năm ..............51
Bảng 3.2 Dữ liệu thực tế và dự báo của.......................................................... 60


DANH MỤC CÁC HÌNH VẼ
Hình 1.1: Mô hình một nơ-ron nhân tạ o ...................................................................................3
Hình 1.2: Đồ thị các dạng hàm truyền...................................................................................... 5
Hình 1.3: Mạng truyền thẳng một lớ p ....................................................................................... 7
Hình 1.4: Mô tả cấu trúc của mạng nơ-ron truyền thẳng nhiều lớp................................... 8
Hình 1.5: Mạng hồi quy một lớp có nối ngược....................................................................... 8
Hình 1.6: Mạng hồi quy nhiều lớp có nối n gư ợ c................................................................. 8
Hình 1.7: Sơ đồ học tham số có giám sát................................................................................10
Hình 1.8: Sơ đồ học tham số không có giám sát................................................................... 11
Hình 1.9: Sơ đồ học tăng cường................................................................................................12
Hình 1.10: Mô tả cấu trúc của mạng thích nghi.................................................................... 13
Hình 1.11: Một số dạng hàm thuộc cơ b ả n ............................................................................16
Hình 1.12: Hàm phụ thuộc của tập mờ A .............................................................................. 17

Hình 1.13: Các tập mờ điển hình dùng để địnhnghĩa biến ngôn ngữ tốc đ ộ ............. 18
Hình 1.14: Mô hình suy luận mờ với một luật-một tiền đ ề .............................................. 21
Hình 1.15: Mô hình suy luận mờ một luật-nhiều tiền đ ề .................................................22
Hình 1.16: Mô hình suy luận mờ hai luật hai tiền đ ề..........................................................23
Hình 1.17: Giải mờ bằng phương pháp cực đ ạ i................................................................... 24
Hình 1.18: Phương pháp giải mờ điểm trọng tâm................................................................25
Hình 1.19 :Hệ thống suy luận m ờ ............................................................................................ 25
Hình 1.20: Mô hình suy diễn mờ M am dani.......................................................................... 27
Hình 1.21: Mô hình suy luận mờ T sukam oto.......................................................................28

Hình 1.22: Mô hình suy diễn mờ Takagi- Sugeno.............................................................. 29
Hình 2.1: Luật mờ if then........................................................................................................... 33
Hình 2.2: Kiến trúc mạng A N F IS ...........................................................................................33
Hình 2.3: Mạng 3 lớp lan truyền n gư ợc................................................................................. 35

Hình 3.1: Sơ đồ khối của mạng ANFIS.........................................................50
Hình 3.2: Các phương trình minh họa cho việc thực thi m ạng........................................ 51

Hình 3.3 Dữ liệu thời tiết cho dự báo độẩm ................................................ 53


Hình 3.4 : Biểu đồ dữ liệu thu thập thực tế của 4 năm về độ ẩm.....................54
Hình 3.5 : Dữ liệu thời tiết cho dự báo lượng mưa......................................... 54
Hình 3.6: Biểu đồ dữ liệu thu thập thực tế của 4 năm về lượng mưa..............55
Hình 3.7: Dữ liệu thời tiết cho dự báo nhiệt đ ộ ...............................................55
Hình 3.8: Biểu đồ dữ liệu thu thập thực tế của 4 năm về nhiệt đ ộ ..................56
Hình 3.9: Kiểm tra sai số của quá ừình huấn luyện mạng............................... 57
Hình 3.10: Mạng ANFIS được xây dựng cho huấn luyện dữ liệuđể dự báo
thời tiết khu vực Lào Cai................................................................................. 58
Hình 3.11. Hệ luật mờ được hình thành ừong quá trình huấnluyện mạng
ANFIS............................................................................................................. 58
Hình 3.1 la Hệ luật mờ được sinh ra cho huấn luyện mạng.............................59


1
MỞ ĐẦU
1. Lý do chọn đề tàỉ
Mạng Noron nhân tạo (Artificial Neural Network-ANN) nói chung, hệ
suy diễn mơ-rơron thích nghi (ANFIS-adaptive neural fuzzy inference
system) nói riêng đã và đang được nghiên cứu, ứng dụng mạnh mẽ và thành

công ở nhiều lĩnh cực trong những năm gần đây. Với các quá trình tính toán
như: xấp xỉ phi tuyến, dự báo thị trường chứng khoán, dự báo mô phỏng các
hệ thống điều khiển... được đưa ra, giải quyết có kết quả. Các lớp bài toán
của các lĩnh vực ừên cũng có thể sử dụng và giải quyết theo các phương pháp
truyền thống như phương pháp thống kê, quy hoạch tuyến tính... Mạng nơron
nhân tạo, mạng ANFIS được hình thành có nhiều khả năng vượt trội trong
việc tuyến tính hóa, dự báo, phân tích, đánh giá dữ liệu, và áp dụng thành
công cho một số lĩnh vực khoa học, kỹ thuật, kinh tế...
Quá trình dự báo thời tiết nói chung ở Việt Nam, nói chung khu vực
miền núi phía Bắc nói riêng có những đặc thù và có nhiều sự cố về thiên tai.
Để góp sức vào quá trình ứng dụng những thành tựu của công nghệ thông tin
trong dự báo thuỷ văn, được sự gợi ý của thầy hướng dẫn và nhận thấy tính
thiết thực của vấn đề em chọn đề tài: “Mạng noron thích nghi mờ (ANFIS)
và ứng dụng trong dự báo thòi tiết khu vực Lào Cai.” làm khoá luận tốt
nghiệp cho luận văn tốt nghiệp của mình.
2. Mục đích nghiên cứu
Nắm bắt các kiến thức cơ bản về phương pháp phân tích, đánh giá, dự
báo thời tiết sử dụng mạng ANFIS, tiếp tục tìm hiểu sâu về các phương pháp
khai phá dữ liệu, một số sơ đồ mạng Noron nhân tạo, trong đó ứng dụng cho
việc dự báo thời tiết, cài đặt thực nghiệm, ứng dụng vào một bài toán cụ thể
trong thực tiễn.


2
3. Nhiệm vụ nghiên cứu
Tìm hiểu các vấn đề cơ bản mô hình mạng nơron và hệ mờ.
Tìm hiểu mạng ANFIS khả năng ứng dụng.
Đề xuất mô hình mạng ANFIS vào ứng dụng dự báo thòi tiết.
4. Đổi tượng và phạm vi nghiên cứu
- Phương pháp phân tích, đánh giá, dự báo thời tiết sử dụng mạng noron

ANFIS, đánh giá các ưu điểm, nhược điểm.
- Thu thập dữ liệu qua các mùa về: lượng mưa, nhiệt độ, độ ẩm và gió
5. Phương pháp nghiên cứu
Luận văn được thực hiện bằng phương pháp nghiên cứu lý thuyết: thu
thập tài liệu, thu thập số liệu thực tế phân tích các tài liệu và những thông tin
liên quan đến đề tài, kết hợp các nghiên cứu đã có trước đây của tác giả trong
nước cùng với sự chỉ bảo, góp ý của thầy hướng dẫn để xây dựng ứng dụng
và hoàn thành nội dung nghiên cứu.


3
CHƯƠNG 1
TỎNG QUAN VỀ MẠNG NƠ-RON NHÂN TẠO VÀ HỆ MỜ

1.1* Tổng quan về mạng nơ-ron nhân tạo
1.1.1. Mạng nơ-ron nhân tạo
a. Mô hình một nơ-ron nhân tạo
Mô hình toán học của mạng nơ-ron sinh học được đề xuất bởi
McCulloch và Pitts, thường được gọi là nơ-ron M-P, ngoài ra nó còn được gọi
là phần tử xử lý và được ký hiệu là PE (Processing Element).
Mô hình nơ-ron có m đầu vào X i, x2, x m, và một đầu ra Ỵi như sau:

Hình 1.1. Mô hình một nơ-ron nhân tạo
Giải thích các thành phần cơ bản:
- Tập các đầu vào: Là các tín hiệu vào của nơ-ron, các tín hiệu này
thường được đưa vào dưới dạng một vector m chiều.
- Tập các liên kết (các trọng số): Mỗi liên kết được thể hiện bởi một
trọng số (thường được gọi là trọng số liên kết). Trọng số liên kết giữa tín hiệu
vào thứ j cho nơ-ron i thường được ký hiệu là Wij. Thông thường các trọng số
này được khởi tạo ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật

liên tục trong quá trình học mạng.
- Bộ tổng (Hàm tổng): Thường dùng để tính tổng của tích các đầu vào
với trọng số liên kết của nó.


4
- Ngưỡng: Ngưỡng này thường được đưa vào như một thành phần của
hàm truyền.
- Hàm truyền: Hàm này dùng để giới hạn phạm vi đầu ra của mỗi nơ-ron.
Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho. Thông thường,
phạm vi đầu ra của mỗi nơ-ron được giới hạn trong đoạn [0,1] hoặc [-1,1].
Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến. Việc
lựa chọn hàm truyền tùy thuộc vào từng bài toán và kinh nghiệm của người
thiết kế mạng.
- Đầu ra: Là tín hiệu đầu ra của một nơ-ron, với mỗi nơ-ron sẽ có tối đa
một đầu ra.
v ề mặt toán học, cấu trúc của một nơ-ron i được mô tả bằng cặp biểu
thức sau:
y, = f(neti -ớ.) và net = Ỵ^WIJXJ
ừong đó:

X i,

x2, .. .xmlà các tín hiệu đầu vào, còn

(1.1)
W ii, Wi2,. • .,wimlà

các trọng

số kết nối của nơ-ron thứ i, neti là hàm tổng, f là hàm truyền, Qi là một
ngưỡng, y¡ là tín hiệu đầu ra của nơ-ron.
Như vậy, tương tự như nơ-ron sinh học, nơ-ron nhân tạo cũng nhận các
tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng
các tích thu được rồi gửi kết quả đến hàm truyền), và cho một tín hiệu đầu ra
(là kết quả của hàm truyền).
- Hàm truyền có thể có các dạng sau:
- Hàm bước

khi

X >0

khi

X <0

( 1.2 )

- Hàm giới hạn chặt (hay còn gọi là hàm bước)
(1.3)


5
- Hàm bậc thang
y = sgnộr) =

1

khỉ

X>1

X

khỉ

0 < X< 1

0

khỉ

x<0

(1.4)

- Hàm ngưỡng đơn cực
1
y ~ l +e~Ax

(1.5)

- Hàm ngưỡng hai cực
2

ì +e

-Ả X

1 với Ằ>0

(1.6)

- Đồ thị các dạng hàm truyền được biểu diễn như sau:

y
+ 1
+ 1
1

0

-------------w

H ầ m

0

&

+ 1

r

“

- 1

0

( a )

*■

( b )

b ư ớ c

1*1

H à m

g ió i hạ n. ch ặ t

y

i

( e )

H à m

b ậ c

t h a n g

ll

1
V"

0
■1

-1
(đ) H ảiti ngưỡng đan cực

X

(e) Hàm ngưchnghãi cực

Hình 1.2. Đồ thị các dạng hàm truyền
b. Mạng ntf-ron nhân tạo
* Cấu trúc của mạng ntf-ron nhân tạo
Mạng nơ-ron nhân tạo (Artiíicial Neural Network) là một cấu trúc mạng
được hình thành nên bởi số lượng các nơ-ron nhân tạo liên kết với nhau. Mỗi
nơ-ron có các đặc tính đầu vào, đầu ra và thực hiện một số chức năng tính
toán cục bộ.


6
Với việc giả lập các hệ thống sinh học, các cấu trúc tính toán, mạng nơron có thể giải quyết được các lớp bài toán nhất định như: Bài toán xếp loại,
bài toán lập lịch, bài toán tìm kiếm, bài toán nhận dạng mẫu... Các bài toán
phức tạp cao, không xác định. Tuy nhiên, sự liên kết giữa một bài toán bất kỳ
trong thực tế với một giải pháp mạng nơ-ron lại là một việc không dễ dàng.
Xét một cách tổng quát, mạng nơ-ron là một cấu trúc xử lý song song
thông tin phân tán mang các đặc tính nổi bật sau:
- Là một mô hình tính toán dựa trên bản chất của nơ-ron
- Bao gồm một số lượng rất lớn các nơ-ron liên kết với nhau
- Mạng nơ-ron có khả năng học, khái quát hóa tập dữ liệu học thông qua

việc gán và hiệu chỉnh các trọng số liên kết
- Tổ chức theo kiểu tập hợp mang lại cho mạng nơ-ron khả năng tính
toán rất lớn, trong đó không có nơ-ron nào mang thông tin riêng biệt
* Liên kết mạng
Sự liên kết trong mạng nơ-ron tuỳ thuộc vào nguyên lý tương tác giữa
đầu ra của từng nơ-ron riêng biệt với các nơ-ron khác và tạo ra cấu trúc mạng.
Trong phần này chúng ta đi tìm hiểu hai liên kết mạng đó là mạng truyền
thẳng và mạng hồi quy.
* Mạng truyền thẳng
- Mạng truyền thẳng một lóp
Mô hình mạng nơ-ron truyền thẳng một lớp là mô hình liên kết cơ bản và
đơn giản nhất. Các nơ-ron tổ chức lại với nhau tạo thành một lớp, đường
truyền tín hiệu được truyền theo một hướng nhất định nào đó. Các đầu vào
được nối với các nơ-ron theo các trọng số khác nhau, sau quá trình xử lý cho
ra một chuỗi các tín hiệu ra. Mạng nơ-ron là mô hình LTU thì nó được gọi là
mạng Perception, còn mạng nơ-ron là mô hình LGU thì nó được gọi là mạng
Adaline.


7

Hình 1.3. Mạng truyền thẳng một lớp
Với mỗi giá trị đầu vào X = [ Xi,x2,....,xn]T. Qua quá trình xử lý của mạng
ta sẽ thu được một bộ tương ứng các giá trị đầu ra là y

= [yi,y2,...,yn]T

được

xác định như sau:

yt = f i( Ễ w yXj - e¿). i = 1,n ,
j =1

Trong đó:

(1.7)

J J

m: số tín hiệu vào

n : số tín hiệu ra
w¿r = [ Wii, Wi2,...,Win]T là véc tơ ừọng số của nơ-ron thứ i.
fi : hàm kích hoạt của nơ-ron thứ i
0i : là ngưỡng của nơ-ron thứ i.
*

Mạng truyền thẳng nhiều lớp
Với mạng nơ-ron truyền thẳng một lớp ở trên khi phân tích một bài toán

phức tạp sẽ gặp rất nhiều khó khăn, để khắc phục vấn đề này người ta đưa ra
mô hình mạng nơ-ron truyền thẳng nhiều lớp bằng việc kết hợp với một số
lớp nơ-ron lại với nhau. Lớp nhận tín hiệu vào gọi là lớp vào, lớp đưa ra tín
hiệu ra của mạng được gọi là lớp ra. Các lớp ở giữa lớp vào và lớp ra được
gọi là các lớp ẩn.


8

lớp vào

lớp ẩn

lớp ra

Vn
Hình 1.4. Mô tả cấu trúc của mạng nơ-ron truyền thẳng nhiều lớp.
* Mạng hồi quy
- Mạng hồi quy một lớp cổ nổi ngược

Hình 1.5. Mạng hồi quy một lớp có nổi ngược
Mạng hồi quy nhiều lớp cổ nổi ngược
,--* o
C :> < /—
V X/

*

■*oHình 1.6. Mạng hồi quy nhiều lớp có nổi ngược


9
C.

Các luật học
Mạng nơ-ron có một số ưu điểm so với máy tính truyền thống, cấu trúc

song song của mạng nơ-ron rất thích hợp cho những ứng dụng đòi hỏi tốc độ
nhanh theo thời gian thực. Khả năng huấn luyện của mạng nơ-ron có thể khai
thác để phát triển hệ học thích nghi. Mặt khác, với khả năng tổng quát hóa của

mạng nơ-ron, nó có thể áp dụng để điều khiển nhiều tham số phức tạp đồng
thời từ đó giải quyết dễ dàng một số bài toán NP - đầy đủ (NP - Complete).
Các luật học đóng vai ừò quan trọng trong việc xác định một mạng nơron nhân tạo. Một cách đơn giản về khái niệm học của mạng nơ-ron là cập
nhật trọng số trên cơ sở các mẫu. Theo nghĩa rộng thì học có thể được chia
thành hai loại: Học tham số và học cấu trúc
* Hoc tham số:
Các thủ tục học này nhằm tìm kiếm ma trận trọng số sao cho mạng có
khả năng đưa ra dự báo sát với thực tế. Dạng chung của luật học tham số có
thể được mô tả như sau:
Aw ÿ = îjrXj , i = l , N , j = l,M

,

(1 .8 )

ừong đó:
Awÿ là sự thay đổi trọng số liên kết từ nơ-ron j đến nơ-ron i.
Xj là

tín hiệu vào nơ-ron j.

V là tốc độ học, nằm trong khoảng (0,1).
r là hằng số học.
Vấn đề đặt ra ở đây là tín hiệu học r được sinh ra như thế nào để hiệu
chỉnh trọng số của mạng.
Có thể chia thủ tục học tham số ra thành ba lớp nhỏ hơn: học có giám
sát, học không có giám sát và học tăng cường.
+ Học có giấm sát: Là quá trình học dựa vào sai số giữa đầu ra thực và
đầu ra mong muốn để làm cơ sở cho việc hiệu chỉnh trọng số. Sai số này

10
chính là hằng số học r. Luật học điển hình của nhóm này là luật học Delia của
Widrow (1962) nêu ra đầu tiên dùng xấp xỉ trọng số của Adaline dựa trên
nguyên tắc gradient.
Trong nhóm luật học này cũng cần kể đến luật học Perceptron của
Rosenblatt (1958). về cơ bản luật học này thay đổi các giá trị trọng trong thời
gian học, còn Perceptron thì thêm hoặc bỏ trọng tùy theo giá trị sai số là
dương hay âm
Một loạt các luật học khác cũng được dựa trên tư tưởng này. Luật oja là
cải tiến và nâng cấp của luật Delta. Luật truyền ngược là luật mở rộng của
luật Delta cho mạng nhiều lớp. Đối với mạng truyền thẳng thường sử dụng
luật truyền ngược để chỉnh trọng số với tín hiệu chỉ đạo từ bên ngoài và người
ta gọi mạng này là mạng lan truyền ngược.

Hình 1.7. Stf đồ học tham sổ có giám sát.
+ Học không cổ giám sẩt: Luật học này sử dụng đầu ra của mạng làm
cơ sở để hiệu chỉnh các trọng số liên kết. Hay trong luật này chính là tín hiệu
ra của mạng. Điển hình là luật Hebb (1949) thường dùng cho các mạng tự liên
kết, luật LVQ (Learning Vector Quantization) dùng cho mạng tự tổ chức một
lớp thuộc lớp mạng ánh xạ đặc trưng của Kohonen.
Luật học Hebb là luật sinh học xuất phát từ tiên đề của Hebb cho rằng:
Giữa hai nơ-ron có quan hệ và có thay đổi thế năng mạng thì giữa chúng có
sự thay đổi trọng số liên kết. Nói cách khác, trọng số được điều chỉnh theo
mối tương quan trước và sau, nghĩa là:


11
(1.9)

AWij = T]yixj , i = l , N , j = 1, M ,

trong đó:
AWỳ.: Là sự thay đổi trọng số liên kết từ nơ-ron j đến nơ-ron i.
x j:

là tín hiệu vào nơ-ron j.

y,- là tín hiệu ra của nơ-ron i.
ĩ] là tốc độ học, nằm trong khoảng (0,1).
Luật Hebb giải thích việc chỉnh trọng số trong phạm vi cục bộ của mạng
mà không cần tín hiệu chỉ đạo từ bên ngoài. Hopíield cũng cải tiến luật Hebb
cho các mạng tự liên kết thành 16 dạng khác nhau theo kiểu luật Hebb, luật
đối Hebb, luật Hopíield...
Như vậy, ứng với mỗi nhóm mạng thường áp dụng một luật học nhất
định. Nếu tồn tại hàng chục loại mạng khác nhau thì các luật học dùng trong
mạng nơ-ron có thể tăng lên rất nhiều lần.
Đối với mạng phản hồi thường sử dụng luật Hebb và các luật cải tiến của
nó để chỉnh trọng số mà không cần tín hiệu chỉ đạo từ bên ngoài.
Tín hiệu vào

-----►

Tín hiệu ra
Mạng nơron

Hình 1.8. Stf đồ học tham sổ không có giám sát.
+ Học tăng cường: Trong một số trường hợp, thông tin phản hồi chỉ là
tín hiệu bao gồm hai trạng thái cho biết tín hiệu đầu ra của mạng là đứng hay
sai. Quá trình học dựa ừên các thông tin hướng dẫn như vậy được gọi là học

có củng cố (học tăng cường) và tín hiệu mang thông tin phản hồi được gọi là
tín hiệu củng cố cho quá trình học. Ta có thể thấy rằng quá trình học này là
một dạng của quá trình học có tín hiệu chỉ đạo bởi vì mạng nhận được một số
thông tin phản hồi từ bên ngoài.


12

Hình 1.9. Stf đồ học tăng cường
* Hoc cấu trúc
m

Tìm kiếm các tham số của cấu trúc mạng để tìm ra một cấu trúc mạng
hoạt động tốt nhất. Trong thực tế, việc học cấu trúc là tìm ra số lớp ẩn và tìm
ra số nơ-ron trên mỗi lớp đó. Giải thuật di truyền thường được sử dụng trong
các cấu trúc nhưng thường chạy rất lâu, thậm chí ngay cả đối với mạng có
kích thước trung bình. Ngoài ra kỹ thuật gọt tỉa mạng hay mạng tăng dần
cũng được áp dụng trong việc học cấu trúc của mạng có kích thước tương đối
nhỏ.
1.1.2. Mạng thích nghi
* Cấu trúc mạng
Mạng thích nghi là một cấu trúc mạng bao gồm các nút và các liên kết
trực tiếp để liên kết giữa các nút đó với nhau. Tuy nhiên, không phải lúc nào
tất cả các nút đều là thích nghi. Đôi khi, chỉ một phần các nút trong mạng là
thích nghi mà thôi nghĩa là mỗi giá trị đầu ra của các nút này phụ thuộc vào
các tham số của nút đó, sau đó luật học chỉ rõ làm thế nào để thay đổi các
tham số nhằm đưa ra được kết quả gần với tập mẫu nhất (tối thiểu hoá sai số).
Mạng thích nghi trên thực tế là một mạng nơ-ron truyền thẳng, sử dụng luật
học có giám sát. Bây giờ, chúng ta sẽ đi nghiên cứu cấu trúc của mạng thích
nghi và các luật học cơ sở của nó.

Mạng thích nghi là một mạng lan truyền thẳng gồm có nhiều lớp, mỗi
lớp có nhiều nút khác nhau, mỗi nút thực hiện một hàm đặc biệt (còn được gọi
là nút hàm - node function) trên dữ liệu đến nút đó như một tập các tham số


13
thuộc về lớp đó. Để phản ánh khả năng thích nghi khác nhau, người ta sử
dụng hai loại nút, đó là nút hình ừòn và nút hình vuông. Trong đó, nút hình
tròn (nút cố định) không có tham số, còn nút hình vuông (nút thích nghi) có
các tham số. Tập các tham số của mạng thích nghi là hợp của các tham số của
mỗi nút.
Bình thường, các nút hàm có thể biến đổi từ nút này đến nút khác và việc
chọn mỗi một nút hàm phụ thuộc vào tất cả các hàm vào ra mà mạng thích
nghi yêu cầu thực hiện.

Hình 1.10. Mô tả cấu trúc của mạng thích nghi.
Chú ý rằng, các liên kết trong mạng thích nghi chỉ cho biết tín hiệu trực
tiếp giữa các nút, không có ừọng số được kết hợp với liên kết. Như vậy, đối
với mạng thích nghi để có thể đưa ra được một đầu ra mong đợi thì những
tham số được cập nhật theo tập dữ liệu huấn luyện, thủ tục học trên cơ sở
gardient được mô tả dưới đây:
Giả sử rằng chứng ta có một mạng thích nghi gồm L lớp, và lớp thứ k có
#k nút. Ta có thể ký hiệu vị trí của nút thứ i trong lớp k là (k, i), và hàm của
nút (nút ra) là o f . Vì nút ra phụ thuộc vào dữ liệu đến nút và tập các tham số,
nên ta có:
qf = qf (oỊ~l f ...? oJJ-u 7ữ, bf c...)
Ở đây a, b, c là các tham số thuộc về nút này.

(1.10)

14
Giả sử rằng có tập dữ liệu huấn luyện p đầu vào, chúng ta có thể định
nghĩa lỗi cho đầu vào thứ p (1 < p < P) của dữ liệu huấn luyện là tổng sai số
bình phương.
#(£)
J p = ^ J( ĩ'i, p - ° t , p Ỷ

(1.11)

¿=1
Trong đó, Tịp là thành phần thứ i của véctơ đầu ra đích thứ p, o^p là
thành phần thứ i của véctơ đầu ra thực tế có được từ véctơ đầu vào thứ p. Do
vậy, nếu ta có p đầu vào thì tổng lỗi là:
í1-12)

p =1

Để phát triển thủ tục học sử dụng phương pháp giảm gradient trong J
QJ p
ừên không gian tham sô, trước tiên chứng ta đi tính tỷ lệ lôi QQ cho dữ
liệu huấn luyện thứ p và cho mỗi nút ra o. Tỷ lệ lỗi cho nút ra tại (L, i) có thể
được tính theo phương trình sau:
^

= -m .p -o tp )

(1.13)

ÕOhP

Tại nút (k,i) bên trong, tỷ lệ lỗi có được tính bởi công thức sau:
ÕJP =

f

(1.14)

ẻ í e o í:ị ao(p

Õ° I , P

T

ẹjp õoí*ị

___
_ I>1
T T __________________< 7

1Ạ

f Ạ •

I>1
_______•)________________ A •

_
f

Với 1một sự kếthợp tuyến tính tỷ lệ các lỗi trong lớp tiếp theo. Do đó, với tất cả
các 1< k < L và 1< i < #(k), chứng ta có:

Q JP

k

từ công thức (1.13) và

(1.14)
Bây giờ, nếu a là tham số của mạng thích nghi, khi đó ta có:
Ô JP

õcx

y
o

€ iS

Ô JP

ÕO*

3 0 * Sũí

(1.15)

15
Trong đó, s là tập các nút có đầu ra phụ thuộc a . Khi đó đạo hàm của J
theo a là:
(1.16)

p =1

r

>

Và như vậy, công thức cập nhật cho tham sô di truyền a là:

(1.17)
Ở đây y là tỷ lệ học và có giá trị là:
k
(1.18)
Với k là kích thước bước, chiều dài của mỗi lần chuyển đổi gradient
trong không gian tham số. Chứng ta cũng có thể biến đổi giá trị của k từ sự
biến đổi tốc độ hội tụ.
Như vậy, chứng ta đã đưa ra được công thức cập nhật cho tham số a
dựa vào công thức (1.17). Tuy nhiên, phương pháp gradient ừên để xác định
các tham số ừong mạng thích nghi nhìn chung chậm và hay dẫn đến cực tiểu
Ạ • 1

Ạ

nội bộ.
1.2. Tổng quan về hệ mờ
1.2.1. Các khái niệm cơ bản của logic mờ

a. Định nghĩa tập mờ
Cơ

sở

của logic mờ

là

việc ánh xạ

từ

các biến

X

đầu vào thuộc tập A

thành các biến y đầu ra thuộc tập B.
Nói cách khác, giá ừị x=a không được xác định rõ là có thuộc hay không
thuộc tập B, và khái niệm mờ được đưa ra để làm nền tảng cho logic mờ và
điều khiển mờ sau này.
Cơ chế cơ bản của logic mờ sau này có dạng là tập hợp các trạng thái
nếu...thì hay còn được gọi là những quy luật.