Luận văn mạng noron nhân tạo và ứng dụng trong gom cụm sản phẩm

B ộ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC s ư PHẠM HÀ NỘI 2

NGUYỄN TRỌNG NGỌC

MẠNG NƠRON NHÂN TẠO
VÀ ỨNG DỤNG TRONG GOM CỤM
SẢN PHẨM

LUẬN VĂN THẠC SĨ MÁY TÍNH

HÀ NỘI, 2015


B 0 GIÂO DUC VÀ DÀO TAO
TRlTÔiNG DAI HOC SU PHAM HÀ NOI 2

NGUYÉN TRONG NGOC
•

•

MANG
NORON NHÂN TAO
•
•
VÀ ÎTNG DUNG
TRONG GOM CUM
•
•
SAN PHAM

Chuyên ngành: Khoa hoc mây tin h
M â so: 60 48 01 01

LUÂN
• VAN THAC Si MÂY TÎNH
•

NgirM hirong dan khoa hoc
PGS. TS. LÊ BA DÜNG

HÀ NÔI, 2015


LOI CÂM ON
Tôi xin bày tô loi càm cm chân thành tori tâp thê câc thây cô giâo Viên
công nghê thông tin - Viên Hàn lâm Khoa hoc và Công nghê Viêt Nam, câc
thây cô giâo Truômg Bai hoc Su Pham Hà Nôi II dâ tân tinh giàng day cüng
nhu tao moi diêu kiên dé tôi hoc tâp và nghiên ciiu trong 2 nam hoc cao hoc.
Tôi xin chân thành càm om sâu sac tori thây giâo PGS.TS Lê Bâ Düng
dâ cho tôi nhiêu su chi bào quÿ bâu, dâ tân tinh huomg dân và tao diêu kiên
cho tôi hoàn thành tôt luân van tôt nghiêp này.
Quâ trinh thuc hiên dê tài không trânh khôi câc thiêu sot, rât mong tiêp
tue nhân duge su dông gôp y kiên cüa câc thây, câc cô giâo, câc ban dông
nghiêp dôi vori dê tài nghiên cûu cüa tôi dé dê tài duçc hoàn thiên hom.
Tôi xin trân trong càm an!
HàNôi, ngày.... thâng.... nam 2015


LỜI CAM ĐOAN
Tên tôi là: Nguyễn Trọng Ngọc

Lớp: Cao học KI7
Khóa học: 2013 -2015
Chuyên ngành: Khoa học máy tính
Mã số chuyên ngành: 60 48 01 01
Cơ sở đào tạo: Trường Đại học Sư Phạm Hà Nôi II
Giáo viên hướng dẫn: PGS.TS Lê Bá Dũng
Cơ quan công tác: Viện công nghệ thông tin - Viện Hàn lâm Khoa học
và Công nghệ Việt Nam.
Tôi xin cam đoan luận văn “Mạng Nơron nhân tạo và ứng dụng trong
gom cụm sản phẩm ” này là công trình nghiên cứu của riêng tôi. Các số liệu
sử dụng trong luận văn là trung thực, các kết quả nghiên cứu được trình bày
trong luận văn chưa từng được công bố tại bất kỳ công trình nào khác. Tôi
cũng xin cam đoan rằng mọi sự giúp đỡ cho việc thực hiện luận văn này đã
được cảm ơn và các thông tin ừích dẫn ừong luận văn đã được chỉ rõ nguồn
gốc.
Hà Nội, ngày.... Thảng.... năm 2015
Học viên

Nguyễn Trọng Ngọc


M ỤC LỤC
MỞ ĐẦU....................................................................................................... 1
1. Lý do chọn đề tài.........................................................................................1
2. Mục đích nghiên cứu................................................................................... 1
3. Nhiệm vụ nghiên cứu..................................................................................2
4. Đối tượng và phạm vi nghiên cứu............................................................... 2
5. Phương pháp nghiên cứu.............................................................................2
CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO, CẤU
TRÚC VÀ MÔ HÌNH MẠNG NƠRON KOHONEN................................ 3

•

1.1. Tổng quan về mạng Nơron....................................................................... 3
1.1.1. Mô hình một Nơron sinh học................................................................ 3
1.1.2. Mạng Nơron nhân tạo........................................................................... 3
1.2. Các khái niệm chung về mạng Nơron................................................... 13
1.2.1. Truyền tin ừong mạng Nơron..............................................................13
1.2.2. Transformation (Transfer) Function (Hàm chuyển đổi).......................15
1.3. Mô hình toán học của mạng Nơron...................................................... 16
1.3.1. Cấu trúc mạng Nơron.......................................................................... 16
1.3.2. Mạng nơron truyền thẳng nhiều lớp.................................................... 22
1.3.3. Mạng Hopfield................................................................................... 22
1.4. ứng dụng của mạng Nơron....................................................................24
1.5. Tổng quan về SOM................................................................................26
1.5.1. Mô hình SOM.................................................................................... 28
1.5.2. Một số ứng dụng của SOM................................................................. 29
CHƯƠNG 2. THUẬT
TOÁN SOM VỚI BÀI TOÁN PHÂN CỤM.............30
■
•
2.1. Các phương pháp phân cụm................................................................... 30
2.2. Dùng mạng nơron ừong phân cụm.........................................................31
2.2.1. Học ganh đua....................................................................................... 31


2.2.2. Thuật toán SOM..................................................................................33
2.2.3. Sử dụng SOM ừong khai phá dữ liệu..................................................38
2.2.4. SOM với bài toán phân cụm............................................................... 40
2.2.5. Các phương pháp phân cụm khác....................................................... 45
CHƯƠNG 3: ỨNG DỤNG MẠNG KOHONEN (SOM) TRONG PHÂN

LOẠI SẢN PHẨM .................................................................................... 48
3.1. Phát biểu bài toán................................................................................. 48
3.2. Mạng Kohonen cho phân loại sản phẩm............................................... 50
3.2.1. Cấu trúc mạng.................................................................................... 50
3.2.2. Chuẩn bị dữ liệu..................................................................................51
3.2.3. Mô hình mạng Kohonen..................................................................... 57
3.2.4. Chương ừình thực thi quá ừình phân loại sản phẩm........................... 59
3.2.5. Kiểm tra quá trình tính toán................................................................ 63
3.2.6. Đánh giá kết quả..................................................................................63
3.3. Đề xuất phương án triển khai kỹ thuật cho phân loại sản phẩm hạt cà
phê...............................................................................................................65
KẾT LUẬN................................................................................................66
■

TÀI LIỆU THAM KHẢO.........................................................................67


DANH MỤC CÁC TỪ VIẾT TẮT

ANN

Artificial Norron Network
Mạng nơron nhân tạo

SOM (Self-Organizing Maps)

Mạng norron tự tổ chức

PE (Processing element)

Phần tử xử lý

U-matrix (unified distance matrix)

Ma trận thống nhất khoảng cách

EM (Expectation maximization)

Thuật toán tôi đa hóa

MST (Minimum spanning tree)

Thuật toán tối thiểu cây mở rộng

BMU (Best - Matching unit)

Đom vị phù hợp nhất


DANH MỤC CÁC BẢNG BIỂU
TT
1

Tên bảng
Bảng 3.1: Bảng dữ liệu thông kê kêt quả phân loại hoa theo
chiều dài, chiều rộng cánh hoa và đài hoa.

Trang
53

DANH MỤC CÁC HÌNH VẼ
TT

Hình vẽ

Trang

1

Hình 1.1. Mô hình một nơron nhân tạo

4

2

Hình 1.2. Đô thị các dạng hàm truyên

6

3

Hình 1.3. Mạng truyền thẳng một lớp

7

4

Hình 1.4. Mô tả cấu trúc của mạng nơron truyền thẳng nhiều
lớp

8

5

Hình 1.5. Mạng hôi quy một lớp có nôi ngược

9

6

Hình 1.6.Mạng hôi quy nhiêu lớp có nôi

9

7

Hình 1.7.Sơ đô học có giám sát

11

8

Hình 1.8.Sơ đô học tham sô không có giám sát

12

9

Hình 1.9. Sơ đô học tăng cường

12

10

Hình 1.10. Truyên tin ừong mạng Nơron

13

11

Hình 1.11. Mô hình phần tử xử lý

14

12

Hình 1.12. Hàm Chuyển

15

13

Hình 1.13. Mô hình một nơron nhân tạo

16

14

Hình 1.14. Đô thị các dạng hàm truyên

18

15

Hình 1.15. Mạng nơron 3 lớp

19

16

Hình 1.16. Một sô dạng mạng nơron

22

17

Hình 1.17. Cấu trúc mạng Hopfield

23

18

Hình 1.18. Cấu trúc của mạng SOM

28

19

Hình 2.1. Đơn vị xử lý ganh đua

32

20

Hình 2.2. Không gian ban đầu cho SOM

33

21

Hình 2.3. Các lân cận

35

22

Hình 2.3. BMU

36

23

Hình 2.4. Hai hàm lân cận cơ bản

37


TT
24

Hình vẽ
Hình 2.5. Vectơ chiến thắng liên tục đối với SOM có 30x40
nơron cho dữ liệu hỗn hợp Gauxơ

Trang
43

25

Hình 2.6: Định nghĩa một U-Matrix

44

26

Hình 2.7: U-Matrix của SOM

44

27

Hình 3.1a: Thực phẩm trước khi được phân loại

49

28

Hình 3.1b. Phân loại thực phẩm theo các thuộc tính sử dụng
mạng Kohonen

49

29

Hình 3.2. Sơ đồ khối thuật toán quá trình phân loại sản phẩm

51

30

Hình 3.3. Thuật toán phân cụm sản phẩm

58

31

Hình 3.4a. 50 bông loại hoa Hoa Lan được phân vào một cụm

59

32
33
34
35
36

Hình 3.4b. 50 bông loại hoa Hoa Hong được phân vào một
cụm
Hình 3.4c. 50 bông loại hoa Hoa Loa Ken được phân vào một

cụm
Hình 3.5a. Ba loại hoa được phân ra thành 3 cụm sản phẩm
theo chiều dài và rông của đài hoa và cánh hoa
Hình 3.5b. Kết quả gom cụm sản phẩm ba lo hoa theo độ dài
rộng của đài hoa và cánh hoa
Hình 3.6. Mô hình phân loại sản phẩm

59
60
61
62
65


1
MỞ ĐẦU
1. Lý do chọn đề tàỉ
Mạng Nơron nhân tạo nói chung, mạng KOHONEN nói riêng đang là
chu dề quan tâm của nhiều tác giả trong và ngoài nước. Các nghiên cứ ừong
lĩnh vực này về học thuật cũng như ứng dụng đã có nhiều kết quả
Với quá trình phân cụm dữ lieu hay phân loại sản phẩm đã và đang
được phát triển và áp dụng nhiều ừong các lĩnh vực khác nhau, bao gồm:
nhận dạng, phân tích dữ liệu, nghiên cứu thị trường, phân loại. Trong đó, việc
áp dụng kỹ thuật phân cụm dữ liệu để phân loại sản phẩm đang là một hướng
nghiên cứu quan ừọng. Bỏi vì, Sản phẩm là kết quả thu được ừong một quá
trình thực hiện và được áp dụng ừong nhiều lĩnh vực khác nhau như: y học,
vật lý, hóa học, tìm kiếm tội phạm. Mục đích chung của việc phân loại sản
phẩm là: xử lý các dữ liệu đầu vào để có được từng sản phẩm theo một yêu
cầu cụ thể; phân tích các thuộc tính để thu được các thông tin đặc trưng trên
từng sản phẩm nhằm hỗ ừợ cho việc phân loại và nhận biết sản phẩm; phân

tích các thuộc tính để nhận diện được các thành phần trong sản phẩm nhằm
nhận biết được thuộc tính cơ bản của sản phẩm ở mức độ cao hơn. được sự
gợi ý của thầy hướng dẫn và nhận thấy tính thiết thực của vấn đề em chọn đề
tài: “Mạng Nơron nhân tạo và ứng dụng trong gom cụm sản phẩm “ làm
khoá luận tốt nghiệp cho luận văn tốt nghiệp của mình.
2. Mục đích nghiên cứu
+ Giới thiệu tổng quan về mạng Nơron.
+ Trình bày một số phương pháp phân phân cụm dữ liệu.
+ Xây dựng hệ thống phân loại sản phẩm sử dụng các kỹ thuật phân
cụm và mạng nơron.
+ Nâng cao hiệu quả và độ chính xác ừong việc xử lý sản phẩm dựa
vào việc phân tích các thuộc tính ừên sản phẩm dựa vào lý thuyết về phân
cụm và mạng nơron.


2
3. Nhiệm vụ nghiên cứu
+ Hiểu rõ các khái niệm, các thuật toán trong phân cụm dữ liệu.
+ ứng dụng phân cụm dữ liệu, mạng Nơron vào thực tiễn, đưa đến
xử lý các vấn đề có sử dụng thành tựu của Công nghệ thông tin.
+ Là một hướng xử lý ảnh thông qua sử dụng các phương pháp
tính toán mềm và công nghệ thông tin
4. Đổi tượng và phạm vỉ nghiên cứu
+ Tìm hiểu mạng Nơron cụ thể là mạng Nơron Kohonen
+ Tìm hiểu một số phương pháp phân phân cụm dữ liệu
+ Tìm hiểu mạng nơron và ứng dụng cho phân loại sản phẩm.
5. Phương pháp nghiên cứu
+ Thu nhập những nghiên cứu về khai phá ừi thức, phân cụm dữ liệu,
xây dựng mạng nơron, ứng dụng mạng nơron trong phân loại sản phẩm
+ Tham khảo các tài liệu liên quan ở Việt nam và trên Internet.

+ Tham dự các buổi thuyết trình, báo cáo kết quả; trao đổi với thầy cô
và đồng nghiệp, tổng hợp những kiến thức liên quan để phục vụ đề tài.


3
CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO, CẤU
TRÚC VÀ MÔ HÌNH MẠNG NƠRON KOHONEN
1.1. Tổng quan về mạng Nơron
1.1.1. Mô hình môt
Nơron sỉnh hoc
•
•
Phần tử xử lý cơ bản của một mạng nơron sinh học là một nowrron,
phần tử này có thể chia làm bốn thành phần cơ bản như sau: dendrites, soma,
axon, và synapes.
+ Dendrites: là phần nhận tín hiệu đầu vào
+ Soma: là hạt nhân.
+ Axon: là phần dẫn ra tín hiệu xử lý.
+ Synapses: là đường tín hiệu điện hóa giao tiếp giữa các nowrron.
Kiến trúc cơ sở này của bộ não con ngưòi có một vài đặc tính chung.
Một cách tổng quát, thì một mạng nowrron sinh học nhận đầu vào từ các
nguồn khác nhau, kết hợp chứng lại với nhau, thực thi tổ hợp phi tuyến chứng
để cho ra kết quả cuối cùng ở đầu ra.
1.1.2. Mạng Nơron nhân tạo
a. Mô hình mạng Nơron nhân tạo
Mô hình toán học của mạng Nơron sinh học được đề xuất bởi
McCulloch và Pitts, thường được gọi là Nơron M-P, ngoài ra nó còn được gọi
là phần tử xử lý và được ký hiệu là PE (Processing Element).
Mô hình Nơron có m đầu vào Xi, x2, x m, và một đầu ra yi như sau:

4

Đầu vào

Trong 30 liên kểt

Ngưỗng

Hình 1.1. Mô hình một Norron nhân tạo
Giải thích các thành phần cơ bản:
• Tập các đầu vào: Là các tín hiệu vào cùa Nơron, các tín hiệu này
thường được đưa vào dưới dạng một vector m chiều.
• Tập các liên kết (các trọng số): Mỗi liên kết được thể hiện bởi một
trọng số (thường được gọi là trọng số liên kết). Trọng số liên kết giữa tín hiệu
vào thứ j cho Nơron i thường được ký hiệu là WỊj. Thông thường các trọng số
này được khởi tạo ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật
liên tục trong quá trình học mạng.
• Bộ tổng (Hàm tổng): Thường dùng để tính tổng của tích các đầu vào
vái trọng số liên kết của nó.
• Ngưỡng: Ngưỡng này thường được đưa vào như một thành phần của
hàm truyền.
• Hàm truyền: Hàm này dùng để giới hạn phạm vi đầu ra của mỗi Nơron.
Nó nhận đầu vào là kết quà của hàm tồng và ngưỡng đã cho. Thông thường, phạm
vi đầu ra của mỗi Nơron được giới hạn ữong đoạn [0,1] hoặc [-1,1]- Các hàm
truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn
hàm truyền tùy thuộc vào từng bài toán và kinh nghiệm cùa người thiết kế
mạng.

5
•

Đầu ra: Là tín hiệu đầu ra của một Nơron, với mỗi Nơron sẽ có tối

đa một đầu ra.

về mặt toán học, cấu trúc của một Nơron i được mô tả bằng cặp biểu
thức sau:
y =f(net,-0,) và net, =Xw ixi

(1.1)

ừong đó: Xi, x2, .. .xmlà các tín hiệu đầu vào, còn Wil, Wi2,.. .,Wimlà các
ừọng số kết nối của Nơron thứ i, neti là hàm tổng, f là hàm truyền, 0; là một
ngưỡng, Ỵi là tín hiệu đầu ra của Nơron.
Như vậy, tương tự như Nơron sinh học, Nơron nhân tạo cũng nhận các
tín hiệu đầu vào, xử lý (nhân các tín hiệu này với ừọng số liên kết, tính tổng
các tích thu được rồi gửi kết quả đến hàm truyền), và cho một tín hiệu đầu ra
(là kết quả của hàm truyền).
• Hàm truyền có thể có các dạng sau:

H à m £ÍỚÍ hạn chặt (hay còn g ọ i là hàm bưỏc)

(1.2)
ì
H à m bậc thang y = s g n (x ) = ị X

khi

X >1

khi

0< X< 1

(1.3)

-1 khi x < 0
H à m n e ư õ iie đơn cực

y = — —-

1+ e

H à m n e ư ô iis h a i cực

л

Л

?

(^1

VỚI /X)

(1.4)

VỚI /X)

(1.5)

Đô thị các dạng hàm truyên được biêu diên như sau:


6
y

y

+1

+1

0
0

X

---------------- 1-1

(b) H àm giòi hạn. chặt

(a) Hảmbưức

y

(c) Hảm. bậc thang

y *

+1

0
-1

-1
(đ) H ãm ngưỡng đơn cực

X

(e) Hàm ngưỡng hai cực

Hình 1.2. Đồ thị các dạng hàm truyền
b. Cấu trúc của mạng Nơron nhân tạo

Mạng Noron nhân tạo (Artificial Nơron Network) là một cấu trúc mạng
được hình thành nên bởi số lượng các Nơron nhân tạo liên kết vổri nhau. Mỗi
Nơron có các đặc tính đầu vào, đầu ra và thực hiện một số chức năng tính
toán cục bộ.
Với việc giả lập các hệ thống sinh học, các cấu trúc tính toán, mạng
Nơron có thể giải quyết được các lớp bài toán nhất định như: Bài toán xếp
loại, bài toán lập lịch, bài toán tìm kiếm, bài toán nhận dạng mẫu... Các bài
toán phức tạp cao, không xác định. Tuy nhiên, sự liên kết giữa một bài toán
bất kỳ trong thực tế với một giải pháp mạng Nơron lại là một việc không dễ
dàng.
Xét một cách tổng quát, mạng Nơron là một cấu trúc xử lý song song
thông tin phân tán mang các đặc tính nổi bật sau:
- Là một mô hình tính toán dựa trên bản chất của Nơron

- Bao gồm một số lượng rất lứn các Nơron liên kết vái nhau
- Mạng Nơron có khà năng học, khái quát hóa tập dữ liệu học thông
qua việc gán và hiệu chỉnh các trọng số liên kết


7
-

Tố chức theo kiểu tập hợp mang lại cho mạng Nơron khả năng tính

toán rất lớn, trong đó không có Nơron nào mang thông tin riêng biệt.
c. Lỉên kết mạng
Sự liên kết trong mạng Nơron tuỳ thuộc vào nguyên lý tương tác giữa
đầu ra của từng Nơron riêng biệt với các Nơron khác và tạo ra cấu trúc mạng.
Trong phần này chúng ta đi tìm hiểu hai liên kết mạng đó là mạng truyền
thẳng và mạng hồi quy.
d. Mạng truyền thẳng
* Mạng truyền thẳng một lớp
Mô hình mạng Nơron truyền thẳng một lớp là mô hình liên kết cơ bàn
và đơn giản nhất. Các Nơron tổ chức lại với nhau tạo thành một lớp, đường
truyền tín hiệu được truyền theo một hướng nhất định nào đó. Các đầu vào
được nối với các Nơron theo các trọng số khác nhau, sau quá trình xử lý cho
ra một chuỗi các tín hiệu ra. Mạng Nơron là mô hình LTU thì nó được gọi là
mạng Perception, còn mạng Nơron là mô hình LGƯ thì nổ được gọi là mạng
Adaline.

Hình 1.3. Mạng truyền thẳng một lớp
Với mỗi giá trị đầu vào

X

= [ xi,x2,....,xJT. Qua quá trình, xử lý của

mạng ta sẽ thu được một bộ tương ứng các giá trị đầu ra là y = [yi,y2v»yn]T
được xác định như sau:
( 1.6)


8
Trong đó:
m: số tín hiệu vào
n : số tín hiệu ra
Wj7 = [ Wii, Wj2,...,Wjn]T là vốc tơ trọng số của Nơron thứ i.
fi: hàm kích hoạt của Nơron thứ i
0ị: là ngưỡng cùa Nơron thứ i.
* Mạng truyền thẳng nhỉều lớp.
Vái mạng Nơron truyền thẳng một lớp ở trên khi phân tích một bài toán
phức tạp sẽ gặp rất nhiều khó khăn, để khắc phục vấn đề này người ta đưa ra
mô hình mạng Nơron truyền thẳng nhiều lớp bằng việc kết hợp với một số lớp
Nơron lại với nhau. Lớp nhận tín hiệu vào gọi là lớp vào, lớp đưa ra tín hiệu
ra của mạng được gọi là lớp ra. Các lớp ở giữa lớp vào và lóp ra được gọi là
các lớp ẩn.

Lớp vào

Lớp ẩn

Lớp ra

Hình 1.4. Mô tả cấu trúc của mạng NoTon truyền thẳng nhiều lớp.

9
* Mạng hồi quy
- Mạng hồỉ quy một lớp có nốỉ ngưực

Hình 1.5. Mạng hồỉ quy một lớp có nốỉ ngược
- Mạng hồi quy nhỉều lóp có nối ngược

Hình 1.6. Mạng hồỉ quy nhỉều lớp có nối ngược
e. Các luật học
Mạng Nơron có một số ưu điểm so với máy tính truyền thống, cấu trúc
song song của mạng Nơron rất thích hợp cho những ứng dụng đòi hỏi tốc độ
nhanh theo thòi gian thực. Khả năng huấn luyện của mạng Nơron có thể khai
thác để phát triển hệ học thích nghi. Mặt khác, với khả nâng tổng quát hóa của
mạng Nơron, nó có thể áp dụng để điều khiển nhiều tham số phức tạp đồng
thời từ đó giải quyết dễ dàng một số bài toán NP - đầy đủ (NP - Complete).


10
Các luật học đóng vai trò quan trọng trong việc xác định một mạng
Nơron nhân tạo. Một cách đơn giản về khái niệm học của mạng Nơron là cập
nhật ừọng số trên cơ sở các mẫu. Theo nghĩa rộng thì học có thể được chia
thành hai loại: Học tham số và học cấu trúc
* Hoc tham sổ:
Các thủ tục học này nhằm tìm kiếm ma trận ừọng số sao cho mạng có
khả năng đưa ra dự báo sát vói thực tế. Dạng chung của luật học tham số có
thể được mô tả như sau:
(17)

trong đó:
AWỳ là sự thay đôi
7 trọng sô liên kêt từ Nơron j đên Nơron i.
Xj là

tín hiệu vào Nơron j.

71 là tốc độ học, nằm ừong khoảng (0,1).
r là hằng số học.
Vấn đề đặt ra ở đây là tín hiệu học r được sinh ra như thế nào để hiệu
chỉnh ừọng số của mạng.
Có thể chia thủ tục học tham số ra thành ba lớp nhỏ hơn: học có giám
sát, học không có giám sát và học tăng cường.
+ Học cỏ giám sát Là quá trình học dựa vào sai số giữa đầu ra thực và
đầu ra mong muốn để làm cơ sở cho việc hiệu chỉnh ừọng số. Sai số này
chính là hằng số học r. Luật học điển hình của nhóm này là luật học Delia của
Widrow (1962) nêu ra đầu tiên dùng xấp xỉ ừọng số của Adaline dựa trên
nguyên tắc gradient.
Trong nhóm luật học này cũng cần kể đến luật học Perceptron của
Rosenblatt (1958). về cơ bản luật học này thay đổi các giá trị trọng trong thòi
gian học, còn Perceptron thì thêm hoặc bỏ trọng tùy theo giá trị sai số là
dương hay âm.


11
Một loạt các luật học khác cũng được dựa trên tư tưởng này. Luật oja là
cải tiến và nâng cấp của luật Delta. Luật truyền ngược là luật mở rộng của
luật Delta cho mạng nhiều lớp. Đối với mạng truyền thẳng thường sử dụng
luật truyền ngược để chỉnh ừọng số với tín hiệu chỉ đạo từ bên ngoài và ngưòi
ta gọi mạng này là mạng lan truyền ngược.

Hình 1.7. Stf đồ học tham sổ có giám sát.
+ Học không cỏ giám sái: Luật học này sử dụng đầu ra của mạng làm
cơ sở để hiệu chỉnh các trọng số liên kết. Hay ừong luật này chính là tín hiệu
ra của mạng. Điển hình là luật Hebb (1949) thường dùng cho các mạng tự liên
kết, luật LVQ (Learning Vector Quantization) dùng cho mạng tự tổ chức một
lớp thuộc lớp mạng ánh xạ đặc trưng của Kohonen.
Luật học Hebb là luật sinh học xuất phát từ tiên đề của Hebb cho rằng:
Giữa hai Nơron có quan hệ và có thay đổi thế năng mạng thì giữa chứng có sự
thay đổi ừọng số liên kết. Nói cách khác, ừọng số được điều chỉnh theo mối
tương quan trước và sau, nghĩa là:
( 1.8)

Trong đó:
À

W

7

ỳ: Là sự thay đôi ừọng sô liên kêt từ Nơron j đên Nơron i.

Xj: là tín hiệu vào Nơron j.
Ỵì: là tín hiệu ra của Nơron i.
^ là tốc độ học, nằm ừong khoảng (0,1).


12
Luật Hebb giải thích việc chỉnh trọng số trong phạm vi cục bộ của
mạng mà không cần tín hiệu chỉ đạo từ bên ngoài. Hopííeld cũng cải tiến luật

Hebb cho các mạng tự liên kết thành 16 dạng khác nhau theo kiểu luật Hebb,
luật đối Hebb, luật Hopíield...
Như vậy, ứng vói mỗi nhóm mạng thường áp dụng một luật học nhất
định. Nếu tồn tại hàng chục loại mạng khác nhau thì các luật học dùng trong
mạng Nơron có thể tăng lên rất nhiều lần.
Đối với mạng phản hồi thường sử dụng luật Hebb và các luật cải tiến
của nó để chỉnh ừọng số mà không cần tín hiệu chỉ đạo từ bên ngoài.
TínrtệurtD i-------- —

------ *

—
Mạng nơron

Ị

Tlh
ra
------- — Ị—

Hình 1.8. Stf đồ học tham sổ không có giám sát
+ Học tăng cường: Trong một số trường hợp, thông tin phản hồi chỉ là
tín hiệu bao gồm hai trạng thái cho biết tín hiệu đầu ra của mạng là đứng hay
sai. Quá trình học dựa trên các thông tin hướng dẫn như vậy được gọi là học
có củng cố (học tăng cường) và tín hiệu mang thông tin phản hồi được gọi là
tín hiệu củng cố cho quá trình học. Ta có thể thấy rằng quá trình học này là
một dạng của quá trình học có tín hiệu chỉ đạo bởi vì mạng nhận được một số
thông tin phản hồi từ bên ngoài.
TTnHỊuvâs
Mạng nơ run

TlnHộurai

Sản sinh tin
hiệu táng ctrởng *

Hình 1.9. Stf đồ học tăng cường.


13
* Hoc
m cấu trúc
Tìm kiếm các tham số của cấu trúc mạng để tìm ra một cấu trúc mạng
hoạt động tốt nhất, Trong thực tế, việc học cấu trúc là tìm ra số lóp ẩn và lim
ra số Nơron trên mỗi lớp đó. Giải thuật di truyền thường được sử dụng trong
các cấu trúc nhưng thường chạy rất lâu, thậm chí ngay cả đối với mạng có
kích thước trung bình. Ngoài ra kỹ thuật gọt tỉa mạng hay mạng tăng dần
cũng được áp dụng trong việc học cấu trủc của mạng cổ kích thước tương đối
nhỏ.
1.2. Các kháỉ niệm chung về mạng Nơron
1.2.1. Truyền tín trong mạng Norron

Hình 1.10. Truyền tín trong mạng Nơron
Inputs: Mỗi Input tương ứng với 1 thuộc tính (attribute) của dữ liệu
(patterns). Ví dụ như trong ứng đụng của ngân hàng xem xét có chấp nhận
cho khách hàng vay tiền hay không thì mỗi Input là một thuộc tính của khách
hàng như thu nhập, nghề nghiệp, tuổi, số con,...
Output: Kết quả của một ANN là một giải pháp cho một vấn đề, ví dụ
như với bài toán xem xét chấp nhận cho khách hàng vay tiền hay không thi
output là yes (cho vay) hoặc no (không cho vay).

Connection Weights (Trọng số liên k ế t): Đây là thảnh phần rất quan
trọng của một ANN, nó thể hiện mức độ quan trọng (độ mạnh) của dữ liệu
đầu vào đối với quá trình xử lý thông tin (quá trình chuyển đổi dữ liệu từ


14
Layer này sang layer khác). Quá trình học (Learning Processing) của ANN
thực ra là quá trình điều chỉnh các trọng số (Weight) của các input data để có
được kết quả mong muốn.
Summation Function (Hàm tổng): Tính tổng ừọng số của tất cả các
input được đưa vào mỗi Neuron (phần tử xử lý PE). Hàm tổng của một
Neuron đối với n input được tính theo công thức sau:

n

(1.9)

Ĩ=1

Hàm tông đôi với nhiêu Neurons ừong cùng một Layer (Xem hình b)
n

Yì =ỵÌ=1x,wg

(a ) S in g le n e u ro n

(b) S e v e ra l neuron s

Yi =X1kV11 +X2W21
=x\ w\2 +XZW^

Y3 = x z w 23

Hình 1.11. Mô hình phần tử xử lý

(1.10)


15
1.2.2. Transformation (Transfer) Function (Hàm chuyển đổi)
Hàm tổng (Summation Function) của một Neuron cho biết khả năng
kích hoạt (Activation) của neuron đó còn gọi là kích hoạt bên ừong (internal
activation). Các Nueron này có thể sinh ra một output hoặc không trong ANN
(nói cách khác rằng có thể output của 1 Neuron có thể được chuyển đến layer
tiếp ừong mạng Neuron theo hoặc không). Mối quan hệ giữa Internal
Activation và kết quả (output) được thể hiện bằng hàm chuyển đổi (Transfer
Function).
Summ ation function:
Transform ation (transfer) function:

X-J = 3

V - 3 (0.2) + 1(0.4 ) + 2(0.1} = 1.2
yT=1/(1 +- e-1 a) = 0.77

LV, = 0 .2

Hình 1.12. Hàm chuyển
Việc lựa chọn Transfer Function có tác động lớn đến kết quả của ANN.
Hàm chuyển đổi phi tuyến được sử dụng phổ biến ừong ANN làsỉgmoỉd
(logical activation) function.

y r = 1/(1 + e~Y)

(1.10)

Trong đỏ :
YT: Hàm chuyển đổi
Y: Hàm tổng
Kết quả của Sigmoid Function thuộc khoảng [0,1] nên còn gọi là hàm
chuẩn hỏa (Normalized Function).
Kết quả xử lý tại các Neuron (Output) đôi khi rất lớn, vì vậy transfer
function được sử dụng để xử lý output này trước khi chuyển đến layer tiếp
theo. Đôi khi thay vì sử dụng Transfer Function người ta sử dụng giá trị