Luận văn thạc sĩ mạng noron nhân tạo và ứng dụng trong gom cụm sản phẩm

Bộ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC sư PHẠM HÀ NỘI 2
______•____•_________•_________•

NGUYỄN TRỌNG NGỌC

MẠNG NƠRON NHÂN TẠO
VÀ ỨNG DỤNG TRONG GOM CỤM
SẢN PHẨM

LUẬN VĂN THẠC sĩ MÁY TÍNH

HÀ NỘI, 2015


TRƯỜNG ĐẠI HỌC sư PHẠM HÀ NỘI 2
______•____•_________•_________•

NGUYỄN TRỌNG NGỌC

MẠNG NƠRON NHÂN TẠO
VÀ ỨNG DỤNG TRONG GOM CỤM
SẢN PHẨM
Chuyên ngành: Khoa học máy tính
Mã số: 60 48 01 01

LUẬN VĂN THẠC sĩ MÁY TÍNH
Ngưòi hướng dẫn khoa học
PGS. TS. LÊ BÁ DŨNG

Tôi xin bày tỏ lời cảm ơn chân thành tới tập thể các thầy cô giáo

Viện công nghệ thông tin - Viện Hàn lâm Khoa học và Công nghệ Việt


Nam, các thầy cô giáo Trường Đại học Sư Phạm Hà Nội II đã tận tình
giảng dạy cũng như tạo mọi điều kiện để tôi học tập và nghiên cứu trong 2
năm học cao học.
Tôi xin chân thành cảm ơn sâu sắc tới thầy giáo PGS.TS Lê Bá
Dũng đã cho tôi nhiều sự chỉ bảo quý báu, đã tận tình hướng dẫn và tạo
điều kiện cho tôi hoàn thành tốt luận văn tốt nghiệp này.
Quá trình thực hiện đề tài không tránh khỏi các thiếu sót, rất mong
tiếp tục nhận được sự đóng góp ý kiến của các thầy, các cô giáo, các bạn
đồng nghiệp đối với đề tài nghiên cứu của tôi để đề tài được hoàn thiện
hơn.
Tôi xin trân trọng cảm ơn!
Hà Nội, ngày.... tháng năm 2015


Tên tôi là: Nguyễn Trọng Ngọc
Lớp: Cao học KI7
Khóa học: 2013 - 2015
Chuyên ngành: Khoa học máy tính
Mã số chuyên ngành: 60 48 01 01
Cơ sở đào tạo: Truờng Đại học Su Phạm Hà Nội II
Giáo viên huớng dẫn: PGS.TS Lê Bá Dũng
Cơ quan công tác: Viện công nghệ thông tin - Viện Hàn lâm Khoa
học và Công nghệ Việt Nam.
Tôi xin cam đoan luận văn "Mạng Nơron nhân tạo và ứng dụng
trong gom cụm sản phẩm ’’ này là công trình nghiên cứu của riêng tôi.
Các số liệu sử dụng trong luận văn là trung thực, các kết quả nghiên cứu
đuợc trình bày trong luận văn chua từng đuợc công bố tại bất kỳ công

trình nào khác. Tôi cũng xin cam đoan rằng mọi sự giúp đỡ cho việc thực
hiện luận văn này đã đuợc cảm ơn và các thông tin trích dẫn trong luận
văn đã đuợc chỉ rõ nguồn gốc.
Hà Nội, ngày.... Tháng.... năm 2015
Học viên

Nguyễn Trọng Ngọc


Tên bảng

ANN

1

Artificial Noron Network Mạng
Bảng 3.1: Bảngnơron
dữ liệu
thống
nhân
tạokê kết quả phân loại hoa theo

SOM (Self-Organizing Maps)
nơronhoa
tự tổ
chiều dài, chiềuMạng
rộng cánh
vàchức
đài hoa.
PE (Processing element)

Phần tử xử lý

U-matrix (unified distance matrix)

Ma trận thống nhất khoảng cách

EM (Expectation maximization)

Thuật toán tối đa hóa

MST (Minimum spanning tree)

Thuật toán tối thiểu cây mở rộng

BMU (Best - Matching unit)

Đơn vị phù họp nhất

Tran
g
53


TT

Hình vẽ

Trang

1

Hình 1.1. Mô hình một nơron nhân tạo

4

2
3

Hình 1.2. Đồ thị các dạng hàm truyền

6
7

4

Hình 1.3. Mạng truyền thẳng một lớp
Hình 1.4. Mô tả cấu trúc của mạng nơron truyền thẳng nhiều

8

lớp
Hình 1.5. Mạng hồi quy một lớp có nối ngược

9

6
7

Hình l.ó.Mạng hồi quy nhiều lớp có nối

9

Hình 1.7.Sơ đồ học có giám sát

11

8
9

Hình 1.8.Sơ đồ học tham số không có giám sát

12

Hình 1.9. Sơ đồ học tăng cường

10

Hình 1.10. Truyền tin trong mạng Nơron

12
13

11

Hình 1.11. Mô hình phần tử xử lý

14

12

13

Hình 1.12. Hàm Chuyển

15

Hình 1.13. Mô hình một nơron nhân tạo

16

14

Hình 1.14. Đồ thị các dạng hàm truyền

15

Hình 1.15. Mạng nơron 3 lớp

18
19

16
17

Hình 1.16. Một số dạng mạng nơron

18
19

Hình 1.18. Cấu trúc của mạng SOM

Hình 2.1. Đơn vị xử lý ganh đua

28
32

20

Hình 2.2. Không gian ban đầu cho SOM

33

21

Hình 2.3. Các lân cận

35

22
23

Hình 2.3. BMU

36

Hình 2.4. Hai hàm lân cận cơ bản

37

5

Hình 1.17. Cấu trúc mạng Hopííeld

22
23


7
TT
24
25
26
27
28

Hình vẽ
Hình 2.5. Vectơ chiến thắng liên tục đối với SOM có 30x40
nơron cho dữ liệu hỗn họp Gauxơ
Hình 2.6: Định nghĩa một U-Matrix

Trang
43
44

Hình 2.7: U-Matrix của SOM

44

Hình 3.la: Thực phẩm trước khi được phân loại

49

Hình 3.1b. Phân loại thực phẩm theo các thuộc tính sử dụng

49

29

mạng Kohonen
Hình 3.2. Sơ đồ khối thuật toán quá trình phân loại sản phẩm

51

30

Hình 3.3. Thuật toán phân cụm sản phẩm

58

31

Hình 3.4a. 50 bông loại hoa Hoa Lan được phân vào một cụm

59

32
33

Hình 3.4b. 50 bông loại hoa Hoa Hong được phân vào một cụm
Hình 3.4c. 50 bông loại hoa Hoa Loa Ken được phân vào một

59
60

cụm
34
35
36

Hình 3.5a. Ba loại hoa được phân ra thành 3 cụm sản phẩm theo
chiều dài và rông của đài hoa và cánh hoa
Hình 3.5b. Kết quả gom cụm sản phẩm ba lo hoa theo độ dài
rộng của đài hoa và cánh hoa
Hình 3.6. Mô hình phân loại sản phẩm

61
62
65

MỞ ĐẦU
1. Lý do chọn đề tài
Mạng Nơron nhân tạo nói chung, mạng KOHONEN nói riêng đang là chu
dề quan tâm của nhiều tác giả trong và ngoài nuớc. Các nghiên cứ trong lĩnh vực
này về học thuật cũng nhu ứng dụng đã có nhiều kết quả
Với quá trình phân cụm dữ lieu hay phân loại sản phẩm đã và đang đuợc


8
phát triển và áp dụng nhiều trong các lĩnh vực khác nhau, bao gồm: nhận dạng,
phân tích dữ liệu, nghiên cứu thị truờng, phân loại. Trong đó, việc áp dụng kỹ
thuật phân cụm dữ liệu để phân loại sản phẩm đang là một huớng nghiên cứu

quan trọng. Bởi vì, Sản phẩm là kết quả thu đuợc trong một quá trình thực hiện và
đuợc áp dụng trong nhiều lĩnh vực khác nhau nhu: y học, vật lý, hóa học, tìm
kiếm tội phạm. Mục đích chung của việc phân loại sản phẩm là: xử lý các dữ liệu
đầu vào để có đuợc từng sản phẩm theo một yêu cầu cụ thể; phân tích các thuộc
tính để thu đuợc các thông tin đặc trung trên từng sản phẩm nhằm hỗ trợ cho việc
phân loại và nhận biết sản phẩm; phân tích các thuộc tính để nhận diện đuợc các
thành phần trong sản phẩm nhằm nhận biết đuợc thuộc tính cơ bản của sản phẩm
ở mức độ cao hơn. đuợc sự gợi ý của thầy huớng dẫn và nhận thấy tính thiết thực
của vấn đề em chọn đề tài: “Mạng Nơron nhân tạo và ứng dụng trong gom
cụm sản phẩm “ làm khoá luận tốt nghiệp cho luận văn tốt nghiệp của mình.
2. Mục đích nghiên cứu
+ Giới thiệu tống quan về mạng Nơron.
+ Trình bày một số phuơng pháp phân phân cụm dữ liệu.
+ Xây dựng hệ thống phân loại sản phấm sử dụng các kỹ thuật phân cụm
và mạng nơron.
+ Nâng cao hiệu quả và độ chính xác trong việc xử lý sản phấm dựa vào
việc phân tích các thuộc tính trên sản phẩm dựa vào lý thuyết về phân cụm và
mạng nơron.
3. Nhiệm vụ nghiên cứu
+ Hiểu rõ các khái niệm, các thuật toán trong phân cụm dữ liệu.
+ ứng dụng phân cụm dữ liệu, mạng Nơron vào thực tiễn, đua đến xử lý
các vấn đề có sử dụng thành tựu của Công nghệ thông tin.
+ Là một huớng xử lý ảnh thông qua sử dụng các phuơng pháp tính toán
mềm và công nghệ thông tin


9
4. Đối tượng và phạm vi nghiên cứu
+ Tìm hiểu mạng Nơron cụ thể là mạng Nơron Kohonen +
Tìm hiểu một số phương pháp phân phân cụm dữ liệu +

Tìm hiểu mạng nơron và ứng dụng cho phân loại sản
phẩm.
5. Phương pháp nghiên cứu
+ Thu nhập những nghiên cứu về khai phá tri thức, phân cụm dữ liệu, xây
dựng mạng nơron, ứng dụng mạng nơron trong phân loại sản phẩm + Tham khảo
các tài liệu liên quan ở Việt nam và trên Internet.
+ Tham dự các buổi thuyết trình, báo cáo kết quả; trao đổi với thầy cô
và đồng nghiệp, tổng họp những kiến thức liên quan để phục vụ đề tài.


CHƯƠNG 1: TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO, CẤU
TRÚC VÀ MÔ HÌNH MẠNG NƠRON KOHONEN
1.1.

Tổng quan về mạng Nơron

1.1.1.

Mô hình môt Nơron sinh hoc
••

Phần tử xử lý cơ bản của một mạng nơron sinh học là một nowrron, phần
tử này có thể chia làm bốn thành phần cơ bản như sau: dendrites, soma, axon,
và synapes.
+ Dendrites: là phần nhận tín hiệu đầu vào
+ Soma: là hạt nhân.
+ Axon: là phần dẫn ra tín hiệu xử lý.
+ Synapses: là đường tín hiệu điện hóa giao tiếp giữa các nowrron.
Kiến trúc cơ sở này của bộ não con người có một vài đặc tính chung.
Một cách tổng quát, thì một mạng nowrron sinh học nhận đầu vào từ các nguồn

khác nhau, kết họp chúng lại với nhau, thực thi tổ họp phi tuyến chúng để cho
ra kết quả cuối cùng ở đầu ra.
1.1.2.

Mạng Nơron nhân tạo

a. Mô hình mạng Nơron nhân tạo
Mô hình toán học của mạng Nơron sinh học được đề xuất bởi
McCulloch và Pitts, thường được gọi là Nơron M-P, ngoài ra nó còn được gọi
là phần tử xử lý và được ký hiệu là PE (Processing Element).
Mô hình Nơron có m đầu vào Xi, x2,..., xm, và một đầu ra yi như sau:


Hình 1.1. Mô hình môt Nơron nhần tao
Giải thích các thành phần cơ bản:
•

Tập các đầu vào: Là các tín hiệu vào của Nơron, các tín hiệu này thường
được đưa vào dưới dạng một vector m chiều.

•

Tập các liên kết (các trọng số): Mỗi liên kết được thể hiện bởi một trọng
sổ (thường được gọi là trọng số liên kết). Trọng số liên kết giữa tín hiệu
vào thứ j cho Nơron i thường được ký hiệu là

Wịj.

Thông thường các

trọng số này được khởi tạo ngẫu nhiên ở thời điểm khởi tạo mạng và
được cập nhật liên tục ừong quá trình học mạng.
•

Bộ tổng (Hàm tổng): Thường dùng để tính tổng của tích các đầu vào với
trọng sổ liên kết của nó.

•

Ngưỡng: Ngưỡng này thường được đưa vào như một thành phần của
hàm truyền.

•

Hàm truyền: Hàm này dùng để giới hạn phạm vi đầu ra của mỗi Nơron.
Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho. Thông
thường, phạm vi đầu ra của mỗi Nơron được giới hạn trong đoạn [0,1]
hoặc [-1,1]. Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính
hoặc phi tuyến. Việc lựa chọn hàm truyền tùy thuộc vào từng bài toán và
kinh nghiệm của người thiết kế

mạng.


• Đầu ra: Là tín hiệu đầu ra của một Nơron, với mỗi Nơron sẽ có tối đa
một đầu ra.
về mặt toán học, cấu trúc của một Nơron i đuợc mô tả bằng cặp biểu
thức sau:

y =f(net1-e1> và net, =2wyXj (1.1)

trong đó: Xi, x2, .. .xm là các tín hiệu đầu vào, còn Wii, wi2,.. .,wim
là các trọng số kết nối của Nơron thứ i, neti là hàm tổng, f là hàm truyền, 0J là
một ngưỡng, Ỵi là tín hiệu đầu ra của Nơron.
Nhu vậy, tuơng tự nhu Nơron sinh học, Nơron nhân tạo cũng nhận các
tín hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các
tích thu đuợc rồi gửi kết quả đến hàm truyền), và cho một tín hiệu đầu ra (là kết
quả của hàm truyền).

Hàm giới hạn chặt (hay còn 2ỌĨ là hàm
bước)
(1.2)

• Hàm truyền có thể có các dạng sau:
1 khi X>1
Hàm bậc thang y = sgn(x) = ị X khi 0 < X < 1 (1.3
)
Hàm ngưởng đơn cực y =
Hàm ngưởng liai cực y =

1
2

l + e‘s

với /XI
-1 với ÂX)

-1 khi x<0
ĐỒ thị các dạng hàm truyền được biểu diễn như sau:

(1.4
)
(1.5
)


+1y

-■ i

y

.

ĩ

ù**1
O5) Hàm giới hạn chặt

w

■1

(eộ Hàm ngưỡng hai cực

(c) Hàm bậc thtìiig

(đj Hảiti ngưữiìg đơn cực

Hình 1.2. Đồ thị các dạng hàm truyền
b. Cấu trúc của mạng Nơron nhân tạo
Mạng Nơron nhân tạo (Artiíĩcial Nơron Network) là một cấu trúc mạng
được hình thành nên bởi số lượng các Nơron nhân tạo liên kết với nhau. Mỗi
Nơron có các đặc tính đầu vào, đầu ra và thực hỉện một số chức năng tính toán
cục bộ.
Vớỉ việc giả lập các hệ thống sinh học, các cấu trúc tỉnh toán, mạng
Nơron cỏ thể giải quyết được các lợp bài toán nhất định như: Bài toán xếp loại,
bài toán lập lịch, bài toán tìm kỉếm, bài toán nhận dạng mẫu... Các bài toán
phức tạp cao, không xác định. Tuy nhiên, sự liên kết giữa một bài toán bất kỳ
trong thực tế với một giải pháp mạng Nơron lại là một việc không dễ dàng.
Xét một cách tổng quát, mạng Nơron là một cấu trúc xử lý song song
thông tin phân tán mang các đặc tính nổi bật sau:
-

Là một mô hình tính toán dựa trên bản chất của Nơron

-

Bao gồm một số lượng rất lớn các Nơron liên kết với nhau

-

Mạng Nơron có khả năng học, khái quát hỏa tập dữ liệu học thông qua
việc gán và hiệu chỉnh các trọng số liên kết


- Tẻ chức theo kiểu tập hợp mang lại cho mạng Nơron khả năng tính
toán rất lớn, trong đỏ không có Nơron nào mang thông tin riêng biệt.
c. Liên kết mạng

Sự liên kết trong mạng Nơron tuỳ thuộc vào nguyên lý tương tác giữa
đầu ra của từng Nơrơn riêng biệt với các Nơron khác và tạo ra cấu trúc mạng.
Trong phần này chúng ta đi tìm hiểu hai liên kết mạng đó là mạng truyền thẳng
và mạng hồi quy.
d. Mạng truyền thẳng
* Mạng truyền thẳng mệt lứp
Mô hình mạng Nơron truyền thẳng một lớp là mô hình liên kết cơ bản và
đơn giản nhất. Các Nơron tổ chức lại vái nhau tạo thành một lớp, đường truyền
tín hiệu được truyền theo một hướng nhất định nào đó. Các đầu vào được nối
với các Nơron theo các trọng số khác nhau, sau quá trình xử lý cho ra một chuỗi
các tín hiệu ra. Mạng Nơron là mô hình LTU thì nó được gọi là mạng
Perception, còn mạng Nơron là mô hình LGU thì nó được gọi là mạng Adaline.
Hỉnh 1.3. Mạng truyền thẳng một lóp
Với mỗi giá trị đầu vào X = [ Xi,X2,....,Xn]T. Qua quá trình xử lý của mạng ta
X|

VL

XỊ

VỊ
r"
—

y
m
sẽ thu được một bộ tương ứng các giá trị đầu ra là y = [yi,y2>...»yn]T được xác
định như sau:
nr-m-

-(1.6)


Trong đó:
m: số tín hiệu vào
n : số tín hiệu ra
WtT = [ Wii, Wi2,...,win]T là véc tơ trọng sé của Nơron thứ i.
fi: hàm kích hoạt của Nơron thứ i 0j: là ngưỡng của Nơron
thứ i.
* Mạng truyền thẳng nhiều lớp.
Với mạng Nơron truyền thẳng một lớp ở trên khi phân tích một bài toán
phức tạp sẽ gặp rất nhiều khó khăn, để khắc phục vấn đề này người ta đưa ra
mô hình mạng Nơron truyền thẳng nhiều lớp bằng việc kết hợp với một số lớp
Nơron lại với nhau. Lớp nhận tín hiệu vào gọi là lớp vào, lớp đưa ra tín hiệu ra
của mạng được gọi là lớp ra. Các lớp ở giữa lớp vào và lớp ra được gọi là các

Lớp ra

lớp ẩn.
Hình 1.4. Mô tả cấu trúc của mạng Nơron truyền thẳng nhỉều lớp.


* Mạng hềỉ quy
- Mạng hồỉ quy một lớp cỗ nối ngược

Hình 1.5. Mạng hồí quy một lớp có nối ngược
Mạng hồi quy nhỉều lớp có nếỉ ngược

Hình 1.6. Mạng hềỉ quy nhiều lớp cổ nốỉ ngược
e. Các luật học

Mạng Nơron có một số ưu điểm so với máy tính truyền thống, cấu trúc
song song của mạng Noron rất thích hợp cho những ứng dụng đòi hỏi tốc độ
nhanh theo thờỉ gian thực. Khả năng huấn luyện của mạng Nơron có thể khai
thác để phát triển hệ học thích nghỉ. Mặt khác, với khả năng tổng quát hóa của
mạng Nơron, nó cỏ thể áp dụng để điều khiển nhiều tham số phức tạp đồng thời
từ đó giải quyết dễ dàng một số bài toán NP - đầy đủ (NP - Complete).
Các luật học đóng vai trò quan trọng trong việc xác định một mạng


Nơron nhân tạo. Một cách đơn giản về khái niệm học của mạng Nơron là cập
nhật trọng số trên cơ sở các mẫu. Theo nghĩa rộng thì học có thể đuợc chia
thành hai loại: Học tham số và học cấu trúc
* Hoc tham số:
*

Các thủ tục học này nhằm tìm kiếm ma trận trọng số sao cho mạng có
khả năng đua ra dự báo sát với thực tế. Dạng chung của luật học tham số có thể
đuợc mô tả nhu sau:
(17)

trong đó:
AW
1
rr
r
‘i là sự thay đôi trọng sô liên kêt từ Nơron j đên Nơron i.
Xj là tín hiệu vào Nơron j.
77

là tốc độ học, nằm trong khoảng (0,1).

r là hằng số học.
Vấn đề đặt ra ở đây là tín hiệu học r đuợc sinh ra nhu thế nào để hiệu
chỉnh trọng số của mạng.
Có thể chia thủ tục học tham số ra thành ba lớp nhỏ hơn: học có giám
sát, học không có giám sát và học tăng cuờng.
+ Học có giám sát: Là quá trình học dựa vào sai số giữa đầu ra thực và
đầu ra mong muốn để làm cơ sở cho việc hiệu chỉnh trọng số. Sai số này chính
là hằng số học r. Luật học điển hình của nhóm này là luật học Della của
Widrow (1962) nêu ra đầu tiên dùng xấp xỉ trọng số của Adaline dựa trên
nguyên tắc gradient.
Trong nhóm luật học này cũng cần kể đến luật học Perceptron của
Rosenblatt (1958). về cơ bản luật học này thay đối các giá trị trọng trong thời
gian học, còn Perceptron thì thêm hoặc bỏ trọng tùy theo giá trị sai số là duơng
hay âm.
Một loạt các luật học khác cũng được dựa trên tư tưởng này. Luật oja là
cải tiến và nâng cấp của luật Delta. Luật truyền ngược là luật mở rộng của luật


Delta cho mạng nhiều lớp. Đối với mạng truyền thẳng thường sử dụng luật
truyền ngược để chỉnh trọng số với tín hiệu chỉ đạo từ bên ngoài và người ta gọi
mạng này là mạng lan truyền ngược.

Hình 1.7. Sơ đồ học tham số có giám sát.
+ Học không có giám sát: Luật học này sử dụng đầu ra của mạng làm cơ
sở để hiệu chỉnh các trọng số liên kết. Hay trong luật này chính là tín hiệu ra
của mạng. Điển hình là luật Hebb (1949) thường dùng cho các mạng tự liên kết,
luật LVQ (Learning Vector Quantization) dùng cho mạng tự tổ chức một lớp
thuộc lớp mạng ánh xạ đặc trưng của Kohonen.
Luật học Hebb là luật sinh học xuất phát từ tiên đề của Hebb cho rằng:

Giữa hai Nơron có quan hệ và có thay đổi thế năng mạng thì giữa chúng có sự
thay đổi trọng số liên kết. Nói cách khác, trọng số được điều chỉnh theo mối
tương quan trước và sau, nghĩa là:
(18)
Trong đó:
AỊV
ij

’

: Là sự thay đôi trọng sô liên kêt từ Nơron j đên Nơron i.

Xj: là tín hiệu vào Nơron j.
yi: là tín hiệu ra của Nơron i.
^ là tốc độ học, nằm trong khoảng (0,1).


Luật Hebb giải thích việc chỉnh trọng số trong phạm vi cục bộ của mạng
mà không cần tín hiệu chỉ đạo từ bên ngoài. Hopííeld cũng cải tiến luật Hebb
cho các mạng tự liên kết thành 16 dạng khác nhau theo kiểu luật Hebb, luật đối
Hebb, luật Hopííeld...
Nhu vậy, ứng với mỗi nhóm mạng thuờng áp dụng một luật học nhất
định. Nếu tồn tại hàng chục loại mạng khác nhau thì các luật học dùng trong
mạng Nơron có thể tăng lên rất nhiều lần.
Đối với mạng phản hồi thuờng sử dụng luật Hebb và các luật cải tiến của
TínHệurto

Mạng nơron

ThHặuỉB

*

nó để chỉnh trọng số mà không cần tín hiệu chỉ đạo từ bên ngoài.
Hình 1.8. Sơ đồ học tham số không có giám sát + Học tăng
cường: Trong một số truờng họp, thông tin phản hồi chỉ là tín hiệu bao gồm hai
trạng thái cho biết tín hiệu đầu ra của mạng là đúng hay sai. Quá trình học dựa
trên các thông tin huớng dẫn nhu vậy đuợc gọi là học có củng cố (học tăng
cuờng) và tín hiệu mang thông tin phản hồi đuợc gọi là tín hiệu củng cố cho
trình học. Ta có thể thấy rằng quá trình học này là một dạng của

quá trình

quá

học có

tín hiệu chỉ đạo bởi vì mạng nhận đuợc một số thông tin phản hồi từ bên ngoài.
Hình 1.9. Sơ đồ học tăng cường.


* Hoc cấu trúc
Tìm kiếm các tham số của cấu trúc mạng để tìm ra một cấu trúc mạng
hoạt động tốt nhất. Trong thực tế, việc học cấu trúc là tìm ra số lớp ẩn và tìm ra
số Nơron trên mỗi lớp đó. Giải thuật di truyền thuờng đuợc sử dụng trong các
cấu trúc nhung thuờng chạy rất lâu, thậm chí ngay cả đối với mạng có kích
thuớc trung bình. Ngoài ra kỹ thuật gọt tỉa mạng hay mạng tăng dần cũng đuợc
áp dụng trong việc học cấu trúc của mạng có kích thuớc tuơng đối nhỏ.
1.2.

Các khái niệm chung về

mạng Nơron 1.2.1. Truyền tin
trong mạng Nơron

Inputs

Weights

*1x

2

er
- - —(ST

X,

Neuron
= WịXị

Output

j

Summatio
ns

~r?\ Ĩ
Transfer function

Hình 1.10. Truyền tin trong mạng Nơron Inputs: Mỗi
Input tuơng ứng với 1 thuộc tính (attribute) của dữ liệu (patterns). Ví dụ nhu
trong ứng dụng của ngân hàng xem xét có chấp nhận cho khách hàng vay tiền
hay không thì mỗi Input là một thuộc tính của khách hàng nhu thu nhập, nghề
nghiệp, tuối, số con,...
Output: Kết quả của một ANN là một giải pháp cho một vấn đề, ví dụ
nhu với bài toán xem xét chấp nhận cho khách hàng vay tiền hay không thì
output là yes (cho vay) hoặc no (không cho vay).
Connection Weights (Trọng số liền kết) : Đây là thành phần rất quan
trọng của một ANN, nó thể hiện mức độ quan trọng (độ mạnh) của dữ liệu đầu
vào đối với quá trình xử lý thông tin (quá trình chuyển đổi dữ liệu từ


Layer này sang layer khác). Quá trình học (Learning Processing) của ANN thực
ra là quá trình điều chỉnh các trọng số (Weight) của các input data để có đuợc
kết quả mong muốn.
Summation Function (Hàm tổng): Tính tổng trọng số của tất cả các
input đuợc đua vào mỗi Neuron (phần tử xử lý PE). Hàm tổng của một Neuron
đối với n input đuợc tính theo công thức sau:
n
ị ì i=1

f

r

(1.9)

Hàm tông đôi với
nhiêu Neurons trong cùng

một Layer (Xem hình b):

ti

(1.10)
(a) Single neuron

y = y XÉWẦ

(b) Several neurons

y, =X,1/V„ + X 2 W 2 , Y z
=x, W Ì Z + x 2 W . ^

YI

=X2W23
Hình 1.11. Mô hình phân tử xử lỷ


1.2.2.

Transformation (Transfer) Function (Hàm chuyển đổi)

Hàm tổng (Summation Function) của một Neuron cho biết khả năng kích
hoạt (Activation) của neuron đó còn gọi là kích hoạt bên trong (internal
activation). Các Nueron này có thể sinh ra một output hoặc không trong ANN
(nói cách khác rằng có thể output của 1 Neuron có thể đuợc chuyển đến layer
tiếp trong mạng Neuron theo hoặc không). Mối quan hệ giữa Internal
Activation và kết quả (output) đuợc thể hiện bằng hàm chuyển đổi (Transfer

Function).
Summation function:

Y=

3 (0.2) + 1(0.4) + 2(0.1) = 1.2

Transformation (transfer) function: VjT=1/
(1 + e-12) = 0 77
Xi = 3

= 0,2

X2 = 1 Wg = ũ.4 ^V^r^cessmqN Y- 1

1/1/3 = 0.1 >^lemenV

X3-2

>

Hình 1.12. Hàm chuyển
Việc lựa chọn Transfer Function có tác động lớn đến kết quả của ANN.
Hàm chuyển đổi phi tuyến đuợc sử dụng phổ biến trong ANN là sigmoid
(logical activation) function.
Y

t

=

1/(1

+

e

)

y

(1.10)
Trong đó

:

Yt: Hàm chuyển đổi
Y: Hàm tổng
Kết quả của Sigmoid Function thuộc khoảng [0,1] nên cỏn gọi là hàm
chuẩn hóa (Normalized Function).
Kết quả xử lý tại các Neuron (Output) đôi khi rất lớn, vì vậy transfer
function đuợc sử dụng để xử lý output này truớc khi chuyển đến layer tiếp theo.


Đôi khi thay vì sử dụng Transfer Function nguời ta sử dụng giá trị
ngưỡng (Threshold value) để kiểm soát các output của các neuron tại một
layer nào đó trước khi chuyển các output này đến các Layer tiếp theo. Nếu
output của một neuron nào đó nhỏ hơn Threshold thì nó sẻ không được
chuyển đến Layer tiếp theo.
1.3. Mô hình toán học của mạng Nơron

1.3.1. Cấu trúc mạng Nơron
a. Cấu trúc và mô hình của môt nơron nhân tao
*•

Mô hình toán học của mạng nơron sinh học được đề xuất bởi McCulloch
và Pitts [2], thường được gọi là nơron M-P, ngoài ra nó còn được gọi là phần tử
xử lý và được ký hiệu là PE .
Mô hình nơron có m đầu vào Xi, x2,..., xm, và một đầu ra yi như sau:

Hình 1.13. Mô hình một norron nhân tạo
Giải thích các thành phần cơ bản:
-

Tập các đầu vào: Là các tín hiệu vào của nơron, các tín hiệu này thường
được đưa vào dưới dạng một vector m chiều.

-

Tập các liên kết (các trọng số): Mỗi liên kết được thể hiện bởi một trọng
sổ liên kết. Trọng sổ liên kết giữa tín hiệu vào thứ j cho nơron i thường
được ký hiệu là

Wij.

Thông thường các trọng số này được khởi tạo ngẫu

nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá
trình học
mạng.

-

Bộ tổng (hàm tổng): Thường dùng để tính tổng của tích các đầu vào với
trọng số liên kết của nó.

-

Ngưỡng: Ngưỡng này thường được đưa vào như một thành phần của
hàm truyền.

-

Hàm truyền: Hàm này dùng để giới hạn phạm vi đầu ra của mỗi nơron.
Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho. Thông
thường, phạm vi đầu ra của mỗi nơron được giới hạn trong đoạn [0,1]
hoặc [- 1,1]. Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính
hoặc phi tuyến. Việc lựa chọn hàm truyền tùy thuộc vào từng bài toán và
kinh nghiệm của người thiết kế mạng.

-

Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa một
đầu ra.
về mặt toán học, cấu trúc của một nơron i được mô tả bằng cặp biểu thức

sau: y =f(neti -0i ) và neti =Xwijxj
Trong đó:

Xi,

x2, .. .xm là các tín hiệu đầu vào, còn

Wii,

wi2,.. .,wim là các

trọng số kết nối của nơron thứ i, neti là hàm tổng, f là hàm truyền, 0i là một
ngưỡng, y¿ là tín hiệu đầu ra của nơron.
Như vậy, tương tự như nơron sinh học, nơron nhân tạo cũng nhận các tín
hiệu đầu

vào, xử lý (nhân các tín hiệu này vớitrọng số liên kết,

tính tổng

các tích thu được rồi gửi kết quả đếnhàm truyền), vàcho một tínhiệu đầu ra
(là kết quả của hàm truyền).
Hàm truyền có thể có các dạng sau:
_

kkix > 0
w
A'hix < Ũ

Hàm bước

(1.20)

Hàm giới hạn chặt (hay còn gọi lả hâm buổrc)
y = sgn(x) ì khi x£0 -1 klii K < 0
ì khi
Hầm bậc thang y = sgii(x) =

1.2
1)
(

X>1

X kh i 0 £ x £ l
-1 khi X

(1.22)

\

Hàm nauửnẹ đon cực Hàm

y
1
= l + ew

vớỉ

2
1
voriẢ>Q

} l+e*
- Đồ thị các dạng hàm truyền- được biểu diễn như sau:
(đ) Hàm ngưỡng đon cực
(e) Hàm ngưỡng hai cực

(12
3)
(1.24)

tigưủng liai cực

Hình 1.14, Đồ thị các dạng hàm
truyền b. Mô hình của mạng norron nhân tạo
Dựa trên những phương pháp xây dụng nơron đã trình bày ở mục
trên, ta có thể hình dung mạng nơron như ỉà một hệ truyền đạt và xử ỉý tín
hiệu. Đặc tính truyền đạt của nơron phần lớn là đặc tính truyền đạt tĩnh.