Phát triển các cấu trúc, thuật học của mạng nơron tự tổ chức

BỘ GIÁO DỤC VÀ ĐÀO TẠO

VIỆN HÀN LÂM
KHOA HỌC VÀ CÔNG NGHỆ VN

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

Lê Anh Tú

PHÁT TRIỂN CÁC CẤU TRÚC, THUẬT HỌC CỦA
MẠNG NƠRON TỰ TỔ CHỨC

LUẬN ÁN TIẾN SĨ TOÁN HỌC

Hà Nội - 2016


3

MỤC LỤC

Lời cam đoan ...................................................................................................................1
Lời cảm ơn .......................................................................................................................2
MỤC LỤC .......................................................................................................................3
Danh mục các từ viết tắt ..................................................................................................7
Danh mục các ký hiệu toán học .......................................................................................9
Danh mục các bảng........................................................................................................11
Danh mục các hình vẽ, đồ thị ........................................................................................12
Danh mục các định nghĩa, định lý, bổ đề ......................................................................13
Danh mục các thuật toán ...............................................................................................13
MỞ ĐẦU .......................................................................................................................14

CHƯƠNG 1 ...................................................................................................................19
TỔNG QUAN VỀ CÁC MÔ HÌNH MẠNG NƠRON TỰ TỔ CHỨC........................19
1.1. Tổng quan về mạng nơron nhân tạo ...................................................................19
1.1.1. Khái niệm mạng nơron nhân tạo ..................................................................19
1.1.2. Các kiến trúc căn bản của mạng nơron nhân tạo .........................................20
1.1.3. Các phương pháp học ...................................................................................21
1.1.4. Lịch sử và xu hướng phát triển mạng nơron nhân tạo .................................23
1.2. Mạng nơron tự tổ chức........................................................................................25
1.2.1. Cấu trúc mạng nơron tự tổ chức...................................................................25
1.2.2. Thuật toán học của mạng nơron tự tổ chức..................................................26
1.2.3. Đánh giá chất lượng bản đồ đặc trưng của mạng nơron tự tổ chức .............29
1.3. Hạn chế của mạng nơron tự tổ chức và các biện pháp khắc phục ......................32
1.4. Kết quả nghiên cứu trong và ngoài nước về cải tiến cấu trúc, phương pháp học
của mạng nơron tự tổ chức ........................................................................................35
1.4.1. Kết quả nghiên cứu trong nước ....................................................................35
1.4.2. Kết quả nghiên cứu ngoài nước ...................................................................35
1.5. Đặc điểm chung của các phương thức cải tiến mạng nơron tự tổ chức..............41
1.6. Kết luận chương 1 ...............................................................................................43
CHƯƠNG 2 ...................................................................................................................44


4
HAI PHƯƠNG THỨC CẢI THIỆN CHẤT LƯỢNG BẢN ĐỒ ĐẶC TRƯNG CỦA
MẠNG NƠRON TỰ TỔ CHỨC ..................................................................................44
2.1. Tổng quan về cải thiện chất lượng bản đồ đặc trưng của mạng nơron tự tổ chức
....................................................................................................................................44
2.2. Điều chỉnh hàm lân cận để cải thiện chất lượng bản đồ đặc trưng .....................46
2.2.1. Một số dạng hàm lân cận của mạng nơron tự tổ chức .................................46
2.2.2. Điều chỉnh tham số của hàm lân cận đối xứng dạng mũ .............................47
2.3. Thuật toán điều chỉnh trọng số nơron để giảm lỗi lượng tử ...............................51

2.3.1. Đặt vấn đề ....................................................................................................51
2.3.2. Thuật toán điều chỉnh trọng số nơron ..........................................................57
2.4. Các tập dữ liệu sử dụng cho thực nghiệm...........................................................60
2.5. Thực nghiệm hàm lân cận mũ với tham số điều chỉnh .......................................62
2.5.1. Mục tiêu thực nghiệm ..................................................................................62
2.5.2. Phương pháp thực nghiệm ...........................................................................62
2.5.3. Các tham số khởi tạo mạng ..........................................................................62
2.5.4. Kết quả thực nghiệm ....................................................................................63
2.5.5. So sánh hàm lân cận điều chỉnh với một số dạng hàm lân cận khác ...........72
2.6. Thực nghiệm thuật toán Batch-IMQS ................................................................73
2.6.1. Mục tiêu thực nghiệm ..................................................................................73
2.6.2. Phương pháp thực nghiệm ...........................................................................73
2.6.3. Các tham số khởi tạo mạng ..........................................................................73
2.6.4. Kết quả thực nghiệm ....................................................................................73
2.7. Kết luận chương 2 ...............................................................................................75
CHƯƠNG 3 ...................................................................................................................76
MỘT MẠNG NƠRON TỰ TỔ CHỨC CÓ CẤU TRÚC PHÂN TẦNG TĂNG
TRƯỞNG VÀ THUẬT TOÁN HỌC BÁN GIÁM SÁT CHO BÀI TOÁN PHÂN LỚP
DỮ LIỆU .......................................................................................................................76
3.1. Tổng quan về các mạng nơron tự tổ chức cải tiến học giám sát, bán giám sát cho
phân lớp dữ liệu .........................................................................................................76
3.2. Phát biểu bài toán phân lớp dữ liệu ....................................................................79
3.3. Một cấu trúc phân tầng tăng trưởng và thuật toán học bán giám sát của mạng
nơron tự tổ chức cho bài toán phân lớp dữ liệu .........................................................79
3.3.1. Các cấu trúc nền tảng để xây dựng mạng nơron tự tổ chức phân tầng tăng
trưởng học bán giám sát cho phân lớp dữ liệu .......................................................80


5
3.3.2. Cấu trúc mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho

phân lớp dữ liệu......................................................................................................83
3.3.3. Thuật toán huấn luyện và kiểm thử của mạng nơron tự tổ chức phân tầng
tăng trưởng học bán giám sát cho phân lớp dữ liệu ...............................................87
3.4. Thực nghiệm mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát
cho phân lớp dữ liệu...................................................................................................92
3.4.1. Mục tiêu thực nghiệm ..................................................................................92
3.4.2. Phương pháp thực nghiệm ...........................................................................92
3.4.3. Các tham số khởi tạo mạng ..........................................................................93
3.4.4. Kết quả thực nghiệm ....................................................................................93
3.4.5. So sánh mô hình đề xuất với một số phương thức khác ..............................96
3.5. Kết luận chương 3 .............................................................................................101
CHƯƠNG 4 .................................................................................................................102
MỞ RỘNG CẤU TRÚC, THUẬT TOÁN HỌC CỦA MẠNG NƠRON TỰ TỔ
CHỨC CHO BÀI TOÁN PHÂN CỤM DỮ LIỆU .....................................................102
4.1. Tổng quan về sử dụng mạng nơron tự tổ chức cho phân cụm dữ liệu .............102
4.2. Phát biểu bài toán phân cụm dữ liệu .................................................................105
4.3. Cải tiến thuật toán học mạng nơron tự tổ chức cho phân cụm dữ liệu .............106
4.3.1. Ý tưởng của thuật toán cải tiến ..................................................................106
4.3.2. Thuật toán học cải tiến của mạng nơron tự tổ chức cho phân cụm dữ liệu
..............................................................................................................................109
4.4. Mở rộng cấu trúc mạng nơron tự tổ chức cho phân cụm dữ liệu .....................111
4.4.1. Cấu trúc mạng nơron tự tổ chức mở rộng hai lớp ......................................112
4.4.2. Thuật toán huấn luyện mạng nơron tự tổ chức mở rộng hai lớp ...............112
4.5. Thực nghiệm thuật toán học cải tiến và mạng tự tổ chức mở rộng hai lớp ......116
4.5.1. Mục tiêu thực nghiệm ................................................................................116
4.5.2. Phương pháp thực nghiệm .........................................................................117
4.5.3. Các tham số khởi tạo mạng ........................................................................117
4.5.4. Kết quả thực nghiệm ..................................................................................117
4.5.5. So sánh các phương thức đề xuất với một số phương thức khác ...............118
4.6. Kết luận chương 4 .............................................................................................121

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI LUẬN ÁN ........................123
CÁC CÔNG TRÌNH KHOA HỌC CỦA NGHIÊN CỨU SINH ...............................125
TÀI LIỆU THAM KHẢO ...........................................................................................126


6
PHỤ LỤC ....................................................................................................................134
Phụ lục 1: Một số độ đo theo cặp đánh giá chất lượng gom cụm............................134
Phụ lục 2: Độ chính xác phân loại (Accuracy) ........................................................136


7

Danh mục các từ viết tắt

Từ viết tắt
AHIGG
ANN
BDK

Diễn giải
Adaptive Hierarchical Incremental Grid Growing
Artificial Neural Network
Bi-Directional Kohonen

BMU
BoA

Best Matching Unit
Bubble of Activity

BSOM
CCS

Bayesian Self-Organizing Map
Cohn's CSS (Constrained Semi-Supervised)

CPN
CS2GS
CSPA
DCS
DM

Counter Propagation Network
Constrained SemiSupervised GSOM
Cluster-based Similarity Partitioning Algorithm
Davidson's CSS (Constrained Semi-Supervised)
Distortion Measure

ET
GCS
GG
GHSOM
GHSSOM
GHTSOM
GMM
GNG

Evolving Tree
Growing Cell Structure

Growing Grid
Growing Hierarchical SOM
Growing Hierarchical Semi-Supervised SOM
Growing Hierarchical Tree SOM
Gaussian Mixture Model
Growing Neural Gas

GSOM
GWCA
HFM
HGPA
HTS
IGG
IMQS
KGSOM

Growing SOM
Generalized Weighted Cluster Aggregation
Hierarchical Feature Map
Hyper-Graph-Partitioning Algorithm
Hierarchical Tree Structure
Incremental Grid Growing
Improving Map Quality of SOM
Kernel GSOM

KNN
NG

k-Nearest Neighbor
Neural Gas

8
NMFC

Nonnegative Matrix Factorization based Consensus

QE
RCS

Quantization Error
Ruiz's CSS (Constrained Semi-Supervised)

RSOM
SC
SKN

Recurrent Self-Organizing Map
Spectral Clustering
Supervised Kohonen Network

sNet-SOM

Supervising Network Self-Organizing Map

SOM
SOM-P

Self Organizing Map
SOM-Partitional

SOMSR
SOTA

SOM with Selective Refractoriness
Self-Organizing Tree Algorithm

SOTM
SSGSOM
SVM

Self Organising Tree Map
Semi-Supervised GSOM
Support Vector Machine

TE
TP
TRN

Topographic Error
Topographic Product
Topology Representing Network

TSSOM

Tree-Structured SOM

TSVQ
TTOCONROT
TTOSOM

WC
XYF

Tree-Structured VQ
TTOSOM with Conditional Rotations
Tree-Based Topology-Oriented SOM
Weighted Consensus
X–Y Fused Network


9

Danh mục các ký hiệu toán học

Ký hiệu



Diễn giải
Hằng số thời gian



Tham số điều chỉnh mức độ giảm kích thước của nút con so với
nút cha



Tham số xác định ngưỡng phân ly

, 

Tham số ngưỡng

ab

Kích thước lớp Kohonen

ceil()
center
d(x,wi)
d, y
e

Hàm làm tròn lên
Tâm cụm dữ liệu
Khoảng cách giữa vector x và vector wi
Mẫu đầu ra
Nhãn lỗi

Ed
hci(t)
L0
Li(0)
Li(t)
m, g
N
N0, R0
Nc(t), R(t)

Hàm lỗi đánh giá mức độ biến dạng của bản đồ
Hàm lân cận của nơron i xác định tại lần huấn luyện thứ t
Tỉ lệ học khởi tạo của toàn mạng
Tỉ lệ học khởi tạo của nơron thứ i
Tỉ lệ học của nơron thứ i tại lần học thứ t
Các nút trên cây phân tầng GHSSOM
Tổng số mẫu có trong tập dữ liệu
Bán kính lân cận khởi tạo
Bán kính lân cận tại lần học thứ t

Nq
pij(t)
Q
q, p
QE
qei
r

Nơron thứ q
Xác suất nơron thứ i (lớp 1) thuộc vào nhóm của nơron thứ j (lớp
2) tại lần huấn luyện thứ t
Tổng khoảng cách của các mẫu đầu vào đối với trọng số của nơron
Các tham số điều chỉnh cho hàm lân cận
Lỗi lượng tử của mạng
Lỗi lượng tử của nơron i
Tổng số cụm (nhóm)

Sc
t

Khoảng cách trọng tâm của tập dữ liệu
Lần huấn luyện (lần học thứ t)


10
T

Tổng số lần huấn luyện mạng

T0
V, I, J

Tổng số lần huấn luyện nút gốc
Tập dữ liệu

wc
wi
wi(t)

Vector trọng số của nơron chiến thắng (BMU)
Vector trọng số của nơron thứ i
Vector trọng số của nơron thứ i tại lần học thứ t

wij

Thành phần trọng số của nơron thứ i ứng với đầu vào thứ j

x(t)

Mẫu đầu vào tại lần học thứ t

11

Danh mục các bảng

Bảng 1. 1 So sánh một số mạng nơron ra đời trước năm 1990 .....................................23
Bảng 1. 2 So sánh các biến thể SOM không sử dụng cấu trúc cây ...............................37
Bảng 1. 3 So sánh các biến thể SOM sử dụng cấu trúc cây ..........................................38
Bảng 1. 4 So sánh các mạng nơron tự tổ chức có giám sát ...........................................40
Bảng 2. 1 Thông tin về các tập dữ liệu sử dụng để thực nghiệm ..................................60
Bảng 2. 2 Kết quả thực nghiệm khi cố định tham số p=2, thay đổi tham số q .............63
Bảng 2. 3 Kết quả thực nghiệm khi thay đổi tham số p, cố định tham số q ..................64
Bảng 2. 4 So sánh độ đo QE, TE của một số dạng hàm lân cận ...................................72
Bảng 2. 5 Kết quả thực nghiệm thuật toán Batch-IMQS ..............................................74
Bảng 3. 1 Tham số q của hàm lân cận áp dụng cho các tập dữ liệu ..............................92
Bảng 3. 2 Kết quả phân lớp của GHSSOMv1 ...............................................................93
Bảng 3. 3 Kết quả phân lớp của GHSSOMv2 ...............................................................94
Bảng 3. 4 Kết quả phân lớp Iris của GHSSOM và một số phương thức ......................97
Bảng 3. 5 Kết quả phân lớp của GHSSOM và một số phương thức cài đặt trong
WEKA ...........................................................................................................................97
Bảng 3. 6 Kết quả phân lớp của LibSVM .....................................................................98
Bảng 4. 1 So sánh các phương pháp phân cụm dữ liệu của SOM ..............................104
Bảng 4. 2 Kết quả thực nghiệm phân cụm của SOM-P và SOM-2 .............................117
Bảng 4. 3 So sánh SOM-P, SOM-2 với GWCA và một số phương thức khác ...........118
Bảng 4. 4 So sánh SOM-P, SOM-2 với GSOM và KGSOM ......................................119
Bảng 4. 5 So sánh SOM-P, SOM-2 với một số phương thức khác .............................119
Bảng 4. 6 So sánh tỉ lệ phân loại sai của SOM-P, SOM-2 với một số phương thức ..120

12

Danh mục các hình vẽ, đồ thị

Hình 1. 1 Minh họa kiến trúc mạng tự kết hợp .............................................................20
Hình 1. 2 Minh họa kiến trúc mạng kết hợp khác kiểu .................................................20
Hình 1. 3 Minh họa kiến trúc mạng truyền thẳng .........................................................21
Hình 1. 4 Minh họa kiến trúc mạng hồi quy 1 lớp ........................................................21
Hình 1. 5 Mô hình học có giám sát ...............................................................................22
Hình 1. 6 Minh họa cấu trúc SOM với lớp Kohonen 2 chiều .......................................26
Hình 1. 7 Minh họa cách xác định lân cận của BMU đối với lớp Kohonen 1 chiều ....27
Hình 1. 8 Minh họa cách xác định lân cận của BMU theo hình vuông (a) và hình lục
giác (b) đối với lớp Kohonen 2 chiều (thời điểm t1Hình 1. 9 Phân loại các biến thể của SOM ....................................................................36
Hình 2. 1 Minh họa mức độ tác động của mẫu vào đối với các nơron trong bán kính
lân cận của BMU tại lần huấn luyện thứ t. ....................................................................47
Hình 2. 2 Minh họa hàm hci(t) khi thay đổi giá trị q. ....................................................49
Hình 2. 3 Minh họa hàm hci(t) khi thay đổi giá trị p. ....................................................50
Hình 2. 4 Minh họa “phần tử khác biệt” của nơron i. ...................................................54
Hình 2. 5 Đồ họa biểu diễn sự phân bố dữ liệu của tập dữ liệu XOR ...........................61
Hình 2. 6 Đồ họa biểu diễn sự phân bố dữ liệu của Aggregation, Flame, Iris,
Pathbased, Spiral, Jain, Compound, R15, D31 .............................................................61
Hình 2. 7 Kết quả QE, TE của XOR khi thay đổi q và p ..............................................66
Hình 2. 8 Kết quả QE, TE của Aggregation khi thay đổi q và p ...................................66
Hình 2. 9 Kết quả QE, TE của Flame khi thay đổi q và p .............................................67
Hình 2. 10 Kết quả QE, TE của Pathbased khi thay đổi q và p.....................................67
Hình 2. 11 Kết quả QE, TE của Spiral khi thay đổi q và p ...........................................68
Hình 2. 12 Kết quả QE, TE của Jain khi thay đổi q và p ..............................................68
Hình 2. 13 Kết quả QE, TE của Compound khi thay đổi q và p ...................................69
Hình 2. 14 Kết quả QE, TE của R15 khi thay đổi q và p ..............................................69

Hình 2. 15 Kết quả QE, TE của D31 khi thay đổi q và p ..............................................70
Hình 2. 16 Kết quả QE, TE của Iris khi thay đổi q và p ...............................................70
Hình 2. 17 Kết quả QE, TE của Vowel khi thay đổi q và p ..........................................71
Hình 2. 18 Kết quả QE, TE của Zoo khi thay đổi q và p ..............................................71


13

Hình 3. 1 Minh họa cấu trúc mạng GHSOM ................................................................80
Hình 3. 2 Minh họa cấu trúc mạng HTS .......................................................................81
Hình 3. 3 Minh họa cấu trúc mạng CPN. ......................................................................82
Hình 3. 4 Minh họa cấu trúc một nút của GHSSOM. ...................................................84
Hình 3. 5 Minh họa cấu trúc mạng GHSSOM. .............................................................85
Hình 3. 6 Biểu đồ so sánh kết quả phân lớp của GHSSOMv1 và GHSSOMv2. ..........95
Hình 3. 7 So sánh GHSSOM với SSGSOM, CS2GS và một số phương thức khác .....96
Hình 3. 8 So sánh kết quả phân lớp bán giám sát của GHSSOM và LibSVM ...........100
Hình 4. 1 Minh họa cách thức sử dụng SOM cho phân cụm dữ liệu ..........................105
Hình 4. 2 Minh họa các nguyên tắc phân ly và tranh chấp .........................................108
Hình 4. 3 Minh họa kết quả phân nhóm bằng SOM-P ................................................111
Hình 4. 4 Minh họa cấu trúc mạng SOM-2 .................................................................112

Danh mục các định nghĩa, định lý, bổ đề
Bổ đề .............................................................................................................................. 53
Định nghĩa .................................................................................................................... 53
Định lý .......................................................................................................................... 54
Hệ quả ........................................................................................................................... 56

Danh mục các thuật toán
Thuật toán SOM ............................................................................................................ 26
Thuật toán IMQS .......................................................................................................... 57

Thuật toán Batch-IMQS ............................................................................................... 59
Thuật toán GHSSOM ................................................................................................... 88
Thuật toán SOM-P ...................................................................................................... 109
Thuật toán SOM-2 ...................................................................................................... 115


14

MỞ ĐẦU

Mạng nơron bản đồ tự tổ chức (SOM - Self Organizing Map) được đề xuất bởi giáo
sư Teuvo Kohonen vào năm 1980. Nó còn được biết đến với các tên gọi khác là: Bản
đồ đặc trưng tự tổ chức (SOFM - Self Organizing Feature Map) hay mạng nơron tự tổ
chức, hay đơn giản hơn là mạng nơron Kohonen.
Tính tự tổ chức của SOM được thực hiện bởi nguyên tắc học cạnh tranh, không giám
sát nhằm tạo ra ánh xạ của dữ liệu từ không gian nhiều chiều về không gian ít chiều hơn
(thường là hai chiều), nhưng vẫn đảm bảo được quan hệ về mặt hình trạng của dữ liệu
(Kohonen, 2001). Điều này có nghĩa là các dữ liệu có đặc trưng tương đồng nhau sẽ
được đại diện bởi cùng một nơron hoặc các nơron gần nhau và các nơron gần nhau sẽ
tương đồng với nhau hơn so với những nơron ở xa. Kết quả là hình thành bản đồ đặc
trưng của tập dữ liệu. Đây thực chất là một phép chiếu phi tuyến tạo ra “ánh xạ đặc
trưng” cho phép phát hiện và phân tích những đặc trưng của không gian dữ liệu vào. Do
đó, SOM là một công cụ hiệu quả cho việc trực quan, phân tích dữ liệu và hữu ích để
thực hiện các nhiệm vụ tiền xử lý trong khai phá dữ liệu (ví dụ như phân lớp và phân
cụm dữ liệu).
Tuy nhiên, bản thân mạng nơron SOM vẫn còn tồn tại nhiều nhược điểm dẫn tới
những khó khăn và khả năng ứng dụng thực tiễn bị hạn chế như: phải xác định trước
hình trạng (số chiều và kết nối giữa các nơron trong cấu trúc mạng) và kích thước bản
đồ; bản đồ đặc trưng thiếu tính trực quan; thiếu cơ chế phân loại chính xác dữ liệu theo
các tiêu chí cụ thể; tốn thời gian để xác định nơron chiến thắng (BMU), đặc biệt khi bản

đồ đặc trưng có kích thước lớn; thứ tự của các mẫu vào ảnh hưởng tới xu hướng biến
đổi của bản đồ; thiếu cơ chế giám sát trong quá trình học để nâng cao chất lượng của
mạng khi giải quyết các các bài toán mà dữ liệu đầu vào có thông tin hướng dẫn (đầu
ra) kèm theo...
Do vậy, các nghiên cứu về cải tiến cấu trúc và thuật toán học của mạng nơron SOM
đã được nhiều nhà nghiên cứu quan tâm. Các nghiên cứu cải tiến mạng nơron SOM


15
được chia làm hai hướng chính, gồm: cải tiến cấu trúc và cải tiến thuật toán học của
mạng.
Các nghiên cứu về cải tiến cấu trúc của mạng có thể được chia làm hai nhóm:
Nhóm thứ nhất gồm các cấu trúc cải tiến tăng trưởng theo chiều ngang. Các cấu trúc
này có đặc điểm chung là ban đầu mạng có kích thước nhỏ, sau đó mở rộng trong quá
trình huấn luyện tùy thuộc vào đặc tính của tập dữ liệu huấn luyện. Các cấu trúc điển
hình thuộc nhóm này gồm: Growing Cell Structure (Fritzke, 1992), Neural Gas (1993)
và Topology Representing Network (Martinetz, 1994), Growing Neural Gas và Growing
Grid (Fritzke, 1995), Incremental Grid Growing (Blackmore, 1995), Growing SOM
(Alahakoon, 2000)...
Nhóm thứ hai gồm các cấu trúc cải tiến tăng trưởng theo chiều dọc, còn gọi là cấu
trúc cây (với mỗi nút của cây là một nơron) hoặc cấu trúc cây phân tầng (với mỗi nút
của cây là một mạng nơron SOM hoặc một biến thể của SOM). Các cấu trúc cây có thể
cố định trước kích thước, nhưng cũng có thể tăng trưởng kích thước trong quá trình huấn
luyện, do đó, còn được gọi là cấu trúc cây tăng trưởng. Các cấu trúc điển hình thuộc
nhóm này gồm: Tree-Structured VQ và Tree-Structured SOM (Koikkalainen, 1990),
Hierarchical Feature Map (Miikkulainen, 1990), Self-Organizing Tree Algorithm
(Dopazo, 1997), Growing Hierarchical SOM (Rauber, 2002), Adaptive Hierarchical
Incremental Grid Growing (Merkl, 2003), Evolving Tree (Pakkanen, 2004), Self
Organising Tree Map (Guan, 2006), Growing Hierarchical Tree SOM (Forti, 2006),
TTOSOM with Conditional Rotations (2009) và Tree-Based Topology-Oriented SOM

(Astudillo, 2011)... Các cấu trúc cây được đưa ra chủ yếu nhằm mục đích biểu diễn tính
chất phân cấp của dữ liệu.
Các cải tiến về thuật toán học của mạng có thể chia làm hai nhóm chính: các thuật
toán học cải tiến sử dụng phương pháp học không giám sát và các thuật toán học cải tiến
sử dụng phương pháp học giám sát hoặc bán giám sát. Nhóm thứ hai hình thành các biến
thể với tên gọi chung là các mạng nơron SOM học giám sát hoặc bán giám sát. Các ví
dụ điển hình của nhóm này gồm: Supervised Kohonen Network (Kohonen, 1988),
Counter Propagation Network (Zupan, 1997), Recurrent Self-Organizing Map (Varsta,
2001), Supervising Network Self-Organizing Map (Papadimitriou, 2001), X–Y Fused


16
Network và Bi-Directional Kohonen network (Melssen, 2006), Semi-Supervised GSOM
(Allahyar, 2015)... và một số nghiên cứu liên quan khác của Thammano (2007),
Lawawirojwong (2013), Groof (2014), Gil (2015), Li (2013), Abaei (2015).
Trên cơ sở nghiên cứu về mạng nơron SOM gốc và các biến thể của SOM về cấu
trúc và phương pháp học, có một số vấn đề tồn tại cần tiếp tục nghiên cứu phát triển như
sau:
Thứ nhất, đề xuất các phương thức cải thiện chất lượng bản đồ đặc trưng khác so với
các phương thức đã có trước đây; nghiên cứu cải thiện chất lượng biểu diễn dữ liệu của
các mạng nơron SOM cải tiến. Đây là một hướng nghiên cứu mở do hiện nay các nghiên
cứu cải thiện chất lượng các mạng nơron SOM cải tiến chưa có nhiều.
Thứ hai, cả SOM gốc và hầu hết các biến thể của SOM chủ yếu được thiết kế cho
mục tiêu biểu diễn dữ liệu (biểu diễn sự phân bố hoặc sự phân cấp của dữ liệu) nên khi
ứng dụng SOM cho các mục đích khác cần nghiên cứu các phương án cải tiến phù hợp.
Ví dụ, mạng nơron SOM chưa có phương án phân loại dữ liệu chính xác, do đó khả năng
ứng dụng SOM để giải quyết các vấn đề của khai phá dữ liệu (ví dụ như phân lớp và
phân cụm) còn hạn chế.
Thứ ba: do sử dụng phương pháp học không giám sát nên quá trình học của SOM
thiếu thông tin hướng dẫn để nâng cao hiệu quả ứng dụng trong một số bài toán thực tế,

ví dụ như bài toán phân lớp dữ liệu.
Các tồn tại trên là lý do lựa chọn và đưa ra các mục tiêu nghiên cứu của đề tài luận
án. Mục tiêu nghiên cứu của đề tài luận án gồm:
1. Đề xuất một số giải pháp cải thiện chất lượng bản đồ đặc trưng mạng nơron SOM.
2. Cải tiến cấu trúc, thuật toán học mạng nơron SOM ứng dụng cho bài toán phân
lớp, phân cụm dữ liệu.
Các nội dung nghiên cứu này được thực nghiệm trong phạm vi dữ liệu dạng vector
thuộc tính số thực; không áp dụng với các loại dữ liệu khác.
Để đánh giá các kết quả nghiên cứu đạt được, nghiên cứu sinh cài đặt chương trình
thử nghiệm bằng ngôn ngữ lập trình C# và tiến hành thực nghiệm trên các tập dữ liệu


17
đã được công bố sử dụng máy tính máy tính cá nhân (Chipset Core i5 - 1.7GHz, RAM
6GB).
Các công trình đã công bố liên quan nhất đến luận án gồm:
-

02 bài báo công bố trên tạp chí Tạp chí Tin học và Điều khiển học [4A], [6A].

-

02 bài báo công bố trên tạp chí quốc tế (có chỉ số ESCI) [7A], [8A].

-

01 bài báo công bố trên Tạp chí KH&CN - Đại học Thái Nguyên [3A].

-

01 báo cáo công bố trong Kỷ yếu Hội thảo quốc tế ICCASA 2012, xuất bản bởi
Springer [2A].

-

03 báo cáo công bố trong Kỷ yếu Hội thảo quốc gia Fair 2013 [1A] và Fair 2014
[5A], VCM 2016 [9A].

Nội dung của luận án bao gồm 4 chương. Chương đầu trình bày nghiên cứu tổng
quan về nội dung của đề tài. Các chương còn lại trình bày các đóng góp của luận án. Nội
dung của từng chương có thể tóm tắt như sau:
Chương 1 trình bày nghiên cứu tổng quan về mạng nơron nhân tạo, mạng nơron
SOM; đồng thời xem xét bối cảnh chung về lịch sử và xu hướng phát triển của mạng
nơron nhân tạo trong những năm gần đây.
Các nghiên cứu tổng quan của Chương 1 tập trung phân tích các hạn chế và biện
pháp khắc phục các hạn chế của SOM. Ngoài ra, tổng hợp và phân tích các hướng nghiên
cứu cải tiến SOM, từ đó chỉ ra đặc điểm chung của các cách thức cải tiến SOM đã được
các nhà nghiên cứu thực hiện.
Chương 2 trình bày các nghiên cứu liên quan đến vấn đề đánh giá và cải thiện chất
lượng bản đồ đặc trưng của mạng nơron SOM từ đó đưa ra hai đề xuất, gồm:
Thứ nhất, đưa ra tham số điều chỉnh của hàm lân cận đối xứng dạng mũ. Tham số
điều chỉnh được xác định riêng cho mỗi tập dữ liệu, cho phép giảm đồng thời cả lỗi
lượng tử và lỗi hình trạng của mạng. Các lý luận và phân tích của phương thức đề xuất
được chứng minh bằng thực nghiệm.
Thứ hai, đưa ra thuật toán điều chỉnh trọng số nơron để giảm lỗi lượng tử của mạng.
Thuât toán đề xuất điều chỉnh trọng số nơron sau khi thuật toán huấn luyện kết thúc.
Điều này cho phép giảm lỗi lượng tử của mọi bản đồ mà không quan tâm đến các tham


18

số cấu hình mạng, cũng như không gia tăng thêm các tham số khác. Nội dung của đề
xuất gồm một định nghĩa, một định lý, một hệ quả và một thuật toán.
Tiếp theo trình bày kết quả thực nghiệm của các đề xuất và so sánh với một số
phương thức liên quan.
Chương 3 trình bày các nghiên cứu liên quan đến cải tiến SOM học giám sát hoặc
bán giám sát nói chung và áp dụng cho bài toán phân lớp nói riêng, từ đó đề xuất một
cấu trúc SOM phân tầng tăng trưởng và thuật toán học bán giám sát cho mục đích phân
lớp dữ liệu. Mô hình đề xuất có thể hoạt động như một mô hình phân lớp truyền thống
(100% dữ liệu huấn luyện có gán nhãn) hoặc mô hình phân lớp bán giám sát.
Tiếp theo trình bày các thực nghiệm kiểm chứng khả năng phân lớp của GHSSOM,
đồng thời so sánh với một số phương thức phân lớp khác.
Chương 4 trình bày các nghiên cứu liên quan đến việc cải tiến SOM áp dụng cho
bài toán phân cụm dữ liệu, từ đó đưa ra hai đề xuất cải tiến cấu trúc và thuật toán học
SOM ứng dụng cho bài toán phân cụm dữ liệu, gồm:
Thứ nhất, cải tiến thuật toán học của SOM kết hợp hai mục tiêu huấn luyện mạng
và phân nhóm nơron.
Thứ hai, đưa ra một cấu trúc SOM mở rộng hai lớp và thuật toán huấn luyện tương
ứng cho mục đích phân cụm dữ liệu, trong đó lớp thứ hai đóng vai trò phân nhóm các
nơron thuộc lớp thứ nhất.
Tiếp theo trình bày kết quả thực nghiệm của các phương thức đề xuất và so sánh kết
quả với một số phương thức phân cụm khác.


19

CHƯƠNG 1
TỔNG QUAN VỀ CÁC MÔ HÌNH MẠNG NƠRON TỰ TỔ CHỨC

Chương này trình bày nghiên cứu tổng quan của luận án, gồm bốn nội dung chính:
Thứ nhất, nghiên cứu tổng quan về mạng nơron nhân tạo: kiến trúc, thuật học và xu

hướng phát triển.
Thứ hai, nghiên cứu tổng quan về mạng nơron tự tổ chức: cấu trúc, thuật toán huấn
luyện, phân tích các hạn chế của mạng nơron tự tổ chức và biện pháp khắc phục các hạn
chế.
Thứ ba, tổng hợp các nghiên cứu trong và ngoài nước về cải tiến cấu trúc, thuật toán
học của mạng nơron tự tổ chức.
Cuối cùng, phân tích đặc điểm chung của các phương thức cải tiến mạng nơron tự tổ
chức.

1.1. Tổng quan về mạng nơron nhân tạo
1.1.1. Khái niệm mạng nơron nhân tạo
Mạng nơron nhân tạo (ANN) là một mô hình tính toán dựa trên sự kết hợp các nơron
trong một kiến trúc thống nhất, trong đó các nơron cùng hoạt động song song. ANN là
một ánh xạ F: X → Y, trong đó X là không gian trạng thái đầu vào và Y là không gian
trạng thái đầu ra. Mạng có nhiệm vụ ánh xạ các vector đầu vào x ∈ X sang các vector
đầu ra y ∈ Y thông qua “bộ lọc” (filter) (còn được gọi là hệ cơ sở tri thức), tức là
y=F(x)=s(W, x), trong đó W là ma trận trọng số liên kết, s là hàm tương tác đầu ra.
Dựa theo mạng nơron sinh học, ANN được tạo ra từ một lượng lớn các phần tử xử
lý (gọi là nơron1) kết nối với nhau thông qua các liên kết (gọi là trọng số liên kết) làm
việc như một thể thống nhất để giải quyết một vấn đề cụ thể nào đó.

1

Mô hình tính toán cho một nơron nhân tạo được đưa ra bởi McCulloch và Pitts (1943).


20
1.1.2. Các kiến trúc căn bản của mạng nơron nhân tạo
Có nhiều quan điểm khác nhau trong việc phân loại kiến trúc mạng nơron
(Wilamowski, 2003). Tuy nhiên xét về mặt tổng quát, người ta chia ra làm hai loại kiến

trúc mạng chính:
-

Tự kết hợp (Autoassociative): là mạng có các nơron đầu vào cũng là các nơron đầu
ra. Các mạng Hopfield, BAM là thuộc kiểu mạng tự kết hợp.

Hình 1. 1 Minh họa kiến trúc mạng tự kết hợp
-

Kết hợp khác kiểu (Heteroassociative): là mạng có tập nơron đầu vào và đầu ra
riêng biệt. Các mạng Perceptron, Kohonen,… thuộc loại này.

Hình 1. 2 Minh họa kiến trúc mạng kết hợp khác kiểu
Căn cứ vào việc có hay không các kết kết nối ngược trong mạng, có thể chia ra làm
hai loại kiến trúc mạng chính là (Jain, 1996): kiến trúc truyền thẳng và kiến trúc phản
hồi.
-

Kiến trúc truyền thẳng (Feedforward): tín hiệu di chuyển theo một đường duy nhất
từ đầu vào tới đầu ra và không có các kết nối ngược trở lại từ các nơron đầu ra về
các nơron đầu vào. Mạng không lưu lại các giá trị output trước và các trạng thái
kích hoạt của nơron. Đầu ra của một tầng bất kì sẽ không ảnh hưởng tới tầng đó.


21

a. Mạng truyền thẳng 1 lớp

b. Mạng truyền thẳng nhiều lớp

Hình 1. 3 Minh họa kiến trúc mạng truyền thẳng
-

Kiến trúc phản hồi (Feedback): có các kết nối từ nơron đầu ra tới nơron đầu vào,
tức là đầu ra của một nơron có thể trở thành đầu vào của nơron trên cùng một lớp
hoặc của lớp trước đó. Mạng lưu lại các trạng thái trước đó và trạng thái tiếp theo
không chỉ phụ thuộc vào các tín hiệu đầu vào mà còn phụ thuộc vào các trạng thái
trước đó của mạng. Trong trường hợp mạng Feedback có chu trình khép kín còn
gọi là mạng hồi quy (Recurrent).

Hình 1. 4 Minh họa kiến trúc mạng hồi quy 1 lớp
1.1.3. Các phương pháp học
Đối với mạng nơron nhân tạo, quá trình học nhằm 2 mục tiêu chính đó là học tham
số (Parameter Learning) và học cấu trúc (Structure Learning). Học tham số là thay đổi
trọng số của các liên kết giữa các nơron. Học cấu trúc là điều chỉnh cấu trúc của mạng,
gồm thay đổi số lớp, số nơron trong mỗi lớp và cách liên kết giữa chúng. Cả hai mục
tiêu này có thể được thực hiện đồng thời hoặc tách biệt.


22
Có ba phương pháp học tham số phổ biến của mạng nơron gồm: học có giám sát
(Supervised Learning), học không giám sát (Unsupervised Learning) và học bán giám
sát (Semi-Supervised Learning).
-

Học có giám sát: phương pháp học này còn được gọi là học có “thầy”. Mạng được
huấn luyện bằng các cặp mẫu đầu vào và các đầu ra mong muốn. Tập mẫu huấn
luyện được cho dưới dạng V   x, d  | x  R n , d  R k  , trong đó x là vector đầu vào,
d là vector đầu ra mong muốn hoặc nhãn của dữ liệu. Quá trình học của mạng
nhằm xấp xỉ hàm d=f(x), biểu diễn mỗi quan hệ trên tập mẫu huấn luyện (x,d)

(Hình 1.5).
Một dạng mở rộng của học có giám sát là học tăng cường hay học củng cố
(Reinforcement Learning). Mạng vẫn nhận một số tín hiệu phản hồi (củng cố) từ
bên ngoài, nhưng các tín hiệu này chỉ mang tính chất đánh giá mức độ tốt hay xấu
của đầu ra thực tế hơn là tính chất chỉ dẫn. Những tín hiệu củng cố sau đó được xử
lý để tạo ra tín hiệu đánh giá, dùng để điều chỉnh các trọng số nhằm đạt được tín
hiệu đánh giá tốt hơn. Học củng cố đôi khi còn gọi là học thưởng-phạt (RewardPenalty Learning), tức là nếu kết quả đầu ra được cho là “tốt” mạng sẽ được thưởng
theo nghĩa tăng trọng số kết nối, ngược lại, mạng sẽ bị phạt theo nghĩa các trọng
số kết nối không thích hợp sẽ được giảm xuống.

Hình 1. 5 Mô hình học có giám sát
-

Học không giám sát: phương pháp học này còn gọi là học không có “thầy”, tức là
mỗi mẫu dữ liệu huấn luyện đầu vào, không có mẫu đầu ra d mong muốn. Trong
trường hợp này, mạng tự khám phá các đặc trưng, các mối tương quan,... của dữ
liệu vào một cách tự động, từ đó điều chỉnh các tham số của mạng. Quá trình này
được gọi là tự tổ chức. Ví dụ điển hình của học không giám sát là dựa vào tiêu


23
chuẩn đánh giá độ tương tự giữa các mẫu để hình thành một số lượng chưa biết
trước các lớp (nhóm) khác nhau.
-

Học bán giám sát: phương pháp học này là sự kết hợp của cả hai phương pháp học
có học giám sát và học không giám sát. Mạng được huấn luyện với cả hai loại mẫu
dữ liệu gồm: mẫu dữ liệu đã kèm theo đầu ra mong muốn d (hay dữ liệu đã được
gán nhãn) và mẫu dữ liệu không kèm theo đầu ra mong muốn d (hay dữ liệu chưa
được gán nhãn). Thông thường số lượng các mẫu huấn luyện đã kèm đầu ra mong

muốn sẽ ít hơn số lượng các mẫu dữ liệu không kèm theo đầu ra mong muốn.

1.1.4. Lịch sử và xu hướng phát triển mạng nơron nhân tạo
Các nguyên tắc căn bản của mạng nơron nhân tạo được đưa ra lần đầu tiên bởi
McCulloch và Pitts từ năm 1943.
Cho tới những năm 1980s, quá trình phát triển của ANN đã trải qua nhiều giai đoạn
thăng trầm, nguyên nhân chủ yếu là do các hạn chế về công nghệ máy tính. Mặc dù vậy,
các phát kiến đánh dấu những bước thay đổi quan trọng của ANN phải kể đến bao gồm:
mạng Perceptron 1 lớp vào và 1 lớp ra (Rosenblatt, 1958), mạng Perceptron đa lớp
(Minsky, 1969), bản đồ tự tổ chức SOM (Self-Organizing Map) (Kohonen, 1980), mạng
phản hồi Hopfield (Hopfield, 1982) và mạng truyền thẳng thuật toán lan truyền ngược
Back Propagation (Hinton, 1986). Đặc điểm chung của các loại mạng này được chỉ ra
trong Bảng 1.1
Bảng 1. 1 So sánh một số mạng nơron ra đời trước năm 1990
Perceptron

Multi-Layer
SOM
Perceptron
M. Minsky T. Kohonen,
và S. Papert,
1980
1969

Tác giả,
năm đề
xuất

F.
Rosenblatt,

1958

Phân
loại

Truyền
thẳng

Truyền
thẳng

Số lớp

1 lớp vào
1 lớp ra

1 lớp vào
1 hoặc nhiều
lớp ẩn
1 lớp ra

Truyền
thẳng,
Phản hồi
1 lớp

Hopfield
J.J.
Hopfield,
1982

Phản hồi
1 lớp

Back
Propagation
G.E. Hinton, E.
Rumelhart và
R.J. Williams,
1986
Truyền thẳng
1 lớp vào
1 hoặc nhiều
lớp ẩn
1 lớp ra


24
Hàm
chuyển

Hard
Limiter

Phương
pháp
học
Thuật
toán học

Có giám sát

Ứng
dụng
chủ yếu

Các phép
toán logic
đơn giản;
Phân lớp
mẫu

“Hebb
Learning
Rule”

Hard
Limiter
Sigmoid
Có giám sát
“Delta
Learning
Rule”
“Back
Propagation
”
Các phép
toán logic
phức tạp;
Phân lớp
mẫu

Sigmoid
Không giám
sát

Signum
Hard
Limiter
Không
giám sát

Sigmoid
Có giám sát

“Self
Organizatio
n”

“Delta
Learning
Rule”
“Simulated
Annealing”

“Back
Propagation”

Phân loại
mẫu; Bài
toán tối ưu;

Trực quan
dữ liệu

Liên kết
mẫu; Bài
toán tối ưu

Các phép toán
logic phức tạp;
Phân lớp mẫu;
Phân tích tiếng
nói

Trong các mạng nơron trên, SOM được coi là mạng hữu ích cho mô phỏng quá trình
học của não người. Không giống các mạng nơron khác chỉ quan tâm đến giá trị và dấu
hiệu của thông tin đầu vào, nó có khả năng khai thác các mối liên hệ có tính cấu trúc
trong không gian dữ liệu thông qua một bản đồ đặc trưng. Bản đồ đặc trưng gồm các
nơron tự tổ chức theo các giá trị đầu vào nhất định; do đó nó có thể được huấn luyện để
tìm ra các quy luật và sự tương quan giữa các giá trị đầu vào, từ đó dự đoán các kết quả
tiếp theo. Trong giai đoạn này, các nhà nghiên cứu cho rằng, nếu một hệ thống mô phỏng
quá trình học của não người được thực hiện thì bản đồ đặc trưng của SOM sẽ đóng vai
trò như là trái tim của hệ thống.
Từ những năm 1990 đến khoảng 2009, cùng với sự phát triển của phần cứng máy
tính, các nghiên cứu về mạng nơron đã hồi sinh sau một giai đoạn chìm lắng, điển hình
là sự phát triển mạng nơron tự tổ chức SOM, với các cấu trúc tăng trưởng nhiều tầng
nhằm tối ưu tính toán (Astudillo, 2014). Giai đoạn này giống như sự chuẩn bị cho sự
phát triển bùng nổ của công nghệ học sâu. Học sâu được gọi là công nghệ vì bản chất
của các mô hình tính toán không mới mà phát triển các mô hình đã có để thực hiện trên
các hệ thống máy tính có cấu hình mạnh. Điển hình của giai đoạn này là mạng huấn
luyện trước, không giám sát được đề xuất bởi Geoffrey Hilton đã giành chiến thắng

trong cuộc thi quốc tế về nhận dạng ký tự viết tay năm 2009.


25
ANN đã thực sự trở lại thời kỳ hoàng kim từ năm 2012 đến nay, với sự góp mặt của
hãng Google và nhiều nhà nghiên cứu. Mạng nơron với cấu trúc truyền thẳng nhiều lớp
phức tạp sử dụng phương pháp học sâu “Deep Learning” (Schulz, 2012) đã ra đời, được
gọi là mạng nơron học sâu. Hiện nay, các mạng nơron học sâu thực chất là sự kết hợp
của các ý tưởng trước đây, bao gồm:
-

Tăng độ sâu (số tầng) và độ rộng (số nút trong mỗi tầng) của cấu trúc mạng hơn
nhiều lần so với trước đây nhằm khai thác khả năng tính toán của các máy tính
hiện đại.

-

Các mạng nơron tự tổ chức, cạnh tranh theo nguyên tắc “Winner-Take-All” tốt
hơn các mạng với cấu trúc nút độc lập (Srivastava, 2013), sử dụng các mạng
nơron hồi quy sâu (nhiều lớp) tốt hơn các mạng truyền thẳng (Sutskever, 2013).

-

Tri thức cần được khám phá và truyền lại qua nhiều thế hệ, mỗi thế hệ sau tiếp
nhận tri thức của thế hệ trước và tiếp tục bổ sung những tri thức mới (Bengio,
2013).

-

Các mô hình học không giám sát đóng vai trò quan trọng trong việc khám phá tri

thức mới, các mô hình học có giám sát đóng vai trò cải thiện chất lượng tri thức.
Do đó cần có sự kết hợp giữa các phương pháp học này.

-

Sử dụng các máy tính cấu hình mạnh hoặc thậm chí chế tạo các phần cứng dành
riêng cho mạng nơron.

Như vậy có thể thấy rằng tư tưởng chủ đạo của SOM với cấu trúc mạng tự tổ chức,
sử dụng phương thức học cạnh tranh, không giám sát đã thực sự trở thành nền tảng quan
trọng trong xu hướng phát triển các mạng nơron hiện nay.

1.2. Mạng nơron tự tổ chức
1.2.1. Cấu trúc mạng nơron tự tổ chức
Mạng nơron SOM có cấu trúc đơn lớp (Kohonen, 2001), gồm: các tín hiệu vào và
lớp ra (được gọi là lớp Kohonen), trong đó, tất cả các đầu vào được kết nối đầy đủ với
mọi nơron trên lớp ra Kohonen (Hình 1.6). Kiến trúc mạng của SOM thuộc đồng thời
cả hai nhóm mạng truyền thẳng và mạng phản hồi, do dữ liệu được truyền từ đầu vào
tới đầu ra đồng thời có sự ảnh hưởng giữa các nơron trong lớp Kohonen.


26
b
a

Hình 1. 6 Minh họa cấu trúc SOM với lớp Kohonen 2 chiều
Lớp Kohonen thường được tổ chức dưới dạng một ma trận 2 chiều, gồm s=ab
nơron được tổ chức dạng lưới hình chữ nhật hoặc hình lục giác. Mỗi đơn vị thứ i (nơron)
trong lớp Kohonen được gắn một vector trọng số wi= [wi1, wi2, …,win], với n là kích
thước (số chiều) vector đầu vào; wij là trọng số của nơron thứ i ứng với đầu vào thứ j.

1.2.2. Thuật toán học của mạng nơron tự tổ chức
Mạng được huấn luyện bằng thuật toán học cạnh tranh, không giám sát, hay còn
được gọi là thuật toán tự tổ chức (thuật toán SOM hay thuật toán học của SOM).
Thuật toán SOM (Kohonen, 2001) gồm 4 bước:
Bước 1: Khởi tạo
-

Kích thước mạng (là kích thước lớp Kohonen)

-

Vector trọng số của các nơron: khởi tạo giá trị ngẫu nhiên.

-

Bán kính lân cận khởi tạo ( N 0 hay Nc(t) với t=0): nên khởi tạo đủ lớn để phủ kín
toàn bộ bản đồ (bán kính lân cận xác định phạm vi tác động của mẫu đầu vào đối
với các nơron tính từ vị trí của nơron chiến thắng, bán kính lân cận giảm dần theo
số lần huấn luyện).

-

Tỉ lệ học khởi tạo ( L0 ): nên khởi tạo bằng giá trị tối đa là 1 (tỉ lệ học là hệ số xác
định mức độ tác động của mẫu đầu vào đối với mạng, tỉ lệ học giảm dần theo số
lần huấn luyện).