Tóm tắt Luận án Tiến sĩ Toán học: Phát triển các cấu trúc, thuật học của mạng nơron tự tổ chức

BỘ GIÁO DỤC VÀ ĐÀO TẠO

VIỆN HÀN LÂM
KHOA HỌC VÀ CÔNG NGHỆ VN

HỌC VIỆN KHOA HỌC VÀ CÔNG NGHỆ

Lê Anh Tú

PHÁT TRIỂN CÁC CẤU TRÚC, THUẬT HỌC CỦA MẠNG
NƠRON TỰ TỔ CHỨC

Chuyên ngành: Cơ sở toán học cho tin học
Mã số:

62 46 01 10

TĨM TẮT LUẬN ÁN TIẾN SĨ TỐN HỌC

Hà Nội - 2016


Cơng trình được hồn thành tại: Học viện Khoa học và Công nghệ - Viện Hàn
lâm Khoa học và Công nghệ Việt Nam

Người hướng dẫn khoa học: PGS.TS. NGUYỄN QUANG HOAN

Phản biện 1: .................................................................................................
.....................................................................................................................
Phản biện 2: .................................................................................................
.....................................................................................................................

Phản biện 3: .................................................................................................
.....................................................................................................................

Luận án được bảo vệ trước Hội đồng chấm luận án cấp Học viện
họp tại: .........................................................................................................
.....................................................................................................................

Vào hồi

giờ

ngày

tháng

năm

Có thể tìm hiểu luận án tại thư viện: ...........................................................


1
MỞ ĐẦU
Mạng nơron bản đồ tự tổ chức (SOM - Self Organizing Map) được đề xuất bởi giáo sư Teuvo
Kohonen vào năm 1980. Nó cịn được biết đến với các tên gọi khác là: Bản đồ đặc trưng tự tổ chức
(SOFM - Self Organizing Feature Map) hay mạng nơron tự tổ chức, hay đơn giản hơn là mạng nơron
Kohonen.
Điểm mạnh của SOM là khả năng khai thác các mối liên hệ có tính cấu trúc trong khơng gian dữ
liệu thơng qua một bản đồ đặc trưng, nên nó có thể được phát triển để giải quyết nhiều bài toán thực
tiễn hiện nay. Tuy nhiên, bản thân mạng nơron SOM vẫn cịn tồn tại nhiều nhược điểm dẫn tới những
khó khăn và khả năng ứng dụng thực tiễn bị hạn chế. Do vậy, các nghiên cứu về cải tiến cấu trúc và

thuật toán học của mạng nơron SOM đã được nhiều nhà nghiên cứu quan tâm. Các nghiên cứu cải
tiến mạng nơron SOM được chia làm hai hướng chính, gồm: cải tiến cấu trúc và cải tiến thuật toán
học của mạng.
Các nghiên cứu về cải tiến cấu trúc của mạng có thể được chia làm hai nhóm:
Nhóm thứ nhất gồm các cấu trúc cải tiến tăng trưởng theo chiều ngang. Các cấu trúc này có đặc
điểm chung là ban đầu mạng có kích thước nhỏ, sau đó mở rộng trong q trình huấn luyện tùy thuộc
vào đặc tính của tập dữ liệu huấn luyện.
Nhóm thứ hai gồm các cấu trúc cải tiến tăng trưởng theo chiều dọc, còn gọi là cấu trúc cây (với
mỗi nút của cây là một nơron) hoặc cấu trúc cây phân tầng (với mỗi nút của cây là một mạng nơron
SOM hoặc một biến thể của SOM). Các cấu trúc cây có thể cố định trước kích thước, nhưng cũng có
thể tăng trưởng kích thước trong q trình huấn luyện, do đó, cịn được gọi là cấu trúc cây tăng trưởng.
Các cấu trúc cây được đưa ra chủ yếu nhằm mục đích biểu diễn tính chất phân cấp của dữ liệu.
Các cải tiến về thuật toán học của mạng có thể chia làm hai nhóm chính: các thuật tốn học cải
tiến sử dụng phương pháp học khơng giám sát và các thuật toán học cải tiến sử dụng phương pháp
học giám sát hoặc bán giám sát. Nhóm thứ hai hình thành các biến thể với tên gọi chung là các mạng
nơron SOM giám sát hoặc bán giám sát.
Trên cơ sở nghiên cứu về mạng nơron SOM gốc và các biến thể của SOM về cấu trúc và phương
pháp học, có một số vấn đề tồn tại cần tiếp tục nghiên cứu phát triển như sau:
Thứ nhất, đề xuất các phương thức cải thiện chất lượng bản đồ đặc trưng khác so với các phương
thức đã có trước đây; nghiên cứu cải thiện chất lượng biểu diễn dữ liệu của các mạng nơron SOM cải
tiến. Đây là một hướng nghiên cứu mở do hiện nay các nghiên cứu cải thiện chất lượng các mạng
nơron SOM cải tiến chưa có nhiều.
Thứ hai, cả SOM gốc và hầu hết các biến thể của SOM chủ yếu được thiết kế cho mục tiêu biểu
diễn dữ liệu (biểu diễn sự phân bố hoặc sự phân cấp của dữ liệu) nên khi ứng dụng SOM cho các mục
đích khác cần nghiên cứu các phương án cải tiến phù hợp. Ví dụ, mạng nơron SOM chưa có phương
án phân loại dữ liệu chính xác, do đó khả năng ứng dụng SOM để giải quyết các vấn đề của khai phá
dữ liệu (ví dụ như phân lớp và phân cụm) còn hạn chế.
Thứ ba: do sử dụng phương pháp học không giám sát nên quá trình học của SOM thiếu thơng tin
hướng dẫn để nâng cao hiệu quả ứng dụng trong một số bài toán thực tế, ví dụ như bài tốn phân lớp
dữ liệu.

Các tồn tại trên là lý do lựa chọn và đưa ra các mục tiêu nghiên cứu của đề tài luận án. Mục tiêu
nghiên cứu của đề tài luận án gồm:
1. Đề xuất một số giải pháp cải thiện chất lượng bản đồ đặc trưng mạng nơron SOM.
2. Cải tiến cấu trúc, thuật toán học mạng nơron SOM ứng dụng cho bài toán phân lớp, phân cụm
dữ liệu.
Các nội dung nghiên cứu này được thực nghiệm trong phạm vi dữ liệu dạng vector thuộc tính số
thực; khơng áp dụng với các loại dữ liệu khác. Chương trình thực nghiệm được cài đặt bằng ngôn


2
ngữ lập trình C# và tiến hành thực nghiệm trên các tập dữ liệu đã được công bố sử dụng máy tính
máy tính cá nhân (Chipset Core i5 - 1.7GHz, RAM 6GB).
Nội dung của luận án bao gồm 4 chương. Chương đầu trình bày nghiên cứu tổng quan về nội
dung của đề tài. Các chương cịn lại trình bày các đóng góp của luận án. Nội dung của từng chương
có thể tóm tắt như sau:
Chương 1 trình bày nghiên cứu tổng quan về mạng nơron nhân tạo, mạng nơron SOM; tập trung
phân tích các hạn chế và biện pháp khắc phục các hạn chế của SOM trên cơ sở nghiên cứu các biến
thể được cải tiến từ SOM.
Chương 2 trình bày các nghiên cứu liên quan đến vấn đề đánh giá và cải thiện chất lượng bản
đồ đặc trưng của mạng nơron SOM từ đó đưa ra hai đề xuất, gồm: Thứ nhất, đưa ra tham số điều
chỉnh của hàm lân cận đối xứng dạng mũ. Tham số điều chỉnh được xác định riêng cho mỗi tập dữ
liệu, cho phép giảm đồng thời cả lỗi lượng tử và lỗi hình trạng của mạng. Thứ hai, đưa ra thuật toán
điều chỉnh trọng số nơron để giảm lỗi lượng tử của mạng, cho phép giảm lỗi lượng tử của mọi bản đồ
mà khơng quan tâm đến các tham số cấu hình mạng, cũng như không gia tăng thêm các tham số khác.
Nội dung của đề xuất gồm một định nghĩa, một định lý, một hệ quả và một thuật tốn.
Chương 3 trình bày các nghiên cứu liên quan đến cải tiến SOM giám sát hoặc bán giám sát nói
chung và áp dụng cho bài tốn phân lớp nói riêng, từ đó đề xuất một cấu trúc SOM phân tầng tăng
trưởng và thuật tốn học bán giám sát cho mục đích phân lớp dữ liệu. Mơ hình đề xuất có thể hoạt
động như một mơ hình phân lớp truyền thống (100% dữ liệu huấn luyện có gán nhãn) hoặc mơ hình
phân lớp bán giám sát.

Chương 4 trình bày các nghiên cứu liên quan đến việc cải tiến SOM áp dụng cho bài toán phân
cụm dữ liệu, từ đó đưa ra hai đề xuất cải tiến cấu trúc và thuật toán học SOM, gồm: Thứ nhất, cải tiến
thuật toán học của SOM cho phép từng bước hình thành các cụm và hiệu chỉnh các nơron thuộc về
mỗi cụm trong quá trình học của mạng. Thứ hai, đưa ra một cấu trúc SOM mở rộng hai lớp và thuật
toán huấn luyện tương ứng cho mục đích phân cụm dữ liệu. Tiếp theo trình bày kết quả thực nghiệm
của các phương thức đề xuất và so sánh kết quả với một số phương thức phân cụm khác.
CHƯƠNG 1: TỔNG QUAN VỀ CÁC MƠ HÌNH MẠNG NƠRON TỰ TỔ CHỨC
1.1. Tổng quan về mạng nơron nhân tạo
Mục này cung cấp các kiến thức tổng quan về mạng nơron nhân tạo gồm: khái niệm, các dạng kiến
trúc căn bản, các phương pháp học, xu hướng phát triển các mạng nơron hiện nay.
1.2. Mạng nơron tự tổ chức

b

1.2.1. Cấu trúc mạng nơron tự tổ chức
Mạng nơron SOM có cấu trúc đơn lớp (Kohonen,
2001), gồm: các tín hiệu vào và lớp ra (được gọi là lớp
Kohonen), trong đó, tất cả các đầu vào được kết nối
đầy đủ với mọi nơron trên lớp ra Kohonen.

a

1.2.2. Thuật toán học của mạng nơron tự tổ chức
Thuật toán học của mạng nơron tự tổ chức hay
thuật toán SOM (Kohonen, 2001), gồm 4 bước:
Bước 1- Khởi tạo: Kích thước mạng (là kích thước lớp
Kohonen), vector trọng số của các nơron: khởi tạo giá
trị ngẫu nhiên, bán kính lân cận, tỉ lệ học khởi tạo.

Hình 1. 1 Minh họa cấu trúc SOM với

lớp Kohonen 2 chiều

Bước 2- Cạnh tranh: Với mỗi mẫu đầu vào x(t)Rn tại lần huấn luyện thứ t, tìm nơron khớp nhất với
mẫu x(t). Nơron c được gọi là nơron khớp nhất (BMU) nếu thỏa mãn công thức:


3



dist  x  t   wc  min x t   wi
i



(1.1)

Bước 3- Hợp tác: Cơ sở cho sự hợp tác giữa các nơron là phạm vi ảnh hưởng của BMU hay cịn gọi
là bán kính lân cận của BMU (ký hiệu Nc(t)). Nc(t) được xác định theo công thức:
 t
N c  t   N 0 exp   
 

(1.2)

trong đó: t là lân huấn luyện (hay lần học); N 0 là bán kính lân cận khởi tạo; Nc  t  là bán kính lân
cận của BMU tại lần học thứ t;  

T
là hằng số thời gian, với T là tổng số lần học.

log  N 0 

Bước 4- Thích nghi: Điều chỉnh trọng số của BMU và các nơron trong bán kính lân cận của BMU
theo cơng thức:

wi  t  1  wi t   L t  hci t  v  wi t 

(1.3)

trong đó:
-

hci(t) là hàm nội suy theo khoảng cách (hay hàm lân cận), được xác định theo công thức:

 r r 2 
c
i

hci  t   exp  
2
 2 N c  t  
-

(1.4)

với rc và ri là vị trí tương ứng của nơron c và nơron i trong lớp Kohonen.
L  t  là tỉ lệ học tại lần lặp thứ t, với 0  L  t   1 ). L  t  có thể là một hàm tuyến tính, hàm mũ...
Cơng thức (1.5) là một ví dụ của hàm xác định tỉ lệ học.
t 


L  t   L0  1  
T


(1.5)

trong đó: L0 là tỉ lệ học khởi tạo (0số lần học của mạng.
Do sự ảnh hưởng của các mẫu vào đối với từng nơron cụ thể khác nhau, nên tỉ lệ học của mỗi
nơron có thể khác nhau. Việc cập nhật trọng số nơron có thể dựa vào tỉ lệ học riêng biệt của từng
nơron.

wi  t  1  wi  t   Li  t  hci t   x  wi t 

(1.6)

trong đó, Li  t  là tỉ lệ học tại lần học thứ t của nơron thứ i, được xác định theo công thức:

Li  t  1 

Li  t 

1  hci  t  Li  t 

(1.7)

Sau khi khởi tạo (Bước 1), quá trình huấn luyện mạng sẽ lặp lại nhiều lần các bước 2, 3 và 4 cho
đến khi thỏa mãn một trong các điều kiện dừng: đạt được số lần huấn luyện nhất định (T lần) hoặc
mạng đạt được trạng thái cân bằng.
1.2.3. Đánh giá chất lượng bản đồ đặc trưng của mạng nơron tự tổ chức

Hai độ đo thường được sử dụng để đánh giá chất lượng bản đồ đặc trưng của SOM, gồm: Lỗi
lượng tử (QE- Quantization Error) và Lỗi hình trạng (TE- Topographic Error).


4
a) Lỗi lượng tử: Lỗi lượng tử là độ đo đánh giá chất lượng học của mạng thông qua độ khác biệt
trung bình của các mẫu đầu vào so với các nơron chiến thắng (BMU) tương ứng của nó. Nó thể hiện
độ chính xác của dữ liệu đại diện, do đó giá trị này càng nhỏ thì càng tốt (Kohonen, 2001).

QE 

1 T
 x  t   wc  t 
T t 1

(1.8)

b) Lỗi hình trạng: Lỗi hình trạng là độ đo đánh giá độ bảo toàn quan hệ lân cận của dữ liệu
(topology preservation) (Kiviluoto, 1996), (Mwasiagi, 2007). Nó được xác định bằng tỉ số của số lần
nơron khớp nhất (BMU1) không liền kề với nơron khớp thứ hai (BMU2) trên tổng số lần huấn luyện,
do đó giá trị này càng nhỏ thì càng tốt.

TE 

1 T
 d  x t 
T t 1

(1.9)

trong đó: x  t  là mẫu đầu vào của mạng tại lần huấn luyện thứ t; d  x  t    1 nếu BMU1 và BMU2
của x  t  không liền kề, ngược lại d  x  t    0 ; T là tổng số lần huấn luyện.
1.3. Hạn chế của mạng nơron tự tổ chức và các biện pháp khắc phục
Một số hạn chế của SOM đã được các nhà nghiên cứu chỉ ra trong các biến thể của SOM như:
phải xác định trước hình trạng và kích thước bản đồ; bản đồ đặc trưng thiếu tính trực quan; thiếu cơ
chế xác định ranh giới giữa các vùng dữ liệu trên bản đồ đặc trưng; việc tìm BMU mất nhiều thời
gian; thứ tự của các mẫu vào ảnh hưởng tới xu hướng biến đổi của bản đồ; khơng có thơng tin chỉ
dẫn trong q trình huấn luyện...
1.4. Kết quả nghiên cứu trong và ngoài nước về cải tiến cấu trúc, phương pháp học của mạng
nơron tự tổ chức
1.4.1. Kết quả nghiên cứu trong nước
Cho đến nay nghiên cứu sinh chưa tìm thấy kết quả nghiên cứu nào về cải tiến cấu trúc hoặc quá
trình học của mạng nơron tự tổ chức. Hầu hết các nghiên cứu liên quan chỉ giới hạn trong phạm vi
ứng dụng mạng nơron tự tổ chức trong các bài toán ứng dụng thực tiễn. Các cơng trình đã cơng bố
chủ yếu là các luận văn thạc sĩ.
1.4.2. Kết quả nghiên cứu ngồi nước
Có nhiều nghiên cứu được cơng bố ngồi nước về cải tiến cấu trúc và phương pháp học của mạng
nơron tự tổ chức (gọi chung là các biến thể). Về mặt cấu trúc, các biến thể của mạng nơron tự tổ chức
có thể được chia thành 2 nhóm: các biến thể không sử dụng cấu trúc cây và các biến thể sử dụng cấu
trúc cây. Về mặt phương pháp học, bên cạnh các biến thể sử dụng phương pháp học không giám sát
truyền thống, một số biến thể đã sử dụng phương pháp học giám sát hoặc bán giám sát.
Gần đây nhiều nhà nghiên cứu tiếp tục đưa ra các biến thể về phương pháp học của SOM, cụ thể:
các biến thể SOM có giám sát có thể kể đến như (Papadimitriou, 2001), (Thammano, 2007),
(Lawawirojwong, 2013), (Groof, 2014), (Gil, 2015); các biến thể SOM bán giám sát: (Li, 2013),
(Allahyar, 2015), (Abaei, 2015).
1.5. Đặc điểm chung của các phương thức cải tiến mạng nơron tự tổ chức
Các biến thể của SOM thường sử dụng một số phương thức cải tiến như: bộ đếm BMU; bộ đếm
“tuổi”; lỗi lượng tử vượt ngưỡng; mở rộng mạng từ nơron ở biên; “đóng băng” nơron ở trung tâm;
tăng trưởng, phân tầng và thêm thông tin hướng dẫn trong quá trình học.

5
1.6. Kết luận chương 1
Chương này đã trình bày các kiến thức nghiên cứu tổng quan về: Mạng nơron nhân tạo và xu thế
phát triển mạng nơron nhân tạo cho đến hiện nay; Mạng nơron tự tổ chức và các biến thể của nó.
Phân tích các hạn chế của mạng nơron tự tổ chức và biện pháp khắc phục; Tổng hợp đặc điểm
chung của các phương thức cải tiến mạng nơron tự tổ chức.
CHƯƠNG 2: HAI PHƯƠNG THỨC CẢI THIỆN CHẤT LƯỢNG BẢN ĐỒ ĐẶC TRƯNG
CỦA MẠNG NƠRON TỰ TỔ CHỨC
2.1. Tổng quan về cải thiện chất lượng bản đồ đặc trưng của mạng nơron tự tổ chức
Phương thức truyền thống để cải thiện chất lượng bản đồ đặc trưng của SOM là “thử sai” nhiều
lần với các tham số khác nhau của mạng. Ngoài ra, hướng nghiên cứu cải tiến thuật toán học của
SOM để cải thiện chất lượng bản đồ đặc trưng cũng được các nhà nghiên cứu quan tâm. Điển hình là
các nghiên cứu của (Germen, 2002), (Germen, 2005), (Neme, 2008), (Lopez-Rubio, 2013), (Neme,
2014), (Kamimura, 2014). Tuy nhiên, chưa có giải pháp nào có thể giảm đồng thời cả QE và TE mà
luôn đúng cho mọi tập dữ liệu.
2.2. Điều chỉnh tham số của hàm lân cận để cải thiện chất lượng bản đồ đặc trưng
2.2.1. Một số dạng hàm lân cận của mạng nơron tự tổ chức
Ngoài hàm lân cận Gaussion được sử dụng phổ biến, một số loại hàm lân cận khác cũng được đề
cập như: Hàm “nổi bọt - bubble” (Kohonen, 2001); hàm lân cận bất đối xứng (Aoki, 2007) và (Ota,
2011); quy tắc cập nhật trọng số “ngư dân - fisherman” (Lee, 2002). Tuy nhiên, theo các tác giả thì
hàm lân cận Gaussian vẫn cho kết quả tốt nhất, do vậy nó vẫn được sử dụng phổ biến đối với SOM
và các biến thể của SOM.
2.2.2. Adding adjust parameter for Gaussian neighborhood function
Công thức (1.4) có thể được viết lại ở dạng tổng quát như sau:
p

rc  ri 

hci  t   exp   q

Nc p t  



(2.1)

trong đó: q và p là hai tham số điều chỉnh, với q0 và p0.
Nhận thấy, giá trị của hci(t) phụ thuộc vào khoảng cách từ vị trí (ri) của nơron đang xét (nơron i)
tới vị trí (rc) của nơron chiến thắng (BMU hay nơron c) và các tham số q, p. Nếu nơron đang xét là
BMU, tức là rc  ri  0 thì hci  t   1 ; Nếu nơron đang xét nằm ở vị trí xa nhất trong bán kính lân
cận Nc(t), tức là rc  ri  Nc  t  thì giá trị hàm lân cận phụ thuộc vào tham số q, với:

hci  t   exp  q

(2.2)

Hình 2.2 minh họa hàm lân cận hci  t  trong trường hợp bán kính lân cận Nc  t   10 , với các tham
số p=2 và q=0.5, 1, 2, 4, 8, 12.
a) Tham số q
Về nguyên tắc, khi các nơron láng giềng trong bán kính lân cận của BMU bị điều chỉnh theo mẫu
đầu vào ở lần học hiện tại càng lớn thì sự khác biệt của chúng với các mẫu đầu vào khác ở những lần
học sau càng cao. Đây là nguyên nhân dẫn tới lỗi lượng tử QE tăng. Do vậy, muốn giảm QE ta phải
giảm mức độ và phạm vi tác động của mẫu vào, tức là việc tăng tham số q sẽ làm giảm lỗi lượng tử
QE.


6
Tuy nhiên, nếu q quá lớn thì khả năng học của mạng bị hạn chế, tức là hình trạng mạng có thể ít
thay đổi và phần nào phụ thuộc vào việc khởi tạo trọng số của nơron. Mặt khác, bán kính lân cận
Nc(t) có thể vơ hình chung bị co lại, do hàm hci t   0 đối với các nơron ở vị trí xa trong bán kính lân

cận (tức là các nơron ở vị trí xa trong bán kính lân cận khơng được điều chỉnh hoặc điều chỉnh khơng
đáng kể theo mẫu đầu vào). Vì vậy, để đảm bảo tất cả các nơron trong bán kính lân cận Nc(t) được
tác động bởi mẫu đầu vào thì tham số q khơng được phép q lớn. Ví dụ, trường hợp q=8 và 12, hàm
hci t   0 khi khoảng cách rc  ri tiến dần tới Nc(t).
Trong trường hợp q0,
hàm mũ Gaussian có kết
quả tương tự hàm “nổi bọt”
Bubble, tức là hci(t)1 với
mọi nơron trong bán kính
lân cận Nc(t). Kết quả là,
nếu bán kính lân cận Nc(t)
càng lớn thì bản đồ đặc
trưng càng có xu hướng
biến đổi cục bộ theo mẫu
đầu vào thứ t. Điều này làm
giảm khả năng nhớ của
mạng đối với những lần
học trước.

hci(t)

rc  ri
Hình 2. 1 Minh họa hàm hci(t) khi thay đổi giá trị q.

Như vậy, lỗi hình trạng TE có thể phụ thuộc vào việc khởi tạo trọng số nơron nếu q quá lớn, hoặc
phụ thuộc thứ tự các mẫu đầu vào nếu q quá nhỏ. Chú ý rằng trọng số khởi tạo của nơron và thứ tự
các mẫu đầu vào được xác định ngẫu nhiên. Do vậy, khả năng học hình trạng của mạng tốt nhất khi
tham số q không quá nhỏ hoặc quá lớn.
b) Tham số p
Khi cố định tham số

q, nếu tăng tham số p thì
hàm hci(t) tăng dần tới 1
đối với các nơron gần phía
với BMU, tức là số lượng
láng giềng quanh BMU hci(t)
được điều chỉnh với mức
độ tương tự như BMU sẽ
mở rộng. Điều này làm
tăng lỗi lượng tử QE. Nếu
tham số p quá lớn thì bản
đồ đặc trưng có xu hướng
biến đổi cục bộ theo mẫu
rc  ri
đầu vào của lần huấn
luyện gần nhất (tương tự
Hình 2. 2 Minh họa hàm hci(t) khi thay đổi giá trị p.
như trường hợp tham số q
quá nhỏ). Tuy nhiên, lỗi hình trạng TE có thể thay đổi khơng đáng kể, do việc xác định TE chỉ xét
trong phạm vi BMU và các nơron láng giềng liền kề của nó.


7
Hình 2.2 biểu diễn hàm hci(t) gốc (với q=0.5 và p=2) và hàm hci(t) điều chỉnh với tham số q=4
và p=1, 2, 3, 4, 5, 6 trong trường hợp bán kính lân cận Nc  t   10 .
Riêng trường hợp p=1 đồ thị hci(t) tương tự như trường hợp q=8, 12 ở Hình 2.2, tức là lỗi lượng
tử QE nhỏ nhất so với các trường hợp p>1, nhưng lỗi hình trạng TE có thể khơng tin cậy do nó phụ
thuộc vào việc khởi trọng số của nơron.
Do đó, việc điều chỉnh tham số p có tác động khơng đáng kể tới việc cải thiện chất lượng bản đồ
đặc trưng của mạng nơron tự tổ chức.
Nhận xét: Tham số q có ý nghĩa tích cực trong việc cải thiện chất lượng bản đồ đặc trưng của

mạng nơron tự tổ chức. Tham số q càng lớn thì QE càng nhỏ, tuy nhiên q đạt giá trị phù hợp nhất khi
TE nhỏ nhất. Do vậy, nghiên cứu sinh đề xuất cải tiến hàm lân cận với một tham số điều chỉnh như
sau:
2

rc  ri 

hci  t   exp   q
Nc2 t  



(2.3)

2.3. Thuật toán điều chỉnh trọng số nơron để giảm lỗi lượng tử
2.3.1. Đặt vấn đề
Giả sử I là tập dữ liệu huấn luyện, sau huấn luyện ta có:

I  I1 , I 2 ,..., I s 

(2.4)

trong đó: Ii là tập mẫu được đại diện bởi nơron thứ i, với i=1..s; s=ab là tổng số nơron; ab là kích
thước lớp Kohonen.
Như vậy, mỗi tập con Ii thực chất là một cụm dữ liệu trong trong tập dữ liệu đầu vào, vì thế theo
k-means thì các cụm dữ liệu là tốt nhất nếu hàm mục tiêu E tối thiểu:
s

E   x  centeri

2

(2.5)

i 1 xI i

trong đó, centeri là tâm cụm thứ i, xác định theo công thức:
centeri 

1
Ii

x

(2.6)

xI i

với, |.| là số phần tử của một tập hợp.
Ta thấy, để tối thiểu hóa hàm mực tiêu E phải điều chỉnh các phần tử trong mỗi tập Ii và tâm cụm
centeri.
Gọi Qi là giá trị lỗi của nơron thứ i, được xác định là tổng khoảng cách của các mẫu dữ liệu thuộc
cụm Ii đối với vector trọng số wi, ta có:
Qi   d  x, wi 

(2.7)

xI i

trong đó: wi là trọng số của nơron i; d(x,wi) là khoảng cách giữa vector x và vector wi, với:

d  x, wi   x  wi

(2.8)

Về nguyên tắc, số lần huấn luyện mạng càng lớn thì chất lượng bản đồ đặc trưng sẽ càng được
cải thiện. Tuy nhiên, tỉ lệ học của mạng là một hàm giảm dần theo thời gian huấn luyện, nên tỉ lệ học
L(t)0 nếu tổng số lần huấn luyện T. Tức là, việc tăng số lần huấn luyện mạng quá lớn chỉ làm
tăng tổng thời gian tính tốn, cịn hiệu quả cải thiện chất lượng bản đồ đặc trưng là không cao.


8
Nếu giả thiết rằng L(t)0 (giả thiết này đúng khi T hoặc khi quá trình huấn luyện đã kết thúc),
ta có cơng thức (1.8) tương đương với:
QE 

hay:

QE 

1
N

1
N

s

Q

i

i 1

s


i 1 xI i

x  wi

(2.9)
(2.10)

trong đó: N là tổng số mẫu dữ liệu.
Nhận thấy, cơng thức (2.10) có sự tương đồng với công thức (2.5). Do vậy, để giảm QE thì wi
nên được xem xét giống như centeri. Điều này có nghĩa rằng, thay vì cố gắng tăng số lần huấn luyện
mạng lên quá lớn để giảm QE ta nên điều chỉnh wi theo tâm cụm centeri. Việc điều chỉnh này chỉ cần
thực hiện khi quá trình huấn luyện của mạng đã kết thúc.
Ta có bổ đề sau:
Bổ đề. Một bản đồ tự tổ chức có lỗi lượng tử nhỏ nhất khi và chỉ khi wi  centeri , trong đó: wi
là vector trọng số của nơron thứ i; centeri là tâm cụm của tập Ii, với i=1..s. Tập Ii bao gồm các mẫu
dữ liệu được đại diện bởi nơron thứ i khi quá trình huấn luyện đã kết thúc [6A].
Việc điều chỉnh wi trùng với centeri làm tăng độ chính xác của dữ liệu đại diện, nhưng cũng dẫn
tới hệ quả là có một số mẫu dữ liệu cần phải chuyển đổi nơron đại diện cho nó, do nó khớp hơn với
một nơron khác (so với nơron mà nó đang thuộc về).
Các mẫu dữ liệu cần thay đổi nơron đại diện được gọi là các “phần tử khác biệt” theo định nghĩa
dưới đây:
Định nghĩa.
Một mẫu dữ liệu x được gọi là “phần tử khác biệt” của nơron i đối với nơron j (với j  i) khi và

chỉ khi xIi và d  x, w j   d  x, wi  [6A].
Hình 2.4 minh họa x1 là “phần tử khác biệt” của nơron i đối với nơron j, với
x1  I i : d x1 , w j  d  x1 , wi  ; x2 là “phần tử khác biệt” của nơron i đối với nơron k, với





x2  I i : d  x2 , wk   d  x2 , wi  ; x3Ii nhưng không là “phần tử khác biệt” của nơron i đối với nơron

g vì khơng thỏa mãn điều kiện d  x3 , wg   d  x3 , wi  .
Định lý. Cho Ii và Ij là hai tập dữ liệu được đại
diện tương ứng bởi hai nơron i và nơron j; mẫu dữ
liệu x là “phần tử khác biệt” của nơron i đối với
nơron j (với xIi, ij); QE là lỗi lượng tử của mạng.
Ta có, QE giảm khi và chỉ khi Ii  I i \  x và

I j  I j   x [6A].
Hệ quả. Cho Ii, Ij và Ik là các tập dữ liệu được
đại diện tương ứng bởi các nơron i, j và k; mẫu dữ
liệu x là “phần tử khác biệt” của nơron i đối với đồng
thời cả hai nơron j và k (với xIi, i≠j, i≠k, j≠k). Giả
sử, QE(*j ) là lỗi lượng tử của mạng nếu Ii  I i \  x
và I j  I j   x ; QE(*k ) là lỗi lượng tử của mạng

Hình 2. 3 Minh họa “phần tử khác biệt”
của nơron i.


9

nếu Ii  I i \  x và I k  I k   x . Ta có, QE(*j )  QE(*k ) khi và chỉ khi các khoảng cách
d  x, w j   d  x, wk  [6A].

2.3.2. Thuật toán điều chỉnh trọng số nơron Batch-IMQS
Lặp lại hai bước sau cho tới khi thỏa mãn điều kiện dừng: lỗi lượng tử sau khi lặp giảm so với lỗi
lượng tử trước khi lặp nhỏ hơn ngưỡng .
-

Bước 1: Xác định các tập con Ii của I={I1, I2,.., Is}, với i=1..s
Bước 2: Tính các vector tâm cụm centeri, và gán wi = centeri, với i=1..s.

Thuật toán có thể giảm lỗi lượng tử của mọi bản đồ mà khơng quan tâm đến các tham số cấu hình
mạng, cũng như không gia tăng thêm các tham số khác. Tuy nhiên, hạn chế của nó là TE tăng tỉ lệ
nghịch với QE.
2.4. Các tập dữ liệu sử dụng cho thực nghiệm
Sử dụng 12 tập dữ liệu đã được công bố, bao gồm: XOR, Aggregation, Flame, Pathbased, Spiral,
Jain, Compound, R15, D31, Iris, Vowel và Zoo.
2.5. Thực nghiệm hàm lân cận đối xứng dạng mũ với tham số điều chỉnh
Trường hợp 1: Tham số p cố định, tham số q thay đổi
Bảng 2.1 thống kê kết quả thực nghiệm với tham số p=2 và thay đổi giá trị tham số q=0.5, 2, 4,
8, 12.
Bảng 2. 1 Kết quả thực nghiệm khi cố định tham số p=2, thay đổi tham số q
q
0.5
1
2
4
8
12
0.1890

0.1299
0.1129
0.0902
0.0810
0.1585
XOR
0.0318
0.0273
0.0427
0.0705
0.0925
0.0223
5.9702
5.0643
4.0276
2.2819
1.8472
2.9340
Aggregation
0.0549
0.0362
0.0294
0.0424
0.0678
0.0245
2.1839
1.9512
1.5194
0.9129
0.8206

1.1822
Flame
0.0700
0.0567
0.0407
0.0479
0.0833
0.0393
4.5859
4.0427
3.2618
1.9392
1.7401
2.4779
Pathbased
0.0561
0.0433
0.0373
0.0434
0.0794
0.0315
4.7595
4.1719
2.9239
2.2975
2.0085
3.4675
Spiral
0.0543
0.0404

0.0364
0.0413
0.0564
0.0284
5.2745
4.4829
3.5726
1.6236
1.5234
2.3559
Jain
0.0513
0.0395
0.0313
0.0443
0.0637
0.0269
4.4205
3.1508
2.5672
1.8323
1.7744
3.7595
Compound
0.0624
0.0349
0.0400
0.0630
0.0690
0.0299

2.2226
2.0212
1.8005
1.0730
0.9562
1.4606
R15
0.0722
0.0631
0.0368
0.0613
0.1162
0.0274
4.7676
4.1204
3.3943
2.0055
1.6793
2.4569
D31
0.0479
0.0352
0.0284
0.0332
0.0394
0.0207
0.7709
0.5353
0.4403
0.3773

0.3494
0.6430
Iris
0.0739
0.0689
0.0940
0.1196
0.1566
0.0548
2.7459
2.5736
2.2005
1.9150
1.7468
2.3755
Vowel
0.0537
0.0436
0.0448
0.0494
0.0497
0.0412
1.5841
1.4421
1.2468
0.9790
0.9156
1.0912
Zoo
0.0343

0.0254
0.0169
0.0162
0.0208
0.0104


10
Ghi chú: Các kết quả trong bảng là giá trị trung bình của 10 lần thực nghiệm. Kết quả của mỗi
tập dữ liệu trình bày trong hai dịng: dịng thứ nhất biểu diễn độ đo QE và dòng thứ hai biểu diễn độ
đo TE.
Dữ liệu in đậm là kết quả tốt nhất, trong đó: TE là nhỏ nhất, cịn QE nhỏ hơn so với trường hợp
sử dụng hàm lân cận gốc (q=0.5).
Trường hợp 2: Tham số q cố định, tham số p thay đổi
Bảng 2.2 là kết quả thực nghiệm khi cố định tham số q tương ứng với giá trị độ đo đạt được tốt
nhất trong Bảng 2.1 và thay đổi giá trị của tham số p=1, 2, 3, 4, 5, 6. Khi p=1, cả QE và TE tăng cao.
Khi p2, TE có xu hướng ổn định hoặc tăng nhẹ khi p tăng. Điều này cho thấy tham số p có ý nghĩa
khơng đáng kể trong việc cải thiện chất lượng hình trạng khi đã xác định được tham số q phù hợp;
QE có xu hướng tăng với đa số các tập dữ liệu khi tăng p (trừ các tập dữ liệu XOR, Compound và
Iris, QE có xu hướng giảm, nhưng TE lại có xu hướng tăng). Điều này cho thấy, p=2 là tốt nhất trong
số các giá trị thử nghiệm của p.
Bảng 2. 2 Kết quả thực nghiệm khi thay đổi tham số p, cố định tham số q
p
1
2
3
4
5
6
0.1754

0.1587
0.1546
0.1518
0.1525
0.1513
XOR
(q=1)
0.0534
0.0203
0.0225
0.0244
0.0238
0.0255
2.7895
3.0003
3.2722
3.6436
3.6100
3.8718
Aggregation
(q=4)
0.0850
0.0300
0.0277
0.0273
0.0316
0.0282
1.1858
1.2105
1.2306

1.3158
1.4010
1.4209
Flame
(q=4)
0.1438
0.0405
0.0284
0.0304
0.0331
0.0330
2.5458
2.4759
2.7586
2.8462
2.9400
2.9928
Pathbased
(q=4)
0.1300
0.0313
0.0363
0.0351
0.0349
0.0304
3.5976
3.4319
3.4334
3.4603
3.4926

3.5797
Spiral
(q=2)
0.0690
0.0290
0.0265
0.0290
0.0261
0.0264
2.3664
2.3519
2.7136
2.9018
3.1494
3.3035
Jain
(q=4)
0.0896
0.0263
0.0270
0.0306
0.0402
0.0403
4.2063
3.7575
3.6224
3.4969
3.5082
3.4913
Compound

(q=1)
0.0666
0.0291
0.0337
0.0340
0.0373
0.0398
1.3161
1.4406
1.5544
1.6498
1.6972
1.7376
R15
(q=4)
0.1055
0.0294
0.0367
0.0390
0.0454
0.0548
2.3832
2.4769
2.8137
2.9886
3.0686
3.1960
D31
(q=4)
0.0803

0.0199
0.0227
0.0238
0.0259
0.0284
0.7140
0.6382
0.6166
0.6002
0.5880
0.5849
Iris
(q=1)
0.0665
0.0518
0.0555
0.0560
0.0572
0.0598
2.3938
2.3715
2.4186
2.4310
2.4529
2.4627
Vowel
(q=2)
0.0635
0.0410
0.0416

0.0414
0.0429
0.0455
1.1817
1.0912
1.1780
1.1954
1.2015
1.2131
Zoo
(q=4)
0.0366
0.0104
0.0182
0.0188
0.0176
0.0180
Ghi chú: Các kết quả trong bảng là giá trị trung bình của 10 lần thực nghiệm. Kết quả của mỗi
tập dữ liệu trình bày trong hai dịng: dịng thứ nhất biểu diễn độ đo QE và dòng thứ hai biểu diễn độ
đo TE.
Kết luận: Với tham số p=2 (giá trị mặc định), việc điều chỉnh tham số q có ảnh hưởng đáng kể
tới chất lượng của bản đồ. Nếu q càng lớn thì lỗi lượng tử càng nhỏ, tuy nhiên q phù nhất khi giá trị
khi lỗi hình trạng đạt giá trị nhỏ nhất. Ngược lại, nếu đã xác định được giá trị phù hợp nhất của tham
số q, thì tham số p có ảnh hưởng khơng đáng kể tới việc cải thiện chất lượng bản đồ.


11
Bảng 2.3 so sánh các độ đo QE, TE đạt được khi sử dụng hàm lân cận với tham số điều chỉnh
(p=2 và q xác định riêng cho mỗi tập dữ liệu như Bảng 2.2) và một số dạng hàm lân cận khác
Bảng 2. 3 So sánh độ đo QE, TE của một số dạng hàm lân cận

hci(t) với tham
Hàm
Hàm lân cận
Tập dữ liệu
hci(t) gốc
số điều chỉnh
“nổi bọt”
bất đối xứng
0.1890
0.1585
0.2572
0.1808
XOR
0.0318
0.0223
0.2708
0.4635
5.9702
2.9340
7.3092
4.9466
Aggregation
0.0549
0.0245
0.1794
0.4476
2.1839
1.1822
2.6352
2.1916

Flame
0.0700
0.0393
0.1642
0.6828
4.5859
2.4779
5.524
5.3888
Pathbased
0.0561
0.0315
0.1981
0.2715
4.7595
3.4675
5.6515
4.3775
Spiral
0.0543
0.0284
0.1502
0.6306
5.2745
2.3559
6.3026
5.4962
Jain
0.0513
0.0269

0.2024
0.3172
4.4205
3.7595
5.5663
3.5529
Compound
0.0624
0.0299
0.2199
0.4349
2.2226
1.4606
2.5017
1.8911
R15
0.0722
0.0274
0.1384
0.6337
4.7676
2.4569
5.6095
5.958
D31
0.0479
0.0207
0.2054
0.3506
0.7709

0.6430
1.001
0.9284
Iris
0.0739
0.0548
0.2312
0.2610
2.7459
2.3755
3.1022
2.8808
Vowel
0.0537
0.0412
0.1872
0.3965
1.5841
1.0912
1.7182
1.7179
Zoo
0.0343
0.0104
0.2182
0.2210
Ghi chú: Các kết quả trong bảng là giá trị trung bình của 10 lần thực nghiệm. Kết quả của mỗi
tập dữ liệu trình bày trong hai dịng: dịng thứ nhất biểu diễn độ đo QE và dòng thứ hai biểu diễn độ
đo TE.
2.6. Thực nghiệm thuật toán Batch-IMQS

Bảng 2.4 cho thấy Batch-IMQS có thể cải thiện đáng kể QE của một bản đồ đặc trưng bất kỳ mà
không quan tâm đến các tham số cấu hình mạng, cũng như khơng gia tăng thêm các tham số khác.
Tuy nhiên, lỗi TE tăng tỉ lệ nghịch với QE
Bảng 2. 4 Kết quả thực nghiệm thuật toán Batch-IMQS
55
1010
1515
Tập dữ liệu
BatchBatchBatchSOM
SOM
SOM
IMQS
IMQS
IMQS
0.1938
0.0716
0.1344
0.040
0.115
0.0293
XOR
0
0.0735
0
0.1270
0
0.1801
6.5617
1.8581
4.0004

1.1341
3.7515
0.9058
Aggregation
0
0.0774
0
0.0952
0.0114
0.2513
2.2242
0.8802
1.8174
0.4820
1.4581
0.3800
Flame
0
0.0292
0
0.2333
0.0083
0.3125
4.7585
1.6497
3.6075
0.8606
3.1839
0.5932
Pathbased

0.0133
0.1667
0.0067
0.24
0.0133
0.3067


12
Spiral
Jain
Compound
R15
D31
Iris
Vowel
Zoo

4.9053
0
5.2967
0
4.4481
0
2.2694
0
5.1947
0
0.7622
0.0200

2.6522
0.003
1.6328
0

1.8792
0.1667
1.6913
0.0483
1.4561
0.0526
0.9755
0.0033
1.2570
0.1639
0.3926
0.1867
1.5399
0.1222
0.9977
0.099

3.6889
0
3.7646
0.0054
3.0018
0.0050
1.8055
0

3.3776
0
0.5526
0.0133
2.2776
0.0172
1.3044
0

0.8728
0.3397
1.0424
0.1609
0.8799
0.2030
0.8900
0.0183
0.7306
0.0816
0.2398
0.2400
1.1500
0.4212
0.7192
0.1188

3.2971
0.0032
3.1354
0.0107

2.5214
0.015
1.5845
0
2.9099
0.001
0.4995
0.0133
2.1422
0.0121
1.2268
0

0.6095
0.3429
0.7534
0.1796
0.694
0.1955
0.5435
0.0117
0.6021
0.2094
0.1793
0.3067
0.9997
0.4485
0.6645
0.2574

Ghi chú: Các giá trị đạt được có sai số 0.02 trong các lần thực nghiệm khác nhau. Kết quả của
mỗi tập dữ liệu trình bày trong hai dịng. Dịng thứ nhất biểu diễn độ đo QE và dòng thứ hai biểu diễn
độ đo TE.
2.7. Kết luận chương 2
Chương này đã trình bày hai đề xuất để cải thiện chất lượng bản đồ đặc trưng của mạng nơron tự
tổ chức. Đề xuất thứ nhất, bổ sung tham số điều chỉnh cho hàm lân cận đối xứng Gaussian. Kết quả
có thể giảm được đồng thời cả lỗi lượng tử và lỗi hình trạng của mạng. Tuy nhiên, giá trị của tham số
điều chỉnh phải xác định riêng đối với mỗi tập dữ liệu cụ thể. Đề xuất thứ hai, đưa ra thuật toán điều
chỉnh trọng số nơron để giảm lỗi lượng tử của mạng. Thuật tốn có thể giảm lỗi lượng tử của mạng
mà không quan tâm đến các tham số cấu hình, cũng như khơng gia tăng thêm các tham số khác. Tuy
nhiên, nhược điểm là lỗi hình trạng tăng tỉ lệ nghịch với lỗi lượng tử.
CHƯƠNG 3: MỘT MẠNG NƠRON TỰ TỔ CHỨC CÓ CẤU TRÚC PHÂN TẦNG TĂNG
TRƯỞNG VÀ THUẬT TOÁN HỌC BÁN GIÁM SÁT CHO BÀI TOÁN PHÂN LỚP DỮ LIỆU

3.1. Tổng quan về các mạng nơron tự tổ chức cải tiến học giám sát, bán giám sát cho phân lớp
dữ liệu
3.2. Phát biểu bài toán phân lớp dữ liệu
3.3. Một cấu trúc phân tầng tăng trưởng và thuật toán học bán giám sát của mạng nơron tự tổ
chức cho bài toán phân lớp dữ liệu
Mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho bài toán phân lớp dữ liệu,
được gọi là GHSSOM (Growing Hierarchical Semi-Supervised SOM) [4A], [5A], [8A]. Cấu trúc của
GHSSOM được lai ghép từ cấu trúc của GHSOM (Growing Hierarchical SOM) (Rauber, 2002), HTS
(Hierarchical Tree Structure) [2A] và cấu trúc giả giám sát CPN (Zupan, 1997).


13
3.3.1. Các cấu trúc nền tảng để xây dựng mạng nơron tự tổ chức phân tầng tăng trưởng học bán
giám sát cho phân lớp dữ liệu
3.3.2. Cấu trúc mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân lớp dữ liệu
Mỗi nút của GHSSOM là một mạng SOM

mở rộng, gồm có hai lớp tương tự như mạng
CPN. Lớp thứ nhất gọi là Xmap (hay lớp
Kohonen). Xmap là bản đồ tự tổ chức biểu diễn
đặc trưng của các mẫu đầu vào và được huấn
luyện bằng thuật toán SOM gốc. Lớp thứ hai gọi
là Ymap. Ymap là bản đồ phân bố đầu ra (nhãn)
của dữ liệu. Ymap có kích thước bằng Xmap.
Tuy nhiên, các đơn vị trên Ymap không được cập
nhật đồng thời cùng Xmap giống như mạng CPN,
mà được cập nhật sau khi Xmap đã được huấn
luyện xong. Việc cập nhật nhãn cho Ymap được
thực hiện theo hai bước:
Bước 1. Cập nhật nhãn: duyệt tất cả các mẫu
dữ liệu đã được gán nhãn (x, y) thuộc tập dữ liệu
huấn luyện, với x là mẫu đầu vào và y là giá trị
nhãn (đầu ra tương ứng của x), với y>0. Quy ước
y=0 cho biết mẫu đầu vào x chưa được gán nhãn
(trong trường hợp học bán giám sát, tập dữ liệu
huấn luyện có thể tồn tại các mẫu dữ liệu chưa có
nhãn).
-

Ymap
2

y

2

1

2

1
1

3

1

1

3

2

Xmap

-1

2

3

2

2

x

Ymap

Ymap
-1

Xmap

Xmap

Hình 3. 1 Minh họa cấu trúc mạng GHSSOM.

Xác định nơron chiến thắng (BMU) của x trên Xmap. Giả sử nơron thứ i của Xmap được xác
định là nơron chiến thắng.
Kết nạp mẫu dữ liệu (x, y) vào tập dữ liệu được đại diện bởi nơron thứ i.
Cập nhật nhãn y cho Ymap theo nguyên tắc: Nếu nơron thứ i chưa được gán nhãn thì nó sẽ
được gán nhãn là y (với y>0). Ngược lại, nếu nơron thứ i đã được gán nhãn, nhưng giá trị
nhãn của nó khác y thì gán cho nơron i một nhãn đặc biệt e=-1 (e là nhãn lỗi dùng để đánh
dấu vị trí nơron phân lớp sai và nhãn lỗi khơng có trong tập dữ liệu).

Bước 2. Lan truyền nhãn: với mỗi đơn vị thứ i thuộc Ymap chưa xác định nhãn (giá trị nhãn bằng
0), thực hiện:
-

Tìm trên Xmap một nơron thứ j có vị trí tương ứng trên Ymap đã gán nhãn (là nhãn có trong
tập dữ liệu hoặc nhãn lỗi e) thỏa mãn: ij và trọng số của nơron thứ i khớp nhất với trọng số
của nơron thứ j.
Gán nhãn của nơron thứ i bằng nhãn của nơron thứ j: Ymap[i]= Ymap[j].
Gán tập dữ liệu được đại diện bởi nơron thứ i bằng tập dữ liệu được đại diện bởi nơron thứ j.

Cách thức cập nhật nhãn của Ymap như trên cho phép GHSSOM giải quyết bài toán phân lớp

mà tập dữ liệu huấn luyện đầy đủ nhãn (phân lớp truyền thống) hoặc chỉ có một số lượng nhất định
mẫu dữ liệu có nhãn (phân lớp bán giám sát).
Khi bắt đầu, GHSSOM được khởi tạo với một nút gốc duy nhất có kích thước ab. Xmap của
nút gốc được huấn luyện bởi tất cả các mẫu dữ liệu của tập huấn luyện (ký hiệu là I). Sau khi xác định
nhãn cho Ymap của nút gốc thì mỗi nơron thứ i của Xmap sẽ đại diện cho một tập con dữ liệu Ii  I,
(với i=1..s, s=ab).


14
Nguyên tắc tăng trưởng của GHSSOM:
Giả sử m là một nút của GHSSOM; k là một nơron thuộc nút m có giá trị nhãn là e; subnet là nút
con tăng trưởng từ nơron k; Iparent là tập dữ liệu huấn luyện nút m, I child  I parent là tập dữ liệu huấn
luyện nút con subnet (tập dữ liệu được đại diện bởi nơron k). Xét theo hai trường hợp sau:
Trường hợp 1: nếu |Ichild|  |Iparent| thì phát sinh nút con subnet liên kết với nơron k. Kích thước
nút con subnet xác định theo công thức:

nchild


 | I


|
child

 ceil  
n

  | I parent |  parent 





(3.1)

trong đó: nchild là kích thước nút con; nparent là kích thước nút cha;  là tham số điều chỉnh mức độ
giảm kích thước nút con so với nút cha; ceil(): là hàm làm tròn lên; |.| số phần tử trong một tập hợp.
Trường hợp 2: nếu |Ichild|=|Iparent| thì điều chỉnh lại nút đang xét m. Xét điều kiện sau:

qek    QE0

(3.2)

trong đó:  là tham số xác định ngưỡng tăng trưởng, có vai trị quan trọng, đảm bảo cho mạng không
rơi vào trạng thái “quá khớp” với dữ liệu huấn luyện (overfitting1), với 0< <1; qek là lỗi lượng tử
của nơron k; QE0 là lỗi lượng tử của nút gốc, được xác định theo công thức:

 d  x t  , w
T0

QE0 

BMU  t 

t 1


(3.3)

T0

trong đó: x(t) là mẫu đầu vào tại lần huấn luyện thứ t; wBMU t  là trọng số của BMU đối với mẫu đầu





vào x(t); d x  t  , wBMU t  là khoảng cách của mẫu đầu vào x(t) so với BMU của nó; T0 là tổng số lần
huấn luyện của nút gốc;
Nếu điều kiện (3.2) là đúng thì khởi tạo và huấn luyện lại nút m, với kích thước xác định theo
cơng thức (3.4), tập dữ liệu huấn luyện là Iparent. Chú ý rằng, trọng số của mỗi nơron được khởi tạo
bằng một mẫu dữ liệu thuộc tập Iparent.

nchild  ceil



I parent



(3.4)

Ngược lại, nếu điều kiện (3.2) là sai thì sửa lại giá trị nhãn của nơron k theo nguyên tắc nhãn
khớp nhất đại diện, đồng thời loại bỏ các nơron còn lại (trừ nơron k) ra khỏi nút m. Giá trị nhãn của
nơron k xác định theo (3.5).
Ymap  k   ymin

(3.5)

trong đó: ymin là nhãn tương ứng của mẫu đầu vào xmin, với xmin được xác định theo công thức (3.6)
xmin 

1

min

 x , y I child

 xw 
k

(3.6)

Một hàm mục tiêu hay một giả thiết học được h, sẽ được gọi là overfitting (quá khớp dữ liệu) với một tập dữ liệu huấn
luyện nếu tồn tại một hàm mục tiêu khác là h’ sao cho: h’ kém phù hợp hơn, đạt độ chính xác kém hơn so với h trên tập
dữ liệu huấn luyện, nhưng h’ lại đạt độ chính xác cao hơn h đối với toàn bộ tập dữ liệu (bao gồm cả tập dữ liệu liệu huấn
luyện và tập dữ liệu kiểm tra)


15
3.3.3. Thuật toán huấn luyện của mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát
cho phân lớp dữ liệu
Thuật tốn GHSSOM tại mỗi nút vừa có vài trị huấn luyện, vừa có vai trị tăng trưởng để hình
thành cấu trúc cây phân tầng [8A]. Quá trình huấn luyện cụ thể tại mỗi nút được chia thành hai giai
đoạn như sau:
Giai đoạn 1: Hình thành bản đồ đặc trưng
-

Huấn luyện lớp Xmap bằng thuật toán SOM gốc. Kết quả là các nơron của Xmap biểu diễn

các đặc trưng của tập dữ liệu huấn luyện.

Giai đoạn 2: Gán nhãn và tăng trưởng (xác định các nơron phân lớp sai và tăng trưởng nút
mới)
-

Cập nhật nhãn và xác định các tập con dữ liệu Ii được đại diện bởi mỗi nơron thứ i thuộc
Xmap
Lan truyền nhãn cho các đơn vị thuộc Ymap chưa được gán nhãn.
Tăng trưởng: thực hiện theo nguyên tắc tăng trưởng (mục 3.3.2).
Lặp lại Giai đoạn 1 đối với các nút mới tăng trưởng hoặc nút được khởi tạo lại.

3.4. Thực nghiệm mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám sát cho phân
lớp dữ liệu
Bảng 3. 1 Kết quả phân lớp của GHSSOM với hàm lân cận với tham số điều chỉnh q
Tập dữ liệu
XOR
Aggregation
Flame
Pathbased
Spiral
Jain
Compound
R15
D31
Iris
Vowel
Zoo

Tỉ lệ mẫu dữ liệu có nhãn/tổng dữ liệu huấn luyện

10%
20%
30%
50%
70%
100%
99.10
99.76
99.83
99.90
99.98
100
95.69
97.08
98.87
99.11
99.37
99.49
89.58
95.83
96.25
97.50
98.75
99.17
68.0
82.67
89.67
92.67
94.33
95.67

49.38
55.13
65.03
72.41
84.25
91.04
96.52
98.67
99.46
99.47
99.73
100
79.71
87.72
89.73
91.98
93.74
95.24
88.33
93.33
96.50
97.33
97.67
98.67
89.68
92.61
94.13
94.55
94.67
95.42

90.0
92.0
92.67
94.67
95.33
96.0
31.81
51.52
61.92
80.61
84.95
90.61
76.14
81.14
84.33
87.24
93.05
94.14

Ghi chú: Các kết quả trong bảng là giá trị trung bình của 10 lần thực nghiệm.


16
(1) So sánh GHSSOM với các phương thức phân lớp bán giám sát SSGSOM và CS2GS (Allahyar,
2015)

a) Kết quả phân lớp Two Moons của GHSSOMv1 và GHSSOMv2

b) Kết quả phân lớp Two Moons của SSGSOM và một số phương thức
Hình 3. 2 So sánh GHSSOM với SSGSOM, CS2GS và một số phương thức khác

Ghi chú: GHSSOMv1 là phiên bản thuật toán GHSSOM sử dụng hàm lân cận gốc,
GHSSOMv2 là phiên bản thuật toán GHSSOM sử dụng hàm lân cận với tham số điều chỉnh q.
Nhận xét: GHSSOMv1 và GHSSOMv2 phân lớp chính xác hơn SSGSOM, CS2GS và các
phương thức CCS, RCS, DCS, HSS khi tỉ lệ dữ liệu có nhãn/tổng dữ liệu huấn luyện nhỏ.
(2) So sánh GHSSOM với SVM, GMM, BSOM và KNN (Guo, 2013)
Bảng 3.2 so sánh kết quả phân lớp tập dữ liệu Iris trong trường hợp 100% mẫu huấn luyện được
gán nhãn (Guo, 2013).
Bảng 3. 2 Kết quả phân lớp Iris của GHSSOM và một số phương thức
Tập dữ liệu

SVM

GMM

BSOM

KNN (n=8)

GHSSOMv1

GHSSOMv2

Iris

95.90

95.50

96.30

95.90

94.67

96.0

(3) So sánh GHSSOM với một số phương thức phân lớp cài đặt trong WEKA
Hình 3.3 là các biểu đồ so sánh kết quả phân lớp bán giám sát của GHSSOM với LibSVM khi
thay đổi số lượng mẫu dữ liệu huấn luyện có nhãn. Nhận thấy GHSSOM phân lớp tốt hơn trong
trường hợp tập dữ liệu phân bố rõ ràng, sự tương đồng giữa các phần tử trong cùng một lớp cao.
Nguyên nhân là vì GHSSOM sử dụng nguyên tắc học cạnh tranh, nên nó gom các mẫu dữ liệu có sự
tương đồng cao vào cùng một lớp. Khi tỉ lệ mẫu dữ liệu huấn luyện có nhãn càng nhỏ thì kết quả phân
lớp của GHSSOM càng tốt hơn so với LibSVM.


17

Hình 3. 3 So sánh kết quả phân lớp bán giám sát của GHSSOM và LibSVM


18
3.5. Kết luận chương 3
Chương này đề xuất một cấu trúc phân tầng tăng trưởng và một thuật toán học bán giám sát của
SOM cho mục đích phân lớp dữ liệu. Mơ hình đề xuất có thể thực hiện cả hai nhiệm vụ phân lớp bán
giám sát và phân lớp truyền thống, với có kết quả phân lớp bán giám sát tốt hơn so với phân lớp
truyền thống và tốt hơn so với một số phương thức phân lớp khác.
CHƯƠNG 4: MỞ RỘNG CẤU TRÚC, THUẬT TOÁN HỌC CỦA MẠNG NƠRON TỰ TỔ
CHỨC CHO BÀI TOÁN PHÂN CỤM DỮ LIỆU
4.1. Tổng quan về sử dụng mạng nơron tự tổ chức cho phân cụm dữ liệu
4.2. Phát biểu bài toán phân cụm dữ liệu

4.3. Cải tiến thuật toán học mạng nơron tự tổ chức cho phân cụm dữ liệu
Thuật toán mạng nơron tự tổ chức cải tiến cho phân cụm dữ liệu được gọi là SOM-P (SOMPartitional).
4.3.1. Ý tưởng của thuật tốn cải tiến
Trước tiên, thuật tốn thiết lập r nhóm tạm thời (r là tổng số nhóm cần đạt được), sau đó liên tục
kết nạp hoặc loại bỏ phần tử của các nhóm này để đạt giá trị hàm mục tiêu (4.1) nhỏ hơn sau mỗi lần
học của mạng (theo k-means).
r

E    w  centeri

2

(4.1)

i 1 wQi

trong đó: r là tổng số nhóm; Qi là tập các nơron của nhóm thứ i; w là trọng số của một nơron thuộc
tập Qi; centeri tâm nhóm thứ i.
Giả thiết ban đầu tất cả các nơron thuộc về một nhóm, gọi là nhóm 0. Nhóm 0 khơng thuộc tổng
số r nhóm cần hình thành. Gọi Nq.nhom là nhóm của nơron Nq, ta có Nq.nhom=0 với q=1..ab,
trong đó ab là kích thước lớp Kohonen. Với mỗi mẫu đầu vào v tại lần huấn luyện thứ t, phân nhóm
các nơron trong bán kính lân cận của BMU theo các nguyên tắc sau:
-

Nguyên tắc phân ly: Xét điều kiện xác định nhóm cho BMU như sau:

d  wBMU , centerBMU   

(4.2)

trong đó: wBMU là trọng số của BMU; centerBMU là tâm của nhóm mà BMU thuộc về (là một
trong r nhóm hoặc nhóm 0).

centerBMU 

1
QBMU



Ni QBMU

wi

(4.2a)

với: QBMU là nhóm chứa BMU; wi là trọng số của nơron thứ i trong nhóm QBMU;
d  wBMU , centerBMU  là khoảng cách từ BMU đến tâm của nhóm chứa nó;  =Sc là ngưỡng phân
ly, với: 0<≤1 là tham số xác định ngưỡng phân ly; Sc là khoảng cách trọng tâm (Centroid
Distance) của tập dữ liệu.

Sc 

1
N

N

 d  x , center 
k 1

k

với: N là tổng số mẫu dữ liệu; xk là mẫu dữ liệu thứ k; center là tâm của tập dữ liệu.
Nếu điều kiện (4.2) thỏa mãn, xảy ra hai trường hợp:

(4.2b)


19
Trường hợp 1: Nếu số lượng nhóm hiện tại nhỏ hơn r (r là số nhóm tối đa) thì thêm một nhóm
mới và gán BMU vào nhóm này (BMU.nhom = chỉ số nhóm mới)
Trường hợp 2: Nếu số lượng nhóm hiện tại bằng r thì gán BMU vào nhóm khớp nhất với nó nếu
có thể. Nhóm thứ k (với k≤r) được xác định là nhóm khớp nhất với BMU nếu thỏa mãn các điều kiện
sau:

d  wBMU , centerk   min d  wBMU , centeri  với i=1..r

(4.3)

d  wBMU , centerk   d  wBMU , centerBMU 

(4.4)

i

trong đó: centeri, centerk là tâm nhóm của các nhóm thứ i, k.
-

Nguyên tắc tranh chấp: Giả sử Nq  QBMU và Nq.group  BMU.group thì kết nạp Nq vào

nhóm chứa BMU (Nq.group = BMU.group) nếu điều kiện dưới đây thỏa mãn:

d  wq , centerBMU   d  wq , centerq 

(4.5)

trong đó: wq là trọng số của nơron Nq.
4.3.2. Thuật toán học cải tiến SOM-P cho phân cụm dữ liệu
SOM-P gồm 5 bước, trong đó: bốn bước đầu tiên giống thuật toán SOM gốc, chỉ bổ sung Bước
5 xác định nhóm cho BMU và các nơron trong bán kính lân cận của BMU [9A].
Bước 1: Khởi tạo mạng.
Lặp:
Bước 2: Cạnh tranh (đưa một kích thích vào mạng và xác định BMU).
Bước 3: Hợp tác (xác định bán kính lân cận của BMU).
Bước 4: Thích nghi (cập nhật trọng số cho BMU và các nơron trong bán kính lân cận của
BMU).
Bước 5: Xác định nhóm của BMU và các nơron trong bán kính lân cận của BMU (theo các
nguyên tắc phân ly và tranh chấp).
Cho đến khi thỏa mãn điều kiện dừng: đạt được số lần huấn luyện nhất định hoặc mạng đạt trạng
thái cân bằng.
4.4. Mở rộng cấu trúc mạng nơron tự tổ chức cho phân cụm dữ liệu
4.4.1. Cấu trúc mạng nơron tự tổ chức mở rộng
hai lớp
Mạng nơron tự tổ chức có cấu trúc mở rộng
gồm hai lớp, được gọi là SOM-2 (Hình 4.1). Lớp
thứ nhất là SOM hai chiều để biểu diễn bản đồ đặc
trưng của tập dữ liệu; lớp thứ hai là SOM một chiều
để phân nhóm các nơron của lớp thứ nhất.
4.4.2. Thuật toán huấn luyện mạng nơron tự tổ
chức mở rộng hai lớp

Tại lần huấn luyện thứ t, một mẫu vào x=(x1,
x2,..., xn) được gửi tới mạng. Quá trình học của
mạng thực hiện lần lượt trên các lớp như sau:

Hình 4.1. Minh họa cấu trúc mạng SOM-2

Lớp 1 (lớp Kohonen): Các nơron được cập nhật theo thuật toán SOM gốc. Mỗi nơron tại lớp 1 sau khi
được cập nhật sẽ kích hoạt một nơron thuộc lớp 2 và tiếp tục cập nhật mẫu dữ liệu vào cho lớp 2.


20
Lớp 2: Các nơron được cập nhật theo nguyên tắc học cạnh tranh tương tự như thuật toán SOM gốc.
Với mỗi nơron thứ i nằm trong bán kính lân cận của BMU1 thuộc lớp 1, thực hiện:
 2
 2
+ Xác định nơron chiến thắng tại lớp 2 (BMU2): là nơron thứ c (với 1 ≤ c ≤ r) thỏa mãn công
thức sau:



1
2
1
2
dist  wi   wc   min wi   wj 
j



(4.6)


1
trong đó: wi  là trọng số của nơron thứ i thuộc lớp 1 nằm trong bán kính lân cận của BMU1; w j là
trọng số của nơron thứ j thuộc lớp 2, với j=1..r.
2

+ Gán nơron thứ i thuộc lớp 1 bằng nhóm của BMU2: Labeli= c
+ Tăng giá trị bộ đếm phân nhóm counteric2 lên một đơn vị.

 2

+ Xác định bán kính lân cận tại lớp 2 theo công thức sau:

 t 
R  t   R0 exp    2  
  

(4.7)

trong đó: R(t) là bán kính lân cận của lớp 2 tại lần huấn luyện thứ t; R0 là bán kính lân cận khởi
 2
tạo của lớp 2 (khởi tạo bằng kích thước mạng);  

T
là hằng số thời gian, với T là tổng số lần
log  R0 

học của mạng.
+ Cập nhật trọng số của các nơron thuộc lớp 2 nằm trong bán kính lân cận R(t) của BMU2 (bao gồm

cả BMU2) theo mẫu đầu vào:
2
2
2
w j   t  1  w j   t   pij  t  Li  t  hci  t  hc  j  t  v  w j   t  


2

(4.8)

2
trong đó: w j   t  là trọng số của nơron thứ j thuộc lớp 2 nằm trong bán kính R(t) của BMU2; Li  t 

là tỉ lệ học tại lần lặp thứ t của nơron thứ i thuộc lớp 1 (1.7); hc  j  t  là hàm lân cận xác định cho nơron thứ
2

j thuộc lớp 2 trong bán kính lân cận BMU2, xác định theo công thức sau:
 4 || r    rj ||2 
c

hc  j  t   exp  
2
R
 t  

2

2

(4.9)

pij  t  là xác suất nơron thứ i của lớp 1 thuộc vào nhóm Cj (với j=1..r) tại lần huấn luyện thứ t. pij  t 
được xác định theo công thức (4.10).
pij  t  

counterij  t 
r

 counter  t 
k 1

(4.10)

ik

Công thức (4.8) cho thấy tham số tỉ lệ học của đơn vị thứ j trên lớp 2 được tính dựa vào các thành phần:
xác xuất, tỉ lệ học và hàm lân cận của nơron trên lớp 1 kích hoạt đơn vị j, tức là:

Lj   t   pij  t  Li  t  hci t 
2

trong đó: i là nơron trên lớp 1 kích hoạt nơron j trên lớp 2.

(4.11)


21
4.5. Thực nghiệm thuật toán học cải tiến và mạng tự tổ chức mở rộng hai lớp
Bảng 4.1 trình bày kết quả phân loại của SOM-P và SOM-2 trên các tập dữ liệu thực nghiệm.

Bảng 4. 1 Kết quả thực nghiệm phân cụm của SOM-P và SOM-2
SOM-P
SOM-2
Tổng
Tập dữ liệu
Số mẫu bị
Tỉ lệ phân
Số mẫu bị
Tỉ lệ phân
số mẫu
phân loại sai loại sai (%) phân loại sai loại sai (%)
XOR
4125
2045
49.58
2042
49.50
Aggregation
788
180
157
22.84
19.92
Flame
240
43
39
17.92
16.25
Pathbased

300
82
27.33
90
29.67
Spiral
312
205
65.71
195
62.50
Jain
373
90
65
24.13
17.43
Compound
399
125
31.33
181
45.36
R15
600
176
29.33
183
30.50
Iris

150
17
11
11.33
7.33
Vowel
990
854
86.26
879
88.79
Zoo
101
25
20
24.75
19.80
Ghi chú: Các kết quả trong bảng là giá trị trung bình của 10 lần thực nghiệm.
Kết quả phân loại của SOM-P và SOM-2 có sự tương đồng nhau, trong đó phân loại tốt hơn đối với 5
tập dữ liệu Aggregation, Flame, Jain, Iris và Zoo. Đây là các tập có sự phân bố cụm và hình dạng cụm rõ
ràng, dữ liệu của các cụm tập trung, ít bị xen lẫn và khơng có sự bao nhau giữa các cụm.
(1) So sánh SOM-P, SOM-2 với thuật toán GWCA và một số phương thức khác (Wang, 2009) khi phân
loại tập dữ liệu Iris và Zoo
Bảng 4. 2 So sánh SOM-P, SOM-2 với GWCA và một số phương thức khác
Tỉ lệ phân loại đúng (%)
Tên phương thức
Ghi chú
Iris
Zoo
SC

91
64
CSPA
86
56
HPGA
69
58
NMFC
89
62
WC
89
70
EGWCA
92
72
Sử dụng hàm Euclidean
eGWCA
90
75
Sử dụng hàm Exponential
SOM-P
88.67
75.25
SOM-2
92.67
80.20
(2) So sánh SOM-P, SOM-2 với GSOM, KGSOM (Senanayake, 2015) khi phân loại tập Zoo
Bảng 4. 3 So sánh SOM-P, SOM-2 với GSOM và KGSOM

Độ chính xác
Khả năng nhớ
Tên phương thức
(Precision)
(Recall)
GSOM
0.8894
0.4250
KGSOM
0.9182
0.7036
SOM-P
0.7884
0.6933
SOM-2
0.8987
0.7536
Ghi chú: Các độ đo Precision và Recall đạt được của SOM-P và SOM-2 là trung bình của 10 lần thực
nghiệm. Xét một cách tương đối thì SOM-2 phân loại tập Zoo tốt hơn so với các phương thức còn lại do
tổng các độ đo Precision và Recall lớn nhất.


22
(3) So sánh SOM-P, SOM-2 với một số phương thức (Leela, 2014) khi phân loại tập dữ liệu Iris
Bảng 4. 4 So sánh SOM-P, SOM-2 với một số phương thức khác
Tên phương thức
Số cụm đạt được
Tỉ lệ phân loại đúng (%)
K-means
4

82
Improved Y-means
2
85
FC means
5
81
Mountain
3
77.4
Subtractive
4
75
SOM-P
3
88.67
SOM-2
3
92.67
(4) So sánh SOM-P, SOM-2 với một số phương thức phân cụm trong WEKA
Bảng 4. 5 So sánh tỉ lệ phân loại sai của SOM-P, SOM-2 với một số phương thức
Hierarchical
Simple
SOM- SOMTập dữ liệu
LVQ MTree EM
Xmeans
Cluster
Kmeans
P
2

XOR
NOT
40.15 47.15 49.70 49.70
49.70
49.58 49.50
Aggregation
17.51
33.38 35.66 7.49
21.70
20.18
22.84 19.92
Flame
35.42
29.58 18.75 34.17 15.83
15.42
17.92 16.25
Pathbased
63.00
40.67 47.67 29.67 25.67
25.67
27.33 29.67
Spiral
0
64.74 64.42 64.74 65.71
65.38
65.71 62.50
Jain
25.74
19.84 19.57 8.85
11.80

11.80
24.13 17.43
Compound
23.81
48.37 50.38 19.30 19.80
32.08
31.33 45.36
R15
27.67
12.67 44.00 9.83
9.33
19.67
29.33 30.50
Iris
34.00
56.00 44.00 9.33
11.33
12.00
11.33 7.33
Vowel
88.48
85.86 73.54 78.29 79.19
82.02
86.26 88.79
Zoo
12.87
19.80 49.51 20.79 18.81
13.86
24.75 19.80
Ghi chú: “NOT” là khơng có kết quả do máy tính sử dụng cho thực nghiệm không đủ bộ nhớ để thực

hiện phương thức phân cụm “Hierarchical Cluster”.
So với một số phương thức phân cụm cũng sử dụng phương pháp phân cụm phân hoạch được công bố
gần đây và đặc biệt là một số phương thức phân cụm được cải tiến từ SOM, thì SOM-P và SOM-2 phân
cụm tốt hơn. Tuy nhiên, so với một số phương thức phân cụm truyền thống thì kết quả chưa có sự nổi bật.
Có hai nguyên nhân chính: Một là, SOM-P và SOM-2 phải thực hiện hai lần phép ánh xạ dữ liệu để phân
cụm. Lần một là ánh xạ các mẫu dữ liệu tới các nơron đại diện cho chúng. Lần hai là gom các nơron có
trọng số tương đồng nhau vào cùng một cụm. Hai lần ánh xạ này có thể tạo ra sai số cao hơn so với các
thuật toán phân cụm trực tiếp. Đây là hạn chế chung của tất cả các phương thức phân cụm được phát triển
từ SOM. Hai là, việc phân nhóm nơron sử dụng phương pháp phân cụm phân hoạch là chưa phù hợp vì
thực tế các cụm dữ liệu phân bố trên bản đồ đặc trưng có thể khơng phải dạng hình cầu.
4.6. Kết luận chương 4
Chương này đã trình bày hai phương thức cải tiến mạng nơron tự tổ chức cho phân cụm dữ liệu. Thứ
nhất, cải tiến thuật tốn học của SOM cho mục đích phân cụm dữ liệu. Thứ hai, mở rộng cấu trúc SOM cho
mục đích phân cụm dữ liệu.
Cả hai phương thức đề xuất được phát triển dựa trên phương pháp phân cụm phân hoạch. Do đó, các
phương thức này phù hợp để áp dụng đối với các tập dữ liệu có các cụm hình cầu, kích thước và khoảng
cách giữa các cụm đều nhau.


23
KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI LUẬN ÁN
1. Kết luận
Với mục tiêu nghiên cứu cải tiến cấu trúc, thuật toán học của mạng nơron tự tổ chức, luận án đã thực
hiện các nội dung nghiên cứu:
Nghiên cứu tổng quan về mạng nơron tự tổ chức và các biến thể của mạng nơron tự tổ chức, phân tích
các hạn chế và giải pháp đã được các nhà nghiên cứu sử dụng để khắc phục những hạn chế này. Ngoài ra,
tổng hợp các đặc điểm chung được áp dụng để phát triển các biến thể của mạng nơron tự tổ chức. Các
nghiên cứu này là cơ sở để phát triển các hướng nghiên cứu của luận án.
Các nội dung nghiên cứu chuyên sâu của luận án tập trung theo hai mục tiêu chính sau: Thứ nhất, cải
tiến thuật tốn học nhằm cải thiện chất lượng bản đồ đặc trưng của mạng nơron tự tổ chức. Thứ hai, cải tiến

cấu trúc và thuật toán học của mạng nơron tự tổ chức ứng dụng cho bài toán phân lớp và phân cụm dữ liệu.
Các kết quả cụ thể gồm:
(1) Bổ sung tham số điều chỉnh cho hàm lân cận dạng mũ để đạt được bản đồ đặc trưng có chất
lượng tốt hơn với hai độ đo lỗi lượng tử và lỗi hình trạng đều giảm. Tức là cải thiện được cả hai
tiêu chí chất lượng học và tính bảo tồn quan hệ lân cận của dữ liệu.
(2) Đưa ra thuật toán điều chỉnh trọng số nơron để giảm lỗi lượng tử. Mục tiêu là nâng cao chất
lượng học của mạng hay cải thiện tính chính xác của dữ liệu đại diện. Tuy nhiên, hạn chế của
thuật tốn là lỗi hình trạng tăng tỉ lệ nghịch với lỗi lượng tử.
(3) Đưa ra một cấu trúc phân tầng tăng trưởng và thuật toán học bán giám sát của mạng nơron tự tổ
chức cho bài tốn phân lớp dữ liệu. Mơ hình đề xuất có thể hoạt động như một mơ hình phân
lớp truyền thống hoặc phân lớp bán giám sát. So với nhiều mơ hình phân lớp khác, mơ hình đề
xuất phân lớp chính xác hơn, đặc biệt trong các trường hợp số lượng mẫu dữ liệu huấn luyện có
nhãn nhỏ.
(4) Cải tiến mạng nơron tự tổ chức cho bài toán phân cụm dữ liệu. Bao gồm hai đề xuất: Một là, cải
tiến thuật toán học của mạng áp dụng cho bài toán phân cụm dữ liệu. Hai là, đưa ra một cấu trúc
mạng hai lớp và thuật toán học của cấu trúc đề xuất áp dụng cho bài toán phân cụm dữ liệu.
Các phương thức này phân cụm chính xác hơn so với một số phương thức phân cụm khác sử
dụng phương pháp phân hoạch và một số phương thức phân cụm được phát triển từ SOM.
(5) Cài đặt thực nghiệm các cấu trúc và thuật toán cải tiến sử dụng 12 tập dữ liệu giả định và thực
tế đã được công bố.
2. Hướng phát triển của đề tài luận án
Các nội dung nghiên cứu của luận án có thể tiếp tục hoàn thiện và phát triển. Một số hướng phát triển
cụ thể của luận án như sau:
-

-

Tiếp tục nghiên cứu các phương thức để cải thiện chất lượng bản đồ đặc trưng của mạng, nhằm đảm
bảo giảm đồng thời cả hai độ đo lỗi lượng tử và lỗi hình trạng. Ngồi ra, có thể nghiên cứu mở rộng
thuật tốn học của các biến thể mạng nơron tự tổ chức để cải thiện chất lượng bản đồ đặc trưng của

các biến thể này.
Cải tiến kỹ thuật lan truyền nhãn của mạng nơron tự tổ chức phân tầng tăng trưởng học bán giám
sát GHSSOM nhằm cải thiện độ chính xác phân lớp.
Nghiên cứu kỹ thuật phân nhóm nơron của SOM dựa trên tính chất về khoảng cách giữa các nơron
thay vì sử dụng tư tưởng của phương pháp phân cụm phân hoạch để cải thiện độ chính xác phân
cụm của các giải pháp đã đề xuất.