Kết hợp mạng nơ ron RBF với thuật toán ACO giải bài toán MLP

Tuyển tập Hội nghị Khoa học thường niên năm 2018. ISBN: 978-604-82-2548-3

KẾT HỢP MẠNG NƠ-RON RBF
VỚI THUẬT TOÁN ACO GIẢI BÀI TỐN MLP
Đặng Thị Thu Hiền
Khoa Cơng nghệ thơng tin - Trường Đại học Thủy lợi, email:

1. GIỚI THIỆU CHUNG

2. PHƯƠNG PHÁP NGHIÊN CỨU

Mạng nơ-ron nhân tạo (Artifical Neural
Network) nói chung và Mạng nơ-ron RBF
(Radial Basis Function) là một trong những
cơng cụ hữu hiệu để giải các bài tốn nội suy,
hồi quy, tìm kiếm địa phương… Bài tốn cực
tiểu độ trễ (Minimum Latency Problem MLP) là bài toán thuộc lớp NP-Khó. Đây là
bài tốn nhận được nhiều sự quan tâm nghiên
cứu vì các ứng dụng thực tế của chúng. Có rất
nhiều phương pháp đã được đề xuất để giải
quyết bài tốn này. Trong đó nổi lên là các
phương pháp meta-heuristic, đã có hàng loạt
các tác giả đề xuất như A. Salehipour et al. [3]
đề xuất thuật toán meta-heuristic dựa trên
GRASP (Greedy randomized adaptive search
procedure) và VNS (Variable neighborhood
search), M. Silva et al. [4] cũng đề xuất một
thuật toán meta-heuristic khác dựa trên lược
đồ của GRASP, ILS (Iterated local search) và
RVND (Random variable neighborhood
descend). Phương pháp tối ưu hóa đàn kiến

(Ant Colony Optimization - ACO) là cách tiếp
cận meta-heuristic tương đối mới và hiệu quả
với bài toán MLP. Thuật toán ACO được
Dorigo đề xuất lần đầu tiên là AS (Ant System)
đến nay có rất nhiều biến thể như MMSA
(Max-Min Ant System), SMMAS (Smooth
Min-Max Ant System) do chưa có tìm kiếm địa
phương đã bộc lộ nhược điểm. Trong bài báo
[1] tác giả đã đề xuất việc kết hợp thêm tìm
kiếm địa phương tạo ra thuật tốn mới
SMMAS_LS bước đầu đã có những ưu điểm.
Bài báo này sẽ tiếp tục cải tiến việc tìm kiếm
địa phương khi dùng mạng nơ-ron RBF kết hợp
với thuật toán SMMAS_LS, nên đã thể hiện ưu
điểm vượt trội thông qua kết quả thực nghiệm
chạy trên các bộ dữ liệu chuẩn TSPLIB[5].

2.1. Bài toán MLP
Cho đồ thị đầy đủ Kn với tập đỉnh
V = {1,2,…,n} và ma trận chi phí khơng âm
C = { cij | i,j=1,2,…,n} với cij là khoảng cách
giữa hai đỉnh i và j. Giả sử T = (v1, v2,…,vn) là
một hành trình xuất phát từ v1 (đường đi xuất
phát từ v1 đi qua mỗi đỉnh của đồ thị đúng một
lần) trên Kn. Kí hiệu P(v1,vk) là đoạn đường đi
từ v1 đến vk trên hành trình T. Ta gọi độ trễ
của đỉnh vk trên hành trình T, ký hiệu bởi
lat(vk), là độ dài của đường đi P(v1,vk):
k 1

lat  v k    i 1 c  vi , vi1  , k  1, 2,K , n

Độ trễ của hành trình T, ký hiệu là L(T)
được định nghĩa như là tổng độ trễ của tất cả
n
các đỉnh thuộc nó: L  T    k 1 lat  v k 
Giả sử v1 là đỉnh cho trước, bài tốn MLP
u cầu tìm hành trình xuất phát từ đỉnh v1
với độ trễ là nhỏ nhất.
2.2 Phương pháp ACO
Dựa theo quy luật di chuyển theo vết mùi
(pheromone trail) của đàn kiến. Các thuật
toán ACO sử dụng kết hợp thông tin kinh
nghiệm (heuristic) và học tăng cường qua các
vết mùi của các con kiến nhân tạo để giải các
bài toán tối ưu tổ hợp bằng cách đưa về tìm
đường đi tối ưu trên đồ thị cấu trúc của bài
toán. Thuật toán ACO đầu tiên là hệ kiến
(AS) đến nay có rất nhiều biến thể.
Thuật tốn SMMSA: Có tư tưởng giống
như MMAS. Sau khi cá thể kiến xây dựng lời
giải xong. Chỉ cho phép cá thể kiến tốt nhất
được cập nhật mùi trong mọi vòng lặp của
thuật tốn (I-best (cá thể kiến tốt nhất tại vịng

163


Tuyển tập Hội nghị Khoa học thường niên năm 2018. ISBN: 978-604-82-2548-3

lặp hiện tại) hoặc G-best (cá thể kiến tốt nhất
đến thời điểm hiện tại)). Để tránh hiện tượng
tắc nghẽn SMMAS sử dụng hai cận trên max,
min để khống chế vết mùi trên mỗi cạnh. Các
vết mùi ban đầu được khởi tạo bằng max cho
tất cả các cạnh. Sau mỗi vòng lặp đều được
bay hơi với hệ số . Hơn nữa, việc thay
1
bởi max không ảnh hưởng tới việc
k
L  w(t) 
học tăng cường. Do đó, thuật tốn SMMAS
đưa ra quy tắc cập nhật mùi như sau:
ij  t  1  1    ij  t   ij  t 
trong đó:

nÕu c¹nh  i, j thuéc w  t 
ij  t    max
min nÕu kh¸c
Khi giải các bài tốn tối ưu tổ hợp MLP,
các thuật toán ACO cho hiệu quả rất tốt khi
kết hợp với tìm kiếm địa phương. Các thuật
tốn tìm kiếm địa phương tìm ra các lời giải
tối ưu cục bộ và áp dụng chúng để cập nhật
mùi. Nên áp dụng tìm kiếm địa phương khi
vết mùi giữa các cạnh đã khác nhau khá lớn.
2.3. Mạng nơ-ron RBF
Mạng nơ-ron RBF [6] là một mạng 3 tầng
truyền tới. Để đơn giản chúng tơi phát biểu
mạng nơ-ron RBF thơng qua bài tốn Nội suy

(hay còn gọi là mạng nội suy RBF cho gọn)
Mạng RBF dùng để nội suy hàm thực n biến
f :D (Rn)  Rm. Là mạng gồm 3 tầng, tầng
vào gồm n nút cho vectơ tín hiệu vào x  Rn,
tầng ẩn gồm N nơ-ron trong đó nơ-ron thứ k
có tâm là mốc nội suy xk và đầu ra của nó là
hàm bán kính k (x) tương ứng, tầng ra gồm m
nơ-ron xác định giá trị hàm nội suy của f(x).
Để đơn giản, ta xét m=1, khi m>1 các nơ-ron
tầng ra sẽ được huấn luyện độc lập theo thuật
toán. Đến nay các trọng số của tầng ra vẫn
thường được tìm nhờ phương pháp gradient
hoặc biến thể của nó để cực tiểu hàm E.
N

E   ((x k )  y k ) 2
k 1

Hàm E không bị rơi vào cực tiểu địa
phương và ln có cực tiểu tồn cục nên các
phương pháp này luôn hội tụ.

3. KẾT QUẢ NGHIÊN CỨU

3.1. Thuật toán mới cải tiến SMMAS_RBF
Kết hợp thuật toán SMMAS và
SMMAS_LS với tìm kiếm địa phương bằng
mạng RBF để giải quyết bài toán MLP là một
cách tiếp cận đầy tiềm năng. Thuật toán
SMMAS áp dụng trực tiếp cho bài toán MLP

với đồ thị cấu trúc G(V, E, H, ) không gian tìm
kiếm là tập hành trình có thể. Ràng buộc  sẽ
được thỏa mãn khi hành trình do kiến xây dựng
là một hành trình đúng (là chu trình Hamiton),
biểu diễn một hoán vị các chỉ số của các đỉnh.
Bảng 1. Lược đồ thuật toán SMMAS_RBF
Procedure Thuật toán SMMAS_RBF
Input: G = (V,E)
Output: Một chu trình tốt nhất và tổng độ dài của
nó;
BEGIN
Khởi tạo tham số, ma trận mùi, m con kiến
repeat
for k = 1 to m do
Kiến k xây dựng lời giải;
Cải tiến lời giải do kiến k xây dựng bằng
tìm kiếm cục bộ dùng mạng RBF;
end for
Cập nhật mùi;
Cập nhật lời giải tốt nhất;
until (Điều kiện kết thúc);
Đưa ra lời giải tốt nhất;
END

Quá trình kiến xây dựng lời giải theo thủ
tục bước ngẫu nhiên được thực hiện như sau:
Lựa chọn đỉnh xuất phát (kiến được khởi gán
bởi hàm ngẫu nhiên trong khoảng từ (1,n)
Thực hiện lặp bước mở rộng bằng cách
thêm một đỉnh kiến chưa đi qua cho đến khi

tất cả đỉnh được thăm.
Tại mỗi đỉnh kiến lựa chọn đỉnh tiếp theo
thông qua thông tin heuristic và thông tin vết
mùi, chọn ngẫu nhiên đỉnh thêm vào theo
phân bố xác xuất này.
Quay trở lại đỉnh xuất phát.
Sau khi tất cả kiến xây dựng lời giải xong.
Ta tìm kiếm cục bộ cải thiện lời giải bằng
mạng RBF.
Cuối cùng là cập nhật vết mùi trên đường
mà kiến đã đi qua.

164


Tuyển tập Hội nghị Khoa học thường niên năm 2018. ISBN: 978-604-82-2548-3

Lặp lại các bước cho đến khi tìm được lời
giải tối ưu.

3.3. So sánh SMMAS, SMMAS_LS và
SMMAS_RBF

3.2. Dữ liệu thực nghiệm

Thực hiện trên thuật tốn SMMAS có tìm
kiếm
địa phương RBF đổi 2 đỉnh cải thiện lời
Thực nghiệm trên bộ dữ liệu chuẩn của bài
tốn TSP đó là TSPLIB [5]: eil51.tsp, giải. Cứ sau 250 bước lặp mà khơng tìm thấy

eil76.tsp, att532.tsp… Bộ dữ liệu phức tạp có lời giải tốt hơn thì khởi tạo lại vết mùi.
Nhận xét: Kết quả thực nghiệm cho thấy,
kích thước là 51 đến 2392 đỉnh. Chúng tơi cài
đặt ba thuật tốn SMMAS, SMMAS_LS và với cùng thời gian chạy 20 giây, thuật toán
SMMAS_RBF. Với mỗi bộ dữ liệu chạy 10 SMMAS_RBF đều tốt hơn so với SMMAS
lần để lấy kết quả tốt nhất, xấu nhất và kết và SMMAS_LS, ngoài ra ở cột giá trị trung
quả trung bình để so sánh. Cả ba thuật tốn bình, tốt nhất, tồi nhất, kết quả khơng chênh
lệch nhiều, thể hiện tính ổn định thuật tốn.
đều được viết bằng ngôn ngữ C++.
Bảng 2. Kết quả so sánh SMMAS, SMMAS_LS và SMMAS_RBF
Dữ Liệu

SMMAS

SMMAS_LS

Tốt Nhất

Tồi Nhất

TB

eil51

11304

11891

11594

9778

9867

9833

9743

9823

9783

eil76

22271

23492

22995

17863

18117

17979

16489

17892

17190.5

eil101

34372

36315

35468

27779

28505

28201

265386

278932

272159

d198

1235769

1300265

1273921

984011

1005367

996461

964753

983248

974000.5

kroA100 1235681

1293697

1267358

956108

969423

962482

944256

967624

955940

8371530

8276317

6355808

6471739

6413166

6334356

6457324

6395840

lin318

8163565

Tốt Nhất Tồi Nhất

SMMAS_RBF
TB

Tốt Nhất Tồi Nhất

TB

pcb442 16212359 16763344 16557123 11140846 11315859 11221289 10435674 11287451 10861562

att532

8720962

8907848

8790766

8720962

8907848

8790766

8697543

8897465

8797504

st70

24171

25547

24861

20887

20988

20916

20123

20988

20555.5

4. KẾT LUẬN

5. TÀI LIỆU THAM KHẢO

Tối ưu hóa đàn kiến là một phương pháp
tiếp cận có nhiều ứng dụng để giải các bài
toán tối ưu tổ hợp. Khi kết hợp với mạng nơron nhân tạo có thể cho chúng ta những kết
quả khả quan. Bài báo trình bày về phương
pháp tối ưu đàn kiến, mạng nơ-ron RBF, đề
xuất một thuật tốn mới kết hợp giữa
SMMAS và tìm kiếm địa phương dùng mạng
nơ-ron RBF để giải bài toán MLP.
Kết quả thực nghiệm cho thấy
SMMAS_RBF có tìm kiếm địa phương RBF
bước đầu cho kết quả tốt hơn hẳn so với
SMMAS và AMMAS_LS với cùng thời gian
chạy. Trong thời gian tới chúng tơi tiếp tục
cải tiến các thuật tốn của mạng nơ-ron RBF.
Hy vọng sẽ có những kết quả đầy hứa hẹn.

[1] Đặng Thị Thu Hiền (2017), “Một hướng
tiếp cận mới giải bài toán cực tiểu độ trễ
MLP”, Hội nghị thường niên trường Đại
học Thủy Lợi 11/2017.
[2] K. Chaudhuri, B. Goldfrey, S. Rao (2003),
and K. Talwar, Path, Tree and minimum
latency tour, Proc. FOCS, 2003, pp. 36-45
[3] A. Salehipour, K. Sorensen, P. Goos, and
O.Braysy (2011), Efficient GRASP+VND
and GRASP+VNS metaheuristics for the
traveling repairman problem, J. Operations
Research, Vol 9. No. 2, pp. 189-209.
[4] M. Silva, A. Subramanian, T. Vidal, and L.
Ochi (2012), A simple and effective
metaheuristic for the Minimum Latency
Problem, J. Operations Research, Vol 221,
No. 3, pp. 13-520.
[5] />[6] T.M. Mitchell, Machine learning, McGrawHill, 1997.

165