Phương pháp tối ưu tổ hợp trong công nghệ tri thức

ĐẠI H ỌC QU ÕC GIA HẢ NỘI
PHƯƠNG PHÁP TÓI ƯU TÔ HỢP
TRONG CÔNG NGHỆ TRI THỨC
(Báo cáo tổng hợp
Dê tài nghiên cứu khoa học cấp ĐH QGHN do Khoa quàn lý )
Mã số: QC 05.04
Chủ nhiệm đề tài: Hoàng Xuân Huấn
ĐAI HOC GUỐC GIA HA NỘI
TRUNG TAM ĨHÒNG TIN THƯ VIỆN
o õ õ b õ o c õ õ
~ ĩ i
___
Hà Nội - 2006
MUC LUC
* *
l.Phần mờ đầu.
1.1. Danh sách những người tham gia thực hiện đề tài
3
1.2.Tóm tất các kết quả chính của đề tài




3
3. Nội dung chính.
2.1. Đặt vấn đề 7
2.2. Tồng quan các cấn đề nghiên cứu

7
2.3 Nội dung và kết quả nghiên cứu 9
2.4. Ket luận và kiến nghị 11

3. Tài liệu tham khảo
11
4. Phụ lục (Các bài báo đà công bố, trích tóm tắt hội thảo và bìa các luận văn thạc sỹ.
4.1. Multi-Level Ant System - a new approach through the new pheromone update
for Ant Colony Optimization


.
13
4.2. Phương pháp lặp huấn luyện mạng nội suy RBF

19
4.3. Một mở rộng thuật toán phân cụm k-mean cho dữ Jiệu hỗn hợp

3 3
4.4 Xác định phần tử ngoại lai trong cơ sở dữ liệu quan hệ 39
4.5. Phát hiện phần tử ngoại lai theo luật họp thành và ứng dụng trong việc phát
hiện sai sót trong chửng từ kế toán 50
4.6. ủ n g dụng cây quyết định vào xác định rủi ro kiểm toán 54
4.7. Phát hiện phần tử ngoại lai trong cơ sở dữ liệu quan hệ nhờ phân tích hồi quy.58
4.8. Phân cụm nửa giám sát với mô hình phân cấp
69
4.9. Tóm tắt báo cáo tại Đà Lạt
4.9.1. Mạng nơron RBF địa phương nội suy

82
4.9.2. Nâng cao hiệu quả các thuật toán đàn kiến thông qua cài tiến đồ thị trạng thải 83
4.93. ửn g dụng kernel method vào bài toán phân cụm dữ liệu
85
4.10. Bìa các luận văn Thạc sĩ.

5.10.1 .Giải thuật di truyền trong các bài toán phân cụm dữ liệu

86
5. ld.2. Phân cụm dữ liệu trong không gian có chướng ngại vật

87
5.103. Hệ trợ giúp quyết định trong công tác đảm bào kỹ thuật

88
5.Phiếu đăng ký kết quả nghiên ciru 89
2
I. Phần mỏ’Đầu.
Danh sách những nguửi tham gia thực hiện đề tài.
TT
Họ và tên
Học
vị
Chuyên
ngành
Cơ quan công tác
1
Đinh Mạnh Tường
PGS
Tin học
Khoa CNTT
2
Phạm Hông Nguyên
TS
Tin học
Khoa CNTT

3
Nguyên Phương Thái
ThS
Tin học
Khoa CNTT
4
Đinh Quang Huy
CN
Tin học Khoa CNTT
5
Phạm Hông Thái
TS
Tin học
Khoa CNTT
6
Hoàng thi Ngọc Trang
CM
Tin học Khoa CNTT
7
Lê Minh Khôi
CN
Tin học
Khoa CNTT
8
Bùi Ngọc Thăng
CN
Tin học
Khoa CNTT
9
Đô Trung Tuân

PGS
Tin học
ĐHKHTN
10
Đô Đức Dông
CN
Tin học
Học viên cao học
11
Đặng Thị Thu Hiên
ThS
Tin học
Đại học giao thông
12
Phạm Mạ Thủy
ThS
Tin học Kiêm toán nhà nước
13
Nlguyên Thị Xuân Hương
ThS
Tin học
ĐHDL Hải Phòng
14
Nguycn Trung Thông
sv .
Tin học Khoa CNTT, K46 CA
15
Hoàng Xuân Huân
TS
Tin học Khoa CNTT

16
Trân Quôc Long ThS
Tin học
Khoa CNTT
17
Nguyễn Văn Vinh
ThS
Tin học Công ty Lạc Việt
18
1 Ioàng Văn Đức ThS
Tin học
Sỏ' giáo dục Hài phòng
19
Nguyễn Hữu Mùi
MCS
Tin học ĐIISP Hà Nội
3
II. Nội dung chính
1. Đặt vấn đề
Công nghệ tri thức hiện nay đang là lĩnh vực nóng thu hút nhiều nhà khoa học quan tâm
nghiên cửu và ứng dụng. Lĩnh vực này đòi hỏi các kiến thức về toán học, cơ sờ dữ liệu và
trí tuệ nhân tạo dể khám phá tri trức mới từ các cơ sở dữ liệu lớn. Khó khăn chính khi
giải quyêt các bài toán trong công nghệ tri thức là phải tìm một phương pháp thích hợp để
giải quyết bài toán tối ưu tổ hợp tương ứng như: tìm kiếm lời giải, phân lóp dừ liệu và
tìm kiếm phần tử ngoại lai
Đe dáp ứng với sự phát triển cùa nghiên cứu khoa học và nâng cao trình dộ đào tạo trong
trường, chủng tôi đi sâu nghiên cứu cơ bản và khả năng ứng dụng của các bài toán:
• Phân lớp dữ liệu và ứng dụng trong y- sinh học, xử lý ảnh và xử lý ngôn ngữ tự
nhiên.
• Thuật toán toi ưu đàn kiến và ứng dụng.

• Phát hiện phần từ ngoại lai và ứng dụng trong kiềm toán nhà nước.
Ngoài nghiên cửu chuyên sâu và khả năng ứng dụng cụ thể, thông qua nghiên cứu và
xcminc khoa học ờ bộ môn, việc thực hiện đề tài góp phần nâng cao trình độ khoa học
cho cán bộ cung cấp chủ đề nghicn cứu cho học viên sau đại học và các cán bộ trẻ.
2. Tổng quan các vấn đề nghiên cứu.
2 .1. Bài loan phùn lớp dữ liệu và ứng dụng.
Phân lớp dữ liệu là bài toán lớn của lũih vực học máy bao gồm 2 bài toán: phân loại mẫu
(học có giám sal) và phân cụm (học không giám sát ngày nay chúng đang được úng dụng
rộng rãi dể khai thác dữ liệu (Data mining). Có nhiều thuật toán phân lóp và việc sử dụng
chúng phủi tuỳ theo bài toán cụ thể. Các thuật toán phân lớp dang dược ứng dụng có hiệu
quá dỏ phân loại; xử lý vãn bản, chẩn đoán bệnh và chọn phương pháp điều trị, nghiên
cứu cấu trúc di truyền các loài sinh học, xử lý ảnh
2.2. Thuật toán tối ưu đàn kiến và ứng dụng.
Thuật toán tối ưu dàn kiến do M. Dorigo đề xuấl nhờ kết hợp tìm kiếm ngẫu nhiên và học
tăn" cưòng dỏ tìm lòi giải và nay phát triển thành hướng nghiên cứu mới, dược gọi
chung là phươim pháp lối ưu dàn kiến để giải các bài toán toi ưu tổ hợp khó. hờ đề xuất
này mà tháim 11 năm 2003 M. Dorigo đã được nhận giải thưởng đặc biệt của hội đồng
châu âu. Các năm 2000, 2002 dã có các hội nghị quốc tế về phương pháp ACO và từ năm
'’004 lói nay hùim năm có nliicu hội thào, hội nghị liên qitaa lỏi các thuật toán này và các
lịnh vực ừng dụng nỏ.
2.3. riìá l h iện p h tin lử n ạ o ụ i la i và ửníỊ d ụ ng .
Phần từ ngoại lai là các dổi lượm; dừ liệu có nhiều khác biệt so với các dữ liệu khác trong
một tập dữ liệu. Bài toán phát hiện phần từ ngoại lai là bài topán do lập của bài toán phân
lớp Tuy theo cách hiểu về tính khác biệt mà người ta có các định nghĩ khác nhau vẽ phân
8
tử ngoại lai va trên cơ sở đó đưa ra các Ihuật toán tìm kiếm thích ứng. Việc tìm kiếm,
phát hiện phân tử ngoại lai đang là bài toán quan trọng trong data mining và có nhiều
ứng dụng đê phát hiện các sai sót, gian lận trong tài chính kế toán nói riêng và làm sạch
dừ liệu nối chung.
3. Nội dung và kết quả nghiên cứu.

Dưới đây chúng tôi trình bày các kết quả nghiên cứu theo trình tự các vấn đề nêu trên và
tách riêng 2 mục cuối giới thiệu kết quả đào tạo và ứng dụng.
3.1. Bài loan ph ân cụm dữ liệu.
Phân một tập dữ liệu thành các tập con sao cho các đối tirợng trong tập con tương tự
nhau, còn các đôi tượng thuộc các tập con khác nhau thì khác nhau theo một nghĩa nào đó
là một bài toán quan trọng trong khám phá tri thức từ dữ liệu.
Trong số các thuật toán phân cụm, thuật toán k-mean (MacQueen ,1967) có nhiều ưu
điêm và dược sử dụng rộng rãi, đặc biệt khi phân cụm các lập dữ liệu lớn.
Ban dâu thuật toán này và các biên thê của nó chỉ làm việc với dữ liệu sô, sau đó đã có
mội số mớ rộng dể làm việc với dữ liệu định danh hoặc dữ liệu hỗn họp, nhưng các thuật
toán này làm mất đi một số ưu điểm cùa thuật toán nguyên thủy. Chúng tôi đề xuất một
mở rộng thuật toán này cho dữ liệu hỗn hợp gọi là thuật toán k-tâm, thuật này được công
bổ trong [3]: "Hoàng Xuân Huấn và Nguyễn Thị Xuân Mương, M ột m ở rộng ihuãl toán
phân cụm k-m cun cho dữ liệu hôn hợp, Kỷ yếu hội thào quốc gia về các vấn đề chọn lọc
của CNTT I lãi Phòng, 25-27 tháng 8 năm 2005" . Thuật toán được thử nghiệm cho bài
toán phân loại bệnh gan trong bệnh viện Việt tiệp Hài pl ông.
Mặt khác, mặc dù có nhiều ưu điểm, nhược điểm chính của các thuật toán k-mean là: 1)
chất lượng cùa kết quả phân cụm phụ thuộc vào cách chọn tâm ban đầu, 2) khó xác định
số cụm k. Đẻ hạn chế các nhươc điểm này, gần đày nhiều tác giả giải quyết theo hướng
học nửa giám sát, trong đó việc phàn cụm được thực hiện dựa trên các thông tin bổ sung
từ người dùng, nhờ đó mà hiệu quà được cải thiện rõ rệt. Tuy vậy, trong các cải tiến này
vẫn chưa đưa ra được phương pháp phân tích nào để tăng hiệu quả xác dịnh đúng sổ cụm
cho ihuật toán. Chúng tôi đề xuất một thuật toán theo mô hình phân cấp (xem [4]) nhờ
kết hợp thuật toán Seedcd-Kmean (Basu ct al, 2002) với tiêu chuẩn thông tin Bayes để
xác định số cụm k và các cụm con. Các thí nghiệm trên bộ dữ liệu chuẩn UCI cho thấy
giãi pliúp này (hực sự có V nựhĩa trong việc dự đoán K một cách chính xác mà vẫn giữ
dược càu Irúc cụm tôt.
Ngoái ra một nghiên cứu bước dầu vồ ứng dụng phương pháp hàm nhân (kernel
method ) vào bài toán phàn cụm dữ liệu đà đựoc nhận báo cáo tại hội thào quôc gia lân
thứ 9 vồ các vấn dồ chọn lọc cùa công nghệ thông tin tại Đà Lạt ngày 15-17/6/2006 (xem

[10]).
3.2. Thuật toán lòi ưu đàn kiên.
9
I huậl toán tối ưu dàn kiến để tìm lời giải cùa bài toán tối ưu tổ hợp nhơ đưa bài toán cần
giải vê bài toán tìm kiêm trên đồ thị cấu trúc nhờ thông tin heuristic và thông tin học tăng
cường thể hiện bời cường độ vết mùi.
Chúng tôi đề xuất phương pháp cập nhật mùi đa mức để cải tiến hiệu quả thuật toán.
Thuật toán này trình bày trong [11]: "Dinh Quang Huy, Do Due Dong and Hoang Xuan
Huan, M ulíi-Level A nt System - a new approach through the new pherom one update fo r
Ant Colony O ptimization. Proc. O f the 4th IEEE international conference on Computer
Sciences research, Inovation& Vision for Future"
Ngoài ra một nghiên cứu ban đầu khác để nâng cao hiệu quả các thuật toán đàn kiến
thông qua cài tiến dồ thị trạng thái cũng đã được báo cáo hội thảo quốc gia lần thứ 9 về
các vấn dề chọn ỉọc của công nghệ thông tin tại Đà Lạt (xem [9]).
3.3. Phát hiện phân tử ngoại lai.
Cho đến nay các tiếp cận nghiên cưu phát hiện phần từ ngoại lai đều dựa vào phân tích
nội tại đặc lính của tập dữ liệu mà chưa lấy thông tin từ nguồn dữ liệu. Chúng tôi đua ra
các khai niêm mới về phân lừ ngoại lai trong cơ sở dữ liệu có phụ thuộc hàm. Các phụ
thuộc hàm naỳ là ihông tin của các chuyên gia trong lĩnh vực nguồn dữ liệu cung cấp. Mô
hình này được phát triển dựa trên các nghiên cứu ứng dụng cùa kiểm toán nhà nước và
được công bổ Irong các bài báo sau [3-6]:
• Phạm Hạ Thuỷ, X ác định phan tử ngoại lai trong cơ sờ d ữ liệu quan /ít?, l ạp chí
tin học và diều khiển học, T 21, S4, 2005, 352-360.
• Phạm I lạ Thuỷ, Phát hiện phan tử ngoại lai theo luật hợp thành và thìg dụng
trong việc phái hiện sai sót trung chứng lừ kẻ toán, Tạp chí tin học tài chính, s
29 (tháng 1 1-2005). 25-25.
• Phạm Hạ Tliuỷ, ứ n g dụng cây quyết định vào xác định rủi ro kiêm toán, Tạp chí
kiêm toán số 8 (60) (tháng 11-2005), 32-34.
• Hoàng Xuân Huấn và Phạm Hạ Tliuỷ, Phái hiện ph ầ n tử ngoại lai trong CO' sở
dữ Hậu quan hệ nhỏ-phân tích hồi quy, Tạp chí tin học và điều khiển học, T22,

Sl, 2006, 45-52.
3.4. Dào tạo và nâng cao trình độ cán bộ.
Xcmine cua bộ môn dược lổ chức vào thứ bày hàng tuần để cán bộ và học viên trình
bàv kci quá nghicn cứu và các tìm hiểu mới dã góp phần nâng cao trình độ cán bộ trong
bộ môn dặc biệt là cán bộ (rè. Bộ môn có 2 nghiên cửu sinh (môt người mới thi năm nay
nhưn" dã iham gia lừ Irước), 2 thực tập sinh và một số học viên cao học đang nghiên cứu
về các bài toán Irong lĩnh vực này. Trong đó có 3 luận văn thạc sỹ dã bảo vệ trong thời
gian qua:
• N<’iiyền Thị Xuân Hương: Giải thuật di truyền trong các bài toán phân cụm dữ
liệll
• Hoàng Vãn Đức: Phàn cụm dữ liệu trong khôim gian có chướng ngại vật.
10
• Nguyễn Hữu Đông: Hệ trợ giúp quyết định trong công tác bào đàm kỳ thuật.
Các học viên Đỗ Đức Đông, Đinh Quang Huy đang hoàn thành luận văn cao học.
3.5. Nghiên cứu ún g dụng.
Các nghiên cứu ứng dụng và một số chương trình thử nghiệm đã được thực hiện và
công bố trong các bài báo, báo cáo khoa học và luận văn thạc sĩ. Đặc biệt các nghiên
cứu ứng dụng phát hiện phần từ ngoại lai để phát hiện gian lận, rủi ro trong kiểm toán
nhà nước [3-6]; phân loại bệnh lý [2] đang được tiếp tục phát triển.
4. Kết luận.
Tóm lại trong một năm thực hiện, đề tài đã góp phần năng cao trình độ cho cán bộ và
học viên, có 8 bài báo và báo cáo khoa học đã công bố trong các hội thào quốc gia,
quốc tế và tạp chí, ngoài ra có 3 báo cáo khác đã trình bày hội thảo quốc gia và sẽ tiép
tục dược phát triển để công bố chính thức.
Bộ môn có 2 thực tập sinh, 2 nghiên cứu sinh đang tiếp tục nghiên cứu và 3 luận văn
thạc sỹ dă bào vệ.
Tài liệu thani kháo
[1] Hoàng Xuân Huấn và Đặng Thị Thu Hiền, Phương p háp lặp huấn luyện m ạng nội
suy RBF, Kỷ yếu hội thào quốc gia về các vấn đề chọn lọc của CNTT Hải phòng, 25-
27 Iháng 8 năm 2005, NXB Khoa học kỹ thuật năm 2006, 274-283.

[2] I-loàng Xuân Huấn và Nguyễn Thị Xuân Hương, Một m ờ rộng thuật toán phân cụm
k-iiicuii ch o ch7' liệ u h ôn h ợp , K ỷ yêu hội thảo CỊUÔC gia v ê các vân đê chọn lọc cua
CNTT Mài Phòng, 25-27 tháng 8 năm 2005, NXB Khoa học kỹ thuật năm 2006,284-
290.
[3] Phạm Hạ Thuỷ, X ác định p h ần lử ngoại lai trung cơ sỏ- dữ liệu quan hệ,Tạp chí tin
học và điều khiển học, T 21, S4, 2005, 352-360.
[4] Phạm Hạ Thuỳ, Phát hiện phần từ ngoại lai theo luật hợp thành vù ứng dụng trong
việc phát hiện sai sót trong chửng lừ kể toán, Tạp chí tin học tài chinh, s 29 (tháng
11-2005), 25-25.
[5] Phạm Hạ Tluiỷ ứ n g dụnạ cây quyết định vào xác định rủi ro kiểm toán, Tạp chí
kiổm toán số 8 (60) (tháng 1 1-2005), 32-34.
[6] Hoàng Xuân Huấn và Phạm Mạ Thuý, Phát hiện ph ần tử ngoại lơi trong cơ sờ dừ
liựu (/nan hự nhờ plìủn lích hói £Ịiiy, Tụp chi tin học V3 đicu khicn học, T22, Sl,
2006, 45-52.
Ị7 1 Hoàng Xuân Huấn và Nguyền Trung Thông, Phân cụm nửa giám sát vói mỏ hình
phàn cấp Kỷ yếu hội thào quốc gia lần thứ hai vồ nghiên cứu CƯ bản và ứng dụng
công nghệ thông tin (FAIR) 2005. 251-260.
[8] Hoàng Xuân Huấn và Đặng Thị Thu Hiền, Mạng neuron RBF địa phương nội suy,
Báo cáo hội thảo quốc gia lần thứ 9 về các vấn đề chọn lọc cùa công nghệ thông tin
tại Đà Lạt, 15-17-6-2006. Tóm tất báo cáo trang 32.
[9] Đồ Đức Đông; Đinh Quang I-Iuy và Hoàng Xuân Huấn, Nâng cao hiệu quả các thuật
toán dàn kiên thông qua cải tiến đồ thị trạng thái Báo cáo hội thảo quốc gia lần thử
9 về các vấn đề chọn lọc cùa công nghệ thông tin tại Đà Lạt, 15-17-6-2006. Tóm tất
báo cáo trang 52.
[10]Bùi Ngọc Thăng và Hoàng Xuân Huấn, ứng dụng kernel method vào bài toán phân
cụm dữ liệu.Báo cáo hội thảo quốc gia lần thứ 9 về các vấn đề chọn lọc cùa công
nghệ thông tin lại Dù Lạt, 15-17-6-2006. Tóm tất báo cáo trang 87.
[11] Dinh Quang Huy, Do Due Dong and Hoang Xuan Huan, M ulti-Level Ant System -
a new approach through the new p herom om update fo r Ant C olony O ptimization.
Proc. or the 4th IEEE international conference on Computer Sciences research,

Inovation& Vision for Future, Februry 12-16 2006, HCM city, Vietnam, 55-58.
's h&'rv AjaX;
Proceedings of the
4th IEEE International Conference on Computer Sciences
Research, Innovation & Vision for the Future
February 12-16, 2006 Ho Chi Minh City, Vietnam.
TABLE OF CONTENTS
Optimal Path Planning for Air Traffic Flow Management under Stochastic \v eather
and Capacity- C onstraints
A lexandr e J 'A S P R E M O N T , D evo n S O H ỈE R , A m a b N IL IM , Lau rent E L G H A O U l, Vu D U O N G
Princcton University, USA.
Enhancement of A G T Telecom munication Security using Quantum C ryplửs rap'1>'

Q uo c-C uon ii LE , Patrick u EL LO T
LTC1, Ecolc Nalionalc Supóricurc lies Tiiliicoinimmic.'iiions, Paris, France.
A Percolation Based Model for A TC Sim ula tio n
S o u /can B U N A M O K . D ue H u y T R A N , M arc li t I
LaISC, Ecolc I’ratiquc dcs ] lauics Eludes, Francc.
Improving llic U liuu ic y ol Intrusion D dcctiim III Ad Hoc Networks with Mobile C ode

Jean-M a rc 1‘L R C H E R , O livie r C A M P
ESEO, Angers, Franco.
Imcraclivc Resolution o f Coiiilicts ill a 3D Sicrcoscupic linviromncnt lur Air Traffic C on tro l

M utt C O O i'l.H , M u rats l.A K d i: , riioiifi D A S d
Uiiivcrsily ul l.inkiipmg, Sweden.
More Extensions III* W eak Oblivious Transfer


M in h -D un g D A N G

Ecolc Nuiionnlc Supcricurc tics Telecommunications, Francc.
Probabilistic Verification ol Sensor Netw orks
A k im D E M A lL U i, T homas H E R A U L T , Syivain W Y R O S M iT
LitDL: - hiTI A. I kiiicc
Multi-level Am System A Now Approach 1 lirougl) I he New Plicromuiic Update
lor Ant Colony ()plimi/;itii>i)
Q m inn Huy DIPsIl, D u e D oll1Ị 1)0, Xi/uii I/nail H O A N G
College of Technology. Vietnam National University. Hanoi, Viclii.un
Classifying One Uillinn Dilla with a New Distributed SVM Algorithm
I h a n h S jih i DO, I'rain ’ois I’O l ’I.iyi
Ccnlcr of hiliirmiition Tc-'dmoloyy, Cintho University, Viclnam.
Generating Complete University Course Timetables by Using Local Search M ethod'
Tuan A n h DLÍO.XG, tlo a iiịỊ Tam VO, Q u oc Viet H u n g ,\G L Ì lSj\
Ho Chi Mi nil Cily University ol'Tcchnulogv, Viclnam.
Kcallocaliun 'I line C.ilcukilion According (o Slot Occupation R a ge

F rcdcric F E R C H A L D, A le x a n dre d 'A S P R L M O S T
Eurocomro!, L I'.
A Structured liulcxing Model Li,iscd 0(1 Noun Phrases

B ao-Q u oc HO, Thi H u ll T liuy DO.XG, Jca n -Picrrc C H L V .4L L E T, M a n e-F rance H R U A N D E T
Ho d ll Mull) Cl IN University cf Natural Scicnccs, Vietnam.
Description Logic Approach toi Query Processing o v lt Distributed Learning Metadata Repositories.
tail P uohị; H U A S G I hi. T h anh llin li .YGÍ > /:.V
Center o f Inlormaiton I cc 1111< vlogy. line University ICÌ tuiin
liMr.K-mn: liq iic 'c iii.im c M lmmiics toi rhc I’usi-Puvcssuig 1)1’ Association Rules
\IWII-Iln'p III ) Ml. I Iihric,1 (il ll.l.i.i, lltnri ill<l i Xl)
1 IN A C N K S I K1 1 c lc Pul\ kvlmujiur Jc r i im c iM ic Jc Names [: fill ICC
1
7

17
.23
.32
.40
.45
.55
t
.59
.67
.75
.81
.90
w
rational Conference on Computer Scicnccs - illVFOfi
2-16, 2006, Ho Chi Minh City, Vieinam
Multi-Level Ant System - a new approach
through the new pheromone update for Ant
Colony Optimization
Dinh Quang Huy, Do Due Dong, and Hoang Xuan Huan
'ract— Ant Colony Optimization (ACO ) is a meta-heuristic
:h inspired l>y the study or the licliavlor of rcnl UIII colonies will'll
the shortest path from their nest to food source. A C O lias been
• solving approximately NP-hard problems and its elite effects lias
oved l)y I lie experiments. Currently, two famou; iCO algorithms
I Colony System (ACS) and Max-M in Ant System (MMAS)
d by M.Dorigo and T.Stutzle. In this paper, we introduce I lie idea
lulti-lcvel Ant System (M LAS) and its application as an improved
of Max-M in Ant System (lirouRli 11 novel plimim unc updating
Wc upplicự (he new nl|;ori(lim Cu till' well-known comtiinalnriiil
ntlon problems sticli ns Tnivelinj; Snk'sninn I'rohlc'iM, In which wi

l'd (III1 results of dll' new Iiljjnrllliiii nidi Hull Ilf MM AS
inis. Experimental results based on the standard test (lain showed
^AS algorithm is more effective (linn MM AS In term of l><> I It the
■ mill the l»PSt solution.
'X Terms— Ant Colony Optimization, Traveling Salesman
m, Max-M in Ant System, Ant System.
I. In t r o d u c t i o n
'0 meta-heuristic is a recent optimization technique (see
>] and references therein) inspired the study of shortest
ath finding method of real ant colonies in the natural.
: way, each ant remains a chemical trail (so-called trail)
blowing the others’ trails to llml its path. Ants will
J the way having the higher pheroinone trail
1 trill ion vvilli the higher probability. Thanks 10 the
;t communication (sec [I]), the ants can (md the shorlcst
) the food source and vice versa. According to this idea,
algorithms use the combination between the heuristic
lation and the reinforcement learning information
h the plKTomone Irail of tlic nrlilicinl auls lo solve the
rcl combinatorial opliniizaiion problem by bringing buck
mal path finding problem 011 the slate-built graph.
first application of ACO algorithms is Ant System (see
which WHS proposed IIS nil example ;ipplic;ilion oil (he
novvn Traveling Salesman Problem ( rsP). I lie MMAS
work was supported in pari by Department of Computer Sciences -
o f Tech nolo gy . Vietn am N ation al University, Hanoi u nder Gram
)4.
Qunnc Huy is a teaching assistant in Department of Computer
s. Faculty of Information Technology, College of Technology,
1 National University, Hanoi, Vietnam (e-mail:

n d m v fr rL ’ m .iil c o m ).
Due D o ng is n ow M S student in C ollege o f Tec hno logy, Vietnam
I University Hanoi, Vietnam (e-mail: lUinutlinliicv I.ilu-O com 1.
lg Xuan Huan is senior lecturer in Department of Computer Sciences -
of Technology, Vietnam National University, Hanoi, Vietnam (e-
lanhxfH Villi ixlu VII ).
(see [3, 4]) introduces the upper and lower bounds to the
values of the pheromone trails, as well as a different
initialization of their values. It is ill! improved version of basic
Ant System; the experimental results based on the benchmark
library on the internet showed the elTeci of MMAS. It is more
commonly applied than ACS (see [I, 5]) bccntisc of ils
simplification especially in the ACO’s application domains.
Recently, there arc many successful applications applying
ACO concept to solve NP-liarci problems. However, I hi:
studies on the convergence ;iml dieclivcness of AGO lire
limited. The effectiveness of ACO algorithm is mostly proved
via experimental results with various instances in both average
mill best objective function values.
In this paper, we outlined some opinions about the
disadvantages of MMAS, ACS based oil the old phcromoiiL
update (so-called two-level phcromonc update) and proposed a
new algorithm through a new phcromonc updating scheme by
adding a temporary bound between the upper bound and the
lower bound in order to adjust the random search (based on
the heuristic information) and the reinforcement learning
(based on the pheromone trail of the artificial ants) according
to the experimental maker’s wishes. We called it the Mulli-
Lcvcl Plicromonc Update niul [he proposed algorithm is ;i!xo
called Multi-Level Ant System (MLAS).

Except tfie conclusion anti liirlliLT rcscarcli seclion, this
paper is organized as follows. The basic paradigms of ACO
applied model for Traveling Salesman Problem such as ACS
and MMAS are briefly presented in section II. Ill section III,
we shall discuss the (lisrulv;intai'es of old :iIi|(>]i111ms and
proposed (lie new Mulli-Lcvd Ant System ii I y (II i 111 111 wilh llic
new plicromone update. The experiment;)! results comparison
ol‘some symmetric TSP instances iK-iwecn MMAS and MLAS
is shown oil section IV.
II. A C O i o k T S P
A. Am System for TSP
The popular symmetric Traveling Salesman Problem
(TSP) is represented as follow: given N cities, the salesman
has to find the shortest tour ihrousjt each city only one time
and finish at the starting one.
To be simpler, we consider the problem on the complete
weighted graph G = (V, E), ill which V is set of vertexes (N
vertex es) r ep r esc n ti n u set o f cities anil I; IS sul n f e d u c s (i j)
ỈLLli International Conference nu Computer Sciences - R1VPU6
February 12-16. 20(K>. Ilu Chi M inh Cily. Viclnam
representing ihc links between two vertexes i, je V having the
length d,j respectively (d,j is the distance from city i to city j
and vicc versa).
Therefore, the dircctcd graph has (N-1)! acccptablc lours
and (N-l)!/2 in-dircctcd ones. When N is large, we cannot
proccss all of the paths but only find an acccptablc solution by
some methods such as local scarcl), heuristic search, evolution
compulation or the hybrid of these, TSP is a problem havine
many applications and is still a benchmark problem for testing
(lie cffcct of coinbinaiori;il oplimization algorithms.

Ant System is the first version ol'ACO algorithm classcs.
Almost all later ACC) algorithms arc inherited from Ant
System adding Lhc improvcmcnls oil UVQ basic phases:
Solution Construction mid Phcromonc Updates, There arc
many Ani Systems (ASs); icrc we only consider Ihc am-cyclc
iilfi.orillnn (see I?, 'I) I Ill'll;; hcsl cxpcriinciit.11 results.
la solve TSP. AS uses plicromonc Irai 1 T iissociatcd
cach edge (i, j) which arc initialized by ro . There arc 111
artificial ants, in Ihc t'1' loop; Ihcy run solution consiruclion
piiHxduri: ;ui(l plicroniDiic uptlaIc procedure as follows.
Solution Construction. Initially, each nni IS SCI randomly
ill a sUirlinỵ nolle .iiuI visits oilier nodes 10 solve the p.ilh wilh
analog procedure according to following Si,lie Transition
Rules.
State Transition Rule. We assume the k'h ant is at node i, it
will cl loose next node I willi the following probability
■ \ t ) n
Z
a /
r,, n , , ‘
'< Aim
0
'I J ^ Jk (0
otherwise
( 1)
o



.

ilini|1
-f- if k ‘h uses edge (i.j) in its tor
0
otlicrwise
with Q is a constant parameter.
B. ACS fo r TSP
ACS (see [I. 4, 9]) is the improved algorithm of AStw
two improvements of Slate Transition Rule for s<
Construction and Uvo kinds of Pheromone Update Kultt
Stale Transition R u le: providing the dirccl mclho
balancing between the new edges exploration an
exploitation of priority and problem’s iiccura
inibniKUion. Assuming the k'1' anl on the vertex j,i
clioo.se the following vertex s according lo llie below ruk
A< = I ar-m ax ; / i ! r , (/)//,, } ii'q < q0
I J otherwise
ill which, 1| is a value chosen liiiulomly will) 11
probability 111 [0. 1J, q u € (0,1) is a parameter, j is the
ch osen by for m u la ( 1) will) <9=1.
I’liiTuinonc Update Rule: this type of ACO aigf
proposed two kinds of update rules.
- Loc:il Update Rule: while building ils own solution
ant will visit edges and update their phcromonc inlcns
applying the local update rule:
T,, <~ (1 - +pru
- GIoIkiI U p d a te Kulc: is applied lor (he edges bdonj
the slioi Il-sI p;iih W(t) according to :
111 which.//, u —

. r. (/) IS phcromouc Ira 11 intensity in

a
die currcnl loop .mil ./.(/)]', SCI of vcrlcxcs which IS nol
visiicd by 1 lie kUl .ml ( ii;klu,illy, 111C ail! w ill find an
acccplablc imir
rr, <- + L - \ i { /),
in which L^d) is the length of the lour W(t).
c. M MAS fu r TSlJ
111 tins system (see [7, 8]), the solution consln
visited by t lie kUl .ml (inuluiilly, 111C ail! w ill lĩiul ;m c f • 7
ncccplablc lour. ‘ ■ J
.

In tl'is system (see [7, 8]), the solution consln
n"011!""." K1’ -h" "ululum alli,s[llll-',10n- c;ld' procedure is performed as in AS (ill experiment part
ant will update phe.vmonc trail intensity according to: Q in n ) is chosen by I). After each loop, the phcrorno*
associaicd each edge is globally updated according lo:
T,< t - O -P K ,
r, <r— (1 / >) r + A T \ ( j
111 which, p £ (0.1) Is tile cv.iịxn.Ui; par,under and
A r , - I * : , *
k. I
(3)
.llkl
ill which
A
\p £ { W {t)) if (i, j ) e w(t)j
I nuix jr,

- ( I - f ) ) T ỉ ,0; otherwise
with u(\Y(i)) IS the length of the tour \V(t)

il in it006- K“ c‘Vii1taHi&^iR3K,TSP
Othe^e/i/i on the oldpheromone updates
wc bring out some comments on Che disadvantages
pheromonc updates (called two-level plicromonc
lat focus on two typical ones, there are ACS-
J M M A S-adapted phcrom onc update.
'A ttic s . The disadvantages are that if some edges arc
Rule by any ants from the time t ihen their pheromonc
5i|cL'pdjv! not changeable, however, the intensity ought to
lie dire; decreased comparing to edges that are visited more
ttp lfc
. 1
jblcjii’j MMAS. The disadvantage of this algorithm is its
n Ilic ir.on on searching in the edges belonging to the best
lu ^Accordingly, on one hand, un-visitcd edges and
,es which do not belong to the good solution are not
led. Therefore, Ihc exploration ability is restricted if
1 I'it choscn largely. On the other hand, if T|njn choscn
envise 1C algorithm is elosed with Ihc random scarcli willi
ic information, but the rcinforccmcnt learning biiscd
,|(1|]|I, romone intensity is decreased.
rc some oilier works proposed that to change tile
upper bound Tmjn and Tinnll will gain more cffcct
atic, but it is not flexible. In [10], tlicy proposed the
0 '1 phcromone update with the idea: adding the middle
controlling the rate between the random searches
lsr the heuristic information and the reinforcement
Wttjased on the pheromone intensity. The thrce-lcvcl
improved pheromone update (a hybrid of ACS and
dapted one, in detail see [10]). The pheromone trail

s updated globally according to:
I C onfcrcncc on Computer Scicncqs - RIVF06
(l-p)rIJ+Au ,
pL~'(w(t)) if(i,j)e w (t)
p r 2 if 31 :(i,j)e s(l) ,
/?r, otherwise
(9)
(10)
f| < f 2 is (lie p;irai)tclcis.
paper, vve proposed the multi-level algorithm based
’’ ca: altering the middle bound in the above Ihrcc-levcl
\ the cfTect is proved by experimental results (in the
’ section IV) compared wilh the MMAS adapted
ne update.
iposinạ the new multi-level pheromonc update
I on the advantages of the old plicromone update and
:;orcms on convergence of the pheromone trail (see
proposed the new plieromone updating scheme that
: flexible and more useful than the classical ant system
ns. The new ant algorithm based on that pheromone
vitl alter three bounds of pheromone in llie three-level
T1 with the changeable middle bound for controlling
the reinforcement learning based on thv plicromone trail and
the random search based on the heuristic information. As vve
know, the ACO algorithms combine both of the advantages of
hcuristic algorithm and reinforcement learning algorithm, (hen
they luive below elite strong points:
- Using random search based on the heuristic information
help the sc.'irch process more flexible ill Inrucr splice than
previous heuristic algorithms; therefore we Clin lake the better

solution and may be find the optimal one.
- Using the combination of reinforcement learning through
the information of pheromone trails make us reduce the search
space gradually without rejcctine the uood solution, since then
the quality of that algorithm is improved.
In which, the algorithm’s quality depend much on the
quality of heuristic information, however it is difficult 10
intervene the quality of heuristic methods. For this reason,
considering the learning structure based 011 the pheromone
updates is indispensable lor improving the quality of overall
algorithm. This proposed algorithm used the middle bound as
a lool for adjusting llie search process ci I her binsing (he
random scarch when the finding the better solution based on
pheromone trails is stagnated or biasing the reinforcement
learning when the speed of convergcncc to good solution is
increased regularly.
The algorithm still uses three bounds: rn( r t ill MMAS),
T-, ( T|11;1X in MMAS), and the controlling bound r, : 7\ , this
bound is altered with the boundTt . In details, sec the formula
of update process below:
Online phcromonc update: each ant on the vertex i
visiting vertex j, therefore the pheromone intensity of edge (i,
j) is updated according to:
Ti,j < -/or(.y.+ (l-/ 7 )r , (II)
Offline pheromone update: after all ants find their tour,
the edges belonged to the tour of the best ant (i-bcst or g-best,
see [2]) will be updated nccorclinu lo:
h j < - p T ; j + (1 - p ) r 2 (12)
At first, the phcromone trail inlunsily T is initiated by Ta ,
afler each loop the two bounds Tị and 7\ will be increased

for controlling the direction of artificial ant toward either
random scnrch based on heuristic ill formation or
vcinloi (JCIIII’III leiii k i s o l (III [>1 i r 11»|||(>11C 111loi tiiiilidii.
T, = fa c to r * r i= 1.2 (13)
In which, fac to r, is increasing coefficient as a experimental
parameter control led by users.
When r, is increased, the evaporation process is not
needed and the two bounds T] and T. arc increased
according 10 the controlling rate of tile reinforcement learning
and the random search. The random scarch is performed when
the two bounds Ĩ-! and r, arc dose, ;ind otherwise the
reinforcement learning is performed. The reason why two
processes are performed is because of I wo pheromone update
(11) and (12), the pheromone of visited ( dues will move
ĐAI HOC QUOC GIA HA Nổ']
ĨRUNG TÁM thông tin thư viẻn
57
o n o f c G f i f i f i p &
ILLU International Cunlcrcikic un Comp uter Sctcnccs - KIVKlKi
I cbruary 12-16, 2006, llo Chi Minli C uy , Vietnam
toward r, and the phcroinone of educs belonged to the tour of
the best ant will move toward r, (basing on the notes on
convcrgcnce of ant algorithms, sec [10]).
IV. EXPERIMENTAL RESULTS
Ant Colony Optimization algorithms such as ACS and
MMAS have the better experimental results in TSP than other
optimization techniques as using 3-opt operator, gcnclic
algorithm In this section, we aim lo give an indication of
the performance with rcspcct to solution quality of MLAS; we
present Ihc results ofMLAS comparing with MMAS for some

TSI’s ill Uible I. The TSl’s (Jala were lakcn from the
benchmark website indicated ill .
For the fair comparison, we give the results obtained willi
MMAS (ill [1]). Ill hnlli C\|K'| iim’iiis of MMAS anil Ml.AS,
we lid nut use any IiilmI slmilIi iissociiilal I or IIICI CMsing the
effect in order la compare the performance of Ihc new
phcroinonc update with (lie old one. The increasing
coefficients of two bounds r ^ r , in (13) arc chosen:
fat'liti] 1.3 ami I 1.
W c p crloim ed ihe com p arison betw ee n tw o aluorilh m s ill
liv e ty p ic a l i iisl.m i.es 111)111 sm ;ill ik il.t SCI k> h u u c o n e . I lie
I AIU 1. I
liXl'l KIV.I N I AL HI SI I/IS I O R TS1’ IN STANCES
Result on som e problems o f *. 25 runs for cacli problem, 10.000 Iterations
lor symmetric rs i's , quality IS ihc percentage dcvialion form I lie known
optimal solution.
iitw l is the bcsl rcsull obLiiuciỉ .Iiul A v e ra g e is the average lour length
over 25 runs Jiivcn III hue I and line 2 Willi c.ich instance Some results of
MM AS based oil [3]
The param eters were SCI in ML AS as follow: u 1. [ỉ"2, number of niHs
III
25
, P ' O.K.''.
Note, lltal the average results .1 ml the best results arc all belief (in bold)
lluii I ho OIK’S obi;miK\l l"f MM AS
1*1 tiblini
M M AS
M l . A S
■C« II) 01)".,) 42(> 111 00" .I
ell? 1 tsn

•i : i. II
4 2 6.0 s
: 1 :s?|(i 11(1 „1
: 1; 0 U(I
kroA K ỉU .tsp
1 M)J Ml
21.11)1.:u
: >'■( i l l ! 1"
1 5N3M <0.37“.o 1
LỈ1 ‘JS.lsp
Im U ỉI (Ml
1 (.1)411, (.s
I ;• 1.""„1
42 175
Ini ' 1 s tM>
-Ì '(.(M III
427X5.71
1' 1. '-I
S‘)5‘) 1 1,7(1" .)
M t 7 S3 Isp
■IIis
<)u:o.si
IUI
. ■ '.vi’ .
1 •- il- ;
A c t ) a l u o i 1111 n i ■ p: C N^;it ;ii0 c l l c c l
[ h r o u u l i i h c c x p c r u n c n t i l!
1 cstill.s T i le L O i n p . n L i Ỉ U ’ Mi 1 Ii,l s c d
o n [ \u > o b | c c I i \ c f u n c l iu i i
\ , 11 u L's ọ l u ' lx - . [ ,111v! l.'.i' ,l \C l , 1; c ) t h e I v H C ! c C c l ! Ill

o u t p i t '| H > s a l .i ]Ị■ V‘I !;; Mil
\ I .
\ M ) 1 I
K 1 III K U u l ’ K s
h i l V Í K ' lu su 'i;. ■
1 ■ | V i ' - r " - ' 1
.1 .1 n e w i .’i A n t
Colony Optimization through the new phcromone upa
gained some promising results; however, the best perfj
is not in the benchmark tests so it IS a useful I
applications.
About the idea, the improvement is very usclul bull
difficult lor experiment makers when they have to cog
suitable rate of increasing the rate between anc
experiment works, we used an agent with the parama
controlling this work; il is useful for experiment maken
In llie future, we want to apply the new idea to otb
hard problems besides finding the better and easier cow
for the improvement of our algorithm. The approprm
scarcli will be added in the furllier works.
A C K N O W L E D G M E N T
W i‘ \v<mill like III lltimk all milhui'N mailinncd
rclcmicOh lor all contributed papers of Ant (
Optimization field and who may be concern this papers
Wc also thank the College of Technology, V
National University, Hanoi for all your supports.
k l .l L .U A CT.S
( I J M.Dorijii). O /H i m iitilù n i, / e a rn in g a n d n a t u r a l
clisscitiiLicMt. Milan l\ilylccJini«.|iica 1992.
(2] M .Doriuo, V.M a mezzo and A .Corloni. T h e A n t S yste m : Optima

ư C tih ỉt y o f c o o p e ra ti n g a g e n ts . IEEE, Trans.Sysl, Man, Cl
Vol.26. N o.2, 1996, pp 29 - 4 1.
M .D on go, E .Bonabcau and G.TIicraulaz. A m a lg o rith m s and
Future G en e Co mpui.Syst.l 6(8), pp.851 -8 7 1, 2000.
M.Dorigo and M.D.Caro. T he A n t C o n o iy O p t im iza tio n melalitt
.Vt'kv id e a ill O p ti m iza tio n , D.Corn c, M .D o rig o and F.GIot!
London, u K, MtG raw -lh ll, 1999. pp. I 1-32.
M.Dorigo and T.Slutzlc. TỈĨƯ A m C o lo n y O ffli n iizati on Mclok
A lg o r ith m s , A p p li c a ti o n s a n d A d v a n c e s, 2000.
M.Dorigo and T .Slul/le. A short co nvc rgcn cc pro of for a clau
Culnuy O pt 111II/.IIIoil Algorithm s. 11’ Ií I■, 2002.
1 .Stut/lc and 11.1 loos. M A X -M I N A m S y s te m a n d L o c a l Scant
T n iv rỉỉm y , S illc u n tm p r o b le m . Ililil:, pp 3(19-31*1, 1997
I Nlui/lc iiiul 11 I Ions, .Inf Sv .sfi'tn, I 111111 c ( icuc Cuilip
V o t. I
('.
13]
[4]
[5 ]
w
17]
1«)
[•;]
[10]
itvc/Jitiy, S iilcx tm m p ro b le m . II:Lr, pp 3(19-31*1, 1997
S im /lc .111.1 I i.l 1(MI\, A /. iw f m i A n t .SV.v ft'tn, I I I I u I c ( id le Cninp
nu.H. |)p,VSV-VN, 2000.
v.wij: Xu.ui liiKin and Dilili T run g H oang. O n th e A n t Colon.
J a r PostH Kiii f ’r u h lc m , VN U Journal of Scic nc c , Nai.Sci &. cch-
n" 1 -2 00 2. pp2 9 -3 8 .

Ilu.ing Xu an liujti, O n th e c o n v e r g e n c e o f AC O ulp
{ in.lUUNLi Ijll).
D r . l lo iin u X u nil I I I . .111. ( ir .id iiii ic d [l.m m u II i vers 11 y ( ] 9 7 9 ) , obtaino
li 0111 I here i; vl.iihcmatics I I and li.i\c been n Icclurcr I here stnci
Now, t,c IS V I^c-Hcad ol Ucparm ienl ul C o m pu ter S cicnccs, Faculty0!
iiiluniulh.n I Ctl'iii.'luj;}, U illegc ul Tccliimluyy, Vicliwm Nalional
Liuvltmiv, Iluiu.i Ills currcm research interests arc evolu tionarycMf
•Kid ar.ilki.ii Iiitcllmencc
Dinli CJuanu M in , lie rttcuL-d BSc 111 Infurm.iliun Tccliuoloỵy al Vie
2004. He Is IH1U a MS slujc nt and also*
lir.iJuiig Ji College iiiTcchnulugy, V N U II.
Do Due IJuiijj, He rcccivcj USc in Inlbrm alion T echn olog y al VicWH
N a i K . r . ) ! t n n c r w l ) , i i a n o i i n
2 0 0 4
. l i e I S n o w a M S s i u d c n t I c a c h l N lN a i l . . I L . - . ^ c r s i i ) , Ì I . U
1
UI
111

2 0 0 4
l i e
IS
n o w a M S s t u d e n t [ c a c h i n g
^ - v ^ N IJ ! ;md a liiloim.itics Icaclicr in NguycnH
SCV SUỈ V S,liL,u]. II., IJ.iiiy. 11.1 Tay. Vicin.im.
KỶ YẾU HỘI THẢO QUỐC GIA
HẢI PHÒNG, 25 - 27 THÁNG 8 NĂM 2005
W P Ề CH ộạ,
-*'Ộ H
MỘT SỐ VẤN ĐỀ CHỌN LỌC

• ■ ■
CỦA CÔNG NGHỆ THÔNG TIN
■
Chủ đề: Mã Nguồn mở (Open Source)
BÁO CÁO TOÀN VĂN
NHÀ XUÁT BẢN KHOA HỌC VÀ KỸ THUẬT
HÀ NỘI-2006
Một sổ vẩn đè chọn lọc của Công nghệ thông tin, Hải Phòng 25-27 thảng 8 năm 2005
MỤC LỤC
Lòi nói đầu 7
Mục lục 11
I Nguyễn Hồng Quang, Hồ Tiròng Vinh
NGUỒN MỞ, Tự DO VÀ KHUÔN DẠNG . 17
1 Oậnn ỤuaiiỊ' A
HIỆN THỤC HÓA PHƯƠNG PHÁP LẶP GIẢI MỘT SỔ BÀI TOÁN BIẾN ĐÓI VỚI
PHƯƠNG TRÌNH KIÊU SONG ĐIÈƯ HÒA 28
3 Nguyễn Tliị Minh Ánli, Dinli Việt Cường, Ngô Trí Hoài, Nguyễn Việt Hà
MỎ 1-IỈNH LIÊN MẠNG NƠ-RON ỨNG DỤNG TRONG NHẬN DẠNG KÝ Tự V1ÉT
TAY TiẺNG VII-í' 37
4 Lê Hoài Bắc, Lê Hoàng Thái
THUẬT GIẢI TI ÉN HOẢ XÁC ĐỊNH THAM s ổ HỌC CÚA MẠNG NƠRON LẬP:
ỨNG DỰNG Cl IO PHÂN LOẠI HÌNH ẢNH HOA 47
5 Lê Hoài Bắc, Lê Nguyễn Tường Vũ, Phạm Nam Trung
LỌC PARTICLE VÀ ÚNG DỤNG TRONG QUẢN LÝ GIAO THÔNG ĐÔ THỊ 56
6 Trircnig Hải Bằng, Lc Hải Khôi, Trần Đình Khang
PHÁT TRI ẺN HỆ SUY DIÈN MỜ DựA TRỂN MẠNG THÍCH NGHI TRONG PHÂN
TÍCH Dự BÁO TẢI CIIÍNH 66
7 IMiỊim Việt Bình
MỘT TII-P CẶN MỚI TRONG PHÁT HIỆN BIÊN DựA VÀO CÁC PHÉP TOÁN
1IÌNIITIIÁ1 82

8 Phạm Việt Bình, Cao Lê Mạnh Hà, Đỗ Năng Toàn
MỘT CÁCH TIẾP CẬN MÓI TRONG PHÁT HIỆN BIÊN CỬA ẢNH ĐA CẤP XÁM 92
9 Phạm Việt Bình, Nguyễn Văn Huân
XÙ’LÝ HIỆU ÚNG MÀU VÀ KHÍ QUYÊN t r o n g mô i trư ờ n g THựC.TẠI ả o 103
0 Pliạm Việt Bình, Vũ Thành Vinh
CHƯƠNG TRÌNH DÓ1 THOẠI ĐA PHƯƠNG TIỆN, GIẢI PHÁP THỰC NGHIỆM 111
1 Hồ Viín Canli, Phạm Quốc Doanh, Võ Văn Tùng
NIIẢN d a n g t ự d ộ n g c á c n g ô n n g ũ 't ự n h iê n 120
M ột sổ vấn đề chọn lọc cùa Công nghệ thông Un, H ải P hòng 25 - 27 thảng 8 năm 2005
24 Lê Thanh Hà, Ngô Quốc Tạo,
MỘT SỔ KÉT QUẢ ỬNG DỰNG SVMs CHO NHẶN DẠNG MẶT NGƯỜI 265
25 Nguyễn Việt Hà, Lưu Hồng Vân, Trần Vũ Việt Anh
KHAO SÁT KHẢ NẢNG XÂY DỤNG HỆ THÓNG E-LEARNING DỰA TRÊN NÊN
TẢNG CÔNG NGHỆ PORTAL 271
26 Ngô Đông Hài, Vũ Ngọc Phàn
DIÊU KHIÊN TỐ: ƯU LƯU LƯỢNG MẠNG LỎI CỬA MẠNG THẾ HỆ SAU 278
27 NịỊiiyỉn CônịỊ Hào
ÍSịỊiiycn uontí Iiao
Mỏ ItiNH Cơ SỞ DỮ LIỆU Mờ THEO CÁCH Tllip CẬN DẠI SỔ GIA TỬ
Hoàng Tuấn Hàn, Nguyễn Xuân Hoài, Phạm Thế Long
s ử DỤNG TÌM KIẾM DỊA PIIƯƠNG TRONG LẶP TRÌNH GENE DÙNG VÂN
1'IIAM NỔI CÂY VÀ ỬNG DỤNG TRONG LẬP MÔ HÌNH TOÁN TRONG KHOA
HỌC MÒI TRƯỜNG
285
294
29 Vũ Dinh Hòa, Đỗ Nhir An
DÓ THỊ HAMILTON TỎI DẠI 310
30 lloàri" Xuân Huấn, Đặng Thị Thu Hiền
1’III'ONG PHÁI’ LẬP HUÂN LUYỆN MẠNG NỘI SUY RBF 314
31 Hoàng Xuân lluíín, Nguyễn Thị Xuân Hưong

MỘT MỦ RỘNG THUẬT TOÁN l>HÂN CỤM K-MF.AN CHO DỮ LIỆU I1ỎN IIỢP 324
32 Lê Khánh Hùng
MỘT SÒ GIẢI PIIẢPNÂNG CAO CIIẢT LƯỢNG [)|CII MẢY 331
33 Nguyễn Mạnh Hùng
SEMANTIC SEARCH MỞ RỘNG TỪ SEARCH ENGINE 342
■' I Dinh OiiiiMK Mil), Dinh Mạnli TmYiin
1 INK-CONNHCTF.D: A V ‘í\v APPROACH OP CLUSTERING ALGORITHM FOR
catf.g orical attrib u tes 354
35 N mi yen Xuân 11IIV, LO Thị My Hạnh, Vũ Til i Thanh Xuân,
Huynh Minh Trí, Nguyen Đức Vũ
I If. SINII Clio ÁNI! XA DÓNG VẢ TIIUẶT 1 OÁN TIIU CiỌN II!;. SINK 364
3í' Phan Trung Huy, Nguyen Thị Thanh Huyền
M A NIIỎM TÁC ĐỘNG MỜ VA ỨNG DỰNG 371
Plum Huy Khánh, Trirong Hữu Trầm
\ \Y niJNG CO sở n f I.in; l ‘ừ VỤNG CỤM Từ GÔM LOAI TÙ VẢ DANH TỬ
::í \ c,Y |ỊT 385
13
MộỊ số vun dè chọn lọc cùa CôtỊỊỊ nghệ tỊ/ộng tin, HàiPhÒHỊỊ 25-27 Iliáiiị; cV năm 2005
PHU ONG PHÁP LẶP HUÁN LUYỆN MẠNG NỘI SUY RBF
• • t t
Hoàny Xuân Huấn*, Đặng Tliị Thu Hiền**
*Klioa CNTT, D ại hục CÔIIÍỊ lìg/iệ, Đại học (ỊHOC iỊÌư Hà Nội.
Email: hxhuan2000@yahoò.com
**Khoa C7V77', D ại học iỊÌao lliủiig VỘII lủi, ( 'ầu lỉiẩy, Hà Nội,
Email: dthien200ừ@ yahoo.com
TÓIII tắt. Mail}’ IIIITỈHI RHF là niụiiy, iniyni lái .ỉ nỉ/ụ: (■■ t'iny, tH'itroii), liiựii /ù mội
cóng cụ hữu hiệu đè nội suy và xcỉp xi hàm Iillicit lìiíỉn vù if nục ửiiịỊ c/ụnỵ rộng rủi.
M ục dù thời gian Inuiii luvựn cùa chúng rất ngan so với IIIỌÌÌÌỊ M LI’ nỉiuìiiỊ các
thuật luáiì hiện thời vãn xác định trọng sô túng ru bănx các phư ơ ng pháp cực tiêu
sai số bình phtiưiiỊĩ hoặc g iỏi trực tiếp hệ phư ơng trình tuyên tính. K hi so mắc nội

SIIV lớn /IÍI cúc plnrơnịỊ pitáị) này chậm và sai S(> lớn. Tmiiịĩ bài Iiày chúiìịỉ lôi tie
xinit IIIỘI llìiụil toán 2 pha dê huấn luyện mạng nội suy ìỉiil' với hùm CƯ SỪ bủn kính
i/ụniỊ (iuitxs. 7'roitíỊ pha th ử nhất, tham xô ánh htrừng của hàm d ì sớ bún kinh ihmc
xác định với ,'iự cân dổi giữa if ộc linh lũng quill hòa và tồc độ hội tụ cua pha
sau. Tiẽp theo, các trọng sô tâng ra được xác định nhờ tìm diên) bá! (lộng cua ánh
xụ co. N hờ uv diêm cùa ánh xạ co, thuật toán củ thời gian chạy nhanh, dè ước
liiụiii' sai sò và song song hóa. Thực nghiệm cho ké í quá lót kẽ cà khi sô m ác nội
suy lớn.
1. C1ỚÍ TIIIỆU
Phương pháp nội suy RBP (Radial Basis Function) do Powell dê xufil [10| và ihrọc
Broomlicad và Low giói thiệu như là mạng 1101011 trong [2j, dcn nay là một công cụ hữu hiệu
ilií' nội suy và xáp xỉ hàm Iihicu biến và ilniiịẠ cluọc ứng dụnn rộng rãi (\cm í 1,5,6,1 Iì). Phương
M
pliáp này lim hàm nội suy <p dirới dạng (p(x) - II1, /í(Ị|.v — VA |Ị, ơ k) + sao cho
*=I
ự)(xk ) - ; V/v' - 1, , N , trong do (v* Ị^, là tập vcctơ Irony không gian 11-cliiồu (dược gụi là
cúc mốc nội suy) và V* - f( x k) là giá trị do được của hàm f cần nội suy; hàm thực
/f(ịị.v - ||, rrA) dirợc gọi là hàm cơ sò' bán kính vói tâm V* (M < N ); \vk \ ủ ơ k là các giá trị
Ihain số cnn tìm. 'rinh xấp xì tồng quát và xấp xi tốt nliắl cùa các.hàm cơ sơ bán kinh diên hình
tlà dnợc kháo sát Irong [4,8,91- Trong íló dạng hàm bán kmh ihỏng dụng nhất là ham
Gauss : h{u ơ) - c " ,ơ và tàm là các mốc nội suy (khi dó M=N). Hàm nội suy này có ưu
diêm là tốn" các bình phương sai số cùa no không có cục tiều dịa phương ncn đốn nay các thuật
toán huấn luyện mạng tliườntỉ theo luróng tim cực tiều sai sỏ tông các bình phương hoặc giai
line licp lie pliươny trình nội suy [5], Mặc dù thời gian huân luyện mạng cua các thuật toán nay
n l nhanh khi so với mạng MLP (Multiple-Layered Perccptron) nhưng tóc độ hội tụ vân chậm
31«
M ộ t s ố vần d è ch ọ n lọ c Clio CÔIIỊỊ HỊỊhệ (liôIIị; tin, H á i P h ò n g 25-27 tillin g s IKÌIH 2<>(Ị>
và khó diều khiển, sai sổ iớiì và khó ước lượng. Trong báo cáo này chúng lôi dê xuất thuật toán
hai pha huấn luyện mạng bàng cách giải lập hệ phương trình nội suy. Pha thứ nhát, các bán
kính ơ k dược xác định nhờ cân bang giữa tốc độ hội tụ và tính tông quát hóa. Các trọng sù wk

cùa tầng ra được xác định nhờ tìm điềm bất động của ánh xạ co bàng phương pháp lặp ờ pha
sau. Thuật toán hội tụ nhanh vầ dễ ước lượng sai số và song song hóa. Thục nghiệm cũng cho
thấy thuật toán có hiệu quà khi số mổc nội suy lớn.
Ngoài phần kết luận, nội dung cùa báo cáo được trinh bày nlnr sail . Mục 2, giới thiệu
tóm tắt mạng nội suy RBF và các tiếp cận huấn luyện mạng thông dụng hiện nay. Mục 3 chúng
lùi trinh bày thuật toán luiấn luyện lặp cho mạng nhờ dưa phương trinh nội suy về tìm liièm bât
dộng của ánh xạ co. Kcl quà thực nghiệm và một số nhận XÚI dược giới thiệu trong mục ‘1.
2. MẠNG NỘI SUY RBF VÀ MỘT SỎ VÁN ĐÈ LIÊN QUAN
Trong mục này, trước hết chúng tôi phát biểu bài toán nội suy nhiều bicn và cách tiếp cận
nhờ các hàm cơ sỏ' bán kính, sau dó sẽ giới thiệu kiến trúc mạng nội suy RBF và một sô phương
ph;'ip lui;m Itiyộn (hông dụng liiộn llùri.
2.1. Hài <o:íit nôi suy Iiliiồu hiến và cách liếp cận RBF
Bài toán nội suy nhiều hiền.
Xét hàm nhiồu bién f :D ( c R " ) -> R m cho bời tập mẫu sao cho f(xl > y ;
k=l Ta c;m lìm hàm (p cỏ (king dã biết thỏa mãn :
<p (x')=y\ V i = (1)
Các diểni xksẽ được uọi là các mốc nội suy còn hàm ọ được gọi là hàm nội suy và dược
dùiv’ đề xấp xỉ hàm r trên mien D. Powell (1987) đề xuất tìm hàm nội suy (p nhừ các hàm co sỏ
bán kính dưới dãy giới thiệu kỹ thuật này với các hàm bán kính dạng Gauss {chi Lict hơn xem
15/1,11]).
K ỹ thuật hàm cơ sù hán kinh.
Không giảm tổnc, quát, ta xét bài toán nội suy với 111=1, và số mốc nội suy không quá
nhiều la lìm hàm <p dưới ílạnp, s;ni :
«"(■'■) = (-'■) + >r„ , (2)
A=l
Irontidỏ (pk (.v) = e 1 l: 1 ; V / í ; V (3)
với ||r/|| là ki hiệu chuằn Rucliclc cùa u và vk gọi là lãm cùa hàm cơ so hán kmhí;\ , các
tham số \vk và ơ k cần tìm đc <p thòn mãn các điều kiện nội suy ( ] ):
<7>(.v' ì = y \ \ \ọ k (.v'} + U’„ = V* ; V ; = I /V (4)
Ả=l

315
Một \ó vắn đề chọn lọc của Công nghệ thông tin, Hải Phòng 25 - 27 tháng 8 năm 2005
Với mỗi k, tham số ơ k (còn gọi là tham số độ rộng cùa hàm cơ sờ bán kính) dùng để jiiều
khiển dộ rộng miền ảnh hường của hàm cơ sỡ <pk , khi ||jr - JC*|| > 2 ơ k thì (pk (x) gần triệt tiêu.
Xót ma trận vuông cấp N:
° = ),V.A-; tron ê đó <Pk, = <Pk (-Õ = e ' ịự' xkýlaỉ (5)
vá các tham sỏ dà chọn. Michclli [7J dã chứng minh rang & là ma trận khả nghịch và xác
định dương nếu các mốc xk khác nhau. Vi vậy, với w0 cho trước tùy ý hệ phương trinh (4) luôn
tôn lại duy nhai nghiộm W |, ,,V V N .
2.2. K'iII) trúc niạiiíỉ nội suy RFìF và đặc điềm liunn luyện
Mịing noron nội suy RBF (vc sail sè gọi lá mạng nội suy RBI- cho gọn) dùng đề nội suy
hám lliục II biến ! :D ( c R") —> K"1 lủ một lining 3 lầng Iruyỏn lứi. Tầng vủo gồm II Ill'll cho veclư
tín hiệu vào x e R", tầng ẩn gồm N nơron trong đó nơron thứ k có tâm là mốc nội suy xk và đầu
ra của nó là hàm bán kính <pk (x) tương ứng, tầng ra gồin m nơron xác định giá trị hàm nội suy
của f(x). I lình 1 mô tà một mạng nội suy RBF với n=6; m = l.
Hình 1. Kiền trúc mtniỊỊ nội suy R B F cho hùm f: R (' —> R
( u nhicu cách Inun luyện mạng. Có thề tách riêng một pha đê xác định các tham số độ
‘vny fT. ^1-1 niôi hàm ban kính và sau dỏ tim các tham số wk (pliương pháp 2 pha) hoặc huấn
hụèii I lan nhó ùm cực tiêu sai số tông các bình phương (sum-of-squarcs error )•
f'iw jV i-V m
Ả=l
Ncu Jimi: một phưomg pháp hai pha thì trong pha thứ hai có thề tim các wk nhờ một
plmo.lL; plu.p I'M, dưng hộ phương trình (4) nhưng khi số mốc lỏn đến hàng trăm trờ lên thì các
ph.ip I,ã> s;u số kr„ sa kliũiu; ỉm (lịnh. Vi vậỵ dc.1 nay các trọng số của ling ra van
lhu; 1I,: kllllK' l,m I:iu’ !llnrơn^ Ph;'P hoặc biến the cùa nó ứầ cực tiểu ham li. I lam E
klu.il'.' U ' CMC tic u vli.i p h ư ơ n g Ill'll c á c pliư u ii;. p h á p n à y h ộ i lu t ó i n g h i ộ m c ủ a ( 4 ) , th ụ c l iễ n c h o
Một sổ vồn đè chọn lọc cùa Câng ngliệ thông tin, Híìl Phòng 25 - 27 tháng 8 ttũm 2005
thấy các mạng RBF có thời gian huấn luyện nhanh hơn MLP nhiều. Tuy vậy các phương pháp
tìm cực trị hàm nhiều biến vẫn khá chậm khi số bién lớn và khó điều khiển tốc độ hội tụ, ước
lượng sai số và song song hóa.

Mặt khác, các tham số độ rộng bán kính cũng ảnh hường lớn tới chất lượng mạng và thời
gian huấn luyện (Haykin và Rooney [5,6] có đưa ra cách chọn các tham số này như nhau de
huân luyện nhanh). Nêu chúng được chọn bé thì các điểm xa tâm ít chịu ảnh hường của hàm các
hàm cơ sở còn ngược lại thi tốc dộ hội tụ chậm.
Dưới đây chủng tôi đề xuất một thuật toán hai pha để luiấn luyện mạniỉ. Pha thứ nhắt, các
bán lcính ơ k được xác định nhờ cân bảng giữa tính tổng quát hóa của mạng và tốc độ hội tụ của
pha sail, ở pha thứ hai, các tham số wk dược xác dịnh nhừ tim diổm bất dộng của mội lình xạ co.
3. THUẬT TOÁN HUÁN LUYỆN LẶP
Đặc tính của mạng dược phát biểu trong định lý 1 dưới dây là nền tâng cho thuật toán.
3.1. Dinli lý co' sỏ'
Ta ký hiệu I là ma trận đơn vị cấp N ; w=
gian N-cliiền RN trong dó:
1
1
“\
N
II
.w *.
1
CvJ
2k = >V'V0, v/c < N
và dặt 'V = ĩ - 0 - [r//Ấ . J
j J|VíA'
thi ¥k.j
0; khi: k - ị
- c
,k h ị . k ị
là các vcc to' troniỉ kliônií
(7)
(X)

(9)
Khi đó hệ phương trinh (4) tương đương với hệ :
W = ¥ W + Z (10)
Nhir dn nói ờ mục 2.1, vói các llmm số (Jk dã chọn và w,,lnỵ ý, hệ f‘l) và (lo rliS lu; í 10)
luôn cỏ duy nhất nnhiộtn w. Vc sail ta sẽ lấy \V() là trung bình cụng cùa các giá trị yk:
I JL
Bây giờ với mỗi k < N , ta có hàm qk của ơ k xác định nlitr sau:
ch = Ể k * . J
( 11)
í 12)
Định ỉý ỉ. Hàm qk là đon điệu tàng và với mọi so đirơng q <1 luôn tồn Irii ”iá trị (T sa<!
cho c)k( ơ A )=q.
31'
Một sấ vắn đế chọn lọc của Công nghệ thông tin, Hùi Phòng 25-27 tháng 8 năm 2005
Chừng minh. Từ biểu thức (12) và chú ý tới(9) ta dễ dàng thấy qk là hàm đơn điệu tăng
c iia c j , liơn nữa ta có:
lim q„ = N-\ và lim qk = 0 (13)
ơt - * x ơt —*0
Bời vi qk là hám licn tục nên với mọi q thuộc khoảng (0,1) luôn tồn tại giá trị <Jk sao cho
ơ , )=q (đpcm).
DỊnh lv này cho thấy có thể tìm các ơ k để nghiệm đúng w* của (10) là điểm bắt động
cùa ánli XỊI co ứng với ma trận T và hệ sỏ co là q.
.1.2. M ô 1:1 tliuàl lo:ín
ViVi s:ii số /; và các hang su dương q, (X <1 cho trirớc. tluiụt toán chúng ta gồm 2 pha dc
xúc dị III) cúc lliani su ơ k và w . Trong pha thứ nliát, la SC xác dịnh các ơ k ilc qke [a cj,q\ vứi
mọi k lie cho cluiằn của ma trận '!' tương ứng vói chuẩn vcctơ cho bời (16) thuộc doạn này.
Pha sau tim nghiệm gần đúng w của (]0) bằng phương pháp lặp đon giàn. Thuật toán được đặc
là Iron:1. Iiinh 2.
Proeeđuce lluíui íuyộn mong RBF
Hefjin

for k= I lo N (lo
Xác định các ƠK tic C|t € Ia q ,q Ị ;
ciul.
'I ì 111 w bàng phương pháp lặp lion,
end
Hình 2. Dặc tu thu lục lă/> IIIKIII luyện /HịiiiK
1’lui !. Thuật toán xác (tịnli các thum sỏ bún kính.
(.lion truoc bán kinh khỏi lạo cr(, (cú the lấy là
____
như trong [6]) và số d ươn lị B < 1
V2(2.V)-
rõ) lliiK' 11ICI1 lln i lụ c lịip sau.
Vói mọi k= I loi N,
V - ị , - ■
IỈIMC I Klioi lạo ơ <— ơ ; //khởi lạoơ Tính p= I ' ơ ; //tinh qk
J = I
lỉước: Ncu p e [Uíị.íị] thi ơ k <-ơ vàiiớvcb ưóc 1 với k :=k+l ■
Biu'l 3. \cu p -1| ilii tlnrc hiện tlicu chinh lliam số ban kính dề qke [aq (j]
Một số vắtt đề chọn lọc cùa Công nghệ thông tin, Hải Phòng 25-27 tilling 8 năm 2005
N ~ \* J ” **
3.1. ơ ' <r- fỉơ ; //giảm tham số bán kính:Tính p = ^ e ơ ; //tính lại qk
J =I
3.2. Nếu pe [a<7,ợ] thì ơ k <— cr' và trở về bước 1 với k :=k+l ;
3.3. Nếu p>q thì ơ <— ơ ' và trờ lại 3.1;
3.4. Nếu p<aq thực hiện thủ tục lặp// Thù tục chia đỏi đề tìm ơ k e[ơ,ơ']
, 1 N +
3.4.1. „ » < - £ ± £ 1 ; T ínlip = f>
2 J=\
3.4.2. Nếu pe [aq,q] thì ơk <—ơ° và trờ về bước 1 với k:=k+l;
3.4.3. Nếu p>q thì ơ <— cr° và trờ lại 3.4.1;

3.4.4. Nếu p<aq thi crl <— ơ° và trờ lại 3.4.1;
Bưó'c 4. Nếu p < a q thì thực hiện //điều chinh bán kính để qi(6 [ữq,q}
N '
4.1. ơ ' <— ơ/ n ; //tăng tham sổ bán kính Tính p=2_j e
/ P j=\
4.2. Nếu pe [aq,q ]ih\ ơ k <- ơ ' và trờ về bước 1 với k:=k+l ;
4.3. Nếu p<aq thi ơ <- ơ ' và trở lại 4.1;
4.4. Nếu p>q thực hiện thù tục lặp//Thủ tục chia đôi đề tìm ơ k e [cr,cr'
.v' —X
4.4.1. (T° T ín h p = ^ e ơ“ ;
2 7 ^
4 í\p Nen p r \ơ q j/} ilii fTy < - a ữ v;ì Irờ về liirt'rc 1 với k :=k I I ;
4.4.3. Nếu p>q thì (T1 <- ơ ° và trờ lại 4.4.1;
4 .4 .4 , Non p<aq thi ơ <- (7° và trờ lại 4.4.1;
/>//í7 2. Thuật toán xác (tịnh trọriỊỉ số tầng ra.
ĐỔ (im nghiệm w ‘ cùa hí (10) (a (hire hiện thù tục lặp như sau.
1 . Khởi tạo w°=z ;
2. Tính w '= 'PỈVC+Z;
3 Nếu điều kiện kết thúc chưa thỏa mãn thì gán w° := w ' và trở lại bước 2 ;
4. w '~ w '.
110
Một sỏ vẩn đề chọn lọc của Công nghệ thông tin, Hải Phòng 25 - 27 tháng 8 năm 2005
N
Vứi mỗi vcctơN-chicu u, ta ký hiệu chuẩn Ị|«||. - . điều kiện kết thúc có the chọn
7=1
một trong bicu thức sau.
a) _ 1 _ | w [ - ỈV°II <£ (14)
\ — (Ị
| n £ ( l - ? )
|z ln c - ln||z|ị. + ln(l - q) , x

b) í >

— -— = — —

, vói I là số lần lặp. (15)
lrư/ In <7
Các ilicu kiện dừng này dược suy từ dịnh lý sau vồ tinh hội tụ.
J.J . 1í ;k ' I i i i Ii liụ i (II
Với mỗi vectơ N-chicu u, ta ký hiệu chuẩn ||«|| cho bởi công thức :
1 4 =Ệ b l í 16)
j - \
Dmli lý s;m đàm bào tính hội tụ và cho phép ƯÓ'C lượm? .sai so của tluiật toán.
liỊ/ili lý 2. Thuật toán trô n luôn k é t th ú c sau hữu hạn b iróc và đánh g iá sau đúng.
II IV'- w \ < e (17)
( 'lìíniịi minh.Trước liêl, từ két luận cùa dịnh lý I ta dễ dàng suy ra pha thứ nhất của thuật
Hmii sẽ kct thúc sau hữu hạn bước và qke [a q ,q ]\ả \ mọi k. Tlico định lý 2 mục 9.6 chương I
cùa [3 Ị till cliuAn IỊTịỊ, cùa ma trận T tương ứng với chuẩn vcctơ (16) sẽ là :
Ị|T|j.= max{(yt Je [aọ,i/\ < q (18)
Vi vịi> pha hai lá thu tục lim di cm but dộng 11 - Tí/ H- z của ánh xạ co có hộ số co q vù
xấp \i ban dầu u" - 0, u' = z . Với t bước lập ỏ pha 2 sẽ tương ứng vói t+I bưức lặp
N ' - T í / + z của tliuật toán tim dicni bất dộng trong dịnh lí 1 mục 12.2 chương II cùa [3],
Vi vậ\ la có đ;111 h giá :
Ịị - S Ị | z l , 19)
l-q" " \ - C Ị '
Hicu ihiK- (í 5) tưong throng với vế phải của (19) nhó hơn hoặc bàng c . Mặt khác ỡ bước
aiòi a u pii.i nãi áp dụng 1,19) cho 1=0:ỉ/-' = w"\u' = ỈV'■ áp dụng (19) cho t=0 thi ta
If - 11' < - l _ |
• I -V/1
• 0
U ' - w

K c i h o p I I i I \ OI ( 2 (1) t.i O i I i 7 ). D ịnli lý i lư ự c c lu rn g n u n li
4. THỬ NGHIỆM VÀ NHẬN XÉT
Chúng tôi thử nghiệm với các hàm hai và ba biến có số từ 100 đến 5832 mốc nội suy để
kiêm tra chât lượng thuật toán trên máy có cấu hình: Intel Pentium 4, Processor 2.8GHz,
256MB DDR RAM. Trước hết chúng tôi giới thiệu kết quả thí nghiệm đối với hàm 3 biến
y=X|'.X2/2 + X
2
2.Xj +5 và sau đó trình bày một sổ nhận xét về thuật toán.
4.1. Kết quả thực nghiệm
Bời vì chuân lịiíll, ờ công thức (16) khá lớn khi có nhiều mốc nội suy nên chúnq tỏi dùng
chuẩn H = m a x || và điều kiện kết thúc tính theo cluiẩn này. Ta có ||í/|| < ^1»! , tính hội
lụ cùa thuật toán không bị ànli hướng.
Thí nghiệm nham kiểm tra các đặc tính sau.
1) Tliời gian chạy để huấn luyện mạng với sổ lượng mốc thay dổi trong các trường hợp sai
sỏ /7 = 10"'; CỊ nhộn các giá lrj khác nhau và khi q= 0,8 và sai số i: lliny dổi (xem li.'mi; I).
2) Tính tổng quát của mạng khi q thay đổi nhờ bỏ đi một số mốc và sau khi huấn luyỏn thi so
sánh giá trị hàm nội suy và giá trị đúng đề ước lirợng sai số (xem bàng 2).
4.1.1. Thòi gian huấn luyện
Kết quà chạy với £ = 10'5, q nhận các giá trị 0,6 ;0,8 ;0,9 và q=0,8 còn <r = 10': ' /; I0'7
cho bời bàng san.
Bảng 1: Thời gian huấn IIIvện mạng với hàm X|".x:/2 + X;'.x3 +5; a = /3 = 0 9
Một số vắn đề chọn lọc cùa Công rtghậ ihòtĩữ tin, Hàl Pìthns 25 - 27 tháng 8 năm 2005
^ MB — I—— !
Số mốc
q=0,6; £ = 10’5 q=0,8; £■ = 10'5 q=0,9; £ = 10'5
q=0,8; £ =1G'2
q=0,6; <c = 10'7
125
1” 1”
I ”

1”
1
512 5”
7”
7”
1"
S"
1000
22”
- 29”
29”
25”
30”
1728
1’10”
1’ 25”
1*15”
1 ’20”
] '30”
?,7'M
2 ’ 5 5 ”
‘1’ 10”
3 MO”
• r 2 5 ” 4
.1375
4’45”
6’ 6’30”
5'50" 6' 10”
4096
9’30”

10-25”
12*30”
S’3Ơ
9’
4913
13 ’20”
21’
25 MO”
17' 15
~> 1 ’
5832 Ih36’
2h42’
5 h 5 0 ’
lh5S
>7h
4.1.2. Kiểm tra sai số khi <1 thay đổi
Thừ nghiệm 1000 mốc cách đều nhau trong khoảnn (0,0) —>(1,1) Iilumg đã bo đi ] ]
diem (tức là tập mốc có 989 điềm) với q lần lượt nhận các giá trị: 0,7 ;0,x ,0,9. Sail khi huấn
luyện xong kiểm tra sai số tại các điềm bỏ đi này (là các điểm xa với tíim cùa ham cơ sớ)