Ứng dụng mạng nơrôn trong xử lý tín hiệu viễn thông Phần 2

Chưong 5

CÁC MẠNG HOẠT ĐỘNG THEO
NGUYÊN TÁC T ự TÓ CHỨC
Trong các phần trước chúng ta đã làm quen với các mơ hình hoạt động theo
ngun tắc “có hướng dẫn”, đó là các mơ hình được xây dựng trên cơ sờ các bộ số
liệu gồm các cặp đầu vào - đầu ra tương ứng. Tuy nhiên thực tế ta cũng cịn gặp các
vấn đề, trong đó ta chi có một bộ các số liệu mẫu khơng có đầu ra tương ứng (hay
còn gọi là các mẫu số liệu đơn). Một trong những nhiệm vụ chính khi đó là ta cần
phân tích các sự tương đồng giữa các số liệu, phân nhỏm hay khoanh vùng các số
liệu giống nhau,... Các nhiệm vụ đó được gọi là q trình “tự tổ chức” hay “tự phân
nhóm” (self-organizing) bộ số liệu. Trong chương này, ta sẽ đề cập tới một trong
những cấu trúc mạng giải quyết bài tốn này, đó là mạng Kohonen (hay còn gọi là
mạng SOM - S e lf - Organizing Map) do Kohonen đề xuất [Kohonen89].

5.1. MẠNG KOHONEN
Ý tường của việc phân nhóm và tự tổ chức xuất phát từ thực tế não bộ của chúng
ta là một hệ thống rất phức tạp. cấu trúc của não bộ không thống nhất, bao gồm nhiều
vùng khác nhau. Các nghiên cứu về y sinh hiện nay đã tạm chi ra rằng mỗi một vùng
cùa não bộ có cấu trúc khác nhau, số lượng nơ-rôn và cách két nối giữa chúng khác
nhau, đồng thời mỗi vùng lại chịu trách nhiệm khác nhau phục vụ cho con người. Ví dụ
như có những vùng chịu trách nhiệm về các xử lý hình ảnh, xử lý chuyển động, xử lý
âm thanh,... và những vùng này nhận tín hiệu truyền về từ các “cảm biến” khác nhau
của con người. Ta nói rằng mỗi một dạng tín hiệu đặc trưng của con người sẽ được
chuyển vào một vùng đặc trưng tương ứng bên trong não bộ. Do đó khi xây dựng mơ
hình tốn hợc của mạng Kohonen, ta có tín hiệu đầu vào thuộc về một khơng gian (mẫu
số liệu) cho trước. Khác với trường hợp mạng MLP, mạng Kohonen hoạt động theo
nguyên tắc “tự tổ chức”, có nghĩa là mạng chì hoạt động với véc-tơ đầu vào X , mà
khơng có các mẫu đầu ra

d, tương ứng. Trong bài toán tự tổ chức, khi cho trước một

tập hợp các mẫu số liệu và số lượng trọng tâm M , ta cần tìm vị trí của M trọng tâm c ,.

105


Các mẫu và các trọng tâm được biểu diễn dưới dạng véc-tơ có cùng sổ chiều. Đầu vào
có một bộ số liệu gồm p véc-tơ đa chiều:
*, = [*/i.*í2t—.* iv ]e rA^ ' = 1-► p

Ví dụ trên hình 5.1 là một bộ các điểm trẽn mặt phẳng hai chiều có xu hướng tập
trung thành ba nhóm.
Nhiệm vụ phân nhỏm các số liệu này thành M nhóm, mỗi nhóm được đặc tnmg
bởi một trọng tâm (center)

Cj

=ị c

j ỉ , C j 1 , . . . , C j N '^ &

R N\ j = 1 -> M . Ví dụ, phân chia

và nhóm các số liệu từ hình 5.1 thành ba nhóm ta có kết quả như hình 5.2.

Hình 5.2. Các số liệu được chia thành ba nhóm vùng
(đặc trưng bời các đường biên và các trọng tàm '*’)

106

Với bài tốn thuộc dạng “tự tổ chức” (self-organizing) thì ta chì có thơng tin về
X, chứ khơng có các thơng tin khác. Khi ta có các mẫu số liệu được biểu diễn dưới dạng
các véc-tơ thì mức độ “giống nhau” giữa các mẫu thường được xác định thông qua
khoảng cách giữa các vcc-tơ. Hai véc-tơ có khoảng cách nhỏ sẽ được đánh giá là
giống nhau hom trường hợp khoảng cách giữa chúng lớn. Các trọng tâm của các nhóm
được xác định trên nguyên tắc: “các véc-tơ có khoảng cách gần nhau sẽ được ưu tiên
ghép vào cùng một nhóm”. Thước đo khoảng cách giữa các véc-tơ chủ yếu là sử dụng
cơng thức ơ -clít:
x . c e R * : < / ( x , c ) = | | x - c | | = ^ > ] ( x (. - c , . ) 2

(5 .1 )

Tuy nhiên trong các cơng trình về mạng tự tổ chức, ta cũng có thể gặp các cơng
thức tính khoảng cách khác như [Deza09]:
1. Khống cách tích vơ hướng:
í/(x,c) = 1- X c = 1—llxll •llcll -cos(x,c)

(5.2)

2. Khoảng cách Manhattan:
N

(5.3)

i=l
3. Khoảng cách Chebyshev:

(5.4)

d ( \ , c) = max lx -c .l
i= i- > N

4. Khoảng cách Minkowski:
'( « . o = ^ i k - c , r

Trong trường hợp ta có

M

trọng tàm e,,( = 1 ->

(5.5)
M

và một véc-to X thì trong

quá trình hoạt động cạnh tranh, trọng tâm chiến thắng là trọng tâm có khoảng cách
ngắn nhất tới véc-tơ X đang xét.
Ilx - Cwm||=.min J x - C ,||

(5.6)

ĐỔ có dạng biểu diễn tương tự như các mạng nơ-rơn khác, ta thường sử dụng
mơ hình như trên hình 5.3, trong đó các giá trị thành phần Cịj (i = ì,...,M ; j = l ,...,N )
của M trọng tâm c, được lưu dưới dạng giá trị của các trọng số ghép nổi giữa đầu vào
Xj

và trọng tâm c ,. Mạng trên hình 5.3 có đầu ra của trọng tâm chiến thắng sẽ bằng 1,

các trọng tâm còn lại sẽ bàng 0.

107


C1

y ^ W in n in g ^ .x )

/ z c2

y2=Winning(c2,x)

*1 ---------------►
►3 ĩ > <

X,

•
•

•
•

•
o
•

yM=Wínning(cM.x)

XN ----------------- ►

Hình 5.3. Cấu trúc mạng Kohonen kinh điền

Đây là cấu trúc mạng truyền thẳng một lớp. Tất cà N đầu vào được nối với tất cả
M đầu ra thông qua trọng số

Cịj

.

số lượng đầu vào bằng với số chiều của véc-tơ

X,

trong khi số lượng đầu ra bằng với số lượng của nhóm mà dữ liệu được chia thành. Tọa
độ

Cỳ

(là

X

thứ j của trọng tâm thứ i được coi là hệ sổ đặc trưng của kênh nổi đầu vào thứ j
)

tới trọng tâm. Hệ số đặc trưng này trong các nghiên cứu về mạng nơ-rôn

thường được gọi là trọng số ghép nối (connection weight) hay đom giản là trọng số

(weight). Véc-tơ đầu vào

X

= [X|,JC2,...,JCA,] và trọng tâm c = [c|,c2,...,c Af] thường

được chuẩn hóa về độ dài 1 (tuy nhiên đây là yêu cầu không bắt buộc).
Để dễ dàng mơ tả q trình hoạt động của mạng, ngoài khái niệm khoảng cách
và khái niệm chiến thắng, ta cịn dùng khái niệm “mức độ kích hoạt” (activation level)
của trọng tâm thứ j. Mức độ kích hoạt được xác định trên cơ sở một hàm nghịch biến
với khoảng cách giữa trọng tâm đang xét và véc-tơ đầu vào đang xét. Khoảng cách
càng nhỏ thì mức độ kích hoạt càng lớn. Như vậy trọng tâm chiến thắng là trọng tâm có
mức độ kích hoạt lớn nhất. Một số hàm kích hoạt thường được sử dụng là
[Zimmermann85, LinhOO]:
1. Hàm chuông:
activationc(x) = e

(5.7)

2. Hàm Gauss mở rộng:
activationc(x) =

(5.8)

3. Hàm tam giác:
activationc

108

0

khi

||x - cll > a

khi

||x - c ||< a

(5.9)


Mồi một trọng tâm sẽ xác định một vùng hoạt động của mình, đó là vùng tập
hợp các điểm trong khơng gian mà khoảng cách tới trọng tâm đó là bé nhất so với
khoảng cách tới các trọng tâm khác.
Ví dụ trên hình 5.4a với ba trọng tâm, ta thấy khơng gian được chia thành ba
vùng như trên hình 5.4b. Các phân chia này (còn được gọi là phân chia Voronoi do tác
giả Voronoi đề xuất lần đầu) có các đường biên giới là các đường trung trực giữa các
cặp điểm trọng tâm (nếu ta sử dụng công thức khoảng cách ơ-clít).
C1

¿3

°2

<•)
Hình 5.4. Khơng gian vói ba trọng tâm được xác định (a) và các vùng “chiến thắng" của
mỗi trọng tâm xác định theo công thức ơ -c lit và đồ thị Voronoi (b)

Một phân chia trọng tâm tốt là trường hợp các trọng tâm được đặt giữa các vùng

có mật độ véc-tơ các điểm đầu vào cao. Trên hai hình 5.5 [Osowski99] là ví dụ các
phàn bố như vậy. Hình 5.5a có các điểm đầu vào (dấu *.’) phân bố theo các cạnh cùa
hình vng, các trọng tâm (dấu ‘o’) cũng nằm dọc theo các cạnh đó. Hình 5.5b có các
điềm đầu vào (dấu V ) phân bố theo các hình dạng 2-D và ta cũng dễ dàng nhận thấy
các trọng tâm (dấu 4• ’) cũng được phân bố như vậy.

Hình 5.5. Ví dụ phản bố các trọng tâm phản tán theo các vùng số liệu

109


Ngồi việc định nghĩa các véc-tơ trọng tâm, Kohonen cịn đưa ra đề xuất về
mạng lưới liên kết ảo giữa các trọng tâm này đề hình thành “lưới trọng tâm”. Theo đó,
mỗi mạng Kohonen sẽ có một hàm định nghĩa liên kết giữa các trọng tâm. Hai trọng
tâm có liên kết với nhau được gọi là “hàng xóm trực tiếp”, hay cịn gọi là hàng xóm
bậc 1. Hai trọng tâm Cj và Cj khơng có liên kết trực tiếp nhưng nếu tồn tại một chuỗi các
trọng tâm trung gian c kj sao cho ci = c kữ,ckx,...,ckn= c j đồng thời ckJ và c*y+l là
hàng xóm bậc 1 với mọi j = 0 , . . . , n - \ thì c, và

Cj

được gọi là hàng xóm gián tiếp bậc n

(với n - 1 là số lượng trọng tâm trung gian nhỏ nhất nối giữa

Cj

và

C j).

Ta ký hiệu hàm

định nghĩa bậc liên kết hàng xóm giữa hai trọng tâm là G ( c,, c7).
Đe thuận tiện cho việc lập trinh mơ phịng, ta thường sử dụng các mạng phân bố
theo lưới hai chiều với các cấu trúc hình chừ nhật, hình tam giác, hình lục giác,... như
trên hình sau:

Hình 5.6. Một số cấu trúc liên kết lưới giữa các trọng tâm trong mạng Kohonen
a) Lưới vuông; b) Lưới tam giác; c) Lưới lục giác.

Khi các trọng tâm được liên kết với nhau theo lưới và nếu một trọng tâm dịch
chuyền thì sẽ kéo theo các trọng tâm khác cũng dịch chuyển, nhưng mức độ dịch
chuyển sẽ tỷ lệ nghịch với bậc hàng xóm giữa mỗi trọng tâm với trọng tâm dịch


chuyền chính. Các hàng xóm bậc 1 sẽ dịch chuyển nhiều nhất, các hàng xóm bậc cao
hơn sẽ dịch chuyển ít hơn.
í--------- <1--------- <*—

<>—

<--------- n

\
\
o--------- ịỳ----------i>----------<'—

Hình 5.7.

( 1—

<>
—

•
1
' _

—ĩT&^r.ị,
/

t--------- <*—

\

/

! /

o

- Nơ-rơn dịch chuyển chính

:/
1
1Ị/

o - Các nơ-rơn láng giềng dịch chuyển It hơn

< --------- i

Vi dụ biến dạng lưới các trọng tâm khi có một trọng tâm được dịch chuyển chinh

5.2. Q TRÌNH HỌC CỦA MẠNG KOHONEN
Với mơ hình hoạt động như trên, mạng Kohonen được xây dựng từ một bộ số
liệu ban đầu thơng qua q trình học để xác định các trọng tâm của các vùng số liệu.
Cũng tương tự như các quá trình học của các mạng nơ-rơn khác, hàm mục tiêu của q
trình học mạng Kohonen thường là một hàm phi tuyến và việc tối ưu hóa hàm mục tiêu
này sẽ được thực hiện bởi các thuật toán lặp. Trong mạng Kohonen, ta cần xác định vị
trí của M trọng tàm c • e R v (ỹ = 1,2,...,M ) khi được cho trước một tập hợp p điểm
sổ liệu mẫu x( e R A ( j = 1,2,... , p ) và số trọng tâm M.
Các thuật tốn xác định vị trí này được gọi là các thuật toán học của mạng
Kohonen và được chia thành hai nhóm chính: các thuật tốn học trực tuyến (online) và
các thuật toán học ngoại tuyến (offline). Đồng thời các trọng tâm cịn được gọi là các
nơ-rơn do việc tham gia vào quá trình học đề điều chình các thơng số cùa mình.

5.2.1. Các thuật tốn phân nhóm trực tuyến
Các giải pháp nơ-rôn cổ điển cho vấn đề phân nhóm đã được bắt đầu trong các
cơng trình của Kohonen [Kohonen89], thường áp dụng cách tiếp cận trực tuyển, trong
đó q trình cập nhật của các trọng số được thực hiện sau mỗi quá trình biểu diễn của
mỗi véc-tơ dữ liệu đầu vào X . Với mục đích tìm ra các nhóm số liệu tập trung và xác
định trọng tâm của các vùng số liệu đó, trong q trình học, các nơ-rôn sẽ “tự” sắp xếp
(được hiểu theo nghĩa là chi sử dụng các giá trị X chứ không cần các giá trị đích d như
trong trường hợp học có hướng dẫn).

I 11


Đầu vào của các thuật toán học cho mạng Kohonen bao gồm một tập hợp p mẫu

sổ liệu X, e R iV với / = 1,2,...,/? và số lượng các véc-tơ trọng tâm cần xác định M.
Kết quà cùa quá trình học là vị trí của M trọng tâm c, € R ,v với / = 1,2,...,A /. Quá
trình học của mạng Kohonen cũng sẽ là một quá trình lặp.
a) Thuật toán WTA
Thuật toán trực tiếp đầu tiên là thuật tốn WTA ( Winner Takes All) được thực
hiện theo trình tự các bước như sau:
Bước 1: Khởi động với chi số mẫu số liệu i = 1.
Bước 2: Tuần tự với các giá trị i = 1,2..... p , ta xử lý véc-tơ X,: xác định các
khoảng cách từ véc-tơ X, tới các nơ-rơn trọng tâm c ■, từ đó xác định nơ-rơn chiến
thắng N w

là

nơ-rơn có khoảng cách ngắn nhất tới véc-tơ

X ,.

Bước 3: Cập nhật các trọng số (tọa độ) của nơ-rôn chiến thắng theo hướng dịch
chuyển về gần phía véc-tơ đầu vào X , .
Bước 4: Tăng i lên 1 vào quay lại bước 2.

Hình 5.8. Vị trí b ốn v é c - tơ đ ầ u và o Xi, Xỉ, X}, x4 và hai trọng tằm Ci, Cỉ. K hi x ét v ế c - t ơ x , thì
khống cách d u < d 12 nên trọng tâm Ci chiến thắng

Hình 5.9. Trọng tâm

Ci

được dịch chuyển về phía v é c -tơ

Xí

cịn trọng tám

Cỉ

dứng yên


Lặp lại trình tự này nhiều lần đưa mạng tới một trạng thái được sấp xếp, trong đó
mỗi nơ-rơn biểu diễn một nhóm dữ liệu riêng biệt. Mơ tả minh họa một bước học cho
trường hợp bốn véc-tơ mẫu và hai trọng tâm được thể hiện trên hình 5.8 và hình 5.9.
Thuật tốn này dược gọi là WTA do khi xừ lý một mẫu sổ liệu, chi duy nhất có
nơ-rơn chiến thắng được dịch chuyển về phía gần với số liệu đang xét cịn tồn bộ các
nơ-rơn cịn lại đứng yên.
Trong thuật toán trực tuyến chuẩn, chúng ta cập nhật trọng số của nơ-rôn chiến
thắng N w theo luật sau:
(5.10)
trong đó: t - chi số thời gian rời rạc;

- véc-tơ trọng số của nơ-rôn chiến thắng

Nịỳ, rj(t) - giá trị của bước học tại thời điểm t.
Hệ số bước học rj(t) được chọn trong khoảng giá trị (0,1) (0 tưcmg ứng với
không dịch chuyển c^r+l) =

, 1 - dịch chuyển hồn tồn CN về p h ía x ,:

= X,).

Đe quá trình học ổn định, ta sẽ sử dụng các hệ số học giảm dần theo thời gian. Quá
trinh học sẽ dừng lại khi đạt được số bước lặp chọn trước hoặc khi hệ số bước học quá
nhò rj(t) < £ , với £ là ngưỡng giá trị cho trước.
b) Thuật tốn WTM (Winner Takes Most)
Thuật tốn WTA có ưu điểm nổi bật là đorn giản, chi cần xử lý tuần tự từng số
liệu và từng trọng tâm. Nhược điểm chính của WTA là có thể xảy ra hiện tượng một số
nơ-rôn không bao giờ chiến thắng và sẽ không phải giờ được dịch chuyển vị trí trong

q trình học. Dẻ khắc phục nhược điểm, ta có thẻ sử dụng thuật tốn WTM, trong đó
ngồi nơ-rơn chiến thắng, các nơ-rơn "lân cận" với nơ-rôn chiến thắng cũng sẽ được
dịch chuyển về hướng các số liệu, nhưng với mức độ ít hon. Giải pháp này sẽ làm giảm
đáng kể khả năng một nơ-rơn khơng được dịch chuyển trong tồn bộ q trình học.
Trọng số cùa các nơ-rơn trong thuật tốn WTM:
c , ( f + 1 ) = c y (r)

+ rjj(t)G(Cj,cNw ) [ x ( 0

- c y( 0 ]

(5.11)

Các công thức khác nhau trong việc lựa chọn hàm lân cận G(Cj,x(t)) dẫn tới
nhiều thuật toán học khác nhau. Một thuật học qơ bản là thuật toán Kohonen với hàm
Gaussian, trong đó:

113


(5.12)
trong đó d 2(Cj,x) là khoảng cách Euclidean giữa véc-tơ trọng số cùa nơ-rôn thứj và

nơ-rôn thắng N w và ơ là hệ số vùng lân cận và sẽ giảm theo q trình học.
c) Thuật tốn Neural Gas
Theo cơng thức (5.12) thì các nơ-rơn ở xa có độ dịch chuyển vẫn bị tác động
mạnh bời khoảng cách từ nơ-rơn đó tới điểm mẫu đang xét. Đe giảm bớt sự ảnh ường
này ta có thể sử dụng một thuật tốn mạnh khác được gọi là thuật tốn khí nơ—rịn,
trong đó hàm lân cận được định nghĩa theo vị trí sắp xếp của khoảng cách giữa véc- tơ
đầu vào X và véc-tơ trọng số của nơ-rôn. Trong cách tiếp cận này, chúng ta sắp xếp
các nơ-rôn theo những khoảng cách này, tức là:
dị
(5.13)

trong đó dị = ||x - cm(i) II với i = 1 -> M.
Khi đó, giá trị của hàm lân cận được xác định như sau:
MJ)

G(Cj,x) = e

(5.14)

với m(i) là vị trí của nơ-rơn thứ i sau khi phân loại và Ả là tham số giảm theo thời gian,
có thể được tính theo cơng thức sau:
(

3

(5.15)

5.2.2. Thuật tốn phân nhóm ngoại tuyến
a) Thuật tốn K-mean

Chế độ học ngoại tuyến (offline) còn dược gọi là chế độ học tồn bộ (batch-mode)
của thuật tốn tự tổ chức, cũng thường được gọi là thuật tốn K-trung bình, đưa ra môt
cơ che đơn giản để xác định vị trí các trọng tâm của các vùng số liệu. Thuật tốn
K-trung bình chia một tập hợp các véc-tơ

X

thành các M nhóm và tìm trọng tám

trong mỗi nhóm theo tiêu chí tối thiểu hóa hàm chi phí đo độ khơng đồng dạng hay đo
khoảng cách. Giả thiết ta sử dụng hàm khoảng cách ơ -clit, khi đó hàm chi phí tồn
phần có thể được xác định như sau:
K(
'=• V**eC,

1 14

¡2

(5.16)
/


Thuật tốn này có thể được tóm tất như sau:
1. Chọn một tập các nhóm khởi đầu C / ,
2. Đối với từng mẫu số liệu

X ị

C 2 ....C M ,

tùy ý.

, ta xác định trọng tâm c

gần nhất để xếp X,

vào nhóm thứj đó.
X,

3.

GC,J neu

X,- - c , = min x,
II
711 k = \ _ ; M II

-c,.

Đối với từng nhóm thứ j = 1,2,..., A/ , tính tốn các ngun mẫu nhóm mới là

trung bình cộng của tất cả các véc-tơ trong nhóm j.
= - Z
nj

x,eC j

(5.17)

«I

M
trong đó tĩj chỉ số lượng v éc-tơ x( được gán với nhóm thứ j ( =
p ). Nếu cịn có ít
i=1
nhất một trong số M trọng tâm có tọa độ được thay đổi đáng kể trong quá trình cập
nhât trên (tương đưamg với điều kiên max

1

- c • > E với ngưỡng £ chon trước)
1II

thì quay trở lại bước 2 để tiếp tục điều chình các trọng tâm. Ngược lại thì dừng q
trình học.

Hình 5.10. Trong bước tính tốn trên, các véc tơ X ì và x2 thuộc về nhóm Ci, các v é c -tơ x 3
và X i thuộc vè nhóm Cĩ , do đó trong q trình cập nhật, Ci sé dịch chuyển về phía
trung điểm của X» và Xz cịn Cĩ sẽ dịch chuyển về phía trung điềm cùa x3 và X ạ

Trên hình 5.11 là ví dụ minh họa q trình học mạng Kohonen theo thuật
tốn K-mean cho mạng có cấu trúc lưới hình chữ nhật. Ta có thể nhận thấy sự biển
dạng của lưới chữ nhật đề các trọng tâm có thể được đặt vào các khu vực có số liệu
tập trung.

115


(c)

(d)

Hình 5.11. Kết quà học mạng Kohonen với 30 trọng tâm có liên kết mạng lưới chữ nhật
theo thuật tốn K-means
(a) Sau 1 bước học; (b) Sau 3 bước học; (c) Sau 10 bước học; (d) Sau 100 bước học.

Tuy nhiên do việc tồn tại lưới liên kết dạng hình chữ nhật (một trọng tâm có bốn
trọng tâm lân cận) mà ta cũng có thể nhận thấy một số “mắt lưới” bị rơi vào vùng
khơng có số liệu. Nhược điểm này tiếp tục được quan sát thấy trên hình 5.12 cho mạng
cỏ cấu trúc lưới tam giác.

116


(c)

(d)

Hinh 5.12. Két quả học mạng Kohonen vói 30 trọng tâm có liên két mạng lưới tam giác
theo thuật tốn K-means
(a) Sau 1 bước học; (b) Sau 3 bước học; (c) Sau 10 bước học; (d) Sau 100 bước học.

Để khắc phục được nhược điểm của cấu trúc mắt lưới, trong thuật toán C-mean
sau đây, ta sẽ bỏ quan hệ ràng buộc mắt lưới. Khi đó các trọng tâm có thể được
chuyển động tự do, lượng chuyển dịch chi phụ thuộc vào khoảng cách từ trọng tâm
tới các vcc-tơ mẫu số liệu chứ không phụ thuộc vào quan hệ tương đối giữa các
trọng tâm với nhau.

117

b) Thuật toán C-mean
Trong thuật toán C-mean, các trọng tâm được xác định với sự hỗ trợ của một
đại lượng

Uịj

mới được gọi là giá trị phụ thuộc của véc-tơ

X

thuật toán Kohoncn kinh điển thì mỗi một véc-tơ mẫu số liệu

vào trọng tâm c,-. Theo

j
X

/ được phân chia thuộc

về một nhóm duy nhất mà cỏ trọng tâm c, gần nhất tới véc-tơ đó, khi đó thì giá trị phụ
thuộc của một véc-tơ X tới mỗi trọng tâm c, chi có the nhận một trong hai giá trị là 0
hoặc 1. Cụ thể:

u ij

= / ( X7>c . ) =

jl

nếu

(o

nếu

:||xy —C j II
ngược lại

(5.18)

Trong thuật toán C-mean, các tác giả đă làm “mềm” hóa yêu cầu trên trở thành
giá trị phụ thuộc của một véc-tơ

X

■tới mỗi trọng tâm c, có thổ nhận các giá trị thực

trong đoạn [0,1] và tỷ lệ nghịch với khoảng cách giữa mẫu sổ liệu tới trọng tâm. Điều
này có nghĩa là một mẫu sổ liệu

X j

có thể thuộc về nhiều trọng tâm nhưng hệ số phụ

thuộc vẫn phải thỏa mãn hai điều kiện sau:
1. Tổng hệ số phụ thuộc của một mẫu tới tất cả các trọng tâm bằng 1:
M
Z Mý = 1

i=l

(5.19)

với tất cả các điểm dữ liệu j = 1,2,...,p.
2. Hệ số phụ thuộc tỷ lệ nghịch với khoảng cách: trọng tâm gần nhất sẽ tương
ứng với hệ số phụ thuộc cao nhất.
Từ tính chất 1 (cơng thức (5.19)) ta dễ dàng có:
M

p

p

M

Ỹ ỉ . uu = z L Ĩ L uij = p
i=l 7=1

7=1 i=l

(5.20)

Thuật tốn học C-mean có hàm mục tiêu của q trình học được định nghĩa như
sau [Dunn73, Bezdek81]:
(5.21)
<=17=1

với m e[l,o o ]. Đe tìm giá trị cực tiểu của hàm mục tiêu cho theo (5.21), ta sử dụng
phương pháp tối ưu hóa dựa trên hàm Lagrange L e, được xác định như sau:

(5.22)
trong đó Ả là các nhân tử Lagrange cho các ràng buộc của phưcmg trình trên. Các
điều kiện cần thiết để tối thiểu hàm Lagrange như sau [Dunn73, Bezdek81]:
(5.23)

C; =

và:
“ý

(

Z M d
JL

k=\

(5.24)

\1/(«I-I)

\ dMj

trong đó dụ = c, - X j ị - khoảng cách giữa trọng tâm c, và véc-tơ dữ liệu

Xj.

Từ đó ta

có thuật tốn phân nhóm C-mean có thể được phát biểu như sau:
1. Khởi tạo ngẫu nhiên các vị trí của các trọng tâm c, trong miền xác định cùa
các mẫu số liệu.
2. Xác định ma trận u từ cơng thức (5.24).
3. Tìm M trọng tâm c, sử dụng phương trình (5.23).
4. Tính tốn hàm mục tiêu theo (5.21). Ncu giá trị của E nhỏ hơn một ngưỡng
cho trước hoặc các giá trị trọng tâm mới thay đồi nhỏ hơn mức ngưỡng cho trước sau
một vòng lặp thì sẽ dừng thuật tốn, ngược lại ta sẽ quay lại bước 2 với các vị trị mới
cùa trọng tầm vừa xác định được.

Quá trình này được lặp lại nhiều lần sẽ dẫn tới một cực tiểu nào đó của /r, tuy
nhiên nó khơng nhất thiết là dạt tới giá trị cực tiểu toàn cục. Với các giá trị khởi tạo
ngẫu nhiên ban đầu khác nhau, ta có thể thu được các kết quả cuối cùng hồn tồn khác
nhau. Vì vậy trong các cơng trình nghiên cứu, ta có thc gặp nhiều đề xuất về điều kiện
dừng hoặc một số tiêu chí bồ sung khác để đánh giá chất lượng của việc phân nhóm, để
tù đó có thẻ chọn được kết quả phù hợp.
Trên hình 5.13 là minh họa kết quà học của mạng Kohonen theo thuật toán
C-mean cho bộ số liệu mẫu phân bố giống như trong hai ví dụ từ các hình 5.11 và
5.12. Ta có thể nhận thấy do khơng cịn ràng buộc lưới nên các trọng tâm đã được dịch
chuyển tự do và toàn bộ các trọng tâm đã nằm vào giữa các vùng sổ liệu, khơng cịn
hiện tượng trọng tâm bị nằm ở vùng trống ờ giữa.

119


(b)

J .•» •• • i ' 1•. •••>'
• . •' .ý •• ••• • •

••• • •
.
*
\*
*v •
• t \•
•
• •
•

08

07

oe

05

• . .
• ••• ••• * •
•

04

•\

.

•

•

*

• ;

••
• •
•••
.* •
.. ... A r •' . - •_!_

02

01

02

.

03

.

04

.

05

06

07

0 8

•

08

0. 7

06

05

Â\ '

#
.
•
. . •
• ••%•••+•

••

04

.
*• •

•í*

03

. .

•

. , / .--- >
• '• t
>•••*•• • ..
>• •

*.

09

09

> .
* *
•• • #
••

0. 3

02
01

(c)

02

03

04

.• . • • . A .
. ••V f~.• .•
/• •

05

06

07

08

0

(d)

Hình 5.13. Két quả học mạng Kohonen với 30 trọng tàm theo thuật toán C-means
a) Sau 1 bước học; b) Sau 3 bước học; c) Sau 5 bước học; d) Sau 10 bước học.

Khả năng tự động xác định vị trí các ừọng tâm của các vùng số liệu trong một
bộ sổ liệu cho trước cùa mạng Kohonen có thể được ứng dụng trong khá nhiều bài toán
khác nhau. Phần tiếp theo ta sẽ điểm qua một số ví dụ minh họa cho mạng Kohonen
với các trường hợp từ đơn giản cho đến phức tạp.

12 0


5.3. Vì DỤ ỨNG DỤNG MẠNG KOHONEN

(a)
Hình 5.14. Mẫu phân bố số liệu và ba trọng tâm tương ứng (a) cùng với ba vùng phân loại
và kết quả phân loại từng vùng (b)

Một trong những ứng dụng điển hình cùa mạng Kohonen là sử dụng trong nhận
dạng và phân loại đối tượng đầu vào. Mỗi một trọng tâm Cy đặc trung cho một nhóm
hay một tính chất nào đó. Ví dụ như trọng tâm
nhóm V thì khi véc-tơ đầu vào

X

Cị

đặc trưng cho vùng các véc-tơ của

gần với trọng tâm

Cị

nhất, ta sẽ kết luận

X

có tính

chat V và thuộc về nhóm này. Trên hình 5.14 là minh họa cho vấn đề này. Sau khi trên
cơ sở bộ mẫu số liệu hình 5.14a, ta tìm được ba trọng tâm C |, C2 và C3. Từ đó, dựa trên
nguyên tắc khoảng cách ngẩn nhất, miền xác định của các mẫu được chia thành ba khu
vực. Khi ta có một mẫu số liệu mới, ta xét mẫu đó thuộc vào miền nào và trọng tâm c,
tương ứng sẽ được coi là đặc trưng cho véc-tơ số liệu đang xét, đồng thời véc-tơ số
liệu đang xét sẽ được coi là có cùng đặc tính với các véc-tơ số liệu khác cũng nàm
trong vùng

Cj.

5.3.1. Xác định mẫu cho số liệu hai chiều
Ta bắt đầu với một ví dụ đơn giản là các điểm phân bố trên không gian harchiều
theo một hàm nào đó. Trên hình 5.15 ta có 101 điểm đầu vào được phân bố dọc theo
hình sin với giá trị bước đều Ax = 0,1.
Sau khi có tập hợp điểm, ta tiến hành phân thành 30 nhóm. Kết quả của q
trình học bằng thuật tốn ngoại tuyến C-mean được trình bày trên hình 5.16, theo đó ta
thấy các trọng tâm (được biểu diễn bằng ‘ © ’) cũng được phân bố đều dọc theo các
khu vực chứa các véc-tơ đầu vào.

121


1
08

0.6
0.4
0.2

0
- 0.2

- 0.4

- 0.6

-08
-1

0

1

2

3

4

5

6

7

8

9

10

Hình 5.15. Mẩu 101 điểm số liệu 2-D phân bố theo hàm sin
1
08
06
04
0.2

0
-0 2

- 04
-0 6
- 08

-1

0

1

2

3

4

5

6

7

8

9

10

Hình 5.16. Kết quà phân nhóm và các trọng tâm ị'* ’) cho số liệu từ hình 5.15

Ta lấy ví dụ thứ hai với các số liệu của bài toán xoáy kinh điền (Spiral Problem)
trong đó các điểm số liệu đầu vào được phân bố dọc theo các đường xốy trơn ốc.

12 2


25
2

15
1
05

0
-05

-1
■1.5 -

-2
-2 .5 -----------------*---------------- ‘---------------- >---------------- 1---------------- »---------------- 1---------------- ‘-----------------2
-1 5
-1
-0 5
0
05
1
15
2

Hình 5.17. Mầu số liệu chuẩn spiral

Với tập hợp điểm như trên hình 5.17, ta tiến hành phân thành 40 nhóm. Kết quả
cùa q trình học bàng thuật tốn ngoại tuyến C-mean được trình bày trên hình 5.18,
theo đó ta thấy các trọng tâm (được biểu diễn bằng ‘ © ’) cũng được phân bố đều dọc
theo các khu vực chứa các véc-tơ đầu vào.
2 .5 1----------------- 1---------------- 1---------------- 1---------------- 1---------------- 1---------------- 1---------------- 1----------------

215

-2

.

-1 5

•

.•

-1

-0 5

•

*

0

05

1

1.5

2

Hình 5.18. Kết quả phân nhóm và các trọng tâm ('*') cho số liệu từ hình 5.17

5.3.2. Xác định mẫu cho số liệu đa chiều
Mở rộng cho trường hợp các mẫu số liệu đa chiều, ta sẽ lấy ví dụ với trường hợp
ứng dụng mạng Kohonen trong xừ lý ảnh. Với một ảnh đầu vào cho trước, ta sẽ có một
ma trận điểm ảnh Aự = mã màu tại pixel (điểm ảnh) có tọa độ (ỉ',ý ).

123

Đe tìm các vùng màu ảnh đặc trưng, ta chia nhỏ ảnh đầu vào thành các ảnh con
có cùng kích thước sRy.sC. Khi đó từ ảnh đầu vào kích thước tR XtC , ta sẽ thu được
íR tC
p = — ■—— ảnh con. Chia tâp hơp này thành M nhóm và xác đinh trong tâm của các
sR sC
nhỏm, ta sẽ tìm được các vùng ảnh con đặc trưng cùa ảnh đầu vào.
Trên hình 5.19 là một ví dụ cùa ảnh đầu vào với kích thước 600 X 800. Ành này
được cắt thành các ảnh con kích thước 20x20 . Ta có tập đầu vào 30 -40 = 1200 ảnh
con. Coi mỗi ảnh con này là một véc-tơ có 20 • 20 = 400 thành phần, ta triển khai thuật
toán học mạng Kohonen để tìm 40 trọng tâm cùa mạng.
Kết quả của quá trình học được thể hiện trên hình 5.20.

Hình 5.19. Ảnh đầu vào được sừdụng để kiểm tra mạng Kohonen

Hình 5.20. 40 ảnh con đặc trưng cho tập 1200 ảnh con của ảnh đầu vào
12 4


Chuo'ng 6

L Õ -G IC MỜ VÀ MẠNG NƠ -R Ô N LÔ -G ỈC MỜ
Lô-gic mờ (Fuzzy Logic) là một lĩnh vực nghiên cứu được bắt đầu phát triển khá
muộn so với chun ngành trí tuệ nhân tạo. Lơ-gic mờ bẳt đầu được các nhà nghiên
cứu chú ý tới nhiều hơn sau các cơng trình của Lofti A. Zadeh từ năm 1965 (sau đó ơng
hồn thiện cơng trình của mình và đưa ra lý thuyết về lơ-gic mờ vào năm 1973). Vào
giữa thập kỳ 70 của thế kỳ trước, Ebrahim Mamdani đã đưa ra thiết kế một bộ điều
khiển động cơ hơi nước sử dụng lô-gic mờ. Tuy nhiên lĩnh vực này chi thực sự bùng
nồ sau khi tại Nhật Bản có hàng loạt các giải pháp sử dụng lô-gic mờ được đưa vào
ứng dụng thực tế vào thập kỷ 80 của thế kỷ trước, ví dụ như trong hệ thống điều khiển
tàu điện ngầm, trong các bộ điều khiển quạt, điều hòa, máy giặt,... Ban đầu các hệ

thống sử dụng lô-gic mờ được xây dựng chủ yếu dựa trên các kinh nghiệm của các
chuyên gia, trong đó các thông số của hệ thống được lựa chọn theo kinh nghiệm và
được cài đặt cố định. Tuy nhiên những giải pháp như vậy thường là giải pháp “cứng”
và khơng thích nghi được linh hoạt cho nhiều trường hợp ứng dụng khác nhau. Vì vậy
người ta đã sử dụng ý tường xây dựng các thuật toán học cho các hệ mờ để cho phép
các thơng số của hệ mờ có thể được điều chinh thích nghi theo các mẫu tín hiệu cho
trước. Từ đó ta có khái niệm các hệ thống sử dụng lơ-gic mờ có di kèm theo thuật tốn
học. Các hệ thống như vậy còn được gọi là các mạng nơ-rơn lơ-gic mờ. Chương 6 sẽ
trình bày một cách tóm tat một số khái niệm cơ bán về lơ-gic mờ và một sổ mạng nơ-rôn
lô-gic mờ cơ bàn. Do khn khổ nội dung khơng thể trình bày q dài nên ta sẽ chi
tạm tập trung cho các phàn kiến thưc cua lơ-gíc mờ có liên quan trực tiếp tới các mồ
hình mạng nơ-rơn lơ-gic mờ được giới thiệu ờ phần tiếp theo. Bạn đọc có thề tìm hiểu
them về lơ—gic mờ nói ricng và các hệ thống sử dụng lơ-gic mờ nói chung trong các tài
liệu tham khảo hoặc trong các tài liệu phổ biến khác.

6.1. KHÁI NIỆM LÔ-GIC MỜ
Khái niệm “lô-gic mờ” dùng để xử lý các thông tin mà giá trị logic khơng
thể được xác định chính xác đối với chúng ta hoặc có thể thay đổi tùy theo điều
kiện bên ngồi.
Ví dụ với các mệnh đề “Nhiệt độ nhỏ hom 20 độ là lạnh” hay “Tốc độ ơ tơ
khống 60 km/h là nhanh” thì ta rất khó xác định được giá trị lơ-gic do việc khơng phải
toàn bộ mọi người đều cho ràng các mệnh đề này là chính xác. Trong trường hợp này, để

125


tăng độ chặt chẽ cùa mệnh đề, ta thường hay gặp dạng phát biểu như sau: “Cớ 70% số
người đồng ý rằng nhiệt độ nhỏ hơn 20 độ là lạnh” hay “Đa so người được hói sẽ đỏng
ỷ rang vận tốc khoảng 60 km/h là nhanh".
Trong lô-gic kinh điển, khi chúng ta đưa ra một mệnh đề và các biến lơ-gic

trong mệnh đề đó có giá trị xác định, ta cũng có giá trị lơ-gic xác định của mệnh đề đó
và giá trị đó chi có thể nhận một trong hai giá trị: đúng (0) hoặc sai (1). Ví dụ như ta có
mệnh đề “x AND y AND ( y OR z ) " và giá trị các biến X = 1, y = 1 và z = 0 thì
mệnh đề có giá trị bằng 1. Với giá trị các bien X = 0, y = 1 và Z = 1 thì giá trị mệnh
đề bàng 0... Dựa trên cơ sở lơ-gic kinh điển, ta có định nghĩa một tập hợp với mệnh
đề lô-gic xác định việc một phần tử có thuộc vào tập hợp đó hay khơng.
Ví dụ nếu B là một tập hợp gồm các số thực lớn hơn 6:
ß = |jc e R|;c > 6 |

(6.1)

thì chúng ta coi đây là là một định nghĩa chặt. Theo cách định nghĩa như vậy thì với
một giá tri X bất kỳ, chúng ta có thể biết được X có thuộc tập B hay khơng thuộc tập B.
Hay nói cách khác, với mọi so X, thì mệnh đề X e B chỉ có thể nhận một trong hai giá
trị: sai (hay bằng 0) hoặc dũng (hay bàng 1).
Tập hợp B sẽ có tập hợp bù ß = {x € RU < 6} và một tính chất cơ bàn của lơ--gic
kinh điển là ß n B = 0 - một tập hợp sẽ khơng có phần từ chung với tập hợp bù cùa
chính nó.
Lơ-gic kinh điển đã và đang được ứng dụng vơ cùng rộng rãi và có vị tri khơng
thể phù nhận của mình. Tuy nhiên, trong thực tể ta đã bắt đầu thấy những nhược điểm
của việc giá trị một mệnh đề chi có thể bằng 0 hoặc 1. Ví dụ ta hay gặp các định nghĩa
có dạng: “C là một tập hợp gồm các số thực có giá trị xấp xỉ (hang hoặc gan hằng) 3”,
c = Ịjc e R|x » 3}

(6.2)

Rõ ràng đây là một định nghĩa khơng chặt (hay cịn gọi là mờ - fuzzy) vì thực tế
không tồn tại một định nghĩa rõ ràng cho khái niệm “xấp xC\
Với một định nghĩa “mờ” như vậy chúng ta không thể khẳng định giá tri X = 2
hay X = 2,9 có thuộc tập c hay khơng? Cũng do đó, ta cũng khơng khẳng định được

mệnh đề ngược lại là X = 2 hay X = 2,9 có nằm ngồi tập c (khơng xấp xi 3) hay khơng.
Như vậy, với lơ—gic mờ thì một giá tri X nào đó sẽ có thể thuộc về tập c với một mức
độ nhất định, có thể khơng phải là hồn tồn. Mức độ này có the được thổ hiện thơng
qua giá trị chân lý của biểu thức lô-gic mờ tại điểm X đó sẽ bằng bao nhiêu. Chẳng hạn
ta có thể nói như sau “giả trị lơ-gic của ”X = 2,9 « 3" là 0,9” hay “giá trị lơ-gic của
"x = 2,9 « 3 " là 0,4" và giá trị bao nhiêu phần trăm đó sẽ tùy thuộc vào cách chúng ta
xây dựng mơ hình hàm liên thuộc như thể nào. Tất nhiên đổi với ví dụ trên thì ta cần có
độ tin cậy của mệnh đề “ x = 2 , 9 e C ” phải cao hơn độ tin cậy của mệnh đề
“ JC= 2 e C ”. Giá trị của biểu thức lơ-gic mờ có thể nhận các giá trị trong khoảng [0,1],

126


6.2. BIẾU THỨC LƠ-GIC MỜ
6.2.1. Một số tốn từ mờ cơ bản
Một đặc trưng của các biểu thức lố-gic mờ là việc sử dụng các toán tử đặc trưng
khác với các tốn tử lơ-gic kinh điển như AND, OR, IMPLY,... hay các toán tử so
sánh điều kiện như
Nếu như trong lơ-gic kinh điển, ta có các phép tốn so sánh cơ bản là X < A ,
X = A hay X > A thì trong lơ-gic mờ ta thường có tương ứng ba dạng biểu thức mờ cơ
bản sau:
- X

nhỏ hơn nhiều so với A: X
-

X

xấp xi bằng A

-

X

lớn hơn nhiều so với A : X » A.

: X » A;

Đối với biểu thức mờ X trị biểu thức lị-gic) ¿J^A(x) có dạng “mờ trái” như hình 6.1 với 0 < ụ«.A (x) < 1, được
định nghĩa như sau:

P« a (x) =

—> 1

khi

X —> - 0 0

—> 0

khi

X —>A~

0

khi

X>A

Hình 6.1. Hàm Hên thuộc của biểu thức mờ ‘ăX « :

( 6 .3 )

4 "

Đối với biếu thức m ờ x « / l , ta sẽ có hàm liên thuộc /JxA(x) có dạng hình
chng (hình 6.2) với 0 < ^isA (x) < 1, được định nghĩa như sau:

127


/s.^( )

J1
khi X - A
Ị —■>0 khi |x - i 4 |—>00

(6.4)

Hình 6.2. Hàm Hên thuộc hình chng của biểu thức m ờ ã'X & 4 ”

Đối với biểu thức mờ X » A , ta sẽ có hàm liên thuộc /j^,A(x) có dạng “mớ
phải” như hình 6.3 với 0 < /¿3>A(x) < 1 , được định nghĩa như sau:
-> 1 khi
M x >a ( x ) =

•

->0

khi

0

khi

X - > 00

X->A+
X

Hình 6.3. Hàm liên thuộc cùa biểu thức m ờ

128

(6.5)


“x » 4 ’’


Các hàm liên thuộc đều có thể được mơ tả dưới dạng rời rạc gồm một tập các giá
trị liên thuộc hoặc dưới dạng một hàm liên tục ứng với các khoảng liên tục của biến

X.

Đối với các hàm liên thuộc hình chng, ta thường sử dụng hàm Gauss mở rộng được
mơ tả bằng phưong trình sau:
Mc,b,Ax ) =

1

/ x —c \

( 6 .6 )

ơ
với b ,ơ e R và X, c là các véc-tơ. Đây là hàm có ba thơng số c, b và ernên có thể
điều chinh linh hoạt. Hình dạng của hàm liên thuộc sẽ được thay đổi bời ba tham số là
điểm trung tâm c, độ mờ ơ và hệ số mũ b. Ví dụ ở giá trị b = 0,6 thì hàm có hình dạng
gần giống tam giác, b = 1 thì hàm có dạng hình chng cịn với b > 3 thì hàm có hình
dạng gần giống hình thang. Đổ tìm hiểu rị hem về ành hường của các tham số đến
hình dạng của hàm liên thuộc, chúng ta có thổ trờ lại ví dụ về tập mờ như đã trình
bày ờ trên:
Xét ví dụ một tập hợp c là tập hợp gồm các số thực gần bằng 4.
C = {x e R |jc « 4 }

(6.7)

Hàm phụ thuộc / ^ ( x ) tại điểm JC nào đó phải có giá trị trong khoảng [0,1],
tức là:
0 < / 4 4 (x) < 1

trong đó /rs4 (x) = l khi |x - 4 | = 0 và //„ 4 ( x ) -» 0 khi | x - 4 | - » 00 .
Giả sử chọn giá trị c = 4 , độ mở

(X) =

( 6 .8 )

Hình 6.4a mơ tả hình dạng cùa hàm liên thuộc fjx4 (x) với hệ số mũ được chọn
cố định 6 = 1 (có dạng hình chng) và giá trị độ mở ơ lần lượt thay đổi bằng 0,5; 1
và 1,5. Trong hình 6.4b ta chọn giá trị độ mờ cr cố định bàng 1 và giá trị b thay đổi lần
lượt bàng 1 (có dạng hình chng) và 4 (có dạng hình thang).

129