Kỹ Thuật Gom Nhóm Văn Bản Trong Lĩnh Vực Khai Phá Tri Thức

Đại Học Quốc Gia Tp. Hồ Chí Minh
Trường Đại Học Công Nghệ Thông Tin

Báo cáo cuối kỳ môn Công Nghệ Tri Thức
Kỹ Thuật Gom Nhóm Văn Bản
Trong Lĩnh Vực Khai Phá Tri Thức
GVHD : GS.TS Hoàn Kiếm
Học Viên : Đỗ Duy Phúc - CH1101122
Trịnh Hoàng Việt Quốc - CH1101127
Lớp: Cao Học K6
Tp. HCM, Tháng 06 năm 2012
Mục Lục
LỜI GIỚI THIỆU
 !"#
$%&#'()*+ #%,%-%&
+.)%- /0123(134+
%&#(56,)#&!"#7
#/)8$+/0)')39#56
)#56,!:#()',%+#%;
<#+=/>'?@&#/*%%&!!!
+/$%)AB$+##&?!
C$BD(3E#&(+ F%&G"+HI%I
JF+IJ<FIK)/,<+#"#%&GJLK
5D(!,.+)8
M-)A%,#%-%&<#2.GFINFI%
%K+2.G+NFI%%K!C6%O+#2<7&
?#HI<D*HI<FI0#P2/<#+#+6
)&+*!Q06'02M+*&@7
= F%&G %&)A2.K$%&'IR
B*S&+!J+)*2)3)B+)''$B
#(TU%&0V+#"#%&P<7

90+**#)A%,%-
P<72)3)B+'"#)A#I+=
FT@#(,%;)+# !(T6
+@#(')A#&)'F%O+#O)6F!
L*F?<+#@+"#%&P<7)AW)B
#<+#XQI:FIYXQI:FFZ+YXQI[\+Y]
Q+)U#^.I,&*F?_0+P<7
G%+IFIK,&#%O0+#"NIF++
P<7!
`
Phần 1: Giới Thiệu
1. Công Nghệ Tri Thức:
"# &công nghệ tri thức (knowledge engineering))A)/+P
abcd!e5*_0,)BOD6A(+#&
?#6%M7@B#2)3(-)1^*()*+
(f+/!
g&-&()AD)B#@#$5%;<7+
%h#'#&?cơ sở tri thức (knowledge-based systems)!
)'2,,&3)AF%O+2
3i;f+#6j6&5-+#(&
D&kA@B)=&?)=!
L*F?#OO'f&(+@#$#'#& F
(Fj
Ne##,)=2)3!
NE#'*2.+&? F(!
NQ2.#(D@()*D!
Ng&;(2.+ F(!
N"'#;#()l)AD+!
NQ6A<7+%h&?!
N:9F)##&?!

2. Máy Học:
Máy học (machine learning)*#f6&5-+*i;
+@5)B&BB#'#0+#+W#6
)A#%;D%&62&!U%&
')BT#<*7<B+ F%&!L*,0D(
6+i;)'#6';)*M0#'
R(-)#@B)=%;D%&mA,
R)l<B!
d
3. Khai Phá Dữ Liệu:
Khai phá dữ liệu (data mining) <,56+@#$khám phá tri
thức từ cơ sở dữ liệu( Knowledge discovery in database, KDD). e5*
i;1+n)ABAT3i;#f+#
6*@#$$B###'R(T*0,%
&!0%O# #D(T#i;#6&
5-+#?D&? F%&!Q+)F%O#
 #T#?D32!
LODf@#$#()'.6)A(T*
0%&Fo')8.2.+/''
)A+ODF%O !VD-#<,561<+
U#6-f@7%& F%&3F%&$
F%p)#,)+)##IW)*(-0#
2.$)A<'%p;@!]
q
Phần 2: Gom Nhóm Văn Bản
1. Giới thiệu
Gom nhóm văn bản(document/ text clustering)*i;+f gom
nhóm dữ liệu(data clustering). A##&T#i;
2GZ++IIrstK;DG
I+IFFruEK#GIINLuK!QT)5+

<B+P<7Fv)A)30+!
w#$+,,#&#;DT),&
*#$8@f#5,Gf)3K+*0A&P
<7!Q+i;6&5-+)5)AI* ##
#F#!x+D<=R,@#$5,!Q+
*2)35,P<7F?A5,G#62fK)A
<B,#&P<7)A5?+#,!A-+
*2)3+<2y7F?A*6+62D
f#5,)B)A<B,![;5<B)A
$a!E5,D)AI*6%Of ###
F#!
g$a!
L* #+?')AI*#8(*0
&+#+)#&P<7+m*)3
F; ;*F;#<&F+,&#!w#
z
$+7PFvF7#5#<&+#5
+GUKD!Q+#5+7P*
&Fv2&+3!:5^))3$2D*
 #+&@7{C,0fBf#D
($57/+5^(f#0+##)#
#.!
2. Phân loại thuật toán.
a) Phân loại theo đặc tính của thuật toán:
:#0+#+'5+-j#0+##<&
G%FIK#0+#F7FGIIIK!
L*#'#0+##<&+#F+F#)* )UI+
T+k&P<7%;DF; )UFv?
*D4)'-+*#+?!ef#0+#
/#5%&#<&!

|*,##0+#F7F7)=M*F;5?#
F2+%&!C&f.?$5f#5
F++#5mA,F;5?%&*#?
)![74f#0+#+-#5+U!
b) Phân loại theo mô hình biểu diễn dữ liệu:
Q#()2D+*<+#+#)=)6+f
*&)A%m)'-+65+-!*##.$
*$<'%p%&+P<7!J)<D-#5+-D
'5+-0+#%;I+#.;$<'%p%
&+@#$!
E,##B0+&-<'%pk&
*I )-%&+*)'3!QT)'*
&P<7*%-<'%pmA+#B0+%
&3?!
L*#$B+#<'%pI )A-+<M#
T}OT&P<7*03G%~IK!L*
03+B)U=)=iF;B?f#)9+*)U
=!J,$I #B@7*%-)U=F?!C&
+D)U=B)2)3'<+#))/
•
GH+<IK #)/$#5)9)U=,
F;)(l#-?#)96?!
L*B@7#T&;<'%p<MI 0TN&
)A-+'2,!C&*,-+*D<7?
).B-2G+HNKf*0T)-+*
 #5+-?+m0%&!
L*)'B3f$I+l3
(;fT!J+0)5*F?,B#<'%p
#+3)=iF; )U#<'%p,1<+
UD2&f#T}OTF22&m,

+I+*k+)!
3. Các phương pháp đánh giá.
:#0+#+')A)##I+3##!"
26F;)U03#+#?2![;; 
#+/%;Di;D()A;&!C6%O*
D ( €s   v D 6    #   m   G
Z++K+*F?D(Ti;stFv #
•NIFI!:# #)##Fv)A<0-)5!
:&;#3&Pf#0+#+)*6#
GIF+K)*&0GIK!Q+i;stđộ triệu tập)A)=i
9&#&P<7D@G)B5)A<8
&Kđã được truy xuấtraF+,tất cả các tài liệu có liên quan&U-
++<*0&)AW!Q+)độ chính xác9&
&đã được truy xuất và có liên quanF+,tất cả tài liệu đã được truy
xuất.V$2/)')A)*&0*#+7+<M#
2+<*&+<2y2++D•NIFI*,
)+ABA7)*&0)*6#)A,&!Q@,t
)*&0E)*6#$(•NIFI8@#)A)=i
Fj
e*6#)*&0/)A+mF?GF
a
K
<B'U-)#F?.#6%O)*6#+
‚
 F+,)*&0+A-G.)A#lA
F
ƒ!z
F
`
K

e'*(+@#$+%&.7)=
MF;U-f*0#5,7+G)A%;)+#,K
#5)A$2G)f#0+#+K)A)?
#&)A2T#5,!Q$()3&
Fj
+)n8F?&argmax$F?jF++F)-)A
#=?)!
Q+•NIFI9)A2A8@#f@#$+
+8&F229)AF;2f<7
5#!g,)+<8F)*BGKf
I+!E)+2Pf#D*5,8* 
++*G, $? K+I+$BF;5
?#2f#&Tk5,D@+kG^ 
? K!C.(Fj
BF?A5<M,F?Af#'+-&*F;
 ('B0$#,)+D')A#%O,*
!QDB*F;2@#F?A5,
7+#5)A$<0+#$#6#)
0F;9)A2Af#5!
el<M(9M+/Am
GLsK*,)+B F+,)*B+I+!Q+
;BLs)A?73#)*%) =G+\I%LsrLsK!QI+)=
c
i@,n
h
F?&+5,hn
l
F?R+5l
n
h,l

F?R+5,h 5l,$(Fj
Ls,-++7„ƒa…+)#=fF?a)-%&F;F+,
&)?#5#5,!-)*;fLs
*,)+)*6#+@#$+'=)AF;<2
?2F?A#5$2F?A#5,
7+!:*F?A)#'#<B3+P<7)37)=
*F?5+,k,$B+/A#)+
3?')AF%O!
L*#$#32Af*0+#+F;8)=f
#5-+@3-!L*,B08<0)')+
)*8)=$&P<$!Q+0mGLsK
B@7-+)A€LsGII+\I%Z++Kj+
*0frF?+*-+O'$€Ls
)A)=ij
Q+#0RG+ZF+K2&/
D+#<B3+# ##D7D
.2&)f)'*.6)5!L*0R
*O<'%p;@2*F;8A3k5-+
<&?!
V
`
`
ƒ
Bảng 1: Một ma trận nhầm lẫn cho các phân lớp:
A (4 phần tử), B (4 phần tử), C (8 phần tử)
V7a'%p7Fj0+#+'5<&
5€5V5<&#)?A+5,:
*#+7+!
b
Q27 #D7D)3)A%m++-5#<&!

tD)?,#0+#+F%O+/* #
%O)')##)f*0+#+/F#5
#<&†T*B@7)/G@#$)A@#
$cứng hóa - hardening#5K<M#)*#=h
+;)*Df#&!:i#&+()*
DA*h#=f*+)$)A+*5
)B*&)3Ahf5$Fv*
7!
4. Một số thuật toán tiêu biểu:
a) K- means và các mở rộng:
* Thuật toán k-means:
Q+i;#%&0+#+NIF* 
# f5 6!LO  Df 0+#    n )?AO
DG)A<'%p#)'+)3Kk+
)k)?AOD*3)'2!"NIF
0  +# D <'+ +- 0 +# +  # <& G%FI
+FK!
ED<7%O2fNIFF%O*_09
+!C$F;68<B*f0NIF/)AD
)BD<76# $)50+#u+%G
Df/#K#D)A,+#6)B/
D !:B0+#Fj
:+*0k )'m
1
(1)
,…,m
k
(1)
0+#;<M#+
<,Fj

NV,#j#k)?AOD+)'
2!
Q+)kx
p
)A56#+*S
i
(t)
7'
5+)A#!
NV,9jk6+##)',<M5)A
6T#)?AOD)A5++)!
aƒ
Q0+#)A+M)l*O%T-*#F;5<81
)8!
* Các dạng mở rộng của k-means:
Q+i;+P<7)'mA,'%&)m0+#
NIF3?)A<B)8#%-mA j
NQ0+#k-means cầu Gspherical k-meansKj)50+# ;,
0+#NIF3?!"F%O0+#%&P<7
)A'#I )3)A?7!QDF%O
+F$+7#‡%)'$6 )U+#)8A
5!
L%m8<B*%+6%p)NIF3
)'-BjO*,+F;-+RD#
*#ˆ)3)'%R)B0+#*O3#)'?
)= ˆ#5Fv'(3+--pˆ
)*(-fO(nkl),+)nF?A&P<7+0%
&k F?+?lF?1!Q0+#/
mA#%O+#0%&P<7,6)8!
NQ0+# k-meanscầu trực tuyến Gonline spherical k-meansKj)50

+#*fNIF!F%O_0 -    )'  
P?@#$++R)-)A)*6# ;+
? !
C,R-;B#P<7)A3)BD
O!g++#A,*0+#-++D*0%&
*0+#NIF!"#P<7)A)+@#$5
#Fv-)'2%&)+)')A5<8+
f$!CBFv;)39$%;+*9&
2)=)''7(- +#%&)+BI+!Q0
+#/)A#%O)'5<7F)A73T*$
$B+2G6%Ox++IK!
NQ0+#k-means nhân kernel kmeansjg$`*0%&
NIF'+6#<$#)'#<&*
aa
#B6!‰)MFIIIF$*#-+#)'
)B*33  #%&P<7F;#
<&*#B6!
Hình 2: (a) cho thấy một hình dạng phân bố dữ liệu không lồi mà thuật toán k-means gặp
vấn đề khi gom nhóm. Trong (b) là thuật toán kernel kmeans đã thành công phân biệt rõ
hai nhóm như là kết quả của việc chiếu các vectơ văn bản lên một không gian có nhiều
chiều hơn.
b) Các thuật toán sản sinh (generative algorithm):
Q+D<'0+#c-meansmờ (fuzzy c-means), *0
+#2-7,#+-!Q+#0%&P<7-
#+-2&2/D!J+0<M#-+#
7)=3F;5?#2f%&# #?D&@7
+')A#%O)'###mF;&%&f%&
p)U/2062Df*&P<7+
35#!
:# ##<&%;D)* )U&I+TI+)=

i,)*(-O(n
2
)!Q/#)* )U')A
6,+*0!QI+*###$F7F
)500F%O*fO+A
#<,,A$#F2#P<7!
a`
L*0+#$#2)AF%O+0+#F7
Fj
NL$xFF!
NQ0+#+#+)AGII+\+K!
NL$+LFIFN•FI!
NQ0+#NIF%;D$#F2G+%IN<FI%IFK!
c) Các thuật toán gom nhóm phổ (spectral clustering algorithms):
L*0*%-<'%p;D+33#)9
%+)$I ')A%p%=*)U=!x+8<+
$#)/+)U=)'F#52A
?!
V+#<5/)$#)/?D)U=B@7-+
*F?#D4GI+Z+K#0+#+8
,,?!:.<+U9&))/GH+K?
7G+\I%KN!QD#)U= #)A
5<&*#?)Š$27_0D)3,&F2 
;!QD*F;m)#'#)3)'$
7,%&P<7$#)/NFv;&? !
L*F?0+#D<'*j
NQ0+#^-G%%I%II+K!
NeU+/GZ\\FIK!
ad
Phần 3: Demo Thực Hiện Gom Nhóm Văn Bản

Bằng Thuật Toán K-Means
1. Cụ thể thuật toán K-means
a) Phát biểu bài toán phân lớp với K-means:
s
Q0#)?A‹Œ•

ŽŒa`]•
[?Oj"
•
:#O:

GŒa‘"K#/D4‡)-#=?'!
Q0+#+-)*Da0I %30%&‹Uj
‹Œ•

ŽŒa`]•
"NLI-3@#$j
Nx#%&!
N:00-=65!
Nw#$%T-5*Ok)?Aa<*0fa
O!
Ng)+)* ;F%O+7#‡%I+)
~
5f
O:
~
!
gD57aF;)8+a+`<,j#%&
)=-=65!
Q0+#j

NV,aN"-+
:"5•

•GŒa‘"K!
aq
NV,`NQ6+#+7#
NV,dN:00-5
NV,qre3&%Tj-#<,`d+,F;
)85fO!
Hình 3. Sơ đồ khối chương trình
b) Ví dụ hiện thực:
Q;&0+#"NIF5dO+0I+€GKFj
€aG`aƒK€`G`zK€dGcqK€qGzcK€zG‚zK€•G•qK€‚Ga`K€cGqbK
"+7#`I+ja=(x1, y1)b=(x2, y2) )A)=ijρ(a, b) = |x2 – x1|
+ |y2 – y1|!G+6%O.%m(6+7#$
+7#‡%K
’%O0+#j
Bước 1: :CI+5<)fTOj€aG`aƒK €qGzcK
€‚Ga`K!
Bước 2:6+#+7#
az
G`aƒK GzcK Ga`K
CI+ "+7#a "+7#` "+7#d :FI
€
a
G`aƒK
€
`
G`zK
€

d
GcqK
€
q
GzcK
€
z
G‚zK
€
•
G•qK
€
‚
Ga`K
€
c
GqbK
:.6+7#T#I+1-F+,#I+5!
I+ 5Oa
aa ``
G`aƒK G`aƒK
“G<KŒŽ`raŽ”Ž`raŽ
“GI+5OaKŒŽ`raŽ”Ž`raŽ
ŒŽ`r`Ž”ŽaƒraƒŽ
Œƒ”ƒ
a•
Œƒ
I+ 5O`
aa ``
G`aƒK GzcK

“G<KŒŽ`raŽ”Ž`raŽ
“GI+5O`KŒŽ`raŽ”Ž`raŽ
ŒŽzr`Ž”ŽcraƒŽ
Œd”`
Œz
I+ 5Od
aa ``
G`aƒK Ga`K
“G<KŒŽ`raŽ”Ž`raŽ
“GI+5O`KŒŽ`raŽ”Ž`raŽ
ŒŽar`Ž”Ž`raƒŽ
Œa”c
Œb
:00+7#fI+€,#I+5+TOj
CI+
€a G`aƒK
€` G`zK
€d GcqK
a‚
€q GzcK
€z G‚zK
€• G•qK
€‚ Ga`K
€c GqbK
"+7#TI+€a,#OG%;+I+5fTOKjƒ
zb
0+7#T€a,Oa5€a*Oa!
:FIa :FI` :FId
G`aƒK
Q ;+I+€`G`zK

I+ 5Oa
aa ``
G`zK G`aƒK
“G<KŒŽ`raŽ”Ž`raŽ
“GI+5OaKŒŽ`raŽ”Ž`raŽ
ŒŽ`r`Ž”ŽaƒrzŽ
Œƒ”z
Œz
I+ 5O`
aa ``
G`zK GzcK
“G<KŒŽ`raŽ”Ž`raŽ
ac
“GI+5O`KŒŽ`raŽ”Ž`raŽ
ŒŽzr`Ž”ŽcrzŽ
Œd”d
Œ•
I+ 5Od
aa ``
G`zK Ga`K
“G<KŒŽ`raŽ”Ž`raŽ
“GI+5O`KŒŽ`raŽ”Ž`raŽ
ŒŽar`Ž”Ž`rzŽ
Œa”d
Œq
"+7#TI+€`,#OG%;+I+5fTOKjz
•q
sI+a
G`aƒK GzcK Ga`K
CI+ "+7#a "+7#` "+7#d :FI

€a G`aƒK ƒ z b a
€` G`zK z • q d
€d GcqK
€q GzcK
€z G‚zK
€• G•qK
€‚ Ga`K
ab
€c GqbK
0+7#T€`,Od5€a*Od!
:FIa :FI` :FId
G`aƒK G`zK
Q ;+#I+#)A<7Fj
sI+a
G`aƒK GzcK Ga`K
CI+ "+7#a "+7#` "+7#d :FI
€
a
G`aƒK ƒ z b a
€
`
G`zK z • q d
€
d
GcqK a` ‚ b `
€
q
GzcK z ƒ aƒ `
€
z

G‚zK aƒ z b `
€
•
G•qK aƒ z ‚ `
€
‚
Ga`K b aƒ ƒ d
€
c
GqbK d ` aƒ `
:FIa :FI` :FId
G`aƒK GcqK G`zK
`ƒ
GzcK Ga`K
G‚zK
G•qK
GqbK
Bước 3: :00-5
:OajaI+€aG`aƒKD5)8
:O`jGGc”z”‚”•”qK}zGq”c”z”q”bK}zKŒG••K
:OdjGG`”aK}`Gz”`K}`KŒGa!zd!zK
:aŒG`aƒK
:`GGc”z”‚”•”qK}zGq”c”z”q”bK}zKŒG••K
:dGG`”aK}`Gz”`K}`KŒGa!zd!zK
:#O,F5)Dj
:Oaˆ€a
:O`j€d€q€z€•€c
:Odj€`€‚
`a
Các vector trọng tâm ban đầu của từ cụm được biểu diễn bằng chấm đỏ.

Trọng tâm sau khi cập nhật được biểu diễn bằng dấu x đỏ
Bước 4:-<,`<,d,F;)85+O!
u(`j
Q)Aj
Oaj€a€c
O`j€d€q€z€•
Odj€`€‚
Q5,j:aGdb!zKˆ:`G•!zz!`zKˆ:dGa!zd!zK
u(dj
``
Qj
Oaj€a€q€c
O`j€d€z€•
Odj€`€‚
Q5,j:aGd!••bKˆ:`G‚q!ddKˆ:dGa!zd!zK
Cập nhật trọng tâm sau lần lặp thứ 2 và thứ 3
2. Áp dụng thuật toán K-mean vào phân lớp văn bản
a) Giới thiệu:
e'#%O0+#"NI+5,P<77;&I+
  P  <7  k  P  <7  )A  <'  %p  %,  %-  I+
&I+P<7F%O$I+
![0#I+'#%O0+#"NI+
#P<7!
b) Mô hình vector không gian
L$I+$I+-*$)-F?+)-
%&#&P<7G<2y)?A+KI )=%
•-6%O39F?!)AF%O+U
09O<7B-D@![%O)Df&?
U[L€tQ!
`d

Q&#2)A<'%pI !
Lk6, (,*0D<&!B-7+
&#=f+I+!L*F?##6+###
=1)AAG-K)l)A#'!L*+
 #?2)A<B)BZN%ZGI6%O%,)5K!e=i
f0O*+(%O!Q/)3&T) 
T+#+OT%!B)A;#)3+7F?3fI+
F?T+T;GF?A#TD<&7+&K!CI+
+-)*')AF%O)'F+F##&,#2!
Q(@#$I+5<)2@B$)A
#5+T5<&)D$2?D)3
;&)A!Q+ $.I9;&t%+
5<)![?<)>*2)3.7#)=
)AT)F?+#(%O;B$F?.
)AT0%&!
c) Xác định trọng số (tọa độ) của hạn (term) trong văn bản:
Q+$I+8)'AO'-+#I
&P<76f#<BF?)= +O!L$)A
<B)B=)7+F?f-F?&$!CI+
A  +    &  %    I+
Q+))*H
%
)A6<(j
N  Q+  )  Z
% 
     F?  2  &  f  -    +    &  %!
=)7+F?&!ŽJŽ8&+
`q
0! F?&(-!+%I+^.II
F?f#-F?2&f-)+P<7!

d) Xác định các hạn(term) trong văn bản
‹#)=#-+P<76&#)=#T+P<7!Q#
T+P<7*<7+#)<&+BC&!e?,&#
)=#-+P<7$#T?iFv)A+-<^)D#T?
i/#,T-+TjX$YXYXYXFvY]:#T)A
F+H+%F!
e?,P<7B&#T )?%p$B#T+B
€T) .'#%O&##+7;)
<&!QDB#T+B&#TW&##T) 
0Fv+&+6#!
Ví dụ:XV#FiYXFiYX-FiYXFiY]$&#T) '
+&+6#!
Q+(%O^.IF%O&#TI+T)'!L*T)'
U#TW8<B+BC&)AU#T/%m
B#%T!QT)')AFBI+(;7%fF?5B!
C&FB7%F?5BFv.&#T6# !C&#T
Fv) ;&AT#T35B,#T65B!
C6%Oj
X:&#'Y
LRT)'j X:&YX:&YXQY
`z