Xây dựng công cụ tìm kiếm và so khớp hồ sơ người dùng trên các mạng xã hội

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THÔNG
KHOA CÔNG NGHỆ THÔNG TIN 1
ĐỒ ÁN
TỐT NGHIỆP ĐẠI HỌC
Đề tài: Xây dựng công cụ tìm kiếm và so khớp hồ sơ
người dùng trên các mạng xã hội
Giảng viên hướng dẫn : Th.s NGUYỄN THANH THỦY
Sinh viên thực hiện : VŨ THÀNH TUÂN
Lớp : D09CNPM3
Khoá : D09(2009-2014)
Hệ : Chính quy
Hà Nội, tháng 11 /2013
LỜI CẢM ƠN
  
!"#$%&'()*+,)#-
+&'&./01)23)4.526
1789)+&':');;<%&'=5,
>?@A5-
2'BC>.5! !
 "#$'&'A5+&0D#-
8>.5!"#$&'
=5,@A5-
19)E%+'8-=35788.
&(B#D.;FG'%'*+-
/3 HI+HH?JKHL
1M885
1M885NOKP23QRL 8&J
NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM
(Của người hướng dẫn)
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS

SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
SSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSSS
Điểm:SSSSSSSSSSSSSSSSSSSSSS-TU>VS SSSSSS S S-W
Đồng ý/ Không đồng ý '=!')&. *E*+,)#?-
…………, ngày tháng năm 20
CÁN BỘ - GIẢNG VIÊN HƯỚNG DẪN
(ký, họ tên)
1M885NOKP23QRL 8&L
MỤC LỤC

C TÀI LIỆU THAM KHẢOSSSSSSSSSSSSSSSSSSS--XJ
1M885NOKP23QRL 8&Y
DANH MỤC CÁC HÌNH VẼ
DANH MỤC CÁC BẢNG BIỂU
1M885NOKP23QRL 8&X
KÝ HIỆU CÁC CỤM TỪ VIẾT TẮT
Từ viết tắt Nghĩa tiếng Anh Nghĩa tiếng Việt
Z[\Z Z&%;']Z&%; ^_;;>)5*=
.;`
8Z 8%&Z&%A5% 8=,@&'?
aOZ a%&=%O'5%Z&%A5% 8=,_'@
&'D#;>)5
O ;O=% ^ ':'+
b\ #b%\== ^ '>c
dRe %d%=%R&:5#
e5%
3>+;E5f
& 
gOZ g%='5&%O%=&#'
Z&%h'&:
Z&%h'&:
5!
3eQ 35&e5%Q&'%== di>(!
Ob O%#=%&b]%& ei5B
ZO8 Z5jjO%='8&%% 2A5B_
2eb 2'%#e%&b=% /),0%':+
)
1M885NOKP23QRL 8&I
LỜI MỞ ĐẦU
 8&'>? .k% &'>#+&l,

E&!%&% #6++'  &!a%&%"
' ;(&! =,:_.V:B,.,.;`6k#;>)5#'
#"&5ES^l;5&&+.;`#'D# 
:'=5m.;`BD#++M.+n'
 0E+m.k';)<+l9&.&!
<.-26Bl#)DB>>.;`"%
o+*=+0-
p< <+lml#)faO.;`.k5E#
f6 m5!l#)DB.;`>+ 
5.k% En:+#q#rn5B-4f&!B
m&?+ :+5".)D#:m=(&'
s;>)55-^m >Bf .;`ml=n5
+t6:+5Tl=;t+l)l5+SW)&'s
M.)=':#.;`>+  EnB
E#+-
26B&')5"A5B'+=':#*=.;`
>+ -d;( t'#o#='=+DB>*=m
#;)'` .;`:-Q.#+#;(&!)6
'+=(,5@5 6.q>*=U+5D'+6
k#+'<5 6 &0=,0q A5&05 6-8B#
%';` =,5D'+:Bk#;>)5l':BA5,5>*=-25,
`='=+:BA56.k .$T.k6'+( '9UWl
.&A5B_-
8)5*+'*X.V
Chương 1: Tìm hiểu về bài toán: u)5n &rq?
+' ":m:?9##@m#6 ;5'+=5mn5E
+B#DA5B'+-u)5n_;;>)5 E5
&"Z[\Z-
Chương 2: Các nghiên cứu liên quan: 8l5n+:v5D=':#5<?
._c#.#+#B#Dq;t''+-8l5n+:v5D

:Bk#;>)5+#.#+#i?-
Chương 3: Xây dựng công cụ và đánh giá thực nghiệm: 8&+.
;(ttlm++#;t+!q5''+-3!5#.#+#(
)V+E;>)5i;>)5+()-^++:BA5 6+
t#6.k.5.kl@#.#+#'Do-
Chương 4: Kết luận: Q5,`:B5Dmw+En!q5
.#+&lB#%'-
1M885NOKP23QRL 8&x
^yz38{83u/a|Q^}a/~22.HV8l5n'+
CHƯƠNG 1: TÌM HIỂU VỀ BÀI TOÁN
4'+Ut6;(t=':#*=+>+
 ll5&•n'+l5=5n M.+q
?' "-8B#m=€&n55(BM. =,
!q5.k()lA5B'+-
1.1 Mạng xã hội là gì?
R 0 'Tb'3%h'&:W•HP‚;_t,:B+
!`=f6&!a%&%5n5t6:+5:#
):-
R m>6?.%ƒ#'%=„]%
'5D-Rs''+.;!:B5&f
 #EB5<'&?&)5!:w#B-2+;_t
mn5#.+l+!:B,+V;(%'&'5#T6;t.
!&.'9!#,W;(&!+T._G%ƒ'9=&%%
%W'9;(&!=f6+T.l'#=++''9Wc
(A5V:;'5+S
/)Bm&? :+5Rb#%
Z%'':sBE&'_&.4wRv8…5[&:5/X3Rv
Z&%;=%&25z+'A5,8+4O.-R :+9+.k
+:l%'`n.4%'\†5,2‡'&;/†5,R
3D4†j'%8&5†5,1)35E)&En5+ .V

ˆR%‰5R%8-
1nE< 5E#;_tq?tlUt!5
'.k  *tl&'B(-^l=;t;_t+q?l
>.kBD#T,A5)W+!!A5B.;`#'
 :'+!?:iml'*=+;=+=f
6+!>+:+V
ƒ Facebook V^& #+&lEZ%'':#+&l@
 .+=!00Bm#+&l&!'5 
.=w 0q5s-/&?&)5.&!Z%'':
&)5.<+-8&!Z%'':ml:B,
U+:B!'9E.:+.k:B
,M.A5Š.‹.ksq5A5_l
&.0'9)-
ƒ Myspace VR=#% &'> 5!(=(-/)
mFrmJKK&)5.=;t-1)=;tR=#%_
:Z%'':#+&l-R=#%m5.5" m:Œ5
0&„='Z%'':9)#sB>.'=
:E5=;t:?5)ml"Œ++
)=c:+(:•,-
1M885NOKP23QRL 8&Ž
^yz38{83u/a|Q^}a/~22.HV8l5n'+
ƒ Linkedin Ve:%;a  5!)#.kB:B'>
.:;''9+5!)l'+:B,+*
)#_G!):;':+-3mMml#tt. #.
)l!:+n?:++,+-3m'#o#+
!?*=_=)-e:%;:5B:6=;t'>
m+*)#>.=;t' >.:B
)-
ƒ Zing Me VˆR% E1)3"&0+6?
9&.  .:B&(5BB'D#5 -

4!m+!rml;7%%#
=„+&r&(5B-3');(B'ˆ
R%r.5!sq+=(:),.=;tm&!
 *m5D.kn5#*6(-
1.2 Nhu cầu thực tế
R &'>#+&l,E&!%&%6+ -b,.k
. ?!BG.'&5*;>)5#'
#"-1nE< 5E#+;_tq?tlUt!5
'.k  *tl&'B(-^l=;t;_t+q?l
>.kBD#T,A5)W+!!A5B.;`#'
 :'+!?:iml'*=+;=+=f
6+!>+:+-26B*=.
;`m&r;)r0).=;t&! 
9&.&!@-3. + .=;tml=
;tn5 :+5l#t#tt>t6:+5-
^n5;FB =,&.k#!:B*=.;`>+
 5-^l0En"!q5 =,&.k#.=5V
ƒ u=3571?\=;tJ :+5Z%4'':l!
&'s.5A5qe:%;l!
:B*)#,+?&')-\m =(:)T6;t.s
q.• q;t)6W5, E.
*)#-1En9&&'J;=+\&!J
 =€m>+&`5T`l5_ .W\'5,
0H&+&9#J` +'-
ƒ /3571?4J Z%4'':8h%&)4m&E
n5&!Z%4'':45,f& r:B,&!8h%&q
>m!:B&!Z%4'':..m!:B&!8h%&-
26B@>;=+3571?\3571?4"
#6=':#%>*='`l5_l5;7` .;`-
85!m En#q#A5Bl!:B>J -

1M885NOKP23QRL 8&P
^yz38{83u/a|Q^}a/~22.HV8l5n'+
Hình 1. 1 : Mối liên kết giữa các mạng xã hội
R9;`< =(:B,G..".k6.
>r';>)5D#f=(!:B;>)5>+ 5.
:m-35!5E#+@En6=5V
1 Biểu diễn mạng xã hộiVR 5E#'.=;t#.)
+l:B,'B#=„+!:+&'n
0-85!+&h%mE5&".k*l5;7:+5"
;)'=(5!)+D#.=;t:+5-1D"
?E)&'s'B#>+ :+5T•
.=„„i:BW-
2 Miền thuộc tínhV3:+& `=€n .
5 6*=.;`M:#"'M#sB-16;t!
n+&_5 6&'Z%''::EB#+#q++&_
!n5 6.(&'e:%;a-
3 Mục tiêu trang webV8`5 '+&h%+t!5.=;t
96.(ml.k!'+&_:+5-16;t+5 6
%Z%'':..k!' %+&':e:%;a
 %5!)#` .;`-
1.3 Một số phương pháp đã được thực hiện
/)m n=5E=;tZ[\Z•P‚5,&5&')&'s;>
)5*=.;`>+ -Z[\Z '''mE5&"@
.fE5&"gOZdRe'.+.!%S
M.+A5) .:+.*)#';_:;'
S2ml+9&'Z[\ZX'V++
1M885NOKP23QRL 8&HK
^yz38{83u/a|Q^}a/~22.HV8l5n'+
:'!&(5BT% W+;(+m)5,`)5
-

8&5@(Z[\Z#]']VQ%&='E+!A5B
+n5.km'#-2+5 6.k=;t#sB!.
T]']V  %W  _  G  .  )    T]']V  'W  !  :B    &  h% +    T]']V
'%#%WT]']V;%=&#'W9)5 6A5)>++
T]']V:'h=W-8&'Z[\Z'.+,A5)ml.k%'+
5!w=5V
ƒ R<..kl5;7. l)]']VQ%&='.k+ ‘ga-
ƒ R .mn55 6.!T]']V%W:%T]']V:%W'9
=T]']V&;W 
ƒ 2'.ml!)5A55 6]']V:'h=-R =,6Ek
6=;t'''Z[\Z,  *&(5B.
=5V
• Khả năng cơ động (portability):’“? ”5D>:
?=;t*= .&!n5 -8@(Z[\Z
l5;7n'.,A5)&' %'+
=„+6mlin>c-
• Tính chất mở:8@(_c&'Z[\ZmE5&"m
&r=fl#+&l+q;ttl-16;t5 6]']V:'h=
,A5)>++-3B55,A5)6+
.*)# ml;(5 6A5)5 
6']']V:'h=-
• Định danh:d+_'.A5 =,5 6_;.
]']V']']V'•=H=5 +5 6;5E5 n 
l)#]']VQ%&='-†5)=':#++&__;;5E
ml5.kA5)*E>++5 nn5),
:+5k#E+),l  
-
• Quan hệ:85 6]']V:'h=,A5)>++
  &' *-/5 6]']V:'h=&;]=V
=%%\='.k:Bk#l!:B+)5Z[\Z-

• Liên kết con người theo sở thích:d+_>m.m,A5
'9=f65f5 6]']V%&%=-
• Hỗ trợ lọc email: 8@(Z[\Z<&k)0%%'=(.5!
T#&'&jW;(&!+,A5)+-b;t+E# D
;F5E@Z[\Z]%'.mlD.5!=5m0+
+&_DE#-
1M885NOKP23QRL 8&HH
^yz38{83u/a|Q^}a/~22.HV8l5n'+
b5 =,5 6Z[\ZV
Hình 1. 2 : Các thuộc tính của FOAF
1 6;tnZ[\ZV
@PREFIX rdf: < .
@PREFIX foaf: < .
@PREFIX rdfs: < .

<#JW>
a foaf:Person ;
foaf:name "Jimmy Wales" ;
foaf:mbox <mailto:> ;
foaf:homepage < ;
foaf:nick "Jimbo" ;
foaf:depiction < ;
foaf:interest <> ;
foaf:knows [
a foaf:Person ;
foaf:name "Angela Beesley"
] .

<>
rdfs:label "Wikimedia" .

85!)=;tZ[\Zl_;.;`f+5 6.]']V
']']V'•=H=5'%#% n5B:+5 6>.
;`.ks'#`k#q?=;t.V
ƒ /0s_GTO'A5!D:Œ5_:m W-
ƒ b;tn5 _GTl!l!)
!#tt5&6SW-
1M885NOKP23QRL 8&HJ
^yz38{83u/a|Q^}a/~22.HV8l5n'+
ƒ R ml.k=;tfn5.-
3'&r =,#.#+#B#D:+.;( :'.5&>l
.;`(i!+*==5m+m*=;.;Z[\Z-/0
:5B:6.;`'r&r:B,>l'9lD;*=-
b' &'>En#q#:m:l='+-
1M885NOKP23QRL 8&HL
^yz38{83u/a|Q^}a/~22.JV2+!q5!
A5
CHƯƠNG 2: CÁC NGHIÊN CỨU LIÊN QUAN
2.1 Tổng quan về so khớp chuỗi, văn bản
2.1.1 Khái niệm
b':#5<=':#?Ut6&=(,5Tr0
 '.('9.*W>+5<?A5qB#D
n9"#+#>c-b':#5<? :v5Dm&rn
&'c(i?-gE:ml'=(,5=(.*-b(.*
 .kT'=,W#+. ,A5)>,.k'99
&.-^.k.f&'#@ƒHBH'9KBH-3.D  '
.*ml' '6l-
4'+6 .*5.k#+l5.=5Vdo )5;*m
5V;–=
H
=

J
S=

-Rt!5'+&.k +&_bT=

=
—
Wb∈
TKHW-/bT=

=
—
W.k0 .*>5=

=
—
-u+&_'=(
,5n>c5-^ .*>c +&_D
#+,A5)>c>5-8&!(B:mmlE +&_m
6+'f>cG.kl5&' >tl-
R9;`);>)5.k.5&>;.n5q:+5.?
FqB5l.5&>&'s-^9)&''+)='
:#*=.;`.k()&!D#;>)5M. 6+'
+#.#+#=':#'+5 6-
2.1.2 Xử lý dữ liệu
2.1.2.1 TF-IDF là gì ?
TF- IDF B w  5D  >  B  \%&  ]&%A5% N  %&=%  ;'5%
]&%A5% @ '=,5.kA5,:!l)q A5&0@
&' ??oU&' D#k#+?-
8&'mV

TF- term frequencyN=,5E)H@&'H?-2+6V
8ZT;W–'T]T;W˜HW TJ-HW
1]T;Wƒ=,5E)@&'?;-
IDFN%&=%  ;'5%  ]&%A5%-8  =,  _    H  @  &'  D#  ?  
T'&#5=W-
86aOZl+&_>@#sB-R<@GmH+&_aOZ;5E
&'D#?-
aOZTOW–'  TJ-JW
1M885NOKP23QRL 8&HY
^yz38{83u/a|Q^}a/~22.JV2+!q5!
A5
• ™O™s=,?&'),-
• ™š;›OV›;œ™Ve=,?&'Oq@-3B5@m:5E)fE
q ?'&'D#F5=,=€UK–•#o#'::
k#)B..UF5qH˜™š;›OV›;œ™-
• 2=,'&&'q:s+&_ @G5C#
:'+&_@m-1s=,=€;FB)+&_+@
sf =,E_ž)>+&0.k5=€:s-
Tm+:+s=,=€:.fBž)>++&_aOZW-
85!)s:'+&_=€"#ž)>aOZ8Z.*l
;`'q8ZƒaOZ.!;.-
u+&_8ZƒaOZV
8ZƒaOZT;OW–]T;WŸ;]TOW  TJ-LW
3>@m+&_8ZƒaOZ'>@5E)n5&'?
5E)6&'+?:+-1)"#0&>@#sB>>
@m+&_'T@:'+?mW-
2.1.2.2.Token và biểu diễn văn bản trong Text Mining
/)=f;>)5?T%;=%W#+&lm5
"=(A5!q5f=(?m=,.kf;=,6;t
.+')5)%.)+&h%S2mlE5B

+6#+)#:;'&.0Sn5.k=,m.5
&>f;.;=f;>)5-O>)5.5&>&'=f;>)5?;>)5+
E5  &"  T=%=&5&5&%;  ;W  q    "  :  '  '  #  E5
&"T5=&55&%;W.M:''mE5&"-16;t )5mlq
 &.mE5&"•.!5n!+5E#'S
.Mmlq .k>#?#E5&"•.
#mw ;5)5-O'mEn9&='lml
¡
:B
:+&q@5*;>)5.D-2+:v5DlA5BEn.k0
:v5D¢8%R¢:#+;>)5?-
A. Không gian vector
4.5!0#.#+##'5l)?;`
5<:i( ;:+#`k#+5D'+0%'F5#
#-/5B+5D'+n5=;t+l5;7?=;t%'9&.=(
:+5m?)0:9&.:+5-
/.B#D%':l5:%'&.k=;t:+n5&'+
'+i>(!#'?-£.f#.#+#:%'
.=5V"l5;7E+)5&';=%5&5E%'&&'
:n5n5.qE+@:mTD#@(W=5m=;t 
'.(>%'&&5E+%'&)5l6'+i#'`
%'t6=;t-
1M885NOKP23QRL 8&HX
^yz38{83u/a|Q^}a/~22.JV2+!q5!
A5
4E:%'&<?.kl5;7 
%'&<# 5D>&!)&'D#?,.k+ 
+&_&0=,l5_q A5&0@5D>,?-2mn5+
6&0=,'5D>=5 =,+6&0=,5D>lV
ƒ 86&0=,%'4''%

ƒ 86&0=,%'=5EN8Z
ƒ 86&0=,%'_'=,?ƒaOZ
ƒ 86&0=,%':Bk#8ZƒaOZ
R4''% 5E# E5&"&E;7l5,.
;`),&5-2+5&5E.k9. l5q4''%m
>c6+-85!4''%m+:5Bl=5V^5!
B.k5D#m;(&!!55ŒA5B__#Tc 
)5.k+_'96k#'9:6k#Wq:m:+)#
q5+l5q4''%m>c&•&)5l55.
;`=''%D:;7;-8(B5B.;`n5E:m:?:
5l!55&5E0=;l5q4''%-R4''%:l&=(
5E) @:ml5;7 )5'9m'9:-3c&0=,
 @:ml5;7f;_#'9K'9Hh
—
›šKHœ-R &5
EA'*+@:ml5;7.k!:Bf;'&'-R 5&5E
 l5q4''%ml.kl5;7;.; +%'&:Bk#TO3ZW-
16;t5&5EA–“

¤T“

¥¦“

Wml.kB;.;%'&A
;]
–THHHW¥
THHKW¥THKKW&'m<# %'&m&0=,_#!:B
 T:

:


:

W-2+%'&m&0=,_#.k0#:Bk#
%'&A
;]
-
3.&f&!8ZƒaOZ.k=;t& &%)5A5
'-8&0=,l)&•.kA5&0@,?-85!q
68Zmlmn5+6:+,?;q.kBs'
#`k#-16;t&' )5 @:mml5E)BJX.&'
 )5•:m@:m'ml5E)BJX-^lA5BEn
 =,q&V
8ZT;W–  TJ-YW
• 8.=,5E)H@&'?=,5E)n5E
 @E:•&'?m-T+&_=€5 :'•KH‚W
• ]T;Wƒ=,5E)@&'?;-
• š]Th;WVh∈;œƒ=,5E)n5E @E:•&'?
-
1M885NOKP23QRL 8&HI
^yz38{83u/a|Q^}a/~22.JV2+!q5!
A5
/'9=;tqV
8ZT;W– TJ-XW
8&'mV
• ]T;Wƒ=,5E)@&'?;-
• ;Ns=,@&'?;
2+9&.?:l5;7;.;%'&V
- b,n5:9&..&E-
- 2m+9&. D#5=(:Bk#+9&..:mi

c&'#'-
- ^9&.&&V%'
id

m&En5+&_K;'mn59&.:5E
)&'?;

-
- /5B+?ml.k# +5B6U+
5B6-
B. Token
^l%o ;5?";`:+)8':%-2+8':%ml.k
%.+@%o.k+&@ ;5?-1+:6(>=,
 =,:i)59).k'>:6(E5!8':%-2r>:6(.
:'&,+;E5ET-W;E5#ŒTW;E5ETVWS.k%.>
:6(l#+>+':%-
/)+#;t'B)m =,#.#+#.kn&
#.#+#:ƒ&;(&!,:!&!&1;•HL‚mPIP§t@B).k
E5'@HBY@-26Bl#++':%&''?m:–HJL
Y@n5H':%-^.k% &'>#.#+#.5!
=;t;7=;t-
^ ;@ 8=, 8G)T§W
H ŽPLL HJ-J
J YŽPPX Ix-H
L XxJx x-P
Y xKYK P-x
¨X JLKH L-H
8s=, xJPPY HKK
1M885NOKP23QRL 8&Hx
^yz38{83u/a|Q^}a/~22.JV2+!q5!

A5
Bảng 2. 1 : Tỉ lệ tần xuất độ dài của các từ xuất hiện trên Vdict
3'&.&8':%j%&•HY‚.k=;tl+@'+?
B1).k!q5#+&lfe!/*Q.3578_R/5n
5 “'8'+ƒ2ƒ808&.^0“'08(!^/†u/3 1)
3-2' 6+'PI§ƒPŽ§.k% &'>t,E
l#+':%-
2.2 Tìm hiểu về các phương pháp tính toán độ đo tương tự
^l='=+*=.;`='=+ 5 6"-O'*=
.;`m&En55 6:+5E5&"M.@>n6EM
:+56;t•=':#n5 6r•n>c`
n En."#+#:+5-/n5 6':micn9
>c"G5='=+=(:+5n@-26nB< 5 
6=€m+#.#+#:+5-1n=€'6='
=+n9>c='=+"#+#V
ƒ Cách tiếp cận về cú pháp: 2':BA5n .("n>+
@>J55!G+#;t>+5Bn:6(f=(=:+
;'++'9n5B5,:+'=(=)n:6(M._&6>
+@-8.+5 66+.''%#%S
ƒ Cách tiếp cận về ngữ nghĩa:^.k=;tl'.+&_%'@l
:+5.>c.(-2ml6'+ .(;(&!
+ @l.‡'&;3%‡:#%;ml.k;(&!%'&
:,:!'9#6>cnŒ-
b5 =,#.#+#6'+ '.(V
2.2.1 Độ đo Jaro (Jaro 1995 , 1989 , Winkler 1999)
^ '©&'•X‚  &'>)#+#;(&!"#+#,.5.kB5
;'='=+5<w-3m.k;(&!=,.kq(+:i(5>
5<-©&'.k++ &'>#.#+#.:+)5A5-
u='J5<b–
H


J

“
8–
H

J
S
e
1:6(

&'b.k0:6
(58:"•n5:)
—
–

Tƒ/ª—ª˜//–W-8@mm
b
‹
–
H

J
S
“‹
8‹–
H

J

S
e‹
@m6.k8
b‹8‹
=,:6('+s
5<b‹8‹B5:6(_&6ab‹•

‹«

‹-^'.(>5<b8
.k6%'qV
b
©\g[
Tb8W–-T˜˜W TJ-IW
8&'mV
• ™=™™™ ;<5<=,
• ™=‹™™‹™=,:6(5
• 8=,:6('+s
1M885NOKP23QRL 8&HŽ
^yz38{83u/a|Q^}a/~22.JV2+!q5!
A5
3?HPPP #.#+#B;'‡:%&n;(!QQn
,55!b8Q‹–RTQYW-^ .(b8=€;(&!q=5V
©&'ƒ‡:%&Tb8W–©&'Tb8W˜KHŸQ‹ŸTHƒ©&'Tb8WW TJ-xW
Ví dụ 1 : Cho 2 chuỗi S = MARTHA và T = MARHTA ta có :
|S |= 6 ;|T |= 6 và H = =3
Từ đó ta tính được S’=MARTHA và T’=MARHTA
Và T
S,T
=2

Vậy độ tương tự của chúng là :
Sim
JARO
( S, T ) = . ( + + ) = 0,944
Lại có P = 3 => P’=Min(P,4)=3
Jaro-Winkler ( S , T ) = 0,944 + 0,1* 3* ( 1 – 0,944 ) = 0.961
Ví dụ 2 : Cho 2 chuỗi S = DWAYNE và T = DUANE ta có :
|S |= 6 ;|T |= 5 và H = =3
Từ đó ta tính được S’=DANE và T’=DANE
Và T
S,T
=0
Vậy độ tương tự của chúng là :
Sim
JARO
( S, T ) = . ( + + ) = 0,822
Lại có P = 1 => P’=Min(1,4)=1
Jaro-Winkler ( S , T ) = 0,822 + 0,1* 1* ( 1 – 0,822 ) = 0.84
Ví dụ 3 : Cho 2 chuỗi S = DIXON và T = DICKSONX ta có :
|S |= 5 ;|T |= 8 và H = =3
Từ đó ta tính được S’=DION và T’=DION
Và T
S,T
=0
Vậy độ tương tự của chúng là :
Sim
JARO
( S, T ) = . ( + + ) = 0,767
Lại có P = 2 => P’=Min(2,4)=2
Jaro-Winkler ( S , T ) = 0,767 + 0,1* 2* ( 1 – 0,767 ) = 0.813

1M885NOKP23QRL 8&HP
^yz38{83u/a|Q^}a/~22.JV2+!q5!
A5
2.2.2 Độ do SoftTFIDF
e &'>:c5D#6"#+#,E'5<;;(&!)='
=++':%Tt@W.(>5-4U+0>':%5>
'?=5m6 A5&0"'?-8@m=;t'=l6
.*>5-b']8ZaOZ•JX‚m.5l6V8q(8':%:
A5&0.':%:5=€:.fB '.(-
b;t8ZaOZl6G=, A5&0@'<?-8&'
1%'& )5.kl5;7U 1%'&&! D#@:'+Gt&'m
&0=,@:'+Gt.q<n5 +&_&':'•KH‚-
u01%'&l5;7)5bTh
H=
h
J=
Sh
=
W1%'&')58Th
H
h
J
S
h
=
W-^ .(>8†.k_c2'=%m>1%'&l5;7b
8qV
bTb8W–  TJ-ŽW
11ThbW–  TJ-PW
R .kl5#.#+#m&!+ 'mn5 .(

;'m,q-^l.k@h'J?b8:#"'"
M,5''6BR'%;:n&q6.=5V
2'J?b8.kl5;7f+t@'!&'b–
H

J
S
“

8–
H

J
S
e
m .(>b8.k6.=5V
bTb8W–  TJ-HKW
^l+#;tq&!8ZƒaOZ#!’b']”&-u0b8J
?='=+2e[bT¬b8W–š5∈b™∃∈8V=-T5W•¬œ=-T5W
.(qE#>5-1<5∈2e[bT¬b8W9OT58W–
›8
=-T5W-
“m .(>b8#.#+#b']8ZƒaOZ.k6%'qV
b']8ZaOZTb®8W– TJ-HHW
2.2.3 Độ đo Edit Distance(ED)
^ '©&'  r0:'+e%%=%•I‚ :+)“'+
e%%=%l):'+:+)>J5<:6(-“'+e%%=%
>5<b5<8=,.6EB5<b5<8A5L#o#B
sV
ƒ d'+H:6(-

ƒ 8!H:6(-
ƒ 8:6(U:6(:+-
1M885NOKP23QRL 8&JK
^yz38{83u/a|Q^}a/~22.JV2+!q5!
A5
“'+.k9%'!1;&e%%=%.n&:+)
'?HPIX-3m.k=;t&')6'+=(,:+5>J5<
. .& :l & < 6 hh'&;=#%%:%&-  16  ;tV “'+
e%%=%>J5<¢:%¢¢=¢L#;`6ELBs-
- :%ƒ•=%T¢:¢U¢=¢W
- =%ƒ•=T¢%¢U¢¢W
- =ƒ•=T!:6(¢¢W
^l6'+.k:'+>J5<=;t5D'+A5' -
^l0'5D'+`% 6;t=5V
2'd–
H

J
S

‰–
H

J
S

1


—

+:6(
;T—WV:'+>
H

J
S


H

J
S
—
1i.f=;tl5qA556;T—W@++&_.k6&.
m;-
4Bs5<
H

J
S

5<
H

J
S
—
ƒ 4Bs5<
H


J
S
ƒH

H

J
S
—ƒH
=5m'#

'
—
B5

–
—
ƒ 4Bs5<
H

J
S
ƒH

H

J
S
—ƒH
=5mB


f
—
B5

«
—
ƒ dm

=5mBs5<
H

J
S
ƒH

H

J
S
—
ƒ 4Bs5<
H

J
S


H


J
S
—ƒH
=5m!
—
u+&_;T—W,l5+#6Bsf&!-
8ml5qV
;T—W–R
1T


—
W–
^'.&©=50'5D'+A5' &!V
Cho 2 chuỗi s1,s2 ,khoảng cách giữa 2 chuỗi được tính trên mảng 2 chiều [m+1][n+1]
Với m,n lần lượt là chiều dài tương ứng của s1 và s2.
int [][]d=new int[m+1][n+1];
for (i=0;i<=m;i++){
d[i][0]=i;
}
for (j=0;j<=n;j++){
d[0][j]=j;
}
for (i=1;i<=m;i++){
for (j=1;j<=n;j++){
if (s1.charAt(i-1)==s2.charAt(j-1)){
cost=0;
1M885NOKP23QRL 8&JH
^yz38{83u/a|Q^}a/~22.JV2+!q5!
A5

}else{
cost=1;
}
d[i][j]=getmin(d[i-1][j]+1,d[i][j-1]+1,d[i-1][j-1]+cost);
}
}
16;tVb'=+5<:%=m=5V
:    % 
K H J L Y X I
= H H J L Y X I
 J J H J L Y X
 L L J H J L Y
 Y Y L J H J L
 X X Y L J J L
 I I X Y L L J
 x x I X Y Y L
Bảng 2. 2 : So sánh chuỗi kitten và stting
3.D:'+5<L-
8.(5<b5&;b5;
b   5 & ;  
K H J L Y X I x Ž
b H K H J L Y X I x
5 J H H J J L Y X I
 L J J J L L Y X I
; Y L L L L Y L Y X
 X Y L Y Y Y Y L Y
 I X Y Y X X X Y L
Bảng 2. 3 : So sánh chuỗi Saturday và Sunday
3.D:'+5<b5&;b5;L-
8@:'+5<6.k .(J5<A5

qV
1M885NOKP23QRL 8&JJ
^yz38{83u/a|Q^}a/~22.JV2+!q5!
A5
b
;O=%
Tb8W–Hƒ TJ-HJW
8&'m :
• =V+&_l='=+-
• ;V:'+T#6W>=-
• =Vn5;=.q-
• T=WVn5;,>=-
2.2.4 Độ đo ESA (Explicit Semantic Analysis)
2.2.4.1 Giới thiệu
3."E+#.#+#!5&!n5=;t=(,5n"
#+#T>++@t@Wl6'+=(.*>+'?-b'n9
>c:.k6B-26B#b%\== Tb\W•x‚ :v
5D=;t‡:#%;l6'+A5)>c.k' &'>
#.#+#,E)-
86'+A5)>c+?>(!r•#&5D#
' .k+:Bq5c(:BqBtl-
eB'ml6'+.k=(!A5>’''”’'5 ”¯
/>n¢5Œ_'¢¢B +'¢¯-^En.k'.
().5!&'5 =,.,+6m +q-
2'.:G++?fq@0++"=5=w
n5;(&!n:Bq:)0-8@5Eni>(
!.k.'+6-di>(!Tnatural language processingƒ
3eQW +&65)'D#&5'+q;t&!>'
.-8&'&65)'i>(! &'>#:mE
m!A5B)#l5ic>t''E.

;5'B#-
Q.#+#b\5E#+@i.f5,?.=,.k;)'?
;(&!.k:Bq5B-2"()6'+l5;7?
;(&! D#k#+:+).kl5)U+&0=,'B=(!A5
?+:+)(!+_.k'.'&ml;7;
6-^l.kn5"=;t+:+).k‡:#%;_c
kB+:''.E;EB=,.k:+)?
!:@%'-
‡:#%; +:''. ;5fUn5>&!a%&%-
‡:#%;.kB;(;'&En5.;`` +5'!
5,s>BGm &;5)‡%:?&5D#a%&%-
O(+m5w5@HX+H?JKKHls=5+:''
.35#%;f  >    5!    )    ‡:#%;  &(  5 †5v  /<  &k
‡:%; sq#k5D-‡:#%;)mYKK&)5BLL
1M885NOKP23QRL 8&JL
^yz38{83u/a|Q^}a/~22.JV2+!q5!
A5
&)5&'#!B\TEnglish WikipediaWmJ&)5BUB
1)'+H?JKKImmxXK-KKK!-8@:m.kf
‡:#%;sB

=(m=&;(+!
A5-‡:#%;)mJKK#!>&'m':'HKK'
 -HX#!mXKK-KKKBVB\^qQ+#4e3D£8t
^l/e4*^'3843/'33‘Qe†5,B>B
1)-Q!B^q.k#+&!cO1On5#!:+.k
='o#A5h%=%:+-
2.2.4.2 Xây dựng phương pháp ESA
^l;(#.#+#b\"#()A5Y.V
ƒ eEi;>)5@‡:#%;-

ƒ 86'+;>)5E@‡:#%;-
ƒ 86'+ !A5?%'&.k;)f+:+)
‡:#%;-
ƒ b;t+5D'+l6 .(>J?-
Hình 2. 1 : Thuật toán ESA
A. Lấy và xử lý dữ liệu Wikipedia
R<:+)&!‡:#%;;5E.k+_f ‘ga".k
;(''f>(!-R<:+).k6f B
'A5:+)>Fn!A5B:+)-
^5!l;(+:)#E.k;>)5@‡:#%;-1n#6
;(#+&l‡:#%;m5E#='o#;>)5n‡:#%;%'
1M885NOKP23QRL 8&JY
^yz38{83u/a|Q^}a/~22.JV2+!q5!
A5
_:-3.;`ml&5D#'#V°°;5#=-h:%;-'&°lE;>)5-2"
.kn5qB5#;%+:l5;>)5'.;`(
0-2";( )5B)!=€&5D#'_Gq+='
.5‡:#%;•HX‚-
Hình 2. 2 : Nguồn dữ liệu Wikipedia
b5mE;>)5;l+;>)5-O>)55.k'*H-HYJ-XYL
:+)=5:'•>:+)w6HKK@m6X:!:B
n"rJPH-JJK:+)-b5E5&"H:+);.;dReV
<page>
<title>Chè</title>
<ns>0</ns>
<id>11531</id>
<revision>
<id>5364458</id>
<parentid>5364261</parentid>
1M885NOKP23QRL 8&JX