PHƯƠNG PHÁP HỌC GẦN KHÔNG GIÁM SÁT ĐỂ TRÍCH CHỌN THỰC THỂ TÊN TỔ CHỨC

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Vũ Quốc Đạt
PHƯƠNG PHÁP HỌC GẦN KHÔNG GIÁM SÁT ĐỂ
TRÍCH CHỌN THỰC THỂ TÊN TỔ CHỨC
KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY

Ngành: Công nghệ thông tin
HÀ NỘI - 2009
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
Vũ Quốc Đạt
PHƯƠNG PHÁP HỌC GẦN KHÔNG GIÁM SÁT ĐỂ
TRÍCH CHỌN THỰC THỂ TÊN TỔ CHỨC
KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY
Ngành: Công nghệ thông tin
Cán bộ hướng dẫn: TS. Nguyễn Trí Thành
HÀ NỘI – 2009
Lời cảm ơn
 !"#$%
& '()*+& ,,-./0123&4)
56()&&.378)"9/&:
;,<#=>?*<:#8=>@AB@&#C'+?;D
,*.)?"
,&;E,. '.F+4()G C
3H,I :3&J?JK"9/-J?L,
:J?M,N-;D ;8*.)OC
"
<P /,IL,I QC
33&R3O, 3&&C4()&::383&C
"

!3
SOA>?
Tóm tắt nội dung
%*:&T341,*;,)5-8 E%
*4M&CJ& JE3,UD1,*"#EE
MF5VMWF)))I;XI;4M
3&E))1,*38/54YJ-T,.
<E+)))).;,J&%*4M
)))*@ZZ [;E,.&IJ&C)))
M%*thực thể tên tổ chức tiếng Việt37JS8:
\J"]))&54,2^L,!_&VM&.
`a]b938%*c)1,8tên sách và tác giảL,-
d:\J"eML,)))&&%4,8)L,
 ;:4WFL,D5V)V/fH?g]h!X,i"j
14837JS8)))&;
1,"
Mục lục
k"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""l
EC5""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""m
_,
n

o
3
p
7
p
"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""q
Z^"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""r
<@es#Bt"!skeu<_vahw#bx<@<@y#@z<@{|#}<@~<""""""•

<@es#B€"@e•#Ba‚]<ƒ#_vahw#bx<@<@y#@z<@{"""""""""""""""t€
€"t"b(%c)1,8g ,iL,&8YJ"""""""""""""""""""t€
€"€".)3&+DH.)&8YJ""""""""""""""""""""""""""""""""""""""""""""""t„
€"l"@8!YJ,"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""t…
€"m"R;""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""€€
l"m"A†,""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""lm
<@es#Bm"@z<#B@a‡Z"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""l…
m"t"<ˆJf3&"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""l…
m"t"t".)5-8""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""l…
m"€"Z:48""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""l•
m"l"j148"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""m‰
m"m"#./0"""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""m€
jk.""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""m€
&8,;Š""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""""m„
Ba
̉
ng tư
̀
viê
́
t tă
́
t
Tư
̀
hoă
̣
c cu
̣
m tư

̀
Viê
́
t tă
́
t
`, a,3],b, 
9/),
`a]b9
Z:‹
o
Z,;3
n
 @ZZ
Mở đầu
%*4M&J&J&%*:"
J?E3,U;1,* WF8E37J
4C D5VI;4M[_&%*4M
S8'FD3&7 E+)))1F,
,3-;1F;1,";E,.& ,,C
)))Œ*;:•M)5VJ&" 
)?3L,;E,.&†48(%C?4ME&4MR
D"k.37F,&mŠ
 <tB81,3+%*:3&J&%*4M
RDO2T,L,E"
 <€IJ&).M1J&"<,,lJ&
(%c)1,88;,.)&8g1,8Žauthor, title•
Žcategory, named entity• Žorganization, location•i"•^%L,J&
&&&54,3&:-L,F(%MJM5$
(55?6g),i H6&(%,F"_&J

&L,_X(%c)1,8Žauthor, title•"j‘.1,3UF)
5VM(%4M 54,3&.`a]b9"SUc),5V;1
L,3Uc)&3&"<4MFF(%^W3U ;
(3Uc);’,'+;85H'"ZWJ&,,+E
JM5$6 )PF)3-L,H1,8(%"HJ&
L,],,',2T3+C)))*;:M)
5VJ&;E,.&"@8!YJ,C3JM
5$),3&)DFL,4MF"
 <lIJ&:IR13&JL,J&(%4
MRD"Z:IR154,J&L,_3+(%c)1,
8Ž, • cJ8&;‘.`a]b9" M/)J,
3J&L,],,X/)&),"S/)&IE
MF3Uc)48"<J48&Š_,
C6g),iM.+RD“FC/gF;”
3*&ED,4Mi,,+E“†,/F4
r
M“**-4M?58H.)4MF“/?F4
M?583&5-8MI/+“,),H.)/+
E“)V3Uc)[<OIJ&.),H
+L,4M“P&,C.)•JM5$ H
E/54F†,MFF)2"
 <m&)48"`-8ˆJf :483&;
148"<†,,C;148?58MM8%
L,J&"
…
CHƯƠNG 1. SƠ LƯỢC BÀI TOÁN TRÍCH CHỌN THỰC
THỂ TÊN TỔ CHỨC
1.1. Tổng quan về trích chọn thông tin
S4JPRL,a3&)8-'?,CF:
;RQ"_?E3+C/2: O%%/&

&7"`EJ&c,3&D&I,-)))
 8138/2:)D5V"@8, I
;g,i4838I-,YJ)PF)3’
5P"J^3IFCL,E&,\J8&
8 +DEF:;;:LM)DI;L,
5P"S6U+ˆ-f JC).L,,\J"`E
;,F-DEN,?+:JR%">E&T34&
Œ%*:•D"
%*:&CT341,*;,)5-8 4838
(%,:E(H.)&8:X;:E("j:
M&JC37J 8%*:†.JC:
1,^CT34&E"@,EC; C6g),i
J,Q4M 1,84M[" 8%*:E8
3V)%&8:MI,:%F)+3&D
6E"
S%5V3+8%*:Š
•
Hình 1 : Hệ thống trích chọn thông tin
@848(%,JCJ,1,8ŽNAME, TITLE, ORGANIZATION•
H.)&8YJ3&JRJlE3&^5-8"
1.2. Bài toán rút trích thực thể tên tổ chức
RD&C-FJ/837J cJ8&
YJ3+; /'C [<P34)ML,?8
 4&E,[IM3+RDS8#,O&
3+F1,"b(%RD&8;,5,RD
/837J"
_&(%4Mg&VM^;E,.&&J&%*4
MRDi&J&JJ&%*:"_^3I
;;,)FD3+C% %L,4M I(,
)(%,F%/L,4ME"E&J&J Q

?+3+.)•&38(%c);E;7">cJ83:-
S8 ,5?3 :;.)•3+-)) 3&,ECˆ
t‰
&VM3+-, -S8O/8+HŒH,•
†,%8; JRT,"""
<E+)))F)5VJ&(%4M)
))*@ZZ–m—[;E,.& 5V)))Œ*
;:Œ54,.`a]b93&2^(%c)1,8gauthor, titlei
L,_–r— ;F).WFM(%4MRD" EC?
&.`a]b9)5VJ&(%c)1,8g
i gRD V^%L,RDi[" UC5;E,.&†&%
*4MXRD"#FL,`a]b9&%4Cg,,i 
%,L:L, EM)5V+5-8"@-,
RDEŒ1,8•&E3Œ+•D+E">&-+
+M)5V;‘.`a]b93&J&;E,.&"<)N
+.)"
1.3. Ý nghĩa của bài toán rút trích thực thể tên tổ chức
ZC8(%?4MM1EME+D5V4
Š
= @WF/5\J-T,"
= ˜  54      I  ;    4  M"  S%  5V  3  H  ;E,
Œ\,ŒEM3+-,YJE3+3fR
Z‘ c3+&]\,XL:Z‘ c3+C:&
E[`E,+;N;E4F()L,8%
*4M"
= @WF8E37J4C"
[""
_&(%4MRD;E,.&,,†&J&
J ,ED+4"Z†5H?^D&&&:5-
8"E&^M)MJ&)D?) -%"

tt
CHƯƠNG 2. HƯỚNG TIẾP CẬN BÀI TOÁN TRÍCH
CHỌN THỰC THỂ
@*&).)RJJ&%*4M"_&
;E,.N).C;"<&N8CJ&
MI'F48M(%c)1,8 HEEM(,2^)5V
J&(%4MRD"
2.1. Rút trích cặp quan hệ (title, author) của cuốn sách trong tài
liệu web
#.•:\\\;:)†^5?: &(U+
ˆ-1,8 (&E"#;,)F-c%EIN-%
38/2:"!_',,C2^&(%,c)“title, ”
3&“author”L,">cML,c)F(%&&(E1,83
,X3&3">MRJ.D&&.
`a]b9NFIJ&5"
>8C;8EJ& ,EN,,1I(
%R13&.5VJ&"
2.1.1. Occurrences của sách
hL,FM&:3+4Œ/8•L,
gQ title 3& authori.)5-8">M.838/2 _JM5$
 L,&CJCQrŠ
(author,title,order,url,prefix,middle,suffix)
order ŠD4/8L,author 3&title"
url Š >f,†,YJ&C5ED,author, title "
prefix Š˜;24Dauthor ,title gPD4L, author, titlei
middleŠ˜•-,author3&title.
suffix Š˜D,author ,title.
t€
2.1.2.Patterns của sách
],NFŒ/?•F3&.)&8M(%,.)1,8g^

&Œtitle•3&Œauthor•i"],FŒ,•H.) h^C
% 1&EgNFIJ&^5i"],E2T,1,*
38(%"],N7FOFI; (%"],
-&CJCQ„
gorder,urlprefix,prefix,middle,suffix)
order :B^h
ZCc)(author, title) F(%EC™bkYJF)gmatchsi 3
urlprefix*3&C5L,EED,?F)3JMD%1Œ*prefix, author,
middle, title, suffix*” ,Q;EJorder = true. _MD1author
3&title F&Š
–d=š—–d=š,=›" œ—
„“l‰
–d=š,=›"—
–d=š‰=•—–d=š,=›‰=•" Š•žŸ “œ—
m“m„
–d=š,=›‰=• Ÿ—
2.1.3. Quy trình rút trích
AI(%54,.`a]b9"•^&Š
ti _J•6’b¡X.)„3&D"Z6&
F,4)J•,"
€i h¢5hgb¡“`i 
IŒ4/8L,JC(author, title)L,b¡`"~3W
JCI ? url3& text /1,g^-, €Ji “author•3&
“title”"
li ]B],ghi
`4,3&.)/8L,c)g, iM,6g),i"Z6,
);:F1J8 ,1I&6"
mi b¡Z
`
g]i

H-),/54F I;<!`k-JCg)i&F)
36E"
tl
„i #b¡LI;("#F?3+J€
j‘.EMF:I5Š
Hình 2: Quy trình rút trích
2.1.4. Thuật toán sinh Patterns
#'IJ&V LVB],E83V,),
54,3&"#E&C1I1,*`a]b9"B(,E
CJCoccurrences 3&NŒ•54Cpattern HJCE"j'ELV,t
), ILV),EMON4 FIJ&5
Š
2.1.4.1. Sinh một Pattern
<JLVBh],ghiXt),,Š
ti <)•order3&middleL,4/8goccurrencesi)
 ,"# ;:I ;:   , F pattern M , 3   
occurrences">coutpattern.order3&outpattern.middleD3order3&middle.
€i I?)£/5&L,&(,">coutpattern.urlprefix =
prefix
li >coutpattern.prefix&/5&L,prefixs&(,%H
gsuffixiL,+gprefixsiE"
mi >coutpattern.suffix&/5&L,suffix&(,%H
gprefixiL,.gsuffixsiE"
tm
j1FC),"
2.1.4.2. Sinh tập Patterns
.B],gOi54,3&.Bh],gOi'F
8^Š
ti #E4/8gioh53&55">F;
1EO

t
[ O
k"
€i SWO
i
, pBh],gO
i
i"#p'+;83+CŒ
J8•I.p,,&"#;:Š
= #occurrences o O
i
Eurl IJ’O
i"
= #F?ŠoO
i
&-E54,3&
cM urls L,(X1, p.urlprefix"kc)?LV^J€
-E&"
•^L,LV),&,’urls;patterns,;:
LŒJ8•"#IOEM5V;‘.,’prefix,suffix"
†&-))J MEFt;‘.I)
D";1&;‘.3H,,,OEC;14
8).F"
2.2. Thu thập tên và miền tương ứng từ tập tài liệu web
< , f,M[&-4MJ37J5P^JD
:-&"#3HŒ&•,T34I36Q?+
4M3&+L,4ME"S%5V+Œ™3•E4MŒ@,3,5•
Œ<,J5•[" ,+Œ],•EŒ<¤¤ ¥,3,[•"#(%Fc)
+3&4MgC, NiQ%F)3&8\5#–t—IN?,
^D-%"

`4,`a]b9 Z,],,,,C:IMFc)(C,N) H&.)
8YJ–q—"C3&ND3 Category3&named Entityg+3&4
Mi"],F5VE5?Š
–StartOfSent— X–,|5— N–,5|,|.—
t„
¦X&CŒ,,£,”?ME&C/&F&ED,+C.
N &Œ),,,”?M&4MIC+C.ZCcMM
.5?N E&E&C5,HF3,"w/?),&
3&&8NFc)(X,N)"S%5V,Š
“That is because software firewalls, including Zone Alarm, offer some semblance of this
feature”.
<c)(X,N )F&gThat is because software firewalls, Zone Alarm)"
<P HX(%,V5,H’,'&+CL,N"#EF
F&V5,H;:81) ,&)PL,E&C
5,H+"#3%5V N(%FV5,HŒsoftware firewalls”
E%+C"<FF&C1Š
= #;:EV5,H5?+•L,Œcategorical
fact” Ic)gX, NiJf?J’"
= ZCV5,H5?+•L,Œ,,£,• 
,EO&CV5,H+ Ic)gX, NiJf?J’"
= F)U?IgX, Ni&)PF)3&Fc)gC,Ni"
_5:;1)5V1EŠ
Bảng 1: Sự lựa chọn cateogries từ cateogrical facts
tq
Categorical fact and instance name Selection
Anti-GMO food movements sprouted up `,5
in European nations in the 1990s, 5B,
`,5
Our customers’ chipsets compete with `,5
products from other vendors of standardsbased

and ADSL chipsets, 5d,
`,5
The venture is supported by a number of academics, 5
#,<;
b,
gacademics
Noam Chomskyi
API Adapter can be written in other
programming languages ,<¤¤
b,
gprogramming
languages C++i
>M7Fc)gC, Ni(%F :I,,)DMŒ4C•
,-),"_•Œ/?•-c)gC, Ni'F(%^3U
c)3&5-8"•^F:I5Š
Hình 3: Rút trích Patterns mới
ZW),E5?Š
ŽLeftContext < InnerPattern # RightContext•
tr
LeftContext, InnerPattern 3&RightContext &5'-))"],
†./HJ8,E;W),Œ••&
&t"48&LeftContext, RightContext FJM5$
5?H?g]h!X,iJ^]J,;–„—"j1/)?)t„),F8
;JJ5Š
Bảng 2 : Phân hạng các Pattern rút trích được
LeftContext
(POS tags)
InnerPattern
(words)
RightContext

(POS tags)
!,h£! !,
J
##]##] ##]
##] ##] ,5
,
"95h£!
a###] ##] ,5
,
"95h£!
!,h£! ,
J
"95h£!
!,h£! ,
J
##] ##] 
!,h£! 5
J
##] ##] ##]
!,h£!a# ,
J
##]##] ##]
!,h£!` 5
J
##] ##]
!,h£! 5
J
<<##]##]##]##]
##] ##]##] ,5
,

"95h£!
!,h£!¥¥ 5
J
<<##]##] S_]
!,h£!¥¥ 5
J
##]##]<<##]
!,h£!` ,
J
##] ##]
#I3&J, &38I?F•InnerPaternsQ&Œsuch
as•3&Œincluding•LVUŒ;)•,-InnerPatterns-%;
Œand other• Œinclude•3&Œare•"#-),&?F5VM(%4
M3Uc))"
2.3. Hệ thống Snowball
<O54,^L,`a]b9 9d3&kB,3,'/54
8!YJ,–l—M(%c)1,8(organization, location)XRD3&f,
t…