I HC QUC GIA HÀ NI
I HC CÔNG NGH
PH
H THNG T NG TNG HP Ý KIN GÓP Ý
TRONG HI NGH
LUCÔNG NGH THÔNG TIN
HÀ NI - 2014
I HC QUC GIA HÀ NI
I HC CÔNG NGH
PH
H THNG T NG TNG HP Ý KIN GÓP Ý
TRONG HI NGH
Ngành: Công ngh thông tin
Chuyên ngành: H thng thông tin
Mã s: 60480104
LUCÔNG NGH THÔNG TIN
NG DN KHOA H
I
HÀ NI - 2014
1
t qu c trong lun phm nghiên cu, tìm
hiu ca riêng cá nhân tôi. Trong toàn b ni dung ca luc
trình bày hoc là ca cá nhân tôi hoc tng hp t nhiu ngun tài liu. Tt c
các tài liu tham khu có xut x c trích dn hp pháp.
Tôi xin hoàn toàn chu trách nhim và chu mi hình thc k lut theo quy nh
cho la mình.
Hà Ni, ngày 10 tháng 06
Phm
2
c tiên, tôi xin gi li cchân thành và s bic ti TS. Bùi
i tôi v c chuyên môn,
nghiên cng phát trin trong sut quá trình làm lu
i li các Thy, Cô giáo ca Khoa Công ngh thông
tt nhng kin thc b ích, hii v c H thng thông tin
mà tôi hc tp. Tôi xin bày t s bic ti ThS. Tr
ti Phòng thí nghim Công ngh tri thc (KTLab) , h tr tôi trong quá trình
nghiên c tài này.
Cui cùng, vin gi li bic vì gia bên
cnh tôi, mang li cho tôi ngung viên tinh thn to ln và to mu kin thun
li cho tôi trong quá trình hc tp và hoàn thành lu
Mt c g không tránh khi nhng thiu sót. Rt
mong nhc ý kia Thy, Cô giáo và các b lu
c hoàn thi
Xin trân trng c
Hà Ni, Tháng 06
Phm
3
C
L 1
LI C 2
MC LC 3
BNG CÁC KÝ HIU VÀ CH VIT TT 6
DANH MC CÁC HÌNH V 7
DANH MC CÁC BNG BIU 8
M U 9
TNG QUAN V M 11
1.1. Gii thiu 11
1.2. Các khái nim 11
1.2.1. ng 12
1.2.2. 13
1.2.3. 13
1.2.4. m 13
1.2.5. m 13
1.3. Các thách thm 14
1.3.1. Phong cách vit khác nhau 14
1.3.2. i theo thi gian 14
1.3.3. mnh cm 14
1.3.4. Các câu vn 14
1.4. 15
1.4.1. 15
1.4.2. m so sánh 15
1.4.3. Khai phá và tng hp ý kin d 15
1.5. ng dng cm 16
1.5.1. ng d 16
1.5.2. ng dt công ngh thành phn 16
1.5.3. ng dng trong kinh doanh thông minh và chính ph thông minh 17
4
1.5.4. ng dc khác 18
1.6. Tóm tt 18
NG HP Ý KIN 19
2.1. Gii thiu 19
2.2. Các nghiên cn tng hp ý kin 19
2.3. Phân loi tng hp ý kin 20
2.4. Tng hp ý kin d 21
2.4.1. Nhn di 23
2.4.2. D m 25
2.4.3. Sinh bn tng hp 27
2.5. Tng hp ý kin không d 30
2.5.1. Tng hn 30
2.5.2. Tng hn 31
2.5.3. Mô hình hóa 34
2.5.4. Tng hp da trên thc th 34
2.6. Tóm t 35
BÀI TOÁN TNG HP Ý KIN GÓP Ý TRONG HI NGH 36
3.1. Bài toán 36
3.2. Chn ca h thng 37
Thu thp ý kin 37 3.2.1.
Tng hp ý kin 38 3.2.2.
G 39 3.2.3.
3.3. xut 39
3.3.1. Pha thu thp d liu 41
3.3.2. Pha tin x lý d liu 45
3.3.3. nh ch ca ý kin 46
3.3.4. Pha gom nhóm ý kin 49
3.3.5. Pha phân lp ý kin 50
3.3.6. Pha sinh bn tóm tt 54
5
3.4. 55
3.4.1. nh ch 55
3.4.2. p ý kin 55
3.5. Tóm t 56
THC NGHI 57
4.1. ng thc nghim 57
4.2. Công c phn mm 57
4.3. D liu thc nghim 58
4.4. c nghim 58
4.5. Kt qu thc nghim 59
4.5.1. Kt qu nh ch 59
4.5.2. Kt qu phân lp NaiveBayes t xây dng 60
4.5.3. Kt qu phân lp s dng mã ngun m Weka 60
4.6. Mt s giao din minh ha 66
4.6.1. Giao din chính 66
4.6.2. Giao din thêm mi ý kin 66
4.6.3. Giao din tng hp ý kin 67
KT LUNG 68
TÀI LIU THAM KHO 69
PH LC 1
6
Ký hiu
Din gii
Ting Vit
COS
Contrastive Opinion Summarization
Tng hn
CSDL
Database System
d liu h thng
i biu quc hi
HTML
Hyper Text Markup Laguage
Ngôn ng n
IDE
Integrated Development
Environment
ng phát trin tích hp
IDF
Inverse Document Frequency
Tn s nghch ca mt t trong
n
JSON
JavaScript Object Notation
Ký hing JavaScript
Neg
Negative
Ph nh
NLP
Natural Language Processing
X lý ngôn ng t nhiên
PLSA
Probabilistic Latent Semantic
Analysis
Phân tích xác sut ng n
PMI
Pointwise Mutual Infomation
m
Pos
Positive
Tích cc
POS
Part of speech
Gán nhãn t loi
SMO
Sequential Minimal Optimization
Ti thiu tun t
SVM
Support Vector Machine
Máy vector h tr
TF
Term Frequency
Tn s t
XML
eXtensible Markup Language
Ngôn ng u m rng
7
12
Hình 2. 20
22
27
28
28
29
30
31
35
36
37
38
39
40
41
43
44
50
59
60
61
62
62
63
64
- 64
65
66
67
67
8
43
44
45
46
46
47
48
49
49
55
57
57
59
9
1. t v, nh ng nghiên cu
ng Web 2.0 ng xã hi
khác giúp cho nm v
Ý kin hàng
và ng ti chính sách
.
n nay Kmn và nhc
nhiu s quan tâm trong thi gian g n không ch
dng li vic phân tích câu ch cn, giúp máy tính thc s i dung
n nói gì, mà còn cho bii vi
Tng hp ý kin (Opinion summarization) là bài toán quan trng trong khai phá
m, c s quan tâm ca cng nghiên cu khai phá d liu,
hc máy, truy hi thông tin, và x lý ngôn ng t nhiên. Ma tng hp
ý kin [2,3,5,9] là t ng tng hp các ý kin v mng hay v thành mt
bn tng hp ý kin ngn g ng hp ý ki c gii thiu
[3,5,9] da trên các mô hình thng kt qu rt kh quan và m
hi ng dng cho nhiu bài toán thc t.
quy mô ln có các ch l bàn lun. Vì s
i biu tham gia hi ngh là rt ln nên rng
hp ý kin v các ch da trên b c ca tng ch . Chính vì vy,
gii quyt tình trng trong các hi ngh n nay, lu xut
xây dng mH thng t ng tng hp ý kin trong hi ngh. H thng này s
giúp ích trong vic thu thp ý kin t i biu, t ng tng hp các ý kin, làm
gim thiu gánh nng cc xây dng bn tng hp ý kin hi
nght khi công vic ln, cn nhiu thi gian và công s tài này là
c khu cho công vic này.
2. Mc tiêu ca lu
Mc tiêu chung ca lu ng ti xây dng mt h thng cho phép t
ng tng hp các ý kit hi ngh vi s i tham d ln (hàng
i). H thng này s t ng thu thp, tng hp ý kiu to ra
mt bng hi ngh s da trên bn tng h
tip tc tng hp tip thành bn tng hp ý kin hoàn chnh.
10
tài khó cn nhiu thi gian và công sc thc hi m bo
chng và trong kh tài ch gii hn nhng phn và ban
u v h thng t ng tng hp ý kin trong hi ngh, bao gm:
Tìm hia bài toán tng hp ý kin.
xut mô hình cho bài toán tng hp ý kin trong hi ngh.
Thc nghi
Xây dng th nghim mt h th phc v công vic tng hp ý kin
góp ý trong hi ngh.
3. Ni dung ca lu
Luc hin xuyên sut trong quá trình t khi hình thành các khái nim, ý
ng nghiên c n khi xây dng mô hình tng h xu
áp tng hp ý kin. Ni dung chính bao gm các phn sau:
M ut ra v, mc tiêu và gii pháp cho bài toán tng hp ý
kii ngh.
Gii thiu tng quan - các khái nin v khai phá quan
m và bài toán tng hp quam.
ng hp ý kin
chung.
xut mô hình cho bài toán tng hp ý kin trong hi ngh.
Thc nghing demo
cho vic x lý và phân lp các ý kin mi.
Kt lung: Tng kt li nhng kin th
nghi c áp dng trong sut quá trình thc hin lu
ng phát tri.
11
KHAI PHÁ
1.1.
N
. Khi bn mun mua mt chic máy tính xách tay HP Pavilon DV6
bt ra các câu ht không? Dòng Pavilon ca HP dùng th nào? Pin
dùng cChính nhn xét ca nh là
câu tr li cho các câu hi mà bn thc mc [5].
Internet (
thông qua I
[5]y,
m ci khác giúp chúng ta có thêm thông tin khi quynh mt v,
nó ng rt ln hành vi ca chúng ta. Bt c khi nào chúng ta ph
mt quyng phi tham kho nhng ý kin ca nhi khác.
Vi cá nhân, chúng ta tham kho t n bè. Vi t chc, h t chc các
cu nm bc ý kin.
d dàng
, vic
i là mi và thách thc rt ln.
m c nghiên cu mà c g làm cho h thng t
m ci t c vit bng ngôn ng t nhiên.
Km nghiên cu v ý kin, tình cm, quan nim ch
, thnh, cc th hin. Nhc th
hin qua các nhn xét, blog, các cuc tho lun, tin tc, bình lun, phn h
tài liu khác [5]. m da trên ngôn ng tính toán, truy vn thông tin,
n, x lý ngôn ng t nhiên, hc máy, thng kê và phân tích d
1.2. Các
Liu [4m: Mm bao gm 5 yu t (e
i
, a
ij
,
s
ijkl
, h
k
, t
l
)
i
là tên ca ch th, a
ij
a e
i
, s
ijkl
m v c
ij
ca e
i
, h
k
là ngun cm và t
l
là thc
bit bi h
k
m s
ijkl
có th tích cc, tiêu cc, trung lp hoc biu din bi
12
Hình 1.1
Ví d: Mm v n tho.1 c
biu dii mt s b
(iPhone, GENERAL , + , Abc123 , 5-1-2008)
(iPhone, touch_screen, +, Abc123, 5-1-2008)
(iPhone, voice_quality, +, Abc123, 5-1-2008)
(Blackberry, keys, -, Abc123, 5-1-2008)
Theo Bing Liu [2]m có th th hin v bt c u gì, ví d
mt sn phm, mt cá nhân, mt t chc, mt ch Ông s dng thut ng i
biu th các ch th cp.t s khái
nim bao g
1.2.1.
ch thc th i, sn phm, s kin, ch ) i
ng có mt tp các thành phn (components) hay thuc tính (attributes) gi
(features). Mi thành phn hay thuc tính li có mt tp các
thành phn hay thuy, mng O c biu din bi mt cp
[T, A] T là mt cu trúc phân cp thành phn cha, thành phn con, A là tp
các thuc tính cng O [3].
Ví d: Máy nh có mt tp thành phân: ng kính, pin và các thuc tính: kích c,
kh ng, ch ng nh. Thành phn pin có các thuc tính con: kích c, thi
ng có th biu dit cây phân cp.
Gc ci node không phi gc là mt thành phn hoc
thành phn con cng, mi cnh ch mt quan h part-of. Mc gán
mt tp các thuc tính, mm có th biu din thông qua mt node bt k và
các thuc tính c
13
1.2.2.
Gi mt tài lim là d, ng hp tng quát nht, d bao gm
mt tp các câu tun t d = {s
1
, s
2,
m
}. mf ci
ng O trong d là mt tp các câu liên tip trong d din t m tích cc hay tiêu
cc v fm ti thiu ít nht mt câu có th biu din
m v mng hoc thuc tính cng. Ngoài ra, m
biu dim trên mt hoc nhi
Ví dChng âm thanh ca chin thoi này ti th pin
li ngn
1.2.3.
Nu mt f hoc bt kì t i nó xut hin trong câu s,
thì f n (Explicit feature) trong sc li, ta nói f n
(Implicit feature) [3].
Ví d:
Máy n.
Màu sc ca chic n.
1.2.4.
i hoc t chc th hin quan
m còn gi là ngun cm. ng hp
n phm, din i ng là các tác gi
c [3].
Ví d: s bng ý kin ca mình v hi.
John
1.2.5.
Mm trên mf là mt nh, cm xúc hay s
c hoc tiêu cf t mm.
Ching ca mf có th là tích cc, tiêu cc
hoc trung lp. m hin (explicit opinion) là mt câu th him mang
tính ch quan, din tr trc tim tích cc hay tiêu cc ca tác gi. Quan
m n (implicit opinion) v mf là câu th him tích cc hay
tiêu cc mng minh [3].
14
1.3. Các ng
Phong cách khác nhau 1.3.1.
Thc t, các bình lun m nhp vào bi nhi khác nhau thì
h có cách vit khác nhau, t cách thc s dng ngôn ng, ch vit tt và kin thc
ca h là mt thách thc riêng ca mi. Mi u không bày t ý kin theo
cùng mi ta có th s dng các thut ng trong m xut hin
trên mt t báo trc tuyn và xut hin trong mt dic tuyn là rt khác nhau
u này ph thuc vào bi cc th hin). Trên thc t, hu
ht trong x n truyn thng thì s khác bit nh gia hai phn cn
m, "b phim hay" là
rt khác vi "b phim không hay" [22].
1.3.2.
Mt thách thc khác cn phn là v làm th có th theo dõi
m i theo thi gian. Tâm trng ca m i
t thit rm v mt sn phm hoc dch v nht
nh s i theo. Nu mt sn phm ci thin sau mt thi gian có th là vì nhiu
i nó và vì h có th b thuyt phc sau mt cuc tho lun dài
trong mt di sn phm [22].
1.3.3.
nh mnh ca mm là mt thách thc phi mt trong khai
m. Nhiu n lc thc hi nh các yu t quynh sc
mnh ca mt ý kin trong mt bi cnh. B sung thêm vic phân lp các t thành các
m ng m khác nhau, mt s t b xác
mnh ct sm t t hài
c phân lp thành rt tích cc và kém tích cc n
c phân tích và s d nh m i lp [22].
1.3.4.
Mt thách thc li vm xut hin khi mi th
hic và tiêu cc trong cùng mu này ch yu là kt qu khi
m tip n truyn thông không nghi th
blog và các di i có nhiu ý kin khác nhau trong cùng mt câu.
Nh y có th phân tích cú pháp hoc khai phá quan
m [22].
15
1.4.
Theo Bing Liu [2]m n hình nh
Bài toán phân lm
Tng hp ý kim)
m so sánh
1.4.1.
Vi bài toán này có th toán phân ln.
Bài toán phân lp mc hay tiêu cc. Ví d: vi m
giá sn phm, h thng xác nh xem nhn xét v sn phm y là tt hay xu. Phân lp
này ng là phân lp mc tài liu. Thông tin c phát hin không mô t chi tit
v nhng gì mi thích hay không thích.
Mô hình bài toán:
T
i
}
Hai l (Tích cc) và Neg (Tiêu cc)
B phân lp s phân d
i
vào mt trong hai lp Pos/Neg
Ví d: Vi m n thoi Samsung galaxy S4, h thng s nh
m cchê (nên mua hay không nên mua).
1.4.2.
Ngoài cách biu dim bng cách trc tip nhn xét v ng
còn có mng cách so sánh ng mun nhn xét vi mi
ng khác. Ví d, khi mi nói mt hay xng yêu
cso vi cái gì? Vì vy, mt trong nhng cách quan trng nht ci
ng là so sánh trc tip nó vi mng t khác.
Ví d:
Kin tho
kiu dáng cc nhn xét.
1.4.3.
Bài toán này t vào m
ng là sn phm, dch v, mt ch ,
mt cá nhân hay t chc.
Ví d n ph n tích
cc/tiêu cc v m ca sn phmtui th pin ca chic
16
camera này nn tui th pin
m tiêu ct ra:
Bài toán 1nh và trích chng mà i
hi lý ca chic laptop này rt cao
laptop hi lý
Bài toán 2m c
cc, tiêu cc, hay trung lp. Ví d: T
ci dùng v hi lý c
cc.
1.5.
1.5.1.
Rõ ràng, mt máy tìm kim có th phc v tt cho vic thu
thp và t ng tng hm, nhn xét. Thay vì có các trang web thu thp
nhn xét ca mwww.epinions.com ta có th hình dung ra mt trang web
t ng thu thp nhng thông tin trên mt cách nhanh chóng. Ch không ch bó hp
nhn phm mà còn có th bao gm các ý kin v v chính tr,
xã hi [5]
Ngoài ra, các ng dng có th c xn nhng trang thu thp
các bài phê bình. Vic tóm tt nhng bài phê bình cc xem là
mt bài toán quan trng. Ta có th i dùng xp hng sn
phm s c sa cha: Nhii dùng vô tình xp hng sn phm quá thp
trong khi nhn xét ca h ln ph
1.5.2.
Khai phá ng t công ngh kh dng
cho các h thng khác. Mt ti áp dng trong vic m rng các h
thng khuyn cáo, giúp cho h th n phm nhc nhiu
phn hi tiêu c khuyi dùng [5].
Trong các h thng trc tuyn, các quc hin th góc màn hình cn
c kim tra xem có phù hp vi ni dung trang web hay không. Ví d trong mt
trang web có ni dung chuyên v gan mà hin th các qung cáo v các sn phu
là không hp lý, nu hin th qung cáo v các loi thuc tr viêm gan s phù hp vi
n thng tinh vi, các qung cáo v sn phng s
c trong ni dung có nhng nhn xét tích cc v
17
sn ph tuyt va ni qung cáo khác khi sn phm có nhng
c.
H thng ht lnh vm có th chng t
s hu ích. Ví d, các câu hm có th yêu cu nhiu x lý khác nhau.
Lita và cng s [15] ngh ri vi các câu hngoài vic cung cp
câu tr li, vic cung cp các thô mt thc th c
hin th s rt t i dùng.
kinh doanh thông minh và chính thông 1.5.3.
minh
m rt thích hp cho các ng dng thông minh. Thc vy,
kinh doanh thông minh là yu t ng sau s quan tâm ca các công ty, doanh
nghip c này [5].
Ta xem xét mt ví d sau: Mt nhà sn xut máy vi tính lt vng v
doanh thu thp b ng c i i sao khách hàng
không mua máy tính ca chúng ta?. th ng, giá
thành ci th là m kh quan v
thit k, dch v c xem xét.
Các công ngh phân tích cm ngh có kh trích nhng ý kin t các
n phi ci vit ra s là nhng công c tuyt v m
nhn nhng tác v x lý thông minh doanh nghing hp nói
trên. S r trc tip khi tiêu dùng máy tính tip xúc vi
s dng mt h thng dò tìm các trang blog cá nhân,
các trang h tr www.epinions.com thng s to ra bn tóm
tt nhng ý kin phê bình ca cá nhân hoc s lim có cùng chung mt
m. Vii phân tích không phc quá nhiu bài phê bình
có ni dung ging nhau. Bên cnh vic quu và quan h khách hàng,
các doanh nghimun theo dõi cám ca khách hàng, có th thc
hin d ng ci dùng phc v cho vic bán bàng hoc các công vic
liên quan [5].
Chính ph thông minh là mt dng ng dt h t, ý
kin là th mà các chính tr gia rt quan tâm. Mt s công trình tp trung vào vic tìm
hiu các c c chính ph mun kho sát ý kin ci dân v
mt d lut mi [5].
18
1.5.4.
Mi n m trong khoa hc máy tính t ln
n c khác. u bit, các ý kin rt quan trng trong chính tr.
Mt vài nghiên cu trng tâm vào vic nm ba nhi bu
c : C s ng c tri ng h hay phi là bao nhiêu [5].
m có vai trò quan trt gii pháp công ngh chính
m mà m trình v các chính
sách hay d thu chnh ca chính ph [5].
i xã hi hc ha hn nhiu thành qu rc r. Ví d, v làm
th ng hay c c nhân rn câu hi là
i có ý kin tích cc hay tiêu ci v tip
thu ít hay nhiu t các thông tin truyn ti t mt ngu
1.6.
i thim,
các khái ni thách
m, các bài toán và ng dm. Trong
p theo, lu trong bài toán tng
hp ý kin.
19
CÁC
2.1.
Bài toán Tng hp ý kin (Tng hm) là mn hình trong
m.
. Do
có rt nhiu nhóm nghiên cm khác nhau v khái ning
hp ý kivì vy lu coi rng nhng nghiên cu nhm to ra mt bn tng hp
n, d hiu ca mng ln ý kim gng hp ý ki [9].
m
,t
nhing
gian. Các hình thc tng hp khác nhau ca tng hp ý kin b sung cho nhau bng
cách cung cp các m hiu khác khau. Ví d, d ng cm xúc các ý
kin ca mt sn phm có th m rt chung ci dùng cm
nhn v sn phm. Ni dùng cn chi ting hp ý kin dc
c tng hp nguyên bn s rt cn thit [9].
2.2.
Nghiên cu c] bao gm các k thut khác nhau trong
khai m và tng hp ý kin. Trong cu
nigii thiu các khái nin
các k thum bao
gm phân lp m, tng hp ý kin và phát him. Mt phn ln
trong cu mô t thut phân lm và ch
mt phn nh ca cun sách tho lun v công vic sinh ra bn tông hp da trên phân
lm. na, phn ln các công vic tng hp ý kic tho lun là các
k thut da trên tp lu qua mt s
suc xut b
Bing Liu vit m n ch 3].
Trng tâm c các k thut phân lm, không bao
gm các k thut v tng hp ý kin. Trong lu, lu tp trung vào các
k thut trong tng hp ý kit qua c v phân lm, hay s dng
phân lp ý kit thành phn trong tng hp ý kin.
Nghiên cu ca Pang và Lee [5] v m và phân tích
ý kin cung cp m các nhim v n tng hp ý kin.
20
Nghiên cu này trm, rng tâm vào tng
hp ý kin. Trong nghiên cu ca Pang [5]c mô t mt mc
rt cao, v phân lp và các công vic liên quan khác vi cách nhìn nhn ca Kim
và cng s [9]. Tng hp ý ki
pháp tip cn nguyên bn hay trc quan.
Trong báo cáo ca Kim và cng s [9], tng hp ý kin c phân chia các k
thuc riêng bit (trích xu m xúc, sinh bn tng
hp) và c gng phân chia các k thut s dng trong m to ra mt cái nhìn
va bao quát va chi tit v nhng k thut này. Vi vic tp trung vào mt phm vi
nh, Kim và cng s [9] có th s dng nhiu phân chia phc tp cho tng hp ý kin.
c so sánh giKim và cng s [9]
cung cp nhi ng hp ý kin, v cp trong các
nghiên cu khác.
2.3.
Theo m vi nghiên cu, tng hp ý kin có th phân loi da
trên vic yêu cu mt tp các khía cu mt tp các khía
ci là tng hp dng hp không da
[9]. Hình 2.1 mô t tng quan v c trong tng hp ý kin da
Hình 2.1
Tng hp ý kin dc
i là khía cnh hay ch con, và sinh bn tng hp ca mi khía cnh
21
[9]. Ví d, tng hp ca sn pht k
B nh ng hp da trên
hin th chi tit cách cc t
th hm tng th khác bit so vm ca tng khía cnh
bi vì tng hp d biu dim riêng bit cho mc
[9]p cn dt ph bic nghiên
cu rt nhiu trong nh [12,13].
Tng hp ý kin không dm các loi tng hp khác mà
không chia d liu thành các ch nh. Tng hp ý kin không d
gi s rn ý ki c hot
tng hn các khía cnh [9]. Cách tip c
cn nhiu khái ning t tng h trc quan hóa thông tin [8].
2.4.
Kiu ph bin ca tng hp ý kin là tng hp d
n vic to ra bn tng hp ý kin da trên mt tp các ch (gi là
ng là các ch c xem là quan trong
i vn ý kin [9].
nh , thuc tính
Sinh bn tóm tt
nh
m [9].
. ,
Trong Hình 2.2, trình bày
[9].
22
Hình 2.2
23
2.4.1.
.
[9].
2.4.1.1.
H trong [13, 17]
(POS) và
g.
T [14]
cho các . Trong các
thành m
. Các
k [9].
VD: Fast
Popescu và Etzioni ,
) và các
các
k các
,
PMI tí
và liên
[9].