Tìm hiểu ngữ nghĩa trên lính vực eDoc (Phan Thị Mỹ Phượng vs Từ Thị Ngọc Thanh) - 3 pptx

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 77 - 0112398 – T Th Ngc Thanh
Trên cây cú pháp này, ta xác nh c các quan h cú pháp nh: S – V (ch$
ng – ng t), V – O (ng t – i t), A – N ( tính t – danh t), D – N ( nh t –
danh t). Mi t thc (content words) trong câu trên, cho dù ã xác nh c t loi
chính xác, nhng u vn gây nhp nh0ng v ng ngh a. Ví d!, ng t “enter” ( i
vào / nhp), danh t “bank” (ngân hàng/ b sông/ dãy), tính t “old” (già/ c/ ). Vì vy,
chúng ta phi s% d!ng n nhng ràng buc ng ngh a nh sau:
T Ràng buc /
nhãn ng ngh a
Ràng buc
I (tôi) Type: Person
(Ngi)

Enter1
(i vào)
S:Human
(ngi)
O:Closed – SPA
(không kín)
Enter2
(nhp)
S:Human
(ngi)
O: Data (d liu)
Bank1
(ngân hàng)
Type: Hou (nhà c%a, không gian kín)
Bank2
(b sông)

Type: Nat
(công trình thiên nhiên, không gian h)
Old1
(già)
N: Ani
(có s sng)

Old2
(c/)


Bng 5: Danh sách các ngh a và ràng buc c$a các t thc trong câu.


 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 78 - 0112398 – T Th Ngc Thanh

Hình 14 Cây quyt -nh trong vi&c ch)n ngh!a phù hp.

Qua vic duyt cây t trên xung vi gc là ng t (Enter), cui cùng ta chn
c các ngh a phù hp: enter1 (i vào), bank1 ( ngân hàng), và old2 (c/). Trong vic
xét iu kin ràng buc v ng ngh a, chúng ta phi xét n tính c#p bc (hierachical)
trong h thng nhãn ng ngh a (ontology) mà trong ó khái nim con s* k tha các
nét ngh a c$a khái nim cha và có thêm nét ngh a mi riêng c$a chúng. Thông tin v
"c im ng ngh a (type) c$a tng m!c t thc c/ng nh các ràng buc ã c xác
nh trong t in LDOCE và FrameNet.
2.4.2.3.3. Tri thc v ngôn t ( Collocation)
Ràng buc v ng ngh a gia các thành phn cú pháp không phi lúc nào c/ng
gii quyt c mi nhp nh0ng, vì có nhng quan h tim 5n v logic, v ng ngh a
ho"c thm chí do thói quen mà vic nhn bit phi òi h2i nhng tri thc th gii thc

mà n nay ngi ta c/ng cha th tích hp ht vào t in hay các c s tri thc khác
trong máy tính.

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 79 - 0112398 – T Th Ngc Thanh
Ví d!, danh t “bank” trong câu “I go to the bank…” có ngh a gì? Ta s* chn
ngh a nào trong s các ngh a: “ngân hàng/ b (sông) / dãy”; danh t “way” là “ng
(i) / cách (thc)”?; danh t “letter” là “bc th / ch cái”?;…. Nu ta ch& xét các ràng
buc v ng ngh a ( không phi lúc nào các ràng buc này c/ng có m"t y $ ) thì ta
khó mà có th xác nh c chính xác ngh a c$a các t nhp nh0ng ó.
Vì vy,  kh% nhp nh0ng trong nhng trng hp này, ngi ta thng xét
n hình thái và ng ngh a c$a các t lân cn hay còn gi là ngôn t (collocation).
Ch+ng hn khi th#y “bank … river” → “b sông”, “bank … account/money” → “ngân
hàng”; “way to” → “ng (i)”, “way of” → “cách thc”; “write … letter … to” →
“bc th”, “… letter A” → “ch cái”, “… letters, digits, symbols …” → “ch cái”,
“write … papers, letters, messages,…” → “bc th”;….
Phm vi lân cn c$a t cn kh% ng ngh a có th là bên trái 1, 2 hay n t và bên
phi 1, 2 hay n t. Vic chn la lân cn này ph! thuc vào tng trng hp và cá
nhân c! th.
2.4.2.3.4. Tri thc v ch  (subject)
Trong mt s trng hp nhp nh0ng, chúng ta có th xác nh c ngh a
úng c$a t nu ta bit c ch$  c$a vn bn. Ch+ng hn t “bank”, nu ang nói
v v#n  “tài chính” thì nó thng có ngh a là “ngân hàng”; t “driver” → “trình iu
khin” ( nu ch$  là l nh vc “tin hc”); “sentence” → “câu” (nu ch$  là “ngôn
ng / vn phm”) ho"c “bn án” ( nu ang nói v “pháp lut”); “element” → “nguyên
t” ( trong “hoá”) / “phn t%” (trong “toán / tin hc”);….
6 xác -nh c ch  c a v8n bn ang cn dch, ta c+n xem xét s# xu(t
hi&n c a mt s t" chuyên môn trong l!nh v#c ó. Ch+ng hn, nu trong vn bn ta
th#y xu#t hin các t nh: “ellipsis” (t&nh lc), “bilingual” (song ng), “anaphora”
(th i t), “pharse” (ng), … thì ta có th oán nhn vn bn này ang nói v ch$ 

“ngôn ng hc”; tng t cho các t “computer”, “memory”, “peripherals”, “CPU”,…
→ ang nói v “tin hc”, ….

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 80 - 0112398 – T Th Ngc Thanh
Chính vì vy, trong t in LDOCE/ LLOCE u có mã s ch$  cho các t
chuyên môn này. Chúng ta có th xác nh c ch$  mt cách t ng b0ng cách
xem xét các t chuyên môn lân cn t ang cn kh% nhp nh0ng.
2.4.2.3.5. Tri thc v tn sut ngha ca t
Mt t không phi lúc nào c/ng thuc v mt ch$  nh#t nh ( trong t in
LDOCE, hn 56% t thuc dng này), vì vy tính thông d!ng c$a mt ngh a nào ó
còn c da trên  o v tn su#t (frequency) xu#t hin c$a t ó i vi ngh a c!
th ó. Ví d!, danh t “pen”có ngh a thông d!ng nh#t là “bút/ vit” (bên cnh các
ngh a ít thông d!ng hn, nh: “chu1ng”, “l1ng chim”); “ball” thng có ngh a là “qu
banh/ hòn bi” hn là “bu.i khiêu v/”,…
 o tn su#t xu#t hin c$a mi ngh a c$a mi t c thng kê trên nhng
ng liu r#t ln thuc nhiu loi vn bn khác nhau. Chính vì vy, trong WordNet và
trong LDOCE, các ngh a c sp xp theo th t gim dn (ngh a thông d!ng nh#t s*
c lit kê u tiên).
2.4.2.3.6. Tri thc trong nh ngha ca ngha t (definition):
Trong các t in LDOCE/ WordNet, mi ngh a s* c nh ngh a và có ví d!
kèm theo. Ví d!, t “bank” trong LDOCE s* có các ngh a kèm nh ngh a c$a nó nh:
- “land along the side of a river, lake, etc.” (#t dc bên sông / h1 )
- “a place where money is kept and paid ….” (ni gi tin và tr
tin …)
- “a row, a line of …” (mt hàng, mt dãy …)
Da trên thông tin trong các nh ngh a này, và so sánh vi thông tin c$a ng
cnh, ta có th xác nh c ngh a phù hp c$a t trong ng cnh ó.  thc hin
iu này, Wilks et.al. ã tính toán phn giao (overlap) c$a t#t c các t. hp ngh a c$a
các t thc trong câu ting Anh dùng  nh ngh a mi ngh a c$a t.

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 81 - 0112398 – T Th Ngc Thanh
2.4.2.4. Gán nhãn ng% ngh!a
Kh% nhp nh0ng ngh a c$a t là bài toán "c trng trong gán nhãn ng ngh a.
Tc là ngh a c$a t a ngh a s* c xác nh ngay nu bit nhãn ng ngh a c$a nó, ví
d!: danh t “bank” s* có ngh a là “ngân hàng” nu c gán nhãn là “HOU”, và có
ngh a “b (sông)” nu gán nhãn “NAT”, ….
Trong các mô hình gán nhãn ng ngh a theo cách tip cn da trên các ngu1n
tri thc nói trên, ngi ta thng s% d!ng b nhãn có  mn (granularity) khác nhau.
B nhãn càng mn ( chi tit hàng trm ngàn nhãn nh WordNet) thì  chính xác c$a
vic gán nhãn s* th#p hn nhng kh nng kh% nhp nh0ng ngh a c$a nó s* cao hn (
vì không có trng hp nào cùng nhãn mà khác ngh a). Ngc li, nu chn b nhãn
càng thô ( ch& có 36 nhãn nh LLOCE), thì  chính xác trong gán nhãn s* cao hn và
t#t nhiên kh nng kh% nhp nh0ng ngh a s* th#p hn ( s* có nhiu trng hp cùng
nhãn nhng khác ngh a).
Ngoài ra, vic gán nhãn ng ngh a còn c phân bit theo quy mô gán nhãn:
ho"c là gán cho mt s ít các t in hình ( nh Hwee Ng và Hian Lee cho mt t
interest, David Yarowsky cho 12 t,…) ho"c là gán cho hu ht các t thc (nh Mark
Stevenson và Yorick Wilks, Mona Diab và Philip Resnik).
Vic chn ngu1n tri thc nào cho mi tình hung c h thng quyt nh
b0ng phng pháp hc giám sát trên ng liu ã c gán nhãn ng ngh a chính xác (
ây chính là ng liu hu#n luyn hay còn gi là ng liu vàng). Gii thut hc có th
là mng Neural, cây quyt nh, MBL, TBL,… mà trong ó các gii thut hc da trên
ký hiu (symbolic) t2 ra chính xác hn.
2.4.2.5. Các m'c  nh*p nh9ng trong x lý ng% ngh!a:
2.4.2.5.1. Nhp nhng mc t vng:
Nh câu ví d! “I enter the bank”  trên, sau khi phân tích cú pháp, máy tính ã
xác nh c mi quan h gia ng t “enter” (i vào) và i t c$a nó là “bank” (là

ngân hàng hay b sông?) thì phi cn phân tích ng ngh a c$a ng t “enter” và danh
t “bank”. Trong trng hp này máy s* vn d!ng các ý nim c$a ngôn ng hc tri

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 82 - 0112398 – T Th Ngc Thanh
nhn  bit r0ng “enter” là hành ng “i vào không gian kín (close space)” và danh
t “bank” vi ngh a là “b sông” có thuc tính là “không gian h” thì s* không tho
thuc tính này, ch& có “bank” vi ngh a “ngân hàng” là s* tho iu kin “không gian
kín” này, nên cui cùng máy tính s* chn ngh a “ngân hàng”.
2.4.2.5.2. Nhp nhng mc cu trúc:
Ví d! xét ng “Old man and woman”, ta có 2 phân tích: “[Old man] and
[woman]” và “Old [man and woman]” và máy tính s* chn cách phân tích th nhì (do
tính cân b0ng vn có trong c#u trúc song song c$a liên t “and”). Tuy nhiên, nu xét
“Old man and child”, ta c/ng s* có 2 phân tích: “[Old man] and [child]” và “Old [man
and child]” và máy tính s* chn cách phân tích th nh#t, vì máy th#y c#u trúc th nhì
là vô lý (do có s i lp gia thuc tính “tr,” trong “child” và già trong “man”).
2.4.2.5.3. Nhp nhng mc liên câu:
Ví d! xét câu “The monkey ate the banana because it
was hungry” (con kh& n
chui vì nó
ói). Trong mt s trng hp, máy tính hin nay có th xác nh c i
t “it” (nó) thay th cho t nào: “monkey” (kh&) hay “banana” (chui).  gii quyt
c nhp nh0ng này, máy tính phi xem li mnh  trc và vn d!ng tri thc v th
gii thc có trong WordNet  bit r0ng “ch& có kh& mi có kh nng ói” nên s* chn
“it thay th cho monkey”. Còn trong câu: “The monkey ate the banana because it
was
ripe” (con kh n chui vì nó
chín), thì máy tính s* bit r0ng “ch& có chui mi có kh
nng chín), nên s* chn “it thay th cho banana”.
2.4.3. Phân lo4i v8n bn (Text Classification)

Trong thi i ngày này, thi i c$a thông tin, lng vn bn ngày càng ln và
ta cn phân loi các vn bn thành các nhóm ch$  khác nhau, nh: theo chuyên
ngành (Toán, Lý, Hoá, Vn, S%, …), theo l nh vc (Khoa hc, Vn hoá, Xã hi, Chính
tr, …), …. Do khi lng quá ln, ta không th phân loi th$ công b0ng tay c. Vì
vy, mt chng trình máy tính phân loi t ng c yêu cu.  xây dng chng
trình này, ngi ta ã dùng nhiu cách tip cn khác nhau, nh: da trên t khoá, da

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 83 - 0112398 – T Th Ngc Thanh
trên trng ng ngh a c$a các t có tn s xu#t hin cao, mô hình Maximum Entropy,
da trên lý thuyt tp thô, …
i vi ting Anh, các kt qu trong l nh vc này r#t kh quan. Còn i vi
ting Vit, gn ây ã có mt s công trình nghiên cu v v#n  này và ã có mt s
kt qu ban u nhng còn hn ch do phn phân tích hình thái (tách t) và t in ý
nim (phân loi ng ngh a) cho ting Vit cha hoàn thin. Bên cnh vic phân loi
vn bn, ngi ta c/ng quan tâm n các ng d!ng gom c!m vn bn nh0m nhóm các
vn bn có ni dung tng t nhau (theo các thông s c$a vn bn) li vi nhau.

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 84 - 0112398 – T Th Ngc Thanh
Chng 3 : MÔ HÌNH VÀ GII THUT
3.1. Công ngh& tìm kim ng% ngh!a trên th gii hi&n nay:
Hu ht các hiu qu gn ây c$a các công c! tìm kim da vào ng ngh a là
ph! thuc cao vào công ngh x% lí ngôn ng t nhiên  phân tích và hiu câu truy
v#n. Mt trong nhng công c! tìm kim u tiên và thông d!ng nh#t này là Ask Jeeves
(
/>). Nó liên kt nhng im mnh c$a phn mm phân tích
ngôn ng t nhiên, x% lí khai khoáng d liu, và to c s tri thc vi nhng phân tích
theo kinh nghim. Ngi dùng có th gõ các truy v#n b0ng ngôn ng t nhiên và nhn
c nhng tr li tho áng.
Mt ví d! da trên ng ngh a khác là Albert (
/>). 'u
im ln nh#t c$a nó là cung c#p nhiu ngôn ng thêm vào cho ting Anh, ví d! nh
ting Pháp, Tây Ban Nha, c. Loi này c$a search engine cn mt s ông ngi 
xây dng nên mt mng ng ngh a r#t ln nh0m m!c ích hng ti vic thc thi hp
lí.
Mt kiu nâng cao khác c$a công c! tìm kim Internet là Cycorp
(
/>). Cyc liên kt c s tri thc ln nh#t trên th gii vi Internet.
Cyc (en-cyc-lopedia) là mt c s tri thc bao la và a ng cnh. Vi Cyc Knowledge

Server, nó cho phép các site Internet thêm vào tri thc ng ngh a thông d!ng và phân
bit nhng ngh a khác nhau c$a các khái nim nhp nh0ng.

3.1.1. Các hi&u qu tìm kim ng% ngh!a hi&n nay
Khi công ngh Web trí tu nhân to tr nên nâng cao hn, s% d!ng các th, RDF
và OWL s* a ra nhng c hi ng ngh a cho tìm kim. Tuy nhiên, kích thc c$a
mng ang c tìm kim s* phi thit lp mt khong trng cho gii pháp phc tp
và do ó nh hng mnh n kh nng xu#t hin c$a các kt qu thành công.
Nhiu công ty ln ang tht s hng n v#n  c$a tìm kim ng ngh a. S
phát trin c$a Microsoft v Web có l* ph! thuc vào kh nng c$a nó  hoàn thin
công c! tìm kim mà dn u là Google. Kt qu là Microsoft ã a ra mt chng

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 85 - 0112398 – T Th Ngc Thanh
trình tìm kim mi gi là MSNBot, nó lt qua Web  xây dng mt ch& m!c c$a các
liên kt HTML và các tài liu. MSNBot c d nh nh là mt công ngh mà kt
hp các ng d!ng cho h iu hành Windows. Sau ó Microsoft s* kt ni công c! tìm
kim c$a nó vi c.ng MSN trong phiên bn Windows k tip c$a nó nh0m làm cho d-
dàng tìm kim e-mail, spreadsheets và các tài liu trên các PC (Personal Computer),
các mng hp nh#t, c/ng nh Web.

3.1.2. Công ngh& tìm kim
Tìm kim ng ngh a gii quyt vi các khái nim và các mi quan h logic.
Nu xem xét các v#n  thc t c$a tìm kim ng ngh a, chúng ta s* th#y r0ng cây tìm
kim ng trc tình trng thiu logic a n v#n  cha hoàn t#t (Incompleteness
Problem) hay v#n  “ngc ng” (Halting Problem).
u tiên hãy xem xét v(n  cha hoàn t(t. Kt lun có th c xem nh là
mt s suy di-n c$a mt dãy logic gn li vi nhau. ( mi im, có th có nhiu
hng khác nhau  ti mt suy di-n mi. Vì vy, nh0m t hiu qu, có mt nhóm
các kh nng phân nhánh  b0ng cách nào ó hng n mt gii pháp úng. Và

nhóm các phân nhánh ó có th tri ra trong các hng mi l.
Ví d!, bn có th mun c gng nh ngh a “ai là ngi mà Kevin Bacon bit”
da trên thông tin v mi quan h gia ình c$a anh ta, nhng phim c$a anh ta, hay
nhng tip xúc công vic c$a anh ta. Do ó, có nhiu hn mt hng  a n mt
s các kt qu. Các kt qu này n0m trong mt nhóm phân nhánh các kh nng có th
có. Do vy, kt lun trong h thng c$a chúng ta là mt loi c$a v#n  tìm kim,
c biu th nh là mt cây tìm kim.
Có th bt u  &nh c$a cây,  gc, hay t các nhánh. &nh c$a cây có th là
câu truy v#n c h2i. Mi bc ln xung các nút con trong cây này có th c xem
nh mt suy di-n logic tim tàng di chuyn hng n vic c gng xác nhn câu truy
v#n nguyên th$y mà s% d!ng bc suy di-n logic này. Hng r* qut c$a các kh nng
có th c xem nh cây phân nhánh này, tr nên rm rp hn và sâu hn. Mi tip
cn này kt thúc b0ng vic tr thành mt trong các bc con, n mt nút con.

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 86 - 0112398 – T Th Ngc Thanh
Tng tng r0ng mi nút trong cây này biu th mt vài hng  xác nhn.
Mi liên kt t mt nút cha cao hn n mt nút con biu th mt câu lnh logic. Bây
gi v#n  này là chúng ta có mt cây ln c$a các kh nng.
Trong mt h thng logic phc tp, có mt s lng ln các chng c tim
tàng. Mt s chúng dài và không rõ ràng nu ch& có mt chng c. c chng minh
vào nhng nm 1930, mt s h thng logic $ phc tp vn ã là không y $
(không th quyt nh). Nói cách khác, có các câu lnh mà không th c chng
minh mt cách logic. Lun c c$a nó cho iu ó liên quan n mt v#n  khác, v#n
 “ngc ng” (Halting Problem).
V(n  halting suy ra r0ng các thut gii hin nay s* không bao gi kt thúc
trong mt câu tr li. Khi nói v Web, chúng ta nói v hàng triu các s kin và hàng
ch!c ngàn lut mà có th ni kt an li vi nhau trong nhng hng phc tp, vì th
không gian c$a các chng c tim tàng là vô tn và cây này theo logic s* tr nên vô
tn. Theo ó, chúng ta s* i vào các v#n  không hoàn t#t vn có; ví d! nh chúng ta

không th th#y mi chng c có th có và thu t#t c các câu tr li.
Chúng ta s* i vào tình trng không hoàn t#t bi vì cây tìm kim quá ln. Vì th
hng tip cn c$a chúng tôi là ch& phi tìm kim trên các phn c$a cây. Có mt chin
lc n.i ting cho vic b0ng cách nào  ch& ra các v#n  tìm kim nh vy. Mt
chin lc là tìm kim cây theo “chiu sâu” (depth-first).
Tìm kim chiu sâu s* bt u  &nh cây và i xung sâu n mc có th mt
s ng dn nào ó, m rng các nút khi chúng ta i, cho n khi tìm th#y mt kt
thúc cht (dead end). Mt kt thúc có th là mt ích (thành công) hay mt nút mà
chúng ta không th to ra các con mi. Vì vy h thng không th chng minh b#t c
th gì ngoài im này.
Hãy xem qua tìm kim theo chiu sâu và xoay theo tr!c c$a cây. Chúng ta bt
u  nút &nh và i sâu nh#t có th:
1) Bt u  nút cao nh#t.
2) i xung sâu nh#t có th theo mt hng.

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 87 - 0112398 – T Th Ngc Thanh
3) Khi chúng ta i vào mt kt thúc, sao lu nút cui cùng mà t ó
chúng ta ri kh2i. Nu có mt ng dn mà chúng ta cha i, thì
hãy ln theo nó. C theo chn la này cho n khi chúng ta th#y mt
kt thúc hay mt ích n.
4) ng dn này dn n mt kt thúc khác, vì th i tr li mt nút và
c gng  nhánh khác.
5) ng dn a n mt im ích. Nói cách khác, nút cui cùng này
là mt kt qu kh quan cho truy v#n. Vì th chúng ta có mt câu tr
li. Hãy tìm kim nhng áp án khác b0ng cách i lên mt vài node
và sau ó i xung mt ng dn mà chúng ta cha i th%.
6) Tip t!c cho n khi th#y nhiu hn nhng im kt thúc và s% d!ng
ht nhng kh nng tìm kim.
'u im c$a tìm kim theo chiu sâu là: ây là mt cách hiu qu theo thut

toán  tìm kim các cây trong mt nh dng. Nó gii hn s lng không gian mà ta
có  duy trì vic nh nhng th mà ta cha nhìn th#y. T#t c nhng th mà chúng ta
phi nh là lu li ng dn.
Khuyt im c$a tìm kim này là mt khi chúng ta bt u i xung mt
hng, chúng ta s* i n t#t các các con ng cho n cui cùng.
Mt chin lc khác cho tìm kim là tìm kim theo chiu ngang trc. ( ây
chúng ta tìm kim t lp này sang lp khác. u tiên chúng ta c gng thc hin t#t c
các kim chng  bc 0 và sau ó chúng ta c gng thc hin t#t c các kim chng
 bc 1, v.v… 'u im c$a tìm kim theo chiu ngang là chúng ta c bo m
nhn các kim chng n gin nh#t trc khi chúng ta n nhng cái phc tp hn.
iu này c a ra do nhng li ích c$a Ockham’s Razor. Nu có mt kim chng
 bc th n, chúng ta s* tìm th#y nó trc khi chúng ta xem xét n bc th n+1.
Khuyt im c$a tìm kim theo chiu ngang là chúng ta có nhng cây r#t sâu, chúng
ra c/ng có nhng cây r#t rm rp mà chúng ta có hàng ngàn hay hàng ch!c ngàn các
nút con. Khuyt im khác c$a tìm kim này là s lng không gian chúng ta phi s%

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 88 - 0112398 – T Th Ngc Thanh
d!ng  lu t#t c các kt qu mc th 3 trc khi chúng ta kho sát nó. Vi tìm kim
theo chiu rng, chúng ta càng i vào cây càng sâu thì không gian yêu cu càng ln.
Vì th chúng ta nhn ra r0ng hai trong các thut gii c. in cho tìm kim, theo
chiu dc và chiu ngang, s* dn n nhng v#n  v các h thng ln.
Có hai lp c bn c$a các gii thut tìm kim c s% d!ng  c gng gii
quyt các gii hn v v#n  không hoàn t#t và tình trng ngc ng là: không có $
thông tin và có $ thông tin. Các tìm kim không +y  thông tin, hay không nhìn
th#y, thì không có thông tin v s lng các bc hay chi phí ng dn t trng thái
hin ti n ích. Nhng tìm kim kiu này bao g1m: tìm theo chiu sâu (depth-first),
theo chiu rng (breadth-first), chi phí không .i (uniform-cost), gii hn chiu sâu
(depth-limiting) và tìm kim sâu thêm l"p i l"p li (iterative deepening). Các tìm
kim +y  thông tin, hay heuristic, có y $ thông tin v ích n; thông tin này

thng là chi phí ng dn c lng cho nó hay là c oán s lng các bc
xu#t phát t nó. Thông tin này c bit nh là heuristic search agent. Nó cho phép
các tìm kim có y $ thông tin thc hin tt hn nhng tìm kim không $ thông tin
và làm cho chúng hành x% trong mt dáng v, hoàn toàn “lí trí”. Nhng tìm kim này
bao g1m: các tìm kim best-first, hill-climbing, beam, A*, và IDA* (iterative
deepening A*).

3.1.3. Các Web search agent
Trong khi các công c! tìm kim là mnh và quan trng cho tng lai c$a Web,
thì có mt hình thc hot ng khác c$a tìm kim c/ng óng vai trò quyt nh: các
trm tìm kim Web (Web search agent). Mt Web search agent s* không thc hin
nh mt công c! tìm kim thng mi. Các công c! tìm kim này s% d!ng c s d
liu tra cu t mt c s tri thc (Knowledge Base).
Trong trng hp c$a Web search agent, t các trang Web c tìm kim và
máy tính cung c#p mt giao din cho ngi dùng. Các kt qu tri giác c$a agent là các
tài liu c kt ni thông qua Internet s% d!ng HTTP. Các hot ng c$a agent c
nh ngh a nu tìm th#y ích n c$a vic tìm mt trang Web cha mt im ích

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 89 - 0112398 – T Th Ngc Thanh
c ch& rõ (ví d! nh t khoá hay c!m t) và nu không , thì tìm mt v trí khác 
ving thm. Nó hot ng trong môi trng s% d!ng các phng pháp u ra  cp
nht ngi dùng  trng thái c$a tìm kim hay các kt qu kt thúc.
Cái gì làm cho “trí tu” c$a agent có kh nng ra quyt nh có lí trí khi a ra
mt chn la. Nói cách khác, a ra mt ích n, chúng s* ra quyt nh i theo
nhng hành ng mà dn n ích trong mt cách úng lúc.
Mt agent thng có th phát sinh ra t#t c các kt qu có th có c$a mt s
kin, nhng sau ó nó s* cn tìm kim thông qua nhng kt qu ó  tìm kim mt
ích n mong mun và thc thi ng dn (chui các bc) bt u  trng thái ban
u hay trng thái hin ti,  n trng thái c$a ích n mong mun. Trong trng

hp c$a Web search agent thông minh, nó s* cn s% d!ng mt tìm kim  nh hng
thông qua Web  ti ích c$a nó.
Vic xây dng mt Web search agent thông minh cn nhng k thut cho tìm
kim nhiu và kt hp t khoá, ngn chn “handling” và kh nng t ny mm khi nó
s% d!ng ht hoàn toàn mt không gian tìm kim. a ra mt im ích, Web search
agent x% lí  tìm kim thông qua mt s ng dn cn thit. Agent này s* da vào
t khoá. Phng pháp c $ng h này là  bt u t mt v trí “ht ging” (do
ngi dùng cung c#p) và tìm t#t c nhng v trí khác c liên kt trong mt dng cây
n gc (v trí ht ging) cha im ích.
Search agent cn bit im ích (ví d! t khoá hay c!m t), ni mà bt u, l"p
li bao nhiêu ln im ích  nhn th#y s* xem bao lâu (ràng buc thi gian), và
phng pháp gì nên c nh ngh a tiêu chu5n cho vic chn ng dn (các phng
pháp tìm kim). Nhng v#n  này c a ra trong phn mm.
Vic thc thi cn mt s tri thc c$a lp trình, làm vic vi sockets, HTTP,
HTML, sp xp, và tìm kim.
Có nhiu ngôn ng trong nhng thi hành trên Web, nhng giao din lp trình
ng d!ng (APIs) nâng cao, và kh nng phân tách vn bn tt hn mà có th s% d!ng
 vit mt Web agent.

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 90 - 0112398 – T Th Ngc Thanh
S% d!ng thut gii sp xp nâng cao và hiu qu s* giúp ci thin thc thi c$a
Web search agent.
Thit k Web search agent g1m bn giai on: khi to, nhn thc, hành ng
và hiu qu. Trong giai o4n kh$i t4o, Web search agent nên to lp t#t c các bin,
c#u trúc và mng. C/ng nên l#y thông tin c s cn cho vic ch& o sn tìm im
ích, ích n, mt v trí bt u và phng pháp tìm kim. Giai o4n nh*n th'c,
c tp trung s% d!ng tri thc c cung c#p  tip xúc vi mt trang và thu h1i
thông tin t v trí ó. Nó nên c nhn din nu hin din im ích và nên nhn ra
các ng dn n nhng v trí URL khác. Giai o4n hành ng l#y t#t c nhng

thông tin mà h thng bit và nh ngh a nu ích n c tìm th#y (im ích c
tìm th#y và vic sn tìm kt thúc).
Nu vic sn tìm vn còn hot ng nó phi ra quyt nh i n ni nào tip
theo. ây là s thông minh c$a agent, và phng pháp c$a tìm kim cho bit Web
agent s* “thông minh” bao nhiêu. Nu mt liên kt không tìm th#y, vic sn tìm kt
thúc, và nó cung c#p u ra cho user.
Web search agent di chuyn t giai on khi to n mt vòng l"p bao g1m
các giai on nhn thc, hot ng và hiu qu cho n khi t c ích n hay
không.

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 91 - 0112398 – T Th Ngc Thanh

Hình 15: Dòng c s$ tìm kim Web

3.2. Các bc xây d#ng mt 'ng dng semantic search engine:
Mt ví d! c$a công ngh tìm kim ng ngh a là TAP. TAP là mt  án phân
tán g1m nhng nhà nghiên cu t Standford, IBM, và W3C. TAP to òn b5y cho
công ngh t ng và bán t ng rút ra nhng c s tri thc t phn thân không có

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 92 - 0112398 – T Th Ngc Thanh
c#u trúc hay bán c#u trúc c$a vn bn. H thng này có th s% d!ng thông tin va hc
 hc thêm thông tin mi, và có th s% d!ng  thu h1i thông tin.
Trong TAP, các tài liu s6n có c phân tích s% d!ng công ngh ng ngh a và
chuyn sang thành các tài liu Web ng ngh a s% d!ng công ngh t ng hay th$
công vi các gói tri thc có c#u trúc ngày càng sâu hn. Công ngh thu h1i thông tin
truyn thng c nâng cao vi tri thc có c#u trúc sâu  cung c#p các kt qu chính
xác hn. C hai phép phân tích t ng và c hng dn s% d!ng các h thng và
các agent lp lun thông minh.

Các gii pháp xây dng nên mt công ngh trung tâm c gi là các Semantic
Web Template. Thc hin biu di-n tri thc, s sáng to, s tiêu th! và duy trì c$a tri
thc tr nên trong sut i vi ngi dùng. Mô hình d liu RDF là c s c$a công
ngh biu di-n tri thc Web ng ngh a và TAP s% d!ng RDF Schema và OWL.
Khó khn c$a vic t to ra tri thc yêu cu mt máy tri thc có th dùng 
dch các tài liu sang nhng ngôn ng tng trng và logic c yêu cu. Các
ontology s% d!ng vn t vng chính c$a tri thc c yêu cu  nh ngh a các khái
nim và mi quan h mà các trng hp c$a khái nim ó nm gi.
3.3.1. Xây d#ng kin trúc Web ng% ngh!a:
Kin trúc Web ng ngh a c phát trin da trên ý tng c$a vic chú thích
các trang Web b0ng các th, RDF và OWL  biu di-n chi tit các ontology ng
ngh a. Tuy nhiên, gii hn c$a các h thng này là chúng ch& x% lí các trang Web ã
c chú thích b0ng nhng th, ng ngh a c! th.
Ontology mô t các khái nim và mi quan h vi mt tp t vng tiêu biu.
M!c ích c$a vic xây dng ontology là chia s, và s% d!ng li tri thc. T khi Web
ng ngh a là mt mng phân tán, có nhng ontology khác nhau mô t nhng iu
tng ng mt cách ng ngh a. Kt qu là, cn thit  lp s 1 các yu t c$a
nhng ontology này nu chúng ta mun x% lí thông tin trên qui mô c$a Web. Mt tip
cn cho tìm kim ng ngh a có th da trên vic phân loi vn bn cho nhng ánh x
ontology so sánh mi yu t c$a mt ontology này vi mi yu t c$a ontology khác,

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 93 - 0112398 – T Th Ngc Thanh
và sau ó nh ngh a quan h tng ng trên mi mt c"p c s. Nhng item c
liên kt có giá tr tng ng c$a nó ln hn mt ngng nào ó.
3.3.2. L*p ch3 mc ng% ngh!a tim tàng:
Bây gi chúng ta  cp n vic thc thi Latent Semantic Indexing (LSI – lp
ch& m!c ng ngh a tim tàng) có th ci tin nhng kh nng tìm kim ngày nay mà
không có nhng gii hn nghiêm trng c$a mng Web ng ngh a rng ln.
Vic da vào tiêu chu5n c$a  chính xác, ph5m ch#t và s thu h1i òi h2i

nhiu hn “sc mnh c bp”. Gán các công c! mô t và phân loi cho vn bn cung
c#p mt thun li quan trng, b0ng cách tr v các tài liu không cn cha liên kt
theo tng ch mt cho truy v#n tìm kim c$a chúng ta. Các b d liu c mô t y
$ có th cung c#p mt bc tranh v phm vi và s phân tán c$a b su tp tài liu nói
chung. iu này có th c thc hin bi vic nghiên cu c#u trúc c$a các danh m!c
và các danh m!c con (c gi là s phân loi_ taxonomy).
Mt tr ngi nghiêm trng cho s tip cn n vic phân loi d liu này là v#n
 vn có trong b#t c kiu c$a taxonomy – trên th gii ôi khi chng li s phân
loi. Ví d!, cà chua là trái cây hay rau qu?
Và iu gì xy ra khi chúng ta kt ni hai tp tài liu c ch& m!c trong nhng
hng khác nhau? Các gii pháp c gi là các “ontology taxonomy” (phân loi
ontology).
Các tìm kim t khoá thông thng tip cn mt tp tài liu mà mt tài liu
cha hay không cha mt t a ra.
Ch& m!c ng ngh a tim tàng (LSI) thêm mt bc quan trng cho vic x% lí
ch& m!c tài liu. Thêm vào vic ghi nhng t khoá mà mt tài liu cha, phng pháp
này kho sát toàn b tp d liu,  th#y nhng tài liu khác cha mt s t tng
ng vi các t ó. LSI c phát trin u tiên  Bellcore trong cui nhng nm 80.
LSI xem các tài liu có nhiu t thông d!ng là có ngh a, và xem nhng tài liu ít t
thông d!ng là có ít ng ngh a. M"c dù thut gii LSI không hiu tí gì v ngh a c$a các
t, nó nhn ra các khuôn mu.

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 94 - 0112398 – T Th Ngc Thanh
Khi bn tìm kim mt c s d liu ch& m!c LSI, công c! tìm kim này xem
xét nhng giá tr tng t mà nó tính toán cho mi t c$a ni dung, và tr v các tài
liu mà nó ngh là thích hp nh#t vi câu truy v#n. Bi vì hai tài liu có th r#t gn
ngh a vi nhau thm chí nu chúng không cùng chung mt t khoá "c bit, LSI
không yêu cu mt s phân tích l#y tng xng  tr v các kt qu hu d!ng. (
nhng v trí mà mt tìm kim theo t khoá n gin s* không thc hin c nu

không có phân tích l#y tng xng, thì LSI s* thng tr v nhng tài liu liên quan
mà không cha t#t c nhng t khoá ó.

3.3.2.1. Tìm kim l(y ni dung

Vic lp ch& m!c ng ngh a tim tàng xem xét các mu t trong mt tp tài liu.
Ngôn ng t nhiên có nhiu nhng t không cn thit, và không phi mi t xu#t hin
trong tài liu u cha ng ngh a. Các t c s% d!ng thng xuyên trong tin Anh
thng không cha ni dung, ví d! nh các t chc nng, liên t, gii t, và các ng
t thng. Bc u tiên trong vic thc thi LSI là chn lc nhng t xa l t mt tài
liu.  thu c ni dung ng ngh a t mt tài liu:
1. To mt danh sách hoàn ch&nh t#t c các t xu#t hin trong b su tp.
2. Lc b2 các mo t, các gii t, và các liên t
3. Lc b2 các ng t thông d!ng (know, see, do, be…)
4. Lc b2 các i t
5. Lc b2 các tính t thông d!ng (big, late, high…)
6. Lc b2 các t “frilly” (therefore, thus, however, albeit,…)
7. Lc b2 mt s t xu#t hin trong mi tài liu.
8. Lc b2 các t xu#t hin ch& trong mt tài liu.

3.3.2.2. Stemming (lemmatize)

Công c! tìm kim ng ngh a là mt gii pháp hiu qu áng chú ý. Nó có th
phát hin c 2 tài liu tng t nhau thm chí nu chúng không có b#t k3 mt t

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 95 - 0112398 – T Th Ngc Thanh
nào chung và công c! tìm kim ng ngh a này có th loi b2 nhng tài liu ch& dùng
chung nhng t quan tâm mt cách ph. bin.
Mt s công vic khi u cn thit  thu thp tài liu s6n sàng cho vic lp

ch& m!c thì r#t "c trng ngôn ng, ch+ng hn nh stemming (lemmatize). i vi
các tài liu ting Anh, chúng ta s% d!ng thut toán c gi là The Porter Stemmer
 kh% các phn uôi thông thng c$a t,  tr v dng gc c$a nó. (Ví d!: writing
→ write, writes → write, …).
Vic u tiên là áp d!ng i vi các tài liu riêng bit, và chúng ta gán cho nó
mt trng s c!c b. Các t xu#t hin nhiu ln trong mt tài liu thì có trng s ln
hn nhng t ch& xu#t hin 1 ln.
Chúng ta a ra mt gii thut to ra trang web c$a các tài liu và các t – liên
kt t#t c các tài liu vi các t. Cho mt mô hình các t và các tài liu, mt ngi có
th thit lp các giá tr da trên s khác bit c$a tài liu so vi các tài liu khác. ‘Giá
tr’ c$a mt tài liu b#t k3 so vi các tài liu khác có th c thit k nh là mt hàm
c$a s lng các kt ni mà phi c thông qua  thit lp mt kt ni gia các tài
liu. Nu 2 tài liu c liên kt vi nhau bi nhiu ng i (ng kt ni) thì hai
tài liu này có th có cùng mt mc  tng quan.
Trng s c$a t là s# chu,n hoá c a 2 t" có ngh!a thông th7ng:
- Các t xu#t hin nhiu ln trong mt tài liu thì có nhiu ng ngh a hn t
ch& xu#t hin mt ln.
- Nhng t c s% d!ng thng xuyên thì có th áng quan tâm hn nhng
t bình thng.

Mô t gii thut:

Vi mi tài liu:
1. “Stem” (lc b2 tin t và hu t) t#t cá các t và b2 i nhng t có
ngh a thng xuyên xu#t hin.
2. i vi mi t:
a. ánh d#u li mi tài liu mà có mi quan h trc tip n t này.

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 96 - 0112398 – T Th Ngc Thanh

b. Tính im cho mi tài liu da trên hàm tính khong cách t tài
liu xu#t phát n các mi quan h c$a t.
3. Vi mi tài liu có mi quan h mi cha c ánh d#u thì tin hành
lu vt.
L"p li các thao tác nh trên mt cách  qui.
Gii thut tính trng s chi tit c s% d!ng nh sau:
1. i vi mi ln tng khong cách, chia im s cho 2.
2. im s cho mi tài liu b0ng vi giá tr gii hn chia cho cn bc hai
tính ph. bin c$a t.
Toàn b thut gii này a ra mt cái nhìn ng ngh a th#p da vào ng i t
mt tài liu n s 1 t.
Chu5n c trình bày  ây là trng hp n gin nh#t và nó có th c ci
tin theo nhiu cách khác nhau. Có nhiu gii thut tính im khác có th c s%
d!ng. Thêm vào ó, mt t in 1ng ngh a có th c áp d!ng  giúp khc ph!c
các v#n  ng ngh a.
Mt th% thách áng quan tâm là làm cho gii thut làm vic  mà khi các tài
liu mi c thêm vào chúng s* lp tc t tính im. Mt thách thc khác là tìm ra
mt cách mà có th a gii thut n nhiu máy.

3.3. Mô hình  ngh- cho 'ng dng tìm kim ng% ngh!a trên l!nh v#c
eDoc
T nhng c s lí thuyt ã nghiên cu trên, chúng em t.ng hp li và  ngh
mô hình cho ng d!ng tìm kim ng ngh a trong l nh vc eDoc.


 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 97 - 0112398 – T Th Ngc Thanh

Hình 16: Mô hình  ngh- cho 'ng dng tìm kim ng% ngh!a trên l!nh v#c eDoc

 Web Browser:
óng vai trò giao din giao tip vi ngi dùng. Nó thc hin vai trò tip nhn
câu truy v#n c$a ngi dùng và hin th kt qu câu truy v#n.

 Search engine:
ây là phn chính c$a chng trình. Search engine thc hin t#t c các thao tác
x% lí cn có c$a h thng:
 óng vai trò nh web robot, thu thp tài liu in t% trên mng.
Search engine
Web Browser

Corpora


Ontology
Metadata

eDoc



 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 98 - 0112398 – T Th Ngc Thanh
 Thc hin nh b lc, search engine tin hành thu thp, x% lí, rút trích siêu
d liu cho các tài liu b0ng cách phân tách t, lc b2 nhng t không cn
thit ch& gi li danh sách các danh t và ng t, sau ó tin hành thng kê
tn s xu#t hin c$a các l nh vc trong tài liu và cui cùng lu tr siêu d liu
cho ni dung c$a tài liu ó, s% d!ng chu5n siêu d liu Dublin Core.
 T. chc và lu tr các Ontology cho mi quan h ng ngh a gia các i
tng trong thc t. Hình thc t. chc, lu tr dng tp tin RDF.

 T. chc và lu tr các kho ng liu (corpora). ây c/ng c xem là mt
Ontology, biu di-n mi quan h thành phn_b phn c$a i tng, 1ng thi
kho ng liu c/ng cho phép xác nh các t 1ng ngh a vi nhau da vào khái
nim synset. (Chi tit v các kho ng liu c mô t bên di). S% d!ng hình
thc lu tr bng trong SQL Server vì d liu này có nhu cu truy v#n cao.
 Thit k siêu d liu  mô t mi quan h gia các tài nguyên (các tài liu
eDoc) vi các i tng trong Ontology. C/ng s% d!ng hình thc lu tr dng
c s d liu quan h.
 Thc hin phân tích câu truy v#n c$a ngi dùng, l#y nhng t quan trng,
t ó phân tích ng ngh a c$a câu truy v#n da vào Word Net và các Ontology
1ng thi truy v#n các siêu d liu  tr v cho Web Browser các tài liu úng
vi ng ngh a câu truy v#n c$a ngi dùng.

 eDoc
Ch& t#t c các tài liu in t% trên mng, c! th là các file dng HTML, PDF,
CHM, ASP, PHP…







 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 99 - 0112398 – T Th Ngc Thanh
Qui trình x lí c a t+ng search engine:



Hình 17: Qui trình x lý c a t+ng search engine

Internet
Câu truy v#n
Tài liu tr v
Tài liu
eDoc
Thông tin tài
liu
Metadata
Nhn câu
truy v
#
n

X% lí truy
v#n
Hin th
k

t qu


Thu thp
tài liu
X% lí tài
liu
Lu vào c
s d liu
Ontology
Ontology

 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 100 - 0112398 – T Th Ngc Thanh
3.4. Các gii thu*t s dng
3.4.1. Gii thu*t x lý tài li&u:
Tài liu sau khi c thu thp v s* c x% lí thông qua b lc. S 1 gii
thut:

Hình 18: Gii thu*t x lý tài li&u:

eDoc
Các key word
và thông tin
tài li&u
Danh t" và 
ng
t
"

text
Danh t" và ng
t" nguyên mu
lc b: nh%ng t"
không quan tr)ng

chuy6n sang
text
thng kê t+n s xu(t
hi&n c a t" và l!nh
v#c c a tài li&u
lemmatize

Kho
ng
%
li
&
u

Kho
ng
%
li
&
u


 tài: Tìm kim ng ngh a ng d!ng trên l nh vc eDoc
0112274 – Phm Th M Phng - 101 - 0112398 – T Th Ngc Thanh
Gii thu*t cho bc lemmatize:
Kho ng liu s% d!ng cho vic stemming là WORDNET vì s lng t
trong kho ng liu là khá ln (vi trên 100 000 danh t và 11 000 ng t), các
t s% d!ng  dng nguyên mu. Ngoài ra trong t in c$a WORDNET có file
“noun.exc” và “verb.exc”, ây là hai file  chuyn các danh t dng s nhiu
b#t qui tc sang s ít và chuyn các ng t quá kh và tip di-n dng b#t qui
tc v nguyên mu.
Các bc stemming n gin:

B1: Kim tra tng t, nu t này có trong “noun.exc” hay “verb.exc” thì l#y
dng nguyên mu c$a nó.

B2: Nu không có thì:
 Nu t này kt thúc b0ng “s” thì: tin hành b2 “s” theo lut.
• Nu t kt thúc b0ng “ss”, “chs”, “shs”, “xs”, “is”, “zs” thì
ây không phi là s nhiu.
• Nu t kt thúc là “ ’s ” thì ây là dng s hu cách nên b2 hai
kí t này.
• B2 kí t ‘s’  cui t.
• Kim tra trong kho ng liu danh t và ng t, nu có t này
thì ây là t nguyên mu.
• Nu không có (ngh a là t này cha  dng nguyên mu) thì:
o Nu t kt thúc b0ng “se”, ”che”, “she”, “xe”, “ze” thì b2
kí t ‘e’ sau cùng.
o nu t kt thúc b0ng “ie” thì b2 “ie” thêm “y”.

 Nu t này kt thc b0ng “ed” thì:
• B2 “ed”.
• Kim tra trong kho ng liu ng t, nu có thì ây là dng
nguyên mu.