BÀI TOÁN TRÍCH XUẤT TỪ KHOÁ CHO TRANG WEB ÁP DỤNG PHƯƠNG PHÁP PHÂN TÍCH THẺ HTML VÀ ĐỒ THỊ WEB

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

Chu Anh Minh

BÀI TOÁN TRÍCH XUẤT TỪ KHOÁ CHO TRANG
WEB ÁP DỤNG PHƯƠNG PHÁP PHÂN TÍCH THẺ
HTML VÀ ĐỒ THỊ WEB


KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY

Ngành:Công nghệ thông tin

HÀ NỘI - 2009

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ

Chu Anh Minh

BÀI TOÁN TRÍCH XUẤT TỪ KHOÁ CHO TRANG
WEB ÁP DỤNG PHƯƠNG PHÁP PHÂN TÍCH THẺ
HTML VÀ ĐỒ THỊ WEB


KHOÁ LUẬN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY

Ngành:Công nghệ thông tin

Cán bộ hướng dẫn:Th.S Nguyễn Thị Hậu

Cán bộ đồng hướng dẫn:CN. Trần Mai Vũ
HÀ NỘI - 2009
Lời cảm ơn
 !"#$%&
'! ()*+,-&./0120345.6
7805&379
":5("50-1;"033
<=4*-0>8?4@5AB0=
&9C*.
5*$5;0DE*>8*
951B7-7.F9G045.**?80*=
805&379
5;09HIJ'KHIJ'%-CL8"
8M0345.=&9;
+3N":>;3O$B;
;L0345.67805&379
%!L"PQ5JI<QJJR
S+
Chu Anh Minh
TÓM TẮT NỘI DUNG
MTU8050*VEL05WLC*05MT
U8050L< X?*0DL050073M
TYZ[0*0\EE*] 0><4*05"-^>
&94*>W5L$43 5" _05MTU
8050*VE78^9B*MTU8D*0<L1*
VE78*9555U80516*5`TFC*aE b"
,T>85c^591d0T>e685*f
4505".89d5*VEg^.8g^^@
1N
0805&379"5->T.4"05

16*059959fđộ quan trọng các thẻ HTMLđồ thị web !0*5
9959g^khai phá log từ điển hỗ trợ ,^."h
*0T^U8D* HD*&-591dL3>1B7dAC*5
*VE+7K08484*

MỤC LỤC
Chu Anh Minh..............................................................................................................i
%i!jZkQJJR 
Chu Anh Minh.............................................................................................................ii
TÓM TẮT NỘI DUNG................................................................................................i
MỤC LỤC....................................................................................................................ii
Bảng các kí hiệu và chữ viết tắt.................................................................................iv
Danh mục hình vẽ........................................................................................................v
Danh mục các bảng biểu............................................................................................vi
MỞ ĐẦU.......................................................................................................................1
Chương 1. Giới thiệu bài toán trích xuất từ khoá cho trang web............................3
P P b`T> l
P Q H575`C*U8D* m
P l b555U8D* m
P m 5?C*05U8D*0*VE I
P m P b35*DL1&9 n
P m Q b35*DL1o^9 n
P m l '5T>85 n
P I p1dC*U8D*05e6 q
P I P +*U8D*05".8 q
P I P P r505".8 q
P I P Q %0;L45VE05".8 R
P I l +*U8D*05*VEo^9 PJ
P n o8 PQ
Chương 2. Các công trình liên quan.........................................................................13

Q P '59959MTU8D*0< Pl
Q P P s959(3U Pl
Q P Q s9591d5850< Pm
Q P l s9591d=5" PI
Q P l P MTU8D*1d99!*tE_*"E Pn
Q P l Q MTU8D*1dE**YgU6]99 Pn
Q Q '59959MTU8D*0*VE Pq
Q Q P (3U Pq
Q Q Q He&8*950 Pq
Q Q l He&591d5".8LuU Pv
Q l w5U8D*0<VEY8E"V01*E] Pv
Q mo8 PR
Chương 3. Hướng giải quyết và đề xuất mô hình bài toán.....................................20
l P %4" QJ
l P P S1dL4*=C*5c0%)x QJ
l P Q S1du$VE Ql
l P Q P b$e*u$aE Ql
l P Q Q !L1C*9959 Qm
l P l S1d4E"0 Qn

l P m S1dUAg^ Qq
l Q b>T.05 Qq
l Q P ).073 Qq
l Q Q )'*VE Qv
l Q l )U8D* QR
l Q l P )1d=3c%)x QR
l Q l Q )1du$VE lQ
l Q l l '59959g^ ll
l Q l m )o^9 lI
l l o8 lI

Chương 4. Thực nghiệm và đánh giá.......................................................................36
m P w70567 ln
m Q )1B7f ln
m P P )9(? ln
m P Q ). ln
m P l 'd9(> lq
m P m yB77 lv
m l H467f mJ
m m b558467 mm
Kết luận.....................................................................................................................46
Hướng phát triển tiếp theo........................................................................................47
Tài liệu tham khảo.....................................................................................................48

Bảng các kí hiệu và chữ viết tắt
Kí hiệu Diễn giải
%)x %"9EE)*89x**E
Z\ Z[0*0\EE*
Sz SE*zE
Sz) SE*zE)*8E
Sz{ SE*zE{9|*0
} E}E4E"
Zy} ZEEy0E}E4E"
~\x ~[0\E0Ex0*0
al' a01a1EaE'00
aaa a01a1EaE

Danh mục hình vẽ
Hình 1. Minh họa các quảng cáo của doanh nghiệp trên máy tìm kiếm..................8
Hình 2. Top từ khóa của baomoi.com......................................................................10
Hình 3. Top từ khóa của flickr.com..........................................................................10

Hình 4. Từ khóa được trích xuất từ phần tóm tắt bài báo của trang web
baomoi.com.................................................................................................................11
Hình 5. Hình minh họa kết quả sinh từ khóa của trang web
.................................................................................17
Hình 6. Mô tả đồ thị web...........................................................................................24
Hình 7. Phần hiển thị của các liên kết đến các trang cần trích xuất từ khóa........25
Hình 8. Kết quả trả về của máy tìm kiếm Google có liên kết trỏ tới trang
vnexpress....................................................................................................................25
Hình 9. Mô hình đề xuất cho toàn hệ thống.............................................................27
Hình 10. Mô hình mô đun sinh từ khóa áp dụng độ quan trọng thẻ HTML.........31
Hình 11. Mô hình mô đun sinh từ khóa dựa trên phương pháp đồ thị web..........32
Hình 12. Mô hình mô đun sinh từ khóa dựa trên log..............................................33
Hình 13. Mô hình mô đun sinh từ khóa dựa trên từ điển hỗ trợ............................34
Hình 14. Mô hình mô đun tổng hợp từ khóa...........................................................35
Hình 15. Thư mục Tiếng_Việt của dmoz..................................................................38
Hình 16.Các liên kết cần lấy về trong các thư mục.................................................39

Danh mục các bảng biểu
Bảng 1. Bảng trọng số các thẻ HTML trongTextNet..............................................21
Bảng 2. Bảng các thẻ HTML quan trọng khác........................................................22
Bảng 3. Ví dụ về các trường trong querylog của MSN...........................................26
Bảng 4. Cấu hình phần cứng trong thực nghiệm của bài toán...............................36
Bảng 5. Các gói của chương trình.............................................................................36
Bảng 6. Các lớp của gói general................................................................................37
Bảng 7. Các lớp của gói methods..............................................................................37
Bảng 8. Các lớp của gói SELink...............................................................................37
Bảng 9. Danh sách các phần mềm, mã nguồn sử dụng..........................................37
Bảng 10.Kết quả trích xuất từ khóa của một số trang tiếng Việt, tiếng Anh.........40
Bảng 11. So sánh kết quả trả về của một ví dụ sinh từ khóa cho báo điện tử.......44


MỞ ĐẦU
0B<("6NoC*ZEE`7a01a1E
aEk=aEk"&9*1;D6N`9
> 'N6<W9o&9C*ZEE.7450;
C*510*79,<*0 S6*C*5".8-9(04"
^T>&9C*5*VE '55".8C"2
1dBU805.B*D?*U8050*849N^9
+71d5".8d450-WL0B<("
!5*VEDL1^>4*;N`9>U805
>0510*793quảng cáo trên máy tìm kiếm9;*
510*7985DU8D*ND bDML05L6
A95A05MTU8050*VE !7d05`*(
.^L&95U805*005U805"95L1C**
VE
)LL685005MTU8D*05*VE^
64*C*>10*79DM7phân loại các tài liệuVE
05d9T97.805dD,1#1
\T > 5 * VE 50 85 * 5 0 f E*0  *00 0
[8 0E*" 0 -591d7U8D*05*"A=
EDA7E01•1#135*50*"59€85
D4* '5U8D*F9*06^@01N HB
BU8D*^.8>T0LA95^9(0
C*1NF91ND5.o4*>5T>*
^4*
)LT>4*=88•D695AC*VE.B
€VE^F= 0D5*VE(DB9(7
o4*5U805A55".85d85DA5&1#1
!D^A705*VE5c‚E*ƒ0-%)x !D„F9
0máy tìm kiếm làm việc tốt hơn5.85DA9&*VE3
 b*35*VE7*">U805L5C !D„85

743B10*79D3^*VE: '355".
85*D><VE.7sinh tự độngT4*= !DU*
P
0*?U*DA.*^BU805*"C*
VEDAD
+6805&->TL99594"05
MTU8050*VE+7K4*>…Bài toán trích xuất
từ khóa cho trang Web áp dụng phương pháp phân tích thẻ HTML và đồ thị Web†
)dC*>?4"05U805E0*9959
Mfphân tích nội dung trang dựa trên thẻ HTMLđồ thị web !0*8D*
&,*995985g^A*0T^U8D*Df
khai phá log1Ntừ điển hỗ trợ +U0;*VE„DU0;9
95985* 0D99598*95L1*16*c%)x
C;0>* r*670T"59&"84*
DA=LM585*08^95U805C*M
4$.&9U805*85("CM5
!09(MỞ ĐẦU  KẾT LUẬN8TC*805&*0u5
*f
kChương 1fw7>05 !5857>05 '5
?1dC*05 !B5?`*005
kChương 2f'5.4* w7^>59959-
^591d5050<0*VE
kChương 3f%4">T.05 )
4"C*5>T.DA6
kChương 4…H46755† b**B84-
5584
Q
Chương 1. Giới thiệu bài toán trích xuất từ khoá cho trang
web
1.1. Đặt vấn đề

S695A*DC*ZEE`76Noa01a1E
aEYaaa]k=VEk0"8D8A05
N`9> .87*"("C*>
>e685* S6L95>7-0*B5".8
9(0-4"^6&9d" +.(1d5".
87*"TD,^64*C*510*79h
dựa vào máy tìm kiếm để quảng cáo sản phẩm C*.4*5từ khóa‡Qnˆ‡Qˆ‡lnˆ
bD,L6MA95Abài toán sinh từ khóa cho trang web.
+7U8D*0*VE8B/D@e*055".
87*"DD>?1d05*VEo^9
8550507..975 +g*
VE5U8D*C**D„B6^@T301NA.T"
B854*=DA*4* 
0><4*bài toán trích xuất từ khóa-^4*F@>
05L$80*= ‡Qnˆ‡lJˆ ‡Qvˆ ‡Qqˆ ‡PPˆ‡QIˆ510*798
10*,B4$VE1$45VEC*.
YSz{fSE*zE{9|*0]‡mˆ !B50&<C"
>< '3>*VE.859?;93>*‰>
99599(&9T"7
'5U8D*5UdUhL1C**VE<L
5=TM5T '5U8D*9845*"
845*;31d Bài toán trích xuất từ khóa cho trang web
7591d5995985*@L;*VE*"5
4**VEA.*^&9U8D*;170F‡Qmˆ‡QRˆ
'MB6591dL-(6#C*05-L6
A8D*&&9?>05U8D*0*VE HD*&
,>T.05U8D*16**9959Mfđộ quan
trọng của các thẻ HTML, đồ thị web _;D,o*9959g
^7.U8D*Dfkhai phá query logC*5".8tập từ điển hỗ trợ
l

1.2. Khái niệm và các đặc trưng của từ khóa
Từ khóaLU*"LdU1NAL5M5=
TL1MC*L7Y<*"5*VE]‡QJˆ‡Iˆ‡vˆ‡Pvˆ 0
KU8D*^A71>&B85*f8E"V01E
4E"E*"*‰@e*C*F3*‡QIˆ 057.
5keywordstags^1d>T %7*"5*VE€
E0al'
P
Ya01a1EaE'00]>D?*BU8D*C**0
c‚E*ƒLM…keywords† '5U8D*C*5*VE*3^
CW4$VE _05MTU8D*C*7+7
KL0B05T90?@B6
,0L3" &95U8D*DA0Lbản
tóm tắt đơn giản nhấtC*<‡QIˆ &95U8D*„D•@e*C*
<*"*VED
Bài toán trích xuất từ khóa cho trang web L45..8&1;
&95U*"dUD@e*5U"DA;170*VED‡Qmˆ
‡QRˆ w4"05"**59959A591d5*VE
*"54**VEA.*5U8D*;170*VE
"L56L
)L3`AMW‡lqˆ45.FMU8D*f
 Từ dừngf'5U1UY09V01]8h01*55U8D*^
* '5U1U5U8*0@e*5Uf**E
*0V0 0K5Uf„N 0+7
 Loại từf'5U01*5U8D*5LU0`1*U "
DA5UDA^,(E• '51*U
^0=51*U
 Liên quan đến tiêu đề f!BU8D*0<94*(>
<
 Số lượngf&9U8D*C*L*VE<L1*55U8D*

85*D9N^9U0;<*VE85* 
IkPJU8D*0*VEPIkQJ0550
1.3. Đánh giá các từ khóa
.5"4$*VE>h=-
U805@WT !.=* !"1081#15
P
9fŠŠVl 0
m
L5*8:L".&5L85><
S0;*L1*55U805.8L9L45.LL
)=T;>BU805^^@88
W^^(5858DNLB=
)L8-D^L1*5U8D*00F"F55U
dUA=*01*5BU805„*;0*VE
^0*VE*0 )`1NT>5>555dU805
16*3L38M*;(9D05U8D*‡Qˆf
* Tính phổ biến
'0*"51#TA55DM9o '5phần mềm
a01*8E**5039oC*dU^.816*00;L
6C*Sz‡Qˆ \•030*0.168„D0*0
 Tính đặc trưng
H57"U^03A7M9o;4*
=88• +M1d1dhDA;^?;*0SzdU
805…*E09*E† !10*79/810*0e6
0AY*0*E] )`1NU805“insurance companies”DM9o
*0U805“auto insurance”dU805“insurance companies”„
10B.81$d0A=0A?80c0
A*?840.80A.;8T7
 Hướng người sử dụng
!3"16*05eC*31N +M1d1dL;@

TLWK****U8D*D‹K**E*E*E‹
…K**E*E*E*E† %*U805"DM9o6* 'F
,DM`.D7&" +&".U0.3
 !.0LC*1d00.„T"U?*„3
 U805?*0h1d3.8L;@>
1.4. Thách thức của bài toán sinh từ khóa cho trang web
'5?"C"&9>MTU8D*05
<*"5058AD< )L^A05<10<
/(D>L>*"LC>5$M# 08D3
5*VEDo^9C*>L*VED>
84*f45064* +.&"B5
I
?C*05MTU8D*0*VED#5*L
1C*>*8&9
1.4.1. Đối với các trang có nội dung tập trung
'5*DL1&95*0D?*BL1d
A>LT> !D8580;:59(0.9(;
L< +58e&MTU8D*3<„^591d(
3U$MU050;<LuU '5*DL1&9
50712L< !D7=#05
*"L>4*=F9<T^C*7MTU8D* +
B451.*;",85 
1.4.2. Đối với các trang có nội dung tổng hợp
%7*""^&9&"0g*VE
!(o^9?T( '5*VE3B&9
&„^A$*(81N*C*= !B*
("=5*C '5*VE90*,6‡lIˆ )L*
VE90*L***BW>u85*E0L5
3T !0:*-Ld.8VE90*T95
1$d8550??805M +M1d>5VE90*fK{x

)S!"*00w00E !591d7MTU8D*591d3L1
05*VE"„12848M5 '(DB9
95985ADAU8D*00;*"08D*&"591d
99591Nu$aE0g^
1.4.3. Các vấn đề khác
!"*"3^5*VEZEET> +.&"78A
05L1,-8D*8ABg07-D*%)x*
VE !B%)xLBDTF`„E0€C*al'
5&cWD*"c bADA9MT"^B
0*VE.F*(5*D-%)xE0€ "5.1"7
DA:4*5g%)xAA7$Bg&"05
.@C*F*`9T>>79MF9595$*5
0;<0*VE y0+7KDBdUL3U
8T7L.„8D@e* +.&"(9DLL5U3T
3+7
n
!05g>TFC*%)x*"0L1<C*5*
VE,DBgf+781T* )L3*VED
1d5>#9MfVVV 10 8VVV 0  08:
5*C*=.-%)xA$;8-%)xC**VE6
;-%)xC*5*T9>
1.5. Ứng dụng của từ khóa trong các lĩnh vực
1.5.1. Vai trò từ khóa trong máy tìm kiếm
1.5.1.1. Quảng cáo trên máy tìm kiếm
+7*5".8-4"9(0(>M8
; y0D5".8Ld8A0B1N
VE7*" 'M.69o^1N1dD04
505".8L0B.?quảng cáo8574D
9(WL0B<(" '510*794$C*5*
VEYVE*E](DB^85*84505".8

L574T y07.85".8C"16*U805
07.*BU805;1705*VEA450L0
B7d(C*510*7954$VE345
*VEC*. '510*79"(<8M5U805"55".
8ADA450*VEC*. "DT>10*79
85,34509€"*^9;*BU
805 
0458?B450M`50BU805DD
*3^84>0BU805"T
'DL^85h550BU805854*0M8
485".8>D2D(4*=D^5
€L14503 y0DDU*D74;U*
D5(0U8D*cM;*20MT9o
oLC*10*79450 
.8D^*")*8E5".8YSz)]‡llˆL5
?450859oVE7*"D,M&9MC*5
5".8 '5g5".8&9L^8ou>
5WMC*1d045.&C*F !B
q
";7g^07T955".8A>8
49N^9DA^505"85 !B"*5
"DA1dFA^B9€1N*
4*0`05(C*1N0* 
'5U805„7d4*=^@*B74*
B74*",DU805D !uU4506"C*
55".8T +M1d<QJJmw00E>l/b*)ŒU450
‡Qˆ 'D*5quảng cáo trực tiếp5".8f
- Cách thứ 1 85>0BU805A0h*VEC*
=hW?;*001*5>C*5".8Ypay for placement ]
'5"$D8h85".8A3.058

4D^^?;*0 '5",M^591d1055".8
(0^6hC*M&05C*5".8>
- Cách thứ 2^591d9o '55".8A**.8>
Q9(.%.PL9(84>M55".8.
T"0735*VE-*V>L9(9(105*
VED^ +5*VEA$W9("55".8591d
^>81N8 'De*5450„9>05"
.881NE*05".880450 )L
^96D7*"D>10*79>`3*
>3;** H4505".85U805DA„
N*510*79>3WBU805D.BU805D
9o4*= y0D5".8„D45.T50U805 b3
gU80510*79050U805*0„^?W$M
(
Hình 1. Minh họa các quảng cáo của doanh nghiệp trên máy tìm kiếm
v
1.5.1.2. Hoạt động quảng bá web trong máy tìm kiếm
Tối ưu hóa công cụ tìm kiếm  *" SEO Y    C* search engine
optimization]L&9^959959h*0?;C*L
VEE05*84C*5d.8DA^0LA
e6C*9$4*d.8‡mˆ )L0B599590
45.Sz{7.U8D*05*VE
U8D*BUdUB"&9&900Bg
5".8A.T"UB*VE b>4*=(C*
54$VE5*VEC*=D^Bg5".839
;BU8D*9o4*>C**VEC*=8
!BU8D*F4*=C*B0;LSz{C*
B4$VE S„89959383D*B*
aE0BU8D*8*1d0Bg5".8 %B*
ADB1N4**VEBU8D*8^L

450`45‡Qˆ 
!BU8D*0BU8D*F0L*VE•'.*8D*W"
9=*BU8D*9o8^45A5
&9784.8 .*^BU8D*`759?
^:„F90*VE;^?;*001*5.8
D>1N"&90 _(07=FB
U8D*90FW`7‡Qˆ‡lnˆ
• S1dB7>U8D*uD*3U 
• 5BU8D*45;*5*VEo85 
• b`7Y`73845*;31N] 
bAL1$9$6"(9=^BU
8D*F9N^9 !BU8D*1d(9M^9*VED
B"&9(9*.8BU8D*D "BU
8D*C*1N>F;83BU8D*4$
VEe b*3=1d*3U0`7>0L6.8
.&"B7>TD74 !BUđơn 8A^45D7
4 'Ž;MD.8“free download software”/&90D
gU“soft” 5B7>U8D*;FTW.T1#9**
7*VE850L6F@C*g5".8 &8
6AhL*VEDA9;3LL7>;
R
FM1d“Mp3”*"“báo điện tử” \•5"^&9*
*0EE<„D^M9o
1.5.3. Vai trò từ khóa trong các trang web tổng hợp thông tin
)LL685A95A05MTU8050*VED
U805F9 phân loại5<E0$e*C*1N11;C>
09•91#1"9.D !DF978g
74**Y0k8]L5Lgiảm thời gian để tìm kiếm
03L1**E +M1d0%.Q%.l
BU805(C*Q**00 0Y+7]}8YK] 

Hình 2. Top từ khóa của baomoi.com
Hình 3. Top từ khóa của flickr.com
;LA0D1N"&9E>B*D
BU805.&"09U805„D^C*1N !B
U8D**"^1N1dMBC>1N7;
*4* +885"&90*VE=DA8595=
EB*^0T7*" !BU8D*"F90
1NE058545E0C>5$ 
081N=E5*VE…những điều gì họ sẽ quan tâm
tiếp theo ?†L:^>4$5*VEo^9
h0-(3*C*1N +U805L0
B9598574 )gL*VE1N8=„
7*BU8054*D !BU805"D9(0
^L1*VE1N*= +BU805"1N
DA.B4**=*=4*5U805 +M1d0
%.m=4*o1"7C*!*0"RŠIBU
8054*„^^@01N4*L17;
PJ
1NDAE54*phát xít, duyệt binh, hồng quân, thủ tướng
Nga, tổng thống Nga, Nga....
Hình 4. Từ khóa được trích xuất từ phần tóm tắt bài báo của trang web baomoi.com
!05?1d64*1N5U805DL
?1d8507 phân cụm 5*VEE0M5U8D* )g*
VEDL&95U8D*5U8D*"DAN5U8D*C*5
*VE85 y0DLU8D*Ld?*5*VE4*
DU8D*MC*dD )L*VED>U8D*0L
*VEDAL>d85* 'M66"C*5U
8D*DD51d07.8*7407
BWDTF 
Mạng xã hội,*95AT*F^>64*C*

c )L05.?C*;-L0 _0A=
&8M*"B*c8?0`B>5T>0-
L^4* !B0DT>85*>
2WLC> '50E*M71N*AA1#
=0C>LC*= *W",^0U8D*‡QIˆ +5
*=0„E01•^B4*050
0L5*D +5*">10` +M1df8=L
00>T>5"M1NDA.B4*
Ua10V&9.•!=DA„.T"B=M
'5U8D*,L059?A=8595*VED
PP
1.6. Tổng kết chương
'"-."B857C*U8D*05MT
U8D*0*VE5?C*D057VE +4*"F*
,T"^(4*=C*7U8D*5e685*
'ZZ8D*&."L3.80*=D4*05
"
PQ
Chương 2. Các công trình liên quan
2.1. Các phương pháp trích xuất từ khóa cho văn bản
MTU8050*VEL05^dAD*L9(U
05MTYZ\fZ[0*0\EE*] b-D5?85
*>05MTU805L56L )`705D
<L0B05(305" )dC*05
MTU8D*.*BU805^L1C*<*VE
h5591d5995985*16*5`AC*<VE
">591dC*05D<5<
)L39959005D<,DA591d005
MTU8D*0<
'5@"9959^591d85*1;3<f

1d(3Y[1[]=5"*tE*"E"4"$0k0EEL
uU8D*58e&85005D< S*"9(
7L39959
2.1.1. Phương pháp tần số từ
s959(TT7C*U^7Wx0<
PRIv‡Plˆ s959"16*f(3C*UT70550
LL0BM>e*C*U‰MM3C*UDe*09;L
,L0BM>`@e*C*U "WC*9959$
;108<C*5"M8AA7^5>`B
e* 
s959"E•h5UT7>(.„*M
9oC*D9(0L1C*D '5U9o"^=
6*E0599U*0T9E0(3T7 "E09
959".51;85*C*U„^0LU 0D7
M05(3C*U„1275UD(345*05U1U )L
56.BUD(345*00`45T9,84*=
'F*DA;0&9G05U8D*De*;0G8B
0BU8D*(3T90BUD(345*0 y0DG
^T9&„h080‡*ˆ*&1& '5U1U
,DA^0;:74L&9UAU1U
Pl
bAM(3C*U4*=9959(3UM993C*g
U07Y[]993C*UW009Y1[kEE110E]‡lmˆ
1[Y8E"V01]•
]
]Y
0Y
keywordNUMDOC
NUMDOC
0Df

!~)y{'f370&909
!~)y{'Y8E"V01]fM37DU8E"V01T7
![Y8E"V01]1[Y8E"V01]^LG5$5dU8D*^.
T"^5=3 !BU0D=3*0.^= 
b3*VEDA591d9959"h5U$*/*
VE(T"U8D* x(E0580*;3"YEE19*E]AT"
>5*VE859LN10*‡QIˆ &95*VE";0
L&909 +7M05U8D*0g7VE„^ME0?
16*0B0;EA$M*U5*VED "10*
VED>BU^A$0L*8D@e*f6
450 ;T7>(W5* +.&"5UT705
d";D(3T7*005U8D*
2.1.2. Phương pháp sử dụng các thông tin khác trong văn bản
s959.U8D*16*0MT59(4*=C*59(
0<D9(69959DC*z110‡PQˆ16*0
9959T"9(4*=C*<f5dU^@U8D*>C*
<M$C*0< s959.U8D*,„1N5`
AC*<A.*BU8D* y"WC*9959f
a. Cụm từ gợi ý trong văn bản
5dU^@4*0`84*5
4*= +M1d5U…050"†…D;† 9(4*
=C*< %0`BdU85…M1d†/*9(84*=
C*<
b. Tiêu đề của văn bản
!8><C*..9F=L1
,5A7tiêu đề*00=/(.4*0>DA
A^L1C*0L< +.&">DL4*=T*0
Pm
0< b-D550?D<16*0Lu
1N>2A58505‡Pˆ 'DA591d9959

"0<VE`79(<0c‚EƒC*u%)x
C**VE +75505C*><„07.L1
C*<*"*VE„WM5 '5>DA^0
9(D=C*<5UDe*6*"BU`9
;>0<N5U0>.>4*= 
c. Vị trí của các từ khóa trong văn bản
BU^T70B0;(0<
DL4*=*05U?B**"3 y0&"DA
=5U8D**00DT7>W9(W(T3B
1 "L3;DTF1;f9(79(MD
; '5UW9(79(D;T7>0<>85
4*=
1 Tần số từ trong văn bản
'5UT7"0<D/*C>C*<
D )?L4*=C*5UdUM05W(3T7C*
F0< bA85C*8e&(3"0(3f(3
U•>L&950`&950;<85* '"/59
1d0L;C*L< )LdUdUT70<>
LG0D.^0U4*= 
UBW*DAM^=3C*LU8D*ho^9
"M5=3&^U59959MFWf
VEYH]•
]Y ]Y ]Y ]Y KFrequentKPositionKCueKTitle
δγβα
+++
'5*3
δγβα

„^>/9N^9h5751B
785* 

2.1.3. Phương pháp sử dụng học máy
HzK‡PRˆwEz‘‡Rˆ*.?1d**L3959>
05MTU8D*Y8E"V01E*0]‡Qvˆ 08wEz‘1N&1
">.HzK1N&4"$16*99!*E_*"EY!*tE_*"E
1E0E]QLMD}Zy}805C*U0;(C*
< )L995985591d16*gU6YE**]591d
UAa01!E0599A4"05U8D*"
PI
2.1.3.1. Trích xuất từ khóa sử dụng phân lớp Naïve Bayes
050‡Qvˆ’*~|1d99!*tE_*"EA591d0
05" “0h05"DA0LT>0=5" 'D5UW
0<dM&*LUD9L9U8D*Y8E"V01]*"
LUY01*"V01] !5.=5"85."
,1d&9T"7A=5*0A&*LUU8D**"8
y6*0B-&^U45.=A&.*5U8D*
UB<*0 !*tE_*"E16*5TC*5UA4"$
EUDD:*-GLU8D*8
<(^^5*508E1d58M7
f1T531*1TT9€" !BB8*9*kE*$
0;: M/3}Zy}0508E y01dZy}5&91B79
0NLC>
bA"16^L.99A&^U8D* 5
-1d5LMuf(3T7$MC*U0< 
2.1.3.2. Trích xuất từ khóa sử dụng lexical chain (chuỗi từ vựng) và phân
lớp
050<QJJq‡PPˆw0Ez*Z"*'E8-."59
&05E01dUABe*a01!E‡lvˆ8^999"
4"$ADA&1;M5U8D* s959"D1d5
4*7Be*h*0T^5U8D*4* MT'gU
67**54*7Be*C*<*0 0L

gU6„/*^LU1*U;U54*7u
e*5e*Y*]DY**] '78D8<TDM"16
^LgU6C*<16*0UAa01!E a01!E^=.
UAK"D("C5>5U0Kf1*U
5Uue*5e* +54*7Be*"5"16
.A*gU6YE**]0L<;0LgU
6DT;03a01!E !>9?;9„*^9(
Be*
S*8D^5gBe*C*<(U8D* 5=
&05"4"$'m I5LMf$MT7((3
T7$MT73NLLMT"UgU6-*U
Pn