báo cáo sử lý ngôn ngữ tự nhiên đề tài phân loại văn bản lọc thư rác



 !
"#$%&'()
Đ ti: Phân loi văn bn: Lc thư rc
*+,)'(-.
 
 
 !"# $$
%&'( )
*+,  $
/01)2345.
*/01012#3
3.456,7
MỤC LỤC
6789:
89+.#:.89+;(< 5=>>9?@2A>
4B.C DEBF7GAH#B.I?412:+A#=>>9?@
2J<;E5B.>7#::.74J2:2:+KJLMJ5#KB.
ANM2=>>13O.7G8PQRS>7#:9TU9V
74:V:F>7#:52C JNMN6>7#:7.#U9V9T
# 7.#A#W71>7#:7.#C 7HU:.>7#:
PJ#71V:+5>7#:C JNPJ#7!:.-XPJ#7Y>7#:VJ:
9V8R(MJUZ1
>7#:PJ#7WN@ B[#8PQRS5W-!
N76;\;45H8#B.T;+9DIK#]5 9 C!KD7M
>7#:A#!B^;&IK#7_11
`MJ6a\+9K5K7]>79?!9T.;$1<=
>?@ A-'20- BF7S9L^7D5Q76JJ6JEJU
-;.-6JW:-+>7#:5a9K\JW:-+>7#:]J,b>7#:
PJ#7AN1

]>7IW.N7P\FRc[# 2#3N
BT27 d9&F-A6^]>7\9T.1^
CEe+fJ 2;6-6-[#K7C D6CgEPK1
]>7M7-9VP\KJh[# 9D;6-6-[#]>79 
1
B:/
I. Lý thuyết học máy.
1.1 Giới thiệu v học máy.
1.1.1 Các định nghĩa v học máy (Machine learning).
KMT69&"#BT!76i
X >-'>::X))$i “Hc my là qu trình mà một chương trình my
tính ci thiện hiệu suất của nó trong một công việc thông qua kinh
nghiệm”.
X >-j:J#RX“Hc my là việc lập trình cc my tính để tối ưu
hóa một tiêu chí hiệu suất dựa trên cc dữ liệu ví dụ hoặc kinh nghiệm
trong qu khứ”.
X >-kCJ>R#i “Hc my, có tài liệu gi là My hc, (tiếng Anh là:
machine learning) là một lĩnh vực của trí tuệ nhân to liên quan đến việc
pht triển cc kĩ thuật cho phép cc my tính có thể "hc". Cụ thể hơn,
hc my là một phương php để to ra cc chương trình my tính bằng
việc phân tích cc tập dữ liệu. Hc my có liên quan lớn đến thống kê, vì
c hai lĩnh vực đều nghiên cứu việc phân tích dữ liệu, nhưng khc với
thống kê, hc my tập trung vào sự phức tp của cc gii thuật trong việc
thực thi tính ton. Nhiều bài ton suy luận được xếp vào loi bài ton NP-
khó, vì thế một phần của hc my là nghiên cứu sự pht triển cc gii
thuật suy luận xấp xỉ mà có thể xử lí được.
Hc my có tính ứng dụng rất cao bao gồm my truy tìm dữ liệu, chẩn
đon y khoa, pht hiện thẻ tín dụng gi, phân tích thị trường chứng khon,
phân loi cc chuỗi DNA, nhận dng tiếng nói và chữ viết, dịch tự động, chơi
trò chơi và cử động rô-bốt (robot locomotion)”.

Biểu diễn một bi toán học máy.
>-'>::X))$i3!76:.NAN[#74 B A#
C7i
X '4 BY7BSZ1
X HBF62L966PM*1
X  A#YPQRSZC7l1
Quá trình học máy.
#KD;DR%>-P9mP#i
II. Thuật toán Naive Bayesian v ứng dụng trong phân loại email.
2.1 Một vi khái niệm xác suất có liên quan
2.1.1 Định nghĩa biến cố, xác suất:
II.1.1.1. Định nghĩa phép thử v biến cố:
/>-749mI27bJni9K:.JoJQ1pEANKDIN#
C>-9mTiq`M7bPMJr-bq`M7bQ#r1.#
9&"#qIM7bPMJr#qIM7bQ#r:.74;EH1
II.1.1.2. Định nghĩa xác suất:
+<9DiXc suất của biến cố A là một số không âm, ký hiệu P(A),
biểu thị kh năng xy ra biến cố A và được xc định như sau:
*YjZss0H8VJIN#j#-PH8VJKDIN#
C\JoJQ1
 Định nghĩa xác suất theo phương pháp thống kê:
.79:.7:+74JoJQ 9K:7.K7:;EHjIM
^tPH7u!:.PM[#;EHj. p#9<5PM7ud
#9<K: R#-94A#74PHH9&9K10HH9&M9V
!:.I6PM[#;EHj>-"#HC212\EC9[:F#
IMJIv*YjZ;g7u1
X .6JJ6J!JW:FJK67P6B.R\#2I6PM
2.2 Xác suất có điu kiện,công thức xác suất đầy đủ,công thức xác suất Bayes
2.2.1 Xc suất có điều kiện
`6PMK9TC[#;EHjBF9TC;EGw9?IN#:.74

-PHC W75 9VCh*YjxwZK;D&CN,IN#;EHj
-^H;EHw9?IN#

0#i
 *YjxwZI*YwZs*YwxjZI*YjZs*YjwZ
2.2.2 Công thức xác suất đầy đủ
/v#PQw5w5__5w

:.74K799[6;EH1`o;EHjP#-
-jIN#vC74-6;EHw

5w

5_15w

IN#1
p9Ki

2.2.3 Công thức Bayes

2.3 Phương pháp phân loại Naïve Bayesian:
*W:-+w#>P#:.JJ6JJW:-+PQRS6I6PM9?
A#M:1*J6J.LVJBF:FJ;.-69egJNR\
9-6LI6:FJ[#7cCD7#R\#2 aUJM
:;#91
>-#:>Pl:C#5-`

5_15`

:.64LBF66&8+9V

R(9DR\9-674:FJ2;-747c5UJ6:FJ7.7cKD
4BT:.sy

5

5_15
7
z1-747cM:BF6&64L
:.x
1
5__5x
n
5R\9-67c4BT:FJ{CI6PM
K6&:FM10QRS I6PMw#>P#Ki
`6PM*YsZ9VLR%R.aUJR:M:1`6PM__1
p LVJ9DR(-BAE9&:FJ[#;@B^6&.#
9HBF7G:FJ1BU,9DR\9-6:FJ[#:.R\#B I6PM

2BL-6I6PM.MJ+J1'4JJ6J9NB.
9V9##PF7M:.JJ6JJW:-+#|B>w#>P#5>-9KNE
O7G`

94:UJBF6`
}
(i # j ), BU#P~Ki
UBU5PQRS I6PMw#>P#Ki
;O69ABEa#PH-L2P#i
.EJSBU1*J6JJW:-+#|B>w#>P#NEOBF
7G`
  

CEAN694[#K94:UJBF6`
} 
C61BU5]#a#
UO
B.\BU9HBF`

_11`

'Ga#PH-L2KD9VLR%R.aUJM:;#91
BUJJ6J#|B>w#>P#N7P\J+J[#BL-66&
I6PM
2.4 Phân loại email bằng phương pháp Naïve Bayesian
•9W7G7c7.#IoL:.74>7#:5UJ6:FJ7.7G>7#:KD
4BT:.syPJ#75-XPJ#7z
p#U9V74>7#:5E#C ;E74PH ^BTK^CK
KDAE9&LI6>7#:.:.PJ#7#C 1
E#K279b9D7#4L 9K:.>7#:^#KDW
#-ANU9V>7#::.PJ#71'4>7#:KT9b9D7i2
9T54R5KUJ9LC€7#C _1#KDR\#B 6 .9D
W#-ANJW:-+>7#:PJ#71
2.4.1 Phân loại email dựa trên thuật toán Naïve Bayesian
/v#E7G74>7#:9V9+R;@74B>-4L9b
 
:.6&[#64L`

5`

5_15`

]-C #B>-9b

`1#PQRS6&&JW`
 
sE69b9D7[#`
 
K-
>7#:5V:+`

s1
#L6&G'=Y`5ZY'#:=•-7#-Z7.7G749+R[#`
4BT:-+P#i

0# 9K  #  !  6  4  L  K  6  &  '=  #-  M1  6  I6  PM
*Y`Z5*YZ5*Y`5Z9VLR\#2R:!
\#B  I6PMw#>PB. I6PM99[#K9V
I6PM74>7#:BFB>-9bx 4BT:-+:.i
\E^MCKL9VI6PM*Y`xZ;@B^6&PH:V[#6
B>-MTB.TB>-E7C#U7LC IM-UJ
R:M:19?KJJ6J#|B>w#>P#NEO`

5`

5
_15`

:.;EH94:UJ5 R-9K]#KDL9VI6PM@2
P#i

F*Y`

xZB.*YZ9VLR\#2R:!5BL.R\#B UJ

M:;#91
aI6PM.#P-P6BF746&‚7.#-:.‚9D
JW:-+74>7#::.PJ#7#C 5EI6PM.:F^>7#:9K:.
PJ#75V:+^#I>7>7#:9K:.-XPJ#71
2.4.2 Chọn ngưỡng phân loại email.
-JW:-+>7#:K#:-+P#:7i
X '4>7#:9VU:.PJ#77bR(\EK:.-XPJ#7Y•#:P>J-PB>Z
X '4>7#:9VU:.-XPJ#77bR(K:.PJ#7Y•#:P>>#B>Z
ƒ„#P#:7M:.27!;@B^8PQRSKDMJ
U74>7#:PJ#7BVA#;4:!C MJU74>7#:A#
!:+;&b;@;4:!1
/v#PQ0B.0BF#:G21#NPQO:G0K
JLMJ…::G05]#JW:-+74>7#::.PJ#7R\#B 2†
P#i
III. Các chỉ tiêu đánh giá phân loại email
3.1 . Tỉ lệ Recall v tỉ lệ Precision.
X 0J#7ƒ>#:::.v:J,7#PH>7#:X9V;4:!-:.PJ#7;&b
:+B.<PH>7#:PJ#7Y\P\Z9E;4:!1
X 0J#7*>P-:.v:J,7#PH>7#:;&b\P\:.PJ#7BF
PH>7#:;&bX9V;4:!-:.PJ#75J>P-966794# 
[#;4:!1

X -9Ki

0‡0
i.PH>7#::.PJ#77.;4:!U:.PJ#71

0‡
i.PH>7#::.PJ#77.;4:!U:.#71


‡0
i.PH>7#::.#77.;4:!U:.PJ#71

‡
i.PH>7#::.#77.;4:!U:.#71
3.2 Tỉ lệ lỗi Err(Error) v tỉ lệ chính xác Acc(Accuracy).
X -BJW:-+>7#:5ANJW:-+R\#B v:LI6YjZ
-bv::GYlZ1 Lv:LI6B.v::GP#i
  Lv::G
  Lv:LI6
X -9Ki


B.
0
:.PH>7#:#7B.PH>7#:PJ#7JU:-+1

0‡0
i.PH>7#::.PJ#77.;4:!U:.PJ#71

0‡
i.PH>7#::.PJ#77.;4:!U:.#71

‡0
i.PH>7#::.#77.;4:!U:.PJ#71

‡
i.PH>7#::.#77.;4:!U:.#71
3.3 ơTỉ lệ lỗi gia trọng WErr(Weighted Error) v tỉ lệ chính xác gia
trọng(Weighted Accuracy).

-JW:-+>7#:K#:Gi:GUPJ#7##7Y•#:P>>#B>ZB.:G
U#7#PJ#7Y•#:P>J-PB>Z1G•#:P>J-PB>:.:G27!5;@
8R(KDMJU74>7#:PJ#7BVA#;4:!CKKD
MJU74>7#:VJ::+;&;4:!b:+1D;D&694[##:-+
:G.9HBFv:LI6B.v::G5#P~I>77H74>7#:VJ::.…
>7#:VJ:1-9KC74>7#:VJ:;&JW:-+P#5#B^#I>7K
74:G5#I>7…:G5B.CJW:-+9]#I>7:.…:. 1#
K#v:iv:LI6#!ˆjYˆ>>Rj#ƒ#>ZB.v::G
#!ˆlYˆ>>Rl-ƒ#>ZYˆlsXˆjZ1
X -9Ki
 Lv:LI6#!

 v::G#!
X -9Ki


B.
0
:.PH>7#:#7B.PH>7#:PJ#7JU:-+1

0‡0
i.PH>7#::.PJ#77.;4:!U:.PJ#71

0‡
i.PH>7#::.PJ#77.;4:!U:.#71

‡0
i.PH>7#::.#77.;4:!U:.PJ#71

‡

i.PH>7#::.#77.;4:!U:.#71
3.4 Tỉ số chi phí tổng hợp TCR(Total Cost Ratio).
/6&[#v:LI6B.v::G8KP\P#:#-1DM„9V
AN[#6JW:-+58#8P-P6v:LI6-bv::G
#;4JW:-+BF8VJ9NM9VI>7:.8VJ#F
Y;#P>:>Z1qw#P>:>r9V!:.8VJC PQRS;4:! 56
>7#:VJ:C ;#-8;&b:+B.6>7#::.PJ#7^: : 9A#1
BUv:LI6B.v::G#![#8VJqw#P>:>r:.i
-9Ki
X vPHJL ;4ƒY-#:-P#-Z-JoJ#P-P69VAN
[#8VJPQRS;4:!P-BF8VJqw#P>:>ri
 
 LvPHJL<VJ
X /6&[#ƒ.:F^ANJW:-+.#-5BFƒg
^„.C PQRS;4:!eH1
IV. Kho ngữ liệu email chữ
X UJM:i
o PH>7#:PJ#7i)
o PH>7#:-XPJ#7i)
X UJCD7Qi
o PH>7#:PJ#7i$
o PH>7#:-XPJ#7i$‰
V. Ci đăt chương trình phân loại email dựa trên phương pháp phân loại
Naïve Bayesian:
5.1 Khái niệm “Token”
DI>7Io4R>7#:] R(C67q-C>r
6q-C>rKDI>7:.6aI>7Io7.#6#a4R
[#>7#:1F6CL\5CL\PH5CL\Š5CL\+#‹XŒ5CL\+RF
‹•Œ5CL\69‹‹Œ:.CL\M+-.-C>1eCL\e:+
C-NŽ5CL\‹•Œ5CL\‹iŒ_19VI>7:.CL\9D6a#JW6

6a1Fa69V7.m7 CLPH^C 9VI>7:.-C>YBL
RS‹‰ŒZ
5.2 Vector thuộc tính
#D7G74>7#:P#74B>-x=(x
1
,x
2
,….,x
n
)với x
1
, x
2
,… ,x
n
:.66
&4L`

5_115`

-C #B>-9b`164LKD
:.74-C>5K76-C>_1-8VJ9NM57G744
L9VD;@74-C>9B.MN64LK6&:U:h
Yw :>#Z5BU`

sE>7#:#-C>58VJV:+`

s1
] !4L:.-C>95#B^6&[#64L:.
6&:U:hYw :>#Z5] !:.I6IMPJ#7[#7G-C>1`6PM

PJ#7[#7G-C>P~K6&-9-+•5‘1`6PM-#T 
6&:U:h1
5.3 Chọn ngưỡng phân loại
E.Q7BF6&…:.‚JW:-+I69&74>7#::.
PJ#7:.1
5.4 Cách thực hiện
]#P~;Ž9BF#C-:>7#:iC-:>7#:PJ#7B.C-
:>7#:-XPJ#71PH:V>7#:-7GC-:;#9C 
+E1EC-:.:F^AN:!>7#:.#-1a#C-R
:.#JWLB.RA#MN6-C>1
0#9K#LI6PMPJ#7[#7G-C>9?9VJWL5I6PM.L
:.I6PM74>7#:v#-C>9KB.:.>7#:PJ#71
BU7MH:.#JNL#9VI6PMPJ#7[#7G-C>1`6PM
PJ#7[#7G-C>9VLR\#2PH:IM[#7G-C>-7G
C-:!;#91BLRS74-C>kKPH:IM-C-:
PJ#7:.P5-C-:-XPJ#7:.5PH>7#:<4[##C-
:PJ#7B.-XPJ#7::V:.
0 
B.
 
5E^I6PMPJ#7[#-C>k
9VLP#i

25B^PH:IM[#74-C>KCN,BVA6PH-C>JW
;2

p-C>vIM@74C-i
5.5 Kết quả thử nghiệm
X E#!‚JW:-+>7#:1:.�s‚JW:-+
X ’6^Q7

• 0J#7i-#>7#:-#:.PJ#7e>7#::.-XPJ#71
• -XPJ#7i-#$>7#:-XPJ#7B.>7#:PJ#71
X L66&>#::B.J>P-
o ƒ>ss)1$“
o *s)$1“
o v::GB.v:LI6
• jss)$1“
• lss1“
o v::G#!B.v:LI6#!
• ˆ#s)$1“
• ˆls1“
X JL<VJƒ
• ƒss1$
VI. ”==•–3j'p3—˜
X w.N`Q:h \2X*/0102#3
X '10##75017#P513>C>7##Rl13-BP1jw#>P#jJJ-#
-™:>šClX'#:*->>RP-•jjj=X)ˆ-CP-J->#•-
>I#>-›#-5))1
X jP-=-R--w Pš-#:-•š#J#>P>0->•-j•#:
=>::>>5YZi$$X$50>J>7;>5)))1