Luận văn phát hiện từ quan điểm mới cho phân tích cảm xúc

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHỊNG
-------o0o-------

ĐỒ ÁN TỐT NGHIỆP
NGHÀNH CƠNG NGHỆ THƠNG TIN

Th■ah■■ng
Mang
Ln
123doc
thu■n
l■icam
s■
tr■
h■u
k■t
s■
nghi■m
t■im■t
d■ng
là
s■website
mang
kho
m■i
1. th■
m■
l■i
d■n
CH■P

vi■n
nh■ng
cho
■■u
kh■ng
ng■■i
NH■N
quy■n
chia dùng,
l■
CÁC
s■l■i
v■i
và■I■U
t■t
cơng
h■n
mua
nh■t
2.000.000
ngh■
bán
KHO■N
cho
tàihi■n
ng■■i
li■u
TH■A
tài
th■

hàng
li■u
dùng.
hi■n
THU■N
■■u
■ t■t
Khi
■■i,
Vi■t
c■
khách
b■n
l■nh
Nam.
Chào
online
hàng
v■c:
Tác
m■ng
tr■
khơng
tài
phong
thành
b■n
chính
khác
chun

■■n
thành
tíngì
d■ng,
v■i
so
nghi■p,
viên
123doc.
v■i
cơng
c■a
b■n
hồn
ngh■
123doc
g■c.
h■o,
thơng
B■n
và■■
n■p
có
tin,
cao
th■
ti■n
ngo■i
tính
phóng

vào
ng■,...Khách
trách
tài
to,kho■n
nhi■m
thu nh■
c■a
■■i
hàng
tùy123doc,
v■i
ý.
cót■ng
th■b■n
d■
ng■■i
dàng
s■ dùng.
■■■c
tra c■u
M■c
h■■ng
tàitiêu
li■u
nh■ng
hàng
m■t■■u
quy■n
cáchc■a

chính
l■i123doc.net
sau
xác,n■p
nhanh
ti■n
tr■
chóng.
trên
thành
website
th■ vi■n tài li■u online l■n nh■t Vi■t Nam, cung c■p nh■ng tài li■u ■■c không th■ tìm th■y trên th■ tr■■ng ngo■i tr■ 123doc.net.
Nhi■u event thú v■, event ki■m ti■n thi■t th■c. 123doc luôn luôn t■o c■ h■i gia t■ng thu nh■p online cho t■t c■ các thành viên c■a website.

Mangh■n
Ln
Th■a
Xu■t
Sau
Nhi■u
123doc
khi
h■■ng
phát
thu■n
l■i
event
cam
s■
nh■n

m■t
tr■
t■
h■u
k■t
s■
thú
nghi■m
t■i
ýxác
n■m
t■■ng
m■t
d■ng
v■,
là
s■
nh■n
website
ra
mang
event
kho
m■i
■■i,
1.
t■o
t■
th■
m■

l■i
c■ng
ki■m
■■ng
d■n
123doc
CH■P
vi■n
nh■ng
cho
■■u
■■ng
ti■n
h■
kh■ng
ng■■i
NH■N
■ã
quy■n
th■ng
thi■t
chia
t■ng
ki■m
dùng,
l■
CÁC
s■
th■c.
s■

l■i
b■■c
v■i
ti■n
vàchuy■n
■I■U
t■t
cơng
h■n
mua
123doc
online
kh■ng
nh■t
2.000.000
ngh■
bán
KHO■N
sang
b■ng
ln
cho
tài
■■nh
hi■n
ng■■i
li■u
ph■n
ln
tài

TH■A
tài
v■
th■
li■u
hàng
t■o
li■u
thơng
dùng.
tríhi■n
THU■N
hi■u
c■
c■a
■■u
■ tin
t■t
h■i
Khi
■■i,
qu■
mình
Vi■t
xác
c■
khách
gia
b■n
nh■t,

minh
trong
l■nh
Nam.
t■ng
Chào
online
hàng
uy
tài
v■c:
l■nh
thu
Tác
m■ng
tín
kho■n
tr■
nh■p
khơng
tài
phong
v■c
cao
thành
b■n
chính
email
nh■t.
tài

online
khác
chun
■■n
li■u
thành
tínb■n
Mong
gì
cho
d■ng,
và
v■i
so
nghi■p,
viên
kinh
■ã
t■t
123doc.
123doc.net!
v■i
mu■n
cơng
■■ng
c■a
c■
doanh
b■n
các

hồn
mang
ngh■
123doc
ký
g■c.
online.
thành
v■i
h■o,
Chúng
l■i
thơng
B■n
và
123doc.netLink
cho
viên
Tính
■■
n■p
có
tơi
tin,
c■ng
c■a
cao
th■
■■n
cung

ti■n
ngo■i
tính
website.
phóng
■■ng
th■i
vào
c■p
ng■,...Khách
trách
xác
tài
■i■m
D■ch
xã
to,kho■n
th■c
nhi■m
h■i
thutháng
V■
nh■
m■t
s■
c■a
(nh■
■■i
hàng
■■■c

tùy
ngu■n
5/2014;
123doc,
v■i
■■■c
ý.
cóg■i
t■ng
th■
tài
123doc
v■
mơ
ngun
b■n
d■
ng■■i
■■a
t■
dàng
s■
v■■t
d■■i
tri
dùng.
■■■c
ch■
tra
th■c

m■c
■ây)
email
c■u
M■c
h■■ng
q
100.000
cho
tài
b■n
tiêu
báu,
li■u
b■n,
nh■ng
■ã
hàng
phong
m■t
l■■t
tùy
■■ng
■■u
quy■n
cách
truy
thu■c
phú,
ky,

c■a
c■p
chính
■a
l■i
b■n
vào
123doc.net
m■i
d■ng,
sau
xác,
các
vuingày,
n■p
lịng
“■i■u
nhanh
giàu
ti■n
s■
■■ng
tr■
giá
Kho■n
chóng.
h■u
trên
thành
tr■

nh■p
2.000.000
website
■■ng
Th■a
th■
email
vi■n
th■i
Thu■n
c■a
thành
mong
tài v■
li■u
mình
viên
mu■n
S■
online
và
■■ng
D■ng
click
t■o
l■n
ký,
D■ch
■i■u
vào

nh■t
l■t
link
ki■n
V■”
vào
Vi■t
123doc
top
sau
cho
Nam,
200
■ây
cho
■ã
cung
các
các
(sau
g■iwebsite
c■p
users
■âynh■ng
■■■c
cóph■
thêm
tài
bi■n
g■i

thu
li■u
t■t
nh■t
nh■p.
■■c
T■it■i
khơng
t■ng
Chính
Vi■tth■i
th■
Nam,
vì v■y
■i■m,
tìm
t■123doc.net
th■y
l■chúng
tìm
trên
ki■m
tơi
th■
racóthu■c
■■i
tr■■ng
th■nh■m
c■p
top

ngo■i
3nh■t
■áp
Google.
tr■
■KTTSDDV
■ng
123doc.net.
Nh■n
nhu c■u
■■■c
theo
chiaquy■t
danh
s■ tài
hi■u
...li■udo
ch■t
c■ng
l■■ng
■■ng
vàbình
ki■mch■n
ti■n là
online.
website ki■m ti■n online hi■u qu■ và uy tín nh■t.

Lnh■n
123doc
Sau

Th■a
Xu■t
khi
h■■ng
phát
thu■n
cam
nh■n
m■t
t■k■t
s■
t■i
ýxác
n■m
t■■ng
d■ng
là
s■
nh■n
website
ra
mang
■■i,
1.
t■o
t■l■i
c■ng
■■ng
d■n
123doc

CH■P
nh■ng
■■u
■■ng
h■
NH■N
■ã
quy■n
th■ng
chia
t■ng
ki■m
CÁC
s■s■
l■i
b■■c
ti■n
vàchuy■n
■I■U
t■t
mua
online
kh■ng
nh■t
bán
KHO■N
sang
b■ng
cho
tài

■■nh
ng■■i
li■u
ph■n
tài
TH■A
v■
li■u
hàng
thơng
dùng.
tríTHU■N
hi■u
c■a
■■u
tin
Khi
qu■
mình
Vi■t
xác
khách
nh■t,
minh
trong
Nam.
Chào
hàng
uy
tài

l■nh
Tác
m■ng
tín
kho■n
tr■
phong
v■c
cao
thành
b■n
email
nh■t.
tàichun
■■n
li■u
thành
b■n
Mong
và
v■i
nghi■p,
viên
kinh
■ã
123doc.
123doc.net!
mu■n
■■ng
c■a

doanh
hồn
mang
123doc
kýonline.
v■i
h■o,
Chúng
l■ivà
123doc.netLink
cho
Tính
■■
n■p
tơi
c■ng
cao
■■n
cung
ti■n
tính
■■ng
th■i
vào
c■p
trách
xác
tài
■i■m
D■ch

xãkho■n
th■c
nhi■m
h■itháng
V■
m■t
s■
c■a
(nh■
■■i
■■■c
ngu■n
5/2014;
123doc,
v■i
■■■c
g■i
t■ng
tài
123doc
v■
mơ
ngun
b■n
ng■■i
■■a
t■s■
v■■t
d■■i
tri

dùng.
■■■c
ch■
th■c
m■c
■ây)
email
M■c
h■■ng
q
100.000
cho
b■n
tiêu
báu,
b■n,
nh■ng
■ã
hàng
phong
l■■t
tùy
■■ng
■■u
quy■n
truy
thu■c
phú,
ky,
c■a

c■p
■a
l■i
b■n
vào
123doc.net
m■i
d■ng,
sau
các
vuingày,
n■p
lịng
“■i■u
giàu
ti■n
s■
■■ng
tr■
giá
Kho■n
h■u
trên
thành
tr■
nh■p
2.000.000
website
■■ng
Th■a

th■
email
vi■n
th■i
Thu■n
c■a
thành
mong
tài v■
li■u
mình
viên
mu■n
S■
online
và
■■ng
D■ng
click
t■o
l■n
ký,
D■ch
■i■u
vào
nh■t
l■t
link
ki■n
V■”

vào
Vi■t
123doc
top
sau
cho
Nam,
200
■ây
cho
■ã
cung
các
các
(sau
g■iwebsite
c■p
users
■âynh■ng
■■■c
cóph■
thêm
tài
bi■n
g■i
thu
li■u
t■t
nh■t
nh■p.

■■c
T■it■i
khơng
t■ng
Chính
Vi■tth■i
th■
Nam,
vì v■y
■i■m,
tìm
t■123doc.net
th■y
l■chúng
tìm
trên
ki■m
tơi
th■
racóthu■c
■■i
tr■■ng
th■nh■m
c■p
top
ngo■i
3nh■t
■áp
Google.
tr■

■KTTSDDV
■ng
123doc.net.
Nh■n
nhu c■u
■■■c
theo
chiaquy■t
danh
s■ tài
hi■u
...li■udo
ch■t
c■ng
l■■ng
■■ng
vàbình
ki■mch■n
ti■n là
online.
website ki■m ti■n online hi■u qu■ và uy tín nh■t.
Lnh■n
Th■a
Xu■t
Sau
Nhi■u
123doc
Mang
khi
h■■ng

phát
thu■n
l■i
event
cam
s■
nh■n
m■t
tr■
t■
h■u
k■t
s■
thú
nghi■m
t■i
ýxác
n■m
t■■ng
m■t
d■ng
v■,
là
s■
nh■n
website
ra
mang
event
kho

m■i
■■i,
1.
t■o
t■
th■
m■
l■i
c■ng
ki■m
■■ng
d■n
123doc
CH■P
vi■n
nh■ng
cho
■■u
■■ng
ti■n
h■
kh■ng
ng■■i
NH■N
■ã
quy■n
th■ng
thi■t
chia
t■ng

ki■m
dùng,
l■
CÁC
s■
th■c.
s■
l■i
b■■c
v■i
ti■n
vàchuy■n
■I■U
t■t
cơng
h■n
mua
123doc
online
kh■ng
nh■t
2.000.000
ngh■
bán
KHO■N
sang
b■ng
ln
cho
tài

■■nh
hi■n
ng■■i
li■u
ph■n
ln
tài
TH■A
tài
v■
th■
li■u
hàng
t■o
li■u
thơng
dùng.
tríhi■n
THU■N
hi■u
c■
c■a
■■u
■ tin
t■t
h■i
Khi
■■i,
qu■
mình

Vi■t
xác
c■
khách
gia
b■n
nh■t,
minh
trong
l■nh
Nam.
t■ng
Chào
online
hàng
uy
tài
v■c:
l■nh
thu
Tác
m■ng
tín
kho■n
tr■
nh■p
khơng
tài
phong
v■c

cao
thành
b■n
chính
email
nh■t.
tài
online
khác
chun
■■n
li■u
thành
tínb■n
Mong
gì
cho
d■ng,
và
v■i
so
nghi■p,
viên
kinh
■ã
t■t
123doc.
123doc.net!
v■i
mu■n

cơng
■■ng
c■a
c■
doanh
b■n
các
hồn
mang
ngh■
123doc
ký
g■c.
online.
thành
v■i
h■o,
Chúng
l■i
thơng
B■n
và
123doc.netLink
cho
viên
Tính
■■
n■p
có
tơi

tin,
c■ng
c■a
cao
th■
■■n
cung
ti■n
ngo■i
tính
website.
phóng
■■ng
th■i
vào
c■p
ng■,...Khách
trách
xác
tài
■i■m
D■ch
xã
to,kho■n
th■c
nhi■m
h■i
thutháng
V■
nh■

m■t
s■
c■a
(nh■
■■i
hàng
■■■c
tùy
ngu■n
5/2014;
123doc,
v■i
■■■c
ý.
cóg■i
t■ng
th■
tài
123doc
v■
mơ
ngun
b■n
d■
ng■■i
■■a
t■
dàng
s■
v■■t

d■■i
tri
dùng.
■■■c
ch■
tra
th■c
m■c
■ây)
email
c■u
M■c
h■■ng
q
100.000
cho
tài
b■n
tiêu
báu,
li■u
b■n,
nh■ng
■ã
hàng
phong
m■t
l■■t
tùy
■■ng

■■u
quy■n
cách
truy
thu■c
phú,
ky,
c■a
c■p
chính
■a
l■i
b■n
vào
123doc.net
m■i
d■ng,
sau
xác,
các
vuingày,
n■p
lịng
“■i■u
nhanh
giàu
ti■n
s■
■■ng
tr■

giá
Kho■n
chóng.
h■u
trên
thành
tr■
nh■p
2.000.000
website
■■ng
Th■a
th■
email
vi■n
th■i
Thu■n
c■a
thành
mong
tài v■
li■u
mình
viên
mu■n
S■
online
và
■■ng
D■ng

click
t■o
l■n
ký,
D■ch
■i■u
vào
nh■t
l■t
link
ki■n
V■”
vào
Vi■t
123doc
top
sau
cho
Nam,
200
■ây
cho
■ã
cung
các
các
(sau
g■iwebsite
c■p
users

■âynh■ng
■■■c
cóph■
thêm
tài
bi■n
g■i
thu
li■u
t■t
nh■t
nh■p.
■■c
T■it■i
khơng
t■ng
Chính
Vi■tth■i
th■
Nam,
vì v■y
■i■m,
tìm
t■123doc.net
th■y
l■chúng
tìm
trên
ki■m
tơi

th■
racóthu■c
■■i
tr■■ng
th■nh■m
c■p
top
ngo■i
3nh■t
■áp
Google.
tr■
■KTTSDDV
■ng
123doc.net.
Nh■n
nhu c■u
■■■c
theo
chiaquy■t
danh
s■ tài
hi■u
...li■udo
ch■t
c■ng
l■■ng
■■ng
vàbình
ki■mch■n

ti■n là
online.
website ki■m ti■n online hi■u qu■ và uy tín nh■t.
u■t phát
Nhi■u
Mang
Ln
123doc
Th■a
Xu■t
Sau
khi
h■n
h■■ng
phát
thu■n
l■i
event
s■
cam
nh■n
t■
m■t
tr■
t■
h■u
ýk■t
s■
thú
nghi■m

t■i
ýt■■ng
xác
n■m
t■■ng
m■t
d■ng
v■,
là
s■
nh■n
website
ra
mang
event
t■o
kho
m■i
■■i,
1.
t■o
t■
c■ng
th■
m■
l■i
c■ng
ki■m
■■ng
d■n

123doc
CH■P
vi■n
nh■ng
cho
■■ng
■■u
■■ng
ti■n
h■
kh■ng
ng■■i
NH■N
■ã
quy■n
th■ng
thi■t
chia
ki■m
t■ng
ki■m
dùng,
l■
CÁC
s■
th■c.
ti■n
s■
l■i
b■■c

v■i
ti■n
vàchuy■n
■I■U
t■t
cơng
online
h■n
mua
123doc
online
kh■ng
nh■t
2.000.000
ngh■
bán
KHO■N
b■ng
sang
b■ng
ln
cho
tài
■■nh
hi■n
tài
ng■■i
li■u
ph■n
ln

tài
TH■A
li■u
tài
v■
th■
li■u
hàng
t■o
li■u
thơng
dùng.
trí
hi■u
hi■n
THU■N
hi■u
c■
c■a
■■u
■ tin
qu■
t■t
h■i
Khi
■■i,
qu■
mình
Vi■t
xác

c■
khách
gia
nh■t,
b■n
nh■t,
minh
trong
l■nh
Nam.
t■ng
Chào
online
uy
hàng
uy
tài
v■c:
l■nh
thu
Tác
tín
m■ng
tín
kho■n
tr■
cao
nh■p
khơng
tài

phong
v■c
cao
thành
b■n
chính
nh■t.
email
nh■t.
tài
online
khác
chun
■■n
li■u
thành
tín
Mong
b■n
Mong
gì
cho
d■ng,
và
v■i
so
nghi■p,
viên
kinh
■ã

mu■n
t■t
123doc.
123doc.net!
v■i
mu■n
cơng
■■ng
c■a
c■
doanh
b■n
mang
các
hồn
mang
ngh■
123doc
ký
g■c.
online.
thành
v■i
l■i
h■o,
Chúng
l■i
thơng
B■n
cho

và
123doc.netLink
cho
viên
Tính
■■
n■p
có
c■ng
tơi
tin,
c■ng
c■a
cao
th■
■■n
cung
ti■n
ngo■i
■■ng
tính
website.
phóng
■■ng
th■i
vào
c■p
ng■,...Khách
trách
xác

xã
tài
■i■m
D■ch
xã
to,h■i
kho■n
th■c
nhi■m
h■i
thum■t
tháng
V■
nh■
m■t
s■
c■a
(nh■
■■i
hàng
ngu■n
■■■c
tùy
ngu■n
5/2014;
123doc,
v■i
■■■c
ý.
cótài

g■i
t■ng
th■
tài
123doc
ngun
v■
mơ
ngun
b■n
d■
ng■■i
■■a
t■
dàng
s■
v■■t
tri
d■■i
tri
dùng.
■■■c
ch■
th■c
tra
th■c
m■c
■ây)
email
c■u

q
M■c
h■■ng
q
100.000
cho
tài
báu,
b■n
tiêu
báu,
li■u
b■n,
nh■ng
phong
■ã
hàng
phong
m■t
l■■t
tùy
■■ng
■■u
phú,
quy■n
cách
truy
thu■c
phú,
ky,

c■a
c■p
■a
chính
■a
l■i
b■n
vào
d■ng,
123doc.net
m■i
d■ng,
sau
xác,
các
vuingày,
n■p
giàu
lịng
“■i■u
nhanh
giàu
ti■n
giá
s■
■■ng
tr■
giá
Kho■n
chóng.

h■u
tr■
trên
thành
tr■
nh■p
■■ng
2.000.000
website
■■ng
Th■a
th■
email
th■i
vi■n
th■i
Thu■n
mong
c■a
thành
mong
tài v■
li■u
mình
mu■n
viên
mu■n
S■
online
và

■■ng
D■ng
t■o
click
t■o
l■n
■i■u
ký,
D■ch
■i■u
vào
nh■t
l■t
link
ki■n
ki■n
V■”
vào
Vi■t
123doc
cho
top
sau
cho
Nam,
cho
200
■ây
cho
■ã

cung
các
các
các
(sau
g■i
users
website
c■p
users
■âynh■ng
có
■■■c
cóph■
thêm
thêm
tài
bi■n
g■i
thu
thu
li■u
t■t
nh■p.
nh■t
nh■p.
■■c
T■it■i
Chính
khơng

t■ng
Chính
Vi■tth■i
vìth■
Nam,
vìv■y
v■y
■i■m,
tìm
123doc.net
t■123doc.net
th■y
l■chúng
tìm
trên
ki■m
tơi
ra
th■
racó
■■i
thu■c
■■i
tr■■ng
th■
nh■m
nh■m
c■p
top
ngo■i

■áp
3nh■t
■áp
Google.
■ng
tr■
■KTTSDDV
■ng
123doc.net.
nhu
Nh■n
nhuc■u
c■u
■■■c
chia
theo
chias■
quy■t
danh
s■tàitài
hi■u
li■u
...li■uch■t
do
ch■t
c■ng
l■■ng
l■■ng
■■ng
vàvàki■m

bình
ki■mch■n
ti■n
ti■nonline.
là
online.
website ki■m ti■n online hi■u qu■ và uy tín nh■t.

Nhi■u
Mang
Ln
123doc
Th■a
Xu■t
Sau
khi
h■n
h■■ng
phát
thu■n
l■i
event
s■
cam
nh■n
m■t
tr■
t■
h■u
k■t

s■
thú
nghi■m
t■i
ýxác
n■m
t■■ng
m■t
d■ng
v■,
là
s■
nh■n
website
ra
mang
event
kho
m■i
■■i,
1.
t■o
t■
th■
m■
l■i
c■ng
ki■m
■■ng
d■n

123doc
CH■P
vi■n
nh■ng
cho
■■u
■■ng
ti■n
h■
kh■ng
ng■■i
NH■N
■ã
quy■n
th■ng
thi■t
chia
t■ng
ki■m
dùng,
l■
CÁC
s■
th■c.
s■
l■i
b■■c
v■i
ti■n
vàchuy■n

■I■U
t■t
cơng
h■n
mua
123doc
online
kh■ng
nh■t
2.000.000
ngh■
bán
KHO■N
sang
b■ng
ln
cho
tài
■■nh
hi■n
ng■■i
li■u
ph■n
ln
tài
TH■A
tài
v■
th■
li■u

hàng
t■o
li■u
thơng
dùng.
tríhi■n
THU■N
hi■u
c■
c■a
■■u
■ tin
t■t
h■i
Khi
■■i,
qu■
mình
Vi■t
xác
c■
khách
gia
b■n
nh■t,
minh
trong
l■nh
Nam.
t■ng

Chào
online
hàng
uy
tài
v■c:
l■nh
thu
Tác
m■ng
tín
kho■n
tr■
nh■p
khơng
tài
phong
v■c
cao
thành
b■n
chính
email
nh■t.
tài
online
khác
chun
■■n
li■u

thành
tínb■n
Mong
gì
cho
d■ng,
và
v■i
so
nghi■p,
viên
kinh
■ã
t■t
123doc.
123doc.net!
v■i
mu■n
cơng
■■ng
c■a
c■
doanh
b■n
các
hồn
mang
ngh■
123doc
ký

g■c.
online.
thành
v■i
h■o,
Chúng
l■i
thơng
B■n
và
123doc.netLink
cho
viên
Tính
■■
n■p
có
tơi
tin,
c■ng
c■a
cao
th■
■■n
cung
ti■n
ngo■i
tính
website.
phóng

■■ng
th■i
vào
c■p
ng■,...Khách
trách
xác
tài
■i■m
D■ch
xã
to,kho■n
th■c
nhi■m
h■i
thutháng
V■
nh■
m■t
s■
c■a
(nh■
■■i
hàng
■■■c
tùy
ngu■n
5/2014;
123doc,
v■i

■■■c
ý.
cóg■i
t■ng
th■
tài
123doc
v■
mơ
ngun
b■n
d■
ng■■i
■■a
t■
dàng
s■
v■■t
d■■i
tri
dùng.
■■■c
ch■
tra
th■c
m■c
■ây)
email
c■u
M■c

h■■ng
q
100.000
cho
tài
b■n
tiêu
báu,
li■u
b■n,
nh■ng
■ã
hàng
phong
m■t
l■■t
tùy
■■ng
■■u
quy■n
cách
truy
thu■c
phú,
ky,
c■a
c■p
chính
■a
l■i

b■n
vào
123doc.net
m■i
d■ng,
sau
xác,
các
vuingày,
n■p
lịng
“■i■u
nhanh
giàu
ti■n
s■
■■ng
tr■
giá
Kho■n
chóng.
h■u
trên
thành
tr■
nh■p
2.000.000
website
■■ng
Th■a

th■
email
vi■n
th■i
Thu■n
c■a
thành
mong
tài v■
li■u
mình
viên
mu■n
S■
online
và
■■ng
D■ng
click
t■o
l■n
ký,
D■ch
■i■u
vào
nh■t
l■t
link
ki■n
V■”

vào
Vi■t
123doc
top
sau
cho
Nam,
200
■ây
cho
■ã
cung
các
các
(sau
g■iwebsite
c■p
users
■âynh■ng
■■■c
cóph■
thêm
tài
bi■n
g■i
thu
li■u
t■t
nh■t
nh■p.

■■c
T■it■i
khơng
t■ng
Chính
Vi■tth■i
th■
Nam,
vì v■y
■i■m,
tìm
t■123doc.net
th■y
l■chúng
tìm
trên
ki■m
tơi
th■
racóthu■c
■■i
tr■■ng
th■nh■m
c■p
top
ngo■i
3nh■t
■áp
Google.
tr■

■KTTSDDV
■ng
123doc.net.
Nh■n
nhu c■u
■■■c
theo
chiaquy■t
danh
s■ tài
hi■u
...li■udo
ch■t
c■ng
l■■ng
■■ng
vàbình
ki■mch■n
ti■n là
online.
website ki■m ti■n online hi■u qu■ và uy tín nh■t.

HẢI PHỊNG 2016


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHỊNG
-------o0o-------

PHÁT HIỆN TỪ QUAN ĐIỂM MỚI CHO PHÂN TÍCH

CẢM XÚC

ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY
Nghành : Cơng Nghệ Thơng Tin

Hải Phịng 2016


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHỊNG
-------o0o-------

PHÁT HIỆN TỪ QUAN ĐIỂM MỚI CHO PHÂN TÍCH
CẢM XÚC

ĐỒ ÁN TỐT NGHIỆP ĐẠI HỌC HỆ CHÍNH QUY
Nghành : Công Nghệ Thông Tin

Sinh viên thực hiện : Nguyễn Danh Long
Giáo viên hướng dẫn : Ths. Nguyễn Thị Xuân Hương
Mã số sinh viên : 1413101003


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC DÂN LẬP HẢI PHÒNG
-------o0o-------

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập – Tự do – Hạnh phúc

NHIỆM VỤ THIẾT KẾ TỐT NGHIỆP

Sinh viên : Nguyễn Danh Long

Mã số : 1413101003

Lớp: CLT 801

Nghành: Công Nghệ Thông Tin

Tên đề tài : Phát hiện từ quan điểm mới cho phân tích cảm xúc


NHIÊM VỤ ĐỀ TÀI
1. Nội dung và các yêu cầu cần giải quyết trong nhiệm vụ đề tài tốt nghiệp
a. Nội dung

b. Các yêu cầu cần giải quyết

2. Các số liệu cần thiết để thiết kế , tình tốn

3. Địa điểm thực tập


CÁN BỘ HƯỚNG DẪN ĐỀ TÀI TỐT NGHIỆP
Người hướng dẫn thứ nhất:
Họ và tên:....................................................................................................................
Học hàm, học vị:.........................................................................................................
Cơ quan công tác:.......................................................................................................
Nội dung hướng dẫn: …………………………………………………………………

…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
Người hướng dẫn thứ hai:
Họ và tên: ……………………………………………………………………………
Học hàm, học vị………………………………………………………………………
Cơ quan công tác: ……………………………………………………………………
Nội dung hướng dẫn: …………………….....................................................................
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
…………………………………………………………………………………………
Đề tài tốt nghiệp được giao ngày 18 tháng 04năm 2016
Yêu cầu phải hoàn thành trước ngày 9 tháng 07 năm 2016
Đã nhận nhiệm vụ: Đ.T.T.N
Sinh viên

Đã nhận nhiệm vụ: Đ.T.T.N
Cán bộ hướng dẫn Đ.T.T.N

Hải Phòng, ngày ............tháng.........năm 2016
HIỆU TRƯỞNG

GS.TS.NGƯT Trần Hữu Nghị


PHẦN NHẬN XÉT TÓM TẮT CỦA CÁN BỘ HƯỚNG DẪN
1. Tinh thần thái độ của sinh viên trong quá trình làm đề tài tốt nghiệp:
...................................................................................................................

...................................................................................................................
...................................................................................................................
...................................................................................................................
...................................................................................................................
...................................................................................................................
...................................................................................................................
...................................................................................................................

2. Đánh giá chất lượng của đề tài tốt nghiệp (so với nội dung yêu cầu
đã đề ra trong nhiệm vụ đề tài tốt nghiệp)
...................................................................................................................
...................................................................................................................
...................................................................................................................
...................................................................................................................
...................................................................................................................
...................................................................................................................
...................................................................................................................
...................................................................................................................

3. Cho điểm của cán bộ hướng dẫn:
( Điểm ghi bằng số và chữ )
...................................................................................................................
...................................................................................................................

Ngày.......tháng.........năm 2016
Cán bộ hướng dẫn chính
( Ký, ghi rõ họ tên )

7

PHẦN NHẬN XÉT ĐÁNH GIÁ CỦA CÁN BỘ CHẤM PHẢN
BIỆN ĐỀ TÀI TỐT NGHIỆP
1. Đánh giá chất lượng đề tài tốt nghiệp (về các mặt như cơ sở lý
luận, thuyết minh chương trình, giá trị thực tế, ...)

2. Cho điểm của cán bộ phản biện
( Điểm ghi bằng số và chữ )
..............................................................................................................
..............................................................................................................
Ngày.......tháng.........năm 2016
Cán bộ chấm phản biện
( Ký, ghi rõ họ tên )

8


MỤC LỤC
DANH MỤC BẢNG.......................................................................................... 11
LỜI CẢM ƠN .................................................................................................... 12
LỜI NÓI ĐẦU..................................................................................................... 13
CHƯƠNG 1 : TỔNG QUAN VỀ PHÂN TÍCH QUAN ĐIỂM .................. 15
1.1 Nhu cầu về thông tin quan điểm và nhận xét ..................................... 15
1.2 Lịch sử của phân tích quan điểm và khai thác quan điểm ................. 17
1.3 Một số nghiên cứu trong phân tích quan điểm................................... 18
1.3.1 Xác định cụm từ, quan điểm ....................................................... 18
1.3.2 Sử dụng tính từ và phó từ ........................................................... 19
1.3.3 Sử dụng các động từ ................................................................... 20
1.3.4 Xác định chiều hướng, cụm từ, quan điểm ................................. 21
1.4. Nhiệm vụ của phân tích quan điểm ................................................... 21

1.5. Bài toán phân lớp quan điểm............................................................. 21
1.5.1 Phân cực quan điểm và mức độ phân cực .................................. 22
1.5.2 Nhiệm vụ của bài toán phân lớp quan điểm ............................... 23

CHƯƠNG 2 : PHÁT HIỆN TỪ MỚI CHO PHÂN TÍCH QUAN ĐIỂM . 25
2.1. Giới thiệu phương pháp .................................................................... 25
2.2 Phương pháp....................................................................................... 28
2.2.1. Các định nghĩa ........................................................................... 28
2.2.2. Tổng quan thuật tốn ................................................................. 28
2.2.3. Độ đo tính hữu ích của một mẫu ............................................... 29
2.3 Độ đo khả năng để là các từ mới. ....................................................... 31
2.3.1. Kiểm tra tỷ lệ thích hợp (LRT) .................................................. 31
2.3.2. Entropy mẫu bên trái (Left pattern Entropy) ............................. 32
2.3.3. Xác xuất của một từ mới ............................................................ 32
2.3.4. Các độ đo nguyên tắc không cấu thành. .................................... 33

9


2.3.5 Cấu hình để kết hợp các yếu tố khác nhau ................................. 34
2.4. Thực nghiệm ..................................................................................... 35
2.4.1 Chuẩn bị dữ liệu .......................................................................... 35
2.4.2. Các độ đo ................................................................................... 35
2.4.3. Đánh giá các độ đo và so sánh với các phương pháp có bản .... 36
2.4.4 Điều chỉnh tham số ..................................................................... 37
2.4.5. Dự đoán mức độ cảm xúc của các từ quan điểm mới. ............... 37
2.4.6. Ứng dụng của các từ quan điểm mới cho phân tích cảm xúc. ... 38

CHƯƠNG 3 : ỨNG DỤNG TÌM TỪ QUAN ĐIỂM MỚI CHO DỮ LIỆU
TIẾNG VIỆT ................................................................................................................... 40

3.1. Đặt vấn đề ......................................................................................... 40
3.2. Phương pháp...................................................................................... 41
3.3. Thực nghiệm ..................................................................................... 44
3.3.1. Dữ liệu ....................................................................................... 44
3.3.2. Xử lý dữ liệu .............................................................................. 45

KẾT LUẬN ......................................................................................................... 49
PHỤ LỤC............................................................................................................. 50
TÀI LIỆU THAM KHẢO ................................................................................. 55

10


DANH MỤC BẢNG
Bảng 1 : Các ví dụ của từ quan điểm mới ................................................. 27
Bảng 2: Tần xuất của một mẫu từ vựng trên các bình luận của mạng Weibo. .. 28
Bảng 3: Bảng ngẫu nhiên kiểm tra tỷ lệ thích hợp. ................................... 30
Bảng 4: Các kết quả với việc có sử và khơng sử dụng đánh giá độ đo phù hợp.. 39
Bảng 5: Các nhãn từ loại Tiếng Việt. ........................................................ 42

11


LỜI CẢM ƠN
Trước tiên, em xin gửi lời cảm ơn chân thành và biết ơn sâu sắc nhất tới
Cô Nguyễn Thị Xuân Hương, Trường Đại học Dân lập Hải Phòng đã chỉ bảo
và hướng dẫn tận tình cho em trong suốt q trình tìm hiểu và thực hiện khóa
luận này.
Em xin chân thành cảm ơn các Thầy, Cô trong Khoa Cơng nghệ Thơng
tin đã tận tình giảng dạy và truyền cho em những kiến thức quý báu cho em

trong suốt quá trình học tập và làm luận văn tốt nghiệp
Em xin chân thành cảm ơn tới các Thầy, Cô và các Cán bộ, Nhân viên
của trường Đại học Dân Lập Hải Phòng đã tạo cho em những điều kiện thuận
lợi để học tập và nghiên cứu.
Cuối cùng em muốn gửi lời cảm ơn tới gia đình và bạn bè những người
thân yêu đã luôn bên cạnh động viên trong suốt q trình học tập và làm khóa
luận tốt nghiệp.
Mặc dù em đã rất cố gắng hoàn thành luận văn trong phạm vi và khả
năng cho phép nhưng chắc chắn sẽ khơng tránh khỏi những thiếu sót. Em kính
mong nhận được sự cảm thơng và tận tình chỉ bảo, góp ý của quý Thầy Cô và
các bạn.
Em xin chân thành cảm ơn!
Hải Phòng , ngày….. tháng….. năm…….
Sinh viên

Nguyễn Danh Long

12


LỜI NÓI ĐẦU
Ngày nay, với sự phát triển mạnh mẽ của Internet, các hình thức kết nối
và chia sẻ thơng tin trong cộng đồng mạng ngày càng phát triển đã thu hút một
lượng lớn người dùng tham gia. Qua đó, họ có thể dễ dàng trao đổi, chia sẻ
thơng tin, thảo luận các vấn đề và sở thích cùng quan tâm. Một số mạng xã hội
phổ biến trên thế giới như: facebook, twitter và ở Việt Nam như Zing có số
lượng người tham gia ngày càng đông đảo. Các bài nhận xét thảo luân trên các
trang mạng tin tức, dịch vụ hay các diễn đàn cũng là một hình thức thể hiện
khác rất phát triển.
Các thông tin được chia sẻ và thảo luận trên các trang mạng xã hội, trên

các diễn đàn thuộc rất nhiều chủ đề từ các lĩnh vực kinh tế, chính trị, xã hội …
đến các vấn đề kỹ thuật, dịch vụ, cuộc sống hàng ngày.... Từ đó hình thành
nên các xu hướng, quan điểm của cộng đồng đối với việc đánh giá nhận xét
một vấn đề, một đối tượng, một sản phẩm hay một hiện tượng nào đó. Các
quan điểm, xu hướng này sẽ có tác động mạnh mẽ đến định hướng, quan điểm
của người dùng khác.
Người dùng, hay chính các nhà cung cấp sản phẩm, dịch vụ cũng có xu
hướng khai thác ý kiến đánh giá của người khác để sử dụng vào nhiều mục
đích khác nhau. Người dùng cần biết nhận xét về sản phẩm, dịch vụ cho lựa
chọn của mình, cịn các nhà sản xuất, cung cấp dịch vụ thì thu thập thơng tin
để phân tích nhu cầu, thị hiếu của khách hàng, phân tích các đối thủ cạnh
tranh để từ đó có chiến lược nâng cao chất lượng sản phẩm và dịch vụ của
mình… Và với lượng dữ liệu khổng lồ được tạo ra mỗi ngày thì nhu cầu cần
có các hệ thống khai thác và phân tích quan điểm một cách tự động là rất cần
thiết.
Để phân tích quan điểm ta cần phải trích các thơng tin chứa quan điểm
để phân loại có quan điểm hay khơng. Các thơng tin chưa quan điểm có thể là
từ hoặc một cụm từ có chứa quan điểm cảm xúc tích cực, tiêu cực, trung lập.
Trong khi người dùng cập nhật và chia sẻ thông tin của họ trên các trang web
13


xã hội họ thường sử dụng lối hành văn tự do theo phong cách ngơn ngữ riêng
của họ. Do đó xuất hiện các từ mới thể hiện quan điểm trong các lĩnh vực.
Việc xuất hiện ngày càng nhiều các từ quan điểm mới nên việc nghiên cứu các
phương pháp trích rút tự động các từ quan điểm mới là rất cần thiết.
Chính vì lý do trên, em đã chọn đề tài “Phát hiện từ quan điểm mới cho
phân tích cảm xúc” cho đồ án tốt nghiệp của mình.
Nội dung đồ án bao gồm 3 chương :
Chương 1 : Tổng quan về phân tích quan điểm

Chương 2 : Phát hiện từ mới cho phân tích quan điểm
Chương 3 : Ứng dụng tìm từ quan điểm mới cho dữ liệu Tiếng Việt
Cuối cùng là phần kết luận.

14


CHƯƠNG 1 : TỔNG QUAN VỀ PHÂN TÍCH
QUAN ĐIỂM
1.1 Nhu cầu về thông tin quan điểm và nhận xét
Những thông tin nhận xét góp ý đã ln ln là một phần quan trọng
trong viê ̣c cung cấ p thông tin cho quá triǹ h ra quyế t đinh
̣ của hầ u hế t chúng ta.
Trước khi Internet trở lên phổ biế n, chúng ta thường yêu cầ u ba ̣n bè hay người
thân giới thiệu một thợ cơ khí tự động hoặc yêu cầu tài liệu tham khảo liên
quan đến xin việc từ các đồng nghiệp, hoặc tư vấn tiêu dùng. Ngày nay,
Internet và Web đã giúp cho chúng ta có thể dễ dàng tiế p câ ̣n các ý kiế n và
kinh nghiê ̣m của những người khác mà không nhấ t thiế t phải là những người
quen biế t cá nhân, không phải là các nhà phê biǹ h chuyên nghiêp̣ nổ i tiế ng,
những người mà chúng ta chưa bao giờ nghe nói tới trong không gian rộng
lớn. Và ngược lại, ngày càng nhiề u và nhiề u hơn nữa những người sẵn sàng
cung cấ p các ý kiế n của mình cho những người khác qua Internet.
Theo hai cuộc khảo sát của hơn 2000 người Mỹ trưởng thành mỗi: 81%
người dùng Internet (hoặc 60% người Mỹ) đã thực hiện nghiên cứu trực tuyến
về một sản phẩm ít nhất một lần; 20% (15% của tất cả các người Mỹ) làm như
vậy trong một ngày. Trong số các độc giả đánh giá trực tuyến của nhà hàng,
khách sạn, và các dịch vụ khác nhau (ví dụ như, các cơ quan du lịch hoặc bác
sĩ), giữa 73% và 87% báo cáo đánh giá đã có một ảnh hưởng đáng kể mua
hàng của họ. Người tiêu dùng sẵn sàng trả từ 20% đến 99% một mục đươ ̣c
đánh giá 5 sao cao hơn so với một mục đánh giá 4 sao, 32% đã cung cấp một

đánh giá về một sản phẩm, dịch vụ thông qua một hệ thống xếp hạng trực
tuyến, trong đó có 18% của cơng dân trực tuyến cao cấp, có đăng một bình
luận trực tuyến hoặc xem xét về một sản phẩm hay dịch vụ.
Thố ng kê nhanh chỉ ra rằ ng viê ̣c tiêu thu ̣ hàng hóa và dịch vụ khơng
phải là động cơ duy nhất khi người dùng tìm kiế m hoặc thể hiện ý kiế n trực
tuyến. Sự cầ n thiế t của những thông tin chính tri ̣ cũng là mô ̣t ́ u tớ quan
tro ̣ng. Ví dụ, trong một cuộc khảo sát hơn 2500 người Mỹ trưởng thành,
Rainie và Horrigan nghiên cứu có 31% người Mỹ - trên 60 triệu người - 2006
người dùng Internet vâ ̣n đô ̣ng tranh cử, là những người thu thập thông tin về
15


cuộc bầu cử năm 2006 trực tuyến và trao đổi nhâ ̣n xét thơng qua email. Trong
số này:
• 28% nói rằng nguyên nhân chính cho các hoạt động trực tuyến này để
thu nhâ ̣n được quan điểm từ bên trong cộng đồng của họ, và 34% cho biết một
lý do chính là để nhâ ̣n được quan điểm từ bên ngồi cộng đồng của họ.
• 27% đã xem đánh giá trực tuyến cho sự tán thành hoặc xếp hạng của
các tổ chức bên ngồi.
• 28% cho biết rằng hầu hết các trang web mà họ sử dụng để chia sẻ
quan điểm, nhưng 29% nói rằng phần lớn các trang web mà họ sử dụng thách
thức quan điểm của họ, chỉ ra rằng nhiều người khơng chỉ đơn giản là tìm
kiếm để xác nhận các quan điể m có trước của ho ̣.
• 8% đăng bình l ̣n trực tuyến bình luận chính trị riêng của họ.
Đớ i với người dùng tìm kiế m sự tin câ ̣y trong những lời khuyên và tư
vấ n trực tuyế n quan tâm đế n viê ̣c xây dựng mô ̣t hê ̣ thố ng mới để xử lý trực
tiế p các quan điể m trước tiên là phân loa ̣i chúng. Theo Horrigan thố ng kê rằng
trong khi đa số người sử dụng internet của Mỹ cho rằ ng kinh nghiệm tích cực
trong nghiên cứu sản phẩ m trực tuyến, 58% cho rằng thơng tin trực tuyến là
thiế u, khó tìm, khó hiểu và hoă ̣c quá nhiề u. Vì vậy, nhu cầ u có mô ̣t hê ̣ thố ng

để hỗ trơ ̣ người tiêu dùng tìm kiế m thông tin là rấ t cầ n thiế t.
Các nhà cung cấ p sản phẩ m ngày càng chú ý hơn đế n sự quan tâm mà
người dùng cá nhân thể hiêṇ trong các nhận xét trực tuyến về sản phẩm và
dịch vụ, và sự ảnh hưởng như xu thế sử du ̣ng.
Với sự bùng nổ của nền tảng Web 2.0 như các blog, diễn đàn thảo luận,
peer-to-peer mạng, và các loại khác nhau của các ma ̣ng xã hơ ̣i...
• Thống kê của Facebook: có hơn 500 triệu người dùng ở trạng thái
hoạt động (active) mỗi người có trung bình 130 bạn (friends), trao đổi qua lại
trên 900 triệu đối tượng.
• Twitter (5/2011): có hơn 200 triệu người dùng. Một ngày có hơn 300
nghìn tài khoản mới, trung bình hơn 190 triệu tin nhắn, xử lý trung bình
khoảng 1,6 tỷ câu hỏi.
16


• Ở Việt Nam: các mạng xã hội zing.vn, go.vn … thu hút được đông
đảo người dùng tham gia.
Mô ̣t lươ ̣ng đông đảo người dùng gia tăng chưa từng có và có quyền
chia sẻ kinh nghiệm và nhận xét của riêng họ về bấ t kỳ sản phẩ m hoă ̣c dich
̣
vu ̣, là tích cực hay tiêu cực. Khi các công ty lớn đang ngày càng nhận ra,
những tiếng nói của người tiêu dùng có thể vận dụng rất lớn ảnh hưởng trong
việc hình thành nhận xét của người tiêu dùng khác, cuố i cùng để trung thành
với thương hiệu của họ, ho ̣ quyết định mua, và vận động cho chính thương
hiệu của họ... Cơng ty có thể đáp ứng với những hiể u biế t của người tiêu
dùng mà họ tạo ra thông qua điề u khiể n phương tiện truyền thơng xã hội và
phân tích các thông điê ̣p maketing của ho ̣, đinh
̣ vi ̣ thương hiêu,
̣ phát triể n sản
phẩ m và các hoa ̣t đô ̣ng phù hơ ̣p khác.

Tuy nhiên, các nhà phân tích ngành cơng nghiệp lưu ý rằng việc tận
dụng các phương tiện truyền thơng mới cho mục đích theo dõi hình ảnh sản
phẩm địi hỏi cầ n phải có công nghệ mới.
Các nhà tiếp thị luôn luôn cần giám sát các phương tiện truyền thông
cho thông tin liên quan đến thương hiệu của mình - cho dù đó là đối với các
hoạt động quan hệ công chúng, vi phạm gian lận, hoặc tình báo cạnh tranh.
Nhưng phân mảnh các phương tiện truyền thông và thay đổi hành vi của
người tiêu dùng đã loa ̣i trừ các phương pháp giám sát truyền thống.
Technorati ước tính rằng 75. 000 blog mới được tạo ra mỗi ngày, cùng với 1,
2 triệu bài viết mỗi ngày, trong đó có nhiều nhận xét người tiêu dùng thảo
luận về sản phẩm và dịch vụ.
Vì vậy, không chỉ có cá nhân, mà các công ty, các tổ chức đề u quan
tâm đế n mô ̣t hệ thống có khả năng tự động phân tích quan điể m của người tiêu
dùng.
1.2 Lịch sử của phân tích quan điểm và khai thác quan điểm
Liñ h vực phân tích quan điể m (sentiment analysis) hay khai thác quan
điể m (opinion mining) gần đây đã thu hút được sự quan tâm rộng rãi của các
nhà nghiên cứu. Năm 2001 bắ t đầ u đánh dấu sự lan rộng nhận thức về các vấn
đề nghiên cứu và cơ hội nâng cao phân tích tình cảm và khai thác quan điể m.
17


Các nhân tớ đươ ̣c nghiên cứu gờ m:
• Sự gia tăng của các phương pháp học máy, xử lý ngơn ngữ tự nhiên
và khơi phục thơng tin.
• Sự sẵn có của các tâ ̣p dữ liệu đào ta ̣o cho các thuật toán học máy, sự
phát triể n của Internet, cụ thể là sự phát triển của tâ ̣p hơ ̣p các trang Web thu
thâ ̣p các ý kiế n và quan điể m.
• Thực hiện những thách thức trí tuệ, thương mại và các ứng dụng
thơng minh trong liñ h vực này.

Thuâ ̣t ngữ khai thác quan điể m (Dave et al. 2003) là các công cu ̣ khai
thác quan điể m sẽ xử lý một tập hợp các kết quả tìm kiếm cho một đớ i tươ ̣ng
nhất định, sinh ra một danh sách các thuộc tính sản phẩm (chất lượng, đă ̣c
trưng, vv) và các quan điể m tổng hợp về chúng (kém, bình thường, tố t).
“Phân tích quan điể m” là cụm từ song song của "khai thác quan điể m"
ở những khía cạnh nhất định (Das và Chen Tong, 2001). “Phân tích quan
điể m" và "khai thác quan điể m" biểu thị cùng một lĩnh vực nghiên cứu.
1.3 Một số nghiên cứu trong phân tích quan điểm
Gầ n đây, khai thác quan điểm đã trở thành chủ đề nóng giữa các nhà
nghiên cứu xử lý ngơn ngữ tự nhiên và trích chọn thơng tin. Có khá nhiều các
bài báo được xuất bản và những ứng dụng khác nhau có sử dụng hệ thống
đánh giá quan điểm được phát triển và đưa vào trong hoạt động thương mại.
Các tiế p câ ̣n chủ yế u với bài toán này là:
 Phân lớp quan điểm thông qua viê ̣c xác đi ̣nh từ, cụm từ chỉ quan điểm
 Xác định quan điểm với các thể hiê ̣n trong từng thuộc tính của đố i
tượng cầ n tìm kiế m quan điểm.
1.3.1 Xác định cụm từ, quan điểm
Những từ, cụm từ chỉ quan điểm là những từ ngữ được sử dụng để diễn
tả cảm xúc, ý kiến người viết, những quan điểm chủ quan đó dựa trên những
vấn đề mà anh ta hay cô ta đang tranh luận. Việc rút ra những từ, cụm từ chỉ
quan điểm là giai đoạn đầu tiên trong hệ thống đánh giá quan điểm, vì những
18


từ, cụm từ này là những chìa khóa cho cơng việc nhận biết và phân loại tài
liệu sau đó.
Ứng dụng dựa trên hệ thống đánh giá quan điểm hiện nay tập trung vào
các từ chỉ nội dung câu: danh từ, động từ, tính từ và phó từ. Phần lớn cơng
việc sử dụng từ loại để rút chúng ra (Hu và Liu, 2004, Turney, 2002). Việc
gán nhãn từ loại cũng được sử dụng trong cơng việc này, điều này có thể giúp

cho việc nhận biết xu hướng quan điểm trong giai đoạn tiếp theo. Những kĩ
thuật phân tích ngơn ngữ tự nhiên khác như xóa: stopwords, stemming cũng
được sử dụng trong giai đoạn tiền xử lý để rút ra từ, cụm từ chỉ quan điểm
1.3.2 Sử dụng tính từ và phó từ
Những hệ thống hiện tại dùng để nhận biết những từ chỉ quan điểm hay
xu hướng quan điểm tập trung chủ yếu vào các tính từ và phó từ vì chúng
được xem là sự biểu lộ rõ ràng nhất của tính chủ quan ( Hatzivassiloglou and
McKeown, 1997, Wiebe and Bruce, 1999 ).
Hu và Liu (2004) áp dụng việc gán nhãn từ loại và kĩ thuật xử lý ngôn
ngữ tự nhiên nhằm rút ra những tính từ cũng như những từ chỉ quan điểm.
Phương pháp của ho ̣ dựa vào viê ̣c phân loa ̣i dựa trên dấ u hiê ̣u quan điể m về
sản phẩ m:
 Định nghĩa một câu mà chứa một hay nhiều dấu hiệu sản phẩm và từ
chỉ quan điểm được xem là một câu chỉ quan điểm.
 Với mỗi câu trong dữ liệu chỉ quan điểm, rút ra tất cả những tính từ
được coi là những từ chỉ quan điểm.
 Kết quả thực nghiệm việc rút ra những câu đánh giá quan điểm có độ
chính xác (precision) khoảng 64.2% và recall là 69.3%.
 Sử dụng WordNet (Fellbaum, 1998) để xác định các tính từ được rút ra
mang chiều hướng tích cực (positive) hay tiêu cực (negative).
Trong WordNet, các tính từ được tổ chức thành các cụm từ lưỡng cực,
nửa cụm thứ hai phần đầu là từ trái nghĩa của cụm thứ nhất. Mỗi nửa cụm là
phần đầu của tập từ đồng nghĩa chính, tiếp theo là tập từ đồng nghĩa kèm theo,
đại diện cho ngữ nghĩa tương tự như những tính từ quan trọng. Ngược với
cách tiếp cận dựa trên từ điển, họ sử dụng định hướng quan điểm của những
từ đồng nghĩa và từ trái nghĩa để dự đốn định hướng của các tính từ. Họ bắt
19


đầu với một danh sách khởi đầu gồm 30 tính từ thơng dụng được chọn thủ

cơng (bằng tay). Sau đó sử dụng WordNet để dự đoán định hướng của tất cả
các tính từ trong danh sách từ quan điểm được rút ra bằng cách tìm kiếm qua
cụm lưỡng cực để tìm ra liệu các từ đồng nghĩa hay trái nghĩa có trong danh
sách khởi đầu hay khơng. Khi định hướng của tính từ được dự đốn, nó sẽ
được bổ sung vào danh sách khởi đầu và có thể được sử dụng để xác định
định hướng của các tính từ khác. Trong phương pháp này, danh sách khởi đầu
sẽ dần tăng lên khi sự định hướng của các tính từ được nhận dạng, và khi nó
ngừng gia tăng, tức qui mơ của danh sách khởi đầu trùng với qui mô của danh
sách từ chỉ quan điểm, thì tất cả định hướng của các tính từ đã được nhận biết
và q trình này kết thúc.
Những từ quan điểm thường tập trung chủ yếu vào hai từ loại: tính từ
và phó từ vì vậy càng nhận dạng chính xác được nhiều hai loại từ này hệ
thống càng có độ chính xác cao
1.3.3 Sử dụng các động từ
Các tính từ và phó từ đóng một vai trị quan trọng trong việc phân tích
quan điểm và là các loại từ có lợi thế trong việc nhận biết định hướng và rút ra
các từ chỉ quan điểm trong các nghiên cứu hiện nay. Tuy nhiên, các loại từ
khác, ví dụ như động từ cũng được sử dụng để diễn tả cảm xúc hay ý kiến
trong các bài viết.
Nasukawa và Yi (2003) xem xét rằng bên cạnh các tính từ và phó từ,
thì các động từ cũng có thể diễn tả quan điểm trong hệ thống đánh giá quan
điểm của họ. Họ phân loại các động từ có liên quan đến quan điểm thành 2
loại. Loại thứ nhất trực tiếp thể hiện quan điểm tích cực hay tiêu cực, theo lý
giải của họ thì “beat” trong “X beats Y”. Loại thứ hai không thể hiện quan
điểm trực tiếp nhưng dẫn đến những quan điểm, giống như “is” trong “X is
good”.
Họ sử dụng gán nhañ từ loa ̣i dựa trên mơ hình Markov (HMM)
(Manning and Schutze, 1999) và phân tích cú pháp nơng dựa trên luật (Neff et
al., 2003) cho bước tiền xử lý. Sau đó họ phân tích tính phụ thuộc về mặt cú
pháp giữa các cụm từ và tìm kiếm các cụm từ có một từ chỉ quan điểm mà nó

bổ nghĩa hoặc được bổ nghĩa bởi một thuật ngữ chủ thể.
20


1.3.4 Xác định chiều hướng, cụm từ, quan điểm
Trong phân tích quan điểm, xu hướng của những từ, cụm từ trực tiếp
thể hiện quan điểm, cảm xúc của người viết bài. Phương pháp chính để nhận
biết xu hướng quan điểm của những từ, cụm từ chỉ cảm nghĩ là dựa trên thống
kê hoặc dựa trên từ vựng.
1.4. Nhiệm vụ của phân tích quan điểm
Phân tích quan điểm là những nghiên cứu nhằ m phát hiêṇ ra quan điể m
hay xu hướng của người dùng dựa trên các kỹ thuâ ̣t liên quan đế n vấ n đề xử lý
ngôn ngữ tự nhiên. Có hai hướng tiế p câ ̣n chính cho bài toán này là : Phân lớp
quan điể m (Sentiment Classification) và trích quan điể m (Sentiment
Extraction).
Trích quan điể m: bao gồm 3 nhiệm vụ chính là:
- Trích các đặc trưng đố i tượng có nhận xét trong mỗi quan điểm.
- Xác đi ̣nh có hay không các quan điểm trong các đặc trưng là
positive, negative hay neutral (phụ thuộc vào đi ̣nh dạng của các
quan điể m)
- Nhóm các cụm từ cùng nghiã đặc trưng
1.5. Bài toán phân lớp quan điểm
Phân lớp là q trình "nhóm” các đối tượng "giống” nhau vào "một lớp”
dựa trên các đặc trưng dữ liệu của chúng. Tuy nhiên, phân lớp là một hoạt
động tiềm ẩn trong tư duy con người khi nhận dạng thế giới thực, đóng vai trị
quan trọng làm cơ sở đưa ra các dự báo, các quyết định. Phân lớp và cách mô
tả các lớp giúp cho tri thức được định dạng và lưu trữ trong đó.
Khi nghiên cứu một đối tượng, hiện tượng, chúng ta chỉ có thể dựa vào
một số hữu hạn các đặc trưng của chúng. Nói cách khác, ta chỉ xem xét biểu
diễn của đối tượng, hiện tượng trong một không gian hữu hạn chiều, mỗi

chiểu ứng với một đặc trưng được lựa chọn. Khi đó, phân lớp dữ liệu trở thành
phân hoạch tập dữ liệu thành các tập con theo một tiêu chuẩn nhận dạng được.
Nhiệm vụ phân lớp quan điể m đươ ̣c xem xét với hai tiế p câ ̣n chính là:
-

Phân lớp câu chứa quan điể m
21


-

Phân lớp tài liê ̣u chứa quan điể m.

Phân lớp câu/tài liệu chứa quan điểm có thể đươ ̣c phát biể u như sau: Cho
mô ̣t câu hay mô ̣t tài liê ̣u chứa quan điể m, haỹ phân loa ̣i xem câu hay tài liê ̣u
đó thể hiêṇ quan điể m mang xu hướng tích cực(positive) hay tiêu cực
(negative), hoă ̣c trung lâ ̣p (neutral).
Theo Bo Pang và Lillian Lee (2002) phân lớp câu/tài liệu chỉ quan điểm
khơng có sự nhận biết của mỗi từ/ cụm từ chỉ quan điểm. Họ sử dụng học máy
có giám sát để phân loại những nhận xét về phim ảnh. Không cần phải phân
lớp các từ hay cụm từ chỉ quan điểm, họ rút ra những đặc điểm khác nhau của
các quan điểm và sử dụng thuật tốn Nạve Bayes (NB), Maximum Entropy
(ME) và Support Vector Machine (SVM) để phân lớp quan điểm. Phương
pháp này đạt độ chính xác từ 78, 7% đến 82, 9%.
Input: Cho mô ̣t tâ ̣p các văn bản chứa các ý kiế n đánh giá về mô ̣t đố i tượng
nào đó.
Output: Mỗi văn bản đươ ̣c chia vào mô ̣t lớp theo mức đô ̣ phân cực
(polarity) về tiếp cận ngữ nghĩa nào đó (tić h cực, tiêu cực hay
trung lâ ̣p).
Phân lớp tài liệu theo hướng quan điểm thật sự là vấn đề thách thức và

khó khăn trong lĩnh vự xử lý ngơn ngữ đó chính là bản chất phức tạp của ngôn
ngữ của con người, đặc biệt là sự đa nghĩa và nhập nhằng nghĩa của ngôn ngữ.
Sự nhập nhằng này rõ ràng sẽ ảnh hưởng đến độ chính xác bộ phân lớp của
chúng ta một mức độ nhất định. Một khía cạnh thách thức của vấn đề này
dường như là phân biệt nó với việc phân loại chủ đề theo truyền thống đó là
trong khi những chủ đề này được nhận dạng bởi những từ khóa đứng một
mình, quan điểm có thể diễn tả một cách tinh tế hơn. Ví dụ câu sau: “Làm thế
nào để ai đó có thể ngồi xem hết bộ phim này ?”khơng chứa ý có nghĩa duy
nhất mà rõ ràng là nghĩa tiêu cực. Theo đó, quan điểm dường như đòi hỏi sự
hiểu biết nhiều hơn, tinh tế hơn.
1.5.1 Phân cực quan điểm và mức độ phân cực
- Mức đô ̣ phân cực: positive/negative/neutral
- Nhâ ̣n xét về sản phẩ m, dich
̣ vu ̣: Like/ dislike/ So so
- Nhâ ̣n xét về phim ảnh thumbs up/ thumbs down
22


- Nhâ ̣n xét về quan điể m chiń h tri:like
to win/ unlike to win
̣
Liberal/conservative
- Phân loa ̣i bài báo là good new/ bad new.
Các bài toán liên quan đế n phân lớp phân cực quan điể m:
 Xác đinh
̣ sự phân cực của văn bản (tài liê ̣u/câu) chứa quan điể m:
tích cực, tiêu cực hay trung tính.
VD: Thông qua nhâ ̣n xét: “This laptop is great”.
 Xác đinh
̣ mô ̣t đoa ̣n thông tin “khách quan” là tố t hoă ̣c xấ u

=>thách thức liên quan đế n phân tích quan điể m.
VD: “The stock prise rose”
 Phân biê ̣t giữa câu “chủ quan”và “khách quan”
Rating inference (ordinal regression): Sắ p xế p các quan điể m theo nhiề u
mức:
 Sắ p xế p các đánh giá từ theo nhiề u mức: VD: 1 sao đế n 5 sao.
Hay theo mức đô ̣ phân cực: rấ t thích, thích, bình thường, không
thích,…
 Khi phân loa ̣i vào 3 lớp: positive, negative, neutral: neutral đươ ̣c
coi là giá tri ̣trung bình giữa positive và negative.
 Nhañ “neutral”: mô ̣t số đươ ̣c sử du ̣ng như là lớp khách quan(thiế u
quan điể m).
 Theo Cabral và Hortacsu, 2006: nhañ neutral có thể gầ n negative
hơn vì con người có xu hướng phản ứng ma ̣nh với nhâ ̣n xét
negative: 40% so với nhâ ̣n xét neutral là 10%.
1.5.2 Nhiệm vụ của bài toán phân lớp quan điểm
Bài toán phân lớp quan điểm được biết đến như là bài toán phân lớp tài
liệu với mục tiêu là phân loại các tài liệu theo định hướng quan điểm.
Đã có rất nhiều tiếp cận khác nhau được nghiên cứu để giải quyết cho
loại bài toán này. Để thực hiện, về cơ bản có thể chia thành hai nhiệm vụ
chính như sau:
23


- Trích các đặc trưng nhằm khai thác các thơng tin chỉ quan điểm để
phục vụ mục đích phân loại tài liệu theo định hướng ngữ nghĩa.
- Xây dựng mô hình để phân lớp các tài liệu.

24

CHƯƠNG 2 : PHÁT HIỆN TỪ MỚI CHO PHÂN
TÍCH QUAN ĐIỂM
Tự động trích các từ mới là sự cần thiết trước tiên cho một số nhiệm vụ
xử lý ngôn ngữ tự nhiên như tách từ (ngôn ngữ Tiếng Trung, Tiếng Việt),
trích tên của thực thể và phân tích tình cảm, phân tích quan điểm.
Minlie Hoang et al., 2014 đã giới thiệu một phương pháp để trích các từ
quan điểm mới từ dữ liệu lớn do người dùng tạo ra. Trong đó, các tác giả đã
giới thiệu một phương pháp học hồn tồn khơng giám sát và một Framwork
hồn tồn dựa trên dữ liệu cho trích từ quan điểm mới và ứng dụng nó trong
bài tốn phân tích quan điểm. Các tác giả đã thiết lập các độ đo thống kê để
xác định tính phù hợp của một mẫu từ vựng và đo khả năng một từ là từ mới.
Phương pháp này chỉ sử dụng rất ít các thơng tin ngơn ngữ (gần với các
nguồn tài nguyên ngôn ngữ tự do) ở đây chỉ sử dụng thông tin gán nhãn từ
loại POS, và không yêu cầu phải xây dựng quy tắc ngôn ngữ. Các tác giả đã
chứng minh từ cảm xúc (quan điểm) mới sẽ mang lại lợi ích trong phân tích
cảm xúc hay phân tích quan điểm. Các kết quả thực nghiệm chứng minh tính
hiệu quả của phương pháp đề xuất.
2.1. Giới thiệu phương pháp
Các từ mới trên Internet xuất hiện ngày càng nhiều, đặc biệt là trong
nội dung do người dùng tạo ra. Người dùng muốn cập nhật và chia sẻ thông
tin của họ trên các trang web xã hội với phong cách ngơn ngữ riêng của họ,
trong đó xuất hiện các từ mới trong các lĩnh vực như chính trị, kinh tế, văn
hóa, xã hội.
Tuy nhiên, những từ mới như vậy đã tạo ra những thách thức cho một
số nhiệm vụ xử lý trong ngôn ngữ tự nhiên. Việc tự động trích các từ mới là
khơng thể thiếu đối với nhiều công việc như phân đoạn từ (Tiếng Trung hay
Tiếng Việt..), dịch máy, trích xuất thực thể có tên, hỏi và trả lời, và phân tích
cảm xúc, phân tích quan điểm. Phát hiện từ mới là một trong những vấn đề
quan trọng nhất trong tách từ Tiếng Trung. Các nghiên cứu gần đây (Sproat và

Emerson, 2003) (Chen, 2003) đã chỉ ra rằng hơn 60% tách từ từ kết quả của từ
25