Tóm tắt trích xuất đơn văn bản theo phương pháp đồ thị

ĐẠI HỌC BÁCH KHOA HÀ NỘI
VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG

……oOo……

BÁO CÁO THỰC TẬP TỐT NGHIỆP
Đề tài: Tóm tắt trích xuất đơn văn bản theo phương pháp đồ thị

Sinh viên thực hiện : Nguyễn Đình Hưởng
MSSV
Lớp
Trường
Giảng viên hướng dẫn

: 20081338
: HTTT – K53
: ĐH Bách Khoa Hà Nội
: PGS.TS.Lê Thanh Hương

Hà nội, tháng 2 năm 2013


Báo cáo thực tập tốt nghiệp

GVHD: PGS.TS.Lê Thanh Hương

Mục lục

SV: Nguyễn Đình Hưởng_20081338

Page 2

Báo cáo thực tập tốt nghiệp

I.

GVHD: PGS.TS.Lê Thanh Hương

Giới thiệu bài toán
Hiện nay, cùng với sự phát triển mạnh mẽ của công nghệ thông tin và
truyền thông và đặc biệt là internet- Mạng thông tin toàn cầu thì một
lượng thông tin khổng lồ đang bùng nổ trên toàn thế giới. Thông qua
mạng thông tin này những thông tin quý giá đang đợi chúng ta khám phá.
Nhưng vấn đề được đặt ra là trong kho thông tin khổng lồ đó chúng ta
tìm kiếm như thế nào để có được những thông tin cần thiết một cách
nhanh chóng và dễ dàng. Chính bởi vậy lĩnh vực khai phá dữ liệu đã ra
đời nhắm đáp ứng nhu cầu đó của con người.
Trong khai phá dữ liệu thì lĩnh vực khai phá văn bản được quan tâm
hơn cả bởi hầu hết dữ liệu đều tồn tại ở dạng văn bản. Trong khai phá văn
bản thì còn có một lĩnh vự nhỏ hơn cũng đang được quan tâm trong thời
gian gần đây đó là tóm tắt văn bản.
Chính bởi lý do trên mà em quyết định chọn đề tài tìm hiểu về lĩnh
vực tóm tắt văn bản cụ thể là tóm tắt đơn văn bản trong đợt thực tập tốt
nghiệp này.
Tóm tắt đơn văn bản là một quá trình tóm tắt với đầu vào là một văn
bản đơn, đầu ra là một đoạn tóm tắt ngắn gòn nội dung chính của văn bản
đầu vào đó. Tóm tắt văn bản đơn là bước đệm cho việc xử lý tóm tắt đa
văn bản và các bài toán phức tạp hơn.

II.

Đối tượng ứng dụng
Bài toán ứng dụng cho đối tượng đơn văn bản. Văn bản đơn ở đây có
thể là một trang Web, một bài báo hoặc một tài liệu với định dạng xác
định ví dụ: .doc, .txt

III.

Nguồn dữ liệu khai thác

IV.

Tổng kết các hướng nghiên cứu

SV: Nguyễn Đình Hưởng_20081338

Page 3


Báo cáo thực tập tốt nghiệp

GVHD: PGS.TS.Lê Thanh Hương

Mặc dù có 2 loại tóm tắt là tóm tắt trích xuất và tóm tắt tóm lược, tuy
nhiên để thực hiện tóm tắt tóm lược cần có một lượng tri thức đầy đủ về lĩnh
vực cần tóm tắt. ĐIều này hiện nay còn hạn chế nhiều, do đó các hướng tiếp
cận đa số tập trung vào dạng tóm tứt trích rút câu.
Sau đây là một số hướng tiếp cận cho bài toán tóm tắt đơn văn bản:
1.

Phương pháp thống kê
Hầu hết các nghiên cứu đầu tiên cho tóm tắt đơn văn bản đều tập
trung trên những văn bản kỹ thuật ( các bài báo khoa học). Các phương pháp
cổ điển thường tập trung vào các đặc trưng hình thái để tính điểm cho các
câu và trích xuất các câu quan trọng để đưa vào tóm tắt.
Ý tưởng của hướng tiếp cận này:





Thu thập dữ liệu
Tạo các bản tóm tắt thủ công
Thiết kế các công thức toán hay logic để tính điểm cho các câu.
Lặp cho đến khi tóm tắt tự động đạt được tính tương đương với
tóm tắt thủ công:
o Tính điểm cho từng câu để tạo ra bản tóm tắt cho từng văn
bản trong ngữ liệu dựa vào các đặc trưng về hình thái.
o So sánh tóm tắt được tạo tự động với tóm tắt được tạo thủ
công.
o Cải thiện lại phương thức tính điểm cho câu.

Các nghiên cứu đại diện cho phương pháp này:




Luhn(1958)
o Sử dụng các đặc trưng như: word frequency, stop words,
word distance.

o Dùng phương pháp so khớp từng kí tự để giải quyết
stemming.
Baxendale(1958)
o Sử dụng các đặc trưng như: sentence position.
o Thử nghiệm 200 đoạn câu, 85% các câu đầu là câu chính và
7% các câu cuối và câu chính.

SV: Nguyễn Đình Hưởng_20081338

Page 4


Báo cáo thực tập tốt nghiệp

GVHD: PGS.TS.Lê Thanh Hương

Phương pháp khá chính xác nhưng quá chủ quan và ngay
ngô. Phương pháp này được sử dụng khá nhiều vào các hệ
thống học máy sau này.
Edmundson(2969)
o Điển hình nhất trong phương pháp cổ điển.
o Sử dụng các đặc trưng như: word frequency, stop words,
position, cue words, title.
o Sử dụng phương pháp kết nối tuyến tính để kết hợp các điểm
đặc trưng lại với nhau: Si = w1*Ci + w2*Ki + w3*Ti +
w4*Li
o Thử nghiệm với 400 văn bản kỹ thuật và kết quả đạt 44%.
o



2.

Phương pháp thống kê trên TF.IDF
Phương pháp này còn gọi là mô hình túi từ ( bag-of-words), sử dụng
mô hình trọng số TF.IDF (term frequency và inverse sentence frequency). Ở
mô hình này, giá trị IDF được tính trên câu. Trong đó, TF là số lần xuất hiện
của term trong 1 câu. Và DF là số câu có chứa term.
Cùng với phương pháp tính độ đo TF.IDF và phương pháp biểu diễn
văn bản bằng vector không gian sử dụng Vector Space Model(saton 1975).
Tuy nhiên, phương pháp dùng độ đo TF.IDF không được dùng độc
lập, mà thường được kết hợp với các phương pháp khác như học máy, đồ
thị,… để đạt được hiệu quả cao hơn.

3.

Phương pháp học máy
Năm 1990, với sự phát triển của nhiều kỹ thuật học máy trong xử lý
ngôn ngữ, một số nhà nghiên cứu đã ứng dụng các kỹ thuật này vào trong
tóm tắt văn bản tự động. Một số nghiên cứu điển hình của phương pháp nà
là: Navie – Bayes, Decision Tree, Hidden Makov Model, Log – Linear,
Neural Network, SVM.
Framework chung cho hệ thống tóm tắt văn bản bằng phương pháp
học máy.

SV: Nguyễn Đình Hưởng_20081338

Page 5

Báo cáo thực tập tốt nghiệp
3.1.

GVHD: PGS.TS.Lê Thanh Hương

Phương pháp Navie-Bayes
Các hướng tiếp cận theo phương pháp này giả định rằng các đặc trưng
của văn bản độc lập nhau. Sử dụng bộ phân lớp Navie – Bayes để xác
định câu nào thuộc về tóm tắt và ngược lại:
Cho s là các câu cần xác định. F1…..Fk là các đặc trưng đã được chọn
và giả định các thuộc tính độc lập với nhau. Xác suất của câu s thuộc về
tóm tắt được tính như sau:
Sau khi tính xác suất các câu, n câu có xác suất cao nhất sẽ được trích
rút.
Các nghiên cứu đại diện cho phương pháp này:




Kupiec(1995)
o Các đặc trưng sử dụng: word frequency, location, cue word,
title & leading, sentence length, uppercase words.
o Ngữ liệu: 188 cặp văn bản khoa học và tóm tắt. Tổng số câu:
568 câu.Số câu khớp trực tiếp với tóm tắt 451 (79%).
Aone(1999)
o Kết hợp thêm nhiều đặc trưng phong phú hơn: tf.idf( single
word, two-noun word, named-entities), discourse(cohension)
(sử dụng Wordnet và kỹ thuật xử lý ngôn ngữ tự nhiên để
phân tích sự tham chiếu đối với các thực thể).
o Ngữ liệu: sử dụng ngữ liệu của TREC.

o Hệ thống: DimSum.

3.1.1. Phương pháp OOP( Optimal Position Policy)

Lin và Hovy (1997) đã nghiên cứu tính quan trọng của đặc trưng cị trí
câu(sentence position) và cho rằng các câu trong văn bản tuân theo một
cấu trúc diễn ngôn ( diễn giải) có thể dự đoán được. Và do cấu trúc tỏng
các loại văn bản khác nhau, nên đặc trưng về vị trí câu không thể định
nghĩa đơn giản như trong phương pháp Navie – Bayes.
Lin và Hovy đã đề ra phương pháp Optimal Position Policy cho một
thể loại văn bản( văn bản tin tức của Zif-Davis về máy tính và phần
cứng). Phương pháp thực hiện:

SV: Nguyễn Đình Hưởng_20081338

Page 6


Báo cáo thực tập tốt nghiệp



3.2.

GVHD: PGS.TS.Lê Thanh Hương

Với mỗi văn bản, tính năng suất của mỗi vị trí câu với các từ khóa
chủ đề.
Xếp hạng các vị trí câu với năng suất trung bình bằng thủ tục OPP.
Lấy ra n vị trí câu trong bảng xếp hạng làm tóm tắt.

Phương pháp Decision Tree
Lin và Hovy (1999) đại diện của phương pháp này giả định rằng, các
đặc trưng không độc lập nhau. Tác giả đã kiểm tra nhiều đặc trưng và ảnh
hưởng của chúng lên quá trình trích xuất. Hệ thống tóm tắt của Lin là loại
tóm tắt hướng về truy vân (Query - based).
Các đặc trưng: position (OPP), numeric data, proper name, pronoun &
adjective, weekday hoặc month. Cùng với 2 đặc trưng mới: query
signature( số từ truy vấn có trong câu) và IR signature( những từ nổi bật,
quan trọng ~ tf*idf).
Hệ thống Summarist của Lin và Hovy sử dụng thuật toán C4.5 để
huấn luyện cây quyết định. Hệ thống sử dụng tập ngữ liệu của TIPSTERSUMMAC.

3.3.

Phương pháp Hidden Makov Model
Những hướng tiếp cận trước đều không dựa trên những đặc trưng và
không tuần tự. Conroy và O’leary (2001) đã đưa ra hướng tiếp cận dựa
trên mô hình HMM với ý tưởng cơ bản là sử dụng một chuỗi tuần tự các
câu. Tác giả đưa ra khái niệm về sự phụ thuộc cục bộ (local
dependencies) giữa các câu và sử dụng mô hình HMM để xác định sự
phụ thuộc này.
Các đặc trưng sử dụng: position, number of term, likelihood of
sentence.
Mô hình HMM bao gồm 2s + 1 trạng thái, trong đó s là số trạng thái
tóm tắt (câu thuộc tóm tắt) và s + 1 là câu không thuộc tóm tắt.
Ví dụ về mô hình Hidden Makov Model.
Mô hình HMM xây dựng ma trận chuyển vị trí M, coi các đặc trưng là
đa biến và tính xác suất của các câu qua từng trạng thái.

SV: Nguyễn Đình Hưởng_20081338

Page 7


Báo cáo thực tập tốt nghiệp

GVHD: PGS.TS.Lê Thanh Hương

Sử dụng tập ngữ liệu của TREC và được đánh giá với 2 hệ thống khác
là DimSum và QR, kết quả đều cho độ đo Precision cao hơn.
3.4.

Phương pháp Log – Linear
Osborne (2002) đại diện cho mô hình này cũng xoi các đặc trưng à
không độc lập với nhau và sử dụng mô hình Log-Linear khắc phục giả
định này.
Các đặc trưng sử dụng: word pair, sentence length, sentence position
và discourse features (nằm trong introduction hay conclusion).
Mô hình huấn luyện của Log-Linear được thực hiện như sau:
Trong đó, c là nhãn muốn gán cho câu s, fi là đặc trưng thứ i và λi là
trọng số kết nối các đặc trưng. Nhãn c có 2 khả năng: thuộc tóm tắt hoặc
không thuộc tóm tắt.
Giai đoạn phân lớp câu mới được thực hiện như sau:
Kết quả được đo bằng độ đo f2 = 2pr/(p+r). Tác giả đã đánh giá với
hướng tiếp cận Bayes và kết quả luôn cho độ đo f2 cao hơn.

3.5.

Phương pháp mạng Neural và đặc trưng của hãng thứ ba

DUC 2002 đã đưa ra một baseline rất mạnh cho tóm tắt đơn văn bản
bằng phương pháp trích xuất n câu đầu tiên của các báo cáo tin tức và
dường như kết thúc hướng nghiên cứu này.
Nhưng Svore (2007) đã đưa ra một hướng tiếp cận mới sử dụng mạng
Neural để huấn luyện, kết quả cho thấy đã vượt qua baseline của DUC
2002.
Các đặc trưng sử dụng: position, n-gram frequency. Ngoài ra, còn sử
dụng thêm nhật ký truy vấn của bộ máy tìm kiếm Miccrosoft và Wordnet.
Tác gải cho rằng, những câu có chứa từ khóa trong các câu truy vấn thì
có kết quả tốt hơn và tìm từ khóa đó trên Wordnet.
Mô hình được huấn luyện từ các đặc trưng và các nhãn trong các bài
báo. Sau đó được xếp hạng bằng hệ thống RankNet. Ngữ liệu đuộc lấy từ

SV: Nguyễn Đình Hưởng_20081338

Page 8


Báo cáo thực tập tốt nghiệp

GVHD: PGS.TS.Lê Thanh Hương

CNN.com và được đánh giá bằng độ đo ROUGE-1 và ROUGE-2 (ahai
độ đo phổ biến hiện tại cho tóm tắt văn bản).
4.

Phương pháp phân tích ngôn ngữ tự nhiên
Phương pháp tiếp theo sử dụng các kỹ thuật phân tích ngôn ngữ tự
nhiên phức tạp. Không phải tất cả các phương pháp phân tích ngôn ngữ tự
nhiên đều sử dụng học máy, đôi khi phương pháp chỉ sử dụng một số các

heuristic để tạo trích rút.
Hầu hết các phương pháp này đều dựa trên cấu trúc diễn ngôn
(discourse structure) hay cấu trúc diễn đạt ( thể hiện) của văn bản, như: cấu
trúc các section của văn bản, liên kết ngữ pháp ( trùng lặp, tĩnh lược, liên
hợp), liên kết từ vựng ( đồng nghĩa. Bao hàm, lặp lại), cấu trúc tu từ.
Các nghiên cứu địa diện cho phương pháp này:
•

•

Ono (1994)
o Xây dựng một thủ tục để trích rút các cấu trúc tu từ
(rhetorical structure) từ các văn bản tiếng Nhật và xây dựng
một cây nhị phân để thể hiện.
o Các bước để trích rút cấu trúc: phân tích câu, trích rút một
quan hệ tu từ, phân đoạn, tạo ứng viên và đánh giá độ ưu
tiên.
o Sau khi xây dựng cây sẽ thực hiện tỉa nhánh để giảm bớt câu
và tạo tóm tắt.
o Kết quả đạt được 51% các câu chính được xác định và 74%
các câu quan trọng nhất được xác định.
Barzilay và Elhadad(1997)
o Hai tác giả cũng đã sử dụng một lượng đán g kể những phân
tích ngôn ngữ trong tóm tắt văn bản dựa trên chuỗi từ vựng
(lexical chain). Chuỗi từ vựng là chuỗi các từ liên quan
trong văn bản.
o Các bước thực hiên: phân tích đoạn văn bản, xác định các
chuỗi từ vựng và sử dụng các từ vựng tốt nhất để xác định
câu được chèn vào tóm tắt.
o Để tìm các chuỗi từ vựng tác giả sử dụng Wordnet. Các từ

có liên quan với nhau sẽ được đưa vào chuỗi. Sự liên quan

SV: Nguyễn Đình Hưởng_20081338

Page 9


Báo cáo thực tập tốt nghiệp

•

GVHD: PGS.TS.Lê Thanh Hương

được tính bằng khoảng cách trong Wordnet. Chuỗi sẽ được
tính điển dựa vào chiều dài và sự đồng nhất của nó.
o Kết quả đạt được tốt hơn hệ thống tóm tắt của Microssoft
với độ Precision là 61 và recall 67 (Microsoft là 33 và 27).
o Hạn chế: Không thể kiểm được chiều dài và mức độ chi tiết
của tóm tắt do số chuỗi còn ít. Tóm tắt thiếu sự kết dính và
chưa chi tiết so chọn cả câu.
Marcu (1998)
o Sử dụng các heuristic dựa trên cấu trúc diễn đạt với các đặc
trưng truyền thống. Lý thuyết về cấu trúc diễn đạt được tác
giả thể hiện thông qua lý thuyết cấu trúc tu từ(Rhetorical
Structure Theory). Lý thuyết cho rằng hai khoảng văn bản
không trùng lặp có mối quan hệ trung tâm (nucleus) và vệ
tinh (satellite). Trong đó, trung tâm quan trọng hơn vệ tinh
và độc lập hoàn toàn trong cấu trúc tu từ. Cấu trúc trọng tâm
và vệ tinh được biểu diễn thành cây nhị phân.
o Để tính điểm cho các cấu trúc tác giả sử dụng nhiều độ đo

khác nhau như: clustering- based metric, marker- based
metric, rhetorical clustering -based technique, shape- based
metric, title- based metric, position-based metric,
connectedness-based metric và sử dụng phương pháp kết
hợp tuyến tính. Lấy ra n câu chứa cấu trúc có điểm cao nhất.
o Hệ thống đạt được hiệu quả độ đo F 75.42% cao hơn 3.5%
so với baseline bằng phương pháp lấy n câu đầu. Ngữ liệu
được sử dụng là từ TREC.

SV: Nguyễn Đình Hưởng_20081338

Page 10


Báo cáo thực tập tốt nghiệp

GVHD: PGS.TS.Lê Thanh Hương

Đề xuất hướng tiếp cận

V.
1.

Phương pháp đồ thị
Hướng tiếp cận bài toán em muốn nghiên cứu là tót tắt trích xuất câu
theo phương pháp xếp hạng dựa trên đồ thị từ đó em hình thành lên đề tài
có tên : “Tóm tắt trích xuất đơn văn bản theo phương pháp đồ thị”
Trong bài toán này em thực hiện việc tóm tắt đơn văn bản bằng cách
trích xuất câu theo giải thuật xếp hạng dựa trên đồ thị . Nó là sự kết hợp
giữa giải thuật PageRank của Google (Brin và Page, 1998) và đồ thị

trọng số biểu diễn cho văn bản đầu vào.
Chúng ta xây dựng một đồ thị trọng số vô hướng biểu diễn cho văn
bản đầu vào, với mỗi đỉnh của đồ thị tương ứng với một câu của văn bản
đầu vào, mỗi cạnh là liên kết giữa các cặp đỉnh trong đồ thị tương ứng
với các cặp câu trong văn bản.
Công việc ta cần thực hiện là tính toán được số điểm hay xếp hạng
của các đỉnh trong đồ thị tương ứng với các câu trong văn bản. Từ đó
chúng ta sẽ chọn ra top các câu có điểm cao nhất là những câu quan trọng
trong văn bản đầu vào để đưa vào tóm tắt.
Các công việc cần thực hiện:
Chúng ta cần tính toán trọng số của các cạnh tương ứng với liên kết
giữa các cặp câu trong văn bản đầu vào dựa trên độ tương đồng giữa các
cặp câu đó.
Độ tương đồng được tính toán dựa trên hai tham số chính là :
TF: Term frequency
IDF: Inverse document frequency.
Băng việc sử dụng mô hình không gian vector cho việc biểu diễn các
câu như các vector xác định, thay vì tính toán TF*IDF ta sẽ thay thế
chúng bằng TF*ISF.
TF*ISF được tính toán cho mỗi câu. Trong đó, sj biểu diễn câu thứ j
và ki biểu diễn chỉ số thuật ngữ thứ i.
tfi, j =
isfi = log
Trong đó,
tfi,j là ‘term frequency’ của term thứ i trong câu thứ j.
isfi là ‘inverse sentence frequency’ của term thứ i.

SV: Nguyễn Đình Hưởng_20081338

Page 11

Báo cáo thực tập tốt nghiệp

GVHD: PGS.TS.Lê Thanh Hương

N là tổng số các câu trong văn bản đầu vào (bao gồm cả title).
ni là số câu chứa ki.
Từ đó, ta tính trọng số tương ứng của một term thứ i trong câu thứ j
như sau:
Wi,j = tfi,j * isfi
Trọng số cạnh giữa 2 đỉnh tương ứng độ tương đồng giữa 2 câu Sm và
Sn được tính theo công thức cosine như sau:
W(sm, sn) =
Với giải thuật xếp hạng trang nguyên gốc kết hợp với tác động của
các link vào và ra ta có công thức tính xếp hạng của một đỉnh trong đồ
thị:
PR(Vi) = (1 - d) + d *
Trong đó, d là tham số nằm trong khoảng (0;1)
Công thức trên được chuyển đổi thành công thức cho khái niệm trọng
số cạnh trong đồ thị như sau:
PRW(Vi) = (1 - d) + d *
Trong đó,
PRW(Vi) là xếp hạng của đỉnh Vi.
In(Vi) là tất cả các đỉnh đi tới đỉnh Vi.
Out(Vi) là tập các đỉnh mà đỉnh Vi đi tới.
Do đồ thị xây dựng là đồ thị trọng số vô hướng nên ta giả thuyết rằng
bán bậc ra và bán bậc vào của một đỉnh trong đồ thị là bằng nhau.Ngoài
ra, các nguyên tắt sau được đưa ra trong cấu trúc đồ thị:
• Thứ tự giữa các câu không quan trọng mà quan trọng là nội

dung của chúng.
• Độ tương đồng của một câu với chính nó là bằng 0.
o
i< N: W(si, si) = 0
Các câu được sắp xếp theo xếp hạng các node tương ứng. ‘n’ câu tốt
nhất sẽ được chọn dựa vào mức độ giảm thiểu số từ/ câu trong tóm tắt.
2.

Cụ thể hóa bài toán
Trên đây là giới thiệu về đề xuất hướng tiếp cận của em về bài toán.
Sau đây, em xin trình bày các bước tổng quát trong cách giải quyết bài
toán trên.
Bài toán tóm tắt đơn văn bản gồm có 3 bước chính:

SV: Nguyễn Đình Hưởng_20081338

Page 12


Báo cáo thực tập tốt nghiệp

GVHD: PGS.TS.Lê Thanh Hương

Bước 1: Tiền xử lý
• Chuẩn hóa văn bản đầu vào bằng cách loại bỏ các dấu ngắt không
đáng có, loại bỏ từ dừng – Những từ thường xuyên xuất hiện trong
văn bản nhưng không mang nhiều ý nghĩa về nội dung văn
bản.VD: Có thể, nếu, vì vậy, sau khi,…
• Tách thuật ngữ ( term).
• Xây dựng một biểu diễn có cấu trúc của văn bản đầu vào: Xây

dựng đồ thị trọng số vô hướng với các đỉnh là các câu trong văn
bản đầu vào.
Bước 2: Xử lý
•
•

•

Trong bước này chúng ta sẽ áp dụng giải thuật dựa trên đồ thị để
xác định được các câu quan trọng nhất có thể đại diện cho văn bản.
Công việc trong bước này chính là việc áp dụng giải thuật
PageRank và Summarizer để xếp hạng các node trên đồ thị đã xây
dựng tương ứng với các câu trong văn bản đầu vào.
o Giải thuật PageRank: Xếp hạng các node trên đồ thị.
o Giải thuật Summarizer: Tính trọng số của mỗi thuật ngữ với
mỗi câu của văn bản đầu vào.
Chọn ra các câu quan trọng nhất theo mức độ rút gọn của tóm tắt
yêu cầu.

Bước 3: Hiển thị kết quả

SV: Nguyễn Đình Hưởng_20081338

Page 13


Báo cáo thực tập tốt nghiệp
•

GVHD: PGS.TS.Lê Thanh Hương

Trong bước này chúng ta sắp xếp lại các câu đã được chọn theo
thứ tự ban đầu trong văn bản đầu vào.

SV: Nguyễn Đình Hưởng_20081338

Page 14