Báo cáo " Tự động sinh mục lục cho văn bản " docx

Tự động sinh mục lục cho văn bản
Nguyễn Việt Cường

Trường Đại học Công nghệ
Luận văn ThS chuyên ngành: Công nghệ phần mềm; Mã số: 60 48 10
Người hướng dẫn: PGS TS Hà Quang Thụy
Năm bảo vệ: 2007

Abstract: Giới thiệu bài toán tóm tắt văn bản nói chung và bài toán xây dựng mục lục cho
văn bản nói riêng; Nghiên cứu các phương pháp và thuật toán tiêu biểu sử dụng trong các
phân đoạn và sinh tiêu đề trong quá trình xây dựng mục lục cho văn bản; Phân tích và đề xuất
phương án tích hợp các thuật toán của các bước để giải quyết bài toán chính của luận văn; Đề
xuất một số hướng cải tiến và trình bày các phương pháp đánh giá; Phần thử nghiệm trình
bày quá trình thử nghiệm cùng các kết quả đạt được, đưa ra những ý kiến phân tích và đánh
giá các kết quả làm tiền đề cho các ý kiến đề xuất
Keywords: Công nghệ thông tin, Soạn thảo văn bản, Tự động sinh mục lục

Content
MỞ ĐẦU
Hiện nay, lượng văn bản được số hoá đang tăng lên nhanh chóng và đặc biệt được phổ biến
rộng rãi cùng với sự tăng trưởng của Internet. Các văn bản này thuộc nhiều dạng khác nhau
như văn bản chữ viết, văn bản âm thanh và văn bản hình ảnh. Nguồn thông tin khổng lồ này
vừa mang lại lợi ích giúp con người tiếp cận và khai thác được nhiều thông tin hơn, nhưng
mặt khác cũng gây khó khăn cho công việc lựa chọn và tổng hợp thông tin. Lĩnh vực xử lí
ngôn ngữ tự nhiên (xử lí ngôn ngữ trên máy tính một cách tự động) ra đời nhằm giải quyết
phần nào sự khó khăn này.
Lĩnh vực xử lí ngôn ngữ tự nhiên đã đặt ra hàng loạt bài toán nhằm giải quyết các khó khăn
và trợ giúp con người xử lí văn bản tốt hơn như: tìm kiếm văn bản, phân lớp văn bản, rút trích
thông tin, tóm tắt văn bản, hệ thống hỏi-đáp,… Các hệ thống thông tin trực tuyến như Google,
Yahoo!, MSN,… đã thể hiện được các kết quả nghiên cứu giải quyết các bài toán này. Ví dụ
như máy tìm kiếm Google đảm nhận việc tìm kiếm các văn bản theo yêu cầu của người dùng,

trích ra các đoạn văn bản liên quan đến yêu cầu, tóm tắt lại dựa trên các thông tin đó và hiển
thị cho người dùng lựa chọn. Tuy chất lượng xử lí văn bản chưa đạt được mức độ như con
người nhưng sự lớn mạnh của các cỗ máy tìm kiếm trên đã cho thấy tiềm năng và triển vọng
thực sự của các bài toán trong xử lí ngôn ngữ tự nhiên.
Tóm tắt văn bản là một bài toán trong xử lí ngôn ngữ tự nhiên, đó là “một quá trình thu gọn
văn bản đầu vào thành văn bản tóm tắt thông qua việc cô đọng nội dung bằng cách lựa chọn
và/hoặc tổng hợp những thông tin quan trọng trong văn bản đầu vào” [18]. Trong thời gian
gần đây, tóm tắt văn bản đang nhận được sự quan tâm rộng rãi của cộng đồng nghiên cứu trên
thế giới với sự tăng trưởng về số bài báo có liên quan trong các hội nghị DUC
1
2001-2007,
ACL
2
2001-2007,…; sự phát triển của các hệ thống tóm tắt văn bản
3
như MEAD, LexRank,
Text Analyst (Megaputer), Text Analysis (IBM Japan), Microsoft Word,… Rất nhiều bài
toán nhỏ của tóm tắt văn bản đã được đặt ra và giải quyết [18] thông qua các hội nghị và phần
mềm kể trên.
Một trong những vấn đề được quan tâm nghiên cứu gần đây là xây dựng mục lục cho văn bản
một cách tự động [2, 5]. Đây là một bài toán tóm tắt văn bản, trong đó các thông tin quan
trọng của tài liệu được định nghĩa là tiêu đề của các đoạn văn bản và được thể hiện dưới dạng
danh sách ở mục lục của văn bản. Cấu trúc mục lục là một cấu trúc phổ biến ở trong các văn
bản dài mà đặc biệt là các cuốn sách, nó giúp người đọc tìm kiếm chủ đề quan tâm và định vị
được vị trí của chủ đề đó trong văn bản. Đối với các văn bản âm thanh, hình ảnh, việc xây
dựng được mục lục cho văn bản là rất cần thiết vì những văn bản dạng này hầu như không có
sẵn mục lục để định vị các phân đoạn thông tin khác nhau [3, 10, 18, 20]. Việc xây dựng mục
lục cho văn bản gồm hai bước, bước thứ nhất là phân đoạn văn bản, tức là phân văn bản
thành các đoạn rời rạc, nối tiếp nhau, mỗi đoạn nói về một chủ đề tương đối khác nhau [2, 4,
6, 15, 16, 20] và bước thứ hai là sinh tiêu đề cho các đoạn văn bản, tức là sinh một cụm từ

ngắn thể hiện được chủ đề chính của đoạn văn [3, 10, 17, 28]. Trong [5], các tác giả đã trình
bày và thử nghiệm xây dựng mục lục cho văn bản, tuy nhiên bài báo mới dừng lại ở việc giải
quyết nửa sau của bài toán xây dựng mục lục cho văn bản, tức là sinh tiêu đề và xây dựng cấu
trúc mục lục với việc sử dụng cấu trúc phân đoạn sẵn có của văn bản. Hơn thế nữa, mô hình
trong [5] là mô hình học giám sát, đòi hỏi phải có dữ liệu huấn luyện trong khi loại dữ liệu
này rất thiếu đối với bài toán được đề cập.
Với việc lựa chọn đề tài “Tự động sinh mục lục cho văn bản”, luận văn này hướng tới việc
tích hợp hai bước phân đoạn và sinh tiêu đề trong quá trình xây dựng mục lục cho văn bản
một cách tự động. Trong luận văn này, các bài toán của từng bước được nghiên cứu chi tiết;
phương pháp tích hợp hai bước với nhau được đề xuất và tiến hành thử nghiệm thực tế trên
văn bản khoa học. Kết quả thực nghiệm khả quan của luận văn đã cho thấy tính khả thi và
triển vọng của bài toán này. Ngoài ra trong luận văn, tác giả cũng đưa ra những phương
hướng cải tiến cùng cơ sở khoa học của nó để làm tiền đề cho các nghiên cứu tiếp theo.
Ngoài phần mở đầu và kết luận, kết cấu của luận văn bao gồm 4 chương:

1

2

3

- Chương 1 “Giới thiệu bài toán” sẽ giới thiệu bài toán tóm tắt văn bản nói chung
và bài toán xây dựng mục lục cho văn bản nói riêng; phân tích các công trình có
liên quan và đưa ra các thức giải quyết bài toán của luận văn.
- Chương 2 “Phân đoạn văn bản và sinh tiêu đề” sẽ tiến hành nghiên cứu và trình
bày các phương pháp và thuật toán tiêu biểu được sử dụng trong các bước phân
đoạn và sinh tiêu đề trong quá trình xây dựng mục lục cho văn bản.
- Chương 3 “Xây dựng mục lục cho văn bản” sẽ phân tích và đề xuất phương án
tích hợp các thuật toán của các bước để giải quyết bài toán chính của luận văn; đề
xuất một số hướng cải tiến và cơ sở lí luận của các cải tiến đó; và trình bày các

phương pháp đánh giá.
- Chương 4 “Thử nghiệm và đánh giá” sẽ trình bày quá trình thử nghiệm của luận
văn cùng các kết quả đạt được, đồng thời phân tích và đánh giá các kết quả đó để
làm tiền đề cho các đề xuất cải tiến.

References
Tiếng Việt
1. Nguyễn Việt Cường, Nguyễn Thị Thuỳ Linh, Phan Xuân Hiếu, Hà Quang Thuỵ (2005),
“Bài toán lọc và phân lớp nội dung web tiếng Việt với hướng tiếp cận Entropy cực đại”,
Kỉ yếu Hội thảo Quốc gia lần thứ 8 “Một số vấn đề chọn lọc của công nghệ thông tin”,
tr. 174-189, Hải Phòng, Việt Nam.
Tiếng Anh
2. Angheluta R., De Busser R.D., Moens M.F. (2002), “The Use of Topic Segmentation for
Automatic Summarization”, In Proceedings of the 40
th
Annual Meeting of the
Association of Computational Linguistics, Philadelphia, USA.
3. Banko M., Mittal V.O., Witbrock M.J. (2000), “Headline Generation Based on
Statistical Translation”, In Proceedings of the 38
th
Annual Meeting of the Association of
Computational Linguistics, Hong Kong.
4. Beeferman D., Berger A., Lafferty J. (1999), “Statistical Models for Text Segmentation”,
Machine Learning, 34(1-3), pp. 177-210.
5. Branavan S.R.K., Deshpande P., Barzilay R. (2007), “Generating a Table-of-Contents”,
In Proceedings of the 45
th
Annual Meeting of the Association of Computational
Linguistics, pp. 544-551, Prague, Czech Republic.
6. Choi F. (2000), “Advances in domain independent linear text segmentation”, In

Proceedings of NAACL '00, pp. 26-33, Seattle, USA.
7. Church K.W. (1993), “Char align: A Program for Aligning Parallel Texts at the
Character Level”, In Proceedings of the 31
st
Annual Meeting of the Association of
Computational Linguistics, pp. 1-8, Ohio, USA.
8. Collins M., Roark B. (2004), “Incremental Parsing with the Perceptron Algorithm”, In
Proceedings of the 42
nd
Annual Meeting of the Association of Computational Linguistics,
pp. 111-118, Barcelona, Spain.
9. Cuong N.V., Linh N.T.T., Thuy H.Q., Hieu P.X. (2006), “A Maximum Entropy Model
for Text Classification”, In Proceeding of International Conference on Internet
Information Retrieval 2006, pp. 143-149, Korea.
10. Dorr B., Zajic D., Schwartz R. (2003), “Hedge Trimmer: A parse-and-trim approach to
headline generation”, In Proceedings of the HLT-NAACL 2003 Workshop on Text
Summarization, pp. 1-8, Edmonton, Canada.
11. Elhada N., McKeown K.R. (2001), “Towards generating patient specific summaries of
medical articles”, In Proceedings of NAACL Workshop on Automatic Summarization,
Pittsburgh, PA, USA.
12. Georgescul M., Clark A., Armstrong S. (2006), “An Analysis of Quantitative Aspects in
the Evaluation of Thematic Segmentation Algorithms”, In Proceedings of the 7th
SIGdial Workshop on Discourse and Dialogue, pp. 144-151.
13. Givón T. (2001), “Syntax: An Introduction”, John Benjamins Publishing, Amsterdam.
14. Goldstein J. (1999), “Automatic Text Summarization of Multiple Documents”, Thesis
Proposal, Carnegie Mellon University.
15. Hearst M.A. (1994), “Multi-paragraph segmentation of expository text”, In Proceedings
of the 32
nd
Annual Meeting of the Association of Computational Linguistics, pp. 9-16,

New Mexico, USA.
16. Hearst M.A. (1997), “TextTiling: Segmenting Text into Multi-Paragraph Subtopic
Passages”, Computational Linguistics, 23(1), pp. 33-64.
17. Jin R., Hauptmann A.G. (2002), “A New Probability Model for Title Generation”, The
19
th
International Conference on Computational Linguistics, Taiwan.
18. Jones K.S. (2007), “Automatic summarising: The state of the art”, Information
Processing and Management, doi:10.1016/j.ipm.2007.03.009.
19. Luhn H.P. (1958), “The automatic creation of literature abstracts”, IBM Journal of
Research and Development, 2, pp. 159-165.
20. Malioutov I., Barzilay R. (2006), “Minimum Cut Model for Spoken Lecture
Segmentation”, In Proceedings of the 21
st
International Conference on Computational
Linguistics and 44
th
Annual Meeting of the ACL, pp. 25-32, Sydney, Australia.
21. Moens M.F., De Busser R. (2001), "Generic topic segmentation of document texts", In
Proceedings of the 24th Annual International ACM SIGIR Conference on Research and
Development in Information Retrieval, pp. 418-419, New York, USA.
22. Morris J., Hirst G. (1991), “Lexical Cohesion Computed by Thesaural Relations as an
Indicator of the Structure of Text”, Computational Linguistics, 17(1), pp. 21-48.
23. Pevzner L., Hearst M.A. (2002), “A Critique and Improvement of an Evaluation Metric
for Text Segmentation”, Computational Linguistics, 28 (1), pp. 19-36.
24. Ponte J.M., Croft W.B. (1997), “Text Segmentation by Topic”, In Proceedings of the
First European Conference on Research and Advanced Technology for Digitial
Libraries, pp.120-129.
25. Reynar J.C. (1994), “An automatic method of finding topic boundaries”, In Proceedings
of the 32nd Annual Meeting of the Association for Computational Linguistics, pp. 331-

333.
26. Shi J., Malik J. (2000), “Normalized Cuts and Image Segmentation”, IEEE Transactions
on Pattern Analysis and Machine Intelligence, 22(8) pp. 888-905.
27. Teufel S., Moens M. (2002), “Summarizing Scientific Articles: Experiments with
Relevance and Rhetorical Status”, Computational Linguistics, 28(4), pp. 409-445.
28. Witbrock M.J., Mittal V.O. (1999), “Ultra-Summarization: A statistical Approach to
Generating Highly Condensed Non-Extractive Summaries”, In Proceedings of the 22
nd

International Conference on Research and Development in Information Retrieval
(SIGIR '99), Poster Session, 315-316, USA.