(Luận án tiến sĩ) Nghiên cứu, phát triển một số phương pháp tóm tắt văn bản sử dụng kĩ thuật học sâu

LỜI CAM ĐOAN

Tôi tên là Lưu Minh Tuấn, xin cam đoan đây là cơng trình nghiên cứu của bản
thân nghiên cứu sinh trong thời gian học tập và nghiên cứu dưới sự hướng dẫn của
người hướng dẫn khoa học. Các kết quả nghiên cứu trình bày trong luận án là trung
thực, chính xác và chưa từng được cơng bố trong bất kỳ cơng trình nào khác. Các
kết quả nghiên cứu viết chung với các tác giả khác đều được sự đồng ý của đồng tác
giả trước khi đưa vào luận án. Các kết quả sử dụng để tham khảo đều được trích dẫn
đầy đủ và theo đúng quy định.

Hà Nội, ngày
tháng
năm 2022
Nghiên cứu sinh

Lưu Minh Tuấn

NGƯỜI HƯỚNG DẪN KHOA HỌC


LỜI CẢM ƠN
Trong quá trình học tập và nghiên cứu, nghiên cứu sinh đã nhận được nhiều sự
giúp đỡ và ý kiến đóng góp q báu của các thầy cơ. Lời đầu tiên, nghiên cứu sinh
xin được bày tỏ lòng kính trọng và biết ơn sâu sắc tới PGS. TS. Lê Thanh Hương người hướng dẫn khoa học đã tận tình chỉ bảo, hướng dẫn để nghiên cứu sinh có thể
hoàn thành được luận án này. Nghiên cứu sinh xin gửi lời cảm ơn chân thành tới
PGS. TS. Nguyễn Bình Minh về những ý kiến đóng góp quý báu trong những buổi
xê mi na khoa học nhiều gian nan trong suốt thời gian nghiên cứu và hoàn thành
luận án. Nghiên cứu sinh xin gửi lời cảm ơn đến các thầy cô của Bộ môn Hệ thống
thông tin, Viện Công nghệ thơng tin và truyền thơng, Phịng đào tạo, Trường Đại
học Bách khoa Hà Nội, nơi nghiên cứu sinh học tập và nghiên cứu đã tạo điều kiện
tốt nhất có thể cho nghiên cứu sinh trong suốt thời gian học tập và nghiên cứu để

nghiên cứu sinh có thể hồn thành luận án tiến sĩ một cách tốt nhất. Xin cảm ơn Ban
giám hiệu Trường Đại học Kinh tế Quốc dân, Ban Lãnh đạo Viện Công nghệ thông
tin và Kinh tế số, các thầy cô Bộ môn Công nghệ thông tin - nơi nghiên cứu sinh
công tác và các đồng nghiệp đã luôn quan tâm giúp đỡ, tạo điều kiện tốt nhất để
nghiên cứu sinh có thể hồn thành tốt kế hoạch học tập và nghiên cứu của mình. Lời
cuối, nghiên cứu sinh xin chân thành cảm ơn các thành viên trong gia đình, người
thân, bạn bè đã dành cho nghiên cứu sinh những tình cảm tốt đẹp, ln động viên,
giúp đỡ nghiên cứu sinh vượt qua những khó khăn trong quá trình học tập và nghiên
cứu để đạt được kết quả như ngày hơm nay. Đây cũng là món q tinh thần mà
nghiên cứu sinh trân trọng gửi tặng đến các thành viên trong gia đình và người thân.
Một lần nữa nghiên cứu sinh xin chân thành cảm ơn!


MỤC LỤC
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT ............................................ iv
DANH MỤC CÁC BẢNG....................................................................................... vi
DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ ................................................................ ix
DANH MỤC KÝ HIỆU TOÁN HỌC .................................................................... xi
MỞ ĐẦU .................................................................................................................... 1
Chương 1. TỔNG QUAN VỀ TÓM TẮT VĂN BẢN ......................................... 11
1.1. Giới thiệu về tóm tắt văn bản .............................................................. 11
1.1.1. Giới thiệu bài tốn tóm tắt văn bản .................................................. 11
1.1.2. Phân loại bài tốn tóm tắt văn bản ................................................... 12
1.1.3. Các bước thực hiện trong tóm tắt văn bản ....................................... 13
1.1.4. Một số đặc trưng của văn bản .......................................................... 13
1.2. Một số phương pháp đánh giá văn bản tóm tắt tự động ................... 14
1.2.1. Phương pháp dựa trên độ tương tự về nội dung .............................. 14
1.2.2. Phương pháp dựa trên độ tương quan phù hợp ................................ 14
1.2.3. Phương pháp ROUGE ..................................................................... 15
1.3. Các phương pháp kết hợp văn bản trong tóm tắt đa văn bản ......... 18

1.4. Các phương pháp tóm tắt văn bản hướng trích rút cơ sở ................ 20
1.4.1. PageRank ......................................................................................... 20
1.4.2. TextRank .......................................................................................... 20
1.4.3. LexRank ........................................................................................... 20
1.4.4. Lead-Based ...................................................................................... 21
1.5. Các bộ dữ liệu thử nghiệm .................................................................. 21
1.5.1. Các bộ dữ liệu văn bản tiếng Anh .................................................... 21
1.5.2. Các bộ dữ liệu văn bản tiếng Việt .................................................... 24
1.6. Kết luận chương 1 ................................................................................. 25
Chương 2. CÁC KIẾN THỨC NỀN TẢNG ........................................................ 27
2.1. Các kỹ thuật học sâu cơ sở ................................................................... 27
2.1.1. Mạng Perceptron nhiều lớp .............................................................. 27
2.1.2. Mạng nơ ron tích chập ..................................................................... 28
2.1.3. Mạng nơ ron hồi quy........................................................................ 30
2.1.4. Các biến thể của RNN...................................................................... 31
2.1.5. Mơ hình chuỗi sang chuỗi cơ bản .................................................... 35
2.1.6. Cơ chế chú ý .................................................................................... 36
2.1.7. Cơ chế tự chú ý và mơ hình Transformer ........................................ 39
2.2. Các mơ hình ngơn ngữ dựa trên học sâu được huấn luyện trước .... 42
2.2.1. Mã hóa từ ......................................................................................... 42
i


2.2.2. Phương pháp Word2Vec .................................................................. 42
2.2.3. Mơ hình BERT ................................................................................. 44
2.2.4. Các phiên bản chủ yếu của mơ hình BERT ..................................... 47
2.3. Kỹ thuật học tăng cường Q-Learning ................................................. 49
2.3.1. Học tăng cường Q-Learning ............................................................ 49
2.3.2. Thuật toán học tăng cường Deep Q-Learning ................................. 50
2.4. Tìm kiếm Beam ..................................................................................... 51

2.5. Phương pháp độ liên quan cận biên tối đa ......................................... 51
2.6. Kết luận chương 2 ................................................................................. 53
Chương 3. PHÁT TRIỂN CÁC PHƯƠNG PHÁP TĨM TẮT ĐƠN VĂN BẢN
HƯỚNG TRÍCH RÚT ........................................................................................... 54
3.1. Giới thiệu bài toán và hướng tiếp cận ................................................. 54
3.2. Mơ hình tóm tắt đơn văn bản hướng trích rút
RoPhoBERT_MLP_ESDS ................................................................................. 56
3.2.1. Giới thiệu mơ hình ........................................................................... 56
3.2.2. Mơ hình tóm tắt văn bản đề xuất ..................................................... 56
3.2.3. Thử nghiệm mơ hình ........................................................................ 59
3.2.4. Đánh giá và so sánh kết quả ............................................................. 63
3.3. Mơ hình tóm tắt đơn văn bản hướng trích rút mBERT_CNN_ESDS
.............................................................................................................................. 64
3.3.1. Giới thiệu mơ hình ........................................................................... 64
3.3.2. Mơ hình tóm tắt văn bản đề xuất ..................................................... 64
3.3.3. Thử nghiệm mơ hình ........................................................................ 67
3.3.4. Đánh giá và so sánh kết quả ............................................................. 71
3.4. Mơ hình tóm tắt đơn văn bản hướng trích rút mBERT-Tiny_
seq2seq_DeepQL_ESDS..................................................................................... 71
3.4.1. Giới thiệu mơ hình ........................................................................... 71
3.4.2. Mơ hình tóm tắt văn bản đề xuất ..................................................... 72
3.4.3. Huấn luyện mơ hình với kỹ thuật học tăng cường ........................... 74
3.4.4. Thử nghiệm mơ hình ........................................................................ 75
3.4.5. Đánh giá và so sánh kết quả ............................................................. 78
3.5. So sánh đánh giá ba mơ hình tóm tắt đơn văn bản hướng trích rút
đề xuất.................................................................................................................. 79
3.6. Kết luận chương 3 ................................................................................. 80
Chương 4. PHÁT TRIỂN PHƯƠNG PHÁP TÓM TẮT ĐƠN VĂN BẢN
HƯỚNG TÓM LƯỢC ........................................................................................... 82
4.1. Giới thiệu bài toán và hướng tiếp cận ................................................. 82

4.2. Mơ hình tóm tắt cơ sở ........................................................................... 84
4.2.1. Mơ hình seq2seq của mơ hình ......................................................... 84
ii


4.2.2. Cơ chế chú ý áp dụng trong mơ hình ............................................... 85
4.2.3. Mạng sao chép từ - sinh từ ............................................................... 86
4.2.4. Cơ chế bao phủ ................................................................................ 87
4.3. Mơ hình tóm tắt đơn văn bản hướng tóm lược PG_Feature_ASDS 87
4.3.1. Các đặc trưng đề xuất thêm mới cho mơ hình ................................. 88
4.3.2. Mơ hình tóm tắt đơn văn bản hướng tóm lược đề xuất ................... 89
4.4. Thử nghiệm mơ hình ............................................................................ 89
4.4.1. Các bộ dữ liệu thử nghiệm ............................................................... 89
4.4.2. Tiền xử lý dữ liệu ............................................................................. 90
4.4.3. Thiết kế thử nghiệm ......................................................................... 90
4.5. Đánh giá và so sánh kết quả ................................................................. 91
4.6. Kết luận chương 4 ................................................................................. 93
Chương 5. PHÁT TRIỂN CÁC PHƯƠNG PHÁP TÓM TẮT ĐA VĂN BẢN 94
5.1. Giới thiệu bài tốn tóm tắt đa văn bản và hướng tiếp cận................ 94
5.2. Mơ hình tóm tắt đa văn bản hướng trích rút
Kmeans_Centroid_EMDS ................................................................................. 95
5.2.1. Giới thiệu mơ hình ........................................................................... 95
5.2.2. Các thành phần chính của mơ hình .................................................. 96
5.2.3. Mơ hình tóm tắt đa văn bản đề xuất ............................................... 100
5.2.4. Thử nghiệm mơ hình và kết quả .................................................... 104
5.2.5. So sánh và đánh giá kết quả ........................................................... 107
5.3. Các mơ hình tóm tắt đa văn bản hướng tóm lược dựa trên mơ hình
tóm tắt đơn văn bản được huấn luyện trước ................................................. 110
5.3.1. Đặt vấn đề ...................................................................................... 110
5.3.2. Mô hình tóm tắt đa văn bản hướng tóm lược dựa trên mơ hình tóm

tắt đơn văn bản hướng tóm lược được huấn luyện trước PG_Feature_AMDS
110
5.3.3. Mơ hình tóm tắt đa văn bản hướng tóm lược dựa trên mơ hình tóm
tắt đơn văn bản hỗn hợp được huấn luyện trước Ext_Abs_AMDS-mds-mmr
121
5.4. Kết luận chương 5 ............................................................................... 132
KẾT LUẬN ........................................................................................................... 133
DANH MỤC CÁC CƠNG TRÌNH ĐÃ CƠNG BỐ .......................................... 136
TÀI LIỆU THAM KHẢO.................................................................................... 137
PHỤ LỤC .................................................................................................................. 1
Phụ lục A: Văn bản nguồn của các văn bản tóm tắt ví dụ ......................... 1
Phụ lục B: Biểu đồ phân bố của các bộ dữ liệu thử nghiệm ...................... 3
Phụ lục C: Văn bản nguồn của các mẫu tóm tắt thử nghiệm .................... 9

iii


DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
Từ viết tắt
AMDS
ASDS
Beam
BERT
BERT-Tiny
biGRU
biLSTM
BPTT
CNN
DE
Decoder

DeepQL
EMDS
Encoder
ESDS
GLUE
GRU
ILP
IR
LCS
LDA
LSA
LSTM
mBERT
mds
MLP
MMR
NLP

Tiếng Anh

Ý nghĩa tiếng Việt

Tóm tắt đa văn bản hướng
tóm lược
Tóm tắt đơn văn bản hướng
tóm lược
Thuật tốn tìm kiếm Beam
Mơ hình biểu diễn mã hóa
hai chiều từ Transformer
Mơ hình BERT thu nhỏ

Bidirectional Gated Recurrent Unit
Mạng GRU 2 chiều
Bidirectional Long Short Term Mạng LSTM 2 chiều
Memory
Backpropagation Through Time
Thuật toán lan truyền ngược
liên hồi
Covolutional Neural Network
Mạng nơ ron tích chập
Document Embedding
Mã hóa văn bản
Decoder
Bộ giải mã
Deep Q-Learning
Thuật tốn học tăng cường
dựa trên mạng nơ ron sâu
Extractive
Multi-Document Tóm tắt đa văn bản hướng
Summarization
trích rút
Encoder
Bộ mã hóa
Extractive
Single-Document Tóm tắt đơn văn bản hướng
Summarization
trích rút
General Language Understanding Đánh giá hiểu ngôn ngữ
Evaluation
chung
Gated Recurrent Unit

Mô hình đơn vị hồi quy có
kiểm sốt 1 chiều
Interger Linear Programming
Quy hoạch tuyến tính
ngun
Information Retrieval
Tìm kiếm thơng tin
Longest Common Subsequence
Dãy con chung lớn nhất
Latent Dirichlet Allocation
Mơ hình chủ đề ẩn
Latent Semantic Analysis
Phân tích ngữ nghĩa tiềm ẩn
Long Short Term Memory
Mơ hình mạng bộ nhớ ngắn
hạn dài hạn 1 chiều
BERT multilingual
Mơ hình BERT đa ngơn ngữ
multi-document summaryzation
Tóm tắt đa văn bản
Multi Layer Perceptron
Mạng Perceptron nhiều lớp
Maximal Marginal Relevance
Độ liên quan cận biên tối đa
Natural Language Processing
Xử lý ngôn ngữ tự nhiên
Abstractive
Multi-Document
Summarization
Abstractive

Single-Document
Summarization
Beam Search
Bidirectional Encoder Representation
from Transformers

iv


OOV
PE
PG

Khơng có trong bộ từ vựng
Mã hóa vị trí
Mơ hình mạng Pointer –
Generator
Mơ hình tối ưu của BERT
hỗ trợ cho tiếng Việt
Huấn luyện trước
Học tăng cường
Mạng nơ ron hồi quy
Mô hình tối ưu của BERT
hỗ trợ cho tiếng Anh
for Độ đo Rouge

Out Of Vocabulary
Position Embedding
Pointer – Generator

PhoBERT
PT
RL
RNN
RoBERTa

Pre-trained
Reinforcement Learning
Recurent Neural Network

ROUGE

Recall-Oriented Understudy
Gisting Evaluation
Sentence Embedding
Mã hóa câu
Sequence to sequence
Mơ hình chuỗi sang chuỗi
Stanford Question Answering Dataset Bộ dữ liệu hỏi đáp của
Stanford
Support Vector Machine
Mơ hình máy véc tơ hỗ trợ
Term Frequency – Inverse Document Trọng số của từ (mức độ
Frequency
quan trọng của từ) trong văn
bản của một tập văn bản
Tóm tắt văn bản
warmup
Quá trình huấn luyện ban
đầu (số bước) với tỉ lệ học

nhỏ
Word Embedding
Mã hóa từ

SE
seq2seq
SQuAD
SVM
TF-IDF
TTVB
warmup
WE

v


DANH MỤC CÁC BẢNG
Bảng 1.1. Ví dụ minh họa một văn bản tóm tắt của văn bản tiếng Anh ................... 12
Bảng 1.2. Ví dụ minh họa một văn bản tóm tắt của văn bản tiếng Việt ................... 12
Bảng 1.3. Phương pháp phân chia bộ dữ liệu CNN/Daily Mail .............................. 21
Bảng 1.4. Thống kê các thông tin của hai bộ dữ liệu CNN và Daily Mail............... 22
Bảng 1.5. Thống kê các thơng tin tóm tắt của bộ dữ liệu DUC 2001 và DUC 2002
sử dụng cho tóm tắt đơn văn bản ............................................................................. 22
Bảng 1.6. Thống kê các thơng tin tóm tắt của bộ dữ liệu DUC 2004 ...................... 23
Bảng 1.7. Thống kê các thơng tin tóm tắt của tập dữ liệu Main task của bộ dữ liệu
DUC 2007 ................................................................................................................. 23
Bảng 1.8. Thống kê các thơng tin tóm tắt của bộ dữ liệu Baomoi ........................... 24
Bảng 1.9. Thống kê các thông tin tóm tắt của bộ dữ liệu Corpus_TMV ................. 25
Bảng 1.10. Thống kê các thơng tin tóm tắt của bộ dữ liệu ViMs ............................. 25
Bảng 3.1. Kết quả thử nghiệm một số phương pháp tóm tắt văn bản cơ sở. Ký hiệu

‘*’ thể hiện phương pháp được triển khai thử nghiệm trên các bộ dữ liệu tương ứng
.................................................................................................................................. 60
Bảng 3.2. Giá trị các siêu tham số và thời gian huấn luyện các mơ hình xây dựng 61
Bảng 3.3. Kết quả thử nghiệm của các mơ hình xây dựng. Ký hiệu ‘-’ biểu diễn mơ
hình mà luận án khơng thử nghiệm trên bộ dữ liệu tương ứng ................................ 61
Bảng 3.4. Một mẫu tóm tắt trên bộ dữ liệu CNN ..................................................... 62
Bảng 3.5. Một mẫu tóm tắt trên bộ dữ liệu Baomoi ................................................. 63
Bảng 3.6. So sánh và đánh giá hiệu quả các phương pháp. Ký hiệu ‘*’,‘-’ biểu diễn
các phương pháp được thử nghiệm, không được thử nghiệm trên các bộ dữ liệu
tương ứng.................................................................................................................. 63
Bảng 3.7. Các kết quả thử nghiệm của các mơ hình xây dựng ................................ 69
Bảng 3.8. Kết quả thử nghiệm các phương pháp trên bộ dữ liệu DUC 2001 và DUC
2002. Ký hiệu ‘*’, ‘-’ biểu diễn các phương pháp được thử nghiệm, không được thử
nghiệm trên các bộ dữ liệu tương ứng...................................................................... 69
Bảng 3.9. Một mẫu tóm tắt trên bộ dữ liệu CNN ..................................................... 70
Bảng 3.10. Một mẫu tóm tắt trên bộ dữ liệu Baomoi ............................................... 70
Bảng 3.11. So sáng và đánh giá hiệu quả của các phương pháp. Ký hiệu ‘*’, ‘-’
biểu diễn các phương pháp được thử nghiệm, không được thử nghiệm trên các bộ
dữ liệu tương ứng ..................................................................................................... 71
Bảng 3.12. Bảng giá trị các siêu tham số cài đặt cho mơ hình huấn luyện với kỹ
thuật học tăng cường Deep Q-Learning................................................................... 74
vi


Bảng 3.13. Giá trị các siêu tham số và thời gian huấn luyện các mơ hình xây dựng
.................................................................................................................................. 76
Bảng 3.14. Kết quả thử nghiệm của các mơ hình xây dựng ..................................... 77
Bảng 3.15. Một mẫu tóm tắt trên bộ dữ liệu CNN ................................................... 77
Bảng 3.16. Một mẫu tóm tắt trên bộ dữ liệu Baomoi ............................................... 78
Bảng 3.17. So sánh và đánh giá kết quả các phương pháp ...................................... 78

Bảng 3.18. So sánh đánh giá độ chính xác của 3 mơ hình đề xuất .......................... 79
Bảng 3.19. So sánh đánh giá thời gian thực hiện của 3 mơ hình đề xuất ................ 80
Bảng 4.1. Kết quả thử nghiệm của các mô hình trên bộ dữ liệu CNN/Daily Mail. Ký
hiệu ‘(*)’ là mơ hình của See và cộng sự [43] ......................................................... 91
Bảng 4.2. Kết quả thử nghiệm của các mơ hình trên bộ dữ liệu Baomoi. Ký hiệu
‘(*)’ là mơ hình của See và cộng sự [43] ................................................................. 91
Bảng 4.3. Mẫu tóm tắt gồm bản tóm tắt tham chiếu, bản tóm tắt của mơ hình trong
[43] và bản tóm tắt của mơ hình đề xuất trên bộ dữ liệu CNN/Daily Mail ............. 92
Bảng 4.4. Mẫu tóm tắt gồm bản tóm tắt tham chiếu, bản tóm tắt của mơ hình trong
[43] và bản tóm tắt của mơ hình đề xuất trên bộ dữ liệu Baomoi ........................... 93
Bảng 5.1. Giá trị của các tham số sử dụng khi thử nghiệm các mơ hình. Ký hiệu ‘-‘
biểu diễn mơ hình khơng sử dụng các tham số tương ứng ..................................... 105
Bảng 5.2. Kết quả thử nghiệm các mơ hình xây dựng trên hai bộ dữ liệu ............. 106
Bảng 5.3. Kết quả thử nghiệm các phương pháp tóm tắt trên bộ dữ liệu DUC 2007
................................................................................................................................ 106
Bảng 5.4. So sánh và đánh giá kết quả của các phương pháp. Ký hiệu ‘-’ biểu diễn
các phương pháp không được thử nghiệm trên bộ dữ liệu tương ứng ................... 107
Bảng 5.5. Các mẫu tóm tắt của cụm D0716D trong bộ dữ liệu DUC 2007 của mơ
hình đề xuất và con người ...................................................................................... 109
Bảng 5.6. Các mẫu tóm tắt của cụm Cluster_2 trong bộ dữ liệu Corpus_TMV của
mơ hình đề xuất và con người ................................................................................ 109
Bảng 5.6. Giá trị các siêu tham số và thời gian huấn luyện mơ hình. Warmup là quá
trình huấn luyện ban đầu với tỷ lệ học nhỏ để hiệu chỉnh cơ chế chú ý ................ 118
Bảng 5.7. Kết quả thử nghiệm của các mơ hình tóm tắt đơn văn bản hướng tóm lược
PG_Feature_ASDS trên các bộ dữ liệu CNN và Baomoi ...................................... 118
Bảng 5.8. Kết quả thử nghiệm mơ hình PG_Feature_AMDS trên bộ DUC 2004 và
Corpus_TMV sử dụng mơ hình PG_Feature_ASDS chưa được huấn luyện tiếp trên
bộ DUC 2007 và bộ ViMs tương ứng ..................................................................... 118
Bảng 5.9. Kết quả thử nghiệm mơ hình PG_Feature_AMDS trên bộ DUC 2004 và
Corpus_TMV sử dụng mơ hình PG_Feature_ASDS đã được huấn luyện tiếp trên bộ

DUC 2007 và bộ ViMs tương ứng .......................................................................... 119
Bảng 5.10. Một mẫu thử nghiệm trên bộ dữ liệu DUC 2004 ................................. 119
vii


Bảng 5.11. Một mẫu thử nghiệm trên bộ dữ liệu Corpus_TMV ............................. 120
Bảng 5.12. So sáng và đánh giá kết quả của các phương pháp. Ký hiệu ‘-’ biểu diễn
các phương pháp không được thử nghiệm trên các bộ dữ liệu tương ứng ............ 120
Bảng 5.13. Giá trị các siêu tham số và thời gian huấn luyện các mơ hình ............ 128
Bảng 5.14. Kết quả thử nghiệm của các mô hình tóm tắt đơn văn bản trên các bộ dữ
liệu CNN/Daily Mail và Baomoi ............................................................................ 129
Bảng 5.15. Kết quả thử nghiệm các mơ hình xây dựng trên bộ dữ liệu DUC 2004 và
Corpus_TMV .......................................................................................................... 129
Bảng 5.16. Một mẫu thử nghiệm trên bộ dữ liệu DUC 2004 ................................. 130
Bảng 5.17. Một mẫu thử nghiệm trên bộ dữ liệu Corpus_TMV ............................. 131
Bảng 5.18. So sáng và đánh giá kết quả của các phương pháp. Ký hiệu ‘-’ biểu diễn
các phương pháp không được thử nghiệm trên các bộ dữ liệu tương ứng ............ 131

viii


DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ
Hình 1.1. Các bước thực hiện trong tóm tắt văn bản ................................................ 13
Hình 1.2. Phương pháp xử lý tóm tắt từng đơn văn bản trong tóm tắt đa văn bản .. 19
Hình 2.1. Mơ hình mạng MLP một lớp ẩn và nhiều lớp ẩn [79] .............................. 27
Hình 2.2. Một kiến trúc CNN cho bài tốn phân loại ảnh [84] ................................ 28
Hình 2.3. Tính tốn với phương thức Average Pooling và Max Pooling [82] ......... 29
Hình 2.4. Mơ hình mạng nơ ron hồi quy [87] .......................................................... 30
Hình 2.5. Kiến trúc tổng quan một tế bào nhớ LSTM (nguồn: [Internet]) .............. 31
Hình 2.6. Chi tiết tế bào nhớ LSTM [91] ................................................................. 32

Hình 2.7. Kiến trúc tổng quan của mạng biLSTM [88] ........................................... 33
Hình 2.8. Minh họa biLSTM ở 3 bước (t-1), t và (t+1) [91] .................................... 34
Hình 2.9. Chi tiết tế bào nhớ GRU [89] ................................................................... 35
Hình 2.10. Mơ hình mạng chuỗi sang chuỗi [92] ..................................................... 36
Hình 2.11. Mơ hình minh họa cơ chế chú ý sinh từ mục tiêu yt từ câu nguồn
( x1 , x2 ,....xT ) [93] ...................................................................................................... 37
Hình 2.12. Mơ hình Transformer [97] ...................................................................... 40
Hình 2.13. Scaled Dot-Product Attention và Multi-Head Attention [97] ................ 41
Hình 2.14. Mơ hình CBoW với một từ làm ngữ cảnh để dự đoán từ tiếp theo [101]
.................................................................................................................................. 42
Hình 2.15. Mơ hình CBoW với nhiều từ làm ngữ cảnh để dự đốn từ tiếp theo [101]
.................................................................................................................................. 43
Hình 2.16. Mơ hình Skip-Gram [101] ...................................................................... 43
Hình 2.17. Kiến trúc mơ hình BERT [102] .............................................................. 44
Hình 2.18. Biểu diễn đầu vào của mơ hình BERT [102] ......................................... 45
Hình 2.19. Mơ hình biểu diễn các bước chưng cất được huấn luyện trước của các
mơ hình BERT thu nhỏ [111] ................................................................................... 49
Hình 2.20. Mơ hình học tăng cường ......................................................................... 49
Hình 3.1. Khung xử lý chung cho các mơ hình tóm tắt đơn văn bản hướng trích rút
đề xuất....................................................................................................................... 55
Hình 3.2. Mơ hình tóm tắt đơn văn bản hướng trích rút RoPhoBERT_MLP_ESDS
.................................................................................................................................. 57
Hình 3.3. Kiến trúc mạng MLP đề xuất của mơ hình .............................................. 58
Hình 3.4. Mơ hình tóm tắt văn bản hướng trích rút mBERT_CNN_ESDS ............. 64
ix


Hình 3.5. Kiến trúc lớp Convolution với k-Max Pooling (k = 2) ............................ 66
Hình 3.6. Kiến trúc mơ hình Encoder-Decoder đề xuất ........................................... 66
Hình 3.7. Mơ hình tóm tắt văn bản hướng trích rút mBERTTiny_seq2seq_DeepQL_ESDS ................................................................................ 72

Hình 3.8. Mơ hình huấn luyện với kỹ thuật học tăng cường Deep Q-Learning....... 75
Hình 4.1. Mơ hình tóm tắt đơn văn bản hướng tóm lược cơ sở [128] ..................... 84
Hình 4.2. Mơ hình tóm tắt đơn văn bản hướng tóm lược đề xuất PG_Feature_ASDS
.................................................................................................................................. 89
Hình 5.1. Mơ hình sử dụng thuật tốn phân cụm K-means kết hợp vị trí tương đối
của câu .................................................................................................................... 100
Hình 5.2. Mơ hình sử dụng thuật tốn phân cụm K-means kết hợp vị trí câu ....... 101
Hình 5.3. Mơ hình sử dụng thuật tốn phân cụm K-means kết hợp MMR và vị trí
câu ........................................................................................................................... 102
Hình 5.4. Mơ hình sử dụng thuật toán phân cụm K-means kết hợp Centroid-based,
MMR và vị trí câu .................................................................................................. 103
Hình 5.5. Mơ hình tóm tắt đa văn bản hướng trích rút đề xuất
Kmeans_Centroid_EMDS ...................................................................................... 104
Hình 5.6. Minh họa phương pháp PG-MMR (k=2) [147] ...................................... 113
Hình 5.7. Mơ hình tóm tắt đa văn bản hướng tóm lược đề xuất PG_Feature_AMDS
................................................................................................................................ 114
Hình 5.8. Các giai đoạn huấn luyện mơ hình tóm tắt đa văn bản hướng tóm lược đề
xuất PG_Feature_AMDS........................................................................................ 116
Hình 5.9. Mơ hình tóm tắt đơn văn bản hướng trích rút RoPhoBERT_CNN_ESDS
................................................................................................................................ 122
Hình 5.10. Mơ hình tóm tắt đơn văn bản hướng tóm lược PG_TF-IDF_ASDS .... 123
Hình 5.11. Mơ hình tóm tắt đơn văn bản hỗn hợp Ext_Abs_ASDS ...................... 124
Hình 5.12. Mơ hình tóm tắt đa văn bản hướng tóm lược dựa trên mơ hình pretrained Ext_Abs_ASDS đề xuất (MMR áp dụng trên từng văn bản) ..................... 124
Hình 5.13. Mơ hình tóm tắt đa văn bản hướng tóm lược dựa trên mơ hình pretrained Ext_Abs_ASDS với phương pháp MMR áp dụng trên tập đa văn bản ..... 125
Hình 5.14. Các giai đoạn huấn luyện mơ hình tóm tắt đa văn bản hướng tóm lược đề
xuất Ext_Abs_AMDS-mds-mmr ............................................................................ 126

x

DANH MỤC KÝ HIỆU TOÁN HỌC
Ký hiệu

Ý nghĩa

AT

Ma trận chuyển vị của ma trận A

A-1

Ma trận nghịch đảo của ma trận A

[A; B]

Ghép 2 ma trận A và ma trận B

exp(x)

Hàm ex

f  x

log(x)

Hàm số 1 biến f theo biến x
logarit tự nhiên của số thực dương x
Tập hợp các số thực
Không gian véc tơ n chiều

n

Phần tử thứ i của véc tơ x

xi

Chuẩn (norm) của véc tơ x

x

x

2

[x;y]

Chuẩn cấp 2 của véc tơ x
Ghép 2 véc tơ x và véc tơ y

xi


MỞ ĐẦU
1. Bối cảnh nghiên cứu
Trong kỷ nguyên số và mạng Internet phát triển mạnh mẽ như hiện nay, các tài
nguyên trên internet như các trang web, đánh giá của người dùng, tin tức, blog,
mạng xã hội,... là những nguồn dữ liệu văn bản to lớn. Bên cạnh đó, có một khối
lượng nội dung văn bản phong phú khác trên các kho lưu trữ như các bài báo tin
tức, tiểu thuyết, sách, văn bản pháp luật, tài liệu y sinh, bài báo khoa học,... Các nội
dung văn bản này tăng lên theo cấp số nhân hàng ngày. Do đó, người dùng mất rất

nhiều thời gian để tìm kiếm thơng tin mà mình mong muốn. Kết quả là người dùng
thậm chí không thể đọc và hiểu hết được tất cả nội dung văn bản kết quả tìm kiếm.
Có nhiều thơng tin bị lặp lại hoặc không quan trọng trong các văn bản kết quả tìm
kiếm. Do đó, việc tóm tắt và cô đọng các nguồn văn bản trở nên cấp thiết và quan
trọng hơn rất nhiều. Tóm tắt văn bản thủ công là một nhiệm vụ tốn kém và tiêu tốn
nhiều thời gian và công sức của con người. Trên thực tế, con người cũng rất khó
tóm tắt thủ cơng với lượng dữ liệu văn bản khổng lồ này [1]. Để giải quyết các vấn
đề này, các phương pháp tóm tắt văn bản tự động được quan tâm nghiên cứu để
phát triển các hệ thống tóm tắt văn bản tự động.
Mục tiêu chính của các hệ thống tóm tắt văn bản tự động là tạo ra bản tóm tắt bao
gồm các ý chính của một văn bản hoặc nhiều văn bản đầu vào và thơng tin lặp lại ít
nhất [2,3]. Các hệ thống tóm tắt văn bản tự động sinh ra các bản tóm tắt giúp người
dùng nắm được những điểm chính của văn bản gốc mà khơng cần phải đọc toàn bộ
văn bản. Người dùng sẽ được hưởng lợi từ các bản tóm tắt được sinh ra tự động, tiết
kiệm được nhiều thời gian và cơng sức.
Các hệ thống tóm tắt văn bản tự động hiện nay có thể được chia thành hai loại là
tóm tắt đơn văn bản và tóm tắt đa văn bản. Tóm tắt đơn văn bản sinh ra bản tóm tắt
từ một văn bản đầu vào, trong khi tóm tắt đa văn bản sinh ra bản tóm tắt từ một tập
các văn bản đầu vào. Các hệ thống tóm tắt văn bản tự động này được phát triển
bằng việc áp dụng một trong các phương pháp tiếp cận chủ yếu là tóm tắt văn bản
hướng trích rút và tóm tắt văn bản hướng tóm lược.
 Tóm tắt văn bản hướng trích rút: Là phương pháp lựa chọn những câu quan
trọng nhất trong một văn bản nguồn (hoặc một tập văn bản nguồn) và sử dụng các
câu này để sinh bản tóm tắt. Phương pháp này bao gồm các nhiệm vụ xử lý chính
như: Tạo một biểu diễn thích hợp cho văn bản đầu vào, cho điểm các câu, trích rút
các câu có điểm cao. Các hệ thống tóm tắt văn bản hướng trích rút có thể chia thành
các phương pháp chủ yếu sau:
 Phương pháp dựa trên thống kê: Trích rút các câu và các từ quan trọng từ văn
bản nguồn dựa trên phân tích thống kê của tập các đặc trưng. Các hệ thống dựa trên
phương pháp thống kê [4,5] thực hiện cho điểm câu bằng cách chọn và tính tốn

một số đặc trưng thống kê, sau đó gán các trọng số cho chúng và gán điểm cuối
cùng cho mỗi câu trong văn bản được xác định bởi biểu thức trọng số - đặc trưng
(nghĩa là tất cả điểm của các đặc trưng đã chọn được tính tốn và tính tổng để thu

1


được điểm của mỗi câu). Bên cạnh đó, hệ thống Lead [6] chọn các câu đưa vào bản
tóm tắt dựa vào trình tự thời gian đã cho kết quả khá cao.
 Phương pháp dựa trên khái niệm: Trích xuất các khái niệm từ một đoạn văn
bản từ các cơ sở tri thức bên ngồi như WordNet [7], Wikipedia,... Sau đó, độ quan
trọng của các câu được xác định dựa trên các khái niệm được lấy từ cơ sở tri thức
bên ngồi thay vì các từ. Các hệ thống này thực hiện cho điểm các câu bằng cách
trích xuất các khái niệm của một văn bản từ cơ sở tri thức bên ngồi, xây dựng một
véc tơ khái niệm hoặc mơ hình đồ thị để chỉ ra mối quan hệ giữa khái niệm và câu
rồi áp dụng một thuật toán xếp hạng để cho điểm các câu như trong [8].
 Phương pháp dựa trên chủ đề: Phương pháp này dựa vào việc xác định chủ đề
chính của văn bản. Có một số phương pháp biểu diễn chủ đề phổ biến là phương
pháp dựa trên từ chủ đề, tần suất xuất hiện của từ (TF), trọng số thể hiện mức độ
quan trọng của từ (TF-IDF), chuỗi từ vựng [9,10]. Các bước xử lý chung của các hệ
thống tóm tắt trích rút dựa trên chủ đề bao gồm chuyển đổi văn bản đầu vào thành
một biểu diễn trung gian, nắm bắt các chủ đề đã đề cập trong văn bản đầu vào và
gán điểm mức độ quan trọng cho mỗi câu trong văn bản đầu vào theo biểu diễn của
nó.
 Phương pháp dựa trên trọng tâm hay phân cụm câu: Trong phương pháp này,
hệ thống tóm tắt trích rút đa văn bản xác định các câu trọng tâm và quan trọng nhất
trong một cụm sao cho chúng chứa các thông tin quan trọng liên quan đến cụm chủ
đề chính [11,12,13]. Trọng tâm của câu được xác định bằng cách sử dụng trọng tâm
của các từ. Cách phổ biến để xác định trọng tâm của từ là tìm tâm của cụm văn bản
trong khơng gian véc tơ. Trọng tâm của một cụm bao gồm các từ có điểm trọng số

TF-IDF lớn hơn một giá trị ngưỡng xác định trước.
 Phương pháp dựa trên đồ thị: Phương pháp này sử dụng đồ thị dựa trên câu để
biểu diễn một văn bản hoặc cụm văn bản. Phương pháp biểu diễn này đã được sử
dụng phổ biến cho các hệ thống tóm tắt trích rút như: LexRank [11], TextRank [14].
Trong hệ thống LexRank [11], các câu được cho điểm bằng cách biểu diễn các câu
của văn bản sử dụng một đồ thị vô hướng sao cho mỗi nút trong đồ thị biểu diễn
một câu từ văn bản đầu vào, trọng số của cạnh kết nối là độ tương tự ngữ nghĩa giữa
hai câu tương ứng (sử dụng độ tương tự cosine) và sử dụng một thuật toán xếp hạng
để xác định độ quan trọng của từng câu. Các câu được xếp hạng dựa trên điểm
LexRank giống như thuật toán PageRank [15] chỉ khác là đồ thị LexRank là đồ thị
vô hướng.
 Phương pháp dựa trên ngữ nghĩa: Phân tích ngữ nghĩa tiềm ẩn (LSA - Latent
Semantic Analysis) là kỹ thuật học không giám sát biểu diễn ngữ nghĩa của văn bản
dựa trên sự đồng xuất hiện của các từ được quan sát. Các bước cho điểm câu của
các hệ thống tóm tắt trích rút dựa trên LSA [16,17] bao gồm: tạo ma trận đầu vào
(ma trận từ - câu) và áp dụng phương pháp phân tích giá trị suy biến (SVD Singular Value Decomposition) cho ma trận đầu vào để xác định mối quan hệ giữa
các từ và các câu.
 Phương pháp dựa trên học máy: Phương pháp này chuyển bài tốn tóm tắt văn
bản thành bài tốn phân loại văn bản có giám sát. Hệ thống học bởi các mẫu học để
phân loại một câu của văn bản đánh giá thuộc về lớp “được chọn” hoặc lớp “không
được chọn” sử dụng một tập các văn bản huấn luyện (tập các văn bản và các bản
tóm tắt tham chiếu tương ứng do con người tạo ra). Trong các hệ thống tóm tắt dựa
2


trên học máy [18,19,20], các bước thực hiện cho điểm câu bao gồm: trích xuất các
đặc trưng từ văn bản đã tiền xử lý và đưa các đặc trưng đã trích xuất vào một mạng
nơ ron để nhận được điểm đầu ra.
 Phương pháp dựa trên học sâu: Trong [21], Kobayashi và cộng sự đề xuất một
hệ thống tóm tắt sử dụng độ tương tự mức văn bản dựa trên các mã hóa từ (nghĩa là

các biểu diễn phân bố của từ). Mã hóa của một từ biểu diễn ý nghĩa của nó. Một văn
bản được coi như một “túi câu” và một câu được coi như một “túi từ”. Nhiệm vụ
được cụ thể hóa như bài tốn tối đa hóa một hàm được xác định bởi tổng âm của các
khoảng cách lân cận gần nhất trên các phân bố mã hóa (tức là một tập các mã hóa từ
trong một văn bản). Kobayashi và cộng sự chỉ ra rằng độ tương tự mức văn bản có
thể xác định những nghĩa phức tạp hơn độ tương tự mức câu. Chen và Nguyen [22]
đã đề xuất một hệ thống tóm tắt văn bản tự động sử dụng kỹ thuật học tăng cường
và mơ hình chuỗi sang chuỗi với kiến trúc bộ mã hóa - giải mã sử dụng mạng nơ
ron hồi quy. Các đặc trưng quan trọng được chọn bằng kỹ thuật mã hóa mức câu
sau đó các câu tóm tắt được trích rút. Bên cạnh đó, phải kể đến một số hệ thống như
[23,24,25,26,27], các hệ thống này đã sử dụng các kỹ thuật học sâu hiệu quả để tạo
bản tóm tắt cuối cùng.
Các hệ thống tóm tắt hướng trích rút này có ưu điểm là thực thi đơn giản, nhanh
và cho độ chính xác cao vì phương pháp này thực hiện trích rút trực tiếp các câu để
người đọc có thể đọc bản tóm tắt với các thuật ngữ chính xác có trong văn bản gốc.
Tuy nhiên, phương pháp cận này có những hạn chế cần cần quan tâm như: Vấn đề
dư thừa thông tin trong một số câu tóm tắt, các câu được trích rút có thể dài hơn
mức trung bình, vấn đề xung đột về thời gian trong bài tốn tóm tắt đa văn bản vì
các bản tóm tắt trích rút được chọn từ nhiều văn bản đầu vào khác nhau, thiếu ngữ
nghĩa và tính liên kết trong các câu tóm tắt vì liên kết khơng chính xác giữa các câu.
 Tóm tắt văn bản hướng tóm lược: Phương pháp tiếp cận này biểu diễn văn bản
đầu vào ở dạng trung gian, sau đó sinh bản tóm tắt với các từ và câu khác với các
câu trong văn bản nguồn [28]. Các hệ thống tóm tắt hướng tóm lược sinh ra bản tóm
tắt bằng cách hiểu các khái niệm chính trong văn bản đầu vào sử dụng các phương
pháp xử lý ngơn ngữ tự nhiên, sau đó diễn giải văn bản để diễn đạt các khái niệm đó
với số từ ít hơn và sử dụng ngơn ngữ rõ ràng [29,30]. Một hệ thống tóm tắt tóm
lược có thể bao gồm các nhiệm vụ xử lý chính sau: Biểu diễn ngữ nghĩa văn bản và
sử dụng các kỹ thuật sinh ngơn ngữ tự nhiên để sinh bản tóm tắt gần với các bản
tóm tắt của con người tạo ra [31]. Các nghiên cứu theo phương pháp tiếp cận này có
thể chia thành các loại chính sau:

 Phương pháp dựa trên cấu trúc: Phương pháp này sử dụng cấu trúc được xác
định trước như đồ thị, cây, luật, mẫu,… để phát triển hệ thống tóm tắt tóm lược. Các
hệ thống tóm tắt tóm lược sử dụng cấu trúc đồ thị được đề xuất như [32,33,34,35],
trong các hệ thống này mỗi nút biểu diễn cho một từ và thông tin vị trí được liên kết
với các nút. Các cung có hướng biểu diễn cấu trúc của câu. Các hệ thống dựa trên
cấu trúc cây xác định các câu tương tự nhau, sau đó dựa trên các câu này để sinh
bản tóm tắt tóm lược. Các câu được biểu diễn thành một cấu trúc giống như cấu trúc
cây, sử dụng bộ phân tích cú pháp để xây dựng cây phụ thuộc là các biểu diễn dạng
cây sử dụng nhiều cho văn bản. Sau đó, một số nhiệm vụ được thực hiện để xử lý
cây như tỉa cây, chuyển đổi cây thành dạng chuỗi,... để sinh bản tóm tắt cuối cùng.
Kurisinkel và cộng sự [36] đề xuất một hệ thống tóm tắt đa văn bản tóm lược dựa
3


trên phân tích cú pháp văn bản đầu vào để xây dựng một tập gồm tất cả các cây phụ
thuộc cú pháp. Trong khi đó, hệ thống dựa trên luật [37] yêu cầu xác định các luật
để phát hiện các khái niệm quan trọng trong văn bản đầu vào, sau đó sử dụng các
khái niệm này để sinh ra bản tóm tắt.
 Phương pháp dựa trên ngữ nghĩa: Biểu diễn văn bản đầu vào bằng các biểu
diễn ngữ nghĩa như các mục thông tin, đồ thị ngữ nghĩa,..v...v..., rồi cung cấp các
biểu diễn ngữ nghĩa này cho hệ thống sinh ngôn ngữ tự nhiên sử dụng các danh từ
và động từ để sinh ra bản tóm tắt tóm lược cuối cùng [38].
 Phương pháp dựa trên học sâu: Mơ hình seq2seq đã tạo ra các mơ hình tóm tắt
hướng tóm lược hiệu quả trong tóm tắt văn bản [39]. Mơ hình với bộ mã hóa - giải
mã sử dụng mạng nơ ron hồi quy với cơ chế chú ý (attention) đã đạt được kết quả
cao cho tóm tắt văn bản ngắn. Tuy nhiên, các phương pháp học sâu gặp phải một số
vấn đề như: các từ hoặc cụm từ sinh ra bị lặp lại và không xử lý được vấn đề thiếu
từ trong bộ từ vựng. Một số nghiên cứu khác cũng đã sử dụng kỹ thuật học sâu kết
hợp với các kỹ thuật khác để tạo ra các hệ thống tóm tắt tóm lược hiệu quả như
[40,41,42,43].

Ưu điểm của các phương pháp tóm tắt hướng tóm lược là sinh ra các bản tóm tắt
tốt hơn với các từ có thể khơng có trong văn bản gốc bằng cách sử dụng các biểu
diễn dựa trên diễn giải, nén. Bản tóm tắt được sinh ra gần với bản tóm tắt thủ cơng
của con người hơn, có thể ngắn hơn so với các phương pháp trích rút vì câu sinh ra
đã giảm được các thông tin dư thừa. Tuy nhiên, trong thực tế, việc sinh một bản tóm
tắt tóm lược có chất lượng tốt là rất khó khăn. Các hệ thống tóm tắt tóm lược có
chất lượng tốt rất khó phát triển vì các hệ thống này yêu cầu sử dụng kỹ thuật sinh
ngôn ngữ tự nhiên mà kỹ thuật này vẫn là một lĩnh vực đang được nghiên cứu phát
triển hiện nay. Hầu hết các bản tóm tắt tóm lược đều gặp phải vấn đề lặp từ và
không xử lý được vấn đề thiếu từ trong bộ từ vựng một cách thích hợp.
Ngồi ra, một phương pháp tiếp cận khác là tóm tắt văn bản dựa trên kỹ thuật
nén câu [44,45] cũng đã đạt được những kết quả nhất định. Phương pháp tiếp cận
này thực hiện liên kết các câu được rút gọn để tạo ra một văn bản tóm tắt ngắn hơn,
ngữ pháp chấp nhận được, đảm bảo được mức độ mạch lạc về nội dung và ý nghĩa
của văn bản nguồn. Các phương pháp nén câu thường sử dụng các kỹ thuật học có
giám sát, bộ từ vựng phù hợp, phân tích ngơn ngữ dựa trên cây cú pháp [46,47] và
kỹ thuật học không giám sát như [45,48]. Các nghiên cứu về kỹ thuật nén câu cũng
cho thấy vai trị của phương pháp tiếp cận này trong tóm tắt văn bản. Tuy nhiên, các
phương pháp nén câu yêu cầu chi phí xây dựng kho dữ liệu huấn luyện lớn, các bộ
dữ liệu liên quan đến bộ từ vựng phù hợp được thực thi bởi chuyên gia ngôn ngữ
trong thời gian dài và độ phức tạp tính tốn cao nên các mơ hình tóm tắt văn bản sử
dụng các kỹ thuật nén câu thường yêu cầu chi phí cao. Bên cạnh đó, chất lượng của
bản tóm tắt tạo ra phụ thuộc rất nhiều vào chất lượng của các kỹ thuật nén câu được
sử dụng.
Đối với tiếng Việt, do tính phức tạp và đặc thù riêng của ngôn ngữ nên các
nghiên cứu về tóm tắt văn bản tiếng Việt cịn hạn chế. Hầu hết các nghiên cứu là
các đề tài tốt nghiệp đại học, luận văn thạc sĩ, tiến sĩ và đề tài nghiên cứu khoa học
cấp trường, cấp bộ [49,50,51]. Các nghiên cứu được cơng bố dưới hình thức các bài
báo khoa học cho tóm tắt văn bản tiếng Việt cịn ít [52,53,54,55,56]. Các nghiên
cứu này phần lớn dựa trên hướng trích rút cho bài tốn tóm tắt đơn văn bản và chủ

4


yếu dựa vào các đặc trưng của câu như tần suất từ, vị trí câu, từ tiêu đề, độ tương
tự,... để chọn ra các câu quan trọng theo tỉ lệ trích rút nên chất lượng văn bản tóm
tắt chưa cao, có thể kể đến như: tóm tắt văn bản tiếng Việt sử dụng cấu trúc diễn
ngơn [52], tóm tắt văn bản sử dụng các phương pháp truyền thống [53], sử dụng
giải thuật di truyền để tóm tắt văn bản [54], trích rút câu sử dụng phương pháp máy
véc tơ hỗ trợ để đưa vào bản tóm tắt [56]. Mơ hình seq2seq kết hợp với cơ chế chú
ý để thực hiện tóm tắt văn bản như trong [57]. Bên cạnh đó, do chưa có các kho ngữ
liệu đủ lớn được cơng bố chính thức phục vụ cho tóm tắt văn bản tiếng Việt nên hầu
hết các thử nghiệm đều dựa trên các kho ngữ liệu tự xây dựng nên việc đánh giá kết
quả của các nghiên cứu cũng cần được xem xét kỹ lưỡng.
Như vậy, có thể nhận thấy các hệ thống tóm tắt văn bản tự động cịn nhiều hạn
chế, chính những hạn chế này làm phát sinh những thách thức cần giải quyết đồng
thời mở ra các hướng nghiên cứu mới cho bài tốn tóm tắt văn bản, đó là:
 Thách thức liên quan đến tóm tắt đa văn bản: Tóm tắt đa văn bản là bài tốn
phức tạp với nhiều vấn đề cần giải quyết như dư thừa thơng tin, trình tự thời gian và
sắp xếp lại các câu.
 Thách thức liên quan đến các ngôn ngữ được hỗ trợ tóm tắt: Hầu hết các hệ
thống tóm tắt văn bản tự động đều tập trung vào tóm tắt văn bản tiếng Anh. Đối với
các ngôn ngữ khác, các nghiên cứu còn hạn chế và chất lượng của các hệ thống tóm
tắt văn bản tự động hiện có cũng cần được cải thiện. Do đó, cần phải phát triển và
cải tiến các hệ thống tóm tắt cho các ngơn ngữ không phải tiếng Anh.
 Thách thức liên quan đến phương pháp tóm tắt văn bản: Hầu hết các nghiên
cứu hiện nay đều tập trung vào phương pháp tóm tắt hướng trích rút, do đó cần
nghiên cứu đề xuất và cải thiện các hệ thống tóm tắt dựa trên phương pháp tóm tắt
hướng tóm lược và phương pháp tóm tắt hỗn hợp.
 Thách thức liên quan đến các đặc trưng thống kê và ngôn ngữ: Cần phát hiện
thêm mới các đặc trưng thống kê và ngôn ngữ cho các từ, các câu cho các hệ thống

để có thể trích xuất ngữ nghĩa các câu chính từ văn bản nguồn. Bên cạnh đó, vấn đề
xử lý trọng số thích hợp cho các đặc trưng mới này cũng là một vấn đề quan trọng
quyết định chất lượng của bản tóm tắt cuối cùng.
 Thách thức liên quan đến việc sử dụng các kỹ thuật học sâu và vấn đề thiếu dữ
liệu thử nghiệm cho các mơ hình: Do các mơ hình học sâu thường có kiến trúc phức
tạp, khối lượng xử lý tính tốn lớn nên các hệ thống tóm tắt cũng địi hỏi tài ngun
lớn để thực thi. Bên cạnh đó, các mơ hình học sâu u cầu lượng dữ liệu huấn luyện
lớn để đảm bảo chất lượng của bản tóm tắt đầu ra nhưng thực tế hiện nay các dữ
liệu này khan hiếm (hoặc nếu có thì cũng khơng đủ lớn) để huấn luyện các mơ hình.
Đây là một thách thức nghiên cứu quan trọng khi xây dựng các hệ thống tóm tắt văn
bản tự động sử dụng các kỹ thuật hiện đại với một lượng dữ liệu huấn luyện nhỏ.
 Thách thức liên quan đến chất lượng của bản tóm tắt sinh ra: Bản tóm tắt cần
đạt được sự cân bằng giữa khả năng đọc, tỷ lệ nén và chất lượng tóm tắt tốt. Các hệ
thống tóm tắt văn bản tự động hiện tại rất khó đạt được tỷ lệ nén cao để tóm tắt các
văn bản dài như tiểu thuyết, sách,… nên cần phải cải thiện chất lượng bản tóm tắt
về ngữ nghĩa do các từ khơng rõ nghĩa, từ đồng nghĩa hoặc từ nhiều nghĩa gây ra.
 Thách thức liên quan đến phương pháp đánh giá bản tóm tắt tạo ra: Đánh giá
bản tóm tắt (tự động hoặc thủ cơng) là một nhiệm vụ khó khăn, đó là khó khăn
trong việc xác định và sử dụng một độ đo tiêu chuẩn có độ tin cậy cao để đánh giá
5


các bản tóm tắt được sinh ra từ hệ thống tóm tắt văn bản tự động có đủ tốt hay
khơng và rất khó khăn để tìm ra một bản tóm tắt lý tưởng vì hệ thống tóm tắt văn
bản tự động có thể tạo ra các bản tóm tắt tốt khác với các bản tóm tắt do con người
tạo ra. Con người và hệ thống có thể chọn các câu khác nhau cho các bản tóm tắt
trích rút và có thể diễn giải các bản tóm tắt tóm lược theo một cách hoàn toàn khác
nên các phương pháp đánh giá thủ cơng khơng phù hợp với các loại tóm tắt. Do đó,
cần có các phương pháp đánh giá tự động các bản tóm tắt do các hệ thống tóm tắt
sinh ra.

Hầu hết các nghiên cứu đã cố gắng phát triển mới và cải tiến các phương pháp
tóm tắt văn bản hiện có nhằm tạo ra các hệ thống tóm tắt văn bản hiệu quả. Các
phương pháp tóm tắt văn bản này thường là trích rút hoặc tóm lược áp dụng cho
tóm tắt đơn văn bản và tóm tắt đa văn bản. Do đó, việc nghiên cứu, phát triển các
mơ hình tóm tắt văn bản hiệu quả là rất cần thiết và có ý nghĩa to lớn.

2. Động lực thúc đẩy
Từ bối cảnh nghiên cứu đã phân tích trên, nghiên cứu sinh nhận thấy bài tốn
tóm tắt văn bản tự động đóng một vai trị quan trọng trong xử lý ngơn ngữ tự nhiên
cũng như khai phá dữ liệu văn bản và đặt ra nhiều thách thức cho việc phát triển các
phương pháp tóm tắt văn bản hiệu quả. Mặc dù, hàng năm các nhà nghiên cứu đã đề
xuất phát triển được một số giải pháp mới hoặc cải tiến các giải pháp hiện có để
nâng cao hiệu quả và độ chính xác cho các mơ hình tóm tắt văn bản nhưng các bản
tóm tắt được sinh ra của các mơ hình vẫn khác xa so với các bản tóm tắt do con
người tạo ra. Một trong các nguyên nhân đó là dữ liệu thử nghiệm cho các mơ hình
tóm tắt của bài tốn tóm tắt văn bản. Vấn đề thiếu dữ liệu hay dữ liệu bị nhiễu làm
cho hiệu quả tóm tắt của các mơ hình tóm tắt chưa cao. Bên cạnh đó, vấn đề biểu
diễn dữ liệu văn bản đầu vào cũng đóng vai trị quan trọng quyết định hiệu quả của
các mơ hình tóm tắt. Một lý do khác có vai trị quan trọng khơng kém là phần lớn
các nghiên cứu về tóm tắt văn bản hiện nay được thực hiện cho tóm tắt văn bản
tiếng Anh, các nghiên cứu về bài tốn tóm tắt văn bản tiếng Việt cịn khiêm tốn. Do
đó, việc nghiên cứu phát triển các mơ hình tóm tắt văn bản hiệu quả áp dụng cho
tóm tắt văn bản tiếng Anh và tiếng Việt càng có ý nghĩa to lớn, nhất là trong bối
cảnh các kỹ thuật học máy, các mơ hình học sâu và các kỹ thuật hiện đại khác đang
được phát triển mạnh như hiện nay.
Chính vì những lý do đó, đề tài “Nghiên cứu, phát triển một số phương pháp
tóm tắt văn bản sử dụng kĩ thuật học sâu” được đặt ra hết sức cấp thiết và có tính
ứng dụng cao trong thực tiễn.

3. Đối tượng và phạm vi nghiên cứu

 Đối tượng nghiên cứu:
 Các đặc trưng của văn bản.
 Các bộ dữ liệu thử nghiệm cho tóm tắt đơn văn bản, tóm tắt đa văn bản tiếng
Anh và tiếng Việt.
 Các mơ hình tóm tắt đơn văn bản, tóm tắt đa văn bản tiếng Anh và tiếng Việt.

6


 Các kỹ thuật áp dụng trong tóm tắt văn bản như: Các phương pháp véc tơ hóa
văn bản, các kỹ thuật học máy, học sâu, các mơ hình được huấn luyện trước,
cơ chế chú ý, kỹ thuật tìm kiếm, phương pháp loại bỏ thông tin trùng lặp.
 Các phương pháp đánh giá độ chính xác của văn bản tóm tắt.
 Phạm vi nghiên cứu:
 Đề xuất các mơ hình tóm tắt đơn văn bản hướng trích rút.
 Đề xuất mơ hình tóm tắt đơn văn bản hướng tóm lược.
 Đề xuất các mơ hình tóm tắt đa văn bản hướng trích rút.
 Đề xuất các mơ hình tóm tắt đa văn bản hướng tóm lược.
Các mơ hình tóm tắt văn bản đề xuất này đều được áp dụng cho tóm tắt văn bản
tiếng Anh và tiếng Việt.

4. Mục tiêu nghiên cứu
Luận án nghiên cứu đề xuất các mơ hình tóm tắt đơn văn bản, tóm tắt đa văn bản
cho tóm tắt văn bản tiếng Anh và tiếng Việt. Cụ thể:
 Nghiên cứu đề xuất các đặc trưng quan trọng sử dụng cho các mơ hình tóm tắt
văn bản.
 Nghiên cứu các kỹ thuật học máy, học sâu, các mô hình được huấn luyện
trước để véc tơ hóa văn bản cho các mơ hình tóm tắt văn bản.
 Đề xuất các mơ hình tóm tắt đơn văn bản hướng trích rút, hướng tóm lược áp
dụng tóm tắt cho tóm tắt văn bản tiếng Anh và tiếng Việt.

 Đề xuất mô hình tóm tắt đa văn bản hướng trích rút cho tóm tắt văn bản tiếng
Anh và tiếng Việt.
 Đề xuất các mơ hình tóm tắt đa văn bản hướng tóm lược cho tóm tắt văn bản
tiếng Anh và tiếng Việt sử dụng các mơ hình tóm tắt đơn văn bản được huấn luyện
trước.

5. Phương pháp nghiên cứu
 Thu thập, chuẩn bị dữ liệu thử nghiệm cho các mơ hình tóm tắt văn bản tiếng
Anh và tiếng Việt.
 Nghiên cứu các hướng tiếp cận tóm tắt văn bản tiếng Anh và tiếng Việt liên
quan, trong đó tập trung vào các hướng tiếp cận hiện đại.
 Phân tích ưu điểm, nhược điểm của các phương pháp tóm tắt hiện tại để đề
xuất các mơ hình tóm tắt văn bản tiếng Anh và tiếng Việt hiệu quả.
 Nghiên cứu lựa chọn phương pháp đánh giá hiệu quả của các mơ hình tóm tắt
văn bản.
 Cài đặt thử nghiệm một số phương pháp tóm tắt văn bản hiện có, các mơ hình
tóm tắt đề xuất trên các bộ dữ liệu thử nghiệm.
 Đánh giá và so sánh kết quả thử nghiệm của các mô hình để đề xuất các mơ
hình tóm tắt hiệu quả.

6. Nội dung nghiên cứu

7


 Nghiên cứu các kỹ thuật học máy, học sâu sử dụng để phát triển các mơ hình
tóm tắt văn bản.
 Nghiên cứu đề xuất thêm mới các đặc trưng quan trọng của văn bản cho mơ
hình tóm tắt văn bản.
 Nghiên cứu đề xuất các mơ hình tóm tắt đơn văn bản hướng trích rút, hướng

tóm lược hiệu quả cho tóm tắt văn bản tiếng Anh và tiếng Việt.
 Nghiên cứu đề xuất các mơ hình tóm tắt đa văn bản hướng trích rút, hướng
tóm lược hiệu quả cho tóm tắt văn bản tiếng Anh và tiếng Việt.

7. Ý nghĩa khoa học và ý nghĩa thực tiễn
 Ý nghĩa khoa học: Nghiên cứu chuyên sâu về các kỹ thuật học máy, học sâu,
các đặc trưng của văn bản để đề xuất phát triển các mơ hình tóm tắt văn bản hiệu
quả cho tiếng Anh và tiếng Việt.
 Ý nghĩa thực tiễn: Đề xuất các đặc trưng quan trọng của văn bản sử dụng cho
các mơ hình tóm tắt văn bản. Đề xuất các mơ hình tóm tắt văn bản hiệu quả cho tóm
tắt văn bản tiếng Anh và tiếng Việt. Các mơ hình đề xuất mới có thể sử dụng để xây
dựng các hệ thống phần mềm tóm tắt hiệu quả đáp ứng tốt các yêu cầu trong thực
tiễn. Ngồi ra, hướng tiếp cận tinh chỉnh mơ hình tóm tắt đơn văn bản được huấn
luyện trước bằng việc huấn luyện tiếp mơ hình tóm tắt đơn văn bản trên các bộ dữ
liệu thử nghiệm của tóm tắt đa văn bản do nghiên cứu sinh đề xuất có thể mở ra một
hướng mới để phát triển các mơ hình tóm tắt đa văn bản hiệu quả trong điều kiện
thiếu dữ liệu thử nghiệm.

8. Những đóng góp chính của luận án
Với mục tiêu đặt ra, luận án đã đạt được một số kết quả đóng góp vào việc
nghiên cứu phát triển mở rộng các hệ thống tóm tắt văn bản cho ngơn ngữ tiếng
Anh và tiếng Việt. Các kết quả chính có thể khái qt là:
 Đề xuất ba mơ hình tóm tắt đơn văn bản hướng trích rút, đó là
RoPhoBERT_MLP_ESDS,
mBERT_CNN_ESDS
và
mBERTTiny_seq2seq_DeepQL_ESDS. Mơ hình RoPhoBERT_MLP_ESDS sử dụng các mơ
hình tối ưu của mơ hình biểu diễn mã hóa hai chiều từ Transformer (BERT Bidirectional Encoder Representation from Transformers) được huấn luyện trước để
véc tơ hóa văn bản, mơ hình phân loại với mạng Perceptron nhiều lớp (MLP - Multi
Layer Perceptron), kết hợp với đặc trưng vị trí câu và phương pháp độ liên quan cận

biên tối đa (MMR - Maximal Marginal Relevance) để loại bỏ thông tin trùng lặp và
lựa chọn câu đưa vào bản tóm tắt. Mơ hình mBERT_CNN_ESDS sử dụng mơ hình
BERT đa ngơn ngữ, mạng nơ ron tích chập, mơ hình chuỗi sang chuỗi (seq2seq),
lớp mạng nơ ron kết nối đầy đủ (FC - Fully Connected) kết hợp đặc trưng trọng số
của từ TF-IDF và phương pháp MMR để lựa chọn câu đưa vào bản tóm tắt. Mơ
hình mBERT-Tiny_seq2seq_DeepQL_ESDS sử dụng mơ hình BERT thu nhỏ, BERT
đa ngơn ngữ để véc tơ hóa văn bản đầu vào, mạng CNN, seq2seq, lớp FC, kết hợp
kỹ thuật học tăng cường và phương pháp MMR để lựa chọn câu đưa vào bản tóm
tắt.

8


 Đề xuất một mơ hình tóm tắt đơn văn bản hướng tóm lược
PG_Feature_ASDS. Mơ hình này sử dụng các kỹ thuật học sâu, cơ chế chú ý, kỹ
thuật loại bỏ thông tin trùng lặp, kết hợp các đặc trưng tần suất xuất hiện của từ, vị
trí câu trong văn bản để sinh bản tóm tắt tóm lược.
 Đề xuất một mơ hình tóm tắt đa văn bản hướng trích rút
Kmeans_Centroid_EMDS. Mơ hình này thực hiện phân cụm tập văn bản sử dụng
các kỹ thuật học máy là phân cụm K-means, phương pháp dựa trên trung tâm
(Centroid-based), MMR và đặc trưng vị trí câu để tạo văn bản tóm tắt cho tập đa
văn bản.
 Đề xuất hai mơ hình tóm tắt đa văn bản hướng tóm lược, đó là
PG_Feature_AMDS và Ext_Abs_AMDS-mds-mmr. Mơ hình PG_Feature_AMDS sử
dụng mơ hình tóm tắt đơn văn bản hướng tóm lược PG_Feature_ASDS đã đề xuất
là mơ hình được huấn luyện trước, mơ hình PG_Feature_ASDS được tinh chỉnh
bằng việc huấn luyện tiếp trên các bộ dữ liệu thử nghiệm tóm tắt đa văn bản tương
ứng. Mơ hình Ext_Abs_AMDS-mds-mmr sử dụng mơ hình hỗn hợp được huấn luyện
trước được xây dựng dựa trên các mơ hình tóm tắt đơn văn bản được tinh chỉnh từ
các mơ hình tóm tắt đơn văn bản đã đề xuất. Các mơ hình tóm tắt đơn văn bản, mơ

hình hỗn hợp này được huấn luyện tiếp trên các bộ dữ liệu thử nghiệm tóm tắt đa
văn bản tương ứng để xây dựng mơ hình tóm tắt đa văn bản hướng tóm lược hiệu
quả.
Các mơ hình đề xuất phát triển của luận án đều được áp dụng hiệu quả cho tóm
tắt văn bản tiếng Anh và tiếng Việt.

9. Bố cục của luận án
Với những đóng góp chính được trình bày ở trên, bố cục của luận án bao gồm:
Phần mở đầu, năm chương, phần kết luận, tài liệu tham khảo và phần phụ lục. Cụ
thể như sau:
Phần mở đầu: Trình bày những điểm quan trọng về bối cảnh nghiên cứu, động
lực thúc đẩy, tổng quan về đối tượng nghiên cứu, phạm vi nghiên cứu, mục tiêu
nghiên cứu, phương pháp nghiên cứu, nội dung nghiên cứu, ý nghĩa khoa học và ý
nghĩa thực tiễn của luận án. Những tồn tại, thách thức và phương pháp giải quyết
của luận án. Ngồi ra, phần này cũng trình bày những đóng góp chính và bố cục của
luận án.
Chương 1. Tổng quan về tóm tắt văn bản: Chương này trình bày các vấn đề
tổng quan về tóm tắt văn bản trong xử lý ngôn ngữ tự nhiên, một số phương pháp
đánh giá văn bản tóm tắt tự động, các phương pháp kết hợp các văn bản của tập đa
văn bản, các phương pháp tóm tắt văn bản hướng trích rút cơ sở, các bộ dữ liệu
được sử dụng để thử nghiệm cho các mơ hình tóm tắt văn bản đề xuất. Những kiến
thức này là cơ sở để phát triển các nghiên cứu đề xuất của luận án.
Chương 2. Các kiến thức nền tảng: Chương này trình bày các kiến thức nền
tảng về các kỹ thuật học sâu cơ sở bao gồm mạng Perceptron nhiều lớp, mạng nơ
ron tích chập, mạng nơ ron hồi quy, các mơ hình ngơn ngữ dựa trên học sâu được
huấn luyện trước. Tiếp theo, chương này trình bày về kỹ thuật học tăng cường Deep
Q-Learning, tìm kiếm Beam, phương pháp MMR loại bỏ thơng tin trùng lặp trong

9

văn bản tóm tắt. Những kiến thức nền tảng này là cơ sở để phát triển các phương
pháp tóm tắt văn bản đề xuất trong luận án.
Chương 3. Phát triển các phương pháp tóm tắt đơn văn bản hướng trích rút:
Chương này trình bày về bài tốn tóm tắt đơn văn bản hướng trích rút, đề xuất phát
triển ba mơ hình tóm tắt đơn văn bản hướng trích rút sử dụng kết hợp các kỹ thuật
học sâu, các mơ hình được huấn luyện trước, các đặc trưng của văn bản và phương
pháp loại bỏ các thông tin trùng lặp để áp dụng tóm tắt hiệu quả cho tóm tắt văn bản
tiếng Anh và tiếng Việt.
Chương 4. Phát triển phương pháp tóm tắt đơn văn bản hướng tóm lược:
Chương này giới thiệu về bài tốn tóm tắt đơn văn bản hướng tóm lược, đề xuất
phát triển mơ hình tóm tắt đơn văn bản hướng tóm lược sử dụng kết hợp các kỹ
thuật học sâu, các cơ chế xử lý trùng lặp thông tin, các đặc trưng của văn bản để áp
dụng hiệu quả trong tóm tắt hướng tóm lược. Mơ hình đề xuất áp dụng hiệu quả cho
tóm tắt văn bản tiếng Anh và tiếng Việt. Mơ hình tóm tắt đơn văn bản này sẽ được
sử dụng để phát triển các mơ hình tóm tắt đa văn bản đề xuất của luận án.
Chương 5. Phát triển các phương pháp tóm tắt đa văn bản: Chương này giới
thiệu về bài tốn tóm tắt đa văn bản, đề xuất phát triển một mô hình tóm tắt đa văn
bản hướng trích rút, hai mơ hình tóm tắt đa văn bản hướng tóm lược sử dụng kết
hợp các kỹ thuật học máy, học sâu và các đặc trưng của văn bản, các cơ chế xử lý
trùng lặp thơng tin áp dụng hiệu quả cho tóm tắt đa văn bản tiếng Anh và tiếng Việt.
Hai mô hình tóm tắt đa văn bản hướng tóm lược được đề xuất phát triển dựa trên
các mơ hình tóm tắt đơn văn bản được huấn luyện trước đã đề xuất.
Phần kết luận: Trình bày các kết quả đạt được, những khó khăn tồn tại và
hướng phát triển tiếp của các nghiên cứu trong luận án.
Phần phụ lục: Trình bày biểu đồ biểu diễn phân tích các bộ dữ liệu thử nghiệm
và nội dung các văn bản nguồn của các mẫu tóm tắt thử nghiệm trên các bộ dữ liệu
tương ứng của các mơ hình tóm tắt đề xuất đã trình bày trong luận án.
Luận án trình bày các phương pháp tóm tắt đơn văn bản hướng trích rút, tóm tắt
đơn văn bản hướng tóm lược, tóm tắt đa văn bản hướng trích rút và hướng tóm lược

cho bài tốn tóm tắt văn bản. Có thể nói, nội dung của luận án đã đạt được các mục
tiêu đặt ra.

10


Chương 1. TỔNG QUAN VỀ TÓM TẮT VĂN BẢN
Chương này trình bày tổng quan về tóm tắt văn bản trong xử lý ngôn ngữ tự
nhiên bao gồm giới thiệu về tóm tắt văn bản, các bước thực hiện trong tóm tắt văn
bản, một số đặc trưng của văn bản, các phương pháp đánh giá văn bản tóm tắt phổ
biến, các phương pháp kết hợp văn bản trong tóm tắt đa văn bản, các phương pháp
tóm tắt văn bản hướng trích rút cơ sở. Ngồi ra, chương này cũng trình bày phân
tích thống kê thơng tin các bộ dữ liệu sử dụng để thử nghiệm cho các mơ hình tóm
tắt văn bản đề xuất. Những kiến thức trình bày trong chương này là cơ sở để triển
khai phát triển các phương pháp tóm tắt văn bản đề xuất của luận án.

1.1. Giới thiệu về tóm tắt văn bản
1.1.1. Giới thiệu bài tốn tóm tắt văn bản
Xử lý ngơn ngữ tự nhiên đang được phát triển một cách mạnh mẽ giúp con
người có thể chọn lọc, tóm tắt được khối thơng tin khổng lồ nhằm tiết kiệm thời
gian tìm kiếm và tổng hợp các thơng tin hữu ích. Có một số nhiệm vụ quan trọng
trong xử lý ngôn ngữ tự nhiên như: Tìm kiếm thơng tin, trích rút thơng tin, nhận
dạng tiếng nói, trả lời câu hỏi, dịch máy, tóm tắt văn bản tự động. Tóm tắt văn bản
tự động (gọi tắt là tóm tắt văn bản) là một trong những nhiệm vụ được quan tâm
nghiên cứu phát triển và đã đạt được những kết quả khả quan. Bài tốn tóm tắt văn
bản được ứng dụng thành công vào thực tế sẽ giúp tiết kiệm được thời gian đọc, cải
thiện tốc độ, nâng cao độ chính xác của các thơng tin được tổng hợp.
Tóm tắt văn bản (TTVB) là q trình tạo ra một bản mơ tả ngắn gọn, súc tích từ
một hoặc nhiều văn bản nguồn ban đầu. Văn bản tóm tắt có độ dài ngắn hơn văn
bản nguồn nhưng vẫn đảm bảo giữ lại được nội dung chính, quan trọng mà văn bản

nguồn đề cập tới.
Vấn đề đặt ra là làm thế nào để nhận biết được đâu là nội dung chính của văn
bản nguồn ban đầu vì đó là thành phần cốt lõi, bao hàm những thông tin quan trọng.
Nếu biết được những thơng tin này thì nhiệm vụ tóm tắt sẽ trở nên dễ dàng và văn
bản tóm tắt có độ chính xác tốt hơn. Các thành phần này là những đơn vị dữ liệu
nhỏ nhất có nghĩa trong văn bản nguồn để trích rút, tóm tắt như từ, câu,… Trong
văn bản nguồn, nếu tần suất xuất hiện của các đơn vị dữ liệu càng lớn thì xác suất
mang nội dung quan trọng, thơng tin chính của đoạn văn, văn bản càng cao. Do đó,
các đơn vị dữ liệu này được sử dụng để tóm tắt, biến đổi, hiển thị hoặc tạo ra dữ liệu
mới có ý nghĩa phục vụ cho các nhiệm vụ hoặc các hệ thống khác.
Bảng 1.1 và Bảng 1.2 dưới đây là các ví dụ minh họa văn bản tóm tắt của văn
bản tiếng Anh, tiếng Việt tương ứng. Các văn bản nguồn của các văn bản tóm tắt
này được trình bày ở Phụ lục A trong phần Phụ lục.

11


Văn bản tóm tắt
A total of 47 bodies have been exhumed from two mass
graves. Iraqis find mass graves inside presidential palace
compound in Tikrit . ISIS claimed to have executed 1,700
Iraqi soldiers captured outside Camp Speicher .
“

”

Bảng 1.1. Ví dụ minh họa một văn bản tóm tắt của văn bản tiếng Anh
Văn bản tóm tắt
Sau khi khảo sát, bà Nguyễn Thị Láng – Trưởng ban Tuyên
giáo Liên đoàn lao động tỉnh – đã cùng các Cán bộ cơng đồn

làm việc với chính quyền địa phương và tổ chức hội nghị đối
thoại với sự có mặt của cả đại diện doanh nghiệp và công
nhân lao động. Công ty TNHH may Tinh Lợi, có gần 1.000 nữ
cơng nhân lao động đang ở trọ tại đây đã đồng ý mỗi tháng
tài trợ thêm cho Trường Mầm non Hương Sen 3 triệu đồng để
nâng cấp, mở thêm phòng học, tiếp nhận hơn 200 cháu là con
cơng nhân lao động vào học.
“

”

Bảng 1.2. Ví dụ minh họa một văn bản tóm tắt của văn bản tiếng Việt
1.1.2. Phân loại bài tốn tóm tắt văn bản
Bài tốn tóm tắt văn bản được phân loại dựa theo các tiêu chí khác nhau bao
gồm một số loại bài tốn phổ biến sau:
- Tóm tắt đơn văn bản: Văn bản nguồn chỉ có một văn bản duy nhất.
- Tóm tắt đa văn bản: Tập văn bản nguồn gồm nhiều văn bản (các văn bản này
thường có nội dung liên quan đến nhau). Văn bản kết quả thu được là một văn bản
duy nhất từ tập văn bản nguồn đầu vào. Tóm tắt đa văn bản gặp một số khó khăn
như vấn đề trùng lặp thông tin giữa các văn bản nguồn, tiền xử lý văn bản phức tạp,
yêu cầu tỉ lệ nén cao.
- Tóm tắt văn bản hướng trích rút: Là quá trình rút gọn văn bản sao cho văn bản
kết quả có chứa các đơn vị ngữ liệu nằm trong văn bản nguồn.
- Tóm tắt văn bản hướng tóm lược: Là quá trình rút gọn văn bản sao cho văn
bản kết quả có chứa một số đơn vị ngữ liệu mới được sinh ra từ các đơn vị ngữ liệu
nằm trong văn bản nguồn hoặc không nằm trong văn bản nguồn. Từ các thông tin
này, thực hiện các phép biến đổi để tạo ra một văn bản mới sao cho vẫn đảm bảo
giữ được nội dung, ý nghĩa của văn bản nguồn đầu vào. Tóm tắt văn bản hướng tóm
lược là bài tốn tóm tắt văn bản phức tạp, có nhiều khó khăn trong việc biểu diễn
ngữ nghĩa, sinh ngơn ngữ tự nhiên từ văn bản nguồn.

- Tóm tắt đơn ngơn ngữ: Văn bản nguồn và văn bản tóm tắt chỉ có duy nhất một
loại ngơn ngữ.
- Tóm tắt đa ngôn ngữ: Văn bản nguồn chỉ chứa duy nhất một loại ngơn ngữ,
nhưng văn bản kết quả có thể được tóm tắt theo nhiều ngơn ngữ khác nhau.
- Tóm tắt đan xen ngơn ngữ: Văn bản nguồn có thể gồm nhiều loại ngơn ngữ
khác nhau.
Trong các loại tóm tắt văn bản này, tóm tắt hướng trích rút tạo ra văn bản tóm
tắt dựa trên trích rút gọn câu mang lại hiệu quả cao về mặt ngôn ngữ, trong khi đó
tóm tắt hướng tóm lược sinh ra một văn bản tóm tắt đảm bảo về mặt cú pháp, ngữ
12