phương pháp xác định độ tương tự giữa hai văn bản

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (13.58 MB, 85 trang )

Trang 1<div class="page_container" data-page="1">

HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THÔNG

KHOA CÔNG NGHỆ THÔNG TIN I

ĐỒ ÁN

TỐT NGHIỆP ĐẠI HỌCĐỀ TÀI NGHIÊN CỨU:

“PHƯƠNG PHÁP XÁC ĐỊNH ĐỘ TƯƠNG TỰ GIỮA HAI VĂN BẢN.”

Giảng viên hướng dẫn : TS. NGUYỄN DUY PHƯƠNG

Sinh viên thực hiện : NGUYỄN THỊ HỒNG

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 2<div class="page_container" data-page="2">

HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG

KHOA CƠNG NGHỆ THƠNG TIN I

ĐỒ ÁN

TỐT NGHIỆP ĐẠI HỌCĐỀ TÀI NGHIÊN CỨU:

“PHƯƠNG PHÁP XÁC ĐỊNH ĐỘ TƯƠNG TỰ GIỮA HAI VĂN BẢN.”

Giảng viên hướng dẫn : TS. NGUYỄN DUY PHƯƠNG

Sinh viên thực hiện : NGUYỄN THỊ HỒNG

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 3<div class="page_container" data-page="3">

852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 4<div class="page_container" data-page="4">

NHẬN XÉT, ĐÁNH GIÁ, CHO ĐIỂM(Của giảng viên hướng dẫn)

Hà Nội, ngày 22 tháng 12 năm 2021

Giảng viên hướng dẫn

hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 5<div class="page_container" data-page="5">

LỜI CẢM ƠN

Lời đầu tiên, em xin gửi lời cảm ơn sâu sắc đến các thầy cô giảng viên KhoaCơng nghệ thơng tin I nói riêng và các thầy cơ giảng viên Học viện Cơng nghệ Bưuchính Viễn thơng nói chung. Trong suốt q trình học tập tại Học viện, thầy cô đã làngười chỉ bảo, giảng dạy cho em rất nhiều kiến thức, kinh nghiệm quý báu để em cóđược một hành trang vững bước trong tương lai.

Bên cạnh đó, em xin được đặc biệt gửi lời cảm ơn đến thầy Nguyễn DuyPhương, người đã luôn hướng dẫn, chỉ bảo em tận tình trong suốt quá trình học tập,nghiên cứu, xây dựng và hoàn thiện đồ án này.

Em cũng xin gửi lời cảm ơn tới bố mẹ, người thân và bạn bè đã luôn bên cạnhchăm lo, quan tâm, giúp đỡ và động viên em trong suốt những tháng năm đại học.

Với điều kiện thời gian cũng như kinh nghiệm của em về lĩnh vực này còn hạnchế nên đồ án khơng thể tránh được những thiếu sót. Vì thế, em rất mong nhận đượcsự chỉ bảo và đóng góp ý kiến của các thầy, cơ để em có thể bổ sung và nâng cao kiếnthức của mình hơn nữa.

Cuối cùng, em xin kính chúc q thầy cơ một năm mới dồi dào sức khỏe, ankhang, thịnh vượng và thành công hơn nữa trong sự nghiệp.

Em xin chân thành cảm ơn!

Hà Nội, ngày 01 tháng 01 năm 2022Sinh viên

Nguyễn Thị Hồng

123docz.net - File bi loi xin lienhe: hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 6<div class="page_container" data-page="6">

CHƯƠNG 1: TỔNG QUAN VỀ ĐỘ TƯƠNG TỰ GIỮA HAI VĂN BẢN 3

1.2.1.Ngôn ngữ tự nhiên (NLP) 31.2.2.Tầm quan trọng và một số ứng dụng của xử lý ngôn ngữ tự nhiên 7

1.2.3.Một số thuật ngữ phổ biến trong NLP 11

1.2.4.Vấn đề về độ tương tự trong văn bản 151.2.5.Các bài toán xử lý trong tiếng Việt 16

CHƯƠNG 2: CÁC PHƯƠNG PHÁP XÁC ĐỊNH MỨC ĐỘ TƯƠNG TỰ GIỮA

2.1.1.Phát biểu về bài toán 182.1.2.Đặc điểm của ngôn ngữ tiếng Việt 18

2.1.2.1.Cấu tạo từ tiếng Việt 18

2.1.2.3.Từ đồng âm khác nghĩa 19

2.2.1.Các thuật toán chuyển đổi văn bản sang Embedding. 25

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 7<div class="page_container" data-page="7">

2.2.1.4.Doc2Vec 30

2.2.2.Các thước đo khoảng cách, độ tương tự trong Machine Learning. 32

2.2.2.1.Độ tương đồng văn bản dựa trên tập từ chung. 33

CHƯƠNG III. ĐỘ TƯƠNG ĐỒNG VĂN BẢN VỀ MẶT NGỮ NGHĨA VÀ ỨNG

3.1.Độ tương đồng văn bản về ngữ nghĩa (Semantic Similarity Methodologies) 43

3.1.1.Topological/Knowledge-based Methods 443.1.2.Statistical-Based Similarity 46

3.1.3.Language Model-Based Similarity: BERT Model 46

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 8<div class="page_container" data-page="8">

DANH MỤC TỪ VIẾT TẮT

Ký hiệu chữ viết tắtChữ viết đầy đủ

GLU score General Language Understanding Evaluation score

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 9<div class="page_container" data-page="9">

DANH MỤC HÌNH ẢNH

Hình 1.6: Sơ đồ phương pháp trích xuất trong văn bản (Extrative) 10Hình 1.7: Sơ đồ phương pháp tóm lược ý trong văn bản (Abstractive) 10

Hình 3.2: Các phương pháp Typological/Knowledge-based Methods 44

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 10<div class="page_container" data-page="10">

Hình 3.10: Mơ hình BERT 55

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 11<div class="page_container" data-page="11">

TỔNG QUAN ĐỀ TÀI

1. Lý do chọn đề tài

Ngày nay, với sự phát triển nhanh chóng và vượt bậc của khoa học cơng nghệđặc biệt là máy tính và mạng Internet thì thơng tin dưới dạng văn bản đã trở nên phongphú và đa dạng hơn. Với sự trợ giúp đắc lực của các cơng cụ thì chỉ với một vài thaotác đơn giản ta có thể nhận được rất nhiều những thơng tin mà chúng ta tìm kiếm.Cũng chính vì thế mà sự chọn lọc thơng tin mới, hữu ích ngày càng trở nên khó khănhơn.

Natural Language Processing (NLP) hay cịn được gọi là xử lý ngơn ngữ tựnhiên - là một lĩnh vực nghiên cứu có sự kết hợp giữa công nghệ thông tin và ngônngữ học. Trong đó, vai trị của cơng nghệ thơng tin ngày càng chứng tỏ sức mạnh vàtầm quan trọng trong các nghiên cứu cũng như kết quả ứng dụng vào thực tế. Hiệnnay, có rất nhiều nghiên cứu đã áp dụng kết quả vào triển khai ứng dụng thực tiễn đemlại hiệu quả cao như các bài tốn tóm tắt văn bản, trích xuất tự động, dịch tự động, …Đặc biệt là bài tốn tính độ tương đồng giữa hai văn bản đang là đề tài đáng được chúý và quan tâm. Cho đến thời điểm hiện tại, có nhiều phương pháp đã được đề xuất chobài toán này, tuy nhiên đối với các văn bản tiếng Việt, việc nghiên cứu và áp dụngđang còn hạn chế, đa số các phương pháp đã đề xuất sử dụng cho văn bản tiếng Anhdo đặc điểm cấu tạo của ngôn ngữ tiếng Việt có nhiều điểm khác biệt.

2. Mục đích của đề tài

Nghiên cứu các phương pháp xác định độ tương đồng văn bản khơng những vềmặt từ ngữ mà cịn cả về mặt ngữ nghĩa, từ đó làm tiền đề để xây dựng mơ hình hệthống đánh giá sự tương đồng văn.

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 12<div class="page_container" data-page="12">

- Các phương pháp xác định mức độ tương tự trong văn bản về mặt cú pháp nhưmức độ câu, từ, đoạn văn, …

- Các mơ hình, phương pháp xác định mức độ tương tự văn bản về mặt ngữ nghĩavà ứng dụng trong so sánh văn bản.

4. Phương pháp nghiên cứu

- Tìm kiếm, thu thập và hệ thống hóa các phương pháp nghiên cứu đã có về vấnđề độ tương đồng trong văn bản.

- Nghiên cứu lí thuyết về mơ hình xác định mức độ tương tự trong văn bản làmtiền đề cho việc xây dựng ứng dụng và đề xuất hướng giải quyết tối ưu cho bàitốn.

5. Nội dung nghiên cứu

- Tìm hiểu tổng quan về các vấn đề trong việc xử lý ngôn ngữ tự nhiên.- Nghiên cứu tìm hiểu bài tốn so sánh văn bản.

- Nghiên cứu các phương pháp, mơ hình biểu diễn văn bản.

- Tìm hiểu các phương pháp xác định mức độ tương tự trong văn bản.- Xây dựng ứng dụng so sánh văn bản.

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 13<div class="page_container" data-page="13">

CHƯƠNG 1: TỔNG QUAN VỀ ĐỘ TƯƠNG TỰ GIỮA HAI VĂNBẢN

1.1.Giới thiệu về văn bản

Văn bản là một loại hình phương tiện để ghi nhận, lưu giữ và truyền đạt cácthông tin từ chủ thể này sang chủ thể khác bằng kí hiệu gọi là chữ viết. Nó gồm tậphợp các câu có tính trọn vẹn về nội dung, hồn chỉnh về hình thức, có tính liên kết chặtchẽ và hướng tới một mục tiêu giao tiếp nhất định. Hay nói cách khác, văn bản là mộtdạng sản phẩm của hoạt động giao tiếp bằng ngôn ngữ được thể hiện ở dạng viết trênmột chất liệu nào đó ( giấy, bia đá, … ). Văn bản bao gồm các tài liệu, tư liệu, giấy tờcó pháp lý nhất định được sử dụng trong hoạt động của các cơ quan Nhà nước, các tổchức chính trị, chính trị - xã hội, các tổ chức kinh tế… như các văn bản pháp luật, cáccông văn, tài liệu, giấy tờ.

1.2.Giới thiệu về ngôn ngữ tự nhiên

1.2.1. Ngôn ngữ tự nhiên (NLP)

Natural Language Processing (NLP) hay xử lý ngôn ngữ tự nhiên được conngười sử dụng để giao tiếp và phát triển một cách tự nhiên. Xử lý ngôn ngữ tự nhiên làmột lĩnh vực khoa học máy tính và ngơn ngữ học liên quan đến sự tương tác giữa máytính và với ngơn ngữ của con người. Các hệ thống tạo ngôn ngữ tự nhiên chuyển đổithơng tin từ cơ sở dữ liệu máy tính sang ngơn ngữ con người có thể đọc được.

Ngơn ngữ tự nhiên đề cập đến cách chúng ta, con người giao tiếp với nhau. Cụthể là bài phát biểu hay văn bản. Mỗi ngày chúng ta đều tiếp xúc với rất nhiều các loạivăn bản như: tin nhắn, email, các trang web, thực đơn, hợp đồng… Với tầm quan trọngcủa loại dữ liệu này, chúng ta phải có các phương pháp để hiểu và lập luận về ngônngữ tự nhiên giống như chúng ta làm với các loại dữ liệu khác.

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 14<div class="page_container" data-page="14">

Hình 1.1: Xử lý ngơn ngữ tự nhiên trong giao tiếp.

NLP đề cập đến nhánh của khoa học máy tính và cụ thể hơn là nhánh của trí tuệnhân tạo hoặc AI – liên quan đến việc cung cấp cho máy tính khả năng hiểu văn bảnvà lời nói theo cách giống như con người có thể. Nó kết hợp ngơn ngữ học tính tốn –mơ hình dựa trên ngun tắc của ngơn ngữ con người – với các mơ hình thống kê, họcmáy và học sâu. Cùng với nhau, các công nghệ này cho phép máy tính xử lý ngơn ngữcủa con người dưới dạng dữ liệu văn bản hoặc giọng nói và hiểu ý nghĩa đầy đủ củanó, hồn chỉnh với ý định và cảm xúc của người nói hoặc người viết.

Xử lý ngơn ngữ tự nhiên cung cấp nhiều kỹ thuật giải thích ngơn ngữ khácnhau. Có các thuật tốn học máy, mơ hình thống kê và các phương pháp tiếp cận mơhình dựa trên các bộ phận quy tắc. Sự kết hợp của các kỹ thuật này được sử dụng đểgiúp các hệ thống máy tính xử lý dữ liệu ngơn ngữ của con người.

NLP được tạo ra với mục đích chia nhỏ các tập hợp lớn dữ liệu ngôn ngữ củacon người thành các thành phần nhỏ hơn, ngắn hơn và logic hơn được xây dựng đểhiểu mục đích ngữ nghĩa và cú pháp của ngơn ngữ nói và viết của chúng ta. Mục đíchbao qt là lấy đầu vào ngơn ngữ và sử dụng các thuật toán để chuyển đổi điểm giá trịcủa dữ liệu thành một thứ gì đó lớn hơn.

Như chúng ta đã biết, máy tính được cấu tạo từ những con số do đó nó chỉ cóthể đọc được dữ liệu số mà thơi. Trong NLP thì để xử lý dữ liệu text chúng ta phảichuyển dữ liệu từ text sang numeric, tức là đưa nó vào một không gian mới, người tathường gọi là embedding. Trước đây, người ta mã hóa theo kiểu one-hot coding – tứclà tạo một vocabulary cho dữ liệu và mã hóa các word trong document thành nhữngvector. Nếu word đó có trong document thì mã hóa là “1”, cịn khơng có sẽ là “0”. Kếtquả tạo ra một sparse matrix, tức là matrix hầu hết là “0”. Các mã hóa này có nhiềunhược điểm như: thứ nhất là số chiều của nó rất lớn (NxM, N là số document, M là sốvocabulary), thứ hai các word khơng có quan hệ với nhau. Điều đó dẫn đến người tanghĩ ra một model mới có tên là word embedding, ở đó các cặp word sẽ có quan hệ vớinhau về ngữ nghĩa, ví dụ như paris-tokyo, man-woman, boy-girl, những cặp từ này sẽcó khoảng cách gần nhau hơn trong word embedding space. Ví dụ điển hình mà ta thấyhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 15<div class="page_container" data-page="15">

đó là phương trình king – queen = man – woman. Cái ưu điểm thứ hai của nó là sốchiều giảm cịn NxD.

Hình 1.2: Các lĩnh vực của xử lý ngơn ngữ tự nhiên (NLP)

Xử lý ngôn ngữ tự nhiên bao gồm: Managing Human – Computer DialogSystem, Machine Perception, Natural Language Understanding, Natural LanguageClassifier, Natural Language Generation.

- Machine Perception: Nhận thức máy móc. Là khả năng của một hệ thống máy

tính để giải thích dữ liệu theo cách tương tự như cách con người sử dụng cácgiác quan của mình để liên quan đến thế giới xung quanh. Bất kỳ loại côngnghệ nào mô phỏng bất kỳ loại giác quan nào của con người cho dù đó là thịgiác, thính giác, vị giác, xúc giác hay cảm giác đều có thể được dán nhãn nhậnthức máy

- Natural Language Understanding (NLU): Sự hiểu biết ngôn ngữ tự nhiên

bao gồm 4 bước:

o Phân tích hình vị: là sự nhận biết, phân tích và miêu tả cấu trúc củanhững hình vị trong một ngơn ngữ cho trước và các đơn vị ngôn ngữhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 16<div class="page_container" data-page="16">

khác như từ gốc, biên từ, từ loại,… Có hai loại bài tốn điển hình trongphần này, bao gồm bài toán tách từ (word segmentation) và gán nhãn từloại (POS).

o Phân tích cú pháp: là quy trình phân tích một chuỗi các biểu tượng ởdạng ngơn ngữ tự nhiên hoặc ngơn ngữ máy tính tn theo văn phạmhình thức. Văn phạm hình thức thường được dùng trong phân tích cúpháp của ngơn ngữ tự nhiên bao gồm Văn phạm phi ngữ cảnh(context-free grammar: CFG) và Văn phạm phụ thuộc (dependencygrammar: DG). Đầu vào của q trình phân tích là một câu gồm mộtchuỗi từ và nhãn từ loại của chúng và đầu ra là một cây phân tích thểhiện cấu trúc cú pháp của câu đó. Các thuật tốn phân tích cú pháp phổbiến bao gồm CKY, Earley, Chart và GLR.

o Phân tích ngữ nghĩa: là q trình liên hệ cấu trúc ngữ nghĩa, từ cấp độcụm từ, mệnh đề, câu và đoạn đến cấp độ toàn bài viết với ý nghĩa độclập của chúng. Nói cách khác, việc này nhằm tìm ra ngữ nghĩa đầu vàocủa ngơn từ. Phân tích ngữ nghĩa bao gồm hai mức độ: ngữ nghĩa từvựng biểu hiện các ý nghĩa của những từ thành phần và phân biệt nghĩacủa từ, ngữ nghĩa thành phần liên quan đến cách thức các từ liên kết vớinhau để hình thành nghĩa rộng hơn.

o Phân tích diễn ngôn: Ngữ dụng học là môn nghiên cứu về những mốiquan hệ giữa ngôn ngữ và ngữ cảnh sử dụng (context-of-use). Ngữ cảnhsử dụng bao gồm danh tính của người hoặc vật, vì thế ngữ dụng học baogồm những nghiên cứu về các ngôn ngữ được dùng để đề cập (hoặc táiđề cập) tới người hoặc vật. Ngữ cảnh sử dụng bao gồm ngữ cảnh diễnngơn, vì vậy ngữ dụng học cũng bao gồm những nghiên cứu về các thứccấu tạo nên diễn ngôn và các người nghe hiểu người đang đối thoại vớimình.

- Natural Language Generation (NLG) là phát triển ngơn ngữ tự nhiên. NLG

đóng vai trị quan trọng trong việc tạo ra ngôn ngữ tự nhiên từ một hệ thốngbiểu diễn máy như một cơ sở tri thức hoặc một dạng logic. NLG được ứng dụnghghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 17<div class="page_container" data-page="17">

trong các lĩnh vực như tạo cuộc đối thoại, tương tác giữa con người và máytính, dịch máy và tóm tắt văn bản tự động. Trong NLP có 2 quan điểm cơ bản làxử lý các từ ngữ bằng máy tính và làm cho máy tính hiểu được ngôn ngữ. Hiệntại cả 2 vấn đề này đều đang được nghiên cứu và phát triển.

1.2.2. Tầm quan trọng và một số ứng dụng của xử lý ngôn ngữ tự nhiên

Tầm quan trọng của NLP:

- Giúp máy tính phân tích dữ liệu nhanh hơn: Máy móc được trang bị thuậttốn ML (Machine Learning) có thể phân tích và hiểu nhiều dữ liệu ngơnngữ hơn con người vì chúng có khả năng học hỏi từ các mẫu được tìm thấytrong dữ liệu được lưu trữ.

- Phát triển cơng nghệ nhanh chóng: Hệ thống NLP được phát triển để giúpmang lại hiểu biết ngữ nghĩa để giao tiếp giữa con người với máy móc cóthể dẫn đến các tương tác tích cực và hợp lý. Các hệ thống NLP giúp giảiquyết ngôn ngữ khó hiểu, mơ hồ bằng cách thêm cấu trúc vào dữ liệu màchúng nhận được.

Một số ứng dụng phổ biến của NLP như:

- Nhận dạng tiếng nói (Automatic Speech Recognition – ASR, hoặc SpeechTo Text - STT): từ sóng nói, nhận biết và chuyển đổi ngơn ngữ từ dạng tiếngnói sang dạng văn bản tương ứng. Giúp thao tác của con người trên các thiếtbị nhanh hơn và đơn giản hơn, chẳng hạn như thay vì phải gõ một tài liệunào đó ta có thể đọc nó lên và trình soạn thảo sẽ tự ghi nó ra. Nó khả nănghỗ trợ rất nhiều cho người khiếm thị.

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 18<div class="page_container" data-page="18">

Hình 1.3: Mơ hình nhận dạng tiếng nói (ASR)

- Tổng hợp tiếng nói (Speech synthesis hoặc Text to Speech – TTS): từ dữ liệudạng văn bản, phân tích và chuyển đổi thành tiếng nói. Thay vì phải tự đọc mộtcuốn sách hay nội dung của một trang web thì nó sẽ tự động đọc cho chúng ta.

Hình 1.4: Mơ hình tổng hợp tiếng nói (TTS)

- Nhận dạng chữ viết (Optical Character Recognition – OCR): từ một văn bảnin trên giấy, nhận biết từng chữ cái và chuyển chúng thành một tệp văn bảntrên máy tính. Có hai kiểu nhận dạng, đầu tiên là nhận dạng chữ in như việcnhận dạng chữ trên sách giáo khoa rồi chuyển nó thành dạng văn bản điện tửnhư dưới định dạng docx của Microsoft Word. Thứ hai là nhận dạng chữviết tay, ở dạng này gây ra nhiều khó khăn hơn vì chữ viết tay khơng cókhn dạng rõ ràng và thay đổi tùy thuộc vào mỗi đối tượng khác nhau. Ứnghghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 19<div class="page_container" data-page="19">

dụng cho việc nhận dạng chữ in ta có thể chuyển hàng ngàn đầu sách trongthư viện thành văn bản điện tử trong một thời gian ngắn. Còn việc nhậndạng chữ viết thì được ứng dụng trong các lĩnh vực như khoa học hình sự,ngân hàng, bảo mật thơng tin (nhận dạng chữ ký điện tử).

Hình 1.5: Mơ hình nhận dạng chữ viết (OCR)

- Truy xuất thơng tin (Information Retrieval – IR): có nhiệm vụ tìm các tàiliệu dưới dạng khơng có cấu trúc (thường là văn bản) đáp ứng nhu cầu vềthông tin từ những nguồn tổng hợp lớn như Google, Yahoo hay Bigsearch,… Thông tin ngày càng tăng lên theo cấp số nhân, đặc biệt với sự trợgiúp của internet việc tiếp cận thông tin trở nên dễ dàng hơn. Việc khó khănlà tìm thơng tin mình cần chính xác nhất giữa vơ vàn những kết quả đượctìm thấy và thơng tin này phải đáng tin cậy. Nổi bật của công nghệ này làGoogle, một trong những trang web tìm kiếm thơng tin phổ biến đối vớichúng ta hiện nay.

- Trích chọn thơng tin (Information Extraction – IE): từ một nguồn rất nhiềutệp văn bản hay tiếng nói, tìm ra những đoạn bên trong một số tệp liên quanđến một vấn đề (câu hỏi) ta cần biết hay trả lời. Khác với truy xuất thông tintrả về danh sách các văn bản hợp lệ thì IE trả về chính xác thơng tin màngười dùng cần. Những thơng tin này có thể là về con người, địa điểm, tổchức, ngày tháng hoặc thậm chí tên cơng ty, mẫu sản phẩm,... Một hệ tríchchọn thơng tin có thể lần vào từng trang web liên quan, phân tích bên trongvà trích ra các thơng tin cần thiết, nói gọn trong tiếng Anh để phân biệt vớitìm kiếm thơng tin là “find things but not pages”.

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 20<div class="page_container" data-page="20">

- Trả lời câu hỏi (Question Answering – QA): có khả năng tự động trả lời câuhỏi của con người ở dạng ngôn ngữ tự nhiên bằng cách truy xuất thông tintừ một tập hợp tài liệu. Một hệ thống QA đặc trưng bao gồm 3 mô-đun:

+ Mô đun xử lý truy vấn (Query Processing Module): tiến hành phân loạicâu hỏi và mở rộng truy vấn.

+ Mô đun xử lý tài liệu (Document Processing Module): tiến hành truyxuất thông tin để tìm ra tài liệu thích hợp.

+ Mơ hình xử lý câu trả lời (Answer Processing Module): trích chọn câutrả lời từ tài liệu đã được truy xuất.

- Tóm tắt văn bản tự động (Text Summarization): từ một văn bản dài tóm tắtthành một văn bản ngắn hơn theo mong muốn nhưng vẫn chứa nội dungquan trọng nhất của văn bản đó.

Có hai phương pháp chính trong tóm tắt văn bản là phương pháp trích xuất(extrative) và phương pháp tóm lược ý (abstractive). Tóm tắt trích xuất được hìnhthành bằng cách ghép một số câu được lấy y nguyên từ văn bản cần được thu gọn.Tóm lược ý thường truyền đạt những thơng tin chính của đầu vào và có thể sử dụng lạinhững cụm từ hay mệnh đề trong đó, nhưng nhìn chung chúng đều được thể hiện ởngơn ngữ của người tóm tắt.

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 21<div class="page_container" data-page="21">

Hình 1.6: Sơ đồ phương pháp trích xuất trong văn bản (Extrative)

Hình 1.7: Sơ đồ phương pháp tóm lược ý trong văn bản (Abstractive)

- Phát hiện tri thức và khai phá dữ liệu văn bản (Knowledge discovery andtext data mining): từ những nguồn thơng tin, văn bản hay khơng có liênquan gì với nhau nó có thể tìm ra được những thơng tin mới chưa được pháthiện. Trên thực tế để làm được việc này rất khó, nó gần như mơ phỏng qtrình học tập, khám phá khoa học của con người. Hiện tại, đây vẫn là mộtvấn đề phức tạp đang được các chuyên gia nghiên cứu trên thế giới.

- Chatbot là việc chương trình máy tính có khả năng trị chuyện (chat), hỏiđáp với con người qua hình thức hội thoại dưới văn bản (text). Chatbotthường được sử dụng trong ứng dụng hỗ trợ khách hàng, giúp người dùngtìm kiếm thơng tin sản phẩm hoặc giải đáp thắc mắc.

- Dịch máy (Machine Translation – MT): là việc sử dụng máy tính để tự độnghóa một phần hoặc tồn bộ q trình dịch từ ngôn ngữ này sang ngôn ngữkhác. Các phương pháp dịch máy phổ biến bao gồm dịch máy dựa trên ví dụ(example-based machine translation – EBMT), dịch máy dựa trên luật(rule-based machine translation – RBMT), dịch máy thống kê (statisticalmachine translation – SMT), dịch máy và sử dụng mạng nơ-ron (neuralmachine translation).

- Kiểm lỗi chính tả tự động là việc sử dụng máy tính để tự động phát hiện cáclỗi chính tả trong văn bản (lỗi từ vựng, lỗi ngữ pháp, lỗi ngữ nghĩa) và gợi ýđưa ra cách sửa lỗi.

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 22<div class="page_container" data-page="22">

1.2.3. Một số thuật ngữ phổ biến trong NLP

● Stemming

Trong NLP, stemming là một kỹ thuật được sử dụng để tìm ra từ gốc bằng cáchloại bỏ tất cả những tiền tố, phụ tố và hậu tố. Mục đích chính của stemming là để tạocho thuật tốn khả năng tìm kiếm và trích xuất những thơng tin hữu ích từ một nguồnkhổng lồ như trên internet hoặc dữ liệu lớn. Các thuật toán khác nhau được sử dụng đểthực hiện stemming bao gồm:

- Bảng tra cứu: một biểu mẫu có tất cả các biến thể có thể có của tất cả các từ(tương tự như từ điển).

- Loại bỏ các hậu tố: loại bỏ các hậu tố khỏi từ để xây dựng dạng gốc của từ.- Mơ hình ngẫu nhiên: một thuật tốn duy nhất hiểu các quy tắc ngữ pháp của

hậu tố và sử dụng quy tắc đó để trích xuất nguồn gốc của một từ mới.

Chúng ta có thể thực hiện stemming trong Python bằng cách sử dụng cácphương thức được xác định trước trong gói NLTK.

● Lemmatization

Stemming là một giải pháp tốt cho việc trích xuất nguồn gốc từ, nhưng đơi khiviệc loại bỏ các yếu tố của từ không thể xác định được chính xác nguồn gốc của từ. Vídụ, nếu sử dụng stemming để có được từ gốc của từ paid, thì kết quả sẽ trả về pai, mộtkết quả khơng hề chính xác.

Nhược điểm của stemming thường xuất hiện khi gặp những từ bất quy tắc,không theo bất kỳ một quy tắc ngữ pháp chuẩn nào. Đây là lúc cần đến lemmatization.hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 23<div class="page_container" data-page="23">

Cụ thể chúng ta đưa về thể từ điển, còn được gọi là lema hay morphology. Vớilemmatization ta có thể chuyển từ “paid” thành từ “pay” là dạng nguyên thể của nó.NLTK cũng cung cấp các phương pháp có thể được sử dụng để trích xuất lema củamột từ.

● Tokenization

Tokenization là một q trình chia nhỏ một câu thành các từ hoặc thành cáctoken. Trong quá trình hình thành các token, dấu chấm câu hoặc những ký tự đặc biệtthường được loại bỏ.

Các token được xây dựng từ một phần văn bản, cụ thể được sử dụng để phântích và xử lý thống kê. Điều đáng nói là một token khơng nhất thiết phải là một từ: vídụ như “rock ‘n’ roll”, “3-D printer” đều là những token. Và chúng được xây dựng từnhiều từ. Ngồi ra, token có thể là ký tự hoặc subword. Nói một cách đơn giản thìtokenization là một kỹ thuật được sử dụng để đơn giản hóa một kho dữ liệu để chuẩnbị cho giai đoạn xử lý tiếp theo.

Trong python, gói NLTK cũng cung cấp các phương thức để thực hiệntokenization, chẳng han như sent_tokenize và word_tokenize. Ngoài ra, NLTK cịncung cấp các ngơn ngữ khác ngồi tiếng Anh.

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 24<div class="page_container" data-page="24">

Hình 1.8: Các kỹ thuật tách từ trong xử lý ngôn ngữ tự nhiên

● Lexicon

Khi nhắc đến nhiệm vụ xử lý ngôn ngữ tự nhiên, chúng ta cần xem xét nhiềuthứ hơn ngồi ngơn ngữ. Chúng ta phải xem xét các thuật ngữ này có thể được sử dụngtrong một ngữ cảnh cụ thể để có nghĩa cụ thể. Ví dụ như những từ “chân sút”, “việt vị”là những thuật ngữ được sử dụng để miêu tả những khía cạnh khác nhau trong bóngđá. Lexicon là một tập hợp các từ của một ngôn ngữ hay một nhánh tri thức.

Để có một kết quả chính xác hơn từ các mơ hình NLP thì Lexicon là rất cầnthiết. Ví dụ, khi bạn phân tích cảm xúc của một số tweet (là các mẩu tin nhỏ, một dạngblog có giới hạn tối đa 280 kí tự trên trang mạng xã hội trực tuyến Twitter) và muốntìm hiểu những chủ đề xung quanh các tweet thì một phương thức chung để biểu diễncâu từ là bắt buộc.

● Word Embeddings

Máy tính khơng hiểu từ ngữ, vì vậy nếu ta muốn chúng phân tích và sử dụngngơn ngữ một cách chính xác thì ta phải trình bày những ngơn ngữ đó để máy tính cóthể hiểu được. Ngồi ra, việc phân tích văn bản có thể trở thành một khó khăn và việcsử dụng các con số có thể dễ dàng hơn cho thuật tốn và máy tính.

Trong NLP, nhúng từ là một kỹ thuật được sử dụng để chuyển các từ thànhvector số thực cho mục đích phân tích. Khi những vector này được hình thành, chúngcó thể được sử dụng để huấn luyện các mơ hình, xây dựng mạng nơron cũng như cáckỹ thuật machine learning khác.

● N-gram

Trong việc phân tích văn bản, N-gram mang hàm ý cho việc chuyển dữ liệuthành các khối n từ. Các khối này thường được xây dựng bằng cách di chuyển từng từmột. Khi n=1, chúng ta sử dụng thuật ngữ unigram thay vì 1-gram. Trong trường hợpn=2, chúng ta gọi là bigram và khi n=3 thì được gọi là trigram.

Trong python, việc viết một hàm tạo n-gram cho một câu tương đối đơn giản.Nhưng nếu khơng muốn tự thực hiện, ta có thể sử dụng các gói NLTK và textrob sẽhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 25<div class="page_container" data-page="25">

cung cấp các phương thức giúp chúng ta có thể tạo n-gram tự động. 1.9: Ví dụ về N-gram

● Normalization

Khi chúng ta muốn phân tích văn bản cho bất kỳ mục đích nào, q trình phântích có thể chính xác hơn nhiều nếu văn bản chúng ta đang sử dụng có định dạngchuẩn. Việc đặt văn bản ở định dạng chuẩn được gọi là chuẩn hóa. Ví dụ, nếu chúng tathực hiện tìm kiếm trong văn bản thì toàn bộ văn bản được viết hoa hoặc viết thườngsẽ tốt hơn.

Q trình chuẩn hóa thường được tiến hành sau khi mã hóa một đoạn văn vàmột truy vấn. Tiếp theo, chúng ta có thể sẽ có hai cụm từ tương tự nhưng khơng giốngnhau 100% ví dụ như USA và U.S.A, nhưng bạn muốn mơ hình của mình khớp haithuật ngữ này với nhau dù có bất kì sự khác biệt nào.

Chuẩn hóa một văn bản có thể có cả tác động tốt và khơng tốt đến mơ hình xửlý ngơn ngữ tự nhiên. Một mặt, việc chuẩn hóa có thể tạo sự kết hợp tốt hơn trong cáctác vụ tìm kiếm. Mặt khác, việc chuyển đổi mọi thứ thành chữ thường hoặc chữ hoa cóthể ảnh hưởng đến độ tin cậy của ứng dụng tổng thể.

● Named Entity (NER)

Trong bất kỳ tác vụ NLP nào, chúng ta thường được yêu cầu đọc, làm sạch vàphân tích một kho dữ liệu khổng lồ. Đó là lý do tại sao hầu hết các thuật ngữ trongdanh sách này là các kỹ thuật có thể giúp phân tích dễ dàng và hiệu quả hơn.

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 26<div class="page_container" data-page="26">

NER là một kỹ thuật NLP khác giúp trích xuất thêm thơng tin về một số vănbản bằng cách gán nhãn các từ khác nhau thành các danh mục được xác định trướcnhư: người, địa điểm, thời gian, email, …Việc thực hiện NER có thể giúp phân tíchvăn bản chính xác hơn. Trong Python có thể thực hiện NER bằng cách sử dụng các góiSpacy và NLTK.

● Parts-of-speech (POS) Tagging

POS Tagging là một kỹ thuật phân tích hữu ích xác định từ loại của các thànhphần trong một văn bản hoặc một câu cụ thể. Việc gắn thẻ POS giúp tạo ra một danhsách các từ và thẻ từ loại của nó (danh từ, động từ, tính từ...).

Trong hầu hết các ứng dụng, ban đầu chúng ta thường sử dụng một trình POSTag cơ bản và sau đó có thể nâng cao lên. Gói NLTK cung cấp một trình gắn thẻ mặcđịnh, cho phép chúng ta gắn thẻ cho bất kỳ văn bản nào.

1.2.4. Vấn đề về độ tương tự trong văn bản

Ngôn ngữ đóng một vai trị rất quan trọng như một phương tiện giao tiếp giữacác cá nhân. Nó phân biệt con người với các sinh vật sống khác. Nói chung, ngơn ngữ(bằng văn bản hay lời nói) mang thơng tin rất lớn. Khi chúng ta nói hoặc viết một điềugì đó, nó chỉ ra một chủ đề có chứa một số từ, các quy tắc ngữ pháp, tín hiệu của âmđiệu, … Mỗi và mọi phần của ngôn ngữ đều cung cấp một số thơng tin. Nếu cố gắngphân tích những thơng tin đó, chúng ta có thể nhận được thơng tin kết hợp chỉ ra mộtsố hành động hoặc điều gì đó tương tự nhau.

Trên thực tế, mỗi cá nhân có thể tạo ra hàng nghìn từ và câu. Ngồi ra, cấu trúccâu và phong cách của những người khác nhau cũng khác nhau. Vì thế để tìm ra bất kỳcách phổ biến nào để biểu diễn dữ liệu là điều khơng thể. Tất cả những điều này là vídụ về dữ liệu phi cấu trúc. Những kĩ thuật này có thể dễ dàng được bộ não con ngườinhận ra và xử lý. Ngày nay, một số kĩ thuật hiện đại như học máy, khoa học dữ liệu đãlàm được điều đó.

Độ tương tự trong văn bản là một trong những chủ đề được nghiên cứu và ứngdụng tích cực trong Xử lý ngơn ngữ tự nhiên. Để tìm câu trả lời cho câu “ Hai từ, cụmtừ, đoạn văn, tài liệu giống nhau như thế nào?” là một chủ đề quan trọng để nghiên cứuhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 27<div class="page_container" data-page="27">

và ứng dụng trong NLP. Độ tương tự giữa hai từ, cụm từ, đoạn văn, tài liệu là tính tốnxem giữa chúng gần nhau như thế nào. Sự gần gũi đó có thể là từ vựng hoặc ngữnghĩa.

Sự giống nhau về ngữ nghĩa là sự gần gũi về ngữ nghĩa. Sự tương đồng về mặttừ vựng là sự gần gũi của tập hợp từ.

Ví dụ ta có hai cụm từ sau:- The dog bites the man- The man bites the dog

Theo sự tương đồng về từ vựng thì hai cụm từ này rất gần và gần như là giốnghệt nhau vì chúng có cùng một bộ từ. Cịn đối với sự giống nhau về ngữ nghĩa, chúngta hoàn toàn khác nhau vì chúng có nghĩa khác nhau mặc dù bộ từ của chúng giốngnhau.

Trong một số trường hợp, việc đo độ tương tự giữa hai đoạn văn bản là việc sửdụng so khớp giữa các từ với nhau ở đoạn văn đầu vào. Vì thế, việc chúng ta cần làmlà loại bỏ các từ dừng, gán nhãn từ loại, so khớp tập con dài nhất cũng như trọng số vàcác nhân tố khác đều có thể được tích hợp để mang lại kết quả tốt nhất.

Cho đến nay, vấn đề đánh giá độ tương đồng văn bản đã được nghiên cứu vàứng dụng trong nhiều bài toán khác nhau từ mức độ thấp đến mức độ cao và đã cónhiều phương pháp giải quyết hiệu quả. Trong các bài toán như trích chọn thơng tin,tóm tắt văn bản,… đều cần đến phương pháp tính độ tương tự văn bản. Ngồi ra, việcxác định mức độ tương tự còn ứng dụng cho việc chống sao chép, đạo văn để bảo vệbản quyền.

1.2.5. Các bài toán xử lý trong tiếng Việt

a. Phân tách từ tiếng Việt

Tách từ là bài toán cơ bản đầu tiên trong việc xử lý và hiểu ngôn ngữ. Trongcác ngôn ngữ thông dụng, việc tách từ khá đơn giản vì giữa các đơn vị từ thường đượcviết cách nhau bằng kí tự trắng hoặc bằng các dấu câu. Tuy nhiên, nhiều ngơn ngữkhơng có kí hiệu đánh dấu biên của các từ, điều này làm cho việc tách từ không phải làviệc dễ dàng. Chẳng hạn như tiếng Việt là một ngơn ngữ đơn lập điển hình, kí tự trắnghghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 28<div class="page_container" data-page="28">

không được dùng để tách các từ mà chỉ được dùng để tách các âm tiết, trong khi đómột từ có thể chứa nhiều âm tiết. Việc giải quyết vấn đề này được gọi là bài tốn phântách từ.

Tiêu chí quan trọng nhất trong bài tốn tách từ là độ chính xác. Hiện tại, ngườita đã đạt được độ chính xác lên đến 97% tính theo từ. Tuy nhiên, nếu tính theo câu (sốcâu được tách hồn tồn đúng/tổng số câu) thì độ chính xác chỉ khoảng 50%. Đây làmột vấn đề ảnh hưởng nghiêm trọng đến các bước xử lý sau như phân tích ngữ pháp,ngữ nghĩa vì một từ bị tách sai có ảnh hưởng tồn bộ đến cách phân tích cả câu.

Ngồi ra tiêu chí độ chính xác của tách từ mới cũng quan trọng với các ứngdụng thực tế vì nó ln luôn biến đổi theo thời gian. Các từ mới thuần Việt cũng nhưvay mượn được tạo ra hàng ngày. Vì thế, ta cần xử lý được những vấn đề này để ứngdụng đạt được hiệu năng tốt hơn.

b. Phân tách câu tiếng Việt

Word Segmentation hay phân tách câu là một phần khá cơ bản trong các kỹthuật xử lý của NLP. Nhiệm vụ chính của phân tách câu là tách một đoạn, một chuỗicác ký tự (text) thành những từ (word hay token) riêng lẻ.

c. Phương pháp mơ hình ngơn ngữ

Một mơ hình ngơn ngữ cố nắm bắt trực giác của con người về một câu “tựnhiên” hoặc “không tự nhiên” do đó mơ hình ngơn ngữ có thể coi là giải pháp tối hậucho bài toán tách từ. Số cách tách từ cho một câu có thể rất lớn do tổ hợp lớn nên cầncó một bước xử lý để lọc ra một số lượng vừa đủ các cách tách từ làm đầu vào cho mơhình ngơn ngữ. Ví dụ như vnTokenizer sử dụng phương pháp đồ thị hóa trước khi ápdụng mơ hình ngơn ngữ.

d. Tự động thêm dấu

Chữ viết tiếng Việt là chữ viết có dấu thanh. Do đó, trong nhiều trường hợp nhưtìm kiếm, người dùng thông thường không gõ dấu thanh hay gõ sai dấu sẽ gây ranhững khó khăn cho việc máy tính hiểu ý nghĩa của chúng.

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 29<div class="page_container" data-page="29">

CHƯƠNG 2: CÁC PHƯƠNG PHÁP XÁC ĐỊNH MỨC ĐỘ TƯƠNGTỰ DỰA TRÊN TỪ NGỮ

2.1.Bài toán so sánh văn bản tiếng Việt

2.1.1. Phát biểu về bài tốn

Ngày nay, cơng nghệ càng phát triển thì máy tính càng trở thành một cơng cụhỗ trợ đắc lực đối với mỗi cá nhân trong công việc và học tập và do đó việc quản lý dữliệu văn bản dưới dạng điện tử cũng gây ra nhiều khó khăn. Trước tình trạng này, mộtvấn đề được đặt ra là làm thế nào để so sánh được giữa các văn bản này là giống haykhác nhau. Từ đó, bài toán so sánh độ tương đồng văn bản ra đời nhằm giải quyết vấnđề trên. Trong xử lý ngôn ngữ tự nhiên, đã có nhiều nghiên cứu, ứng dụng xây dựng hệthống đánh giá độ tương tự giữa các văn bản tiếng Anh đạt được thành tựu cao. Cácứng dụng, hệ thống hữu ích trong việc phát hiện sự vi phạm bản quyền tác giả nhưTurnitin, Writecheck, Grammarly, Plagium…

Đối với xử lý ngôn ngữ tiếng Việt, hiện nay cũng đã xuất hiện các nghiên cứuchúng song tỉ lệ này vẫn chiếm khá ít. Trong tiếng Anh, kho ngữ liệu hay mạng từtiếng Anh đã và đang phát triển rất tốt nên hiệu quả của các hệ thống so sánh đã cài đặtlà rất cao. Do đặc điểm của ngôn ngữ tiếng Việt có nhiều điểm khác với tiếng Anh nênviệc xử lý văn bản và xây dựng được kho ngữ liệu chuẩn và đầy đủ là một vấn đề khókhăn. Cho đến nay, các phương pháp đánh giá độ tương tự văn bản vẫn đang đượcnghiên cứu và phát triển.

2.1.2. Đặc điểm của ngôn ngữ tiếng Việt

2.1.2.1.Cấu tạo từ tiếng Việt

Nguyên tắc tách từ cho tiếng Việt xét các loại đơn vị từ vựng sau đây:

- Tiếng: là đơn vị cơ sở để cấu tạo nên từ, là đơn vị nhỏ nhất có nội dungđược thể hiện. Về mặt ý nghĩa, các tiếng có thể chia thành các loại như tiếngtự thân nó đã có ý nghĩa, tự thân nó khơng có ý nghĩa và thường đi với mộttiếng khác có nghĩa và làm thay đổi sắc thái của tiếng đó hay tiếng tự thânhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 30<div class="page_container" data-page="30">

nó khơng có ý nghĩa nhưng có thể ghép cặp với nhau để tạo thành từ cónghĩa.

- Từ, cụm từ:

Từ là đơn vị nhỏ nhất, cấu tạo ổn định, mang nghĩa hoàn chỉnh đượcdùng để cấu thành nên câu. Từ có thể làm tên gọi của sự vật (danh từ), chỉ cáchoạt động (động từ), trạng thái, tính chất (tính từ),... Từ là công cụ biểu thị kháiniệm của con người đối với hiện thực.

Từ là đơn vị ngôn ngữ độc lập, có sẵn, là chỉnh thể gồm hai mặt âm vànghĩa. Từ được cấu tạo từ một tiếng được gọi là từ đơn, từ được cấu tạo bởinhiều tiếng là từ ghép, giữa các tiếng có mối quan hệ về nghĩa.

Cụm từ là những kiến trúc gồm hai từ trở lên kết hợp với nhau theonhững quan hệ nhất định. Ví dụ:

+ Từ “mặt” là từ gồm một tiếng+ Từ “mặt trời” là từ gồm 2 tiếng

+ Cụm từ “khoa học xã hội” gồm 2 từ hay 4 tiếng.

- Câu: là một tập hợp từ, ngữ kết hợp với nhau theo những quan hệ cú phápxác định, được tạo ra trong q trình tư duy, giao tiếp, có giá trị thơng báovà gắn liền với mục đích giao tiếp.

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 31<div class="page_container" data-page="31">

Từ đồng âm khác nghĩa là những từ giống nhau về ngữ âm nhưng khác nhau vềý nghĩa của nhiều đơn vị ngơn ngữ riêng biệt. Hiện tượng đồng âm có thể xảy ra ởnhiều cấp độ khác nhau như ở cấp độ câu, cụm, từ nhưng phổ biến hơn là hiện tượngđồng âm ở cấp độ từ vì đơn vị ngơn ngữ càng ở cấp độ đơn giản thì hiện tượng đồngâm càng dễ xảy ra.

Ở cấp độ từ vựng, hai từ được gọi là đồng âm khi chúng có hình thức ngữ âmgiống nhau và nghĩa khác nhau. Ví dụ: đá (đá bóng), đá (hịn đá),...

Phân loại các từ đồng âm: căn cứ vào chỗ khác nhau về nghĩa từ vựng và phạmtrù ngữ pháp, từ đồng âm tiếng Việt được chia làm 2 loại:

- Từ đồng âm từ vựng: đường (đi), đường (ăn).

- Từ đồng âm từ vựng – ngữ pháp: câu (cá), câu (nói).Căn cứ vào nguồn gốc, từ đồng đồng âm được chia làm 3 loại:- Từ đồng âm ngẫu nhiên.

- Từ đồng âm tạo ra do sự diễn biến ngữ âm.

- Từ đồng âm tạo nên do sự phát triển và tách rời nghĩa của từ đa nghĩa.Hiện tượng đồng âm nói chung hay từ đồng âm nói riêng là một hiện tượng kháphổ biến trong tiếng Việt.

2.1.2.4.Đặc điểm chính tả

Chính tả là sự chuẩn hóa hình thức chữ viết của ngơn ngữ. Đó là một hệ thốngcác quy tắc về cách viết các âm vị, âm tiết, từ, cách dùng dấu câu, lối viết hoa,... Đặcđiểm chính tả tiếng Việt có ý nghĩa rất quan trọng trong các hệ thống xử lý dữ liệu vănbản. Một số đặc điểm chính tả tiếng Việt cần quan tâm như:

- Các tiếng đồng âm: kĩ/ kỹ, lí/ lý,... thường được sử dụng lẫn lộn nhau như kĩthuật, kỹ thuật, vật lý, vật lí,...

- Các từ địa phương: một số từ địa phương thường được sử dụng thay cho cáctừ phổ thơng như: ló/lúa, lạc/đậu phộng, dứa/thơm,...

- Vị trí dấu thanh: theo quy định đánh dấu trong tiếng Việt thì dấu được đặttrên ngun âm có điểm cao nhất. Tuy nhiên khi soạn thảo văn bản nhiều bộgõ khơng tn thủ ngun tắc này nên có hiện tượng dấu được đặt ở các vịtrí khác nhau, chẳng hạn như thúy, th, tốn, tóan, ...

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 32<div class="page_container" data-page="32">

- Cách viết hoa: theo quy định chữ cái đầu tiên và tên riêng phải viết hoa, tuynhiên vẫn còn một số trường hợp viết hoa không đúng quy tắc.

- Phiên âm nước ngoài: tồn tại các cách viết giữ nguyên gốc tiếng nước ngồivà phiên âm ra tiếng Việt. Ví dụ như vector/véc tơ, motor/mô tơ,...

- Từ gạch nối: do cách viết dấu gạch nối tùy tiện, không phân biệt được nốigiữa tên riêng hay chú thích.

- Ký tự ngắt câu: sử dụng nhiều các loại ký tự đặc biệt như “.”, “,” , “!”, “?”,“...” ngăn cách giữa các câu hoặc các vế trong câu ghép.

Hiện nay có khá nhiều cách mã hóa các kí tự tiếng Việt khác nhau, dẫn đến cónhiều bảng mã khác nhau được sử dụng khi trình bày văn bản và mỗi bảng mã có cácbộ phơng chữ tương ứng. Do các bảng mã chưa có sự thống nhất khi biểu diễn trênmáy tính nên việc thu thập, khai thác xử lý tiếng Việt gặp nhiều khó khăn, địi hỏi cáchệ thống xử lý tiếng Việt cần phải có bước tiền xử lý để nhận dạng và quy chuẩn các kítự về một bảng mã chung.

2.1.2.5.Tiền xử lý văn bản

Văn bản trước khi đưa vào mơ hình xử lý cần được tiền xử lý. Q trình này sẽgiúp nâng cao hiệu quả của mơ hình và giảm độ phức tạp của thuật tốn được cài đặtvì nó có nhiệm vụ làm giảm số từ có trong biểu diễn văn bản. Các bước xử lý văn bảngồm: tách từ, loại bỏ từ có tần số thấp và xác định từ đồng nghĩa.

a) Tách từ

Trong tiếng Việt, dấu cách (space) không được sử dụng như 1 kí hiệu để phântách từ, nó chỉ có ý nghĩa phân tách các âm tiết với nhau. Vì thế để xử lý tiếng Việt,công đoạn tách từ là 1 trong những bài tốn cơ bản và quan trọng nhất.

Ví dụ, từ “đất nước” được tạo ra từ 2 âm tiết “đất” và “nước”, cả 2 âm tiết nàyđều có nghĩa riêng khi chúng độc lập nhưng khi ghép lại sẽ mang một nghĩa khác. Dođó, tách từ trở thành một bài toán tiền đề cho các bài toán xử lý ngôn ngữ tự nhiênkhác như phân loại văn bản, so sánh văn bản, tóm tắt văn bản, máy dịch tự động.

Tách từ chính xác là một việc rất quan trọng, nếu khơng chính xác rất có thểdẫn đến câu được hiểu sai ý nghĩa và ảnh hưởng đến tính chính xác của chương trình.hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 33<div class="page_container" data-page="33">

Việc này có nhiệm vụ xác định các từ có trong văn bản và đưa ra một tập các từ riêngbiệt. Các trường hợp như số, dấu ngoặc, dấu chấm câu thường bị loại ra trong khi phântích vì một mình nó khơng mang lại ý nghĩa nào cho tài liệu (ngoại trừ một số trườnghợp đặc biệt, ví dụ như thu thập thông tin về lĩnh vực lịch sử). Tuy nhiên trong một sốtrường hợp như đối với những từ ghép nối (state-of-art) khơng được phép bỏ dấu “-“ vìsẽ làm thay đổi nghĩa của từ.

Hiện nay, đã có nhiều cơng trình nghiên cứu xây dựng mơ hình tách từ tiếngViệt và đã đạt được kết quả chính xác cao như mơ hình tách từ bằng WFST (WeightedFinite-State Transducers) và mạng Neural đã được sử dụng trong cơng trình của tác giảĐình Điền (2021). Công cụ tách từ JvnTextPro hay vnTokenizer. Bài tốn tách từ gồmhai hướng đó là dựa trên từ và dựa trên kí tự.

o Hướng tiếp cận dựa trên từ điển: ý tưởng của hướng tiếp cận này lànhững cụm từ được tách ra từ văn bản phải được so khớp với các từhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 34<div class="page_container" data-page="34">

trong từ điển. Do đó trong hướng tiếp cận này địi hỏi từ điển riêngcho từng lĩnh vực quan tâm.

o Hướng tiếp cận theo Hybrid: với mục đích kết hợp các hướng tiếpcận khác nhau để thừa hưởng được các ưu điểm của nhiều kỹ thuật vàcác hướng tiếp cận khác nhau nhằm nâng cao kết quả. Hướng tiếpcận này thường kết hợp giữa hướng dựa trên thống kê và dựa trên từđiển nhằm tận dụng các mặt mạnh của các phương pháp này. Tuynhiên, hướng tiếp cận Hybrid lại mất nhiều thời gian xử lý, khơnggian đĩa và địi nhiều chi phí.

- Hướng tiếp cận dựa trên kí tự: có thể được chia làm 2 nhóm nhỏ là uni-gramvà n-gram.

o Trong tiếng Việt, hình vị nhỏ nhất là “tiếng” được hình thành bởinhiều kí tự trong bảng chữ cái. Hướng tiếp cận này đơn thuần rúttrích ra một số lượng nhất định các tiếng trong văn bản như rút tríchtừ 1 ký tự (uni-gram) hay nhiều ký tự (n-gram). Theo nghiên cứu thìhướng tiếp cận dựa trên nhiều ký tự có ưu điểm nổi bật hơn. Nó đơngiản, dễ ứng dụng, ngồi ra cịn đỡ tốn chi phí cho thao tác tạo chỉmục và xử lý nhiều câu truy vấn.

- Một số phương pháp tách từ hiện nay:

o Phương pháp Maximum Matching: Forward/Backward

Phương pháp khớp tối đa (MM – Maximum Matching): ở phương pháp này,chúng ta sẽ duyệt một ngôn ngữ hoặc một câu từ trái sang phải và chọn từ có nhiều âmtiết nhất có mặt trong từ điển và cứ thực hiện lặp như vậy cho đến hết câu.

Dạng đơn giản của phương pháp dùng để giải quyết sự nhập nhằng từ đơn. Giảsử chúng ta có một chuỗi ký tự C1, C2, … Cn. Chúng ta sẽ áp dụng phương pháp từ đầuchuỗi. Đầu tiên kiểm tra xem C1có phải là từ hay khơng, sau đó kiểm tra xem C1C2cóphải là từ hay khơng. Tiếp tục thực hiện như thế cho đến khi tìm được từ dài nhất.

Dạng phức tạp: quy tắc của dạng này là phân đoạn từ. Thơng thường người tachọn phân đoạn 3 từ có chiều dài tối đa. Thuật toán bắt đầu từ dạng đơn giản, cụ thể lànếu phát hiện ra những cách tách từ gây nhập nhằng, như ví dụ ở trên, giả sử C1là từhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 35<div class="page_container" data-page="35">

và C1C2cũng là một từ, khi đó chúng ta kiểm tra ký tự kế tiếp trong chuỗi C1, C2, …Cnđể tìm tất cả các đoạn có 3 từ bắt đầu với C1hoặc C1C2.

Phương pháp này thực hiện tách từ đơn giản, nhanh và chỉ cần dựa vào từ điểnđể thực hiện. Và vì độ chính xác khi thực hiện tách từ phụ thuộc hồn tồn vào tính đủ,tính chính xác của từ điển nên nó cũng trở thành một vấn đề đáng quan tâm.

o Phương pháp Transformation-based Learning (TBL)

Phương pháp này tiếp cận dựa trên tập ngữ liệu đã đánh dấu. Theo cách tiếp cậnnày để cho máy tính có thể nhận biết ranh giới giữa các từ để có thể tách từ chính xác,chúng ta sẽ cho máy học các câu mẫu trong tập ngữ liệu đã được đánh dấu ranh giớigiữa các từ đúng. Với phương pháp này, chúng ta chỉ cần cho máy học tập các mẫu câuvà sau đó máy sẽ tự rút ra quy luật của ngôn ngữ và để từ đó sẽ áp dụng chính xác khicó những câu đúng theo quy luật mà máy đã rút ra. Và rõ ràng để tách từ được hồntồn chính xác trong mọi trường hợp thì địi hỏi cần phải có một tập ngữ liệu tiếng Việtthầy đầy đủ và phải được huấn luyện lâu để có thể rút ra các luật đầy đủ.

o Mơ hình tách từ bằng WFST và mạng Neural

Mơ hình mạng chuyển dịch trạng thái hữu hạn có trọng số WFST – WeightedFinite-State Transducers đã được áp dụng trong tách từ từ năm 1996. Ý tưởng cơ bảnlà áp dụng WFST với trọng số là xác suất xuất hiện của mỗi từ trong kho ngữ liệu.Dùng WFST để duyệt qua các câu cần xét, khi đó từ có trọng số lớn nhất là từ đượcchọn để tách. Phương pháp này cũng đã được sử dụng trong cơng trình đã được cơngbố của tác giả Đình Điền, tác giả đã sử dụng WFST để tách từ và xử lý các vấn đề liênquan đến một số đặc thù riêng của ngôn ngữ tiếng Việt như từ láy, tên riêng,… và tầngmạng Neural dùng để khử nhập nhằng về ngữ nghĩa sau khi đã tách từ.

o Phương pháp tách từ tiếng Việt dựa trên thống kê từ Internet vàthuật giải di truyền

Phương pháp tách từ tiếng Việt dựa trên thống kê từ Internet và thuật toán giảithuật di truyền – IGATEC (Internet and Genetics Algorithm based Text Categorizationfor Documents in VietNamese) do H.Nguyễn đề xuất năm 2005 như một hướng tiếpcận mới trong tách từ với mục đích phân loại văn bản mà không cần dùng đến một từhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 36<div class="page_container" data-page="36">

điển hay tập ngữ liệu học nào. Trong hướng tiếp cận này, tác giả kết hợp giữa thuậttoán di truyền với dữ liệu thống kê được lấy từ Internet.

o Sự nhập nhằng trong tách từ tiếng Việt

Nhập nhằng chồng chéo: chuỗi “abcd” được gọi là nhập nhằng chồng chéo nếunhư từ “abc”, “bcd” đều xuất hiện trong từ điển, ví dụ trong câu “Chiếc ơ tơ màu đỏ”thì chuỗi “Chiếc ơ tơ” nhập nhằng chồng chéo vì các từ “chiếc ơ” và “tơ màu” đều cótrong từ điển.

Nhập nhằng kết hợp: chuỗi “abcd” gọi là nhập nhằng kết hợp nếu các từ thànhphần “ab”, “cd”, “abcd” đều xuất hiện trong từ điển.

b) Loại bỏ từ dừng (stop words)

Từ dừng là những từ xuất hiện nhiều trong ngôn ngữ tự nhiên, tuy nhiên lạikhông mang nhiều ý nghĩa. Trong tiếng Việt từ dừng là những từ như: “như vậy”, “sauđó”, “một số”, “chỉ”,…

Có rất nhiều cách để loại bỏ từ dừng nhưng có 2 cách chính là dùng từ điển vàdựa theo tần suất xuất hiện của từ.

Với phương pháp dùng từ điển: cách này đơn giản nhất, chúng ta tiến hành việclọc văn bản, loại bỏ những từ xuất hiện trong StopWords.

Với phương pháp dựa theo tần suất xuất hiện của từ chúng ta tiến hành đếm sốlần xuất hiện của từng từ trong data, sau đó sẽ loại bỏ những từ xuất hiện nhiều lần(cũng có thể là ít lần).

2.1.2.6.Biểu diễn văn bản

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 37<div class="page_container" data-page="37">

Sau khi văn bản được tiền xử lý ta sử dụng các phương pháp để biểu diễn đặctrưng của văn bản. Tùy theo thuật toán được áp dụng để so sánh văn bản mà ta lựachọn cách biểu diễn phù hợp. Phổ biến nhất là phương pháp biểu diễn văn bản bằngvector.

2.2.Độ tương đồng văn bản về mặt từ ngữ (Text Similarity)

2.2.1. Các thuật toán chuyển đổi văn bản sang Embedding.

Word Embedding – Vector hóa văn bản: là một bước quan trọng trong bất kỳbài toán nào của NLP. Thơng thường, máy tính khơng thể hiểu được ý nghĩa của cáctừ. Vì vậy, để xử lý được ngơn ngữ tự nhiên, ta cần có một phương pháp để biểu diễnvăn bản dưới dạng mà máy tính có thể hiểu được. Phương pháp tiêu chuẩn để biểudiễn văn bản đó là biểu diễn các văn bản theo dạng vector. Trong đó, các từ, cụm từthuộc kho tài liệu ngơn ngữ ánh xạ thành những vector trên hệ không gian số thực. Tacó thể chia các phương pháp Vector hóa văn bản thành hai nhóm chính: phương phápWord Embedding cổ điển và Neural Embedding (Vector hóa văn bản theo phươngpháp mạng nơ-ron).

- Phương pháp Word Embedding cổ điển: Bag of Words (BoW), TF-IDF,Distributional Embedding.

- Phương pháp Neural Embedding: Word2Vec, Glove, FastText

2.2.1.1.Bag of Words (BoW)

Đây là cách biểu diễn vector truyền thống phổ biến nhất được sử dụng, mỗi từhoặc n-gram từ sẽ được mơ tả là một vector có số chiều bằng đúng số từ trong bộ từvựng. Tại vị trí tương ứng với vị trí của từ đó trong túi từ, phần tử vector đó sẽ đượcđánh dấu là “1”. Những vị trí cịn lại sẽ được đánh dấu là “0”.

TF-IDF là viết tắt của Term frequency-inverse document frequency Nó là mộtcông cụ vector văn bản chuyển văn bản thành dạng vector. Nó là sự kết hợp của tầnsuất thuật ngữ và tần suất tài liệu nghịch đảo.

TF-IDF được tính theo công thức sau:

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 38<div class="page_container" data-page="38">

IDF (Inverse Document Frequency) của một từ là thước đo mức độ quan trọngcủa thuật ngữ đó trong tồn bộ ngữ liệu, tập văn bản (corpus). Mỗi từ chỉ có một giá trịIDF duy nhất trong tập văn bản.

IDF(t, D) = log | 𝑑 ∊ 𝐷 : 𝑡 ∊ 𝑑{ |𝐷| }|Trong đó: |D| : tổng số văn bản trong tập D

: số văn bản chứa từ nhất định, với điều kiện t| 𝑑 ∊ 𝐷 : 𝑡 ∊ 𝑑{ }|

xuất hiện trong văn bản. Nếu từ đó khơng xuất hiện ở bất cứ một văn bản nàotrong tập thì mẫu số sẽ bằng 0 phép chia cho 0 không hợp lệ, lúc đó người tathường thay mẫu bằng biểu thức: 1 +| 𝑑 ∊ 𝐷 : 𝑡 ∊ 𝑑{ }|.

Ví dụ: Nếu từ “thương mại” xuất hiện 50 lần trong tài liệu 1000 từ. Và nếu có10000 tài liệu, từ “thương mại” xuất hiện trong 500 tài liệu. Thì lúc này:

TF của “thương mại” là: 50/1000 = 0.05IDF: log(10000/500) = 1.3

TF-IDF của “thương mại” là: 0.05*1.3 = 0.065.

Những từ có giá trị TF-IDF cao là những từ xuất hiện nhiều trong văn bản nàyvà ít xuất hiện trong văn bản khác. Việc này giúp lọc ra những từ phổ biến và giữ lạinhững từ có giá trị cao ( từ khóa của văn bản đó).

TF-IDF được nghiên cứu dựa trên logic rằng nếu từ một cụ thể có tần suất xuấthiện rất cao hoặc xuất hiện rất thấp, thì trong cả hai trường hợp này từ đó khơng có ýnghĩa đối với việc tìm kiếm bất kỳ thơng tin có ý nghĩa nào. Vì vậy, giá trị cao hơn củaTF-IDF mô tả ý nghĩa cao hơn của các từ trong khi giá trị thấp hơn biểu thị ý nghĩathấp hơn.

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 39<div class="page_container" data-page="39">

Word2vec là một loại mơ hình nhúng từ sử dụng mạng nơ-ron để lấy biểu diễnnhúng của các từ trong kho ngữ liệu (tập hợp tài liệu). Word2vec có khả năng nắm bắtrất tốt ý nghĩa ngữ cảnh của các từ. Nhúng từ (word embedding) là một biểu diễnvector n chiều của một thuật ngữ sao cho thuật ngữ tương tự có khơng gian vectortương tự dựa trên dữ liệu huấn luyện.

Word2vec chủ yếu sử dụng hai loại kiến trúc để tạo biểu diễn vector của các từđó là CBOW và Skip-gram. Cả hai phương pháp này đều lấy đầu vào là biểu diễn mãhóa duy nhất của các từ. Để có được biểu diễn này, bàn chỉ cần xây dựng một vectorcó kích thước bằng số từ duy nhất trong kho ngữ liệu của bạn, sau đó mỗi từ sẽ đượcbiểu diễn dưới dạng một vị trí cụ thể và các số khơng ở tất cả các vị trí khác củavector.

Ví dụ: giả sử kho ngữ liệu của chúng ta chỉ có 3 từ: ơ tơ, hoa, cà phê. Ta có thểđại diện cho chúng là:

ô tô: [1, 0, 0]hoa: [0, 1, 0]cà phê: [0, 0, 1]

Trong word2vec không quan tâm đến đầu ra của mơ hình mà chỉ quan tâm đếntrọng số của lớp ẩn. Các trọng số đó sẽ là các phần nhúng của các từ.

Ý tưởng cơ bản của word2vec có thể được gói gọn trong các ý sau:

o Hai từ xuất hiện trong những văn cảnh giống nhau thường có ý nghĩagần với nhau.

o Có thể đốn được một từ nếu biết các từ xung quanh nó trong câu. Ví dụ,với câu “Con hổ là một lồi … ăn thịt” thì từ trong dấu ba chấm có khảnăng cao là “động vật”. Với câu hoàn chỉnh “Con hổ là một lồi động vậtăn thịt”, mơ hình word2vec sẽ xây dựng ra embedding của các từ sao choxác suất để từ trong dấu ba chấm là “động vật” là cao nhất.

Trong ví dụ trên, “động vật” đang được xét và được gọi là target word hay từđích. Những từ xung quanh nó cịn được gọi là context words hay từ ngữ cảnh. Vớimỗi từ đích trong một câu của cơ sở dữ liệu, các từ ngữ cảnh được định nghĩa là các từhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhhghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihh852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM852413069:14:33 PM9:14:33 PM

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>Trang 40<div class="page_container" data-page="40">

trong cùng câu có vị trí cách từ đích một khoảng khơng q C/2 với C là một số tựnhiên dương.

Cách truyền thống để thể hiện một từ là dùng one-hot vector.

CBOW phù hợp với các bộ dữ liệu lớn khi mà số mẫu huấn luyện được tạo ra từngữ cảnh (chỉ là một) ít hơn nhiều so với Skip-gram (tỉ lệ với kích thước cửa sổ ngữcảnh). CBOW biểu diễn tốt hơn các từ xảy ra thường xuyên.

85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM85Thursday, June 13, 20249:14:34 PM9:14:34 PM

85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM85Thursday, June 13, 20249:14:35 PM9:14:35 PM

85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM85Thursday, June 13, 20249:14:36 PM9:14:36 PM

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

</div>

phương pháp xác định độ tương tự giữa hai văn bản

<b>HỌC VIỆN CƠNG NGHỆ BƯU CHÍNH VIỄN THÔNG</b>

<b>ĐỒ ÁN</b>

<b>TỐT NGHIỆP ĐẠI HỌCĐỀ TÀI NGHIÊN CỨU:</b>

<b>“PHƯƠNG PHÁP XÁC ĐỊNH ĐỘ TƯƠNG TỰ GIỮA HAI VĂN BẢN.”</b>

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

<b>HỌC VIỆN CÔNG NGHỆ BƯU CHÍNH VIỄN THƠNG</b>

<b>ĐỒ ÁN</b>

<b>TỐT NGHIỆP ĐẠI HỌCĐỀ TÀI NGHIÊN CỨU:</b>

<b>“PHƯƠNG PHÁP XÁC ĐỊNH ĐỘ TƯƠNG TỰ GIỮA HAI VĂN BẢN.”</b>

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

<b>LỜI CẢM ƠN</b>

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

<b>DANH MỤC TỪ VIẾT TẮT</b>

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

<b>DANH MỤC HÌNH ẢNH</b>

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

<b>TỔNG QUAN ĐỀ TÀI</b>

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

<b>CHƯƠNG 1: TỔNG QUAN VỀ ĐỘ TƯƠNG TỰ GIỮA HAI VĂNBẢN</b>

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

<b>CHƯƠNG 2: CÁC PHƯƠNG PHÁP XÁC ĐỊNH MỨC ĐỘ TƯƠNGTỰ DỰA TRÊN TỪ NGỮ</b>

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

85hghieh euu eohg tae ke toah bah hahg va xae dihh ket pua kihh dochh tai eohg ty thhh mtv vah dchh hoc bihhThursday, June 13, 2024

Tài liệu liên quan

Tài liệu bạn tìm kiếm đã sẵn sàng tải về