Nghiên cứu phương pháp học máy có giám sát để phân loại văn bản tại văn phòng tỉnh quảng ngãi

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM ĐÀ NẴNG

TƠ TRẦN VÂN THẢO

NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY
CĨ GIÁM SÁT ĐỂ PHÂN LOẠI VĂN BẢN TẠI
VĂN PHÒNG TỈNH QUẢNG NGÃI

LUẬN VĂN THẠC SĨ
HỆ THỐNG THÔNG TIN

Đà Nẵng - Năm 2019


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM ĐÀ NẴNG

TƠ TRẦN VÂN THẢO

NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY
CĨ GIÁM SÁT ĐỂ PHÂN LOẠI VĂN BẢN TẠI
VĂN PHÒNG TỈNH QUẢNG NGÃI

Chuyên ngành: Hệ thống thông tin
Mã số: 8480104

LUẬN VĂN THẠC SĨ

Người hướng dẫn khoa học:
TS.NGUYỄN THỊ NGỌC ANH

Đà Nẵng - Năm 2019


i
LỜI CAM ĐOAN
Tôi xin cam đoan:
Tôi cam đoan đây là cơng trình nghiên cứu của bản thân.
Các số liệu, kết quả trình bày trong luận văn là trung thực. Những tư liệu
được sử dụng trong luận văn có nguồn gốc và trích dẫn rõ ràng, đầy đủ.
Tác giả luận văn

Tơ Trần Vân Thảo


ii
LỜI CẢM ƠN
Lời đầu tiên tôi xin gửi lời cảm ơn chân thành đến các quý thầy cô giáo, Khoa
chuyên ngành Công nghệ thông tin, Trường Đại học Sư Phạm đã tận tình giảng dạy,
truyền đạt những kiến thức, kinh nghiệm quý báu trong suốt thời gian tôi theo học
tại chương trình. Các kiến thức, kinh nghiệm quý báu của các thầy cơ giáo khơng
chỉ giúp cá nhân tơi hồn thiện hệ thống kiến thức trong học tập mà còn giúp tơi
ứng dụng các kiến thức đó trong cơng việc hiện tại.
Đặc biệt, tôi xin gởi lời cảm ơn chân thành và sâu sắc nhất đến cô giáo của tôi
là TS. Nguyễn Thị Ngọc Anh, người Thầy đã tận tình hướng dẫn và tạo điều kiện
tốt nhất để tơi hồn thành luận văn này.
Tơi cũng xin được bày tỏ tình cảm với gia đình, đồng nghiệp, bạn bè đã tạo
điều kiện để tơi có thể dành thời gian cho khóa học. Xin chân thành cảm ơn các anh
chị em trong lớp K34 đã ln hỗ trợ tơi trong q trình học tập để có được kết quả
như ngày hơm nay, tôi sẽ nhớ mãi về lớp K34 thân thương này.

Tuy có nhiều cố gắng, nhưng chắc chắn luận văn khơng tránh khỏi những
thiếu sót nhất định. Tơi rất mong nhận được ý kiến đóng góp quý báu của các quý
thầy cô giáo và các anh chị, các bạn để luận văn ngày càng được hoàn thiện hơn.
Trân trọng cảm ơn!
Đà Nẵng, ngày tháng
năm 2019
Tác giả

TÔ TRẦN VÂN THẢO


iii
TÓM TẮT
NGHIÊN CỨU PHƯƠNG PHÁP HỌC MÁY
CÓ GIÁM SÁT ĐỂ PHÂN LOẠI VĂN BẢN TẠI VĂN PHÒNG TỈNH QUẢNG NGÃI
Nghành: Hệ Thống Thông Tin.
Họ tên học viên: Tô Trần Vân Thảo
Người hướng dẫn khoa học: TS. Nguyễn Thị Ngọc Anh.
Cơ sở đào tạo: Trường Đại học Sư Phạm – ĐH Đà Nẵng.
Tóm tắt
Luận văn này đi sâu vào nghiên cứu tổng quan về phân lớp và phân loại văn bản tiếng việt với bài
toán được áp dụng cho việc phân loại văn bản hành chính tại văn phịng tỉnh Quảng Ngãi.Chương
trình được viết trên ngơn ngữ c# trong bộ Microsoft Visual Studio Community 2017, tích hợp
module tiền xử lý văn bản và module phân lớp (SVM). Cụ thể, luận văn thực hiện những bước cơ
bản sau: nghiên cứu một số thuật tốn phân loại như KNN, Nạve Bayes và SVM từ đó đưa ra bài
tốn áp dụng vào phân loại văn bản trong lĩnh vực hành chính; xây dựng từ điển áp dụng vào việc
tách từ; xây dựng tập dữ liệu nhãn/lớp áp dụng vào việc huấn luyện; xây dựng chương trình thực
nghiệm cho việc phân loại văn bản.
Từ khóa: Xư lý văn bản; mơ hình học có giám sát; SVM; Hàm nhân Kernel; Siêu phẳng tối ưu;
Xác nhận của giáo viên hướng dẫn

Người thực hiện đề tài

'�1.
(1&-t�<
------161,Qcirv \l&v'�

��
STUDYING MACHINE LEARNING METHOD
�-STUDYIN�

MONITORING TO DISTRIBUTE TEXT CATEGORIES IN
QUANG NGAI PROVINCE
Specialized: Information System
Full name of master student: To Tran Van Thao
Supervisors: Dr. Nguyen Thi Ngoc Anh.
Tranning institution: University Of Science And Education – The University Of Da Nang
Abtract
This dissertation goes into the research and overview of classification and classification of
Vietnamese texts with problems such as classification of electronic news, classification of
documents in finance, banking, spam redistribution ... . The program is written in the c # language
in Microsoft Visual Studio Community 2017, integrating the preprocessing module and the layered
module (SVM).
- Studying some classification algorithms such as KNN, Naïve Bayes and SVM, thereby giving the
problem of applying to classification of documents in the administrative field.
- Develop a dictionary to apply to the separation.
- Build label / class data set applied to training.
- Develop an experimental program for text classification.
Key words: Keywords: SVM; Kernel kernel; Optimal super flat;
Supervior’s confirmation
Student

!fatHh,

16 1;.6'-;., V&v '\h�


iv
MỤC LỤC
MỞ ĐẦU .................................................................................................................... 1
1. Lý do chọn đề tài ............................................................................................ 1
2. Mục đích nghiên cứu ...................................................................................... 2
3. Mục tiêu nghiên cứu ....................................................................................... 2
4. Đối tượng và phạm vi nghiên cứu .................................................................. 2
5. Phương pháp nghiên cứu ................................................................................ 2
6. Ý nghĩa khoa học và thực tiễn của luận văn................................................... 3
7. Nội dung luận văn .......................................................................................... 3
CHƯƠNG 1. NGHIÊN CỨU TỔNG QUAN .......................................................... 5
1.1. Tổng quan về học máy ....................................................................................... 5
1.1.1. Khái niệm về học máy .............................................................................. 5
1.1.2. Phân loại phương pháp học máy .............................................................. 5
1.1.3. Các ứng dụng của học máy ...................................................................... 8
1.2. Tổng quan về phân lớp dữ liệu ......................................................................... 8
1.2.1. Giới thiệu về phân lớp .............................................................................. 8
1.2.2. Các loại phân lớp dữ liệu .......................................................................... 9
1.3. Phân lớp văn bản ................................................................................................ 9
1.3.1. Khái niệm ................................................................................................. 9
1.3.2. Định nghĩa phân lớp văn bản.................................................................. 11
1.3.3. Mơ hình phân lớp văn bản ...................................................................... 11
1.3.4. Các bước xây dựng bộ phân lớp văn bản ............................................... 12
1.3.5. Các bước tiền xử lý dữ liệu .................................................................... 13

1.3.6. Phương pháp tách từ tiếng Việt .............................................................. 14
1.3.7. Loại bỏ từ dừng ...................................................................................... 14
1.3.8. Phương pháp biểu diễn văn bản ............................................................. 16
1.4. Các cơng trình liên quan đến vấn đề xử lý ngôn ngữ tự nhiên và phân lớp
văn bản ..................................................................................................................... 18
CHƯƠNG 2. KHÁI QT MƠ HÌNH HỌC MÁY SUPPORT VECTOR
MACHINES (SVM) ................................................................................................ 21
2.1. Ngôn ngữ tiếng Việt ......................................................................................... 21
2.2. Khái niệm về văn bản quản lý nhà nước ....................................................... 22
2.2.1. Văn bản quản lý nhà nước ...................................................................... 22
2.2.2. Văn bản quản lý hành chính nhà nước ................................................... 22


v
2.2.3. Phân loại văn bản quản lý nhà nước ....................................................... 22
2.2.4. Ngơn ngữ trong văn bản hành chính ...................................................... 23
2.3. Bộ phân loại Support Vector Machines (SVM) ............................................ 23
2.3.1. Siêu phẳng tối ưu .................................................................................... 25
2.3.2. Phân lớp mềm ......................................................................................... 28
2.3.3. Trường hợp phân tách phi tuyến ............................................................ 33
2.3.4 Một số hàm nhân (Kernel) thông dụng ................................................... 34
2.3.5. Phương pháp tách từ ............................................................................... 35
2.3.6. Phương pháp Kiểm tra chéo (cross validation) ...................................... 35
2.3.7. Các yếu tố tác động đến kết quả phân loại văn bản: .............................. 36
2.4. Kết luận chương 2 ............................................................................................ 36
CHƯƠNG 3. XÂY DỰNG CHƯƠNG TRÌNH THỬ NGHIỆM TRONG BÀI
TỐN HỌC MÁY CĨ GIÁM SÁT ĐỂ PHÂN LOẠI VĂN BẢN TẠI VĂN
PHỊNG TỈNH ......................................................................................................... 37
3.1. Bài tốn phân lớp tại Văn phòng tỉnh Quảng Ngãi ...................................... 37
3.1.1. Phát biểu bài toán ................................................................................... 37

3.1.2. Phương pháp phân lớp SVM .................................................................. 38
3.1.3. Mơ hình SVM cho bài tốn phân lớp văn bản ....................................... 38
3.2. Xây dựng chương trình thử nghiệm ............................................................... 42
3.2.1. Môi trường thực nghiệm......................................................................... 42
3.3.2 Thư viện nguồn hỗ trợ ............................................................................. 42
3.2.3. Dữ liệu và chương trình.......................................................................... 42
3.2.4. Xây dựng bộ từ điển danh từ .................................................................. 44
3.2.5. Giao diện chương trình ........................................................................... 45
3.2.6. Các bước sử dụng chương trình thử nghiệm .......................................... 45
3.2.7. Kết quả phân loại văn bản ...................................................................... 48
3.3. Đánh giá kết quả thực nghiệm ........................................................................ 49
TÀI LIỆU THAM KHẢO
QUYẾT ĐỊNH GIAO DỀ TAI (BẢN SAO)


vi
DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
Ký hiệu

Thuật ngữ

CNTT

Công nghệ thông tin

CPU

Central Processing Unit

CSDL

Cở sở dữ liệu

CV

Corters và Vapnik

IDF

Inverse Document Frequency

KKT

Karush-Kuhn-Tucker

KNN

K-nearest neighbors (K láng giềng gần nhất)

ML

Machine Learning

NB

Naïve Bayes

RBF

Radial Basic Function

RFC

Relative Frequency Count

TB

Terabyte (thuật ngữ đo lường để chỉ dung lượng lưu trữ máy tính)

TF

Term Frequency

TF –
IDF

Term frequency – inverse document frequency

SVM

Support Vector Machines (Máy vector hỗ trợ)


vii
DANH MỤC CÁC BẢNG
Số hiệu
bảng

Tên bảng

Trang

3.1.

Cho một tập dữ liệu văn bản

40

3.2.

Biểu diễn văn bản dưới dạng từ điển.

42

3.3.

Thiết bị thực nghiệm

42

3.4.

Thư viện nguồn hỗ trợ

42

3.5.

Dữ liệu học và kiểm tra

43

3.6.

Tập số lượng dữ liệu huấn luyện

43

3.7.

Tập số lượng dữ liệu kiểm thử

44

3.8.

Gán nhãn từ loại

44


viii
DANH MỤC CÁC HÌNH VẼ
Số hiệu
hình

Tên hình

Trang

1.1.

Mơ hình thuật tốn học máy có giám sát

6

1.2.

Hoạt động của một bộ phân loại trên một tập các tài liệu

10

1.3.

Sơ đồ khung một hệ thống phân lớp văn bản

12

1.4.

Mô tả bước xây dựng bộ phân lớp

13

1.5.

Mơ hình khơng gian vector

18

2.1.

Mơ hình SVM

24

2.2.

Biểu diễn siêu phẳng lề cực đại cho bộ phân lớp SVM
trên hai lớp

26

2.3.

Siêu phẳng tách tuyến tính

27

2.4.

Phân lớp mềm

29

2.5.

Ánh xạ dữ liệu vào không gian khác với số chiều cao hơn

33

3.1.

Mô hình bài tốn phân lớp văn bản dữ liệu văn bản hành
chính

39

3.2.

Mơ hình q trình tiền xử lý

39

3.3.

Giao diện chương trình

45

3.4

Dữ liệu từ điển

46


1

MỞ ĐẦU

1. Lý do chọn đề tài
Hiện nay một lượng lớn dữ liệu văn bản có sẵn về các lĩnh vực khác nhau đã
được thu thập, lưu trữ. Việc phân loại văn bản là tiến trình xếp các tài liệu văn bản vào
trong một hoặc nhiều các tài liệu vào nhóm các chủ đề, để sử dụng nó là vấn đề ngày
càng trở nên cần thiết. Vì thế, vấn đề phân lớp và dự đoán là khâu rất quan trọng trong
học máy và trong khai phá dữ liệu. Một trong những công cụ được đánh giá mạnh và
tinh vi cho những bài tốn phân lớp phi tuyến đó là kỹ thuật Support Vector Machines
(SVM) do Corters và Vapnik giới thiệu vào năm 1995[14]. Nhiều ứng dụng đã và
đang được xây dựng dựa trên kỹ thuật SVM rất hiệu quả. SVM là mơ hình xây dựng
một siêu phẳng hoặc một tập hợp các siêu phẳng trong một không gian nhiều chiều
hoặc vơ hạn chiều, có thể được sử dụng cho phân loại, hồi quy, hoặc các nhiệm vụ
khác. Trong nhiều trường hợp, không thể phân chia các lớp dữ liệu một cách tuyến
tính trong một khơng gian ban đầu được dùng để mơ tả một vấn đề. Vì vậy, nhiều khi
cần phải ánh xạ các điểm dữ liệu trong không gian ban đầu vào một không gian mới
nhiều chiều hơn, để việc phân tính chúng trở nên dễ dàng hơn trong không gian mới.
Gần đây, các nhà nghiên cứu đã thực hiện sử dụng các kỹ thuật học máy để kết
hợp tự động phân loại các tài liệu bằng cách đầu tiên sử dụng một tập huấn luyện để
thông qua bộ phân loại tới tập đặc trưng của tập tài liệu. Quy trình học máy được khởi
tạo bởi một một sự kiểm tra các tài liệu mẫu để quyết định tập đặc trưng tối thiểu mà
sinh ra các kết quả phân loại mong muốn. Trong giai đoạn huấn luyện có thể được
giám sát hoặc không giám sát. Trong cả hai trường hợp một tập các phân loại được
định nghĩa một quyền ưu tiên, khơng giống phân nhóm mà định nghĩa các phân loại
dựa trên đặc trưng của các tài liệu thực sự. Các kỹ thuật học không giám sát sử dụng
các đặc trưng của các tài liệu huấn luyện để cho giải thuật quyết định phân loại mỗi tài
liệu thuộc vào. Các kỹ thuật học có giám sát sử dụng một tập các tài liệu huấn luyện
mà đã được kết hợp trong một phân loại để quyết định tập đặc trưng nào của các tài
liệu sẽ tạo ra kết quả mong muốn.
Tại Văn phòng tỉnh Quảng Ngãi theo thống kê số lượng văn bản hành chính được
ban hành mỗi năm khoảng 10 nghìn văn bản các loại chưa tính các loại văn bản đến
đơn vị. Hạ tầng công nghệ thông tin tại Văn phòng được đầu tư từ năm 2001 theo Đề

án Tin học hóa quản lý hành chính nhà nước của Chính phủ. Đến nay, CSDL văn bản
được lưu giữ trên 30 triệu dữ liệu. Theo Nghị định Chính phủ yêu cầu cung cấp thông


2
tin trực tuyến trên Cổng thông tin điện tử của các tỉnh, Văn phòng chỉ mới cung cấp
CSDL văn bản từ năm 2010, việc phân loại các văn bản vào các nhóm chỉ dừng ở mức
độ theo loại văn bản chưa phân loại được theo các lĩnh vực, để thuận lợi cho việc tra
cứu, sắp xếp, lưu trữ…Do vậy, cần phải có hệ thống xử lý văn bản hiệu quả và phương
pháp học máy để tận dụng được các nguồn dữ liệu văn bản chưa được phân loại tại
Văn phòng. Nhận thấy đây là lĩnh vực mang tính khoa học cao, ứng dụng rất nhiều
trong các bài toán thực tế.
Với những vấn đề nêu trên tôi chọn đề tài “Nghiên cứu phương pháp học máy
để phân loại văn bản tại Văn phòng tỉnh Quảng Ngãi” làm chủ đề nghiên cứu tại
luận văn này.
2. Mục đích nghiên cứu
Nghiên cứu kỹ thuật học máy và một số giải thuật thường sử dụng trong học
máy, ứng dụng kỹ thuật học.
3. Mục tiêu nghiên cứu
- Nghiên cứu kỹ thuật xử lý ngôn ngữ tiếng Việt.
- Xây dựng kho dữ liệu huấn luyện để ứng dụng vào bài toán phân loại văn bản.
- Ứng dụng kỹ thuật học máy vào bài toán phân loại văn bản tại Văn phòng tỉnh
Quảng Ngãi.
4. Đối tượng và phạm vi nghiên cứu
Trong khuôn khổ luận văn thuộc loại nghiên cứu và ứng dụng, đề tài chỉ giới hạn
nghiên cứu các vấn đề sau:
- Các vấn đề liên quan đến học máy.
- Các tài liệu, văn bản dạng text chuẩn tiếng Việt khơng có hình ảnh hoặc âm
thanh.
- Nghiên cứu phương pháp học để giải quyết bài toán phân loại văn bản theo các

chủ đề như: Xây dựng, Giao thông, Văn hóa xã hội, Cơng nghệ thơng tin, Hành chính,
Nơng nghiệp, Nội chính…
5. Phương pháp nghiên cứu
5.1. Phương pháp lý thuyết
- Thu thập và nghiên cứu tài liệu có liên quan.
- Nghiên cứu kỹ thuật học có giám sát.
- Nghiên cứu lý thuyết về xử lý ngôn ngữ tự nhiên.
- Biểu đạt kết quả.


3
5.2. Phương pháp thực nghiệm
- Xây dựng kho dữ liệu huấn luyện.
- Xây dựng quy trình phân loại văn bản.
- Ứng dụng quy trình phân loại văn bản vào mơ hình thực tế phân loại văn bản tại
Văn phịng tỉnh Quảng Ngãi.
6. Ý nghĩa khoa học và thực tiễn của luận văn
6.1. Ý nghĩa khoa học
- Nắm vững các vấn đề về lĩnh vực thống kê, xác suất và học máy áp dụng vào
bài toán phân loại văn bản.
- Nắm vững và vận dụng lý thuyết kỹ thuật học có giám sát, lý thuyết phân lớp,
một số thuật toán phân loại văn bản để vận dụng vào thực tiễn.
- Hiểu được lý thuyết về xử lý ngôn ngữ tự nhiên.
- Nhìn nhận được mức độ đóng góp của các tác giả so với các phương pháp trước
đây; ý nghĩa đóng góp về mặt học thuật có tính phát minh.
6.2. Ý nghĩa thực tiễn
- Trong thực tiễn đời sống hằng ngày, thông tin quanh ta là rất nhiều. Biến thông
tin thành tri thức để phục vụ con người là khát vọng không chỉ riêng đối với các nhà
khoa học.
- So với những phương pháp trước đây, phương pháp phân loại văn bản với

Support Vector Machines (SVM) được nghiên cứu từ những năm 60 với những cơng
trình của Vapnik và Lerner (1963)[15], Vapnik và Chervonenkis (1964)[16] có khả
năng cho kết quả nhận dạng chính xác hơn so với các phương pháp học máy khác –
điều này mở ra một khả năng rộng lớn cho các bài toán ứng dụng trong nhiều ngành.
- Đưa phương pháp học máy có giám sát vào bài tốn phân loại văn bản tại Văn
phịng tỉnh Quảng Ngãi.
7. Nội dung luận văn
Luận văn gồm 3 chương chính:
Chương 1: Nghiên cứu tổng quan
Trong chương này, luận văn trı̀nh bày một cách tổng quan về học máy và một số
lý thuyết về phân lớp.
Chương 2: Khái qt mơ hình học máy Support Vector Machines (SVM)
Trong chương này, luận văn đi sâu phân tích đặc tính của tiếng Việt cũng như các
loại hình văn bản nhà nước. Theo đó các phương pháp phân loại văn bản tiếng Việt dựa


4
trên mơ hình Support Vector Machines, từ cách tách từ, chọn từ phân loại, biểu diễn
vector hóa văn bản, phương pháp xây dựng mơ hình phân lớp cũng được trình bày cụ
thể.
Chương 3: Xây dựng chương trình thử nghiệm trong bài tốn học máy có
giám sát để phân loại văn bản tại văn phòng tỉnh.
Từ những cơ sở lý thuyết đã được tìm hiểu ở chương 1 về học máy có giám sát
tức là máy học dựa vào sự trợ giúp của con người, hay nói cách khác con người dạy
cho máy học và giá trị đầu ra mong muốn được định trước bởi con người và mơ hình
học máy SVM ở chương 2. Trong chương 3 này,tôi áp dụng bài tốn thực tế thơng qua
việc lựa chọn ngơn ngữ lập trình và mơi trường phát triển để xây dựng và thử nghiệm
hệ thống ứng dụng SVM vào việc phân loại văn bản hành chính tại tỉnh Quảng Ngãi
Cuối cùng là những kết luận, định hướng nghiên cứu và phát triển của luận văn.

5

CHƯƠNG 1
NGHIÊN CỨU TỔNG QUAN
Trong chương này, các nội dung được trình bày chủ yếu liên quan đến các
vấn đề như: học máy, ứng dụng học máy, tổng quan về phân lớp....
1.1. Tổng quan về học máy
Học máy (Machine Learning - ML) [17]là một ngành khoa học nghiên cứu các
thuật tốn cho phép máy tính có thể học được các khái niệm (concept). Có hai loại
phương pháp học máy chính:
- Phương pháp quy nạp: là phương pháp máy học dựa trên dữ liệu đã thu thập
được trước đó. Phương pháp này cho phép tận dụng được nguồn dữ liệu rất nhiều và
sẵn có.
- Phương pháp suy diễn: là phương pháp dựa vào các luật. Phương pháp này cho
phép tận dụng được các kiến thức chuyên ngành để hỗ trợ máy tính.
Hiện nay, các thuật tốn đều cố gắng tận dụng được các ưu điểm của hai phương
pháp này.
1.1.1. Khái niệm về học máy
Học máy (ML) là một lĩnh vực của trí tuệ nhân tạo liên quan đến việc nghiên cứu
và xây dựng các kỹ thuật cho phép các hệ thống có thể “học” tự động từ dữ liệu để giải
quyết những vấn đề cụ thể. Học máy là tạo ra các phương pháp và chương trình để cho
máy tính có thể giải quyết các vấn đề giống như con người. Ví dụ làm như thế nào các
hệ thống máy tính có thể “học” cách phân loại văn bản vào những lĩnh vực tương ứng
đã cho trước.
1.1.2. Phân loại phương pháp học máy
1.1.2.1. Học có giám sát (supervised learning)
Học có giám sát [18]là một kỹ thuật học máy để học từ tập dữ liệu được gán nhãn
cho trước. Tập dữ liệu cho trước sẽ chứa nhiều bộ dữ liệu. Mỗi bộ dữ liệu có cấu trúc
theo cặp với x được xem là dữ liệu thô (raw data) và y là nhãn của dữ liệu đó. Nhiệm

vụ của học có giám sát là dự đoán đầu ra mong muốn dựa vào giá trị đầu vào. Tóm lại,
học có giám sát tức là máy học dựa vào sự trợ giúp của con người, hay nói cách khác
con người dạy cho máy học và giá trị đầu ra mong muốn được định trước bởi con
người. Tập dữ liệu huấn luyện hoàn toàn được gán nhãn dựa vào con người. Tập càng
nhỏ thì máy tính học càng ít. Mơ hình chung của học có giám sát được khái quát như
hình sau:


6

Hình 1.1. Mơ hình thuật tốn học máy có giám sát
Để giải quyết một bài tốn nào đó của học có giám sát, người ta phải xem xét
nhiều bước khác nhau:
- Xác định loại của các ví dụ huấn luyện. Trước khi làm bất cứ điều gì, người làm
nhiệm vụ phân lớp nên quyết định loại dữ liệu nào sẽ được sử dụng làm ví dụ. Chẳng
hạn đó có thể là một ký tự viết tay đơn lẻ, toàn tập một từ viết tay, hay tồn tập một
dịng chữ viết tay.
- Thu thập tập huấn luyện. Tập huấn luyện cần đặc trưng cho thực tế sử dụng của
hàm chức năng. Vì thế, một tập các đối tượng đầu vào được thu thập và đầu ra tương
ứng được thu thập, hoặc từ các chuyên gia hoặc từ việc đo đạc tính toán.
- Xác định việc biểu diễn các đặc trưng đầu vào cho hàm chức năng cần tìm. Sự
chính xác của hàm chức năng phụ thuộc lớn vào cách các đối tượng đầu vào được biểu
diễn. Thông thường, đối tượng đầu vào được chuyển đổi thành một vector đặc trưng,
chứa một số các đặc trưng nhằm mô tả cho đối tượng đó. Số lượng các đặc trưng
khơng nên q lớn, do sự bùng nổ tổ hợp (curse of dimensionality), nhưng phải đủ lớn
để dự đốn chính xác đầu ra.
- Xác đinh cấu trúc của hàm chức năng cần tìm và giải thuật học tương ứng. Ví
dụ người thực hiện q trình phân lớp có thể lựa chọn việc sử dụng mạng nơ- ron nhân
tạo hay cây quyết định….
- Hoàn thiện thiết kế. Người thiết kế sẽ chạy giải thuật học từ một tập huấn luyện

7
thu thập được. Các tham số của giải thuật học có thể được điều chỉnh bằng cách tối ưu
hố hiệu năng trên một tập con (gọi là tập kiểm chứng – validation set) của tập huấn
luyện, hay thông qua kiểm chứng chéo (crossvalidation). Sau khi học và điều chỉnh
tham số, hiệu năng của giải thuật có thể được đo dạc trên một tập kiểm tra độc lập với
tập huấn luyện.
1.1.2.2. Học khơng có giám sát (unsupervised learning)
Học khơng giám sát [18]là một kỹ thuật của máy học nhằm tìm ra một mơ hình
hay cấu trúc bị ẩn bởi tập dữ liệu khơng được gán nhãn cho trước. Học khơng có giám
sát khác với học có giám sát là khơng thể xác định trước đầu ra từ tập dữ liệu huấn
luyện được. Tùy thuộc vào tập huấn luyện kết quả đầu ra sẽ khác nhau. Trái ngược với
học có giám sát, tập dữ liệu huấn luyện của học khơng có giám sát khơng do con người
gán nhãn, máy tính sẽ phải tự học hồn tồn. Có thể nói, học khơng có giám sát thì giá
trị đầu ra sẽ phụ thuộc vào thuật tốn học khơng có giám sát.
1.1.2.3. Học bán giám sát (semi-supervised learning)
Trong khoa học máy tính, học bán giám sát [19]là một lớp của kỹ thuật học máy,
sử dụng cả dữ liệu đã gán nhãn và chưa gán nhãn để huấn luyện - điển hình là một
lượng nhỏ dữ liệu có gán nhãn cùng với lượng lớn dữ liệu chưa gán nhãn. Học bán
giám sát đứng giữa học không giám sát (khơng có bất kì dữ liệu có nhãn nào) và có
giám sát (tồn bộ dữ liệu đều được gán nhãn). Nhiều nhà nghiên cứu nhận thấy dữ liệu
không gán nhãn, khi được sử dụng kết hợp với một chút dữ liệu có gán nhãn, có thể
cải thiện đáng kể độ chính xác. Để gán nhãn dữ liệu cho một bài tốn học máy thường
địi hỏi một chun viên có kỹ năng để phân loại bằng tay các ví dụ huấn luyện. Chi
phí cho quy trình này khiến tập dữ liệu được gán nhãn hồn tồn trở nên khơng khả
thi, trong khi dữ liệu không gán nhãn thường tương đối rẻ tiền.
1.1.2.4. Học tăng cường (reinforcement learning)
Trong ngành khoa học máy tính, học tăng cường [20]là một lĩnh vực con của học
máy, nghiên cứu cách thức một agent trong một môi trường nên chọn thực hiện các

hành động nào để cực đại hóa một khoản thưởng (reward) nào đó về lâu dài. Các thuật
toán học tăng cường cố gắng tìm một chiến lược ánh xạ các trạng thái của thế giới tới
các hành động mà agent nên chọn trong các trạng thái đó. Khác với học có giám sát,
trong học tăng cường khơng có các cặp dữ liệu vào/kết quả đúng, các hành động gần
tối ưu cũng không được đánh giá đúng sai một cách tường minh. Hơn nữa, ở đây hoạt
động trực tuyến (on-line performance) được quan tâm, trong đó có việc tìm kiếm một
sự cân bằng giữa khám phá (lãnh thổ chưa lập bản đồ) và khai thác (tri thức hiện có).


8
Trong học tăng cường, sự được và mất giữa khám phá và khai thác đã được nghiên
cứu chủ yếu qua bài toán multi-armed bandit.
1.1.3. Các ứng dụng của học máy
Học máy có ứng dụng [21]rộng khắp trong các ngành khoa học/sản xuất, đặc biệt
những ngành cần phân tích khối lượng dữ liệu khổng lồ. Một số ứng dụng thường thấy:
- Xử lý ngôn ngữ tự nhiên (Natural Language Processing): xử lý văn bản, giao
tiếp người – máy, …
- Nhận dạng (Pattern Recognition): nhận dạng tiếng nói, chữ viết tay, vân tay, thị
giác máy (Computer Vision) …
- Tìm kiếm (Search Engine)
- Chẩn đốn trong y tế: phân tích ảnh X-quang, các hệ chuyên gia chẩn đoán tự
động.
- Tin sinh học: phân loại chuỗi gene, quá trình hình thành gene/protein
- Vật lý: phân tích ảnh thiên văn, tác động giữa các hạt …
- Phát hiện gian lận tài chính (financial fraud): gian lận thẻ tín dụng
- Phân tích thị trường chứng khốn (stock market analysis)
- Chơi trò chơi: tự động chơi cờ, hành động của các nhân vật ảo
- Rôbốt: là tổng hợp của rất nhiều ngành khoa học, trong đó học máy tạo nên hệ
thần kinh/bộ não của người máy.
1.2. Tổng quan về phân lớp dữ liệu

1.2.1. Giới thiệu về phân lớp
Bài tốn phân lớp [9]là q trình phân lớp một đối tượng dữ liệu vào một hay
nhiều lớp đã cho trước nhờ một mơ hình phân lớp (model). Mơ hình này được xây
dựng dựa trên một tập dữ liệu được xây dựng trước đó có gán nhãn (hay cịn gọi là tập
huấn luyện). Quá trình phân lớp là quá trình gán nhãn cho đối tượng dữ liệu. Như vậy,
nhiệm vụ của bài tốn phân lớp là cần tìm một mơ hình phần lớp để khi có dữ liệu mới
thì có thể xác định được dữ liệu đó thuộc vào phân lớp nào.
Tóm lại phân lớp dữ liệu là q trình sắp xếp và phân lớp các dữ liệu vào nhiều
loại hình, hình thức hoặc bất kỳ tầng lớp đặc biệt khác. Phân lớp dữ liệu cho phép chia
tách và phân lớp dữ liệu theo yêu cầu của bộ dữ liệu cho nhiều mục tiêu kinh doanh
hoặc cá nhân. Nó chủ yếu là một quá trình quản lý dữ liệu.


9

1.2.2. Các loại phân lớp dữ liệu
-

Phân lớp dữ liệu nhị phân

Phân lớp dữ liệu nhị phân là quá trình tiến hành việc phân lớp dữ liệu vào một
trong hai lớp khác nhau dựa vào việc dữ liệu đó có hay khơng có một số đặc tính theo
quy định của bộ phân lớp.
-

Phân lớp dữ liệu đa lớp

Phân lớp dữ liệu đa lớp là quá trình phân lớp với số lượng lớn hơn hai. Như vậy,
tập hợp dữ liệu trong miền xem xét được phân chia thành nhiều lớp chứ khơng đơn
thuần chỉ là hai lớp như trong bài tốn phân lớp nhị phân. Tóm lại về bản chất, bài

tốn phân lớp nhị phân là một trường hợp riêng của bài toán phân lớp đa lớp.
-

Phân lớp dữ liệu đơn trị

Phân lớp dữ liệu đơn trị là quá trình phân lớp mà mỗi đối tượng dữ liệu trong tập
dữ liệu huấn luyện được gán vào chính xác một lớp.
-

Phân lớp dữ liệu đa trị

Phân lớp dữ liệu đa trị là mỗi đối tượng dữ liệu trong tập huấn luyện cũng như
các đối tượng mới sau khi được phân lớp có thể thuộc vào từ hai lớp trở lên.Ví dụ như
có một văn bản hành chính về việc triển khai thực hiện Cuộc vận động "Tồn dân đồn
kết xây dựng nơng thôn mới, đô thị văn minh" vừa thuộc về lĩnh vực nơng nghiệp
nhưng cũng thuộc về lĩnh vực văn hóa xã hội. Trong những trường hợp này, việc sắp
xếp một tài liệu vào nhiều lớp là phù hợp với thực tế.
1.3. Phân lớp văn bản
Trong những năm gần đây việc đẩy mạnh ứng dụng công nghệ thông tin trong
quản lý hành chính nhà nước đã tạo ra một khối lượng dữ liệu khổng lồ. Nên việc tự
động phân lớp văn bản là một nhiệm vụ rất quan trọng giúp ích cho đơn vị tổ chức, lưu
trữ, tìm kiếm thơng tin trên nguồn tài nguyên lớn này.
1.3.1. Khái niệm
Phân lớp văn bản (Text Categorization)[2, 3, 10, 13] là việc phân lớp áp dụng đối
với dữ liệu văn bản, tức là phân lớp một văn bản vào một hay nhiều lớp văn bản nhờ
một mơ hình phân lớp; mơ hình này được xây dựng dựa trên một tập hợp các văn bản
đã được gán nhãn từ trước.


10

Hình 1.2. Hoạt động của một bộ phân loại trên một tập các tài liệu
Thông thường, các lớp cho trước là các lĩnh vực nào đó, nhưng cũng có nhiều
ứng dụng mà các lớp được thiết lập theo những tiêu chí khác, như phân lớp theo độ
ưu tiên, phân lớp theo chủ đề, phân lớp theo lĩnh vực... Hầu hết các bài tốn này sẽ tốn
rất nhiều thời gian, cơng sức và đơi khi khơng chính xác nếu được phân loại một cách
thủ công - tức là đọc từng văn bản và gán vào một lớp nào đó. Đặc biệt với số lượng
tài liệu cần phân lớp cực kỳ lớn như hiện nay thì việc phân lớp thủ cơng là một điều
không thế. Phân loại những đối tượng mới vào các lớp bằng phương pháp thủ cơng
gặp phải những khó khăn sau:
- Đối với các lĩnh vực đặc biệt, phân loại các đối tượng mới (như cơ sở dữ liệu về
hành chính, y tế, pháp luật, tài chính, ngân hàng... ) vào các lớp cho trước cần có hiểu
biết về các lĩnh vực đó.
- Phân loại bằng tay đơi khi khơng chính xác vì quyết định phụ thuộc vào sự hiếu
biết và động cơ của người thực hiện.
- Quyết định của hai chuyên gia khác nhau có thể nảy sinh bất đồng ý kiến. Vì
vậy những cơng cụ để tự động phân lớp văn bản vào các lớp sẽ rất hữu ích với cơng
việc này nhất là khi thơng tin tràn ngập như ngày nay. Một số phương pháp phân lớp
thống kê và kĩ thuật học máy như Bayesian, máy vector hỗ trợ (SVM), K người láng
giềng gần nhất, mạng nơron... được áp dụng để giải quyết bài tốn này.
Chính vì những nhược điểm của phương pháp thủ cơng nên việc xây dựng một
bộ phân lớp văn bản tự động là một điều rất quan trọng và cần thiết, đặc biệt là khi hầu
hết các thông tin được lưu trữ điện tử. Các kỹ thuật phân lớp văn bản sẽ giúp cho
nguồn dữ liệu văn bản được lưu trữ tự động một cách hiệu quả và tìm kiếm một cách


11

nhanh chóng.
Phân lớp văn bản được xuất hiện từ những năm 1960, nhưng chỉ 15 năm sau, nó

đã trở thành lĩnh vực nghiên cứu chính trong hệ thống thơng tin bởi sự đa dạng của các
ứng dụng. Phân lớp văn bản là công việc được sử dụng để hỗ trợ trong q trình tìm
kiểm thơng tin (Information Retrieval), chiết lọc thông tin (Information Extraction),
lọc văn bản hoặc tự động phân loại cho các văn bản tới những chủ đề xác định trước.
Một ứng dụng khác của phân lớp văn bản là trong lĩnh vực hiểu văn bản. Phân lớp văn
bản có thể được sử dụng để lọc văn bản hoặc một phần văn bản chứa dữ liệu cần tìm
mà khơng làm mất đi tính phức tạp của ngơn ngữ tự nhiên.
1.3.2. Định nghĩa phân lớp văn bản
Phân lớp văn bản là nhiệm vụ đặt một giá trị Boolean cho mỗi cặp (dj,ci) ϵ D×C,
trong đó D là tập các văn bản và C={c1,c2…cy} là tập các lớp cho trước.
Giá trị T (True) được gán cho cặp (dj ,ci ) có nghĩa là tài liệu dj thuộc lớp ci;
Giá trị F (False) tức là tài liệu dj không thuộc lớp ci .
Hoặc, phân lớp văn bản là bài tốn tìm một hàm Φ : D × C → {T , F} trong đó D
là tập các văn bản và C={c1,c2…cy} là tập các lớp cho trước, hàm Φ : D × C → {T , F}
được gọi là bộ phân lớp.
Tùy vào bài tốn khác nhau, ta có các ràng buộc khác nhau. Có thể phân biệt bài
tốn phân lớp theo hai cách sau:
- Phân lớp văn bản nhị phân/ đa lớp: Bài toán phân lớp văn bản này được gọi là
nhị phân nếu |C| = 2, gọi là đa lớp nếu |C| > 2.
- Phân lớp văn bản đơn nhãn/ đa nhãn: Bài toán phân lớp văn bản được gọi là
đơn nhãn nếu mỗi tài liệu được gán vào chính xác một lớp. Một bài toán phân lớp văn
bản được gọi là đa nhãn nếu một tài liệu có thể được gán nhiều hơn một nhãn.
Về mặt lý thuyết, thuật tốn phân lớp nhị phân có thể sử dụng cho bài toán phân
lớp đa lớp bằng cách chuyển bài toán đa lớp {c1,c2,….,c|c|} thành |C| bài toán nhị phân
{ci,c̅} với i = 1,….,|C|. Hơn nữa thuật toán phân lớp đa lớp có thể được sử dụng để giải
quyết bài tốn phân lớp đa nhãn.
Có thể nói, bài tốn phân lớp nhị phân là bài toán rất quan trọng trong các ứng
dụng của phân lớp văn bản. Giải quyết bài toán phân lớp nhị phân cũng có nghĩa là
giải quyết bài tốn phân lớp đa lớp.
1.3.3. Mơ hình phân lớp văn bản

Phân lớp văn bản được các nhà nghiên cứu định nghĩa thống nhất như là việc gán


12
tên các chủ đề (tên lớp/ nhãn lớp) đã được xác định cho trước vào các văn bản Text
dựa trên nội dung của nó. Phân lớp văn bản được sử dụng để hỗ trợ trong q trình tìm
kiếm thơng tin (Information Retrieval), trích lọc thơng tin (Information Extraction),
lọc văn bản và tự động gán cho các văn bản vào những chủ đề xác định trước. Để phân
loại văn bản, người ta sử dụng phương pháp học máy có giám sát. Tập dữ liệu được
chia ra làm hai tập là tập huấn luyện và tập kiểm tra, trước hết phải xây dựng mơ hình
thơng qua các mẫu học bằng các tập huấn luyện, sau đó kiểm tra sự chính xác bằng tập
dữ liệu kiểm tra.

Hình 1.3. Sơ đồ khung một hệ thống phân lớp văn bản
1.3.4. Các bước xây dựng bộ phân lớp văn bản
Quá trình phân lớp dữ liệu thường gồm hai bước: tạo bộ phân lớp và sử dụng bộ
phân lớp đó để phân lớp dữ liệu.
- Bước 1: Một bộ phân lớp được xây dựng dựa trên việc phân tích các đối tượng
dữ liệu đã được gán nhãn từ trước. Tập các mẫu dữ liệu này còn được gọi là tập dữ
liệu huấn luyện (training data set). Các nhãn của tập dữ liệu huấn luyện được xác định
bởi con người trước khi xây dựng bộ phân lớp, phương pháp này được gọi là phương
pháp học có giám sát (supervised learning). Trong bước này phải tính độ chính xác của
bộ phân lớp. Nếu độ chính xác chấp nhận được, bộ phân lớp được sử dụng để xác định
nhãn lớp cho các dữ liệu mới.


13

Hình 1.4. Mơ tả bước xây dựng bộ phân lớp
Hiện nay có rất nhiều phương pháp phân lớp dữ liệu để giải quyết bài toán phân

lớp tùy thuộc vào cách thức xây dựng bộ phân lớp như phương pháp cây quyết định,
phương pháp k-láng giềng gần nhất, phương pháp Bayer, phương pháp SVM….
- Bước 2: Sử dụng bộ phân lớp đã được xây dựng để phân lớp cho dữ liệu mới.
Như vậy, thuật toán phân lớp là một ánh xạ từ miền dữ liệu đã có sang một miền có
giá trị cụ thể của thuộc tính lớp, dựa trên giá trị các thuộc tính của dữ liệu.
1.3.5. Các bước tiền xử lý dữ liệu
Trong quy trình phân loại văn bản, công việc xử lý dữ liệu trước khi đưa vào các
mơ hình là rất cần thiết, bước này là q trình xử lý dữ liệu thơ/gốc (raw/original data)
nhằm cải thiện chất lượng dữ liệu (quality of the data) và từ đó, cải thiện chất lượng
của kết quả đầu ra. Các công việc cụ thể của tiền xử lý dữ liệu bao gồm những cơng
việc như:
Filtering Attributes: Chọn các thuộc tính phù hợp với mơ hình.
Filtering samples: Lọc các mẫu (instances, patterns) dữ liệu cho mơ hình
Clean data: Làm sạch dữ liệu như xóa bỏ các dữ liệu bất thường (Outlier)
Transformation: Chuyển đổi dữ liệu cho phù hợp với các mô hình như chuyển đổi dữ
liệu từ dạng số (numeric) qua định danh (nomial) hay thứ tự (ordinal). Như vậy, việc
làm sạch dữ liệu là một bước quan trọng trong quá trình tìm kiếm tri thức vì dữ liệu


14
khơng có chất lượng thì kết quả đầu ra cũng khơng có chất lượng.
Discretization (rời rạc hóa dữ liệu): Nếu bạn có dữ liệu liên tục nhưng một vài
mơ hình chỉ áp dụng cho các dữ liệu rời rạc (như luật kết hợp chẳn hạn) thì bạn phải
thực hiện việc rời rạc hóa dữ liệu.
Như vậy tiền xử lý dữ liệu là quá trình biểu diễn văn bản thành một dạng biểu
diễn logic mà thuật tốn có thể xử lý được (ví dụ, dạng biểu diễn vector của văn bản).
1.3.6. Phương pháp tách từ tiếng Việt
Tách từ [7, 8] là một q trình xử lý nhằm mục đích xác định ranh giới của các từ
trong câu văn, cũng có thể hiểu đơn giản rằng tách từ là quá trình xác định các từ đơn,
từ ghép… có trong câu. Đối với xử lý ngơn ngữ, để có thể xác định cấu trúc ngữ pháp

của câu, xác định từ loại của một từ trong câu, yêu cầu nhất thiết đặt ra là phải xác
định được đâu là từ trong câu. Vấn đề này tưởng chừng đơn giản với con người nhưng
đối với máy tính, đây là bài tốn rất khó giải quyết.
Chính vì lý do đó tách từ được xem là bước xử lý quan trọng đối với các hệ
thống Xử Lý Ngôn Ngữ Tự Nhiên, đặc biệt là đối với các ngơn ngữ thuộc vùng Đơng
Á theo loại hình ngơn ngữ đơn lập, ví dụ: tiếng Trung Quốc, tiếng Nhật, tiếng Thái, và
tiếng Việt. Với các ngơn ngữ thuộc loại hình này, ranh giới từ không chỉ đơn giản là
những khoảng trắng như trong các ngơn ngữ thuộc loại hình hịa kết như tiếng Anh…,
mà có sự liên hệ chặt chẽ giữa các tiếng với nhau, một từ có thể cấu tạo bởi một hoặc
nhiều tiếng. Vì vậy đối với các ngôn ngữ thuộc vùng Đông Á, vấn đề của bài toán tách
từ là khử được sự nhập nhằng trong ranh giới từ.
Hiện nay có rất nhiều phương pháp tách từ như: So khớp từ dài nhất (Longest
Matching); So khớp cực đại (Maximum Matching); Mơ hình Markov ẩn (Hidden
Markov Models- HMM); Học dựa trên sự cải biến (Transformation-based Learning –
TBL); Chuyển đổi trạng thái trọng số hữu hạn (Weighted Finite State Transducer –
WFST); Độ hỗn loạn cực đại (Maximum Entropy – ME); Máy học sử dụng vectơ hỗ
trợ (Support Vector Machines); Trường xác xuất có điều kiện (CRFs), ngồi ra cịn có
thể kết hợp những phương pháp trên.
1.3.7. Loại bỏ từ dừng
Để nâng cao tốc độ và độ chính xác phân loại, ta phải loại bỏ các từ khơng có ý
nghĩa cho phân loại văn bản. thông thường những từ này là những từ có số lần xuất
hiện q ít hoặc quá nhiều. Ví dụ như: “và, hoặc, cũng, là, bởi…”. Tuy vậy việc loại
bỏ những từ này có thể khơng làm giảm đáng kể số lượng các đặc trưng. Với số lượng
các đặc trưng lớn bộ phân loại sẽ học chính xác tập tài liệu huấn luyện, nhưng trong


15
nhiều trường hợp vẫn cho kết quả dự đoán kém chính xác đối với các tài liệu mới. Để
tránh trường hợp này, ta phải có một tập dữ liệu mẫu đủ lớn để huấn luyện bộ phân
loại. Tuy vậy, thu thập tập dữ liệu mẫu đủ lớn tương ứng với số lượng đặc trưng

thường khó thực hiện được trong thực tế. Do đó để bài tốn có hiệu quả thực tiễn, cần
phải làm giảm số lượng đặc trưng.
Hiện nay có nhiều phương pháp chọn đặc trưng hiệu quả tuy nhiên với thời lượng
cho phép chỉ trình bày một số phương pháp đó là phương pháp lượng tin tương hỗ và
phương pháp tính tần số tương đối (Relative Frequency Count- RFC).
-

Phương pháp lượng tin tương hỗ

Phương pháp này sử dụng độ đo lượng tin tương hỗ giữa mỗi từ và mỗi lớp tài
liệu để chọn các từ tốt nhất. Lượng tin tương hỗ giữa từ t và lớp c được tính như sau:
𝑀𝐼 (𝑡, 𝑐 ) = ∑𝑡 ∈{0,1} ∑𝑐 ∈{0,1} 𝑃(𝑡, 𝑐 )𝑙𝑜𝑔
𝑀𝐼(𝑡, 𝑐) = ∑

∑ 𝑃(𝑡, 𝑐)𝑙𝑜𝑔

𝑡 ∈{0,1} 𝑐 ∈{0,1}

𝑃(𝑡,𝑐)
𝑃(𝑡)𝑃(𝑐)

(1.1)

𝑃(𝑡, 𝑐)
𝑃(𝑡)𝑃(𝑐)

Trong đó:
P(t,c) là xác suất xuất hiện đồng thời của từ t trong lớp c.
P(t) là xác suất xuất hiện của từ t và
P(c) là xác suất xuất hiện của lớp c

Độ đo MI tồn cục (tính trên tồn bộ tập tài liệu huấn luyện) cho từ t được tính
theo cơng thức sau:
𝑀𝐼𝑎𝑣𝑔 (𝑡 ) = ∑𝑖 𝑃(𝑐𝑖 )𝑀𝐼(𝑡, 𝑐𝑖 )
-

(1.2)

Phương pháp tính tần số tương đối

Cách tính tần số tương đối cho từ ghép có i tiếng được định nghĩa như sau:
𝑟𝑖 =

𝑓𝑖
𝐾

(1.3)

Trong đó, fi là số lần xuất hiện của từ ghép có i tiếng (ith n-gram) trong tập ngữ
liệu, K là số lần xuất hiện trung bình của một từ. Nói cách khác, fi được bình thường
hóa bằng cách chia cho K để lấy tỉ lệ liên quan. Cách tính RFC sẽ ưu tiên cho những từ
xuất hiện với tần số rất cao và loại bỏ những từ xuất hiện trong từ điển với tần số thấp.
RFC được dùng như một phương pháp hỗ trợ cho việc tách từ.