TÌM HIỂU bài TOÁN gán NHÃN từ LOẠI (POS TAGGING)

TRƯỜNG ĐH SƯ PHẠM HÀ NỘI

TÌM HIỂU BÀI TOÁN GÁN NHÃN TỪ LOẠI
(Part-of-speech tagging)

Giảng viên hướng dẫn: TS. Lê Thị Tú Kiên
Học viên: Phạm Thị Nhan
Lớp: CH – K26
Môn học: Xử lý ngôn ngữ tự nhiên

HÀ NỘI, 11/2017

1


NỘI DUNG TÌM HIỂU



GIỚI THIỆU BÀI TOÁN



MỘT SỐ HƯỚNG TIẾP CẬN

•
•
•



Rule-Based Tagger: ENCG Tagger (Voutilainen 1995,1999)
Stochastic Tagger: HMM-based Tagger
Transformation-Based Tagger: Brill Tagger (Brill 1995)

ĐÁNH GIÁ
TÀI LIỆU THAM KHẢO

2


GIỚI THIỆU BÀI TOÁN



Một trong các vấn đề nền tảng của phân tích ngôn ngữ là việc phân loại các từ thành các lớp từ loại dựa theo thực

tiễn hoạt động ngôn ngữ.



Mỗi từ loại tương ứng với một hình thái và một vai trò ngữ pháp nhất định. Các bộ chú thích từ loại có thể thay đổi

tuỳ theo quan niệm về đơn vị từ vựng và thông tin ngôn ngữ cần khai thác trong các ứng dụng cụ thể.

3


GIỚI THIỆU BÀI TOÁN



Mỗi từ trong một ngôn ngữ nói chung có thể gắn với nhiều từ loại, và việc giải thích đúng nghĩa một từ phụ thuộc vào
việc nó được xác định đúng từ loại hay không.



Công việc gán nhãn từ loại cho một văn bản là xác định từ loại của mỗi từ trong phạm vi văn bản đó. Khi hệ thống
văn bản đã được gán nhãn, hay nói cách khác là đã được chú thích từ loại thì nó sẽ được ứng dụng rộng rãi trong
các hệ thống tìm kiếm thông tin, trong các ứng dụng tổng hợp tiếng nói, các hệ thống nhận dạng tiếng nói cũng như
trong các hệ thống dịch máy.

4


QUI TRÌNH XỬ LÝ NGÔN NGỮ TỰ NHIÊN
Phân tích từ vựng
(Lexical Analysis)

Phân tích cú pháp
(Syntax Analysis)

Phân tích ngữ nghĩa
(Semantic Analysis)

Sinh mã trung gian

Tối ưu mã

Sinh mã đích

5


KHÁI NIỆM BÀI TOÁN GÁN NHÃN TỪ LOẠI



Mỗi từ trong một ngôn ngữ nói chung đôi khi có thể gắn với nhiều từ loại và việc giải thích đúng nghĩa một từ phụ
thuộc vào việc nó có được xác định đúng từ loại hay không dựa trên ngữ cảnh cho trước.



Công việc gán nhãn từ loại cho một văn bản là xác định từ loại của mỗi từ trong phạm vi văn bản đó, tức là phân loại
các từ thành các lớp từ loại dựa trên thực tiễn hoạt động ngôn ngữ. Việc gán nhãn từ loại thường được thể hiện bằng
cách gán cho mỗi từ một “nhãn” có sẵn theo tập nhãn cho trước

6


KHÁI NIỆM BÀI TOÁN GÁN NHÃN TỪ LOẠI

Quá trình gán nhãn từ loại thường được chia làm 3 bước:



Bước 1: Giai đoạn tiền xử lý: Phân tách xâu ký tự thành chuỗi các từ. Giai đoạn này có thể đơn giản hay phức tạp tuỳ
theo ngôn ngữ và quan niệm về đơn vị từ vựng. Chẳng hạn, đối với tiếng Anh hay tiếng Pháp, việc phân tách từ
phần lớn là dựa vào các ký hiệu trắng. Tuy nhiên vẫn có những từ ghép hay những cụm từ gây tranh cãi về cách xử
lý. Trong khi đó, với tiếng Việt thì dấu trắng càng không phải là dấu hiệu để xác định ranh giới các đơn vị từ vựng do
tần số xuất hiện từ ghép rất cao.

7


KHÁI NIỆM BÀI TOÁN GÁN NHÃN TỪ LOẠI

Quá trình gán nhãn từ loại thường được chia làm 3 bước:



Bước 2: Khởi tạo gán nhãn: tức là tìm cho mỗi từ tập tất cả các nhãn từ loại mà nó có thể có. Tập nhãn này có thể
thu được từ cơ sở dữ liệu từ điển hoặc kho ngữ liệu đã gán nhãn bằng tay. Đối với một từ mới chưa xuất hiện trong
cơ sở ngữ liệu thì có thể dùng một nhãn ngầm định hoặc gắn cho nó tập tất cả các nhãn. Trong các ngôn ngữ biến
đổi hình thái người ta cũng dựa vào hình thái từ để đoán nhận lớp từ loại tương ứng của từ đang xét.

8


KHÁI NIỆM BÀI TOÁN GÁN NHÃN TỪ LOẠI

Quá trình gán nhãn từ loại thường được chia làm 3 bước:



Bước 3: Quyết định kết quả gán nhãn: đó là giai đoạn loại bỏ nhập nhằng, tức là lựa chọn cho mỗi từ một nhãn phù
hợp nhất với ngữ cảnh trong tập nhãn khởi tạo nói trên. Có nhiều phương pháp để thực hiện việc này, trong đó
người ta phân biệt chủ yếu các phương pháp dựa vào quy tắc ngữ pháp (với đại diện nổi bật là phương pháp Brill)
và các phương pháp xác suất. Ngoài ra còn có các hệ thống sử dụng mạng nơ-ron, các hệ thống lai sử dụng kết hợp
tính toán xác suất và ràng buộc ngữ pháp, gán nhãn nhiều tầng, …

9


KHÁI NIỆM BÀI TOÁN GÁN NHÃN TỪ LOẠI



Ví dụ câu: The girl kissed the boy on the cheek

WORDS
TAGS
the
girl
kissed

NNS

the

VBN

boy

IN

on

DT

the

cheek

10


KHÁI NIỆM BÀI TOÁN GÁN NHÃN TỪ LOẠI



Ví dụ câu: Con ruồi đậu mâm xôi đậu

WORDS
TAGS
Con
ruồi
đậu
mâm
xôi

NNS
VB
NN
DT

đậu

11


MỘT SỐ BÀI TOÁN GÁN NHÃN



POS tagging (gán nhãn từ loại). Là cơ sở phục vụ cho các bài toán về ngữ nghĩa cao hơn.



Named-Entity recognition (gán nhãn tên thực thể).

Ví dụ: bà ba [CON NGUOI] bán bánh mì [THUC PHAM] ở phường mười ba [DIA DIEM]. Có giá trị về mặt ngữ nghĩa ở
mức trung bình, thường được dùng để phân lớp văn bản.



Machine translation (dịch máy). Đầu vào là một câu của ngôn ngữ A, đầu ra là câu của ngôn ngữ B tương ứng. Bài
toán này từng rất cấp thiết trong chiến tranh thế giới thứ 2, khi mà thông tin tình báo của địch cần được dịch trong
thời gian ngắn nhất, giúp cho các lãnh đạo có thể đưa ra những chiến lược cấp thiết.

12


MỘT SỐ BÀI TOÁN GÁN NHÃN



Speech recognition (nhận diện tiếng nói). Đầu vào là âm thanh tiếng nói, đầu ra là câu dạng văn bản. Ngày nay, theo
thống kê của Apple, người dùng thích sử dụng tiếng nói của mình để nhập văn bản hơn là cách nhập dữ liệu bằng
bàn phím như truyền thống, đồng thời tương tác giữa người và máy theo cách này có tốc độ nhập liệu nhanh hơn.

13

TẬP NHÃN TỪ LOẠI (TAGSETS)



Từ loại là những lớp từ có cùng bản chất ngữ pháp, được phân chia theo ý nghĩa khái quát, theo khả năng kết hợp
với các từ ngữ khác và thực hiện những chức năng ngữ pháp nhất định ở trong câu



Trong thực tế, các tập nhãn sử dụng cho việc gán nhãn từ loại thường được xây dựng và phát triển từ các lớp cơ
bản sau:

•

Các lớp từ đóng (Closed word class, function word class, còn được gọi là các từ chức năng, là một tập cố định và không thể mở rộng, các
lớp này thường chỉ chứa một số lượng ít các từ có liên quan. Ví dụ: Giới từ, mạo từ, đại từ, số đếm,...)

•

Các lớp từ mở (Open class, là các lớp từ có khả năng mở rộng bằng cách tạo thêm từ mới hoặc“mượn” từ các ngôn ngữ khác. Có 4 lớp từ
mở chính là danh từ - nouns, động từ -verb, tính từ - adjective và một phần của phó từ - [adverb])

14


Open class (lexical) words

Nouns

Proper

Verbs

Common

Main

IBM

cat / cats

see

Italy

snow

registered

Adjectives

old older oldest

Adverbs

slowly

Numbers

… more

122,312
one

Closed class (functional)
Modals

Determiners

the some

can

Prepositions

to with

Particles

off up

Interjections

Ow Eh

had

Conjunctions

and or

Pronouns

he its

… more


TẬP NHÃN TỪ LOẠI (TAGSETS)



Với mỗi ngôn ngữ sẽ có nhiều tập nhãn từ loại có thể sử dụng. Tuy nhiên, việc lựa chọn tập nhãn ảnh hướng rất lớn
đến “độ khó” của bài toán gán nhãn từ loại.

•
•

Nếu chọn tập nhãn lớn sẽ làm tăng độ khó

Nhưng nếu chọn tập nhãn nhỏ có thể không đủ đáp ứng cho một mục đích nhất định nào đó.

16


TẬP NHÃN TỪ LOẠI (TAGSETS)



Vì vậy, việc chọn tập nhãn nào sẽ tùy thuộc vào từng ứng dụng cụ thể, nói cách khác là tùy thuộc vào số lượng
thông tin mà ứng dụng đó đòi hỏi. Muốn thế, cần phải có sự cân đối giữa:

•

Có được lượng thông tin rõ ràng hơn (Tức là phạm vi phân lớp từ loại nhỏ hơn, chia thành nhiều từ loại hơn dựa trên nhiều yếu tố thể hiện
sự khác biệt).

•

Có khả năng tiến hành thực hiện việc gán nhãn (Tức là số lượng các từ loại càng ít càng dễ tiến hành).

17


Penn Treebank P.O.S. Tags

18


CÁC HƯỚNG TIẾP CẬN BÀI TOÁN GÁN NHÃN TỪ LOẠI

Gán nhãn bằng phương pháp dựa trên hệ luật



Đây là phương pháp gán nhãn từ loại ra đời sớm nhất, các bộ gán nhãn “sơ khai” đều thực hiện theo phương pháp
này.

19


CÁC HƯỚNG TIẾP CẬN BÀI TOÁN GÁN NHÃN TỪ LOẠI

Gán nhãn bằng phương pháp dựa trên hệ luật



Nội dung chính của phương pháp này là xây dựng một cơ sở dữ liệu lớn các “luật” được viết bằng tay, vì vậy
phương pháp này còn được gọi là phương pháp gán nhãn thủ công. Các luật được xây dựng dựa vào ngữ cảnh
thích hợp.

Ví dụ: nếu một từ nhập nhằng đang xét đi sau một từ chỉ định thì nó có xu hướng là một danh từ hơn là một động từ.



Đại diện tiêu biểu cho nhóm các phương pháp thủ công dựa trên hệ luật này là ENGTWOL (ENGlish TWO Level
analysis - Voutilainen, 1995).

20


Sample ENGTWOL Lexicon

21


CÁC HƯỚNG TIẾP CẬN BÀI TOÁN GÁN NHÃN TỪ LOẠI

Các phương pháp dựa vào học máy



Phương pháp dựa trên luật là một phương pháp thủ công còn tiềm tàng rất nhiều nhập nhằng. Cùng với đó, việc xây
dựng một hệ thống trích chọn dựa trên các luật là rất tốn công sức.



Các phương pháp dựa vào học máy là các phương pháp xây dựng hệ thống mà bằng cách nào đó có thể “tự học”.



Để gán nhãn từ loại, sử dụng phương pháp học có giám sát (supervised learning), cụ thể là xác suất liên hợp
thường gọi là mô hình sinh mẫu (Generative model). Hidden Markov Model (HMM) là một trong những mô hình
thuộc phân nhóm này.

22


CÁC HƯỚNG TIẾP CẬN BÀI TOÁN GÁN NHÃN TỪ LOẠI

Các phương pháp dựa vào học máy: Mô hình HMM



Mô hình Markov ẩn được giới thiệu và nghiên cứu vào cuối những năm 1960 và đầu những năm 1970, cho đến nay
nó được ứng dụng nhiều trong:

•

•
•



Nhận dạng tiếng nói,

Tin sinh học

Xử lý ngôn ngữ tự nhiên.

HMM lựa chọn một chuỗi nhãn tốt nhất cho toàn bộ câu, thông thường người ta sử dụng thuật toán Viterbi để tìm
chuỗi nhãn tốt nhất đó.

23


CÁC HƯỚNG TIẾP CẬN BÀI TOÁN GÁN NHÃN TỪ LOẠI

Các phương pháp dựa vào học máy: Mô hình HMM



Một trong những bộ gán nhãn tiêu biểu sử dụng phương pháp này là bộ gán nhãn TnT của tác giả Thorsten Brants
sử dụng phương pháp tri-gram, cho kết quả 96.7% với tập nhãn Penn TreeBank và bộ dữ liệu WallStreet trong tiếng
Anh.

24

CÁC HƯỚNG TIẾP CẬN BÀI TOÁN GÁN NHÃN TỪ LOẠI

Các phương pháp dựa vào học máy: Mô hình HMM



QTAG là một bộ gán nhãn dựa trên mô hình HMM do nhóm nghiên cứu Corpus Research thuộc trường đại học tổng
hợp Birmingham phát triển, cung cấp miễn phí cho mục đích nghiên cứu.



Một điểm nổi trội của QTAG là dù được xây dựng cho tiếng Anh nhưng nó có thể được huấn luyện để sử dụng cho
các ngôn ngữ khác.

25