Bài giảng Xử lý ngôn ngữ tự nhiên (Natural Language Processing): Bài 5(tt) - Lê Thanh Hương

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (576.7 KB, 7 trang )

(1)<div class='page_container' data-page=1>

Ngh

ĩ

a t

ừ

v

ự

ng và phân

gi

ả

i nh

ậ

p nh

ằ

ng t

ừ

Lê Thanh Hương

g
Bộ môn Hệ thống Thông tin
Viện CNTT &TT – Trường ĐHBKHN
Email:

T

ừ

đồ

ng âm

z Từđồng âm (Homonymy): là những từ trùng
nhau về hình thức ngữ âmnhưng khácnhau về

nghĩa

z Từđồng âm, đồng tự (Homograph) : các từ với cùng
cách viết nhưng có nghĩa khác nhau. Ví dụ:

d di i hi bi d

zdove - dive into water, white bird
zsaw

z Từđồng âm, không đồng tự (Homophone): các từ có
cách viết khác nhau nhưng có cùng âm. Ví dụ:

zsee, sea; meat, meet

Phân lo

ạ

i t

ừ

đồ

ng âm ti

ế

ng Vi

ệ

t

z Đồng âm từ với từ, gồm:

z Đồng âm từ vựng: Tất cả các từđều thuộc cùng một từ loại. Ví dụ:

z đường1(đắp đường) -đường2(đường phèn).

z đường kính1(đường đểăn) -đường kính2(…của đường trịn).
z cất1(cất vó) -cất2(cất tiền vào tủ) -cất3(cất hàng) -cất4(cất rượu)

ồ ồ

z Đồng âm từ vựng-ngữ pháp: Các từ trong nhóm đồng âm với nhau chỉ

khác nhau về từ loại. Ví dụ:

z chỉ1(cuộn chỉ) -chỉ2(chỉ tay năm ngón) -chỉ3(chỉ cịn có dăm đồng).
z câu1(nói vài câu) -câu2(rau câu) -câu3(chim câu) -câu4(câu cá)

z Đồng âm từ với tiếng: các đơn vị khác nhau về cấp độ; kích

thước ngữ âm của chúng đều khơng vượt q một tiếng. Ví dụ:

z Con trai Văn Cốclên dốc bắn cò, đứng lăm lecười khanh khách. Con gái

Bát Chàngbán hàng thịt ếchngồi châu chẫunói ương ương.

T

ừ

đ

a ngh

ĩ

a,

đồ

ng ngh

ĩ

a

z Từđa nghĩa (Polysemy): một từ nhiều nghĩa,
biểu thị những đặc điểm, thuộc tính khác nhau
của một đối tượng, hoặc biểu thị những đối
tượng khác nhau của thực tại. Ví dụ

z đichỉ việc dịch chuyển bằng hai chi dưới hoặc chỉ

ột ời à đóđã hết
một người nào đó đã chết

z Đồng nghĩa (Synonymy): là những từ tương

đồng với nhau về nghĩa, khác nhau về âm
thanh. Ví dụ

z cố, gắng
z car, automobile

Ngh

ĩ

a t

ừ

v

ự

ng

z Ngữ nghĩa nghiên cứu ý nghĩa của các phát biểu dạng

ngôn ngữ

z Nghĩa từ vựng (Lexical semantics) nghiên cứu:

z (quan hệ từ vựng) sự liên hệ về mặt ngữ nghĩa giữa các từ
z (ràng buộc về lựa chọn) cấu trúc liên hệ ngữ nghĩa bên

trong của từng từ

z bao gồm lý thuyết về phân loại và phân rã nghĩa của từ, sự

giống và khác trong cấu trúc từ vựng – ngữ nghĩa giữa các
ngôn ngữ, và quan hệ nghĩa của từ với cú pháp và ngữ

nghĩa của câu.

Ràng bu

ộ

c v

ề

l

ự

a ch

ọ

n: Mã hóa

ng

ữ

ngh

ĩ

a trong v

ă

n ph

ạ

m

Vị từ biểu diễn các ràng buộc qua tham số

z read (human subject, textual object)
z eat (animate subject)

z kill (animate object)
z kill (animate object)

Sử dụng vị từ để phân giải nhập nhằng

Ví dụ "dish":

z cái đĩa đểăn
z món ăn

z phương tiện liên lạc

</div>
(2)<div class='page_container' data-page=2>

Ví d

ụ

v

ề

t

ừ

“dish”

z Not unexpectedly, wives, whether working or

non-working, did by far the most - about 80% of the shopping,
laundry and cooking, and about two-thirds of

housecleaning, washingdishes, child care, and family
paper work.

p p

z In her tiny kitchen at home, Ms. Chen works efficiently,

stir-frying several simple dishes, including braised pig's
ears and chicken livers with green peppers.

z Installation of satellite dishes, TVs and videocassette

equipment will cost the company about $20,000 per
school, Mr Whittle said.

Ràng bu

ộ

c l

ự

a ch

ọ

n

zVPPNC có thểđưa vào các ràng buộc lựa chọn

z tạo ontology (ví dụ, người, động vật)
z ràng buộc về luật

z vd. VP →VgiếtNPđộng vật

z ràng buộc về dịch nghĩa

z vd. ăn([sinh vật sống], [thức ăn])

zNhược điểm: Cách viết này không tổng quát

z không đủ thông tin

z không sử dụng được với các trường hợp không liệt kê
trong văn phạm

Khai thác quan h

ệ

t

ừ

v

ự

ng

Xác định quan hệ từ vựng giữa các từ trong

đoạn sau

Tôi yêu

y

độ

ộ

ng v

g

ậ

t nuôi trong nhà. Tơi

g

đặ

ặ

c bi

ệ

t

thích mèo vì chúng là lồi

độ

ng v

ậ

t r

ấ

t

độ

c

l

ậ

p. Ng

ượ

c l

ạ

i, chó thì khá l

ắ

m nhu c

ầ

u. Ví

d

ụ

, b

ạ

n ph

ả

i d

ắ

t chúng

đ

i d

ạ

o hàng ngày.

Khai thác quan h

ệ

t

ừ

v

ự

ng

Từ điển đồng nghĩa:

z gồm từđồng nghĩa (Synonyms) và trái nghĩa
(Antonyms)

Wordnet:

z Từđồng nghĩa và trái nghĩa
z Từ lớp cha và từ lớp con
z …

Nh

ậ

p nh

ằ

ng và các ràng bu

ộ

c

l

ự

a ch

ọ

n

z Nhập nhằng:

z Các vị từ khác nhau ứng với các nghĩa khác nhau

zwash the dishes (theme : washable-thing)
z Tham số cũng có thể giải quyết nhập nhằng cho vị từ

serve vegetarian dishes (theme : food-type)

Phân tích ngữnghĩa

z Phân tích ngữ nghĩa:

z Luật có gắn thơng tin ngữ nghĩa được sử dụng với các câu đã
được phân tích cú pháp

“I wanna eat somewhere close to CSSE”

Ngoại động từ: VỈeat <theme> {theme:food-type} (VP --> V
NP)

Nội động từ: VỈeat <no-theme> (VP --> V)

z Xung đột ràng buộc lựa chọn: loại trừ cú pháp

z Vấn đề:

z Đôi khi ràng buộc lựa chọn không đủ chặt (khi 1 từ

có nhiều nghĩa)

z Đơi khi ràng buộc q chặt – khi vị từ sử dụng

phép ẩn dụ. Vd, I’ll eat my hat!

p p ụ , y

</div>
(3)<div class='page_container' data-page=3>

CSDL từ vựng

z Lấy ý tưởng từ lý thuyết về tâm lý ngôn ngữ về khả năng

nhớ từ vựng của con người

Xâ d ột khổ lồ á từ à hệtừ

WordNet: Gi

ớ

i thi

ệ

u

z Xây dựng một mạng khổng lồ các từ vựng và quan hệ từ

vựng

z Wordnet tiếng Anh

z4 lớp: danh từ, động từ, tính từ, trạng từ

zDanh từ: 120,000; Động từ: 22,000; Tính từ: 30,000;
Trạng từ: 6,000

CSDL từ vựng

z Wordnet cho các ngôn ngữ khác
[www.globalwordnet.org]

WordNet: Gi

ớ

i thi

ệ

u

zCó wordnet cho các ngơn ngữ: Tây Ban Nha, Tiệp, Hà
Lan, Pháp, Đức, Ý, BồĐào Nha, Thụy Điển, Basque,
Estonian

zWordnets đang được làm cho các tiếng: Bulgary, Đan
mạch, Hy lạp, Hebrew, Hindi, Cannada, Latvian,
Moldavy, Romany, Nga, Slovenian, Tamil, Thái lan, Thổ

Nhĩ Kỳ, Ireland, Nauy, Ba tư, Iran

T

ậ

p t

ừ

đồ

ng ngh

ĩ

a

Synonym Sets - Synsets

z Từ có nhập nhằng

z Các nút trong Wordnet biểu diễn tập từđồng
nghĩa “synonym sets”, hoặc synsets. Ví dụ:

z Fool: 1 người dễbịlợi dụng
z Fool: 1 người dễ bị lợi dụng

z {chump, fish, fool, gull, mark, patsy, fall guy, sucker,
schlemiel, shlemiel, soft touch, mug}

z Synset = tập khái niệm

Các quan h

ệ

khác trong WordNet

•Các từ nối theo chiều dọc biểu diễn quan hệ rộng (holonymy)
-hẹp (hypernymy), theo chiều ngang biểu diễn quan hệ bộ phận
meronymy (part_of) và holonymy (has_part) .

•Mỗi nghĩa của từđược biểu diễn bằng 1 số synset

Phân gi

ả

i nh

ậ

p nh

ằ

ng s

ử

d

ụ

ng

quan h

ệ

t

ừ

v

ự

ng

Supplement Vitamin_Pill

Publication Dietary

Pill

SENSE OF WORD
KIND-OF (HYPONYMY)
HAS-PART (HOLONYMY)
PART-OF (MERONYMY)

Nutriment
Nutriment

Medicine
Textual

Matter

WordNet Similarity Metrics:

</div>
(4)<div class='page_container' data-page=4>

Đ

o quan h

ệ

t

ừ

v

ự

ng

z Đếm số cạnh/đỉnh trên đồ thị:

z khoảng cách giữa 2 từ tỉ lệ nghịch với quan hệ ngữ nghĩa

giữa chúng

z Nếu giữa 2 từ có nhiều đường đi, chọn đường ngắn nhất

số cạnh = 3
số nút = 4

C

ặ

p t

ừ

nào g

ầ

n nhau h

ơ

n?

cá heo và cá?

cá và cá h

ồ

i?

WordNet Similarity Metrics:

21 22

Phân gi

ả

i nh

ậ

p nh

ằ

ng và

đế

m c

ạ

nh

zwhale#n#1

z 1 người rất lớn (về kích thước hoặc phẩm chất)

zfish#n#3

z (thiên văn học) người được sinh khi mặt trời ở vì
sao Pisces

sao Pisces

person

Pisces (fish)
Giant (whale)

tall/large person

Path Length = 4

Phân gi

ả

i nh

ậ

p nh

ằ

ng và

đế

m c

ạ

nh

vertebrate

fish

aquatic 
vertebrate
mammal

placental
aquatic

whale
animal

cetacean

Path length = 8

</div>
(5)<div class='page_container' data-page=5>

Nh

ượ

c

đ

i

ể

m c

ủ

a WordNet trong tính

quan h

ệ

ng

ữ

ngh

ĩ

a

z Độđo quan hệ ngữ nghĩa WordNet dựa trên các giả

thiết sau:

z Mọi cạnh trong đồ thị có độ dài bằng nhau
z Các nhánh trong gđồ thị có cùng gđộđậm đặc
z Tồn tại tất cả các quan hệ ngoại động từ

¾ không đáng tin cậy

Cách ti

ế

p c

ậ

n d

ự

a trên t

ừ

đ

i

ể

n

z Các từđiển điện tử (Lesk ‘86)

z Cho biết ý nghĩa của các từ trong ngữ cảnh cụ thể nội
dung (vd., I’ve often caught bass while out at sea)
z So sánh sự chồng chéo cg ủa các định nghg ĩa về nghg ĩa

của từ (bass2: a type of fish that lives in the sea)

z Chọn nghĩa trùng nhau nhiều nhất

z Hạn chế: đường dẫn đến từ ngắn Ỉmở rộng
cho các từ liên quan

Cách ti

ế

p c

ậ

n h

ọ

c máy

z Học việc phân loại để gán từ với một trong các
nghĩa của nó

z Tích lũy tri thức từ tập ngữ liệu có hoặc khơng gán nhãn
z Con người chỉ can thiệp vào tập ngữ liệu gán nhãn và lựa

ử ấ

chọn tập đặc trưng sử dụng trong việc huấn luyện

z Vào: vectơđặc trưng

z đích (từ cần phân giải nhập nhằng)

z nội dung (các đặc trưng có thể dùng để tiên đốn nghĩa

đúng)

z Ra: các luật phân loại cho văn bản mới

Các

đặ

c tr

ư

ng s

ử

d

ụ

ng trong

WSD

z Các thẻ POS của từ và các từ lân cận
z Các từ lân cận (có thể lấy gốc từ hoặc khơng)
z Dấu chấm, viết hoa, định dạng

z PTCP bộộ php ậận để xác địịnh vai trò ngg p pữ pháp và quan q

hệ giữa chúng

z Các thông tin vềđồng xuất hiện:

z Từ và các từ lân cận của nó có thường đồng xuất hiện không

z Đồng xuất hiện của các từ láng giềng

z Ví dụ: seacó thường xun xuất hiện với bass khơng

Ví d

ụ

Tơi ăn cơm với cá.

z DT ĐgT DT GT DT

z (C (CN (ĐaT Tôi)) (VN (ĐgN (ĐgN (ĐgT ăn) (DT cơm)) (GN (GT
với) (DT cá)))))

Em bé chỉ thích ăn kẹẹo thơi.

z DT TT TT ĐgT DT PT

z (C (CN (DT Em bé)) (VN (TN (TN (TT chỉ) (TN (TT thích) (ĐgN (ĐgT

ăn) (DT kẹo)))) (PT thơi))))
Nó ăn nhiều hoa hồng quá.

z ĐaT ĐgT TT DT TT

z (C (CN (ĐaT Nó)) (VN (ĐgN (ĐgN (ĐgT ăn) (TT nhiều) (DT hoa
hồng)) (TT quá))))

z Tôi tên là Hoa.

Các ki

ể

u phân lo

ạ

i

z Nạve Bayes: Nghĩa tốt nhất là nghĩa có khả năng xảy ra

nhất với 1 đầu vào cho trước

z ŝ= p(s|V), hoặc

z trong đó s là 1 trong các nghĩa và V là vector đầu vào của các

đặc trưng

)
(
)
(
)
|
(
max
arg
V
p
s
p
s
V
p
S
s∈
max
arg
S

s∈

đặc trưng

z Chỉ có ít dữ liệu có thơng tin vector kết hợp với nghĩa
z Giả sử các đặc trưng là độc lập, p(V|s) là tích xác suất của các

đặc trưng

z p(V) là giống nhau với mọi ŝ (không ảnh hưởng đến xếp hạng

cuối cùng)

)
|
1
(
)
|

( n s

</div>
(6)<div class='page_container' data-page=6>

Các ki

ể

u phân lo

ạ

i

Naïve Bayes:

: Nghĩa tốt nhất là nghĩa có khả

năng xảy ra nhất với 1 đầu vào cho trước
z Khi đó

)

|

(

)

(

max

arg

ˆ

p

s

n

p

v j

s

=

∏

z P(s) là xác suất tiền nghiệm của mỗi nghĩa = xác
suất của mỗi nghĩa trong tập dữ liệu gán nhãn
z P(v,s) = đếm số lần xuất hiện của bassđi với sea

)

|

1 (

)

(

max

arg

s

j

v j

p

s

p

S

s

∏

=

∈

=

WSD và IR

z IR (Information Retrieval) : tìm kiếm thơng tin
z Motivation

z Đồng âm = Bank (ngân hàng, sông)

z Đa nghĩa = Bat ((câu lạc bộ chơi cricket), (cây vợt nhỏ có tay
cầm dàiđểchơi bóng ))

cầm dài để chơi bóng ))

z Đồng nghĩa = doctor, doc, physician, MD, medico

z Những vấn đề trên ảnh hưởng đến IR như thế nào?

z Đồng âm và đa nghĩa có xu hướng giảm độ chính xác

z Đồng nghĩa: giảm độ phủ

2

ứ

ng d

ụ

ng c

ủ

a WSD trong IR

z Tìm kiếm dựa trên câu truy vấn (Voorhees, 1998):

z Sử dụng WSD để mở rộng câu truy vấn: phân giải nhập nhằng câu

query và bổ sung vào các từ có nghĩa rộng hơn.

z Sử dụng WSD đểđánh chỉ số khái niệm: phân giải nhập nhằng tập tài

liệu và xây dựng chỉ số cho tập synset thay vì cho tập từ gốc

z Mơ hình khơng gian vector: tìm độ tương đồng cosin giữa câu truy vấn
ỗ

và mỗi vector tài liệu

z Đánh chỉ số khái niệm

z Trong các thí nghiệm, vector dựa trên nghĩa thực hiện kém hơn vector
dựa trên từ gốc

z Lý do: lỗi phân giải nhập nhằng
ztrong thu thập văn bản, và
zcác câu query ngắn do thiếu nội dung

2

ứ

ng d

ụ

ng c

ủ

a WSD trong IR

z Mở rộng query

z Không khả quan

z Nhưng, phân giải nhập nhằng và mở rộng truy vấn thủ
cơng đem lại kết quả tốt

z Ví dụ:
z Ví dụ:

z furniture: table, chair, board, refectory(specialisations)
z “Chỉ có một vài từ vựng liên quan là có ích trong việc

mở rộng câu truy vấn, vì đường dẫn lớp cha giữa các
từ trong WordNet không phải lúc nào cũng đem lại 1
mở rộng truy vấn 1 cách hữu ích

Độ

chính xác c

ủ

a WSD và IR

z Tập dữ liệu đánh giá WSD: SensEval và SemCor
z Cách khác để tạo ra dữ liệu gán nhãn: Pseudowords

z Lấy 2 từ (ngẫu nhiên) có cùng từ loại, và thay thế cả 2 bằng 1 từ

nhân tạo. Ví dụ, 'door' và 'banana' có thể thay thế trong tập ngữ

liệu bằng từ'donana'
liệu bằng từ donana .

z Độ chính xác của WSD: xác định được mỗi trường hợp của

donana cụ thể là 'door‘ hay 'banana'. (Yarowsky, 1993)

z (Sanderson, 1997) công bố: thêm nhập nhằng vào các

query và kết quả ít có ảnh hưởng đến độ chính xác của
việc tìm kiếm so với ảnh hưởng của lỗi phân giải nhập
nhằng trong tập kết quả

z chỉ có lỗi phân giải nhập nhằng mức thấp ( < 10%) mới tốt hơn

phiên bản IR đơn giản dựa trên từ gốc. 35

Độ

chính xác c

ủ

a WSD và IR

z Tại sao đa nghĩa/đồng âm không phải vấn đề lớn như ta

nghĩ:

z Tác động của sựđồng xuất hiện từ truy vấn: các từ trong

câu truy vấn tự nó đã phân giải nhập nhằng
S hâ bố ữ hĩ á d h á iề ứ d

z Sự phân bố ngữ nghĩa: áp dụng cho các miền ứng dụng

cụ thể

</div>
(7)<div class='page_container' data-page=7>

Độ

chính xác c

ủ

a WSD và IR

z Từđồng nghĩa có ảnh hưởng lớn hơn:

z Gonzalo et al. (1998; 1999): sử dụng SemCor (tập ngữ liệu
Brown với các thẻ nghĩa của WordNet) cho thấy nếu phân
giải nhập nhằng có độ cx = 100%

z Đánh chỉsốnghĩa (vd synset number) cóđộcx IR = 62%
z Đánh chỉ số nghĩa (vd synset number) có độ cx IR = 62%
z Đánh chỉ số nghĩa của từ (vd canine1) có độ cx IR = 53.2%

z Đánh chỉ số từ gốc có độ cx IR = 48%

z Gonzalo et al. cho thấy độ cx tối thiểu 90% với WSD cho
IR là quá cao. Gần 60% từ giả không hoạt động giông như

từ có nhập nhằng thật.

</div>

Bài giảng Xử lý ngôn ngữ tự nhiên (Natural Language Processing): Bài 5(tt) - Lê Thanh Hương

<b>Ngh</b>

<b>ĩ</b>

<b>a t</b>

<b>ừ</b>

<b> v</b>

<b>ự</b>

<b>ng và phân </b>

<b>gi</b>

<b>ả</b>

<b>i nh</b>

<b>ậ</b>

<b>p nh</b>

<b>ằ</b>

<b>ng t</b>

<b>ừ</b>

<b>T</b>

<b>ừ</b>

<b>đồ</b>

<b>ng âm</b>

<b>Phân lo</b>

<b>ạ</b>

<b>i t</b>

<b>ừ</b>

<b>đồ</b>

<b>ng âm ti</b>

<b>ế</b>

<b>ng Vi</b>

<b>ệ</b>

<b>t</b>

<b>T</b>

<b>ừ</b>

<b>đ</b>

<b>a ngh</b>

<b>ĩ</b>

<b>a, </b>

<b>đồ</b>

<b>ng ngh</b>

<b>ĩ</b>

<b>a</b>

<b>Ngh</b>

<b>ĩ</b>

<b>a t</b>

<b>ừ</b>

<b> v</b>

<b>ự</b>

<b>ng</b>

<b>Ràng bu</b>

<b>ộ</b>

<b>c v</b>

<b>ề</b>

<b> l</b>

<b>ự</b>

<b>a ch</b>

<b>ọ</b>

<b>n: Mã hóa </b>

<b>ng</b>

<b>ữ</b>

<b> ngh</b>

<b>ĩ</b>

<b>a trong v</b>

<b>ă</b>

<b>n ph</b>

<b>ạ</b>

<b>m</b>

Vị từ biểu diễn các ràng buộc qua tham số

Sử dụng vị từ để phân giải nhập nhằng

Ví dụ "dish":

<b>Ví d</b>

<b>ụ</b>

<b> v</b>

<b>ề</b>

<b> t</b>

<b>ừ</b>

<b> “dish”</b>

<b>Ràng bu</b>

<b>ộ</b>

<b>c l</b>

<b>ự</b>

<b>a ch</b>