Bài giảng Xử lý ngôn ngữ tự nhiên (Natural Language Processing): Bài 4 - Lê Thanh Hương

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (549.88 KB, 7 trang )

(1)<div class='page_container' data-page=1>

Phân tích cú pháp

1
Lê Thanh Hương

Bộ mơn Hệ thống Thông tin
Viện CNTT &TT – Trường ĐHBKHN
Email:

Bài tốn PTCP

P
T
C

cây PTCP mẫu

độ chính xác
tính

điể

C
P
Văn phạm
câu

Các bộ PTCP 
hiện nay có độ

chính xác cao

(Eisner, Collins,
Charniak, etc.)
cây cú pháp

điểm

Khái ni

ệ

m v

ề

v

ă

n ph

ạ

m

Phân tích câu “Bị vàng g

ặ

m c

ỏ

non”

Cây cú pháp:

T

ậ

p lu

ậ

t

z C ỈCN VN

z CN ỈDN
z VN ỈĐgN

z ĐgN ỈĐgT DN

z DN ỈDT TT

V

ă

n ph

ạ

m

M

ộ

t v

ă

n ph

ạ

m s

ả

n sinh là m

ộ

t h

ệ

th

ố

ng

G = ( T, N, S, R ), trong

đ

ó

T (terminal) – t

ậ

p ký hi

ệ

u k

ế

t thúc

N (non terminal) – t

ậ

p ký hi

ệ

u không k

ế

t thúc

S (start) – ký hi

ệ

u kh

ở

i

đầ

u

R (rule) – t

ậ

p lu

ậ

t

R = {

α

Ỉ

β

|

α

,

β ∈

(T

∪

N) }

α

Ỉ

β

g

ọ

i là lu

ậ

t s

ả

n xu

ấ

t

D

ạ

ng chu

ẩ

n Chomsky

M

ọ

i NNPNC khơng ch

ứ

a

ε

đề

u có th

ể

sinh t

ừ

m

ộ

t v

ă

n ph

ạ

m tn

đ

ó m

ọ

i s

ả

n xu

ấ

t

đề

u có

d

ạ

ng A

Ỉ

BC ho

ặ

c A

Ỉ

a, v

ớ

i A,B,C

∈

N và a

∈

T

∈

T

Ví d

ụ

: Tìm d

ạ

ng chu

ẩ

n Chomsky cho v

ă

n

ph

ạ

m G v

ớ

i T = {a,b}, N ={S,A,B}, R nh

ư

z S ỈbA|aB

z A ỈbAA|aS|a

z B ỈaBB|bS|b

Nh

ắ

c l

ạ

i v

ề

v

ă

n ph

ạ

m

z Văn phạm: 1 tập luật viết lại

z Ký hiệu kết thúc: các ký hiệu không thể phân rã được

nữa.

z Ký hiệu không kết thúc: các ký hiệu có thể phân rã
được.

Xét ă h G

6
z Xét văn phạm G:

S →NP VP
NP →John, garbage
VP →laughed, walks
G có thể sinh ra các câu sau:

</div>
(2)<div class='page_container' data-page=2>

C

ấ

u trúc ng

ữ

pháp

Cây cú pháp biểu diễn cấu trúc ngữ pháp của một câu. 
Bò vàng gặm cỏ non.

CN VN

Bò ĐgặgTm

cỏ nonTT

vàng

DN ĐgN

Các

ứ

ng d

ụ

ng c

ủ

a PTCP

D

ị

ch máy

(Alshawi 1996, Wu 1997, ...)

tiếng Anh tiếng Việt

các thao tác
với cây

Nh

ậ

n d

ạ

ng ti

ế

ng nói s

ử

d

ụ

ng PTCP

(Chelba et al 1998)

Put the file in the folder.
Put the file andthe folder.

Các

ứ

ng d

ụ

ng c

ủ

a PTCP

Ki

ể

m tra ng

ữ

pháp

(Microsoft)

Trích rút thông tin

(Hobbs 1996)

Kho văn bản
NY Times

CSDL
câu truy vấn

V

ă

n ph

ạ

m phi ng

ữ

c

ả

nh

(Context-Free Grammar)

… còn gọi là văn phạm cấu trúc đoạn

z G = <T,N,P,S,R>

z T – tập các ký hiệu kết thúc (terminals)

z N - tập các ký hiệu không kết thúc (non-terminals)
z P – ký hiệu tiền kết thúc (preterminals), khi viết lại trở

thành ký hiệu kết thúc P⊂N

10
thành ký hiệu kết thúc, P ⊂N

z S – ký hiệu bắt đầu

z R: X → γ, X là ký hiệu không kết thúc; γlà chuỗi các

ký hiệu kết thúc và khơng kết thúc (có thể rỗng)

z Văn phạm G sinh ra ngôn ngữ L
z Bộ nhận dạng: trả vềyeshoặc no
z Bộ PTCP: trả về tập các cây cú pháp

So với văn phạm cảm ngữ cảnh
R: αAγ ⇒ αβγ

z Văn phạm ngữ cấu:
z α→β, với α ∈V+ , β ∈V*

z Văn phạm cảm ngữ cảnh:

z r = α→β, với α ∈V+ , β ∈V* , ⏐α⏐≤⏐β⏐

z và α1Aα2→α1β’α2 với β’≠ε

z Văn phạm phi ngữ cảnh:

z A → θ, A ∈N,

ớiθ V* ( T N )*

z với θ ∈V*= ( T ∪N )*

z Văn phạm chính qui:

z A →aB,

z A →Ba,

z A →a,

với A, B ∈N, a ∈T.

VPCQ
VPPNC

VPCNC
VPNC

V

ă

n ph

ạ

m phi ng

ữ

c

ả

nh

</div>
(3)<div class='page_container' data-page=3>

Áp d

ụ

ng t

ậ

p lu

ậ

t ng

ữ

pháp

S

→NP VP

→DT NNS VBD

→The children slept

13
p

S

→NP VP

→DT NNS VBD NP

→DT NNS VBD DT NN

→The children ate the cake

C

ấ

u trúc

đ

o

ạ

n

đệ

qui

V

ă

n ph

ạ

m cho ngơn ng

ữ

t

ự

nhiên

có nh

ậ

p nh

ằ

ng

NP VP

Nhập nhằng - PP

có thểgắn tại 2 điểm (với VP
hoặc với NP)

John saw snow on the campus

15
NP

0 John
VP

PP
NP
1 saw NP

2 snow

3 on

4 the 5 campus 6

PTCP ki

ể

u trên xu

ố

ng

z Hướng đích

z Khởi đầu với 1 danh sách các ký hiệu cần triển khai (S,

NP,VP,…)

z Viết lại các đích trong tập đích bằng cách:
S
NP VP

…….

z tìm luật có vế trái trùng với đích cần triển khai

z triểu khai nó với vế phải luật, tìm cách khớp với câu đầu vào

z Nếu 1 đích có nhiều cách viết lại Ỉchọn 1 luật để áp

dụng (bài tốn tìm kiếm)

z Có thể sử dụng tìm kiếm rộng (breadth-first search) hoặc

tìm kiếm sâu (depth-first search)

Khó kh

ă

n v

ớ

i PTCP trên xu

ố

ng

z Các luật đệ qui trái

z PTCP trên xuống rất bất lợi khi có nhiều luật có cùng vế trái

S→NP X1 S→NP X2 …… S→NP X600 S→VP Y1

z Nhiều thao tác thừa: triển khai tất cả các nút có thể phân tích trên

xuống

z PTCP trên xuống sẽ làm việc tốt khi có chiến lược điều khiển ngữ
pháp phù hợp

z PTCP trên xuống không thể triển khai các ký hiệu tiền kết thúc

thành các ký hiệu kết thúc. Trên thực tế, người ta thường sử dụng
phương pháp dưới lên để làm việc này.

z Lặp lại công việc: bất cứ chỗ nào có cấu trúc giống nhau

PTCP d

ướ

i lên

z Hướng dữ liệu

z Khởi tạo với xâu cần phân tích

z Nếu chuỗi trong tập đích phù hợp với vế phải của 1 luật

→thay nó bằng vếtrái của luật

…….
S
NP VP

→thay nó bằng vế trái của luật.

z Kết thúc khi tập đích = {S}.

z Nếu vế phải của các luật khớp với nhiều luật trong tập
đích, cần lựa chọn luật áp dụng (bài tốn tìm kiếm)

z Có thể sử dụng tìm kiếm rộng (breadth-first search) hoặc

</div>
(4)<div class='page_container' data-page=4>

Khó kh

ă

n v

ớ

i PTCP d

ướ

i lên

z Khơng hiệu quả khi có nhiều nhập nhằng mức

từ vựng

z Lặp lại cơng việc: bất cứ khi nào có cấu trúc con

chung

z Cả PTCP TD (LL) và BU (LR) đều có độ phức

tạp là hàm mũ của độ dài câu.

Thu

ậ

t toán CKY (b

ộ

nh

ậ

n d

ạ

ng)

Vào:

xâu n t

ừ

Ra:

yes/no

C

ấ

u trúc ng

ữ

pháp: b

ả

ng n x n (chart table)

g p

p

g

(

)

hàng đánh số 0 đến n-1
cột đánh số 1 đến n

cell [i,j] liệt kê tất cả các nhãn cú pháp giữa i và j

Thu

ậ

t toán CKY (bottom-up)

fori := 1 to n

Thêm tất cả từ loại của từ thứ i vào ô [i-1,i]
forwidth := 2 to n

forstart := 0 to n-width

end := start + width

end := start + width
formid := start+1 to end-1

formọi nhãn cú pháp X trong [start,mid]

formọi nhãn cú pháp Y trong [mid,end]

formọi cách kết hợp X và Y (nếu có)

Thêm nhãn kết quả vào [start,end] nếu chưa
có nhãn này

Ví d

ụ

Bị vàng g

ặ

m c

ỏ

non

1 2 3 4 5

0
DT

CN
DN

TT
2

ĐgT

ĐgN
3

DT DN

V

ă

n ph

ạ

m phi ng

ữ

c

ả

nh

1. Start→S
2. S → NP VP
3. NP → Det Noun

4. NP →Name

9. V →ate

10. Name →John

11. Name →ice-cream, snow
12. Noun →ice-cream, pizza

5. NP → Name PP

6. PP → Prep NP

7. VP →V NP

8. VP →V NP PP

13. Noun →table, guy, campus
14. Det → the

15. Prep → on

Lu

ậ

t k

ế

t h

ợ

p

Ô Cell[i,j] ch

ứ

a nhãn X n

ế

u

z Có luật X→YZ;

z Cell[i,k] chứa nhãn Y và ô Cell[k,j] chứa nhãn Z,

ằ

với k nằm giữa i và j;

</div>
(5)<div class='page_container' data-page=5>

CKY ph

ả

i s

ử

d

ụ

ng lu

ậ

t nh

ị

phân

Chuy

ể

n VP

→

V NP PP thành:

8.a. VP→V Arguments

8 b Arguments→ NP PP

8.b. Arguments → NP PP

CKY chart

1 2 3 4 5 6 7 8

0 DT

1 NN

2 VBD

“ The guy ate the ice-cream on the table”

2 VBD

3 DT

4 NN

5 IN

6 DT

7 NN

Áp d

ụ

ng thao tác ‘dán’

1 2 3 4 5 6 7 8

0 DT NP

1 NN

2 VBD

3 DT

4 NN

5 IN

6 DT

7 NN

Nh

ậ

p nh

ằ

ng!

1 2 3 4 5 6 7 8

0 DT NP S

1 NN

2 VBD VP

5. NP → NN PP
8.a. VP→V Arguments
8.b. Arguments → NP PP

3 DT NP NP,

Args

4 NN

5 IN PP

6 DT NP

7 NN

Thu

ậ

t tốn Earley (top-down)

z Tìm các nhãn và các nhãn thiếu (partial constituents) từ
đầu vào

z A →B C . D E là nhãn thiếu:

A

+

D

=

A

z Tiến hành dần từ trái sang phải

B C

D E

A →B C . D E

B C

D E

A →B C D . E

Ví d

ụ

ROOT →S NP→Papa

S →NP VP N →caviar

NP →Det N N →spoon

NP →NP PP V →ate

VP →VP PP P →with

VP →V NP Det →the

</div>
(6)<div class='page_container' data-page=6>

Recursive Descent (

Đệ

quy)

z 0ROOT →.S 0
z 0S →. NP VP 0

ROOT →S VP →VP PP NP→Papa V →ate
S →NP VP VP →V NP N →caviar P →with
NP →Det N PP →P NP N →spoon Det→the
NP →NP PP Det→a
0 Papa 1 ate 2 the 3 caviar 4 with 5 a 6 spoon 7

z 0NP →. Papa 0
z 0NP →Papa . 1

z 0S →NP . VP 1

Root S VP

VP
Papa
ROOT→S S →NP VP NP →Papa

VP
Papa

Goal stack

Recursive Descent

z 0S →NP . VP 1

z 1VP →. VP PP 1

ROOT →S VP →VP PP NP→Papa V →ate
S →NP VP VP →V NP N →caviar P →with
NP →Det N PP →P NP N →spoon Det→the
NP →NP PP Det→a
0 Papa 1 ate 2 the 3 caviar 4 with 5 a 6 spoon 7

1VP →. VP PP 1
1VP →. VP PP 1

1VP →. VP PP 1 stack overflowed

VP→VP PP VP→VP PP

PP
VP
PP
VP
PP
PP

VP
PP
PP
VP→VP PP

VP PP

PP
PP
VP→VP PP

Recursive Descent

ROOT →S VP →V NP NP→Papa V →ate
S →NP VP VP →VP PP N →caviar P →with
NP →Det N PP →P NP N →spoon Det→the
NP →NP PP Det→a

0 Papa 1 ate 2 the 3 caviar 4 with 5 a 6 spoon 7

0ROOT →.S 0

0S →. NP VP 0
NP P

z 1VP →. V NP 1 sau . = nonterminal, lặp đi lặp lại việc tìm ký hiệu này (“predict”)
1V →.ate 1 sau . = terminal, tìm nó ởđầu vào (“scan”)

1V →ate . 2 sau . = rỗng, đích con của cha nó đã hồn chỉnh (“attach”)

z 1VP →V . NP 2 predict (đích con tiếp theo)

2NP →. ... 2 phân tích tiếp và cuối cùng …

2NP →... . 7 we hồn thành đích con NP của cha nó Ỉattach

z 1VP →V NP .7 attach
z 0S →NP VP .7 attach

0NP →. Papa 0

0NP →Papa . 1

0S →NP . VP 1

Recursive Descent

z 0ROOT →.S 0

z 0S →. NP VP 0

z 0NP →. Papa 0

ROOT →S VP →V NP NP→Papa V →ate
S →NP VP VP →VP PP N →caviar P →with
NP →Det N PP →P NP N →spoon Det→the
NP →NP PP Det→a

0 Papa 1 ate 2 the 3 caviar 4 with 5 a 6 spoon 7

thực hiện bằng lời gọi hàm:

S() gọi NP() và VP(), VPđược triển khai 1

34
p

z 0NP →Papa . 1
z 0S →NP . VP 1

z 1VP →. V NP 1
1V →.ate 1
1V →ate . 2

z 1VP →V . NP 2
2NP →. ... 2
2NP →... . 7

z 1VP →V NP .7
z 0S →NP VP .7

cần quay lại để thử 1 luật VP khác
S() gọi NP() và VP(), VP được triển khai 1
cách đệ qui

Recursive Descent

ROOT →S VP →V NP NP→Papa V →ate

S →NP VP VP →VP PP N →caviar P →with
NP →Det N PP →P NP N →spoon Det→the
NP →NP PP Det→a

0 Papa 1 ate 2 the 3 caviar 4 with 5 a 6 spoon 7

0ROOT →.S 0

0S →. NP VP 0

0NP →. Papa 0

1VP →.V NP 1
1 V →.ate 1
1V →ate . 2
1VP →V . NP 2

2NP →. ... 2 phân tích tiếp và cuối cùng…

2NP →... . 4 ... đoạn NP đúng là từ2 đến 4

chỗ này cũng cần quay lại

0NP →. Papa 0

0NP →Papa . 1

0S →NP . VP 1

1VP →. VP PP 1

Recursive Descent

ROOT →S VP →V NP NP→Papa V →ate
S →NP VP VP →VP PP N →caviar P →with
NP →Det N PP →P NP N →spoon Det→the
NP →NP PP Det→a

0 Papa 1 ate 2 the 3 caviar 4 with 5 a 6 spoon 7

0ROOT →.S 0

0S →. NP VP 0
NP P

1VP →.VP PP 1
1VP →.VP PP 1

1VP →.VP PP 1
stack overflowed

không giải quyết được gì

– cần thay đổi tập luật đểloại trừđệqui trái

0NP →. Papa 0

0NP →Papa . 1

0S →NP . VP 1

1VP →. VP PP 1

</div>
(7)<div class='page_container' data-page=7>

Thuật toán Earley

z Thuật tốn Earley giống thuật tốn đệ qui nói trên, nhưng giải
quyết được vấn đềđệ qui trái.

z Sử dụng bảng phân tích giống thuật tốn CKY, nhằm lưu lại các
thơng tin đã tìm thấy Ỉlập trình động “Dynamic programming.”

Các thao tác của thuật toán

37
z Xử lý phần đi sau dấu . theo kiểu đệ qui :

z Nếu là từ, quét (scan)đầu vào để xem có phù hợp khơng
z Nếu là ký hiệu khơng kết thúc, đốn (predict) các khả năng để

khớp nó (giảm số phép tiên đốn bằng cách nhìn trước k ký
hiệu từ đầu vào và chỉ sử dụng các luật phù hợp với k ký hiệu
đó)

z Nếu rỗng, ta đã hồn thành một thành phần ngữ pháp, gắn
(attach) nó vào những chỗ liên quan

0

0 ROOT . S

khởi tạo

tương đương với (0, ROOT →. S)

0

0 ROOT . S

0 S . NP VP

predictluật có vế trái là S

(0, S →. NP VP)

0
0 ROOT . S

0 S . NP VP

0 NP . Det N
0 NP . NP PP
0 NP . Papa

predictluật có VT = NP
(có 3 luật phù hợp)

0
0 ROOT . S
0 S . NP VP

0 NP . Det N

0 NP . NP PP
0 NP . Papa
0 D t th

predictluật có VT = Det (2 luật)

41
0 Det . the

0 Det . a

0
0 ROOT . S
0 S . NP VP
0 NP . Det N

0 NP . NP PP

0 NP . Papa
0 D t th

predictluật có VT = NP

ta đã làm việc này ở bước trước, vì vậy khơng làm lại!
Chú ý: ta phải làm lại việc này với luậtđệqui trái

42
0 Det . the

0 Det . a

</div>

Bài giảng Xử lý ngôn ngữ tự nhiên (Natural Language Processing): Bài 4 - Lê Thanh Hương

<b>Phân tích cú pháp</b>

<b>Bài tốn PTCP</b>

<b>Khái ni</b>

<b>ệ</b>

<b>m v</b>

<b>ề</b>

<b> v</b>

<b>ă</b>

<b>n ph</b>

<b>ạ</b>

<b>m</b>

Phân tích câu “Bị vàng g

ặ

m c

ỏ

non”

Cây cú pháp:

T

ậ

p lu

ậ

t

<b>V</b>

<b>ă</b>

<b>n ph</b>

<b>ạ</b>

<b>m</b>

M

ộ

t v

ă

n ph

ạ

m s

ả

n sinh là m

ộ

t h

ệ

th

ố

ng

G = ( T, N, S, R ), trong

đ

ó

T (terminal) – t

ậ

p ký hi

ệ

u k

ế

t thúc

N (non terminal) – t

ậ

p ký hi

ệ

u không k

ế

t thúc

S (start) – ký hi

ệ

u kh

ở

i

đầ

u

R (rule) – t

ậ

p lu

ậ

t

R = {

α

Ỉ

β

|

α

,

β ∈