slike thuyết trình báo cáo tách tên riêng trong bài báo tiếng việt

Xử lý ngôn ngữ tự nhiên
Đề tài: nhận diện tên người trong văn bản tiếng việt
Giáo viên hướng dẫn :
PGS TS Lê Thanh Hương
Sinh viên thực hiện:
Nguyễn Hoàng Long - 20081590
Bùi Hữu Linh -20081512
Nguyễn Công Chiến-20080255
Vũ Minh Duẩn-20080433
1. Giới thiệu đề tài
2. Bài toán trích chọn thực thể
3. Các cách giải quyết bài toán trích chọn thực thể
4. Chương trình
Mục lục

Công nghệ thông tin phát triển, trợ giúp con người ở nhiều lĩnh
vực , do đó máy tính phải hiêu được con người , điều đó đưa
đến việc xử lý ngôn ngữ tự nhiên trong máy tính.

Một bài toán cơ sở của việc xử lý ngôn ngữ tự nhiên đó là nhận
diện loại thực thể để trích chọn ra các thông tin có ý nghĩa .

Đề tài này em đề cập đến vấn đề chú thích tên người trong văn
bản tiếng việt sử dụng bài toán nhận diện thực thể qua đó hỗ
trợ xây dựng một Web ngữ nghĩa.
1. giới thiệu đề tài

Các thông tin trong văn bản là rất lớn , việc hiểu nội dung thông
tin trong văn bản đòi hỏi phải biết được trong văn bản đó có
những loại thực thể nào. Một ví dụ
2. Bài toán trích chọn thực thể


Bài toán nhận diện thực thể để chú thích thông tin là bươc cơ
sở trong số các bài toán trích chọn thông tin, cho phép chúng
ta lấy ra được các thuộc tính của thực thể ( tên , tuổi, ngày
sinh….)

Việc xác định tên người trong văn bản tiếng việt là khó khăn
nhất, rất dễ nhập nhằng.

Chúng ta sẽ xét một số bài toán giải quyết các vấn đề này
trong phần sau
2. Bài toán trích chọn thực thể
3.1 Hướng thủ công
3.2 Mô hình Markov ẩn (HMM)
3.3 Mô hình Markov cực đại hóa entropy (MEMM)
3.4 Mô hình Condinional Random Fields(CRF)
3. Các cách giải quyết bài toán nhận
dạng thực thể

Phương pháp thủ công hay được dùng nhất đó là dùng luật , rất
nhiều nhiệm vụ trích chọn được thực hiện thông qua các luật

Luật thường được dùng với việc trích chọn các thông tin đặc
trưng( ví dụ: số điện thoai, email,…)

Cấu trúc một luật
Giả thiết kết luận

Giả thiết chứa các mẫu hay ngữ cảnh chúng xuất hiện , đó là các
đặc trưng trong văn bản( ví dụ : huyện Yên Dũng, tỉnh bắc Giang)


Phần kết luận là loại nhãn gán cho thực thể.

Tuy nhiên việc xây dựng nó tốn rất nhiều công sức.
3.1 Hướng thủ công

HMM là mô hình máy trạng thái hữu hạn với các tham số biểu
diễn xác suất chuyển trạng thái và xác suất sinh dữ liệu trại mỗi
một trạng thái.

Các trạng thái được xem là ẩn đi bên dưới dữ liệu quan sát sinh
ra trong mô hình . Ở đây thành phần quan sát được sẽ được
sinh ra trước khi chuyển trạng thái tiếp theo

Trong bài toán gán nhán thực thể các nhãn là các trạng thái bị
ẩn đi còn dữ liệu quan sát được là các từ trong câu.

Vấn đề trong mô hình này là việc liệt kê các trạng thái quan sát
được là không thể, để giải quyết vấn đề này đưa ra một giả thiết
về sự đọc lập giữa cá dữ liệu quan sát.
3.2 Mô hình Markov ẩn(HMM)

Ta có công thức

P(O) có thể tính nhờ thuật toán forward-backward, việc tìm
chuỗi S* làm cực đại hóa xác suất P(S|O) tương đương với
việc tìm S* làm cực đại P(S,O).
3.2 Mô hình Markov ẩn (HMM)

Ta có thể tính xác suất P(S,O) theo công thức sau:


Ví dụ : Alice và Bod
3.2 Mô hình Markov ẩn

Năm 2000, McCallum đề ra mô hình Markov ẩn với entropy lớn
nhất để khắc phục nhược điểm trên.

MEMM thay thế các xác suất trong HMM bởi hàm xác suất duy
nhất P(|,) có nghĩa quan sát hiện tại không chỉ phụ thuộc vào
trạng thái hiện tại mà còn phụ thuộc vào trạng thái trước nó.
∗

3.3 Mô hình Markov cực đại hóa
Entropy(MEMM)

Ta có công thưc Markov thứ nhất

Để gán nhãn cho dữ liệu , MEMM xác định chuỗi trạng thái S làm
cực đại hóa P(S,O) trong công thưc trên

Tuy nhiên điều này nảy sinh vấn đề đó là “label bias”
3.3 Mô hình Markov cực đại hóa
Entropy(MEMM)

CRF được giới thiệu vào năm 2001 bởi Laferty, cũng giống như MEMM,
CRF cũng dựa trên xác suất có điều kiện, nhưng CRF là độ thị vô hướng.

CRF cho phép tính xác suất của toàn bộ chuỗi trạng thái , nó tránh khỏi
vấn đề “label bias”.


Đặt X là biến ngẫu nhiên của chuỗi dữ liệu cần gán nhãn và Y là biến ngẫu
nhiên của chuỗi tương ứng. Định nghĩa của CRF như sau:

Cho G=(V,E) là một đồ thị trong đó Y=(, do đó Y được xác định dựa trên
các đỉnh của G. Khi đó (X,Y) là một CRF trong trường hợp , khi với điều
kiện trên X, các biến ngẫu nhiên tuân theo thuộc tính Markov đối với đồ
thị G như sau:
P(|X, ,w≠v) = P(|X, ,w~v)
∗

3.4 Mô hình Condinional Random
Fields( CRF)

Nếu X có các thông tin có quan hệ lẫn nhau thì X có cấu trúc dạng cây , thể
hiện dưới dạng X=(,,….) và Y=(,,….).

Theo lý thuyết trường ngẫu nhiên của Hammersley& Clifford
x là chuỗi dữ liệu , y là chuỗi nhãn
y|s là tập các thành phần y có mối quan hệ với các đỉnh trong s
, là các hệ số tỉ lệ đối với các đặc điểm tương ứng.
là điểm cạnh trên chuỗi quan sát x và hai nhãn ,
là đặc điểm trạng thái trên chuỗi quan sát x,và nhãn
∗

3.4 Mô hình Condinional Random
Fields( CRF)

Trước hết CRF cho phép mô tả đa dạng các đặc điểm câu đầu vào ,
từ đó tăng khả năng gán nhãn chuỗi dữ liệu thông qua đặc điểm
của nó , thay vì qua từ cụ thể .


Thứ hai , CRF không chỉ xét quan hẹ giữa từ và nhãn ( thông qua
đặc điểm ) mà còn xác định mối quan hệ của nhãn tiếp theo dựa
vào nhãn hiện tại và chuỗi từ ( thông qua đặc điểm ).

Thứ ba, các hệ số và cho phép tăng giảm mức độ quan trọng của
đặc điểm vì có những đặc điểm có vai trò quan trọng hơn, ảnh
hưởng hơn đến xác suất gán nhãn. Điều này đã cho phép CRF giải
quyết vấn đề label bias nơi mà tổng xác suất dich chuyển từ một
trạng thái được bảo toàn.
∗

3.4 Mô hình Condinional Random
Fields( CRF)

Bài toán đặt ra là xác định các tham số θ=(,…) từ tập dữ liệu
D=(,), với xác suất thực nghiệm (x|y) để tối đa hóa hàm mục tiêu
giống nhau(log-likelohood)

Một số hàm ước lượng tham số được sử dụng là : IIS,GIS, L-BFGs…
∗

3.4 Mô hình Condinional Random
Fields( CRF)

Là công cụ gán nhãn dữ liệu dựa trên mô hình CRF do hai tác giả Phan
Xuân Hiếu, Nguyễn Lê Minh xây dựng để xử lý văn bản tiếng việt

FlexCRF được huấn luyện để tìm kiếm tham số cho phép tối ưu độ tương
tự (likehood)


Độ lệch Gausian được sử dụng để làm mịn khi dữ liệu huấn luyện rời rạc.

Khi các nhãn được tạo ra không có nhập nhằng thì hàm độ tương tự
trong CRF là hàm lồi.
3.4.1 công cụ FlexCRF

L-BFGs là một phương pháp quasi-Newton với bộ nhớ có giới hạn để tối ưu
hóa hàm lồi . Giả sử là chuỗi trạng thái của chuỗi huấn luyện trong tập D. khí
đó thành phần gradient của hệ số là:

Trong đó (y|x) là số lượng đặc trưng đặc điểm tương ứng với từ y và x( đặc
điểm hay trong công thức (3). Hai thành phần đầu tiên tương ứng với sự
khác nhau giữa hai giá trị thực tế và giá trị mong muốn tù mô hình đối với
đặc điểm này . Thành phần cuối cùng là độ lệch Gauss đạo hàm bậc nhất.
∗

3.4.1 công cụ FlexCRF

Các chức năng hệ thống
•
Tạo file model
•
Nguồn dữ liệu đầu vào có thể là file văn bản hoặc một link web
•
Xử lý văn bản đầu vào ra file đặc trưng chưa được gán nhãn sau đó
xử lý qua CRF để thu được một file đã gán nhãn.

Các chức năng sẽ được minh họa trong chương trình dưới đây.
4 . Chương trình

Quesion