DSpace at VNU: Nghiên cứu mô hình ngôn ngữ dựa trên mạng nơron

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

VŨ THƢƠNG HUYỀN

NGHIÊN CỨU MÔ HÌNH NGÔN NGỮ DỰA TRÊN
MẠNG NƠRON

LUẬN VĂN THẠC SĨ KỸ THUẬT PHẦN MỀM

Hà Nội – 2015

1


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ

VŨ THƢƠNG HUYỀN

NGHIÊN CỨU MÔ HÌNH NGÔN NGỮ DỰA TRÊN
MẠNG NƠRON

Chuyên ngành: Kỹ thuật phần mềm
Mã số: 60480103

LUẬN VĂN THẠC SĨ KỸ THUẬT PHẦN MỀM

NGƢỜI HƢỚNG DẪN KHOA HỌC: TS. NGUYỄN VĂN VINH

Hà Nội - 2015

2


LỜI CAM ĐOAN

Tôi xin cam đoan kết quả trong luận văn là sản phẩm của riêng cá nhân tôi.
Trong toàn bộ nội dung của luận văn, những điều được trình bày hoặc là của cá nhân
hoặc là được tổng hợp từ nhiều nguồn tài liệu. Tất cả các tài liệu tham khảo đều có
xuất xứ rõ ràng và được trích dẫn hợp pháp.
Tôi xin hoàn toàn chịu trách nhiệm theo quy định cho lời cam đoan của mình.
Hà Nội, ngày 20 tháng 10 năm 2015
Ngƣời cam đoan

Vũ Thƣơng Huyền

3


LỜI CẢM ƠN

Tôi xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo TS. Nguyễn Văn Vinh – Bộ
môn Khoa học máy tính - Khoa Công nghệ thông tin - Đại học Công Nghệ - Đại học
Quốc gia Hà Nội đã hướng dẫn, chỉ bảo tận tình và hết lòng giúp đỡ tôi trong suốt thời
gian làm luận văn.
Tôi xin cảm ơn các thầy cô giáo trong Khoa Công nghệ thông tin – Đại học
Công Nghệ - Đại học Quốc gia Hà Nội đã cho tôi nhiều kiến thức bổ ích khi học tập
tại trường.
Xin cảm ơn các anh trong nhóm nghiên cứu Dịch máy thống kê do thầy giáo
TS. Nguyễn Văn Vinh hướng dẫn đã giúp đỡ tôi trong quá trình nghiên cứu.

Xin cảm ơn ban chủ nhiệm đề tài và các thành viên trong nhóm đã cho tôi cơ
hội tham gia đề tài “Cải tiến chất lượng dịch máy thống kê dựa vào thông tin cú

pháp phụ thuộc”, mã số QC.15.23. Đây là cơ hội cho tôi đưa luận văn vào thực
tiễn.
Cuối cùng tôi xin chân thành cảm ơn Ban lãnh đạo và các đồng nghiệp Khoa
Công nghệ thông tin – Đại học Thủy Lợi đã tạo điều kiện cho tôi trong quá trình học.

Học viên

Vũ Thƣơng Huyền

4


MỞ ĐẦU
Ngày nay công nghệ thông tin đang bùng nổ trên khắp thế giới, lượng thông tin
trao đổi trên mạng là rất lớn. Dữ liệu về văn bản, hình ảnh, âm thanh đang trở thành
những dữ liệu khổng lồ phục vụ nhu cầu lưu trữ và trao đổi thông tin của con người.
Đã có rất nhiều ứng dụng đưa ra thay con người kiểm tra chính tả trên các văn bản,
nhận dạng dữ liệu, dịch tài liệu, nhận dạng tiếng nói, phân đoạn từ, dịch thống kê,v.v.
Để giúp máy tính có thể làm được những điều đó người ta đã đưa ra mô hình ngôn ngữ
như là một thành phần quan trọng để áp dụng vào các lĩnh vực trên. Mô hình ngôn ngữ
là các phân phối xác suất trên một ngữ liệu đơn ngữ và được sử dụng trong nhiều bài
toán khác nhau của xử lý ngôn ngữ tự nhiên. Thực chất mô hình ngôn ngữ có thể cho
biết xác suất một câu hoặc một cụm từ tùy thuộc vào ngôn ngữ là bao nhiêu. Chính vì
vậy một mô hình ngôn ngữ tốt sẽ đánh giá câu đúng ngữ pháp và độ trôi chảy tốt hơn
những câu có thứ tự ngẫu nhiêu. Cách thông dụng nhất được dùng để mô hình hóa
ngôn ngữ chính là thông qua các N-gram.
Khi xây dựng mô hình ngôn ngữ cần phải có lượng bộ nhớ khá lớn để có thể

lưu trữ được xác suất của tất cả các chuỗi và cấu hình máy khá mạnh để tính toán, xử
lý. Có rất nhiều cách lượng tử để nhằm tối ưu bộ nhớ và bộ xử lý. Các phương pháp
làm mịn, truy hồi, đồng hóa, nén là những phương pháp trước đây dùng để tối ưu giá
trị xác suất và tối ưu bit lưu trữ. Một số ứng dụng về xây dựng mô hình ngôn ngữ được
sử dụng trong những năm gần đây như SRILM toolkit [21], Random Forest Language
Model toolkit [22], v.v. Mục đích chính của SRILM là để hỗ trợ ước lượng và đánh
giá mô hình ngôn ngữ. Random Forest Language Model Toolkit xây dựng dựa trên
SRILM Toolkit, là một các mô hình ngôn ngữ cây quyết định cho kết quả thực hiện
khá tốt. Hay một số các công cụ khác như: Language Model toolkit, Neural Probability
LM toolkit, MSRLM, v.v. Với mỗi công cụ đều sử dụng kỹ thuật riêng để làm cho mô
hình ngôn ngữ hiệu quả. Gần đây các nhà khoa học xây dựng mô hình ngôn ngữ dựa
trên mạng nơron nhằm cải thiện việc tính toán hiệu quả hơn. Mạng nơron đã được sử
dụng nhiều trong học máy và khai phá dữ liệu. Khi đưa mạng nơron vào xây dựng mô
hình ngôn ngữ đã thu được kết quả tốt cả về độ hỗn tạp và tỉ lệ lỗi của từ. Mạng nơron
học các từ trong các từ khác để đưa ra mối liên hệ giữa các từ đó và đưa ra được một
số lượng lớn dữ liệu học từ dữ liệu ban đầu.

5


Do đó, luận văn sẽ tập trung nghiên cứu việc sử dụng mạng nơ-ron vào việc xây
dựng mô hình ngôn ngữ giúp cải tiến mô hình cũ. Từ những nghiên cứu đó sẽ có được
những đánh giá chính xác các ưu điểm khi sử dụng mạng nơ-ron với các mô hình trước
đó. Đồng thời cũng đưa ra hướng nghiên cứu tiếp theo về xây dựng mô hình ngôn ngữ.
Nội dung bài luận văn bao gồm các phần sau:
Chương 1: Trình bày các kiến thức cơ bản về mô hình ngôn ngữ, mô hình
N-gram, các phương pháp làm mịn và các độ đo dùng để đánh giá mô hình ngôn ngữ.
Chương 2: Nghiên cứu sâu hơn mô hình ngôn ngữ dựa trên mạng nơron. Đặc
biệt tập trung vào mô hình ngôn ngữ dựa trên mạng nơron hồi quy.
Chương 3: Thực nghiệm đánh giá mô hình theo hai phương pháp: trực tiếp và

gián tiếp. Đánh giá trực tiếp là chạy các bộ dữ liệu với hai ngôn ngữ tiếng Anh và
tiếng Việt trên mô hình và so sánh các mô hình khác. Đánh giá gián tiếp là việc gắn
mô hình vào hệ thống dịch máy thống kê Moses để đánh giá kết quả dịch.

6


Chƣơng 1: MÔ HÌNH NGÔN NGỮ
Mô hình ngôn ngữ đang nhận được nhiều sự quan tâm của các nhà khoa học
hiện nay. Đã có rất nhiều mô hình ngôn ngữ đưa ra nhằm cải tiến mô hình ngôn ngữ
đầu tiên. Mô hình ngôn ngữ được sử dụng vào các bài toán về nhận dạng tiếng nói và
dịch máy thống kê. Trong chương này tôi sẽ trình bày kiến thức cơ bản về mô hình
ngôn ngữ như: định nghĩa mô hình ngôn ngữ, mô hình N-gram, các độ đo để đánh giá
một mô hình và giới thiệu một số phương pháp làm mịn. Từ những kiến thức cơ sở có
thể hiểu sâu hơn về các mô hình ngôn ngữ sau này.

1.1 Giới thiệu chung
Mô hình ngôn ngữ là một phân bố xác suất của một đoạn văn bản trên một tập
dữ liệu văn bản lớn. Ví dụ, một mô hình ngôn ngữ dựa trên tập dữ liệu về giáo dục thì
xác suất của câu “hôm nay chúng em đi học” sẽ cao hơn câu “hôm chúng nay học em
đi”.
Thuật ngữ mô hình ngôn ngữ bắt nguồn từ các mô hình xác suất sinh ngôn ngữ
dùng trong hệ thống nhận dạng tiếng nói, phát triển vào những năm 1980. Lịch sử phát
triển của mô hình ngôn ngữ từ đầu thế kỷ 20 khi Andrey Markov đưa ra mô hình
Markov sử dụng để lập mô hình cho chuỗi các chữ cái. Sau đó Claude Shannon đưa ra
mô hình cho chuỗi các chữ cái và các từ. Những năm 90 mô hình ngôn ngữ được sử
dụng rộng rãi trong các ứng dụng xử lý ngôn ngữ tự nhiên như phân loại từ vựng, dịch
máy và nhận dạng chữ viết. Mô hình ngôn ngữ còn được các nhà nghiên cứu sử dụng
để truy hồi thông tin.
Mô hình ngôn ngữ được định nghĩa như sau: V là một tập tất cả các từ trong

ngôn ngữ. Ví dụ ta xây dựng mô hình ngôn ngữ cho tiếng anh thì ta có:
𝑉 = {𝑡ℎ𝑒, 𝑑𝑜𝑔, 𝑙𝑎𝑢𝑔ℎ𝑠, 𝑠𝑎𝑤, 𝑏𝑎𝑟𝑘𝑠, 𝑐𝑎𝑡 … }
Tập V là tập dữ liệu lớn, cỡ hàng nghìn từ và là tập hữu hạn. Một câu trong ngôn ngữ
là một tập các từ đứng gần nhau w1w2…wn (với 𝑛 ≥ 1.), một ký hiệu <s> ở đầu câu và
</s> ở cuối câu (hai ký hiệu <s> và </s> không thuộc tập V). Ví dụ:

7


<s> the dog barks </s>
<s> the cat laughs </s>
<s> the cat saw the dog </s>
Tập V+ là tập các câu sinh ra từ các từ trong tập V. Đây là tập không hữu hạn.
Mô hình ngôn ngữ: Là mô hình gồm một tập hữu hạn V và một hàm P(w1w2…wn) như
sau:
1.
2.

Với cụm (w1w2…wn)  V+, P(w1w2…wn) ≥ 0
𝑤 1 𝑤 2 …𝑤 𝑛  𝑉+

𝑃(𝑤1 𝑤2 … 𝑤𝑛 ) = 1

Khi đó, P(w1w2…wn) là một phân bố xác suất của câu trên tập V+.
Gọi C(w1w2…wn) là số lần xuất hiện của câu w1w2…wn trong tập huấn luyện, N là tổng
các câu. Mô hình ngôn ngữ đơn giản trên tập dữ liệu huấn luyện định nghĩa như sau:
𝑃 𝑤1 𝑤2 … 𝑤𝑛 =

𝐶(𝑤1 𝑤2 … 𝑤𝑛 )
𝑁

(1.1)

Tuy nhiên, đây không phải là một mô hình tốt vì sẽ cho xác suất 0 với các câu
không xuất hiện trong tập dữ liệu huấn luyện, do đó không thể tổng quát hóa cho
trường hợp câu không có trong tập V+. Mặc dù có hạn chế nhưng mô hình ngôn ngữ
vẫn được xem xét để nghiên cứu và cải tiến vì những lý do sau:
1. Mô hình ngôn ngữ vẫn cần cho một số ứng dụng như nhận diện giọng nói và
dịch máy.
2. Từ định nghĩa hàm P và ức lượng các tham số từ tập dữ liệu huấn luyện sẽ cho
được kết quả với nhiều ngữ cảnh khác nhau: ví dụ mô hình Markov ẩn trình bày
trong phần tiếp theo.

1.2 Mô hình N-gram
Câu hỏi đặt ra là xác suất P(w1w2…wn) là bao nhiêu? Phân tách P bằng một xác
suất dây chuyền (chain rule of probability):
𝑃 𝑋1 … 𝑋𝑛 = 𝑃 𝑋1 𝑃 𝑋2 𝑋1 𝑃 𝑋3 𝑋12 … 𝑃 𝑋𝑛 𝑋1𝑛−1

8


𝑛

𝑃(𝑋𝑘 |𝑋1𝑘−1 )

=

(1.2)

𝑘 =1

Ứng dụng xấp xỉ trên với từ:
𝑃 𝑤1 … 𝑤𝑛 = 𝑃 𝑤1 𝑃 𝑤2 𝑤1 𝑃 𝑤3 𝑤12 … 𝑃 𝑤𝑛 𝑤1𝑛−1
𝑛

𝑃(𝑤𝑘 |𝑤1𝑘 −1 )

=

(1.3)

𝑘 =1

Quy tắc dây chuyền chỉ ra mối liên hệ giữa xác suất cả cụm từ và xác suất của
một từ đi sau một số từ trước đó. Do đó mô hình cần một lượng bộ nhớ khá lớn để lưu
xác xuất của tất cả các cụm từ. Rõ ràng quy tắc này vẫn không hiệu quả khi chiều dài
của cụm từ lớn và việc tính 𝑃(𝑤𝑘 |𝑤1𝑘−1 ) rất khó.
Giả sử cần tính xác suất của từ w đi sau cụm từ h, hay P(w|h). Ví dụ h là cụm từ
tiếng anh “its water is so transparent” và tính xác suất của từ the đi sau cụm từ trên là:
𝑃(𝑡ℎ𝑒|𝑖𝑡𝑠 𝑤𝑎𝑠 𝑖𝑠 𝑠𝑜 𝑡𝑟𝑎𝑛𝑠𝑝𝑎𝑟𝑒𝑛𝑡 𝑡ℎ𝑎𝑡)
=

𝐶(𝑖𝑡𝑠 𝑤𝑎𝑠 𝑖𝑠 𝑠𝑜 𝑡𝑟𝑎𝑛𝑠𝑝𝑎𝑟𝑒𝑛𝑡 𝑡ℎ𝑎𝑡 𝑡ℎ𝑒)
𝐶(𝑖𝑡𝑠 𝑤𝑎𝑠 𝑖𝑠 𝑠𝑜 𝑡𝑟𝑎𝑛𝑠𝑝𝑎𝑟𝑒𝑛𝑡 𝑡ℎ𝑎𝑡)

(1.4)

Với tập dữ liệu đủ lớn thì ta có thể đếm các tần suất xuất hiện của hai cụm từ
𝑖𝑡𝑠 𝑤𝑎𝑠 𝑖𝑠 𝑠𝑜 𝑡𝑟𝑎𝑛𝑠𝑝𝑎𝑟𝑒𝑛𝑡 𝑡ℎ𝑎𝑡 𝑡ℎ𝑒 và 𝑖𝑡𝑠 𝑤𝑎𝑠 𝑖𝑠 𝑠𝑜 𝑡𝑟𝑎𝑛𝑠𝑝𝑎𝑟𝑒𝑛𝑡 𝑡ℎ𝑎𝑡 bên trên.
Trong trường hợp dữ liệu không đủ lớn thì việc ước lượng xác suất theo công thức

(1.4) khó thực hiện được. Hay cả khi có dữ liệu đủ lớn thì việc đếm số lần xuất hiện
cũng rất khó.
Mô hình N-gram ra đời thay thế xác suất của một từ phụ thuộc vào toàn bộ các
từ trước đó bằng một xấp xỉ của hữu hạn từ trước đó.
Ví dụ với mô hình 2-gram, xác suất của một từ chỉ phụ thuộc vào từ đứng liền
trước nó, thay vì toàn bộ dãy từ w1w2…wn-1, hay:
𝑃 𝑤𝑛 𝑤1𝑛−1 ≈ 𝑃 𝑤𝑛 𝑤𝑛 −1
Ví dụ ta có:
𝑃(𝑡ℎ𝑒|𝑖𝑡𝑠 𝑤𝑎𝑡𝑒𝑟 𝑖𝑠 𝑠𝑜 𝑡𝑟𝑎𝑛𝑠𝑝𝑎𝑟𝑒𝑛𝑡 𝑡ℎ𝑎𝑡) ≈ 𝑃(𝑡ℎ𝑒|𝑡ℎ𝑎𝑡)

9

(1.5)


Giả định rằng xác suất của một từ chỉ phụ thuộc vào hữu hạn từ trước đó gọi là
xấp xỉ Markov. Xấp xỉ Markov có thể dự đoán xác suất của một từ khi biết 1,..,n từ
trước đó (với n đủ nhỏ). Mô hình Markov còn gọi là mô hình N-gram.
Áp dụng xấp xỉ Markov ta có công thức (1.5) tương đương như sau:
𝑛−1
𝑃 𝑤𝑛 𝑤1𝑛 −1 ≈ 𝑃(𝑤𝑛 |𝑤𝑛−𝑁+1
)

(1.6)

Mô hình 2-gram trong ví dụ trên sẽ tương đương công thức xác suất:
𝑛

𝑃 𝑤1 … 𝑤𝑛 ≈

𝑃 𝑤𝑘 𝑤𝑘−1

(1.7)

𝑘 =1

Làm sao để ước lượng được xác suất của 2-gram hay N-gram? Cách đơn giản
hay sử dụng là Ƣớc lƣợng hợp lý cực đại (Maximum Likelihood Estimation - MLE).
Ví dụ, với xác suất 2-gram của từ y đi sau từ x là số lần xuất hiện của từ xy,C(xy).
𝑃 𝑤𝑛 𝑤𝑛 −1 =

𝐶(𝑤𝑛 −1 𝑤𝑛 )
𝑤 𝐶(𝑤𝑛−1 𝑤)

(1.8)

Đơn giản công thức (1.8) bằng cách coi số lần xuất hiện 2-gram bắt đầu bằng từ wn-1
bằng số lần xuất hiện của từ wn-1 ta có:
𝑃 𝑤𝑛 𝑤𝑛−1 =

𝐶(𝑤𝑛 −1 𝑤𝑛 )
𝐶(𝑤𝑛−1 )

(1.9)

Xem ví dụ đơn giản với 3 câu như sau:
<s> I am Sam </s>
<s> Sam I am </s>
<s> I do not like green eggs and ham </s>
Xác suất 2-gram của tập dữ liệu trên:

𝑃 𝐼 <𝑠> =

2
3

= 0.67

𝑃 </𝑠 > 𝑆𝑎𝑚 =

1
2

𝑃 𝑆𝑎𝑚 < 𝑠 > =

= 0.5 𝑃 𝑆𝑎𝑚 𝑎𝑚 =

1
2

1
3

= 0.33

= 0.5

𝑃 𝑎𝑚 𝐼 =
𝑃 𝑑𝑜 𝐼 =

2

3
1
3

= 0.67

= 0.33

Công thức MLE cho trường hợp tổng quát N-gram:
𝑛 −1
𝑃 𝑤𝑛 𝑤𝑛−𝑁+1
=

−1
𝐶(𝑤𝑛𝑛−𝑁+1
𝑤𝑛 )
𝑛−1
𝐶(𝑤𝑛−𝑁+1 )

10

(1.10)


TÀI LIỆU THAM KHẢO
[1] Y. Bengio, R. Ducharme, P. Vincent. A neural probabilistic language model.
Journal of Machine Learning Research, 3:1137-1155. 2003.
[2] Brown, P.F, Della Pietra, V.J. de Souza, P.V., lai, J.C., and Mercerr, R.L. Classbased n-gram models of natural language. Computational Linguistics, 18(4), 467-479.
1992b.
[3]D. Chiang. A Hierarchical Phrase-Based Model for Statistical Machine

Translation. In Proceedings of the 43rd Annual Meeting of the Association for
Computational Linguistics (ACL'05) 2005.
[4] Chen, S. and Goodman, J. An empirical study of smoothing techniques for
language modeling. Computer Speech & Language, 1999, 13: pages 359-393 (35).
[5] Gale, W.A and Sampson, G. Good-turing frequency estimation without tears.
Journal of Quantitative Linguistics, 2, 217-237. 1995.
[6] Good, I.J. The population frequencies of species and the estimation of population
parameters. Biometrika, 40, 16-264. 1953.
[7] D. Jurafsky and J. H. Martin. Speech and Language Processing: An introduction
to speech recognition, computational linguistics and natural language processing.
Chapter 4. 2007.
[8] Katz, S.M. Estimation of probabilities from sparse data for the language model
component of a speech recogniser. IEEE Transactions on Acoustics, Speech, and
Signal Processing, 35(3), 400-401. 1987.
[9] Kneser, R. and Ney, H. Improved clustering techniques for class-based statistical
language modelling. In EUROSPEECH-93, pp.973-976. 1993.
[10] Lidstone, G. J. Note on the general case of the Bayes-Laplace formula for
inductive or a posteriori probabilities. Transactions of the Faculty of Actuaries, 1920,
8, 182–192.
[11] T. Mikolov, M. Karaat, L. Burget, J. Cernocky, S. Khudanpur. Recurrent
neuralnetwork based language model. In: Proceedings of Interspeech.2010.

11


[12] T. Mikolov, S. Kombrink, L. Burget, J. _Cernock_y, S. Khudanpur. Extensions of
recurrent neural network language model, In: Proceedings of ICASSP, 2011.

[13] T. Mikolov: Statistical Language Models based on Neural Networks. PhD
thesis, Brno University of Technology, 2012.

[14] T. Mikolov, Wen-tau Yih, and Geoffrey Zweig, Linguistic Regularities in
Continuous Space Word Representations, in Proceedings of the 2013 Conference of
the North American Chapter of the Association for Computational Linguistics: Human
Language Technologies (NAACL-HLT-2013), Association for Computational
Linguistics, 27 May 2013.
[15] M. Minsky, S. Papert. Perceptrons: An Introduction to Computational
Geometry,MIT Press, 1969.
[16] Philipp Koehn, Hieu Hoang, Alexandra Birch, ChrisCallison-Burch, Marcello
Federico, Nicola Bertoldi,Brooke Cowan, Wade Shen, Christine Moran, RichardZens,
Chris Dyer, Ondrej Bojar, Alexandra Constantin, and Evan Herbst. 2007. Moses: Open
source toolkit for statistical machine translation. In Proceedings of ACL,
Demonstration Session.
[17] Pipineni K, S.Roukó, T.Ward, and W.J.Zhu. Blue a methob or automatic
evaluation of machine translation. In Proc. of the 40th Annual Meeting of the
Association for Computational Linguistics (ACL), Philadelphia, PA, July, 2002, pages
311-318.
[18] D. E. Rumelhart, G. E. Hinton, R. J. Williams. Learning internal representations
by back-propagating errors. Nature, 323:533.536, 1986.
[19] H. Sak, A. Senior, and F. Beaufays, “Long short-term memory based recurrent
neural network architectures for large vocabulary speech recognition,” arXiv preprint
arXiv:1402.1128, 2014.
[20] H. Schwenk, J. Gauvain. Training Neural Network Language Models On Very
Large Corpora. In Proceedings of Joint Conference HLT/EMNLP, 2005.
[21] A. Stolcke. SRILM - An Extensible Language Modeling Toolkit. Proc. Intl. Conf.
on Spoken Language Processing, vol. 2, pp. 901-904, 2002.

12


[22]

Su,

Y.:Random

Forest

Language

Model

Toolkit,

/>[23] Thai Phuong Nguyen, Akira Shimazu, Tu Bao Ho, Minh Le Nguyen, and Vinh
Van Nguyen. 2008. A tree-to-string phrase-based model for statistical machine
translation. In Proceedings of the Twelfth Conference on Computational Natural
Language Learning (CoNLL 2008), pages 143–150, Manchester, England, August.
Coling 2008 Organizing Committee.

13