TÍCH HỢP THÔNG TIN HÌNH THÁI TỪ VÀO HỆ DỊCH MÁY THỐNG KÊ ANH - VIỆT

Header Page 1 of 166.
ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH

TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

NGUYỄN THỊ NGỌC MAI

TÍCH HỢP THÔNG TIN HÌNH THÁI TỪ VÀO
HỆ DỊCH MÁY THỐNG KÊ ANH - VIỆT

LUẬN VĂN THẠC SĨ
NGÀNH KHOA HỌC MÁY TÍNH

Thành phố Hồ Chí Minh - 2010

Footer Page 1 of 166.


Header Page 2 of 166.

MỤC LỤC
MỤC LỤC ...................................................................................................................1
DANH SÁCH CÁC BẢNG ........................................................................................4
DANH SÁCH CÁC HÌNH .........................................................................................5
CHƢƠNG 1: GIỚI THIỆU .........................................................................................6
1.1.

Đặt vấn đề ......................................................................................................6

1.2.

Hƣớng tiếp cận của đề tài ..............................................................................8

1.3.

Nội dung của luận văn ...................................................................................9

CHƢƠNG 2: TỔNG QUAN .....................................................................................11
2.1.

Dịch máy thống kê .......................................................................................11

2.1.1.

Dịch máy thống kê dựa trên từ .............................................................11

2.1.2.

Mô hình dịch máy thống kê dựa trên ngữ .............................................19

2.1.3.

Mô hình dịch thống kê factored (Factored SMT) .................................26

2.1.4.

Mô hình dịch máy thống kê dựa trên cú pháp ......................................29

2.2.

Các tiêu chuẩn đánh giá chất lƣợng dịch .....................................................31

2.2.1.

BLEU (Bilingual Evaluation Understudy) ...........................................32

2.2.2.

NIST......................................................................................................32

2.2.3.

TER (Translation Error Rate) ...............................................................32

CHƢƠNG 3: .............................................................................................................33
CÁC HƢỚNG TÍCH HỢP TRI THỨC NGÔN NGỮ VÀO DỊCH MÁY THỐNG
KÊ..............................................................................................................................33
3.1.

Sử dụng tri thức ngôn ngữ để tiền xử lý ......................................................33

3.1.1.

Dùng thông tin cú pháp .........................................................................34

Footer Page 2 of 166.

Trang 1


Header Page 3 of 166.

3.1.2.

Sử dụng thông tin từ loại ......................................................................36

3.1.3.

Sử dụng luật biến đổi hình thái từ.........................................................37

3.2.

Tích hợp tri thức vào hệ thống dịch máy.....................................................39

3.2.1.

Tích hợp thông tin hình thái vào mô hình dịch.....................................39

3.2.2.

Tích hợp thông tin cú pháp vào mô hình dịch ......................................40

3.2.3.

Tích hợp vào mô hình ngôn ngữ ...........................................................41

CHƢƠNG 4: MÔ HÌNH CỦA ĐỀ TÀI ...................................................................42
4.1.

Tích hợp thông tin hình thái từ tiếng Anh ...................................................43

4.1.1.

Thông tin từ loại ...................................................................................43

4.1.2.

Thông tin biến cách của từ ....................................................................44

4.1.3.

Sử dụng luật chuyển đổi trật tự .............................................................45

4.2.

Thêm thông tin hình thái từ tiếng Việt ........................................................50

4.2.1.

Thông tin ranh giới từ ...........................................................................50

4.2.2.

Thông tin từ loại ...................................................................................51

4.3.

Thêm thông tin hình thái từ cho tiếng Anh và tiếng Việt ............................52

CHƢƠNG 5: THỰC NGHIỆM VÀ ĐÁNH GIÁ .....................................................54
5.1.

Ngữ liệu .......................................................................................................54

5.2.

Các công cụ .................................................................................................55

5.3.

Thí nghiệm ...................................................................................................55

5.3.1.
4.4.

Tích hợp thông tin hình thái từ trong câu tiếng Anh ............................55

Tóm tắt kết quả thí nghiệm ..........................................................................74

CHƢƠNG 6: KẾT LUẬN ........................................................................................76
TÀI LIỆU THAM KHẢO .........................................................................................78
PHỤ LỤC ..................................................................................................................82

Footer Page 3 of 166.

Trang 2


Header Page 4 of 166.

A. Đối chiếu hình thái từ Anh – Việt (biến cách) ................................................82

B. Kết quả dịch của một số mô hình....................................................................82

Footer Page 4 of 166.

Trang 3


Header Page 5 of 166.

DANH SÁCH CÁC BẢNG
Bảng 2.1. Bảng biểu diễn gióng hàng từ dạng bảng ................................................. 15
Bảng 5.1 Thông tin về ngữ liệu ................................................................................. 59
Bảng 5.2. Kết quả dịch của các hệ tích hợp thông tin hình thái từ vào câu tiếng Anh
................................................................................................................................... 60
Bảng 5.3. Kết quả dịch của các hệ chuyển đổi trật tự từ........................................... 63
Bảng 5.4. Kết quả dịch của các hệ tích hợp thông tin hình thái từ vào câu tiếng Việt
................................................................................................................................... 64
Bảng 5.5. Số liên kết gióng hàng từ trong các mô hình ............................................ 65
Bảng 5.6 Kết quả dịch của hệ dịch tích hợp từ loại tiếng Việt ................................. 68
Bảng 5.7. Kết quả dịch của các hệ tích hợp thông tin hình thái từ vào câu tiếng Anh
và tiếng Việt .............................................................................................................. 71

Footer Page 5 of 166.

Trang 4


Header Page 6 of 166.

DANH SÁCH CÁC HÌNH

Hình 2.1. Mô hình dịch máy thống kê ...................................................................... 12
Hình 2.2. Biểu diễn gióng hàng từ dạng liên kết ...................................................... 14
Hình 2.3. Hình minh hoạ quá trình cải tiến gióng hàng từ ....................................... 19
Hình 2.4. Ví dụ về dịch thống kê dựa trên ngữ ......................................................... 20
Hình 2.5. Mô hình dịch factored SMT ...................................................................... 27
Hình 4.1. Mô hình chung của luận văn ..................................................................... 43
Hình 4.2. Mô hình ngôn ngữ từ vựng ....................................................................... 49
Hình 4.3. Mô hình ngôn ngữ từ loại.......................................................................... 49
Hình 4.4. Mô hình factored SMT tích hợp từ loại .................................................... 50
Hình 4.5. Mô hình factored SMT tích hợp nguyên mẫu và từ loại ........................... 51
Hình 4.5. Mô hình factored SMT tích hợp các thông tin hình thái từ ...................... 51

Footer Page 6 of 166.

Trang 5


Header Page 7 of 166.

CHƢƠNG 1: GIỚI THIỆU
1.1.

Đặt vấn đề

Dịch máy hay còn gọi là dịch tự động đã và đang đƣợc con ngƣời quan tâm hiện
nay. Các nhà nghiên cứu đƣa tri thức nhằm khai thác sức mạnh xử lý tính toán của
máy tính và tạo ra ứng dụng phục vụ con ngƣời trong thời đại công nghệ thông tin
phát triển. Khi việc giao tiếp và việc nắm bắt thông tin nhanh chóng sẽ tạo nên
nhiều cơ hội cho con ngƣời đi đến thành công, chƣơng trình dịch tự động sẽ là công
cụ giúp họ vƣợt qua rào cản ngôn ngữ, giúp họ chuyển đổi ngôn ngữ nhanh và tiết

kiệm công sức. Dịch máy là một lĩnh vực rất thú vị, thu hút sự quan tâm của rất
nhiều nhóm nghiên cứu trên thế giới. Tuy nhiên, bản thân từng ngôn ngữ đã rất
phức tạp, thƣờng hay có nhập nhằng. Mặc khác, giữa các ngôn ngữ luôn có sự khác
biệt, từ từ vựng đến các cấu trúc để tạo thành câu. Việc xây dựng một hệ dịch máy
có khả năng hiểu ngữ cảnh, khử nhập nhằng và dịch đƣợc gần với con ngƣời vẫn
đang là một thách thức lớn.
Đối với tiếng Việt, hiện nay có rất nhiều nhóm đầu tƣ vào các hệ dịch theo nhiều
hƣớng tiếp cận khác nhau:
-

Nhóm nghiên cứu của PGS. TS. Đinh Điền (Đại học Khoa học Tự nhiên- Đại
học Quốc gia Thành phố Hồ Chí Minh): Dự án nghiên cứu của nhóm dựa
trên việc học luật chuyển đổi từ ngữ liệu song ngữ.

-

Nhóm nghiên cứu của PGS. TS. Phan Thị Tƣơi (Đại học Bách Khoa Thành
phố Hồ Chí Minh): Nhóm sử dụng phƣơng pháp phân tích cú pháp có xác
suất để dịch văn bản Anh-Việt và Việt-Anh.

-

Nhóm nghiên cứu của TS. Lê Khánh Hùng Softex (Phòng Công nghệ Phần
Mềm - Viện Ứng dụng công nghệ - Bộ Khoa học và Công nghệ Việt Nam):
hệ dịch đã đƣợc đƣa vào sử dụng trong thực tế và thƣơng mại hoá sản phẩm
(). EVTRAN là một hệ dịch máy hoàn toàn dựa vào luật, sử

Footer Page 7 of 166.

Trang 6

Header Page 8 of 166.

dụng các luật đƣợc xây dựng bằng tay để dịch văn bản từ Anh sang Việt. Từ
năm 2006, bản EVTRAN 3.0 (đƣợc gọi là Ev-Shuttle) có thể dịch đƣợc văn
bản hai chiều Anh-Việt và Việt-Anh. Do hệ dịch dựa trên luật nên kết quả
của hệ dịch phụ thuộc nhiều vào câu đầu vào có phù hợp với các luật đã
đƣợc thiết lập hay không.
-

Nhóm dự án ERIM của Đại học Bách Khoa Đà Nẵng kết hợp với GETA –
ĐHBK Grenoble, thử nghiệm dịch Anh-Việt, Pháp-Việt của Đoàn Nguyên
Hải ( tại LATL.

-

Google Transle (www.translate.google.com): Hỗ trợ hơn 50 ngôn ngữ bao
gồm cả tiếng Việt. Sử dụng phƣơng pháp dịch máy thống kê dựa trên kho
ngữ liệu song ngữ. Tốc độ dịch nhanh và có tính năng tƣơng tác với ngƣời
dùng nhằm tăng chất lƣợng dịch cho các lần sau.

-

Dịch máy trên Xalo.vn (www.dich.xalo.vn): đƣa ra dịch vụ dịch trực tuyến
một chiều từ Anh sang Việt, do công ty Cổ phần Công nghệ Tinh Vân tự
phát triển, hỗ trợ dịch theo từng lĩnh vực, đồng thời cho phép ngƣời dùng
chỉnh sửa, góp ý về nội dung dịch nhằm nâng cao chất lƣợng dịch.

-

Lạc Việt (công ty từng phát triển và đƣa ra bộ từ điển Lạc Việt
www.vietgle.vn/tratu/dich-tu-dong): chỉ hỗ trợ dịch từ Anh sang Việt có
thêm phần dịch chuyên ngành (tin học, toán học, y học và kế toán) và hỗ trợ
dịch tốt hơn bởi ngƣời dùng.

Do xây dựng trên các mô hình khác nhau, các hệ thống cho ra chất lƣợng dịch khác
nhau, tuỳ thuộc vào dạng câu đầu vào.
Các hệ thống dựa trên luật do sử dụng tri thức ngôn ngữ nhƣ thông tin cú pháp, ngữ
nghĩa nên dịch khá hiệu quả. Tuy nhiên, máy tính khó có thể phân tích cú pháp
chính xác cho những câu có ngữ nghĩa phức tạp. Mặc khác, việc xây dựng tập luật
cú pháp và luật chuyển đổi có thể bao quát đƣợc mọi trƣờng hợp rất khó khăn, đòi
hỏi ngƣời thực hiện phải có kiến thức sâu về ngôn ngữ.
Ngƣợc lại, hệ dịch máy thống kê (Statistical Machine Translation – SMT) lại hoàn
toàn dựa trên các kết quả thống kê từ kho ngữ liệu song ngữ. Kết quả trung gian của

Footer Page 8 of 166.

Trang 7


Header Page 9 of 166.

hệ dịch này là các bảng thống kê về từ, ngữ và các qui luật chuyển đổi mà không
cần đến tri thức ngôn ngữ. Với phƣơng pháp này, ngữ liệu càng lớn và có chất
lƣợng tốt thì hệ dịch sẽ càng hiệu quả.
Ƣu điểm của hệ dịch này là do chỉ thuần tuý thống kê nên độc lập về ngôn ngữ, có
thể áp dụng đƣợc trên bất kì cặp ngôn ngữ nào. Mặc khác, chúng ta có thể tiền xử lý
trên dữ liệu đầu vào, miễn là thực hiện biến đổi đồng nhất trong cả quá trình huấn
luyện và dịch. Ngoài ra, những ngƣời cũng có thể theo dõi hoặc can thiệp vào quá

trình dịch thông qua các bảng thống kê trung gian. Chính vì những đặc điểm này mà
mô hình dịch máy thống kê có tiềm năng rất lớn trong ứng dụng dịch máy. Rất
nhiều nhóm nghiên cứu đang tập trung khai thác và phát triển hệ dịch máy trên mô
hình này.
Do đó, chúng tôi hƣớng đến phát triển một hệ dịch sử dụng đồng thời tri thức thống
kê từ kho ngữ liệu song ngữ và tri thức về phân tích ngôn ngữ. Luận văn sẽ tập
trung khảo sát việc tích hợp thông tin hình thái từ vào dịch máy thống kê và phát
triển một hệ thống dịch máy thống kê Anh - Việt sử dụng các tri thức ngôn ngữ này.
1.2.

Hƣớng tiếp cận của đề tài

Đề tài sẽ tập trung vào khảo sát các hƣớng tích hợp trực tiếp tri thức ngôn ngữ vào
trong hệ dịch máy thống kê dựa trên ngữ. Khảo sát các tri thức ngôn ngữ trong dịch
máy thống kê Anh - Việt. Các tri thức đƣợc tập trung khảo sát bao gồm hình thái từ,
từ loại và các cách kết hợp các thông tin này và tìm hiểu ảnh hƣởng của các thông
tin này lên hệ dịch.
Tiếng Anh và tiếng Việt rất khác biệt về loại hình ngôn ngữ. Tiếng Việt là ngôn ngữ
đơn lập, quan hệ ngữ pháp chỉ đƣợc diễn đạt bằng trật tự trƣớc sau của từ và bằng
các hƣ từ. Trong tiếng Việt, từ không có hiện tƣợng biến hình, đơn vị cơ bản là hình
tiết: đây là một đơn vị có nghĩa, có vỏ ngữ âm thƣờng trùng với âm tiết, có khả
năng vừa dùng nhƣ từ vừa dùng nhƣ hình vị. Ở loại hình này, ngƣời ta thƣờng hay
nói đến vấn đề khó xác định ranh giới từ, vấn đề khó phân biệt các yếu tố hƣ với
yếu tố thực cũng nhƣ vấn đề mặt cấu tạo từ ít phát triển. Trong khi tiếng Anh là

Footer Page 9 of 166.

Trang 8

Header Page 10 of 166.

ngôn ngữ hoà kết, từ tiếng Anh chính là những từ chính tả phân biệt bởi khoảng
trắng. Từ vựng tiếng Anh có hai đặc điểm là biến cách và dẫn xuất. Biến cách là
dạng mà trong đó có một hình vị ràng buộc kết hợp vào một từ để thể hiện những ý
nghĩa ngữ pháp nhƣ: thì (tense), số (number), cách (case), v.v… Dẫn xuất là dạng từ
mới đƣợc hình thành trên cơ sở từ gốc kết hợp với các phụ tố nhằm thể hiện những
ý nghĩa từ vựng, nhƣ: lặp lại (re-), chống (anti-), ngƣời/vật thực hiện (-er/-or), ...
Phụ tố của dẫn xuất bao gồm các hậu tố và tiền tố.
Nhiều nghiên cứu đã tiếp cận theo hƣớng tập trung vào giải quyết sự khác biệt về
trật tự từ giữa tiếng Anh và tiếng Việt nhƣ nghiên cứu của nhóm Nguyễn Phƣơng
Thái [32], nhóm nghiên cứu của nhóm Nguyễn Thị Hồng Nhung [24], Duy Vũ [3]
và đạt đƣợc một số kết quả khả quan. Tuy nhiên, sự khác nhau về hình thái từ giữa
tiếng Anh và tiếng Việt vẫn chƣa đƣợc quan tâm.
Do đó, đề tài sẽ tiếp cận theo hƣớng tích hợp tri thức ngôn ngữ vào hệ thống dịch
máy thống kê Anh - Việt ở mức độ hình thái từ. Từ tiếng Anh sẽ đƣợc đƣa về
nguyên mẫu, tách các phụ tố và gán nhãn từ loại, từ tiếng Việt sẽ đƣợc phân đoạn từ
và gán nhãn từ loại. Đề tài cũng sẽ phân tích các từ loại có ảnh hƣởng tích cực đến
chất lƣợng dịch của hệ thống.
1.3.

Nội dung của luận văn

Phần còn lại của luận văn sẽ bao gồm các chƣơng sau:
Chƣơng 2 – TỔNG QUAN: Chƣơng này sẽ trình bày hƣớng tiếp cận dịch máy
thống kê dựa trên ngữ, các thành phần cấu thành hệ thống dịch máy thống kê này.
Chƣơng 3 – CÁC HƢỚNG TÍCH HỢP TRI THỨC NGÔN NGỮ VÀO DỊCH
MÁY THỐNG KÊ: Chƣơng này sẽ khảo sát các hƣớng tiếp cận để đƣa tri thức
ngôn ngữ vào trong hệ máy thống kê, phân tích ƣu khuyết điểm của các hƣớng tiếp
cận này.

Footer Page 10 of 166.

Trang 9


Header Page 11 of 166.

Chƣơng 4 – MÔ HÌNH CỦA ĐỀ TÀI: Chƣơng này sẽ mô tả mô hình đƣợc sử
dụng trong đề tài, các tri thức đƣợc đƣa vào hệ thống dịch máy thống kê Anh - Việt
dựa trên ngữ và lí do lựa chọn các tri thức này.
Chƣơng 5 – THỰC NGHIỆM VÀ ĐÁNH GIÁ: Chƣơng này sẽ mô tả chi tiết
về các thí nghiệm đã thực hiện để đánh giá hiệu quả hƣớng tiếp cận của đề tài, đồng
thời so sánh các tri thức ngôn ngữ khác nhau ảnh hƣởng nhƣ thế nào trong dịch máy
thống kê Anh - Việt.
Chƣơng 6 – KẾT LUẬN: nêu lên những kết quả mà luận văn đã đạt đƣợc và
hƣớng phát triển trong tƣơng lai.
TÀI LIỆU THAM KHẢO VÀ PHỤ LỤC: trình bày các thông tin khác có liên
quan và đƣợc sử dụng trong đề tài.
CÔNG TRÌNH ĐÃ CÔNG BỐ: liệt kê các bài báo khoa học, các công trình đã
đƣợc công bố trong quá trình thực hiện đề tài.

Footer Page 11 of 166.

Trang 10


Header Page 12 of 166.

CHƢƠNG 2: TỔNG QUAN

2.1. Dịch máy thống kê
Dịch máy thống kê (Statistical Machine Translation - SMT) đƣợc nghiên cứu từ
những năm 1980 trong dự án Candide của IBM. Phƣơng pháp đƣợc IBM sử dụng là
dịch máy thống kê dựa trên từ (word based SMT), phƣơng pháp này dịch từ một từ
thuộc ngôn ngữ nguồn sang một hoặc nhiều từ thuộc ngôn ngữ đích và cho phép
thêm, xoá các từ trên câu đích.
Sau này, nhiều nhóm nghiên cứu đã đạt đƣợc kết quả dịch tốt hơn nhờ phƣơng pháp
dịch máy thông kê dựa trên ngữ (phrase based SMT). Phƣơng pháp này đƣợc đặt
nền móng từ mô hình mẫu gióng hàng (alignment template model) của [10], mô
hình này có thể chuyển đổi thành một hệ thống dịch máy thống kê dựa trên ngữ.
Nhiều nhóm nghiên cứu sử dụng kết quả của dịch dựa trên ngữ để tích hợp vào hệ
thống của mình, chẳng hạn [34] đã thành công khi sử dụng cách dịch dựa trên ngữ
trong mô hình dịch máy dựa trên cú pháp (syntax-based) của mình.
Hầu hết các hệ thống dịch máy thống kê hiện nay đều sử dụng cách dịch dựa trên
ngữ, một số hệ thống dịch máy nổi tiếng trong số này là CMU, IBM, ISI và Google.
Các hệ thống dịch máy dựa trên ngữ đạt đƣợc những kết quả vƣợt trội trong các hội
nghị đánh giá chất lƣợng dịch máy thời gian gần đây (DARPA TIDES Machine
Translation Evaluation).
Ngoài phƣơng pháp thống kê còn nhiều phƣơng pháp khác đƣợc sử dụng trong dịch
máy. Đa số các hệ thống dịch thƣơng mại sử dụng các luật chuyển đổi và các bộ từ
vựng phong phú. Cho tới gần đây, các nghiên cứu về dịch máy thƣờng tập trung vào
các hệ thống dựa trên tri thức (knowledge based) sử dụng interlingua làm ngôn ngữ
trung gian trong quá trình dịch.
2.1.1. Dịch máy thống kê dựa trên từ

Mô hình dịch máy thống kê dựa trên từ [25] đƣợc đƣa ra bởi Brown vào năm 1990.
Mô hình này giả sử rằng câu 𝑒 ở ngôn ngữ nguồn có câu dịch là câu 𝑣 ở ngôn ngữ

Footer Page 12 of 166.

Trang 11


Header Page 13 of 166.

đích. Một câu e có thể dịch sang đƣợc nhiều câu v. Trong dịch thống kê, ta chọn câu
v có khả năng là câu dịch của e là nhiều nhất. Với mỗi cặp câu 𝑣 𝑒 ta gọi 𝑝 𝑣 𝑒 là
xác suất mà 𝑒 có thể dịch thành 𝑣. Mục đích của dịch máy thống kê là tìm câu 𝑣 có
xác suất 𝑝 𝑣 𝑒 là cao nhất.
Tuy nhiên, việc tính xác suất 𝑝 𝑣 𝑒 không khả thi vì câu đích đƣợc tạo ra bởi chuỗi
các từ vựng của ngôn ngữ đích, có thể chuỗi này không phải là câu đúng ngữ pháp.
Do đó, công thức Bayes đƣợc dùng để triển khai cho xác suất 𝑝 𝑣 𝑒 :

𝑝 𝑣𝑒 =

𝑝 𝑣 .𝑝 𝑒 𝑣
𝑝 𝑒
(2.1)

Vì câu tiếng Anh e không đổi nên 𝑝(𝑒) sẽ không ảnh hƣởng đến việc chọn câu 𝑒, ta
có thể bỏ qua 𝑝(𝑒). Khi đó, câu dịch 𝑣 đƣợc chọn sẽ là câu có 𝑝 𝑣 . 𝑝 𝑒 𝑣 lớn
nhất.

𝑣 = 𝑎𝑟𝑔𝑚𝑎𝑥𝑣 𝑝 𝑣 𝑒 = 𝑎𝑟𝑔𝑚𝑎𝑥𝑣 𝑝 𝑣 . 𝑝 𝑒 𝑣
(2.2)
Hệ dịch máy thống kê gồm 3 phần:
-

Mô hình ngôn ngữ 𝑝(𝑣) (language model): Phản ánh độ trôi chảy của câu
dịch. Các câu v đúng ngữ pháp và gần với cách nói tự nhiên trong ngôn ngữ

đích sẽ có giá trị xác suất 𝑝(𝑣) cao hơn. Mô hình này đƣợc huấn luyện dựa
trên ngữ liệu đơn ngữ.

-

Mô hình dịch 𝑝(𝑣) (translation model): Đƣa ra sự tƣơng ứng giữa các từ, ngữ
trong các cặp ngôn ngữ. Với câu e cho trƣớc, câu dịch v nào có xác suất 𝑝(𝑣)
cao hơn thì sẽ là câu dịch hợp lý hơn. Mô hình này đƣợc huấn luyện dựa trên
các cặp câu song ngữ.

-

Bộ giải mã (Decoder): Tích hợp giữa mô hình dịch và mô hình ngôn ngữ để
thực hiện quá trình dịch.

Footer Page 13 of 166.

Trang 12


Header Page 14 of 166.

Ngữ liệu
song ngữ

Ngữ liệu
đơn ngữ

Thống kê

Thống kê

Mô hình dịch

Mô hình ngôn ngữ

Quá trình giải mã

Câu nguồn

Câu đích

Hình 2.1. Mô hình dịch máy thống kê
2.1.1.1. Mô hình ngôn ngữ

Mô hình ngôn ngữ giúp hệ dịch xác định độ chính xác của trật tự từ (có thể cả ngữ
pháp) trong câu đƣợc phát sinh. Từ chuỗi từ đƣợc phát sinh ra, hệ dịch tính tần suất
dãy các từ này cùng xuất hiện trong ngôn ngữ đích. Thông tin này sẽ đƣợc dùng
trong quá trình giải mã để tìm ra câu dịch hay nhất. Các hệ thống hiện nay thƣờng
tính toán sử dụng mô hình ngôn ngữ n-gram, cụ thể là trigram.
Mô hình ngôn ngữ n-gram tính xác suất xuất hiện của một từ dựa trên 𝑛 − 1 từ
đứng trƣớc nó trong câu. Cho câu 𝑠 gồm chuỗi các từ 𝑤1 , 𝑤2 , … 𝑤𝑛 , ta tính các xác
suất trong mô hình ngôn ngữ nhƣ sau:
Xác suất unigram:
𝑝 𝑤1 =

𝑆ố 𝑙ầ𝑛 𝑥𝑢ấ𝑡 𝑕𝑖ệ𝑛 𝑡ừ 𝑤1
𝑇ổ𝑛𝑔 𝑠ố 𝑡ừ
(2.3)

Xác suất bigram:
𝑝 𝑤1 |𝑤2 =

𝑆ố 𝑙ầ𝑛 𝑥𝑢ấ𝑡 𝑕𝑖ệ𝑛 𝑐ụ𝑚 𝑤1 𝑤2
𝑆ố 𝑙ầ𝑛 𝑥𝑢ấ𝑡 𝑕𝑖ệ𝑛 𝑡ừ 𝑤1
(2.4)

Footer Page 14 of 166.

Trang 13


Header Page 15 of 166.

Xác suất trigram:
𝑝 𝑤3 |𝑤1 𝑤2 =

𝑆ố 𝑙ầ𝑛 𝑥𝑢ấ𝑡 𝑕𝑖ệ𝑛 𝑐ụ𝑚 𝑤1 𝑤2 𝑤3
𝑆ố 𝑙ầ𝑛 𝑥𝑢ấ𝑡 𝑕𝑖ệ𝑛 𝑐ụ𝑚 𝑤1 𝑤2
(2.5)

Xác suất xuất hiện của câu 𝑠 đƣợc tính bằng tích của tất cả các xác suất xuất hiện
của từng từ có trong câu 𝑠. Dƣới đây là ví dụ về cách tính xác suất xuất hiện của câu
“I like bungee jumping off high bridges” theo mô hình ngôn ngữ trigram.
𝑝 𝐼 𝑙𝑖𝑘𝑒 𝑏𝑢𝑛𝑔𝑒𝑒 𝑗𝑢𝑚𝑝𝑖𝑛𝑔 𝑜𝑓𝑓 𝑕𝑖𝑔𝑕 𝑏𝑟𝑖𝑑𝑔𝑒𝑠
= 𝑝 𝐼 < 𝑠 >< 𝑠 > × 𝑝 𝑙𝑖𝑘𝑒 𝐼 < 𝑠 > × 𝑝 𝑏𝑢𝑛𝑔𝑒𝑒 𝐼 𝑙𝑖𝑘𝑒
× 𝑝 𝑗𝑢𝑚𝑝𝑖𝑛𝑔 𝑙𝑖𝑘𝑒 𝑏𝑢𝑛𝑔𝑒𝑒 × 𝑝 𝑜𝑓𝑓 𝑏𝑢𝑛𝑔𝑒𝑒 𝑗𝑢𝑚𝑝𝑖𝑛𝑔
× 𝑝 𝑕𝑖𝑔𝑕 𝑗𝑢𝑚𝑝𝑖𝑛𝑔 𝑜𝑓𝑓 × 𝑝 𝑏𝑟𝑖𝑑𝑔𝑒𝑠 𝑜𝑓𝑓 𝑕𝑖𝑔𝑕
× 𝑝(</𝑠 > |𝑕𝑖𝑔𝑕 𝑏𝑟𝑖𝑑𝑔𝑒𝑠) × 𝑝(</𝑠 > |𝑏𝑟𝑖𝑑𝑔𝑒𝑠 </𝑠 >)
Trong thực tế, ngữ liệu thƣờng bị phân tán, nếu từ không tồn tại trong ngữ liệu thì

xác suất xuất hiện của nó sẽ bằng 0. Điều này dẫn đến xác suất của chuỗi từ đƣợc
tính bằng tích các xác suất của từng từ sẽ bằng 0. Để tránh xác suất 0, công thức
tính xác suất xuất hiện của từ đƣợc điều chỉnh nhƣ sau:
0.8 × 𝑝 𝑤3 𝑤1 𝑤2 + 0.15 × 𝑝 𝑤3 𝑤2 + 0.049 × 𝑝 𝑤3 + 0.001
Ngoài mô hình ngôn ngữ n-gram, còn có một số mô hình ngôn ngữ khác nhƣ: mô
hình ngôn ngữ web n-gram và mô hình ngôn ngữ cú pháp.
2.1.1.2. Gióng hàng từ

Để ƣớc lƣợng các tham số trong mô hình dịch, bảng dịch ngữ đƣợc tạo ra dựa trên
gióng hàng từ. Gióng hàng là tạo liên kết giữa các cặp từ (ngữ) tƣơng ứng bằng
cách đánh dấu vị trí của những từ ở câu nguồn vào từ (ngữ) ở câu đích.
Ví dụ, gióng hàng từ giữa cặp câu song ngữ:
She takes a small green box.
Cô ấy lấy một chiếc hộp nhỏ màu xanh.

Footer Page 15 of 166.

Trang 14


Header Page 16 of 166.

đƣợc biểu diễn nhƣ sau:
She

takes

Cô ấy

lấy

a

một

small

green

chiếc hộp

nhỏ

box

.

màu xanh

.

Hình 2.2. Biểu diễn gióng hàng từ dạng liên kết
Một cách khác để biểu diễn gióng hàng từ là sử dụng bảng nhƣ bảng 2.1.
Bảng 2.1. Bảng biểu diễn gióng hàng từ dạng bảng
She

takes

a

small

green

box

.

Cô
ấy
lấy
một
chiếc
hộp
nhỏ
màu
xanh
.

Mô hình gióng hàng từ IBM (Brown, 1993) mặc dù đƣợc đƣa ra từ rất lâu nhƣng
hiện nay vẫn đƣợc xem là mô hình tiên tiến nhất hiện nay. Mô hình này giả sử rằng
các liên kết từ giữa cặp câu luôn tồn tại, nhƣng chƣa xác định đƣợc vị trí của các
liên kết đó. Giả sử ta có cặp câu song ngữ, câu tiếng Anh 𝑒 có 𝑚 từ và câu tiếng
Việt 𝑣 có 𝑛 từ:
𝑒 = 𝑒1 , 𝑒2 , … 𝑒𝑚
𝑣 = 𝑣1 , 𝑣2 , … 𝑣𝑛

Footer Page 16 of 166.

Trang 15

Header Page 17 of 166.

Gọi gióng hàng từ 𝑎𝑗 : 𝑗 → 𝑖 liên kết từ tiếng Anh thứ 𝑗 sang từ tiếng Việt thứ 𝑖 và 𝑎
là tập các liên kết từ tất cả các từ trong câu e
𝑎 = 𝑎1 , 𝑎, … 𝑎𝑚
Từ xác suất gióng hàng từ, ta có thể tính đƣợc xác suất dịch theo công thức:
𝑝 𝑣𝑒 =

𝑝 𝑎, 𝑒 𝑣
𝑎

(2.6)
Xác suất gióng hàng từ giữa các từ trong cặp câu, 𝑝 𝑎, 𝑒 𝑣 đƣợc tính nhƣ sau:
𝑚

𝑝 𝑎, 𝑒 𝑣 =

𝑡 𝑒𝑗 𝑣𝑖
𝑗 =1

(2.7)
Trong đó, 𝑡 𝑒𝑗 𝑣𝑖 đƣợc tính dựa trên các gióng hàng từ (ngữ) trong ngữ liệu song
ngữ. Tuy nhiên, để tạo ra ngữ liệu gióng hàng từ (ngữ) đòi hỏi rất nhiều công sức
cho việc gán nhãn. Do đó, thật toán Expectation Maximization (EM) đã đƣợc [24]
đề xuất để ƣớc lƣợng các gióng hàng từ (ngữ) này.
Ý tƣởng của thuật toán EM nhƣ sau:
Đầu tiên, với mọi cặp câu song ngữ có trong ngữ liệu, ta giả định tất cả các từ trong
câu nguồn đều có gióng hàng từ với tất cả các từ trong câu đích, các xác suất gióng

hàng từ đƣợc khởi tạo giá trị ban đầu nhƣ nhau.
…

…

my house

nhà của tôi

…

…

small house

nhà nhỏ

…

…

my mobile

…

điện_thoại của tôi …

Sau đó, qua mỗi lần lặp, các cặp từ thƣờng gióng hàng với nhau nhất sẽ đƣợc xác
định.

Footer Page 17 of 166.

Trang 16


Header Page 18 of 166.

Liên kết giữa “my” và “của tôi” đƣợc xác định:
…

…

my house

nhà của tôi

…

…

small house

nhà nhỏ

…

…

my mobile

…

điện_thoại của tôi …

Liên kết “house” và “nhà” đƣợc xác định:
…

…

my house

nhà của tôi

…

…

small house

nhà nhỏ

…

…

my mobile

…

điện_thoại của tôi …

Các liên kết khác đƣợc xác định:
…

…

my house

nhà của tôi

…

…

small house

nhà nhỏ

…

…

my mobile

…

điện_thoại của tôi …

Kết quả gióng hàng từ cuối cùng:
…

…

my house

nhà của tôi

…

…

small house

nhà nhỏ

…

…

my mobile

…

điện_thoại của tôi …

Cuối cùng, các xác suất gióng hàng từ sẽ hội tụ, giá trị không thay đổi nhiều. Khi đó
ta đƣợc cả hai thông tin là thông tin về gióng hàng từ và giá trị xác suất tƣơng ứng.
Sử dụng thuật toán EM, Stephan Vogel đề ra các mô hình IBM có tên gọi lần lƣợt là
IBM1, IBM2, IBM3, IBM4, IBM5 và Franz-Joseph Och đề ra mô hình 6 để tạo ra
gióng hàng từ trên các cặp câu song ngữ.

Footer Page 18 of 166.

Trang 17


Header Page 19 of 166.

Hiện tại, công cụ phổ biến nhất để gióng hàng từ là GIZA++. Công cụ này đƣợc xây
dựng dựa trên các mô hình IBM. Tuy nhiên, công cụ này có hạn chế là chỉ cho phép
gióng hàng một từ thuộc ngôn ngữ nguồn với một hoặc nhiều từ thuộc ngôn ngữ
đích.
[10] đề xuất cách tiếp cận dựa trên heuristic để cải tiến kết quả gióng hàng từ có
đƣợc từ GIZA++. Tất cả các điểm nằm trong vùng giao của hai gióng hàng từ sẽ
đƣợc giữ lại và vùng gióng hàng từ đƣợc mở rộng tối đa không vƣợt quá vùng giao
của hai gióng hàng từ.
Đầu tiên, ngữ liệu song ngữ đƣợc gióng hàng từ cả hai phía, từ ngôn ngữ nguồn
sang ngôn ngữ đích và từ ngôn ngữ đích sang ngôn ngữ nguồn. Quá trình này tạo ra
hai gióng hàng từ. Nếu lấy phần giao hai gióng hàng từ này, chúng ta sẽ có gióng
hàng từ với độ chính xác cao (high-precision). Ngƣợc lại, nếu lấy phần hợp của hai
gióng hàng từ, chúng ta sẽ có gióng hàng từ với độ bao phủ (high-recall) cao.
Hình 2.2 minh họa quá trình này. Trong hình, các điểm nằm trong vùng giao có màu
đen, các điểm mở rộng có màu xám.

Footer Page 19 of 166.

Trang 18


Header Page 20 of 166.

Hình 2.3. Hình minh hoạ quá trình cải tiến gióng hàng từ
2.1.1.3. Quá trình giải mã (decoding)

Nhiệm vụ của của quá trình này là tìm câu dịch thích hợp nhất khi biết câu nguồn.
-

Chia câu nguồn thành nhiều từ hoặc cụm từ.

-

Tra trong bảng ngữ để tìm các ngữ dịch tƣơng ứng.

-

Kết hợp các ngữ tìm đƣợc lại thành câu và chọn những câu có xác suất
mô hình dịch nhân với xác suất mô hình ngôn ngữ lớn nhất.
2.1.2. Mô hình dịch máy thống kê dựa trên ngữ

Hệ dịch thống kê dựa trên từ có khuyết điểm là không lấy đƣợc thông tin ngữ cảnh
mà chỉ dựa trên các phân tích thống kê về từ. Mô hình dịch máy thống kê dựa trên
ngữ cải tiến hơn ở chỗ thay vì xử lý trên từ thì xử lý trên ngữ. Điều này cho phép hệ
thống có thể dịch các cụm từ tránh đƣợc dịch word-by-word.

Footer Page 20 of 166.

Trang 19


Header Page 21 of 166.

Trong hệ dịch máy thống kê dựa trên ngữ [26], câu ở ngôn ngữ nguồn e đƣợc tách
thành nhiều ngữ 𝑒𝑖 (là một dãy nhiều từ, không nhất thiết phải là ngữ đúng ngữ
pháp, dấu câu cũng đƣợc xem nhƣ là một từ). Mỗi ngữ 𝑒𝑖 đƣợc dịch thành ngữ
𝑣𝑖 tƣơng ứng dựa vào phân phối xác suất 𝜙(𝑒𝑖 |𝑣𝑖 ). Sau đó các ngữ 𝑣𝑖 sẽ đƣợc
chuyển đổi trật tự dựa trên mô hình chuyển đổi 𝑑(𝑎𝑖 − 𝑏𝑖−1 ), với 𝑎𝑖 là vị trí bắt đầu
của ngữ 𝑒𝑖 và 𝑏𝑖−1 là vị trí kết thúc của ngữ 𝑣𝑖 . Do vậy, hệ dịch thống kê trên ngữ sẽ
học đƣợc các cặp cụm từ song ngữ, đặc biệt là các câu thành ngữ.
Nhƣ vậy, câu dịch tốt nhất thoả công thức (2.1) sẽ đƣợc viết lại thành:
𝑚

𝑝 𝑒𝑖 𝑣𝑖 =

𝜙(𝑒𝑖 |𝑣𝑖 ) × 𝑑(𝑎𝑖 − 𝑏𝑖−1 )
𝑖=1

(2.6)
Hình 2.4 minh hoạ quá trình dịch máy thống kê dựa trên ngữ. Câu đầu vào tiếng
Anh đƣợc tách thành nhiều cụm từ, hay còn gọi là ngữ. Các ngữ đƣợc dịch sang ngữ
tiếng Việt tƣơng ứng, các ngữ tiếng Việt đầu ra có thể chuyển đổi trật tự trong câu
cho phù hợp với tiếng Việt.
She

takes a

Cô ấy

lấy một

small green box

chiếc hộp nhỏ màu xanh

.

.

Hình 2.4. Ví dụ về dịch thống kê dựa trên ngữ
Do thống kê trên các cặp ngữ, hệ dịch này có thể chuyển đổi trật tự giữa các từ
trong ngữ, nhƣng vẫn chƣa tự động chuyển đổi trật tự các cụm từ ở xa nhau trong
câu.
Có nhiều cách khác nhau để rút trích các cặp ngữ từ ngữ liệu song ngữ. [16] đã thử
nghiệm 3 phƣơng pháp sau:
i.

Lấy ngữ dựa vào kết quả gióng hàng từ

Footer Page 21 of 166.

Trang 20


Header Page 22 of 166.

Tác giả sử dụng công cụ GIZA++ để gióng hàng từ trong ngữ liệu song ngữ. Sau
đó, Koehn dùng một số heuristic để cải tiến thêm kết quả gióng hàng và lấy toàn bộ
các cặp ngữ chứa những từ có liên kết. Khi đó, 𝜙(𝑒𝑖 |𝑣𝑖 ) đƣợc tính nhƣ sau:
𝜙 𝑒𝑖 𝑣𝑖 =

𝑐𝑜𝑢𝑛𝑡(𝑒|𝑣 )

𝑒 𝑐𝑜𝑢𝑛𝑡(𝑒 |𝑣 )
(2.7)

ii.

Tách ngữ cú pháp

Trƣớc tiên, tác giả gióng hàng từ cho cặp câu song ngữ, sau đó phân tích cặp câu ra
cây cú pháp. Tác giả rút trích các cặp ngữ song ngữ bằng cách lấy chuỗi từ nằm
trong cây con của cây cú pháp và có liên kết gióng hàng từ. Xác suất dịch của cặp
ngữ đƣợc tính tƣơng tự nhƣ mô hình trên.
iii.

Dùng mô hình kết hợp do Marcu, D. và Wong, W đề xuất: Hình thành
ngữ trực tiếp trên ngữ liệu song ngữ

Thông qua các thí nghiệm, tác giả kết luận rằng mô hình dựa trên gióng hàng từ cho
kết quả tốt nhất trong 3 mô hình.
Xét cặp câu song ngữ:
That girl is the highest pupil in the class.
Cô bé đó là học sinh cao nhất trong lớp.

Mô hình rút các cặp ngữ từ kết quả gióng hàng từ sau:
Từ kết quả gióng hàng từ của cặp câu:

Footer Page 22 of 166.

Trang 21

Header Page 23 of 166.

Các cặp ngữ rút ra phải nhất quán nhƣ hình (a), những từ có liên kết với từ trong
ngữ nguồn thì cũng đƣợc đƣa vào trong ngữ đích. Cách rút ngữ trong hình (b) là sai
vì từ “là” có liên kết với từ “is” nhƣng không đƣợc đƣa vào ngữ.

Ban đầu, ta có thể lấy các ngữ từ các liên kết gióng hàng từ

(That, ấy), (girl, cô bé), (is, là), (highest, cao nhất), (pupil, học sinh), (in, trong),
(class, lớp), (., .)

Footer Page 23 of 166.

Trang 22


Header Page 24 of 166.

(That, ấy), (girl, Cô bé), (is, là), (highest, cao nhất), (pupil, học sinh), (in, trong),
(class, lớp), (., .), (That girl, Cô bé ấy), (is the, là), (highest pupil, học sinh cao
nhất), (the class, trong lớp)

(That, ấy), (girl, Cô bé), (is, là), (highest, cao nhất), (pupil, học sinh), (in, trong),
(class, lớp), (., .), (That girl, Cô bé ấy), (is the, là), (highest pupil, học sinh cao
nhất), (the class, trong lớp), (That girl is, Cô bé ấy là), (highest pupil in, học sinh
cao nhất trong), (in the class, trong lớp), (the class . , trong lớp .)

(That, ấy), (girl, Cô bé), (is, là), (highest, cao nhất), (pupil, học sinh), (in, trong),
(class, lớp), (., .), (That girl, Cô bé ấy), (is the, là), (highest pupil, học sinh cao
nhất), (the class, trong lớp), (That girl is, Cô bé ấy là), (highest pupil in, học sinh

cao nhất trong), (in the class, trong lớp), (the class . , trong lớp .), (That girl is the,
Cô bé ấy là), (is the highest pupil, là học sinh cao nhất), (highest pupil in the, cao
nhất trong), (in the class, trong lớp)

Footer Page 24 of 166.

Trang 23


Header Page 25 of 166.

(That, ấy), (girl, Cô bé), (is, là), (highest, cao nhất), (pupil, học sinh), (in, trong),
(class, lớp), (., .), (That girl, Cô bé ấy), (is the, là), (highest pupil, học sinh cao
nhất), (the class, trong lớp), (That girl is, Cô bé ấy là), (highest pupil in, học sinh
cao nhất trong), (in the class, trong lớp), (the class . , trong lớp .), (That girl is the,
Cô bé ấy là), (is the highest pupil, là học sinh cao nhất), (highest pupil in the, cao
nhất trong), (in the class, trong lớp), (That girl is the highest pupil, Cô bé ấy là học
sinh cao nhất), (is the highest pupil in the, là học sinh cao nhất trong), (highest
pupil in the class ., học sinh cao nhất trong lớp .)

(That, ấy), (girl, Cô bé), (is, là), (highest, cao nhất), (pupil, học sinh), (in, trong),
(class, lớp), (., .), (That girl, Cô bé ấy), (is the, là), (highest pupil, học sinh cao
nhất), (the class, trong lớp), (That girl is, Cô bé ấy là), (highest pupil in, học sinh
cao nhất trong), (in the class, trong lớp), (the class. , trong lớp .), (That girl is the,
Cô bé ấy là), (is the highest pupil, là học sinh cao nhất), (highest pupil in the, cao

Footer Page 25 of 166.

Trang 24