Các kỹ thuật xử lý ngôn ngữ trong số hóa văn bản tiếng việt của hệ thống FSCANNER
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (1.94 MB, 77 trang )
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
NINH THỊ THU HÀ
CÁC KỸ THUẬT XỬ LÝ NGÔN NGỮ
TRONG SỐ HÓA VĂN BẢN TIẾNG
VIỆT CỦA HỆ THỐNG FSCANNER
Ngành:
Công nghệ thông tin
Chuyên ngành:
Kỹ thuật phần mềm
Mã số:
60480103
LUẬN VĂN THẠC SĨ
Hà Nội - 2014
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ
NINH THỊ THU HÀ
CÁC KỸ THUẬT XỬ LÝ NGÔN NGỮ
TRONG SỐ HÓA VĂN BẢN TIẾNG
VIỆT CỦA HỆ THỐNG FSCANNER
Ngành:
Công nghệ thông tin
Chuyên ngành:
Công nghệ phần mềm
Mã số:
60480103
LUẬN VĂN THẠC SĨ
NGƯỜI HƯỚNG DẪN KHOA HỌC: TS. LÊ QUANG MINH
Hà Nội - 2014
LỜI CAM ĐOAN
Tôi là Ninh Thị Thu Hà, học viên cao học K19, chuyên ngành Công nghệ
phần mềm, khóa 2012-2014. Tôi xin cam đoan luận văn thạc sĩ “Các kỹ thuật xử
lý ngôn ngữ trong số hóa văn bản tiếng Việt của hệ thống FSCANNER” là công
trình nghiên cứu của riêng tôi cùng với sự hướng dẫn của TS. Lê Quang Minh.
Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công
bố trong bất kỳ công trình nào khác.
Tất cả những tham khảo từ các nghiên cứu liên quan đều được nêu nguồn
gốc một cách rõ ràng từ danh mục tài liệu tham khảo của luận văn. Trong luận
văn, không có việc sao chép tài liệu, công trình nghiên cứu của người khác mà
không chỉ rõ về tài liệu tham khảo.
Hà nội, ngày 28 tháng 10 năm 2014
Tác giả
Ninh Thị Thu Hà
LỜI CẢM ƠN
Tôi xin gửi lời cảm ơn sâu sắc tới TS. Lê Quang Minh – Viện Công nghệ
thông tin, Đại học Quốc gia Hà Nội, người thầy đã hướng dẫn, chỉ bảo tận tình
cho tôi trong suốt quá trình nghiên cứu và hoàn thành luận văn tốt nghiệp.
Tôi xin gửi lời cảm ơn chân thành tới các thầy cô đ ã và đang tham gia
giảng dạy tại trường Đại học Công nghệ - Đại học Quốc gia Hà nội. Các thầy cô
đã nhiệt tình giảng dạy và tạo mọi điều kiện thuận lợi cho tôi hoàn thành khóa
học tại trường.
Tôi xin bày tỏ lòng biết ơn tới tất cả bạn bè, đồng nghiệp và người thân đã
động viên, giúp đỡ tôi trong suốt quá trình học tập và nghiên cứu, hoàn thành
luận văn.
Tôi xin được gửi lời cảm ơn đến các tác giả, nhóm tác giả của những giáo
trình, những công trình khoa học và những bài báo khoa học mà tôi tham khảo để
hoàn thiện luận văn này.
Tác giả
MỤC LỤC
DANH MỤC CÁC TỪ VIẾT TẮT............................................................................................. 1
DANH MỤC BẢNG BIỂU............................................................................................................ 2
DANH MỤC HÌNH VẼ.................................................................................................................. 4
MỞ ĐẦU............................................................................................................................................. 6
CHƯƠNG 1. TỔNG QUAN VỀ BÀI TOÁN XỬ LÝ NGÔN NGỮ TRONG SỐ
HÓA VĂN BẢN TIẾNG VIỆT.................................................................................................... 9
1.1
Giới thiệu về xử lý ngôn ngữ tự nhiên....................................................................... 9
1.2
Giới thiệu một số công nghệ trong số hóa tài liệu................................................ 10
1.2.1
Công nghệ nhận dạng tiếng Việt....................................................................... 10
1.2.2
Công nghệ soát lỗi chính tả tiếng Việt............................................................. 11
1.2.3
Công nghệ tách bộ và lập chỉ mục.................................................................... 12
1.3
Bài toán xử lý ngôn ngữ trong số hóa văn bản tiếng Việt................................... 13
Tổng kết chương 1....................................................................................................................... 15
CHƯƠNG 2. CÁC KỸ THUẬT XỬ LÝ NGÔN NGỮ TRONG SỐ HÓA VĂN
BẢN.................................................................................................................................................... 16
2.1.
Một số kỹ thuật nhận dạng OCR.............................................................................. 16
2.1.1.
Giới thiệu................................................................................................................ 16
2.1.2.
Kỹ thuật nhận dạng dựa trên mô hình máy vectơ hỗ trợ (SVM)...............18
2.1.3.
Kỹ thuật nhận dạng dựa trên mô hình Markov ẩn (HMM)......................... 20
2.1.4.
Kỹ thuật nhận dạng dựa trên mô hình mạng nơ ron (ANN).......................22
2.1.5.
Cách tiếp cận nhận dạng OCR của FSCANNER.......................................... 24
2.2.
Kỹ thuật soát lỗi chính tả tiếng Việt dựa trên mô hình n-gram......................... 25
2.2.1.
Giới thiệu bài toán soát lỗi chính tả tiếng Việt.............................................. 25
2.2.2.
Mô hình ngôn ngữ N-gram................................................................................. 27
2.2.3.
Kỹ thuật soát lỗi dựa trên mô hình n-gram của hệ thống FSCANNER 29
2.3.
Trích rút metadata........................................................................................................ 30
2.3.1.
Giới thiệu về metadata và chuẩn Dublin Core............................................... 30
2.3.2.
Bài toán trích rút metadata................................................................................. 32
2.3.3.
Đề xuất metadata cho văn bản được số hóa................................................... 34
Tổng kết chương 2....................................................................................................................... 45
CHƯƠNG 3. THỰC NGHIỆM, ĐÁNH GIÁ....................................................................... 46
3.1.
Các bước thực hiện chương trình của hệ thống..................................................... 46
3.2.
Xây dựng bộ dữ liệu thực nghiệm cho ảnh quét................................................... 48
3.3.
Tiến hành thực nghiệm................................................................................................ 49
3.3.1.
Mục tiêu.................................................................................................................. 49
3.3.2.
Cách thực hiện....................................................................................................... 49
3.4.
Kết quả thực nghiệm.................................................................................................... 50
3.5.
Đánh giá kết quả........................................................................................................... 52
Tổng kết chương 3....................................................................................................................... 52
KẾT LUẬN...................................................................................................................................... 53
TÀI LIỆU THAM KHẢO........................................................................................................... 54
1
DANH MỤC CÁC TỪ VIẾT TẮT
STT
Từ viết
tắt
1
ANN
2
API
3
DPI
4
HMM
5
MLP
6
NLP
7
OCR
8
OVO
9
OVR
10
SVM
2
DANH MỤC BẢNG BIỂU
Bảng 1.1. So sánh một số phần mềm nhận dạng chữ in tiếng Việt
Bảng 1.2. Một số phần mềm soát lỗi chính tả tiếng Việt và kết quả đánh giá độ
nhận biết lỗi chính tả tiếng Việt đối với các phần mềm đó.
Bảng 2.1. Tổng hợp kết quả nhận dạng OCR mô hình HMM, ANN, SVM với các
đặc trưng khác nhau
Bảng 2.2. Cấu trúc âm tiết 3 thành phần
Bảng 2.3. Cấu trúc âm tiết 4 thành phần
Bảng 2.4. Cấu trúc âm tiết 5 thành phần
Bảng 2.5. Các thành phần âm tiết của cấu trúc âm tiết 4 thành phần
Bảng 2.6. Một ví dụ trích rút metadata
Bảng 2.7. 15 yếu tố của Dublin Core Metadata.
Bảng 2.8. Đề xuất xây dựng các yếu tố metadata cho số hóa văn bản
Bảng 2.9. Tiêu đề (Title)
Bảng 2.10. Người tạo (Creator)
Bảng 2.11. Ngày tháng (Date)
Bảng 2.12. Nhà xuất bản (Publisher)
Bảng 2.13. Mô tả (Description)
Bảng 2.14. Định danh (Identifier)
Bảng 2.15. Ngôn ngữ (Language)
Bảng 2.16. Nguồn (Source)
Bảng 2.17. Người cộng tác (Contributor)
3
Bảng 2.18. Chủ đề (Subject)
Bảng 2.19. Phạm vi (Coverage)
Bảng 2.20. Kiểu /Loại (Type)
Bảng 2.21. Khổ mẫu (Format)
Bảng 2.22. Liên kết (Relation)
Bảng 2.23. Bản quyền (Right)
Bảng 2.24. Cơ quan lưu trữ (Archive)
Bảng 2.25. Phông lưu trữ (Archive fond)
Bảng 2.26. Mục lục số (List number)
Bảng 2.27. Hộp số (Folder number)
Bảng 2.28. Hồ sơ số (Record number)
Bảng 2.29. Tờ số (Page number)
Bảng 2.30. Ngày số hóa (Digitizing date)
Bảng 2.31. Người số hóa (Digitizing person)
Bảng 2.32. Tổ chức số hóa (Digitizing organization)
Bảng 2.33. Thiết bị số hóa (Digitizing equipment)
Bảng 2.34. Bảng Cơ sở dữ liệu của 25 yếu tố metadata xây dựng cho văn bản
được số hóa
Bảng 3.1. Số từ nhận dạng đúng với các mức DPI khác nhau của ảnh quét
Bảng 3.2. Số từ nhận dạng đúng với các góc xoay (lệch trái so với ảnh quét gốc)
của ảnh quét
Bảng 3.3. Số từ nhận dạng đúng v ới các góc xoay (lệch phải so với ảnh quét
gốc) của ảnh quét
4
DANH MỤC HÌNH VẼ
Hình 1.1. Một ví dụ kéo thả OCR trong sử dụng phần mềm Kodak Capture Pro
Hình 1.2.a. Một phần ảnh văn bản
Hình 1.2.b. Phần văn bản đã được nhận
Hình 1.3.a. Phần văn bản đã được nhận
Hình 1.3.b. Phần văn bản nhận dạng đã sửa lỗi chính tả tiếng Việt
Hình 1.4. Một ví dụ về trích rút thông tin
Hình 1.5. Sơ đ ồ hoạt đ ộng của việc số hóa văn bản tiếng Việt của hệ thống
FSCANNER
Hình 2.1. Sơ đồ tổng quát của một hệ thống nhận dạng OCR
Hình 2.2.a. Các lớp phân tách tuyến tính.
Hình 2.2.b. Siêu phẳng tối ưu và biên lề tương ứng, các vectơ hỗ trợ.
Hình 2.3.a: Siêu phẳng phân tách 2 lớp (Liu, 2006)
Hình 2.3.b: Siêu phẳng phân tách có lề cực đại (Liu, 2006)
Hình 2.4. Lưới các chuỗi trạng thái, các tiến trình Markov với dãy quan sát
O1, ..., OT.
Hình 2.5. Mô hình một nơron nhân tạo
Hình 2.6. Mạng MLP trong nhận dạng kí tự quang học.
Hình 2.7. Mô hình Markov bậc 2
Hình 3.1. Giao diện chương trình FSCANNER
Hình 3.2. Upload văn bản trong hệ thống FSCANNER
Hình 3.3. Hệ thống FSCANNER đang nhận dạng OCR 1 file ảnh
Hình 3.4. Hệ thống FSCANNER đ ã xử lý văn bản xong và kết quả trích rút
metadata của văn bản đó.
5
Hình 3.5. Biểu đồ tỉ lệ % số từ nhận dạng đúng ở 7 mức DPI
Hình 3.6. Biểu đồ tỉ lệ % số từ nhận dạng đúng ở các góc xoay lệch trái
Hình 3.7. Biểu đồ tỉ lệ % số từ nhận dạng đúng ở các góc xoay lệch trái
6
MỞ ĐẦU
1. Tính cấp thiết
Công tác lưu trữ có vai trò đặc biệt quan trọng đối với các lĩnh vực của đời
sống xã hội bởi thông tin trong tài liệu lưu trữ là loại thông tin có độ tin cậy cao
do nguồn gốc hình thành, do đặc trưng pháp lý của văn bản lưu trữ quy định.
Ngày nay văn bản lưu trữ đang dần được số hóa – đó là nhu cầu cần thiết giúp
giảm chi phí và tăng năng suất trong việc quản lý.
Thực tế tại Việt Nam có rất nhiều tổ chức và doanh nghiệp đang phải lưu
trữ một lượng lớn các loại văn bản tài liệu tiếng Việt (bản cứng) do đó có nhu cầu
số hóa tài liệu, tức là chuyển các tài liệu bản cứng đó vào trong máy tính để lưu
trữ, tìm kiếm, chỉnh sửa khi cần.
Hiện nay chúng ta đã có các máy quét với tốc độ cao, có thể đáp ứng cho
việc quét các tài liệu bản cứng thành file ảnh để lưu trữ lâu dài trên máy tính.
Việc sử dụng máy quét sẽ tiết kiệm thời gian, chi phí gấp hàng trăm lần so với
việc nhập bằng tay các tài liệu bản cứng vào máy tính. Tuy nhiên, nếu quét các
tài liệu bản cứng thành các file ảnh để lưu trữ thì sẽ không thể chỉnh sửa các văn
bản đó khi cần thiết, việc tìm kiếm từ khóa hay nội dung trong văn bản quét cũng
không thể thực hiện được. Vì vậy, file ảnh thu được sau khi quét cần được nhận
dạng để thu được file văn bản có thể chỉnh sửa được trên máy tính.
Khi số lượng văn bản tài liệu rất lớn cần lưu trữ một cách thông minh để
phục vụ cho việc tìm kiếm nhanh, độ chính xác của việc tìm kiếm sẽ phụ thuộc
nhiều vào bước nhận dạng văn bản số hóa và bước trích rút metadata. Đ ã có
những công cụ được phát triển để giải quyết vấn đề trên và mang lại kết quả rất
khả quan. Tuy nhiên, nhằm nâng cao hiệu quả của công cụ này chúng ta cần có
những cải tiến tốt hơn nữa, giúp cho độ chính xác trong công việc nhận dạng, tìm
kiếm là tốt và nhanh hơn. Nhóm nghiên cứu của Viện Công nghệ thông tin-Đại
học Quốc gia Hà Nội đưa ra giải pháp là xây dựng hệ thống FSCANNER để số
hóa văn bản tiếng Việt.
7
2.
Mục tiêu của luận văn
Tổng quan về bài toán xử lý ngôn ngữ trong số hóa văn bản tiếng
Việt, quy trình làm việc của hệ thống số hóa văn bản FSCANNER.
Tìm hiểu về các kỹ thuật nhận dạng OCR, kỹ thuật soát lỗi chính
tả tiếng Việt, trích rút metadata trong số hóa văn bản tiếng Việt.
Nghiên cứu về các đặc trưng lưu trữ từ đó đề xuất xây dựng
metadata cho văn bản được số hóa.
3.
Nhiệm vụ nghiên cứu
Mục đích của luận văn đề cập được đến hai phần:
Phần lý thuyết: Trình bày tổng quan về bài toán xử lý ngôn ngữ và
sơ đồ hoạt động của việc số hóa văn bản của hệ thống FSCANNER.
Sau đó trình bày về các kỹ thuật nhận dạng OCR, kỹ thuật sửa lỗi chính
tả tiếng Việt dựa trên mô hình n-gram; Với bài toán trích rút metadata,
tìm hiểu về metadata và chuẩn Dublin Core, nghiên cứu về các đ ặc
trưng lưu trữ từ đó đề xuất xây dựng metadata cho văn bản được số
hóa.
Phần phát triển ứng dụng: Thực nghiệm chọn ngưỡng góc xoay và
chỉ số DPI thích hợp nâng cao chất lượng nhận dạng OCR.
4.
Phạm vi nghiên cứu
Hệ thống FSCANNER được nhóm nghiên cứu của Viện Công nghệ thông
tin- Đại học Quốc Gia Hà Nội xây dựng với mục đích quản lý và tự động số hóa
tài liệu. Đ ây thực sự là một bài toán lớn. Chính vì thế trong phạm vi của luận
văn chỉ tìm hiểu về quy trình thực hiện của hệ thống, tìm hiểu về một số kỹ thuật
nhận dạng OCR, kỹ thuật sửa lỗi chính tả tiếng Việt dựa trên mô hình ngôn ngữ
n-gram của hệ thống, nghiên cứu về các đặc trưng lưu trữ và đề xuất xây dựng
metadata cho văn bản được số hóa để phục vụ cho quá trình trích rút metadata.
5. Những đóng góp mới
Đề xuất chọn ngưỡng góc xoay và chỉ số DPI thích hợp đối với ảnh đầu
vào để nâng cao chất lượng nhận dạng OCR.
8
Đề xuất xây dựng metadata cho văn bản được số hóa, góp phần xác định
các thuộc tính cần thiết của metadata cho việc xây dựng hệ thống FSCANNER.
6. Bố cục luận văn
Ngoài phần mở đầu, kết luận và danh mục tài liệu tham khảo, luận văn gồm 3
chương như sau:
Chương 1: Tổng quan về bài toán xử lý ngôn ngữ trong số hóa văn bản tiếng
Việt.
Nội dung giới thiệu về bài toán xử lý ngôn ngữ tự nhiên và sơ đ ồ hoạt
động của việc số hóa văn bản tiếng Việt của hệ thống FSCANNER.
Chương 2: Các kỹ thuật xử lý ngôn ngữ trong số hóa văn bản tiếng Việt
Nội dung chương 2 gồm 3 phần: giới thiệu một số kỹ thuật nhận dạng
OCR; kỹ thuật soát lỗi chính tả dựa trên mô hình ngôn ngữ n-gram; kỹ thuật trích
rút metadata, trong đó đề xuất xây dựng metadata cho văn bản được số hóa.
Chương 3: Thực nghiệm – đánh giá:
Chạy chương trình với bộ dữ liệu thực nghiệm đưa ra để chọn ngưỡng chỉ
số DPI và góc xoay thích hợp đ ối với ảnh quét đ ầu vào trước khi nhận dạng
OCR, nhằm nâng cao hiệu quả nhận dạng.
9
CHƯƠNG 1. TỔNG QUAN VỀ BÀI TOÁN XỬ LÝ NGÔN NGỮ
TRONG SỐ HÓA VĂN BẢN TIẾNG VIỆT
1.1 Giới thiệu về xử lý ngôn ngữ tự nhiên
Xử lý ngôn ngữ tự nhiên (NLP – Natural Language Processing) là một lĩnh
vực nghiên cứu nhằm giúp cho các hệ thống máy tính hiểu và xử lý được ngôn
ngữ của con người (ngôn ngữ nói –viết). NLP là lĩnh vực thuộc ngành Khoa học
máy tính, là một nhánh của Trí tuệ nhân tạo. Lĩnh vực xử lý ngôn ngữ tự nhiên ra
đ ời đã lâu, trải qua nhiều nghiên cứu và ứng dụng, ngày nay được hiểu như là
lĩnh vực giúp máy tính xử lý các vấn đề về ngôn ngữ tự nhiên để việc giao tiếp
giữa người và máy tính thuận tiện và thân thiện hơn. Dưới đây là một số bài toán
tiêu biểu của xử lý ngôn ngữ với các mức độ khác nhau về xử lý và sử dụng ngôn
ngữ tự nhiên của con người [1].
Nhận dạng tiếng nói: Từ tiếng nói của con người nhận biết và
chuyển chúng thành dữ liệu văn bản tương ứng, ví dụ như tìm kiếm thông
tin bằng tiếng nói (search voice),...
Tổng hợp tiếng nói: Từ dữ liệu văn bản, phân tích và chuyển thành
tiếng người nói, ví dụ thay vì đọc nội dung trên web, nó tự đọc cho chúng
ta,...
Nhận dạng chữ viết: Từ văn bản trên giấy, nhận biết từng chữ cái
và chuyển chúng thành một tệp văn bản trên máy tính. Có hai kiểu nhận
dạng: nhận dạng chữ in ví dụ như nhận dạng chữ trên sách giáo khoa rồi
chuyển nó thành văn bản như định dạng *.doc lưu trên máy tính; và nhận
dạng chữ viết tay ví dụ như nhận dạng chữ ký,...
Dịch tự động: Từ một tệp dữ liệu văn bản trong một ngôn ngữ (ví
dụ tiếng Anh), máy tính dịch và chuyển thành một tệp văn bản trong một
ngôn ngữ khác (ví dụ tiếng Việt).
Tóm tắt văn bản: Từ một văn bản dài máy tóm tắt thành một văn
bản ngắn gọn với những nội dung cơ bản.
Tìm kiếm thông tin: Từ một nguồn rất nhiều tệp văn bản hay tiếng
nói, tìm ra những tệp có nội dung liên quan đến một vấn đề ta cần biết, ví
dụ điển hình như Google Search có thể tìm kiếm văn bản hay tiếng nói.
10
Trích chọn thông tin: Từ một nguồn rất nhiều tệp văn bản hay
tiếng nói, tìm ra một số đoạn bên trong một số tệp liên quan đến một vấn
đề ta cần biết
Phát hiện tri thức và khai phá dữ liệu văn bản: Từ những nguồn rất
nhiều văn bản thậm chí hầu như không có quan hệ với nhau tìm ra được
những tri thức trước đấy chưa ai biết, đây là một vấn đề rất phức tạp và
đang ở giai đoạn đầu nghiên cứu trên thế giới.
1.2 Giới thiệu một số công nghệ trong số hóa tài liệu
1.2.1 Công nghệ nhận dạng tiếng Việt
Hiện nay trên thế giới cũng như Việt Nam đã có những sản phẩm nhận
dạng tiếng Việt như ABBYY FineReader, VietOCR, VnDOCR… Trong đó sản
phẩm tính phí là ABBYY FineReader và VnDOCR; còn VietOCR là phần mềm
mã nguồn mở sử dụng công cụ Tesseract được phát triển tại công ty Google.
Phần mềm VnDOCR là sản phẩm của Viện công nghệ thông tin dùng đ ể
nhận dạng chữ Việt in. Phần mềm này có từ phiên bản 1.0 và đến nay là phiên
bản VnDOCR 4.0. Có thể download dùng thử tại trang web
. Khi chạy phần mềm
cho phép tiền xử lý ảnh đầu vào trước khi nhận dạng như xoay ảnh, chỉnh độ
nghiêng, xóa nhiễu. Tuy nhiên bản dùng thử không cho phép lưu lại văn bản đã
nhận dạng.
VietOCR là một chương trình mã nguồn mở do người Việt phát triển.
Chương trình sử dụng bộ nhận dạng Tesseract. Có khả năng nhận diện ký tự từ
các loại dạng ảnh phổ thông. Độ chính xác nhận dạng tùy thuộc phần lớn vào
chất lượng của ảnh quét. Vì đây phần mềm mã nguồn mở nên việc phát triển nó
để nâng cao chất lượng nhận dạng là rất khả thi. Download phần mềm VietOCR
tại trang web và chọn download.
Sau đó cài đ ặt VietOCR theo hướng dẫn tại trang web
/>FineReader là một sản phẩm OCR của ABBYY – một hãng công nghệ
hàng đầu trên thế giới về lĩnh vực nhận dạng kí tự quang học; hãng này đã tiến
hành nghiên cứu và triển khai công nghệ nhận dạng tiếng Việt vào tháng 4/2009.
Với công nghệ này, độ chính xác trong việc nhận dạng chữ in tiếng Việt lên tới
11
99%. Tuy nhiên, sản phẩm này là sản phẩm thương mại hóa, tính phí cho mỗi
trang scan. Hiện tại, FineReader đang ở phiên bản thứ 12. ABBYY FineReader là
phần mềm mất phí, dùng thử có thể download ABBYY FineReader 12 tại trang
web , sau khi download xong, tiến
hành cài đặt chương trình theo hướng dẫn có sẵn của chương trình.
Bảng 1.1. So sánh một số phần mềm nhận dạng chữ in tiếng Việt
VnDOCR
Trang web
http:// www.vndocr.com/
Đặc
điểm
Ưu
điểm
Hạn
chế
1.2.2
Là sản phẩm thương mại
Có thể nhận dạng trực tiếp
tài liệu từ máy quét.
Tự động phân vùng nhận
dạng.
Là phần mềm của người
Việt.
Giá thành phù hợp.
Nhận dạng tương đ ối tốt
bảng biểu,
định dạng văn bản.
Không nhận
đầu vào là ảnh màu, ảnh
định dạng PDF.
Ảnh có cấu trúc phức tạp,
kết quả nhận dạng chưa
cao.
Không nhận dạng đư ợc
chữ cái to đ ầu đoạn (Drop
Cap), chỉ số trên của các
công thức toán học.
Công nghệ soát lỗi chính tả tiếng Việt
Lỗi chính tả gồm hai loại là lỗi thực từ và lỗi phi từ. Hầu hết các phần
mềm soát lỗi chính tả phát hiện được lỗi phi từ. Tuy nhiên lỗi thực từ tiếng Việt
12
rất khó phát hiện. Do đó những công ty sản xuất các sản phẩm này đã ngừng đầu
tư phát triển.
Vào tháng 6/2010, tại buổi họp báo [9] của Viện Công nghệ thông tin-Đại
học Quốc gia Hà Nội đã công bố bản Báo cáo về tình hình chính tả trong văn
bản tiếng Việt, đợt đánh giá tháng 6/2010. Trong đó các phần mềm soát lỗi và
sửa lỗi chính tả trên thị trường có tỉ lệ soát lỗi như sau: BÚT ĐỎ 92,5%; CÚ
MÈO 62,65%; VIETSPELL 62,76%. Trên cơ sở đó, chúng tôi giới thiệu một số
phần mềm soát lỗi chính tả tiếng Việt [8] và kết quả đánh giá độ nhận biết lỗi
chính tả tiếng Việt của một số phần mềm [7] thể hiện ở bảng 1.2
Bảng 1.2. Một số phần mềm soát lỗi chính tả tiếng Việt và kết quả đánh giá độ
nhận biết lỗi chính tả tiếng Việt đối với các phần mềm đó.
Sản phẩm
Công Cụ Việt 1.4
Cọp Con 3.1
Cú Mèo Pro 2.0.2
VietSpell
VCatSpell
1.2.3 Công nghệ tách bộ và lập chỉ mục
Hiện tại có phần mềm Kodak Capture [20] là 1 phần mềm cho phép số hóa
tài liệu và lập chỉ mục tách bộ tự động, tuy nhiên phần mềm làm việc không
chính xác với các tài liệu tiếng Việt, việc lập chỉ mục cũng cần phải dựa vào các
13
form mẫu được tạo bởi người sử dụng (đánh dấu vị trí cần nhận dạng và lập chỉ
mục). Sản phẩm chỉ làm việc với các biểu mẫu có cùng 1 dạng và có vị trí cần
nhận dạng chính xác với vị trí đã đánh dấu. Kodak Capture cho phép người dùng
chỉ định vùng OCR bằng thao tác kéo thả vùng cần nhận dạng (drag & drop
OCR) để trích rút thông tin cần thiết hỗ trợ cho việc tạo chỉ mục. Dưới đây ở hình
1.1 là một ví dụ kéo thả vùng nhận dạng để trích rút thông tin.
Hình 1.1. M ột ví dụ kéo thả OCR trong sử dụng phần mềm Kodak Capture Pro
1.3 Bài toán xử lý ngôn ngữ trong số hóa văn bản tiếng Việt
Với một khối lượng khổng lồ các tài liệu văn bản giấy, máy quét có thể
chuyển chúng thành các file ảnh văn bản lưu trữ được trong máy tính. Tuy nhiên,
các file ảnh văn bản sau khi quét thì không thể chỉnh sửa được trên máy tính hay
tìm kiếm theo từ khóa hay nội dung trong ảnh văn bản đó. Vì vậy, các ảnh văn
bản thu được sau khi quét cần đươc nhận dạng thành thành văn bản có thể chỉnh
sửa được (hình 1.2.a và hình 1.2.b).
Hình 1.2.a. Một phần ảnh văn bản
Hình 1.2.b. Phần văn bản đã được nhận dạng
Kết quả nhận dạng phụ thuộc rất nhiều vào chất lượng ảnh quét. Khi hệ
thống không nhận dạng được một kí tự, sẽ gây ra một lỗi chính tả tiếng Việt ở
đầu ra. Việc sửa lỗi chính tả tiếng Việt sau khi nhận dạng sẽ làm tăng độ chính
xác nhận dạng (hình 1.3.a và hình1.3.b).
14
Trong cuộc tiếp trợ lý Tổng thống Mỹ T.Đai-nai-lơn tới
trao thư của Tổng thống B.ô-ba-ma, Tổng thống Nga
V.Pu-tin cho biết, sẽ nghiên cứu đề xuất của Mỹ về tăng
cường đối thoại và hợp tác song phương. Ông Đai-nailơn trước đó đã hội đàm với Bộ trưởng Ngoại giao Nga
X.La-vrốp. ■ Theo Tân Hoa xã, phát biểu ý kiến tại Viện
Công nghệ Nhật Bản, Bộ trưởng Ngoại giao Mỹ G.Ke-ri
nêu bốn nguyên tắc chính sách cua Mỹ nhằm giúp các
nước khu vực châu Á - Thái Bình Dương đối phó các
thách thức, gồm: tăng trưởng mạnh, công bằng, nhanh
và hợp lý. ■ Tại cuộc hội thảo về kinh tế, Thủ tướng
Trung Quốc Lý Khắc Cường nhấn mạnh tầm quan
trọng của công tác dự báo chính sách kinh'tế, đồng
thời kêu gọi tập trung chuyển đổi và cập nhật kinh tể
thòng qua cải cách sâu rộng. (XEM
Trong cuộc tiếp trợ lý Tổng thống Mỹ T.Đai-nai-lơn tới
trao thư của Tổng thống B.ô-ba-ma, Tổng thống Nga
V.Pu-tin cho biết, sẽ nghiên cứu đề xuất của Mỹ về tăng
cường đối thoại và hợp tác song phương. Ông Đai-nailơn trước đó đã hội đàm với Bộ trưởng Ngoại giao Nga
X.La-vrốp. ■ Theo Tân Hoa xã, phát biểu ý kiến tại Viện
Công nghệ Nhật Bản, Bộ trưởng Ngoại giao Mỹ G.Ke-ri
nêu bốn nguyên tắc chính sách của Mỹ nhằm giúp các
nước khu vực châu Á - Thái Bình Dương đối phó các
thách thức, gồm: tăng trưởng mạnh, công bằng, nhanh
và hợp lý. ■ Tại cuộc hội thảo về kinh tế, Thủ tướng
Trung Quốc Lý Khắc Cường nhấn mạnh tầm quan trọng
của công tác dự báo chính sách kinh tế, đồng thời kêu
gọi tập trung chuyển đổi và cập nhật kinh tế thông qua
cải cách sâu rộng. (XEM
Hình 1.3.a. Phần văn bản
đã được nhận dạng
Hình 1.3.b. Phần văn bản nhận
dạng đã sửa lỗi chính tả tiếng Việt
Với mỗi văn bản sau khi đã nhận dạng và sửa lỗi sẽ được trích rút thông
tin theo mẫu phục vụ cho việc lưu trữ thông minh và hỗ trợ người dùng tìm kiếm
tài liệu một cách dễ dàng. Ở hình 1.4 là một ví dụ về trích rút metadata.
Cơ quan ban hành: Bộ Khoa học và Công nghệ
Số hiệu: 3390/QĐ-BKHCN
Ngày ban hành: 11/12/2012
Trích yếu nội dung: Quyết định về việc công bố thủ
tục hành chính mới ban hành thuộc phạm vi chức năng
quản lý của Bộ Khoa học và Công nghệ
Tác giả: Thứ trưởng Trần Việt Thanh
Hình 1.4. Một ví dụ về trích rút metadata
Đã có những công cụ được phát triển đ ể giải quyết bài toán số hóa văn
bản và mang lại kết quả rất khả quan. Tuy nhiên để nâng cao hiệu quả của công
cụ này chúng ta cần có những cải tiến tốt hơn nữa, giúp cho độ chính xác trong
công việc nhận dạng, tìm kiếm là tốt và nhanh hơn. Giải pháp đưa ra là một quy
trình (hình 1.6 ) gồm các bước sau:
1.
Người dùng quét các văn bản từ máy Scan hoặc import các văn
bản đã được quét từ trước. Kết quả của bước này là các văn bản được số
hóa mức 1 dưới dạng các ảnh.
2.
Hệ thống sẽ kích hoạt chương trình nhận dạng OCR thông qua các
giao diện lập trình ứng dụng (API) để nhận dạng các văn bản dưới dạng
ảnh và thu về văn bản ở dạng text.
15
3.
Văn bản dạng text sau quá trình nhận dạng OCR sẽ được soát lỗi
chính tả tiếng Việt để nâng cao độ chính xác của kết quả nhận dạng.
4.
Trích rút thông tin theo mẫu đã được thiết lập tương ứng (mẫu
tương ứng nằm trong danh mục tài liệu mẫu đã được thiết kế, nếu không
tìm thấy mẫu nào tương ứng trong danh mục tài liệu mẫu, hệ thống sẽ yêu
cầu người dùng tạo một tài liệu mẫu mới và đưa thêm vào danh mục tài
liệu mẫu). Sau đó là khâu đ ặt tên file, lập chỉ mục tự động theo cấu trúc
đã được thiết lập, và lưu vào cơ sở dữ liệu của hệ thống.
Ảnh quét
Nhận dạng OCR
Hình 1.5. Sơ đồ hoạt động của việc số hóa văn bản
tiếng Việt của hệ thống FSCANNER
Soát lỗi chính tả
Trích rút metadata
và lập chỉ mục
Trong quy trình ở hình 1.5, các bước: nhận dạng OCR, soát lỗi chính tả,
trích rút metadata là những bài toán thuộc lĩnh vực xử lý ngôn ngữ tự nhiên (dữ
liệu văn bản).
Tổng kết chương 1
Trên đây chúng tôi đ ã giới thiệu về xử lý ngôn ngữ tự nhiên như khái
niệm và một số bài toán NLP; giới thiệu khái niệm số hóa văn bản, giới thiệu một
số công nghệ số hóa tài liệu như công nghệ nhận dạng OCR, công nghệ soát lỗi
chính tả tiếng Việt, công nghệ tách bộ và lập chỉ mục. Trên cơ sở đó, luận văn
đưa ra giải pháp là xây dựng một hệ thống số hóa văn bản tiếng Việt với tên là
FSCANNER. Mỗi bước trong quy trình số hóa của hệ thống liên quan mật thiết
với mỗi bài toán trong xử lý ngôn ngữ, cụ thể là bài toán nhận dạng chữ OCR,
bài toán soát lỗi chính tả tiếng Việt, bài toán trích chọn thông tin với bài toán con
là trích chọn metadata.
16
CHƯƠNG 2. CÁC KỸ THUẬT XỬ LÝ NGÔN NGỮ TRONG SỐ
HÓA VĂN BẢN
Bài toán số hóa văn bản tiếng Việt là bài toán lớn, vì vậy trong phạm vi
luận văn tập trung vào một số kỹ thuật nhận dạng OCR, kỹ thuật soát lỗi chính tả
tiếng Việt dựa trên mô hình ngôn ngữ n-gram, kỹ thuật trích rút metadata tập
trung vào nghiên cứu các đặc trưng lưu trữ để xây dựng metadata cho văn bản
được số hóa.
2.1.
Một số kỹ thuật nhận dạng OCR
2.1.1. Giới thiệu
Nhận dạng ký tự quang học (Optical Character Recognition – OCR) là loại
phần mềm máy tính có chức năng chuyển các hình ảnh của chữ viết tay hoặc chữ
đánh máy (thường được quét bằng máy scanner, chụp ảnh) thành các văn bản tài
liệu. Giả sử ta có một văn bản tài liệu bản cứng, sau khi quét bằng máy scanner
thành file ảnh, phần mềm OCR sẽ nhận dạng file ảnh đã quét đó thành file văn
bản lưu trữ trên máy tính có thể chỉnh sửa được trên máy tính. Lịch sử của OCR
đã có từ hơn nửa thế kỷ, nó xuất hiện đầu tiên để giải quyết bài toán đọc mã số
trong bưu điện, tiếp đó phát triển để tự động đọc các địa chỉ và đ ọc các thông tin
trong các mẫu đơn, văn b ản. Ngày nay với sự phát triển mạnh mẽ, OCR trở nên
phổ biến và thường được ứng dụng như một phần mềm cài đặt trên máy tính hoặc
tích hợp kèm với phần cứng như tích hợp trong máy scan. Hiện nay trên thế giới
cũng như ở Việt Nam đã có những sản phẩm nhận dạng chữ in có giá trị thực tế
cao, có thể kể đến như: sản phẩm ABBYY FineReader (hiện nay là phiên bản
FineReader 12) có thể nhận dạng được 190 ngôn ngữ trên thế giới [19]; sản phẩm
OmniPage của Nuance nhận dạng được trên 119 ngôn ngữ khác nhau [21]; sản
phẩm VnDOCR nhận dạng chữ Việt in của Viện Công nghệ thông tin-Viện Khoa
học và Công nghệ Việt Nam; sản phẩm VietOCR nhận dạng chữ in tiếng Việt là
chương trình mã nguồn mở do người Việt phát triển sử dụng bộ nhận dạng
Tessecract,...
17
Mô hình tổng quát của một hệ nhận dạng chữ [26] như hình 2.1
Ảnh quét
Tiền xử lý
Phân đoạn
Trích chọn
đặc trưng
Hình 2.1. Sơ đồ tổng quát của một hệ thống nhận dạng OCR
Các tài liệu giấy (chữ in hoặc chữ viết tay) được chuyển thành các file ảnh
bằng máy quét. Các ảnh quét đó là đầu vào cho quá trình nhận dạng OCR. Tiếp
theo là bước tiền xử lý ảnh quét, bước tiền xử lý thực hiện một số chức năng như:
nhị phân hóa ảnh, lọc nhiễu, chuẩn hóa kích thước ảnh, làm trơn biên chữ, làm đ
ầy chữ, điều chỉnh đ ộ nghiêng văn bản. Bước phân đo ạn thực hiện việc việc
tách từng ký tự ra khỏi ảnh văn bản như tách dòng, tách từ, tách kí tự. Với mỗi
ảnh ký tự, khâu trích chọn đặc trưng phân tích ảnh ký tự tìm ra đặc trưng riêng
của ký tự đó. Các đặc trưng đã được lựa chọn trong bước trích chọn đặc trưng
được sử dụng cho việc huấn luyện và nhận dạng ở bước tiếp theo. Đầu ra của quá
trình nhận dạng có thể bị lỗi, bước hậu xử lý sẽ thực hiện việc ghép nối các kí tự
đã nhận dạng thành các từ, các câu, các đo ạn văn để tái hiện lại văn bản, đồng
thời sửa lỗi đảm bảo kết quả nhận dạng tốt nhất. Tất cả các bước thực hiện trên
đều quan trọng, nhưng bước quan trọng nhất quyết định độ chính xác của nhận
dạng là trích chọn đặc trưng và phân lớp. Thuật toán phân lớp là yếu tố có vai trò
quyết định đến chất lượng của một hệ thống nhận dạng.
Các phương pháp nhận dạng truyền thống như đối sánh mẫu, nhận dạng
cấu trúc đã được ứng dụng khá phổ biến trong các hệ thống nhận dạng và cũng
đã thu được những thành công nhất định. Tuy vậy, với những trường hợp văn bản
đ ầu vào có chất lượng không tốt (nhiễu, đ ứt nét, dính nét...) thì các thuật toán
này tỏ ra không hiệu quả. Để khắc phục điều này, trong những năm gần đây
nhiều nhóm nghiên cứu đã sử dụng các thuật toán phân lớp dựa trên mô hình
