nghiên cứu nhận dạng số và chữ số viết tay tiếng việt trên bảng điểm thi sử dụng mạng noron nhân tạo

I. Mở đầu:
1. Lý do chọn đề tài
Công nghệ thông tin đang là một trong những ngành then chốt trong quá
trình công nghiệp hóa hiện đại hóa đất nước. Việc triển khai nghiên cứu các
công trình khoa học và đưa vào thực tế ứng dụng góp phần giải phóng sức lao
động con người, tiết kiệm thời gian, nâng cao hiệu suất công việc là một việc
làm hết sức có ý nghĩa trong giai đoạn này.
Bài toán nhận dạng chữ viết tay xuất hiện cách đây khá lâu và vẫn luôn thu
hút được nhiều sự quan tâm, nghiên cứu của các nhà khoa học. Đã xuất hiện
nhiều ứng dụng thương mại thực hiện nhận dạng chữ tùy theo từng yêu cầu cụ
thể, có thể kể ra một số sản phẩm tiêu biểu như: OmniPage, FineReader Ở
Việt Nam, việc nghiên cứu xây dựng các hệ nhận dạng chữ tiếng Việt cũng
được bắt đầu rất sớm. Hiện tại trong lĩnh vực nhận dạng chữ in đã có một số
sản phẩm thương mại với chất lượng tốt như VnDOCR của Viện Công Nghệ
Thông Tin, ImageScan của CadPro. Ngoài ra còn có một số đề tài nghiên cứu
khoa học về nhận dạng số và chữ viết tay được thực hiện bởi nhiều nhóm tác
giả, với nhiều mục đích ứng dụng khác nhau mà ta có thể kể tên một số nhóm
tiêu biểu như nhóm nghiên cứu : Huỳnh Hữu Lộc, Lưu Quốc Hải, Nguyễn
Thanh Bình và Đinh Đức Anh Vũ, Khoa Khoa Học và Kỹ Thuật Máy Tính,
Đại học Bách Khoa Tp.HCM, nhóm nghiên cứu : Phạm Anh Phương, Ngô
Quốc Tạo, Lương Chi Mai với đề tài : “Trích chọn đặc trưng wavelet Haar kết
hợp với SVM cho việc nhận dạng chữ viết tay Tiếng Việt”, hoặc đề tài “Nhận
dạng phiếu trả lời trắc nghiệm và có nhận dạng chữ số viết tay dựa trên mạng
Noron “ của nhóm tác giả : Trầm Quốc Thuận, Châu Kiến tài, trường Đại học
Mở TpHCM…
Ngày nay, nền giáo dục đào tạo ở nước ta ngày càng phát triển, lượng học
sinh- sinh viên ở các trường ngày càng gia tăng, và danh sách thí sinh dự thi
trong các kì thi cũng tăng lên theo đó. Do vậy, điểm sau mỗi đợt thi nếu được
nhập bằng thủ công vào cơ sở dữ liệu thì sẽ không đảm bảo được tính chính
xác, mất rất nhiều nhân công, thời gian. Hiện nay, có một số trường đã nghiên
cứu, triển khai hệ thống nhận dạng điểm số một cách tự động trên bảng điểm

thi và đạt được một số kết quả khả quan. Ví dụ như trường Đại học Mở
TpHCM, Đại Học Kinh Tế, Cao Đẳng Bách Việt, Đại học Tôn Đức Thắng…
1
1
Với phương pháp thực hiện dựa trên việc nhận dạng các ô số được tô và các số
viết tay.
Hình 1 : Phiếu điểm mẫu nhận dạng bằng cách tô ô số và nhận dạng số viết
tay
Tuy nhiên với các ô số được tô thì cũng đòi hỏi nhiều thời gian cho việc tô
từng ô số, tiến trình nhận dạng cũng bị ảnh hưởng về mặt thời gian do việc
phải quét qua hết các ô số. Còn nếu chỉ nhận dạng số viết tay thôi chưa đủ,
người viết có thể viết nhầm trong quá trình chấm điểm. Thêm nữa là hệ thống
cũ chưa đáp ứng đầy đủ trường hợp điểm số là lẻ. Với những lý do đã nêu ra,
ta thấy cần thiết nghiên cứu kết hợp việc nhận dạng số và chữ số viết tay mà
không cần dùng phương pháp tô các ô số, áp dụng cho việc nhận dạng bảng
2
2
điểm thi trong đó có thêm nhận dạng điểm số lẻ. Giải quyết vấn đề trên sẽ đem
lại các lợi ích sau khi đưa vào ứng dụng thực tế:
- Giảm lượng nhân công nhập điểm.
- Độ chính xác cao.
- Tiết kiệm thời gian, công sức.
- Do có phần thống kê nên giúp người quản trị hệ thống dễ dàng giám sát tiến
trình nhập điểm, giúp đưa ra cách giải quyết phù hợp khi có sai sót xảy ra.
Từ hiện trạng và những đặc điểm nêu trên, chúng tôi xin được đề xuất
hướng nghiên cứu luận văn là: Nghiên cứu nhận dạng số và chữ số viết tay
Tiếng Việt trên bảng điểm thi sử dụng mạng Noron nhân tạo.
2. Mục đích nghiên cứu (các kết quả cần đạt được).
Tìm hiểu và nghiên cứu các cơ sở lý thuyết, cũng như các kỹ thuật nền
tảng để giải quyết bài toán nhận dạng tổng quát.

Đề xuất áp dụng mạng Nơron nhân tạo thực hiện các thuật toán xử lý ảnh
và nhận dạng số và chữ số viết tay Tiếng Việt.
Cải tiến và đề xuất ra các thuật toán mới trong quá trình nghiên cứu.
Xây dựng được hệ thống nhận dạng số và chữ số viết tay Tiếng Việt trên
bảng điểm thi dựa vào mạng Neuron nhân tạo. Hệ thống được thiết kế để hỗ
trợ việc nhận dạng số và chữ số viết tay trên bảng điểm thi qua mạng cũng như
quản lý dữ liệu sinh viên.
3. Đối tượng và phạm vi nghiên cứu
Luận văn tập trung nghiên cứu và ứng dụng mạng Noron nhân tạo để xây
dựng một ứng dụng nhận dạng số và chữ viết tay theo đúng qui định bảng
điểm thi mẫu. Các qui định về bảng điểm thi mẫu bao gồm: chữ viết tay phải
rõ ràng, ảnh bảng điểm thi được scan phải ngay ngắn, đảm bảo độ sáng của
ảnh… Việc nhận dạng chữ viết tay ở đây tiến hành cụ thể tương ứng với các số
từ 0 đến 10 được viết tay, trong đó có nhận dạng các số lẽ như :1.5, 2.5, 3.5…
và các chữ số tương ứng như : một, một năm, hai, hai năm….
4. Phương pháp nghiên cứu
Để đạt được mục tiêu đề ra, chúng tôi quan tâm đến việc nghiên cứu lý
thuyết điểm ảnh, các thuật toán rút trích, xử lý điểm ảnh, mạng Neuron và các
phương pháp nhận dạng chữ viết hiện nay. Đồng thời đề xuất một số giải pháp
cải tiến phương pháp đang sử dụng.

3
3
Hình 2 : Bảng điểm thi mẫu


4
4
4.1. Cơ sở dữ liệu:
- Cơ sở dữ liệu bao gồm các mẫu từ và số được lấy từ bộ mẫu có sẵn

MNIST. Trong quá trình tiến hành nhận dạng, nếu mẫu này là mới thì chương
trình sẽ học và lưu trữ vào cơ sở dữ liệu mẫu.
- Bên cạnh đó cũng bao gồm việc thiết kế cơ sở dữ liệu cho hệ thống quản
lý điểm thi của sinh viên.
4.2 Dự kiến bước chính thực hiện để nhận dạng chữ viết tay trong đề tài
này:
Thu nhận hình ảnh
Xác định tọa độ vùng cần nhận dạng
Phân tích ảnh để tìm từ
Mạng Neuron nhận dạng từ
Hậu xử lý dữ liệu
Cơ sở dữ liệu mẫu
Tiền xử lý ảnh
Cơ sở dữ liệu quản lý SV
Hình 3 : Sơ đồ tổng quát quá trình nhận dạng số và chữ viết tay Tiếng Việt
trên bảng điểm.
4.2.1 Thu nhận hình ảnh
Bảng điểm sau khi được chấm điểm sẽ được đưa vào máy scanner để
thu nhận ảnh sau đó tiến hành nhận dạng. Bảng điểm được nhận dạng phải
đúng theo dạng mẫu qui định.
5
5
4.2.2 Tiền xử lý ảnh
Giai đoạn tiền xử lý văn bản là giai đoạn quan trọng, quá trình này ảnh
hưởng trực tiếp đến độ chính xác của quá trình nhận dạng, tuy nhiên nó cũng
làm tăng thời gian chung của cả hệ thống. Giai đoạn này bao gồm việc lọc
nhiễu, làm xám ảnh, nhị phân hóa ảnh…
Kỹ thuật sử dụng cho giai đoạn này bao gồm ứng dụng lược đồ mức xám
Histogram và phương pháp nhị phân hóa Ostu.
4.2.3 Xác định tọa độ vùng cần nhận dạng

Bước này được thực hiện duy nhất cho lần đầu chạy chương trình để
ta tìm ra tọa độ dòng và cột ở những nơi cần nhận dạng của bảng điểm mẫu.
Việc xác định tọa độ dựa trên các điểm nhận dạng gốc của bảng điểm.
Hình 4 : Tọa độ vị trí các điểm cần nhận dạng theo hàng
6
6

Hình 5 : Tọa độ vị trí các điểm nhận dạng theo cột
7
7

Hình 6 : Xác định tọa độ nhận dạng
4.2.4 Phân tích ảnh để tìm từ
Ảnh sau khi đã xác định tọa độ các vùng cần nhận dạng, ta tiến hành quá
trình phân tích ảnh để tìm từ bao gồm các bước sau:
8
8
- Xác định vùng chuỗi từ và số cần nhận dạng .
- Tách chuỗi từ, chuỗi số ra khỏi ảnh.
- Tách các từ, các số ra khỏi chuỗi từ, chuỗi số.
Dựa vào các điểm tọa độ nhận dạng kết hợp với giải thuật dò tìm các biên
của vùng ảnh để tiến hành xác định vùng ảnh cần được xử lý cho bước tiếp
theo.
Hình 7: Xác định loại bỏ đường biên của ảnh nhận dạng
Hình 8: Tách từ ra khỏi chuỗi từ
Thuật toán sử dụng để tách từ ra khỏi văn bản dựa trên lược đồ chiếu dọc
(Vertical projection Histogram) kết hợp đặc tính biên độ về độ sáng của các
pixel.
4.2.5 Mạng Neuron-mờ nhận dạng từ
Lớp ẩn

Lớp đầu vào
Điểm ảnh
Điểm ảnh
Điểm ảnh
Điểm ảnh
0 hoặc 1
0 hoặc 1
0 hoặc 1
0 hoặc 1
Lớp đầu ra
Luận văn thực hiện nghiên cứu mạng truyền thẳng feed-forward bao
gồm nhiều lớp các đơn vị xử lý phi tuyến (non-linear processing unit) MLP
(MultiLayer Perceptron) cùng thuật toán lan truyền ngược để tiến hành nhận
dạng các từ được đưa vào từ ảnh.
9
9
Hình 9 : Mô hình mạng Noron nhận dạng số và chữ số viết tay Tiếng việt
Lớp đầu vào gồm các neural nhận giá trị nhị phân(0,1) của các thành phần
của véctơ tương ứng. dữ liệu được véc tơ hóa từ ma trận điểm ảnh kí tự bằng
phương pháp chia lưới.
Lớp ẩn gồm các neural, số neural này được quyết định từ những kết quả tối
ưu và giá trị lỗi cơ sở trong quá trình huấn luyện.
Lớp đầu ra gồm các neural đưa ra giá trị nhị phân(0,1) tương ứng với các từ
mẫu trong cơ sở dữ liệu mẫu.
4.2.6 Hậu xử lý dữ liệu
Sau khi quá trình nhận dạng từ đưa ra kết quả ta tiến hành so khớp điểm
số và điểm chữ cho phù hợp. Cuối cùng là thao tác ghi nhận điểm số vào bảng
điểm được lưu trên máy tính.
II. Nội dung:
Luận văn hướng đến quá trình thu nhận đối chiếu giá trị ảnh của phiếu điểm

thi,qua đó thực hiện việc thực hiện nhận dạng chữ viết tay tiếng Việt với
những cải tiến mới hiệu quả hơn. Dự kiến luận văn sẽ bao gồm các chương
sau:
Chương 1: TỔNG QUAN
Dự kiến sẽ trình bày một số nội dung sau:
 Dẫn nhập, giới thiệu lý do chọn đề tài.
 Mục đích và phương pháp nghiên cứu của đề tài.
 Những đóng góp của đề tài.
 Bố cục luận văn.
Chương 2: CƠ SỞ LÝ THUYẾT
Dự kiến sẽ trình bày một số nội dung sau:
 Giới thiệu tổng quan về điểm ảnh.
 Giới thiệu mạng Neuron nhân tạo.
 Giới thiệu tình hình nghiên cứu trong và ngoài nước.
 Trình bày chi tiết các thuật toán, giải thuật của quá trình nhận
10
10
diện số và chữ số viết tay Tiếng Việt trên bảng điểm thi.
Chương 3: THỰC NGHIỆM
Dự kiến sẽ trình bày một số nội dung sau:
 Giới thiệu về ứng dụng, phần mềm và phần cứng trong quá
trình thực nghiệm.
 Kết quả của các bước tiến hành thực nghiệm.
 Xây dựng được ứng dụng nhận dạng số và chữ viết tay Tiếng
Việt cho bảng điểm thi.
 So sánh với kết quả của các nghiên cứu trước đó.
 Kết luận rút ra từ kết quả thực nghiệm .
Chương 4: KẾT LUẬN
Dự kiến sẽ trình bày một số nội dung sau:
 Kết quả đạt được của luận văn.

 Đề xuất kiến nghị.
III. Kết luận:
Để tài đã giới thiệu tuần tự về nhận dạng số và chữ số viết tay Tiếng Việt.
Xây dựng được ứng dụng thực hiện việc nhận dạng. Tiến hành thực
nghiệm trên mẫu bảng điểm thi cụ thể.
Đã trình bày các giải thuật tương ứng để thực hiện quá trình nhận dạng.
Trong đó có nhiều cải tiến tốt hơn so với các công trình nghiên cứu trước đó.
Đóng góp thêm một phương pháp mới trong khoa học nhận dạng.
IV. Danh mục các tài liệu tham khảo:
[1]. Nguyễn Quang Hoan. Xử lý ảnh. Học viện công nghệ bưu chính viễn
thông, 2006.
[2]. Lương Mạnh Bá, Nguyễn Thanh Thuỷ. Nhập môn xử lý ảnh số. Nhà xuất
bản Khoa học và Kỹ thuật, 2006.
[3]. Nhập môn Trí Tuệ Nhân tạo,Học viện công nghệ Bưu chính Viễn Thông,
2007.
[4]. Nguyễn Đình Thúc. Trí tuệ nhân tạo, mạng nơron phương pháp và ứng
dụng. Nhà xuất bản Giáo Dục - 2000.
[5]. Ngô Quốc Tạo, Phạm Văn Hùng. Xây dựng tham số cho mạng nơron lan
truyền ngược. Kỷ yếu hội thảo Quốc gia, Thái Nguyên 8-2003.
[6]. Ngô Quốc Tạo. Nghiên cứu phương pháp nhận dạng chữ viết tay hạn chế
trực tuyến. Đề tài nghiên cứu cơ sở mã số CS04.09 Viện CNTT, 2004.
[7]. Lê Hoài Bắc, Lê Hoàng Thái. Neuron Network & Genetic Algorithm in
11
11
Application to Handwritten Character Recognition, Tạp chí Tin học và Điều
khiển học, Tập 17, số 4, 2001.
[8]. Phạm Anh Phương, Ngô Quốc Tạo, Lương Chi Mai. Trích chọn đặc trưng
wavelet Haar kết hợp với SVM cho việc nhận dạng chữ viết tay tiếng Việt.
[9]. Hệ mờ, Mạng Neuron và Ứng dụng. Nhà xuất bản khoa học kỹ thuật,
2001.

[10]. Lê Xuân Trường, Trầm Quốc Thuận, Châu Kiến tài. Nhận dạng phiếu trả
lời trắc nghiệm và có nhận dạng chữ số viết tay dựa trên mạng Noron
[11]. William K.Pratt, “Digital Image Processing”, John Wiley & Sons 2001.
[12]. CHRISTOPHER M. BISHOP(1995), Neural Networks for Pattern
Recognition.pdf, CLARENDON PRESS • OXFORD, UK.
[13]. Robert Full´er. The Perception Learning Rule – Tutorial. Institute for
Advanced Management Systems Research Department of Information
Technologies, 4-2010.
[14]. N. K. Kasabov, J. S. Kim, A. R. Gray, M. J. Watts. FuNN - A Fuzzy
Neural Network Architecture for Adaptive Learning and Knowledge
Acquisition. Department of Information Science University of Otago, P.O.Box
56, Dunedin, New Zealand Abo Akademi University.
[15]. Arnold F. Shapiro. The Merging of Neural Network, Fuzzy logic, and
Genetic Algorithm. SoA 2002 Spring Meeting.
[16]. Chin-Teng Lin, Chang-Mao Yeh, Jen-Feng Chung, Sheng-Fu Liang and
Her-Chang Pu. Support-Vector-Based Fuzzy Neural Networks.
[17]. Puyin Liu, Hongxing Li. Fuzzy Neural Network theory and application.
Series in Machine Perception and Artificial Intelligence – Vol.59. World
Scientific Publishing Co. Pte. Ltd, 2004.
V. Dự kiến kế hoạch thực hiện:
STT Nội dung Thời gian thực hiện
1 Nghiên cứu lý thuy ết 7/10/2011 - 15/1/2011
2 Thực hiện đề tài 19/1/2012 -20/04/2012
3 Viết báo cáo – hiệu chỉnh 21/04/2012 - 30/05/2012
12
12
Ý KIẾN CỦA GIÁO VIÊN HƯỚNG DẪN NGƯỜI LẬP ĐỀ CƯƠNG
(Ký ghi rõ họ tên) (Ký ghi rõ họ tên)
TS. Lê Xuân Trường Nguyễn Phú Lợi
XÁC NHẬN CỦA TRƯỞNG TIỂU BAN CHẤM ĐỀ CƯƠNG

(Ký ghi rõ họ tên)
13
13