nhận dạng chữ viết và các hướng nghiên cứu

1
ĐẠI HỌC DUY TÂN
KHOA CÔNG NGHỆ THÔNG TIN
Chủđề
NHẬN DẠNG CHỮ VÀ
CÁC HƯỚNG NGHIÊN CỨU
Ngườitrìnhbày
TS. PHẠM ANH PHƯƠNG
Bộ môn Cơ sở Tin học
Friday, March 04, 2011
2
NỘI DUNG TRÌNH BÀY
1. Giớithiệu
Friday, March 04, 2011
2. Sơđồtổng quát củamộthệ nhậndạng chữ
5. Các kiếnthứccầnthiết để nghiên cứu
4. Các hướng tiếpcậnnhậndạng
3. Các phương pháp trích chọn đặctrưng
6. Kếtluận
3
GIỚI THIỆU
Friday, March 04, 2011
Nhậndạng chữ là mộtlĩnh vực đã được quan tâm nghiên cứuvà
ứng dụng từ nhiềunămnay theohaihướng chính:
9 Nhậndạng chữ viếttay: vớinhững mức độ ràng buộc
khác nhau về cách viết, kiểuchữ phụcvụ cho các ứng dụng
đọcvàxử lý các chứng từ, hóa đơn, phiếughi, bảnviếttay
chương trình Nhậndạng chữ viếttayđược tách ra hai
hướng phát triển: nhậndạng chữ viếttaytrựctuyến(on-
line) và chữ viếttayngoạituyến(off-line).
9 Nhậndạng chữ in: phụcvụ cho công việctựđộng hóa đọc

tài liệu, tăng tốc độ và chấtlượng nhập thông tin vào máy
tính trựctiếptừ các nguồntàiliệu.
4
GIỚI THIỆU (tt)
Friday, March 04, 2011
9 Nhậndạng chữ viếttay: vẫncònlàvấn đề thách thứclớn
đốivớicácnhànghiêncứu. Bài toàn này chưathể giảiquyết
trọnvẹn đượcvìnóhoàntoànphụ thuộcvàongườiviếtvà
sự biến đổiquáđadạng trong cách viếtvàtrạng thái sức
khỏe, tinh thầncủatừng ngườiviết.
9 Nhậndạng chữ in: đã đượcgiảiquyếtgầnnhư trọnvẹn
(sảnphẩm FineReader 9.0 của hãng ABBYY có thể nhậndạng
chữ in theo 192 ngôn ngữ khác nhau, phầnmềmnhậndạng
chữ Việt in VnDOCR 4.0 củaViệnCôngnghệ Thông tin Hà Nội
có thể nhậndạng đượccáctàiliệuchứahìnhảnh, bảng và
vănbảnvới độ chính xác trên 98%).
5
LỊCH SỬ PHÁT TRIỂN
Friday, March 04, 2011
• Các sảnphẩmnhậndạng chữ thương mạicótừ những năm
1950, khi máy tính lần đầutiênđượcgiớithiệutínhnăng mới
về nhậpvàlưutrữ dữ liệuhaichiềubằng cây bút viếttrênmột
tấmbảng cảm ứng. Công nghệ mới này cho phép các nhà
nghiên cứulàmviệc trên các bài toán nhậndạng chữ viếttay
on-line.
• Nhậndạng chữđượcbiết đếntừ năm 1900, khi nhà khoa học
người Nga Tyuring phát triểnmộtphương tiệntrợ giúp cho
những ngườimù.
Giai đoạn 1: (1900 – 1980)
6

LỊCH SỬ PHÁT TRIỂN
Friday, March 04, 2011
¾ Năm 1954, máy nhậndạng chữđầutiênđã đượcpháttriểnbởi
J. Rainbow dùng để đọcchữ in hoa nhưng rấtchậm.
¾ Mô hình nhậndạng chữ viết được đề xuấttừ năm 1951 do phát
minh của M. Sheppard đượcgọilàGISMO, mộtrobot đọc-viết.
Giai đoạn 1: (1900 – 1980) (tt)
¾ Năm 1967, Công ty IBM đãthương mạihóahệ thống nhận
dạng chữ.
7
LỊCH SỬ PHÁT TRIỂN
Friday, March 04, 2011
¾ Các hướng tiếpcậntheocấu trúc và đốisánhđượcápdụng
trong nhiềuhệ thống nhậndạng chữ.
¾ Vớisự phát triểncủacácthiếtbị phầncứng máy tính và các
thiếtbị thu thu nhậndữ liệu, các phương pháp luậnnhậndạng
đã đượcpháttriểntronggiaiđoạntrước đãcóđượcmôitrường
lý tưởng để triểnkhaicácứng dụng nhậndạng chữ.
Giai đoạn 2: (1980 – 1990)
¾ Trong giai đoạn này, các hướng nghiên cứuchỉ tậptrungvào
các kỹ thuậtnhậndạng hình dáng chứ chưaápdụng cho thông
tin ngữ nghĩa. Điềunàydẫn đếnsự hạnchế về hiệusuấtnhận
dạng, không hiệuquả trong nhiều ứng dụng thựctế.
8
LỊCH SỬ PHÁT TRIỂN
Friday, March 04, 2011
¾ Các kỹ thuậtnhậndạng kếthợpvớicácphương pháp luận
trong lĩnh vực học máy (Machine Learning) đượcápdụng
rấthiệuquả.
¾ Các hệ thống nhậndạng thờigianthực đượcchútrọng trong

giai đoạnnày.
Giai đoạn3: (Từ 1990 đếnnay)
¾ Mộtsố công cụ họcmáyhiệuquả như mạng nơ ron, mô hình
Markov ẩn, SVM (Support Vector Machines) và xử lý ngôn
ngữ tự nhiên
9
SƠ ĐỒ TỔNG QUÁT CỦA HỆ NHẬN DẠNG CHỮ
Ảnh vănbản
quét vào
Tiềnxử lý
Tiềnxử lý
Tách chữ
Tách chữ
Trích chọn
đặctrưng
Trích chọn
đặctrưng
Huấnluyện
Huấnluyện
Nhậndạng
Nhậndạng
Hậuxử lý
Hậuxử lý
Vănbản được
nhậndạng
Friday, March 04, 2011
10
Giai đoạntiềnxử lý
Friday, March 04, 2011
•Nhị phân hóa ảnh

•Lọc nhiễu •Tìmxương
•Hiệuchỉnh độ nghiêng
11
Giai đoạntáchchữ
Friday, March 04, 2011
•Táchdòng •Táchtừ, ký tự
12Friday, March 04, 2011
CÁC PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG
• Biến đổi toàn cục và khai triển chuỗi
• Đặc trưng thống kê
• Đặc trưng hình học và hình thái
13Friday, March 04, 2011
Biến đổi toàn cục và khai triển chuỗi
• Biến đổi Fourier
• Biến đổi Wavelet
• Khai triển Karhunent-Loeve
PCA - Principal Component Analysis
• Phương pháp mô men
14Friday, March 04, 2011
Đặctrưng thống kê
Phân vùng (Zone)
Các giao điểm và khoảng cách
15Friday, March 04, 2011
Đặctrưng thống kê (tt)
Chu tuyến (Contour Profile) Projection histograms
16Friday, March 04, 2011
Đặctrưng thống kê (tt)
Đặctrưng hướng (Direction Features)
Các ký tự được mô tả như các vectơ mà các
phần tử của nó là các giá trị thống kê về hướng.

17Friday, March 04, 2011
Đặc trưng hình học và hình thái
•
Các cấu trúc hình thái
: dựa trên các cấu trúc nguyên thủy
(đoạn thẳng, cung) tạo ra ký tự.
•
Các đại lượng hình học
: các ký tự được biểu diễn bằng độ đo
của các đại lượng hình học như tỷ số giữa chiều rộng và chiều cao
của hộp chứa ký tự, quan hệ khoảng cách giữa hai điểm, so sánh
độ dài giữa hai nét, độ rộng của một nét, khối lượng chữ hoa và
chữ thường của các từ, độ dài từ
•
Đồ thị và cây
: Đầu tiên, các từ hoặc các ký tự được phân chia
thành một tập các đối tượng nguyên thủy như các nét, các điểm
chạc Sau đó, các thành phần nguyên thủy được sử dụng trong
các đồ thị liên quan.
18
CÁC HƯỚNG TIẾP CẬN NHẬN DẠNG
Friday, March 04, 2011
• Đối sánh mẫu
• Tiếp cận cấu trúc
Cấutrúc ngữ pháp
(Grammatical Methods)
Phương pháp đồ thị
(Graphical Methods)
Chỉ áp dụng tốt đối với nhận
dạng chữ in, còn chữ viết tay thì

tỏ ra kém hiệu quả.
Sử dụng trong giai đoạn hậu
xử lý để sửa các lỗi mà khối
nhận dạng đã thực hiện sai
Chữ viết đượcmôtả bởicácđồ
thị, mỗi đồ thị là sự kết hợp của
các dạng nguyên thuỷ: đoạn
thẳng, cung…
19
CÁC HƯỚNG TIẾP CẬN NHẬN DẠNG (tt)
Friday, March 04, 2011
• Tiếpcậnthống kê dựatrêncơ sở ba giả thuyết chính:
1. Phân bố củatập đặctrưng là phân bố Gauss hoặc
trong trường hợpxấunhấtlàphânbố đều.
2. Có các số liệuthống kê đầy đủ có thể dùng cho
mỗilớp.
3. Tập ảnh {I} có thể trích chọnmộttập đặctrưng
{f
i
}∈F, i∈{1, ,n} mà tập đặctrưng này đạidiện
cho mỗilớpmẫuriêngbiệt.
k-NN
k-NN
Bayes
Bayes
20
CÁC HƯỚNG TIẾP CẬN NHẬN DẠNG (tt)
Friday, March 04, 2011
• Các phương pháp học máy tiên tiến
Mô hình Markov ẩn

(HMM – Hidden Markov
Model)
Mô hình Markov ẩn
(HMM – Hidden Markov
Model)
Mạng nơ ron
(NN - Neural Network)
Mạng nơ ron
(NN - Neural Network)
Máy vectơ tựa
(SVM - Support Vector Machines)
Máy vectơ tựa
(SVM - Support Vector Machines)
21
CÁC HƯỚNG TIẾP CẬN NHẬN DẠNG (tt)
Friday, March 04, 2011
• Kếthợpcácchiếnlượcnhậndạng
Mỗikỹ thuậtphânlớp
đềucónhững ưu điểm
và nhược điểmriêng.
Kếthợpvới nhau theo một
cách nào đó để nâng cao
hiệuquả nhậndạng
Xây dựng các kiếntrúc
kếthợpphânlớp
KiếntrúctuầntựKiếntrúctuầntự
Kiếntrúcsong songKiếntrúcsong song
Kiến trúc lai ghépKiến trúc lai ghép
22
CÁC HƯỚNG TIẾP CẬN NHẬN DẠNG (tt)

Friday, March 04, 2011
KiếntrúctuầntựKiếntrúctuầntự
Kiếntrúcsong songKiếntrúcsong song
Kiến trúc lai ghépKiến trúc lai ghép
Chuyểnkếtquảđầuracủamộtmáy
phân lớp thành đầuvàocủamáy
phân lớptiếp theo, các chiếnlược
tiêu biểu: Boosting, thác nước
Kếtnốikếtquả củacácmáy
phân lớp độclậpcủa nhiều
chiếnlược khác nhau. Tiêu biểu
nhấtlàchiếnlược bỏ phiếu và
luậtquyết định Bayes
Lai ghép giữahaikiếntrúctuầntự
và song song.
23
CÁC KIẾN THỨC CẦN THIẾT ĐỂ NGHIÊN CỨU
Friday, March 04, 2011
•Xử lý ảnh (Image Processing)
•Học máy (Machine Learning)
•Xác suất thống kê và toán ứng dụng
• Ngôn ngữ học và ngôn ngữ học tính toán
(Linguistic and Computational Linguistic)
Mạng nơ ron, HMM
SVM
Boosting,
Kernel method
Bayes
k-NN,
n-Gram

/>24
CÁC BỘ DỮ LIỆU CHUẨN PHỤC VỤ NGHIÊN CỨU
Friday, March 04, 2011
• Bộ dữ liệu USPS (United States Postal Service)
• Bộ dữ liệu MNIST (National Institute of Standard
and Technology of the United States)
gồm 7291 mẫu dùng để Train và 2007 mẫu khác để test,
mỗi mẫu là một ảnh đa cấp xám kích thước 16×16.
gồm 60.000 mẫu dùng để Train và 10.000 mẫu khác để test,
mỗi mẫu là một ảnh đa cấp xám kích thước 28×28.
25
MỘT SỐ KẾT QUẢ THỰC NGHIỆM TRÊN TẬP MNIST
Friday, March 04, 2011
CLASSIFIER ERROR (%) Reference
K-nearest-neighbors, L3 1.22 Kenneth Wilder, U. Chicago
K-NN, shape context matching 0.63 Belongie et al. IEEE PAMI 2002
K-NN with non-linear deformation
(P2DHMDM)
0.52 Keysers et al. IEEE PAMI 2007
SVM deg 4 polynomial 1.1 LeCun et al. 1998
Reduced Set SVM deg 5 polynomial 1.0 LeCun et al. 1998
Virtual SVM deg-9 poly [distortions] 0.8 LeCun et al. 1998
Trainable feature extractor + SVMs 0.54 Lauer et al., Pattern Recognition 40-6, 2007
3-layer NN, 500+300 HU 1.53 Hinton, unpublished, 2005
2-layer NN, 800 HU, MSE 0.9 Simard et al., ICDAR 2003
2-layer NN, 800 HU, cross-entropy 0.7 Simard et al., ICDAR 2003
NN, 784-500-500-2000-30 + nearest neighbor,
RBM + NCA training
1.0 Salakhutdinov and Hinton, AI-Stats 2007