LUẬN văn THẠC sĩ HAY một số kỹ thuật trích chọn đặc trưng chữ viết tay trong nhập điểm rèn luyện tự động

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG

MAI QUỐC AN

MỘT SỐ KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG
CHỮ VIẾT TAY TRONG NHẬP ĐIỂM RÈN LUYỆN TỰ ĐỘNG

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Thái Nguyên - 2016

Số hóa bởi Trung tâm Học liệu – ĐHTN



LUAN VAN CHAT LUONG download : add


ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐH CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THƠNG

MAI QUỐC AN

MỘT SỐ KỸ THUẬT TRÍCH CHỌN ĐẶC TRƯNG
CHỮ VIẾT TAY TRONG NHẬP ĐIỂM RÈN LUYỆN TỰ ĐỘNG
Chuyên ngành: Khoa học máy tính
Mã số: 60.48.01.01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC
TS. Vũ Duy Linh

Thái Nguyên - 2016

Số hóa bởi Trung tâm Học liệu – ĐHTN



LUAN VAN CHAT LUONG download : add


i

LỜI CAM ĐOAN
Tơi xin cam đoan tồn bộ nội dung bản luận văn này là do tôi tự sưu tầm, tra
cứu và sắp xếp cho phù hợp với nội dung yêu cầu của đề tài.
Nội dung luận văn này chưa từng được công bố hay xuất bản dưới bất kỳ hình
thức nào và cũng khơng được sao chép từ bất kỳ một cơng trình nghiên cứu nào.
Tất cả phần mã nguồn của chương trình đều do tơi tự thiết kế và xây dựng,
trong đó có sử dụng một số thư viện chuẩn và các thuật toán được các tác giả xuất
bản cơng khai và miễn phí trên mạng Internet.
Nếu sai tơi xin hồn tồn chịu trách nhiệm.
Thái Ngun, ngày tháng 07 năm 2016
Người cam đoan

Số hóa bởi Trung tâm Học liệu – ĐHTN

i

LUAN VAN CHAT LUONG download : add


ii

LỜI CẢM ƠN
Trong quá trình học tập và nghiên cứu tại lớp Cao học khóa 12 chuyên ngành
Khoa học máy tính tại trường ĐH Cơng nghệ thơng tin và truyền thông - Đại học
Thái Nguyên, tôi đã nhận được rất nhiều sự chỉ bảo, dìu dắt, giảng dậy nhiệt tình của
các thầy, cô giáo trong Viện công nghệ thông tin. Các thầy cô giáo quản lý trong
trường ĐH Công nghệ thông tin và truyền thông - Đại học Thái Nguyên đã luôn
giúp đỡ, tạo điều kiện tốt nhất cho tôi trong q trình cơng tác cũng như học tập.
Nhân dịp này tôi xin bày tỏ lời cảm ơn chân thành tới tập thể các thầy, cô giáo trong
Viện công nghệ thông tin, các thầy cô giáo trong trường ĐH Công nghệ thông tin
và truyền thông - Đại học Thái Nguyên.
Tôi xin chân thành cảm ơn sâu sắc tới thầy giáo TS. Vũ Duy Linh đã cho tơi
nhiều ý kiến đóng góp q báu, đã tận tình hướng dẫn và tạo điều kiện cho tơi hồn
thành tốt luận văn tốt nghiệp này.
Tôi xin cảm ơn các đồng nghiệp và người thân đã động viên, giúp đỡ tơi trong
q trình nghiên cứu và thực hiện luận văn này.
Quá trình thực hiện đề tài khơng tránh khỏi các thiếu sót, rất mong tiếp tục nhận
được sự đóng góp ý kiến của các thầy, các cô giáo, các bạn đồng nghiệp đối với đề
tài nghiên cứu của tơi để đề tài được hồn thiện hơn.

Tôi xin trân trọng cảm ơn!
Thái Nguyên, ngày tháng 07 năm 2016

Số hóa bởi Trung tâm Học liệu – ĐHTN

ii


LUAN VAN CHAT LUONG download : add


iii

MỤC LỤC
PHẦN MỞ ĐẦU ................................................................................................... 1
Chương 1: KHÁI QUÁT VỀ NHẬP ĐIỂM RÈN LUYỆN TỰ ĐỘNG VÀ
TRÍCH CHỌN ĐẶC TRƯNG CHỮ VIẾT TAY ...................................................... 2
1.1. Khái quát về nhập điểm rèn luyện tự động ............................................ 2
1.1.1. Quản lý và nhập điểm rèn luyện tự động ............................................ 2
1.1.2. Kiến trúc một hệ thống nhận dạng điểm rèn luyện sử dụng mạng
nơron nhân tạo ........................................................................................................ 5
1.2. Khái quát trích chọn đặc trưng chữ viết tay ........................................ 13
1.2.1. Đặc trưng màu sắc .............................................................................. 15
1.2.2. Đặc trưng hình dạng .......................................................................... 16
1.2.3. Đặc trung kết cấu ................................................................................ 17
1.2.4. Đặc trung cục bộ bất biến .................................................................. 17
Chương 2: NHẬN DẠNG PHIẾU ĐIỂM SỬ DỤNG MẠNG NƠ RON ...... 19
2.1. Thiết kế mạng nơron nhân tạo ............................................................... 19
2.1.1. Các bước thiết kế ................................................................................ 19
2.1.2. Chi tiết các bước thiết kế một mạng nơron ....................................... 19
2.2. Các kỹ thuật trích chọn đặc trưng......................................................... 24
2.2.1. Kỹ thuật trích chọn đặc trưng kết hợp biến đổi DCT và thuật toán
phân tích thành phần chính PCA ........................................................................ 24
2.2.2 Kỹ thuật trích đặc trưng sử dụng Momen Legendre ......................... 27
2.2.3. Kỹ thuật sử dụng mạng Neural nhân chập (Convolution neural

network) ................................................................................................................. 32
2.3. Huấn luyện mạng..................................................................................... 35
2.3.1. Các phương pháp học......................................................................... 35
2.3.2. Học có giám sát trong các mạng nơron ............................................. 36
2.3.3. Thuật toán lan truyền ngược Back-Propagation .............................. 37
2.4. Nhận dạng sử dụng mạng nơron ........................................................... 49
2.4.1. Khả năng sử dụng mạng nơron trong nhận dạng ............................ 49
2.4.2. Mơ hình nhận dạng hệ thống sử dụng mạng nơron ........................ 49
2.4.3. Nhận dạng hệ thống sử dụng mạng nơron ....................................... 51
Chương 3: CHƯƠNG TRÌNH THỬ NGHIỆM .............................................. 52
3.1. Đặc trưng của phiếu điểm ...................................................................... 52
3.2. Bài toán ..................................................................................................... 53
3.3. Tiền xử lý .................................................................................................. 54
3.4. Phân đoạn và trích chọn đặc trưng ....................................................... 57
3.5. Huấn luyện và nhận dạng ....................................................................... 57
3.6. Hậu xử lý .................................................................................................. 58
Số hóa bởi Trung tâm Học liệu – ĐHTN

iii


LUAN VAN CHAT LUONG download : add


iv

PHẦN KẾT LUẬN ............................................................................................. 58
TÀI LIỆU THAM KHẢO ................................................................................. 60

CÁC CHỮ VIẾT TẮT

Từ viết tắt

Ý nghĩa

CSDL

Cơ sở dữ liệu

MCP

Mơ hình McCulloch và Pitts

MSE

Mean-Square Error

BP

Back-Propagation

PCA

Principal Component Analysis

OMR

Optical Mark Recognition)

Số hóa bởi Trung tâm Học liệu – ĐHTN

iv


LUAN VAN CHAT LUONG download : add


v

MỤC LỤC HÌNH ẢNH
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình
Hình

Hình
Hình
Hình
Hình
Hình
Hình
Hình

1: Nơron đơn giản ........................................................................................ 7
2: Nơron phức tạp hơn ................................................................................. 7
3: mạng truyền thẳng.................................................................................... 9
4: mạng hồi quy đơn giản........................................................................... 10
5: Perceptron .............................................................................................. 11
6: Sự khác nhau giữa hồi quy tuyến tính và mạng nơron .......................... 12
7: Các bước cơ bản trong hệ thống nhận dạng văn bản ............................. 14
8: Ví dụ về xác định các đặc trưng của ảnh ............................................... 15
9: Ảnh hưởng của vector riêng, giá trị riênglên tập dữ liệu ....................... 24
10: Các bước trích chọn đặc trưng bằng biến DCT kết hợp PCA ............. 26
11: Biến đổi DCT và cách lấy dữ liệu theo đường zigzag ......................... 27
12: Họ đa thức Legendre ............................................................................ 29
13: Thao tác nhân chập .............................................................................. 33
14: Quá trình trích chọn đặc trưng sử dụng mạng Neural nhân chập ........ 34
15: Minh họa quá trình lấy đặc trưng bằng mạng Neuron nhân chập ....... 34
16: Mơ hình học có giám sát. ..................................................................... 36
17: Mạng lan truyền với một lớp ẩn........................................................... 38
18: xấp xỉ của mạng trong các trường hợp i = 1, 2, 4, 8 ............................ 42
19: Xác định tần số..................................................................................... 47
20: Mơ hình nhận dạng cơ bản................................................................... 50
21: Mẫu phiếu điểm đánh giá rèn luyện..................................................... 52
22: Mẫu phiếu điểm tổng kết ..................................................................... 53

23: Nhị phân hóa ảnh. ................................................................................ 54
24: Lọc nhiễu.............................................................................................. 55
25: Chuẩn hóa kích thước ảnh các số “4” và “6”. ..................................... 55
26: Làm tròn biên chữ. ............................................................................... 56
27: Làm mảnh chữ. .................................................................................... 56

Số hóa bởi Trung tâm Học liệu – ĐHTN

v


LUAN VAN CHAT LUONG download : add


vi

Hình 28: Tách thơng tin phiếu điểm. .................................................................. 57

Số hóa bởi Trung tâm Học liệu – ĐHTN

vi


LUAN VAN CHAT LUONG download : add


1

PHẦN MỞ ĐẦU
Công nghệ thông tin đang là một trong những ngành then chố t trong quá trình

công nghiêp̣ hóa hiêṇ đại hóa đất nước. Viê ̣c triể n khai nghiên cứu các công trình
khoa học và đưa vào thực tế ứng du ̣ng góp phầ n giải phóng sức lao đô ̣ng con người,
tiết kiê ̣m thời gian, nâng cao hiêụ suấ t công viê ̣c là mô ̣t viê ̣c làm hết sức có ý nghiã
trong giai đoa ̣n này.
Bài toán nhâ ̣n dạng chữ viết tay xuất hiện cách đây khá lâu và đã được ứng dụng
rất hiệu quả trong nhiều lĩnh vực khác nhau như y tế, giáo dục, quốc phịng, nghiên
cứu vũ trụ.
Trong q trình công tác, tôi nhận thấy rằng: Việc xử lý kết quả đánh giá rèn
luyện của sinh viên hiện nay hầu hết ở các trường được thực hiện một cách thủ cơng.
Quy trình đánh giá rèn luyện của học sinh - sinh viên được tiến hành từ cấp lớp đến
cấp khoa và cấp trường. Kết quả đánh giá rèn luyện được giảng viên nhập vào bảng
tổng hợp dựa trên phiếu đánh giá rèn luyện. Việc nhập điểm thủ công như vậy tốn khá
nhiều công sức và khả năng nhầm lẫn cao.
Để giải quyết vấn đề trên đòi hỏi chúng ta phải xây dựng được các công cụ hữu
hiệu trong việc nhận dạng chữ viết tay và sẽ đem la ̣i các lơ ̣i ích sau khi đưa vào ứng
du ̣ng thực tế:
- Giảm lượng nhân cơng nhập điểm.
- Độ chính xác cao.
- Tiết kiệm thời gian, công sức.
- Dễ dàng giám sát tiến trình nhập điểm, giúp đưa ra cách giải quyết phù hợp khi
có sai sót xảy ra.
Trong phạm vi một đề tài luận văn thạc sỹ, tôi sẽ đi sâu vào tìm hiểu kỹ thuật
trích chọ đặc trưng nhận dạng chữ viết tay trên phiếu đánh giá kết quả rèn luyện. Do
đó tơi chọn đề tài: “Một số kỹ thuật trích chọn đặc trưng chữ viết tay trong nhập
điểm rèn luyện tự động”.

LUAN VAN CHAT LUONG download : add


2

Chương 1: KHÁI QUÁT VỀ NHẬP ĐIỂM RÈN LUYỆN TỰ ĐỘNG VÀ
TRÍCH CHỌN ĐẶC TRƯNG CHỮ VIẾT TAY
1.1. Khái quát về nhập điểm rèn luyện tự động
1.1.1. Quản lý và nhập điểm rèn luyện tự động
Hiện nay, đánh giá kết quả rèn luyện của học sinh, sinh viên các trường đại học,
cao đẳng và trung học chuyên nghiệp nhằm góp phần thực hiện mục tiêu giáo dục là
đào tạo con người Việt Nam phát triển tồn diện, có đạo đức, tri thức, sức khỏe, thẫm
mỹ và nghề nghiệp, trung thành với lý tưởng độc lập dân tộc và chủ nghĩa xã hội;
hình thành và bồi dưỡng nhân cách, phẩm chất và năng lực của công dân, đáp ứng yêu
cầu xây dựng và bảo vệ Tổ quốc.
Việc đánh giá kết quả rèn luyện của học sinh, sinh viên là việc làm thường xuyên
ở các trường. Quá trình đánh giá phải đảm bảo chính xác, cơng bằng, cơng khai và
dân chủ.
Có nhiều bài toán hiệu quả và tin cậy để giải quyết khâu nhập điểm như các bài
toán điều tra xã hội học, thi tuyển sinh qua trắc nghiệm, nhập chứng từ ngân hàng,
nhập các tờ khai thuế...Khó khăn ở chỗ khối lượng nhập rất nhiều và việc kiểm sốt
độ chính xác trong quá trình nhập.
Để tăng tốc độ nhập dữ liệu, một số phương pháp được nghiên cứu là:
- Phân tải để có thể nhập từ nhiều nguồn, nhiều đầu mối;
- Nhập qua các giá mang tính trung gian để tận dụng được nhiều phương pháp,
nhiều đầu mối, sau đó dùng các công cụ để chuyển về định dạng cần thiết;
- Nhập qua giao diện âm thanh hoặc hình ảnh, trong đó hình ảnh là phương pháp
được quan tâm nhiều hơn. Đã có nhiều thành cơng trong các hệ thống nhận dạng chữ
viết, nhận dạng các form tài liệu, nhận dạng các phiếu đánh dấu.

LUAN VAN CHAT LUONG download : add


3

Để tăng độ tin cậy, người ta thường phải áp dụng các biện pháp tìm sai sót và
chỉnh sửa như:
- Kiểm lỗi trực tiếp;
- Nhập hai lần từ hai người khác nhau để phát hiện sai lệch;
- Tăng cường độ tin cậy của các hệ nhập liệu tự động;
- Phát hiện những ràng buộc toàn vẹn để đặt ra các cơ chế kiểm soát tự động theo
các ràng buộc và trong nhiều truờng hợp có thể tự sửa lỗi.
Trong hệ thống quản lý rèn luyện hiện nay có một vài giải pháp nhập điểm đã
được đưa vào để thực hiện như nhập liệu thủ công trực tiếp, nhập điểm trực tuyến,
nhập điểm theo lô từ file, và nhập điểm bằng nhận dạng ảnh phiếu điểm.
Việc nhập điểm bằng nhận dạng ảnh phiếu điểm: Một trong các giải pháp nhập
điểm khác được áp dụng là dùng các phiếu ghi điểm được viết theo những định dạng
đặc biệt. Sau đó bảng điểm được quét vào thành một ảnh và dùng một phần mềm
nhận dạng để biết cột nào được đánh dấu để suy ra điểm và ghi vào CSLD. Giải pháp
này có ưu điểm là giảm tải cho phịng Cơng tác học sinh - sinh viên, thay vì việc phải
nhập điểm chỉ cần quét ảnh, sau đó chạy phần mềm nhận dạng. Tuy nhiên vẫn phải in
bảng điểm và mời giáo viên lên ký.
* Quy trình chung một hệ thống nhập điểm tự động.
Quy trình chung của một hệ thống nhập điểm tự động thường bao gồm:
- Quét ảnh: quét ảnh phiếu điều tra và lưu dưới dạng ảnh raster: Quét trực tiếp
các loại phiếu điều tra thông qua máy quét. Đọc và xử lý hơn 30 dạng tệp tin ảnh phổ
dụng nhất như PCX, BMP, TIF, GIF, JPG, ... Có thể nhận dạng trực tiếp phiếu điều
tra thông qua máy quét, không cần lưu trữ dưới dạng tệp ảnh trung gian. Các phiếu
điều tra có thể được quét và lưu trữ dưới dạng tệp tin cơ sở dữ liệu.

LUAN VAN CHAT LUONG download : add


4

- Tiền xử lý: nối các đường đứt nét, quay ảnh, xoá nhiễu,... lấp lỗ hổng. co dãn,
vuốt trơn đường, phát hiện góc nghiêng, độ dịch chuyển và hiệu chỉnh 1 cách tự
động...
- Lựa chọn vùng: Markread hiển thị phiếu mẫu sạch đẹp chưa điền thông tin và
chọn các vùng và điền thông tin liên quan đến chúng.
- Học form: vùng được lựa chọn có thể chứa nhiều ơ hình chữ nhật trên ảnh mẫu
và tách ra các ô chữ nhật, elip và chúng được sử dụng cho trường OMR
* Dữ liệu đầu vào:
Phiếu điểm: là các ảnh đen trắng hoặc đa cấp xám từ đĩa hoặc từ Scanner. Khi đó
yêu cầu chung về dữ liệu là các tệp ảnh có thể có nhiễu, nghiêng và dịch chuyển
nhưng hạn chế, các bản in và photocopy tương đối rõ ràng. Hầu hết các khuôn dạng
thông thường như TIFF, GIF, PCX, BMP, JPG,... Các ảnh này gồm các ơ hình vng,
chữ nhật, trịn, e-lip có thể đánh dấu, chữ và chữ số có hạn chế.
- Nhận dạng phiếu điểm: Tự động nhặt ra các đối tượng theo mẫu đã chỉ ra trong
các phiếu mẫu. Ở giai đoạn này đối với mỗi đối tượng cần nhận dạng sẽ được tiến
hành theo các bước cơ bản: Xử lý sơ bộ, trích chọn các đặc trưng liên quan đến mẫu,
đối sánh các đặc trưng của đối cần nhận dạng với mẫu.
- Hiệu chỉnh: Hiệu chỉnh bằng tay hoặc tự động các vị trí trong phiếu mẫu.
- Trích chọn đặc trưng mẫu: Tự động phân tích và tách các vùng này các đối
tượng riêng lẻ (cô lập đối tượng) và tính đặc trưng cho các hình này rồi lưu vào tệp
mẫu học.
* Dữ liệu ra:
- Tệp kết quả của nhận dạng được đưa ra theo các qui cách DBF, MDB, XLS.
- Mỗi phiếu là một bản ghi gồm các trường tương ứng với các đối tượng cần
nhận dạng (hình vng, chữ nhật, hình trịn, e-lip) đã được điền.

LUAN VAN CHAT LUONG download : add

5

- Tên các trường được sinh ra một cách tự động hoặc được người dùng đưa vào.
Tiếp cận phương pháp nhận dạng nhãn quang học hiện đại:
- Tự động xử lý các bản kiểm tra, phiếu thăm dò, câu hỏi và các phiếu mẫu.
1.1.2. Kiến trúc một hệ thống nhận dạng điểm rèn luyện sử dụng mạng nơron
nhân tạo
1.1.2.1. Khái niệm mạng nơron nhân tạo
Mạng nơron nhân tạo hay thường gọi ngắn gọn là mạng nơron, trong tiếng anh là
Artificial Neural Network. Nó gồm có một nhóm các nơron nhân tạo nối với nhau, và
xử lý thông tin bằng cách truyền theo các kết nối và tính giá trị mới tại các nút. Trong
nhiều trường hợp, mạng nơron nhân tạo là một hệ thống thích ứng, tự thay đổi cấu
trúc của mình dựa trên các thơng tin bên ngồi hay bên trong chảy qua mạng trong
quá trình học.
Một mạng nơron nhân tạo được cấu hình cho một ứng dụng cụ thể (nhận dạng
mẫu, phân loại dữ liệu, ...) thông qua một quá trình học từ tập các mẫu huấn luyện. Về
bản chất, học chính là q trình hiệu chỉnh trọng số liên kết giữa các nơron.
1.1.2.2. Lịch sử phát triển của mạng nơron
Một trong những mơ hình điển hình của mạng noron chính là não bộ của con
người. Bộ não người là một mạng noron có cấu tạo vơ cùng phức tạp. Con người đã
nghiên cứu nó hàng nghìn năm nay. Cùng với sự phát triển của khoa học kĩ thuật đặc
biệt là những tiến bộ trong ngành điện tử hiện đại, con người đã bắt đầu nghiên cứu
các nơron và sự kiện đầu tiên đánh dấu sự ra đời của mạng nơron nhân tạo vào năm
1943 khi nhà thần kinh học Warren McCulloch và nhà toán học Walter Pitts viết bài
báo mô tả cách thức các nơron hoạt động. Họ cũng đã tiến hành xây dựng một mạng
nơron đơn giản bằng các mạch điện. Năm 1949 cuốn sách Organization of Behavior
của Donald Hebb được xuất bản đã chỉ ra rằng các nơron nhân tạo sẽ trở lên hiệu quả
hơn sau mỗi lần chúng được sử dụng.

LUAN VAN CHAT LUONG download : add

6

Những tiến bộ của máy tính đầu những năm 1950, dự án Dartmouth nghiên cứu
về trí tuệ nhân tạo năm 1956 đã mở ra thời kỳ phát triển mới cả trong lĩnh vực trí tuệ
nhân tạo lẫn mạng nơron. Những năm tiếp theo của dự án Dartmouth, John von
Neumann đã đề xuất việc mô phỏng các nơron đơn giản bằng cách sử dụng rơle điện
áp hoặc đèn chân không. Nhà sinh học chuyên nghiên cứu về nơron Frank Rosenblatt
cũng bắt đầu nghiên cứu về Perceptron - một thuật ngữ trong học máy, đó là một thuật
tốn phân loại. Sau thời gian nghiên cứu này Perceptron đã được cài đặt trong phần
cứng máy tính và được xem như là mạng nơron lâu đời nhất còn được sử dụng đến
ngày nay.
Năm 1974 Paul Werbos đã phát triển và ứng dụng phương pháp học lan truyền
ngược (back-propagation).
Ngày nay, đi xa hơn mức nghiên cứu lý thuyết, các nhà khoa học đã nghiên cứu
mạng nơron để cho ra các ứng dụng có khả năng giải quyết các bài toán thực tế được
diễn ra ở khắp mọi nơi. Các ứng dụng mạng nơron ra đời ngày càng nhiều và ngày
càng hồn thiện hơn.
1.1.2.3. Mơ hình nơron
a. Nơron nhân tạo đơn giản
Một nơron nhân tạo đơn giản là một thiết bị với nhiều đầu vào và có một đầu ra.
Nơron có hai chế độ hoạt động: chế độ huấn luyện và chế độ sử dụng. Trong chế độ
huấn luyện, nơron có thể được huấn luyện với một số các mẫu đầu vào tới khi không
được sử dụng nữa. Trong chế độ sử dụng thì khi phát hiện một mẫu đã học tại đầu
vào, đầu ra của nó sẽ trở thành đầu ra hiện tại. Nếu mẫu đầu vào khơng thuộc vào
danh sách mẫu đã học thì luật loại bỏ được sử dụng để tiếp tục dùng hay loại bỏ
nơron. Hình 1 mơ tả một nơron đơn giản đó.

LUAN VAN CHAT LUONG download : add

7

Hình 1: Nơron đơn giản
b. Nơron phức tạp hơn (Mơ hình McCulloch và Pitts: MCP)
Sự khác biệt với mơ hình đơn giản ở trên là đầu vào của mơ hình này có trọng
số, hiệu quả của nó là mỗi đầu vào có một sự đưa ra quyết định phụ thuộc vào trọng
số của từng đầu vào. Trọng số của một đầu vào là một số mà khi nhân với
đầu vào thì ta có được trọng số đầu vào. Những đầu vào trọng số này được nhóm
lại với nhau và nếu chúng vượt quá giá trị ngưỡng thì nơron sẽ bị loại bỏ. Với các
trường hợp khác thì nơron khơng bị loại bỏ.

Hình 2:Nơron phức tạp hơn
Ví dụ ta có giá trị ngưỡng là T thì về mặt tốn học, nơron này sẽ bị loại bỏ khi và
chỉ khi bất đẳng thức sau xảy ra:
X1.W1 + X2.W2 + X3.W3 + … > T
Sự thêm vào trọng số đầu vào và giá trị ngưỡng của nơron làm cho nó

LUAN VAN CHAT LUONG download : add


8

linh hoạt và mạnh hơn. Nơron MCP có khả năng thích nghi với hồn cảnh cụ thể
như là thay đổi trọng số hay giá trị ngưỡng.
1.1.2.4. So sánh mạng nơron với máy tính truyền thống
Các mạng nơron có cách tiếp cận khác trong giải quyết vấn đề so với máy tính
truyền thống. Các máy tính truyền thống sử dụng cách tiếp cận theo hướng giải thuật,
tức là máy tính thực hiện một tập các câu lệnh để giải quyết một vấn đề. Vấn đề được

giải quyết phải được biết và phát biểu dưới dạng một tập chỉ lệnh rõ ràng. Những câu
lệnh này sau đó phải được chuyển sang một chương trình ngơn ngữ bậc cao và chuyển
sang mã máy để máy tính có thể hiểu được. Nếu các bước cụ thể mà máy tính cần
tuân theo được chỉ ra khơng rõ ràng, máy tính sẽ khơng làm được gì cả. Điều đó giới
hạn khả năng của các máy tính truyền thống ở phạm vi giải quyết các vấn đề mà
chúng ta đã hiểu và biết chính xác cách thực hiện. Các máy tính sẽ trở lên hữu ích hơn
nếu chúng có thể thực hiện được những việc mà bản thân con người khơng biết chính
xác là phải làm như thế nào.
Các mạng nơron xử lý thông tin theo cách thức giống như bộ não con người.
Mạng được tạo nên từ một số lượng lớn các phần tử xử lý được kết nối với nhau làm
việc song song để giải quyết một vấn đề cụ thể. Các mạng nơron học theo mơ hình,
chúng khơng thể được lập trình để thực hiện một nhiệm vụ cụ thể. Các mẫu phải được
chọn lựa cẩn thận nếu không sẽ rất mất thời gian, thậm chí mạng sẽ hoạt động khơng
đúng. Điều hạn chế này là bởi vì mạng tự tìm ra cách giải quyết vấn đề, thao tác của
nó khơng thể dự đốn được.
Các mạng nơron và các máy tính truyền thống khơng cạnh tranh nhau mà bổ
sung cho nhau. Có những nhiệm vụ thích hợp hơn với máy tính truyền thống, ngược
lại có những nhiệm vụ lại thích hợp hơn với các mạng nơron. Thậm chí rất nhiều
nhiệm vụ địi hỏi các hệ thống sử dụng tổ hợp cả hai cách tiếp cận đểthực hiện được

LUAN VAN CHAT LUONG download : add


9

hiệu quả cao nhất. (thơng thường một máy tính truyền thống được sử dụng để giám
sát mạng nơron).
1.1.2.5. Một số kiến trúc mạng nơron dùng nhận dạng mẫu
a. Mạng truyền thẳng
Mạng truyền thẳng (hình 3) cho phép tín hiệu truyền chỉ theo một đường từ đầu

vào tới đầu ra, không có sự phản hồi hay lặp lại. Mạng này có xu hướng truyền thẳng
giữa đầu vào với đầu ra. Chúng được dùng rộng rãi trong nhận dạng mẫu. Cách tổ
chức trong mạng truyền thẳng là tham chiếu tới phương pháp từ dưới lên hoặc là từ
trên xuống.

Hình 3:mạng truyền thẳng
b. Mạng hồi quy
Mạng hồi quy có kiến trúc tương tự mạng truyền thẳng (hình 2.3) nhưng có điểm
khác nhau đó là nó cho phép tín hiệu truyền theo cả hai hướng. Mạng hồi quy truyền
tín hiệu rất tốt và có thể trở lên rất phức tạp. Nó có tính động; trạng thái của nó thay
đổi liên tục tới khi đạt tới điểm trạng thái cân bằng. Chúng duy trì điểm cân bằng tới
khi đầu vào thay đổi và cần tìm một một trạng thái cân bằng mới. Kiến trúc hồi quy
có thể tham chiếu tới việc tương tác.
c. Các lớp mạng

LUAN VAN CHAT LUONG download : add


10

Các loại phổ biến nhất của mạng nơron nhân tạo bao gồm ba nhóm hoặc lớp của
các đơn vị: một lớp của các đơn vị "đầu vào" được kết nối với một lớp của các đơn vị
"ẩn", và lớp đơn vị “ẩn” này được kết nối với một lớp của đơn vị"đầu ra". (xem hình 4)
•Hoạt động của các đơn vị đầu vào mô tả các thông tin thô được đưa vào mạng.
•Hoạt động của từng đơn vị ẩn được xác định bởi các hoạt động của các đơn vị
đầu vào và trọng số trên các kết nối giữa đầu vào và các đơn vị ẩn.
•Hành vi của các đơn vị đầu ra phụ thuộc vào hoạt động của các đơn vị ẩn và
trọng số giữa các đơn vị ẩn và đầu ra.

Hình 4:mạng hồi quy đơn giản

Loại mạng hồi quy đơn giản này khá thú vị bởi vì các đơn vị ẩn được tự do xây
dựng đại diện đầu vào riêng của chúng. Trọng số giữa đầu vào và các đơn vị ẩn xác
định khi mỗi đơn vị ẩn đang hoạt động. Do đó bằng cách thay đổi các trọng số, một
đơn vị ẩn có thể chọn cái nó đại diện.
Chúng ta cũng phân biệt kiến trúc lớp đơn và kiến trúc nhiều lớp. Tổ chức lớp
đơn, trong đó tất cả các đơn vị được kết nối với nhau, tạo thành trường hợp tổng quát
nhất và là sức mạnh tính tốn tiềm năng hơn tổ chức nhiều lớp cấu trúc phân cấp.
Trong các mạng đa lớp, các đơn vị thường được đánh số theo lớp, thay vì đánh số
theo toàn bộ hệ thống mạng.

LUAN VAN CHAT LUONG download : add


11

d. Perceptrons
Nghiên cứu có ảnh hưởng nhất trên mạng nơron trong những năm 60 được tiến
hành dưới tiêu đề của “perceptron” một thuật ngữ được đặt ra bởi Frank Rosenblatt.
Perceptron (hình 5) trở thành một mơ hình MCP (nơron với đầu vào trọng số) với một
số bổ sung, sửa chữa, tiền xử lý. Các đơn vị có nhãn A1, A2, Aj, Ap được gọi là đơn
vị kết nối và nhiệm vụ của chúng là trích xuất các đặc điểm riêng biệt từ những hình
ảnh đầu vào. Perceptron bắt chước các ý tưởng cơ bản đằng sau hệ thống thị giác
động vật có vú. Chúng chủ yếu được sử dụng trong mơ hình nhận dạng mẫu mặc dù
khả năng của chúng được mở rộng hơn rất nhiều.

Hình 5: Perceptron
1.1.2.6.Ứng dụng của mạng nơron nhân tạo
Khả năng học và xử lý song song là hai đặc trưng của mạng nơron nhân tạo. Nó
có thể mơ tả gần đúng mối quan hệ tương quan phức tạp giữa các yếu tố đầu vào và
đầu ra của các quá trình cần nghiên cứu. Thêm vào đó thì khi đã học được thì việc

kiểm tra độc lập thường cho kết quả tốt. Sau khi đã học xong, mạng nơron nhân tạo có
thể tính tốn kết quả đầu ra tương ứng với bộ số liệu đầu vào mới.

LUAN VAN CHAT LUONG download : add


12

Về mặt cấu trúc, mạng nơron nhân tạo là một hệ thống gồm nhiều phần tử xử lý
đơn giản cùng hoạt động song song. Tính năng này của mạng nơron nhân tạo cho
phép nó có thể được áp dụng để giải các bài tốn lớn.
Về khía cạnh tốn học, theo định lý Kolmogorov, một hàm liên tục bất kỳ f(x1,
x2,.. , xn ) xác định trên khoảng In ( với I =[0,1]) có thể được biểu diễn dưới dạng:

(1.1)

trong đó : χj , Ψij là các hàm liên tục một biến. Ψij là hàm đơn điệu, không phụ
thuộc vào hàm f. Mặt khác, mơ hình mạng nơron nhân tạo cho phép liên kết có trọng
số các phần tử phi tuyến (các nơron đơn lẻ) tạo nên dạng hàm tổng hợp từ các hàm
thành phần. Do vậy, sau một quá trình điều chỉnh sự liên kết cho phù hợp (quá trình
học), các phần tử phi tuyến đó sẽ tạo nên một hàm phi tuyến phức tạp có khả năng
xấp xỉ hàm biểu diễn quá trình cần nghiên cứu. Kết quả là đầu ra của nó sẽ tương tự
với kết quả đầu ra của tập dữ liệu dùng để luyện mạng. Khi đó ta nói mạng nơron
nhân tạo đã học được mối quan hệ tương quan đầu vào - đầu ra của quá trình và lưu
lại mối quan hệ tương quan này thông qua bộ trọng số liên kết giữa các nơron. Do đó,
mạng nơron nhân tạo có thể tính tốn trên bộ số liệu đầu vào mới để đưa ra kết quả
đầu ra tương ứng.

Hình 6: Sự khác nhau giữa hồi quy tuyến tính và mạng nơron

LUAN VAN CHAT LUONG download : add


13

Với những đặc điểm đó, mạng nơron nhân tạo đã được sử dụng để giải quyết
nhiều bài toán thuộc nhiều lĩnh vực của các ngành khác nhau. Các nhóm ứng dụng mà
mạng nơron nhân tạo đã được áp dụng rất có hiệu quả là:
•Bài tốn phân lớp: Loại bài tốn này đòi hỏi giải quyết vấn đề phân loại các đối
tượng quan sát được thành các nhóm dựa trên các đặc điểm của các nhóm đối tượng
đó. Đây là dạng bài toán cơ sở của rất nhiều bài toán trong thực tế: nhận dạng chữ
viết, tiếng nói, phân loại gen, phân loại chất lượng sản phẩm,…
•Bài tốn dự báo: Mạng nơron nhân tạo đã được ứng dụng thành công trong việc
xây dựng các mơ hình dự báo sử dụng tập dữ liệu trong quá khứ để dự đoán số liệu
trong tương lai. Đây là nhóm bài tốn khó và rất quan trọng trong nhiều ngành khoa
học.
•Bài tốn điều khiển và tối ưu hoá: Nhờ khả năng học và xấp xỉ hàm mà mạng
nơron nhân tạo đã được sử dụng trong nhiều hệ thống điều khiển tự động cũng như
góp phần giải quyết những bài tốn tối ưu trong thực tế.
Tóm lại, mạng nơron nhân tạo được xem như là một cách tiếp cận đầy tiềm năng
để giải quyết các bài tốn có tính phi tuyến, phức tạp và đặc biệt là trong tình huống
mối quan hệ bản chất vật lý của q trình cần nghiên cứu khơng dễthiết lập tường minh.
1.2. Khái quát trích chọn đặc trưng chữ viết tay
Nhận dạng chữ là lĩnh vực được nhiều nhà nghiên cứu quan tâm và cho đến nay
lĩnh vực này cũng đã đạt được nhiều thành tựu lớn và cả mặt lý thuyết lẫn thực tế.
Lĩnh vự nhận dạng chữ được chia làm hai loại: Nhận dạng chữ in và nhận dạng chữ
viết tay.
Nhận dạng chữ in đã được giải quyết gần như trọn vẹn (sản phẩm FineReader
9.0 của hãng ABBYY cỏ thế nhận dạng chữ in theo 192 ngôn ngữ khác nhau, phần
mềm nhận dạng chữ Viết in VnDOCR 4.0 của Viện Cơng nghệ Thơng tin Hà Nội có

LUAN VAN CHAT LUONG download : add


14

thể nhận dạng được các tài liệu chứa hình ảnh, bảng và các văn bản với độ chính xác
trên 98%).
Nhận dạng chữ viết tay vẫn còn là vấn đề thách thức lớn đối với các nhà nghiên
cứu. Khó khăn lớn nhất khi nghiên cứu bài toán nhận dạng chữ viết tay là sự biến thên
quá đa dạng trong các viết của từng người. Điều này gây ra nhiều trở ngại trong việc
trích chọn đặc trưng cũng như lựa chọn mơ hình nhận dạng.

Hình 7: Các bước cơ bản trong hệ thống nhận dạng văn bản
Trích chọn đặc trưng địng vai trò cực kỳ quan trọng trong một hệ thống nhận
dạng. Mục đích của việc trích chọn đặc trưng là làm giảm kích thước của ảnh và đồng
thời vẫn bảo tồn thơng tin cần thiết vầ bức ảnh. Việc trích chọn hiệu quả các đặc
trưng giúp cho việc nhận dạng các đối tượng ảnh chính xác, với tốc độ tính tốn cao
và dung lượng ưu trữ giảm xuống.

LUAN VAN CHAT LUONG download : add


15

Dựa trên các thông tin thu nhận được qua quá trình phân vùng, kết hợp với các
kỹ thuật xử lý để đưa ra các đặc trưng về đối tượng ảnh cũng như cá thơng tin cần
thiết trong q trình xử lý. Trích chọn đặc trung phụ thuộc vào bản chất của bài tốn
cần xử lý.

Hình 8: Ví dụ về xác định các đặc trưng của ảnh
1.2.1. Đặc trưng màu sắc
1.2.1.1 Lược đồ màu (Histogram)
Là đại lượng đặc trưng cho phân bố màu cục bộ của ảnh .
Độ đo tính tương tự về màu sắc được tính bằng phần giao của 2 lược đồ màu ảnh
truy vấn H(IQ) và ảnh trong cơ sở dữ liệu ảnh H(ID). Kết quả sẽ là một lược đồ màu
thể hiện độ giống nhau giữa 2 ảnh trên.

LUAN VAN CHAT LUONG download : add


16

Tuy nhiên lược đồ màu chỉ thể hiện tính phân bố màu tồn cục của ảnh mà
khơng xét đến tính phân bố cục bộ của điểm ảnh nên có thể có 2 ảnh trơng rất khác
nhau nhưng lại có cùng lược đồ màu.
1.2.1.2. Vector liên kết màu (Color Coherence Vector)
Là lược đồ tinh chế lược đồ màu, chia mỗi ô màu (bin) thành 2 nhóm điểm ảnh:
nhóm liên kết màu (coherence pixels) và nhóm khơng liên kết màu (non-coherence
pixels) Vector liên kết màu c ̣n giúp giải quyết khuyết điểm về tính khơng duy nhất của
lược đồ màu đối với ảnh. Hai ảnh có thể có chung lược đồ màu nhưng khác nhau hoàn
toàn, đây là khuyết điểm của lược đồ màu. Nhưng với tìm kiếm theo đặc trưng vector
liên kết màu th́ nó sẽ giải quyết được khuyết điểm khơng duy nhất này.
1.2.2. Đặc trưng hình dạng
Là đặc trưng dựa trên các yếu tố nguyên thủy (đoạn thẳng, cung) tạo ra các ký
tự. Các ký tự có thể phân biệt bằng độ đo của các đại lượng hình học nhử tỉ số giữa
chiều rộng và chiều cao của khung chứa ký tự, quan hệ khoảng cách giữa hai điểm, độ
dài một nét, đồ dài tương quan giữa hai nét, tỉ lệ giữa chữ hoa và chữ thường trong
một kí tự, độ dài từ...Vì thế các ký tự được tổ chức thành các tập họp của các yếu tố
nguyên thủy, sau đó đưa các yếu tố nguyên thủy vào các đồ thị liên quan.

Đặc trưng hình dạng địi hỏi sự phân biệt giữa các vùng để tiến hành xử lý về độ
đo của hình dạng. Các hệ thống nhận dạng chữ viết tay thường khai thác hai nhóm
biểu diễn hình dạng sau:
- Biểu diễn hình dạng theo đường biên (cotour-based descriptor): Biểu diễn các
đường biên bao ngoài
- Biểu diễn theo vùng (region-based descriptor) Biểu diễn vùng toàn vẹn

LUAN VAN CHAT LUONG download : add


17

1.2.3. Đặc trung kết cấu
Hiện tại vẫn chưa có một định nghĩa chính thức cụ thể về kết cấu. Kết cấu là một
đối tượng dùng để phân hoạch ảnh ra thành những vùng quan tâm để phân lớp những
vùng đó
Kết cấu cung cấp thông tin về sự sắp xếp về không gian của màu sắc và cường
độ một ảnh. Kết cấu được đặc trưng bởi sự phân bố không gian của những mức cường
độ trong một khu vực láng giềng với nhau. Kết cấu gòm các kết cấu gốc hay nhiều kết
cấu gộp lại đôi khi gọi là texel.
Một số phương pháp dùng để trích chọn các đặc trưng kết cấu như:
- Kim tự tháp “có thể lái được” ;
- Biến đổi đường viền;
- Biến đổi sóng Gabor;
- Biểu diễn mà trận đồng hiện;
- Hệ thống bộ lọc định hướng phức tạp.
1.2.4. Đặc trung cục bộ bất biến
Người ta thường chia đặc trưng cục bộ thành 2 loại là những điểm trích xuất
được từ điểm “nhơ ra” của ảnh là đặc trưng SIFT được trích chọn từ các điểm hấp dẫn
Haris.

Các đặc trưng bất biến với việc tahy đổi tỉ lệ ảnh, quay ảnh, đơi khi là thay đổi
điểm nhìn và thêm nhiễu ảnh hay thay đổi cường độ sáng của ảnh. Phương pháp được
lựa chọn có tên là Scale-Invariant Feature Transform (SIFT) và đặc trưng trích rút
được gọi là đặc trưng SIFT. Các đặc trưng SIFT này được trích rút ra từ các điểm hấp
dẫn cục bộ (Local Interest Point).

LUAN VAN CHAT LUONG download : add