Nhận dạng chữ viết tay tiếng Việt sử dụng mạng nơron

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG










TRỊNH THỊ PHƯƠNG THẢO





NHẬN DẠNG CHỮ VIẾT TAY TIẾNG VIỆT
SỬ DỤNG MẠNG NƠRON







LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Thái Nguyên, Tháng 06 năm 2012
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


i
LỜI CẢM ƠN

Xin chân thành cảm ơn Thầy giáo, PGS.TS. Lê Bá Dũng đã tận tình chỉ
dạy, hƣớng dẫn tôi trong suốt thời gian nghiên cứu và thực hiện luận văn.
Tôi cũng xin chân thành cảm ơn các Thầy giáo Viện Công nghệ Thông tin
và các Thầy giáo Trƣờng Công nghệ thông tin và Truyền thông - ĐH Thái
Nguyên đã giảng dạy, giúp đỡ trong suốt thời gian học tập.
Xin cảm ơn tất cả các anh chị học viên Cao học khóa 9, cảm ơn các cán bộ
công chức, giảng viên Trƣờng Công nghệ thông tin và Truyền thông - ĐH Thái
Nguyên đã tạo điều kiện tốt cho tôi trong suốt trong hai năm học qua.
Xin cảm ơn các bạn bè, đồng nghiệp đã tạo diều kiện cũng nhƣ đã chỉ bảo
tôi rất nhiều trong thời gian thực hiện luận văn này.
Cuối cùng, xin chân thành cảm ơn gia đình đã động viên và tạo mọi điều
kiện thuận lợi để tôi có đƣợc kết quả nhƣ ngày hôm nay.


Thái Nguyên, tháng 06/2012
Ngƣời viết luận văn

Trịnh Thị Phƣơng Thảo


Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


ii
LỜI CAM ĐOAN

Tôi xin cam đoan đề tài luận văn “Nhận dạng chữ viết tay Tiếng Việt sử
dụng mạng Nơron” là công trình nghiên cứu của bản thân tôi. Các số liệu, kết
quả nghiên cứu nêu trong luận văn này là trung thực và không sao chép y nguyên
từ một công trình nào khác. Tôi xin chịu trách nhiệm về luận văn của mình.


Thái Nguyên, tháng 06/2012
Ngƣời viết luận văn



Trịnh Thị Phƣơng Thảo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


iii
MỤC LỤC
Trang
TRANG PHỤ BÌA

LỜI CẢM ƠN i
LỜI CAM ĐOAN ii
MỤC LỤC iii
DANH MỤC CÁC TỪ TIẾNG ANH VIẾT TẮT vii
DANH MỤC CÁC HÌNH viii
PHẦN MỞ ĐẦU 1
CHƢƠNG I 3
TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO VÀ MẠNG NƠRON
KOHONEN 3
1.1. Giới thiệu về mạng nơron nhân tạo 3
1.1.1 Lịch sử phát triển 3
1.1.2. Mô hình mạng nơ-ron nhân tạo 4
1.1.2.1. Nơ-ron sinh học 4
1.1.2.2. Nơ-ron nhân tạo 6
1.1.2.3. Mạng nơ-ron nhân tạo 12
1.1.2.3.1. Mạng truyền thẳng 13
1.1.2.3.2. Mạng hồi quy (Recurrent Neutral Network) 15
1.1.2.4. Luật học 16
1.2. Phạm vị ứng dụng của mang nơron nhân tạo 20
1.2.1. Những bài toán thích hợp 20
1.2.1.1. Phân loại 21
1.2.1.2. Mô hình hoá 21
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


iv
1.2.1.3. Biến đổi 23
1.2.1.4. Liên kết 23
1.2.2. Các lĩnh vực ứng dụng mạng nơron 24
1.3. Mạng KOHONEN 26

1.3.1. Giới thiệu về mạng Nơron Kohonen 26
1.3.2. Cấu trúc của mạng nơron Kohonen [9] 27
1.3.3. Thực hiện mạng nơron Kohonen [9] 28
1.3.3.1 Chuẩn hóa đầu vào 28
1.3.3.2 Tính toán đầu ra cho mỗi nơron 29
1.3.3.3 Chọn nơron chiến thắng 29
1.3.3.4 Quá trình học của mạng nơron Kohonen 30
1.3.3.4.1 Tốc độ học 32
1.3.3.4.2 Hiệu chỉnh trọng số 33
1.3.3.4.3 Tính toán lỗi 34
CHƢƠNG II 36
ỨNG DỤNG MẠNG NƠRON KOHONEN TRONG BÀI TOÁN NHẬN DẠNG
CHỮ VIẾT TAY TIẾNG VIỆT 36
2.1. Tổng quan về bài toán nhận dạng 36
2.2. Giới thiệu về bài toán nhận dạng chữ viết tay Tiếng Việt 39
2.3. Phƣơng pháp nhận dạng chữ viết tay sử dụng mạng nơron 43
2.4. Phát biểu bài toán 44
2.5 Các bƣớc giải quyết bài toán sử dụng mạng nơron Kohonen 44
2.5.1.Xây dựng giao diện vẽ 44
2.5.2. Xây dựng mạng nơron Kohonen 47
2.5.3. Xử lý dữ liệu (phân tích ảnh) 47
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


v
2.5.4. Huấn luyện mạng nơron Kohonen 48
2.5.5 Nhận dạng mạng nơron Kohonen 50
2.5.6 Kết luận 50
CHƢƠNG III 52
MÔ PHỎNG NHẬN DẠNG KÝ TỰ VlẾT TAY TIẾNG VIỆT RỜI RẠC SỬ

DỤNG MẠNG NƠRON KOHONEN 52
3.1 Giới thiệu 52
3.2 Thực hiện chƣơng trình nhận dạng ký tự 53
3.2.1 Xác định các tham số cho mạng 54
3.2.2 Vẽ hình ảnh 55
3.2.3 Lấy mẫu xuống hình ảnh 56
3.2.3.1 Lƣu hình ảnh đƣợc lấy mẫu xuống 56
3.2.3.2 Kích thƣớc và vị trí 56
3.2.3.3 Thực hiện lấy mẫu xuống 57
3.2.4 Các tập huấn luyện 58
3.2.5 Lớp mạng cơ bản 58
3.2.6 Lớp mạng nơron Kohonen 59
3.2.6.1 Tính toán đầu ra của mạng Kohonen 61
3.2.6.2 Huấn luyện mạng nơron Kohonen 62
3.3 Chƣơng trình mô phỏng 65
3.3.1 Các chức năng của chƣơng trình 65
3.3.2 Kết quả nhận dạng 66
3.3.3 Kết luận 68
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


vi
CHƢƠNG IV: KẾT LUẬN 71
4.1 Các kết quả đã đạt đƣợc 71
4.1.1 Về mặt lý thuyết 71
4.1.2 Về mặt thực tiễn 72
4.2 Hƣớng phát triển tiếp tbeo 73
4.3 Một vài suy nghĩ sau khi nghiên cứu 73
TÀI LIỆU THAM KHẢO 75
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

vii
DANH MỤC CÁC TỪ TIẾNG ANH VIẾT TẮT

STT
Từ viết tắt
Từ viết tƣờng minh
1
HMM
Hiden Markov Model
2
LVQ
Learning Vector Quantization
3
MLP
Multi Layer Perception
4
OCR
Optical Character Recognation
5
PDA
Personal Digital Assistant
6
RFID
Radio Frequency Identification
7
SOM
Self Organizing Maps
8

SVM
Support Vector Machine
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


viii
DANH MỤC CÁC HÌNH

Hình 1.1. Mô hình nơ-ron sinh học 6
Đồ thị hàm đồng nhất (Identity function) 8
Đồ thị hàm bƣớc nhị phân (Binary step function) 9
Đồ thị hàm sigmoid 10
Đồ thị hàm sigmoid lƣỡng cực 10
Hình 1.2. Mô hình một nơ-ron 11
Hình 1.3. Mạng truyền thẳng một lớp 14
Hình 1.4. Mạng truyền thẳng nhiều lớp 15
Hình 1.5. Mạng một lớp có nối ngƣợc 16
Hình 1.6. Mạng nhiều lớp có nối ngƣợc 16
Hình 1.7: Cấu trúc của mạng Kohonen 27
Hình 1.8: Mạng nơron Kohonen điển hình 28
Hình 1.9: Huấn luyện mạng Kohonen (SOM) 30
Hình 1.10. Quá trình huấn luyện mạng nơron Kohonen 31
Hình 2.1: Mô hình chung trong nhận dạng chữ viết 42
Hình 2.2: Quá trình tìm giới hạn ký tự 45
Hình 2.3: Quá trình lấy mẫu xuống 45
Hình 2.4 Quá trình ánh xạ từ ma trận điểm sang ma trận giá trị 48
Hình 2.5 Quá trình huấn luyện mạng nơron Kohonen 49
Hình 3.1 Giao diện chƣơng trình mô phỏng 65
Hình 3.2 Nhận dạng ký tự Ơ 67
Hình 3.3 Nhận dạng ký tự Ô 67

Hình 3.4 Nhận dạng ký tự Ƣ 68
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


ix
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


1
PHẦN MỞ ĐẦU

Trong ngành công nghệ thông tin hiện nay, trí tuệ nhân tạo hiện đại đang
đƣợc sự quan tâm rất lớn. Các máy tính và công nghệ vi điện tử hiện đại đang hy
vọng ở các phƣơng pháp này nhƣ chìa khóa mở ra thế hệ máy tính thông minh
mới mô phỏng đƣợc nhƣ bộ não con ngƣời. Nghiên cứu và mô phỏng trí não, cụ
thể là tế bào thần kinh (Neural) là một ƣớc muốn từ lâu của nhân loại. Với
khoảng 15 tỷ Neural ở não ngƣời, mỗi Neural có thể nhận hàng vạn tín hiệu từ
khớp thần kinh và đƣợc coi là một cơ chế sinh vật phức tạp nhất. Não ngƣời có
khả năng giải quyết những vấn đề nhƣ: nghe, nhìn, nói, hồi ức thông tin, phân
biệt các mẫu mặc dù sự kiện có bị méo mó, hay thiếu hụt. Não thực hiện những
nhiệm vụ nhƣ vậy nhờ các phần tử tính toán (Neural thần kinh). Não phân bố
việc xủ lí cho hàng tỉ Neural có liên quan, điều khiển các mối liên hệ giữa các
Neural đó. Neural không ngừng nhận và truyền thông tin lẫn nhau. Cơ chế hoạt
động của Neural [1] bao gồm: liên kết (association), tổng quát hóa (generation),
và tự tổ chức (Self Orgazation). Các Nơron tự liên kết với nhau thành mạng
trong xử lý. Mỗi mạng gồm hàng vạn các phần tử Nơron khác nhau. Mỗi phần tử
Nơron có khả năng liên kết với hàng nghìn các Nơron khác.
Hiện nay, mạng Nơron đƣợc đƣa vào ứng dụng rộng rãi trong rất nhiều
lĩnh vực. Và bài toán nhận dạng là bài toán sử dụng các tính năng của mạng
Nơron nhiều nhất. Bài toán nhận dạng với sự trợ giúp của mạng Nơron ngày nay

đã không còn dừng ở mức độ nghiên cứu nữa mà nó trở thành một lĩnh vực để áp
dụng vào thực tế. Các bài toán nhận dạng đƣợc nghiên cứu nhiều nhất hiện nay
tập trung vào nhận dạng mẫu hình học (vân tay, mặt ngƣời, hình khối …), nhận
dạng tiếng nói và nhận dạng chữ viết. Chúng đƣợc ứng dụng trong rất nhiều lĩnh
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


2
vực nhƣ y học, dự báo thời tiết, dự báo cháy rừng, …, các lĩnh vực tự động hóa
nhƣ điều khiển rô-bốt, điều khiển các thiết bị bằng giọng nói,…. Trong số các
bài toán nhận dạng này, nhận dạng chữ viết đang đƣợc ứng dụng rất phổ biến.
Nhận dạng chữ viết đƣợc ứng dụng trong quá trình tự động hóa các công việc
văn phòng nhƣ nhập liệu, lƣu trữ văn bản, sách báo, phân loại thƣ tín,…, những
công việc rất nhàm chán và đòi hỏi nhiều thời gian của con ngƣời. Nhận dạng
bằng mạng Nơron đang đƣợc ứng dụng trong hàng loạt lĩnh vực quan trọng của
cuộc sống, phục vụ lợi ích trực tiếp và thiết thực cho công việc của con ngƣời.
Mục đích của luận văn là: Trình bày các kết quả nghiên cứu lý thuyết phục
vụ cho chủ đề: “Nhận dạng chữ viết tay Tiếng Việt sử dụng mạng Nơron”. Tuy
nhiên, do hạn chế về mặt thời gian cũng nhƣ độ phức tạp của bài toán mà trong
khuôn khổ, thời lƣợng của luận văn, tôi chỉ đi sâu nghiên cứu và đƣa ra một
chƣơng trình mô phỏng nhận dạng ký tự viết tay Tiếng Việt rời rạc trực tuyến sử
dụng mạng Nơron Kohonen.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


3
CHƢƠNG I
TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO
VÀ MẠNG NƠRON KOHONEN

1.1. Giới thiệu về mạng nơron nhân tạo
1.1.1 Lịch sử phát triển
Khái niệm mạng nơ-ron đƣợc bắt đầu vào cuối thế kỷ 19, đầu thế kỷ 20 do
có sự tham gia của ba ngành Vật lý học, Tâm lý học và Thần kinh học. Các nhà
khoa học nhƣ Hermann Von Hemholtz, Earnst Mach, Ivan Pavlov với các công
trình nghiên cứu đi sâu vào lý thuyết tổng quát mô tả hoạt động của trí tuệ con
ngƣời nhƣ: Học, nhìn, và lập luận, nhƣng không đƣa ra đƣợc mô hình toán học
cụ thể mô tả hoạt động của nơ-ron.
Về lịch sử, quá trình nghiên cứu và phát triển mạng nơ-ron nhân tạo có thể
chia thành bốn giai đoạn nhƣ sau:
+ Giai đoạn một: Từ nghiên cứu của William (1890) về tâm lý học với sự
liên kết các nơ-ron thần kinh. Năm 1943, nhà thần kinh học Warren MeCulloch
và nhà logic học Walter Pitts đã chỉ ra rằng:về nguyên tắc mạng các nơ-ron nhân
tạo có thể đƣợc mô hình hoá nhƣ thiết bị ngƣỡng (giới hạn) để thực hiện tính
toán bất kỳ một hàm số học hay các phép tính logic nào. Tiếp theo hai ông là
Donald Hebb với giải thuật huấn luyện mạng ra đời năm 1949.
+ Giai đoạn hai: Vào khoảng những năm 1960, một số mô hình nơ-ron
hoàn thiện hơn có tính ứng dụng thực tiễn đã đƣợc đƣa ra nhƣ: mô hình
Perceptron của Frank Rosenblatt (1958), mô hình Adaline của Bernard Widrow
(1962). Trong đó mô hình Perceptron rất đƣợc quan tâm vì nguyên lý đơn giản,
nhƣng nó cũng có hạn chế vì nhƣ Marvin Minsky và Seymour Papert của MIT
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


4
(Massachurehs Insritute of Technology) đã phát hiện ra và chứng minh nó không
dùng đƣợc cho các hàm logic phức (1969). Còn Adaline là mô hình tuyến tính,
tự chỉnh, đƣợc dùng rộng rãi trong điều khiển thích nghi, tách nhiễu và vẫn phát
triển cho đến nay.

+ Giai đoạn ba: Vào khoảng đầu thập niên 80, việc nghiên cứu mạng nơ-
ron diễn ra rất mạnh mẽ cùng với sự ra đời của máy tính cá nhân PC. Những
đóng góp lớn cho mạng nơ-ron trong giai đoạn này phải kể đến Stephen
Grossberg, Teuvo Kohonen, Rumelhart và John Hopfield. Trong đó đóng góp
lớn của nhà vật lý học ngƣời Mỹ John Hopfield gồm hai mạng phản hồi: Mạng
rời rạc năm 1982 và mạng liên tục năm 1984. Đặc biệt, ông đã dự kiến nhiều khả
năng tính toán lớn của mạng mà một nơ-ron không có khả năng đó. Cảm nhận
của Hopfield đã đƣợc Rumelhart, Hinton và Williams đề xuất thuật toán sai số
truyền ngƣợc (back –propagation) nổi tiếng để huấn luyện mạng nơ-ron nhiều
lớp nhằm giải bài toán mà mạng khác không thực hiện đƣợc. Nhiều ứng dụng
mạnh mẽ của mạng nơ-ron ra đời cùng với các mạng theo kiểu máy Boltzmann
và mạng Neocognition của Fukushima.
+ Giai đoạn bốn: từ năm 1987 - đến nay, hàng năm thế giới đều mở hội
nghị toàn cầu chuyên ngành nơ-ron IJCNN (International Joint Conference on
Neural Networks). Rất nhiều công trình đƣợc nghiên cứu để ứng dụng mạng nơ-
ron vào các lĩnh vực cuộc sống, ví dụ nhƣ: Kỹ thuật tính, tối ƣu, sinh học, y học,
thống kê, giao thông, hoá học… Cho đến nay, mạng nơ-ron đã tìm đƣợc và khẳng
định đƣợc vị trí của mình trong rất nhiều ứng dụng khác nhau.
1.1.2. Mô hình mạng nơ-ron nhân tạo
1.1.2.1. Nơ-ron sinh học
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


5
Bộ não con ngƣời có khoảng 10
10
tế bào thần kinh liên kết chặt chẽ với nhau
đƣợc gọi là các nơ-ron. Mỗi nơ-ron gồm có ba phần: Thân nơ-ron với nhân ở bên
trong (soma), một đầu sợi trục thần kinh ra (axon) và một hệ thống tế bào hình cây
(dendrite). Tế bào hình cây có nhiệm vụ mang các tín hiệu điện tới các tế bào thân,

tế bào thân sẽ thực hiện gộp (Sum) và phân ngƣỡng ( Thresholds) các tín hiệu đến.
Sợi trục thần kinh làm nhiệm vụ đƣa các tín hiệu thân ra ngoài
Trong thực tế có rất nhiều dây thần kinh vào và chúng bao phủ một diện tích
rất lớn (0.25 mm
2
) để nhận các tín hiệu từ các nơ-ron khác. Đầu thần kinh ra đƣợc
rẽ nhánh nhằm chuyển giao tín hiệu từ thân nơ-ron tới nơ-ron khác. Các nhánh của
đầu thần kinh đƣợc nối với các khớp thần kinh (synapse). Các khớp thần kinh này
đƣợc nối với thần kinh vào của các nơ-ron khác. Sự sắp xếp của các nơ-ron và mức
độ mạnh yếu của các khớp thần kinh đƣợc quyết định bởi quá trình hóa học phức
tạp, sẽ thiết lập chức năng của mạng nơ-ron, các nơ-ron có thể sửa đổi tín hiệu tại
các khớp, trong các nơ-ron nhân tạo đƣợc gọi là trọng số.
Có thể nói, mạng nơ-ron sinh học hoạt động chậm hơn rất nhiều so với các
linh kiện điện tử (10
-3
giây so với 10
-9
giây), nhƣng bộ não có thể thực hiện nhiều
công việc nhanh hơn rất nhiều so với máy tính thông thƣờng. Do cấu trúc song song
của mạng nơ-ron sinh học thể hiện toàn bộ các nơ-ron thực hiện đồng thời tại một
thời điểm. Mạng nơ-ron nhân tạo cũng có đƣợc đặc điểm này. Các mạng nơ-ron
nhân tạo chủ yếu thực nghiệm trên các máy tính mạnh có vi mạch tích hợp rất lớn,
các thiết bị quang, bộ xử lý song song. Điều này cũng giải thích tại sao những
nghiên cứu khoa học về mạng nơ-ron nhân tạo có điều kiện phát triển cùng với sự
phát triển về kỹ thuật công nghệ phần cứng máy tính.
Có nhiều loại nơ-ron khác nhau về kích thƣớc và khả năng thu phát tín hiệu.
Tuy nhiên, chúng có cấu trúc và nguyên lý hoạt động chung.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

6
Hình vẽ (1.1) là một hình ảnh đơn giản hoá của một loại nơ-ron nhƣ vậy.

Hình 1.1. Mô hình nơ-ron sinh học
- Hoạt động của nơ-ron sinh học có thể mô tả tóm tắt nhƣ sau:
Mỗi nơ-ron nhận tín hiệu vào từ các tế bào thần kinh khác.Chúng tích hợp
các tín hiệu vào, khi tổng tín hiệu vƣợt quá một ngƣỡng nào đó chúng tạo tín
hiệu ra và gửi tín hiệu này tới các nơ-ron khác thông qua dây thần kinh. Các nơ-
ron liên kết với nhau thành mạng. Mức độ bền vững của các liên kết này xác
định một hệ số gọi là trọng số liên kết.

1.1.2.2. Nơ-ron nhân tạo
Để mô phỏng các tế bào thần kinh và các khớp nối thần kinh của bộ não
con ngƣời, mạng nơ-ron nhân tạo có các thành phần có vai trò tƣơng tự là các
nơ-ron nhân tạo và kết nối giữa chúng (kết nối này gọi là weights). Nơ-ron là
một đơn vị tính toán có nhiều đầu vào và một đầu ra, mỗi đầu vào đến từ một
khớp nối thần kinh (synapse). Đặc trƣng của nơ-ron là một hàm kích hoạt phi
tuyến chuyển đổi một tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín
hiệu đầu ra.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


7
Một nơ-ron nhân tạo là một đơn vị tính toán hay đơn vị xử lý thông tin cơ
sở cho hoạt động của một mạng nơ-ron.

Các thành phần cơ bản của một mô hình nơ-ron
 Trọng số và tổng tín hiệu đầu vào:
Mỗi nơ-ron có rất nhiều dây thần kinh vào, nghĩa là mỗi nơ-ron có thể tiếp
nhận đồng thời nhiều tín hiệu. Giả sử tại nơ-ron i có N tín hiệu vào, mỗi tín hiệu

vào
j
S
đƣợc gán một trọng số
ij
W
tƣơng ứng. Ta ƣớc lƣợng tổng tín hiệu đi vào
nơ-ron
i
net
theo một số dạng sau:
(i)Dạng tuyến tính:


1
N
i ij j
j
net W s




(1.1)
(ii)Dạng toàn phƣơng:

2
1
N
i ij j

j
net W s



(1.2)
(iii)Dạng mặt cầu:
 
2
2
ij
1
w
N
ij
j
net s


  

(1.3)
Trong đó:

và
 
ij
w 1,jN
lần lƣợt là tâm và bán kính mặt cầu
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

8
 Hàm kích hoạt (hàm chuyển):
Hầu hết các đơn vị trong mạng nơ-ron chuyển net input bằng cách sử dụng
một hàm vô hƣớng (scalar – to – scalar function) gọi là hàm kích hoạt, kết quả
của hàm này là một giá trị gọi là mức độ kích hoạt của đơn vị. Trừ khả năng đơn
vị đó thuộc lớp ra, giá trị kích hoạt đƣợc đƣa vào một hay nhiều đơn vị khác. Các
hàm kích hoạt thƣờng bị ép vào một khoảng giá trị xác định, do đó thƣờng đƣợc
gọi là các hàm nén (squashing).
Hàm biến đổi tín hiệu đầu vào net cho tín hiệu đầu ra out đƣợc gọi là hàm
kích hoạt. Hàm này có đặc điểm là không âm và bị chặn, dùng để giới hạn biên độ
đầu ra của nơ-ron. Có nhiều dạng hàm kích hoạt, ngƣời ta thƣờng sử dụng một hàm
kích hoạt chung cho toàn mạng.
Một số hàm kích hoạt thƣờng đƣợc sử dụng:
1) Hàm đồng nhất (Linear function, Identity function)
g(x) = x (1.4)
Nếu coi các đầu vào là một đơn vị thì chúng sẽ sử dụng hàm này. Có khi một
hằng số đƣợc nhân với net-input tạo thành một hàm đồng nhất.




Đồ thị hàm đồng nhất (Identity function)
2) Hàm bƣớc nhị phân (Binary step function, Hard limit function)
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


9
Hàm này còn gọi là hàm ngƣỡng (Threshold function hay Heaviside

function). Đầu ra của hàm này giới hạn một trong hai giá trị:

1,
()
0,
neáu x
gx
neáu x








(1.5)
ở đây

là ngƣỡng.





Đồ thị hàm bƣớc nhị phân (Binary step function)
Dạng hàm này thƣờng sử dụng trong mạng một lớp. Trong hình vẽ

đƣợc chọn
bằng 1.

3) Hàm sigmoid (Sigmoid function (logsig))
Hàm sigma là dạng chung nhất của hàm kích hoạt đƣợc sử dụng trong cấu
trúc mạng nơ-ron nhân tạo. Nó là một hàm tăng và nó thể hiện một sự trung gian
giữa tuyến tính và phi tuyến. Một ví dụ của hàm này là hàm logistics, xác định
nhƣ sau:

1
()
1
x
gx
e




(1.6)
ở đó

là tham số độ dốc của hàm sigma. Bằng việc biến đổi tham số

, chúng
ta thu đƣợc các hàm sigma với các độ dốc khác nhau. Thực tế, hệ số góc tại x= 0
là

/4. Khi tham số hệ số góc tiến tới không xác định, hàm sigma trở thành một
hàm ngƣỡng đơn giản. Trong khi một hàm ngƣỡng chỉ có giá trị là 0 hoặc 1, thì
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

10
một hàm sigma nhận các giá trị từ 0 tới 1. Cũng phải ghi nhận rằng hàm sigma là
hàm phân biệt, trong khi hàm ngƣỡng thì không (Tính phân biệt của hàm là một
đặc tính quan trọng trong lý thuyết mạng neuron). Hàm này thƣờng đƣợc dùng
cho các mạng đƣợc huấn luyện (trained) bởi thuật toán lan truyền ngƣợc (back –
propagation), bởi nó dễ lấy đạo hàm, làm giảm đáng kể tính toán trong quá trình
huấn luyện. Hàm đƣợc dùng cho các chƣơng trình ứng dụng mà đầu ra mong
muốn rơi vào khoảng [0,1].





Đồ thị hàm sigmoid
4) Hàm sigmoid lƣỡng cực (Bipolar sigmoid function (tan(sig))

1
()
1
x
x
e
gx
e





(1.7)

Hàm này có đặc tính tƣơng tự hàm sigmoid. Hàm làm việc tốt đối với các ứng
dụng có đầu ra yêu cầu trong khoảng [-1,1].




Đồ thị hàm sigmoid lƣỡng cực
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


11
Các hàm chuyển của các đơn vị ẩn (hidden units) là cần thiết để biểu diễn sự
phi tuyến vào trong mạng.
 Nút bias:
Là một nút thêm vào nhằm tăng khả năng thích nghi của mạng nơ-ron
trong quá trình học. Trong các mạng nơ-ron có sử dụng bias, mỗi nơ-ron có thể
có một trọng số tƣơng ứng với bias. Trọng số này luôn có giá trị là 1.
Mô hình của một nút xử lý (nút thứ i):






Hình 1.2. Mô hình một nơ-ron




N

ij
j
ijiji
VWU
#
1
θ
(1.8)


 
iii
UfV 
(1.9)
Trong đó:

i
U
: là tín hiệu vào tại nơ-ron i

i
V
: là tín hiệu ra tại nơron i

ij
W
: là trọng số liền kề từ nơ-ron j đến nơ-ron i
V
i
=f

i
(U
i
)
U
i
= 
V
i

V
i

W
i1

V
j

V
N

W
ij

W
iN


Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

12


i
: là ngƣỡng (đầu vào ngoài) kích hoạt nơ-ron i.

i
f
: là hàm kích hoạt của nơ-ron i

1.1.2.3. Mạng nơ-ron nhân tạo
Mạng nơ-ron nhân tạo (gọi tắt là mạng nơ-ron) là mô hình toán học hay
mô hình tính toán đƣợc xây dựng dựa trên các mạng nơ-ron sinh học. Nó gồm có
một nhóm các nơ-ron nhân tạo(nút) nối với nhau, và xử lý thông tin bằng cách
truyền theo các kết nối và tính giá trị mới tại các nút (cách tiếp cận
connectionism đối với tính toán). Phần lớn mạng nơ-ron nhân tạo là một hệ
thống thích ứng (adaptive system) tự thay đổi cấu trúc của mình dựa trên các
thông tin bên ngoài hay bên trong chảy qua mạng trong quá trình học.
Với việc giả lập các hệ thống sinh học, các cấu trúc tính toán, mạng nơ-
ron có thể giải quyết đƣợc các lớp bài toán nhất định, nhƣ: Bài toán ngƣời du
lịch, bài toán tô màu bản đồ, bài toán xếp loại, bài toán lập thời khóa biểu, bài
toán tìm kiếm, bài toán nhận dạng mẫu Các bài toán phức tạp cao, không xác
định. Tuy nhiên, sự liên kết giữa một bài toán bất kỳ trong thực tế với một giải
pháp mạng nơ-ron lại là một việc không dễ dàng.
Xét một cách tổng quát, mạng nơ-ron là một cấu trúc xử lý song song
thông tin phân tán mang các đặc tính nổi bật sau :
 Là mô hình toán học dựa trên bản chất của nơ-ron.
 Bao gồm một số lƣợng rất lớn các nơ-ron liên kết với nhau.

 Mạng nơ-ron có khả năng học, khái quát hóa tập dữ liệu học thông
qua việc gán và hiệu chỉnh các trọng số liên kết.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


13
 Tổ chức theo kiểu tập hợp mang lại cho mạng nơ-ron khả năng tính
toán rất lớn, trong đó không có nơ-ron nào mang thông tin riêng
biệt.
Ví dụ : Hình 1.2, 1.3,1.4, 1.5 là một số mô hình mạng thông dụng.
 Các hình trạng của mạng
Hình trạng mạng đƣợc định nghĩa bởi: số lớp (layers), số đơn vị trên mỗi
lớp, và sự liên kết giữa các lớp đó. Các mạng thƣờng đƣợc chia làm hai loại dựa
trên cách thức liên kết các đơn vị:

1.1.2.3.1. Mạng truyền thẳng
- Mạng truyền thẳng một lớp
Mạng perceptron một lớp do F.Rosenblatt đề xuất năm 1960 là mạng
truyền thẳng chỉ một lớp vào và một lớp ra không có lớp ẩn. Trên mỗi lớp này có
thể có một hoặc nhiều nơ-ron. Mô hình mạng nơ-ron của F.Rosenblatt sử dụng
hàm ngƣỡng đóng vai trò là hàm chuyển. Do đó, tổng của tín hiệu vào lớn hơn
giá trị ngƣỡng thì giá trị đầu ra của nơ-ron sẽ là 1, còn trái lại sẽ là 0.
1,
0,
i
i
i
neáu net
out
neáu net











(1.10)
Với net
i
=
w
ij j
x

là tổng thông tin đầu vào của nơ-ron i.
Mô hình mạng nơ-ron truyền thẳng một lớp là mô hình liên kết cơ bản và
đơn giản nhất. Các nơ-ron tổ chức lại với nhau tạo thành một lớp, đƣờng truyền
tín hiệu đƣợc truyền theo một hƣớng nhất định nào đó. Các đầu vào đƣợc nối với
các nơ-ron theo các trọng số khác nhau, sau quá trình xử lý cho ra một chuỗi các
tín hiệu ra.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


14
 
T

inii
T
i
wwwW , ,,
21








Hình 1.3. Mạng truyền thẳng một lớp

Với mỗi giá trị đầu vào. . Qua quá trình xử lý của
mạng ta sẽ thu đƣợc một bộ tƣơng ứng các giá trị đầu ra là



đƣợc xác định nhƣ sau :



Trong đó :
m : Số tín hiệu vào
n : Số tín hiệu ra
: là véc tơ trọng số của nơ-ron thứ i.
i
f

: Là hàm kích hoạt nơ-ron thứ i
i

: Là ngƣỡng của nơ-ron thứ i.
Ngay từ khi mạng Perceptron đƣợc đề xuất nó đƣợc sử dụng để giải quyết bài
toán phân lớp. Một đối tƣợng sẽ đƣợc nơ-ron i phân vào lớp A nếu :
y
1
y
n
y
2
X
m
x
1
x
2

 
T
n
yyyy ,
,2,1


nixwfy
m
j
ijijii

,1,
1













(1.11)
 
T
n
xxxx ,
,2,1


Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


15
Tổng thông tin đầu vào
w
ij j

x

>
i


Trong trƣờng hợp trái lại nơ-ron sẽ đƣợc phân vào lớp B.

- Mạng truyền thẳng nhiều lớp (Multilayer Perceptron –MLP)
Với mạng nơ-ron truyền thẳng một lớp ở trên, khi phân tích một bài toán
phức tạp sẽ gặp rất nhiều khó khăn, để khắc phục vấn đề này ngƣời ta đƣa ra mô
hình mạng nơ-ron truyền thẳng nhiều lớp bằng việc kết hợp một số lớp nơ-ron lại
với nhau. Lớp nhận tín hiệu vào gọi là lớp vào, lớp đƣa tín hiệu ra của mạng
đƣợc gọi là lớp ra. Các lớp ở giữa lớp vào và lớp ra đƣợc gọi là lớp ẩn và các nơ-
ron trong các lớp ẩn có hàm chuyển (hàm kích hoạt) dạng phi tuyến. Mạng nơ-
ron nhiều lớp có thể giải quyết các bài toán phi tuyến nhờ vào các lớp ẩn. Càng
nhiều lớp ẩn thì khả năng mở rộng thông tin càng cao và xử lý tốt mạng có nhiều
lớp vào và lớp ra.
Hình (1.4) mô tả cấu trúc của mạng nơ-ron truyền thẳng nhiều lớp.






Hình 1.4. Mạng truyền thẳng nhiều lớp

1.1.2.3.2. Mạng hồi quy (Recurrent Neutral Network)
Mạng hồi quy một lớp có phản hồi

y
1
y
n
y
2
x
m
x
1
x
2
Lớp vào
Lớp ra
Lớp ẩn
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên