Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết tay trực tuyến

i
..

ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRÙN
THƠNG

CHU HỒNG HÀ

NGHIÊN CỨU MẠNG NƠRON VÀ ỨNG DỤNG
TRONG NHẬN DẠNG CHỮ VIẾT TAY TRỰC TUYẾN

Chuyên ngành: Khoa học máy tính
Mã số: 60.48.01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍ NH

NGƢỜI HƢỚNG DẪN KHOA HỌC
PGS-TS Ngơ Quốc Tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




ii

Thái Ngun – 2013

BẢN CAM KẾT
Tên tơi là: Chu Hồng Hà

Lớp: Cao học Cơng nghệ thơng tin K10A
Khố học: 2011 - 2013
Chuyên ngành:Khoa học máy tính
Mã số chuyên ngành: 60 48 01
Cơ sở đào tạo: Trƣờng Đại học Công nghệ thông tin và Truyền thông
Thái Nguyên
Giáo viên hƣớng dẫn: PGS-TS Ngô Quốc Tạo
Cơ quan công tác: Trƣờng Đại học Sƣ phạm Kỹ Thuật Nam Định
Tơi xin cam đoan tồn bộ nội dung đƣợc trình bày trong bản luận văn
này là kết quả tìm hiểu và nghiên cứu của riêng tơi, trong quá trình nghiên cứu
luận văn “Nghiên cứu mạng nơron và ứng dụng trong nhận dạng chữ viết
tay trực tuyến” các kết quả và dữ liệu đƣợc nêu ra là hồn tồn trung thực.
Mọi thơng tin trích dẫn đều đƣợc tn theo luật sở hữu trí tuệ, có liệt kê rõ ràng
các tài liệu tham khảo.
Tơi xin chịu hồn tồn trách nhiệm với những nội dung đƣợc viết trong
luận văn này.
Thái Nguyên, ngày 08 tháng 06 năm 2013
HỌC VIÊN

CHU HOÀNG HÀ

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




iii

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

iv
LỜI CẢM ƠN
Luận văn đƣợc thực hiện tại Trƣờng Đại học Công nghệ Thông tin và
Truyền Thông - Đại học Thái Nguyên dƣới sự hƣớng dẫn của thầy PGS-TS
Ngô Quốc Tạo.
Trƣớc hết em xin bày tỏ lòng biết ơn sâu sắc tới thầy PGS-TS Ngô Quốc
Tạo - Viện Công nghệ thơng tin, ngƣời đã tận tình hƣớng dẫn giúp đỡ để em
hồn thành tốt luận văn của mình.
Em xin gửi lời cảm ơn chân thành đến các thầy cô giáo Trƣờng Đại học
Công nghệ Thông tin và Truyền Thông - Đại học Thái Nguyên, cùng các thầy
cô giáo đã nhiệt tình giảng dạy, truyền đạt kiến thức cho em trong suốt quá
trình học tập tại trƣờng cũng nhƣ quá trình làm luận văn này.
Cuối cùng em xin gửi lời cảm ơn đến gia đình, bạn bè, các đồng nghiệp
những ngƣời đã động viên, giúp đỡ và tạo điều kiện cho em trong q trình học
tập và hồn thành luận văn.
Thái Nguyên, ngày 08 tháng 06 năm 2013
HỌC VIÊN

CHU HOÀNG HÀ

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




v
MỤC LỤC

LỜI MỞ ĐẦU ..................................................................................................... 1
Chƣơng 1
KHÁI QUÁT VỀ MẠNG NƠRON
1.1. Khái niệm mạng nơron ................................................................................. 4
1.1.1. Giới thiệu ........................................................................................................... 4
1.1.1.1. Nơron...................................................................................................... 7
1.1.1.2. Chức năng, tổ chức và hoạt động của bộ não con ngƣời ....................... 8
1.1.1.3. So sánh mạng nơron với máy tính truyền thống .................................. 10
1.1.2. Nơron nhân tạo ................................................................................................ 11
1.1.3. Mạng nơron nhân tạo ...................................................................................... 14
1.2. Đặc trƣng của mạng nơron[5] .................................................................... 15
1.2.1. Tính phi tuyến ................................................................................................. 15
1.2.2. Tính chất tƣơng ứng đầu vào, đầu ra ............................................................. 16
1.2.3. Tính chất thích nghi ........................................................................................ 16
1.2.4. Tính chất đƣa ra lời giải có bằng chứng ........................................................ 16
1.2.5. Tính chất chấp nhận sai sót ............................................................................ 16
1.2.6. Khả năng tích hợp VLSI (Very-Large-Scale-Intergrated) ........................... 17
1.2.7. Tính chất tƣơng tự trong phân tích và thiết kế .............................................. 17
1.3. Phân loại mạng nơron nhân tạo .................................................................. 17
1.3.1. Phân loại theo kiểu liên kết nơron.................................................................. 17
1.3.2. Một số loại mạng nơron điển hình[20] .......................................................... 18
1.3.2.1. Mạng dẫn tiến (feedforward) ............................................................... 18
1.3.2.1. Mạng quy hồi (recurrent network) ....................................................... 20
1.4. Xây dựng mạng nơron[8] ........................................................................... 21
1.5. Huấn luyện mạng nơron ............................................................................. 22
1.5.1. Phƣơng pháp học............................................................................................. 22
1.5.1.1. Học có giám sát .................................................................................... 22
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

vi
1.5.1.2. Học không giám sát .............................................................................. 23
1.5.1.3. Học tăng cƣờng .................................................................................... 23
1.5.2. Thuật toán học ................................................................................................. 23
1.6. Thu thập dữ liệu cho mạng nơron .............................................................. 24
1.7. Biểu diễn tri thức cho mạng nơron............................................................. 26
1.8. Ứng dụng của mạng nơron. ........................................................................ 28
Chƣơng 2
ỨNG DỤNG MẠNG NƠRON TRONG NHẬN DẠNG CHỮ VIẾT TAY
TRỰC TUYẾN
2.1. Giới thiệu bài tốn nhận dạng kí tự ............................................................ 30
2.1.1. Giới thiệu sơ lƣợc về nhận dạng .................................................................... 30
2.1.2. Giới thiệu về nhận dạng chữ viết tay ............................................................. 31
2.1.3. Nhận dạng chữ viết tay bằng mạng nơron[5]................................................ 35
2.1.4. Phát biểu bài toán ............................................................................................ 36
2.1.5. Các bƣớc giải quyết bài toán sử dụng mạng nơron trong nhận dạng ký tự. 36
2.2. Mạng Perceptron nhận dạng ký tự ............................................................. 36
2.2.1. Giới thiệu về mạng nơron Perceptron............................................................ 36
2.2.2. Cấu trúc của mạng nơron Perceptron ............................................................ 37
2.2.3. Thực thi của mạng nơron Perceptron ............................................................ 38
2.2.3.1. Thuật toán học của mạng nơron một lớp ............................................. 38
2.2.3.2. Thuật toán học của mạng nơron nhiều lớp........................................... 40
2.2.4. Nhận xét........................................................................................................... 44
2.3. Mạng Kohonen nhận dạng ký tự ................................................................ 45
2.3.1. Giới thiệu về mạng nơron Kohonen .............................................................. 45
2.3.2. Cấu trúc của mạng nơron Kohonen[16] ........................................................ 46
2.3.3. Thực thi của mạng nơron Kohonen[15] ........................................................ 46
2.3.2.1. Chuẩn hóa đầu vào ............................................................................... 46

2.3.2.2. Tính tốn đầu ra cho mỗi nơron ........................................................... 47
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




vii
2.3.2.3. Chọn nơron chiến thắng ....................................................................... 47
2.3.2.4. Quá trình học của mạng nơron Kohonen ............................................. 48
2.3.3. Nhận xét........................................................................................................... 51
Chƣơng 3
XÂY DỰNG CHƢƠNG TRÌNH NHẬN DẠNG CHỮ VIẾT TAY
TRỰC TUYẾN
3.1. Giới thiệu .................................................................................................... 52
3.2. Xây dựng giao diện vẽ ............................................................................... 53
3.3. Xử lý dữ liệu (phân tích ảnh) ..................................................................... 54
3.4. Xây dựng mạng nơron................................................................................ 54
3.4 .1. Xây dựng mạng nơron Perceptron ............................................................... 54
3.4.2. Xây dựng mạng nơron Kohonen. .................................................................. 56
3.5. Chƣơng trình minh họa .............................................................................. 59
3.5.1. Các chức năng của chƣơng trình.................................................................... 59
3.5.2. Kết quả nhận dạng .......................................................................................... 60
3.6. Đánh giá, nhận xét ...................................................................................... 62
KẾT LUẬN VÀ HƢỚNG PHÁT TRIỂN
1. Những kết quả mà luận văn đã đạt đƣợc ....................................................... 64
2. Hƣớng phát triển tiếp theo............................................................................. 64
TÀI LIỆU THAM KHẢO

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

viii
DANH MỤC CÁC HÌNH
Hình 1.1 Sơ đồ nơron sinh học............................................................................ 7
Hình 1.2 Mạng nơron sinh học.......................................................................... 10
Hình 1.3 Mơ hình một nơron nhân tạo .............................................................. 11
Hình 1.4 Sự tƣơng đƣơng giữa nơron sinh học và nơron nhân tạo[16] ............ 12
Hình 1.5 Mơ hình phi tuyến thứ hai của một mạng nơron................................ 14
Hình 1.6 Sơ đồ đơn giản về một mạng nơron nhân tạo[8]................................ 15
Hình 1.7 Mạng truyền thẳng ............................................................................. 18
Hình 1.8 Mạng quy hồi ..................................................................................... 18
Hình 1.9 Mạng tiến với một mức nơron ........................................................... 19
Hình 1.10 Mạng tiến kết nối đầy đủ với một mức ẩn và một mức đầu ra ........ 20
Hình 1.11 Mạng hồi quy khơng có nơron ẩn và khơng có vịng lặp tự phản hồi20
Hình 1.12 Mạng hồi quy có các nơron ẩn ......................................................... 21
Hình 1.13 Sơ đồ đồ thị có hƣớng đơn giản ....................................................... 21
Hình 2.1 Mơ hình chung trong nhận dạng chữ viết .......................................... 34
Hình 2.2 Mơ hình tổng qt của mạng nơron Perceptron ................................. 37
Hình 2.3 Bài tốn XOR ..................................................................................... 39
Hình 2.4 Cấu trúc của mạng Kohonen .............................................................. 46
Hình 2.5 Quá trình huấn luyện mạng nơron Kohonen ...................................... 48
Hình 3.1 Quá trình tìm giới hạn ký tự ............................................................... 53
Hình 3.2 Quá trình lấy mẫu xuống .................................................................... 53
Hình 3.3 Quá trình ánh xạ từ ma trận điểm sang ma trận giá trị ...................... 54
Hình 3.4 Quá trình huấn luyện mạng ................................................................ 58
Hình 3.5 Giao diện chƣơng trình minh họa ...................................................... 59
Hình 3.6 Tải mẫu ............................................................................................... 60
Hình 3.7 Nhận dạng ký tự e bằng mạng Kohonen ............................................ 61

Hình 3.8 Nhận dạng ký tự e bằng mạng Perceptron ......................................... 61
Hình 3.9 Thêm mẫu mới ................................................................................... 62
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




1
LỜI MỞ ĐẦU
Mạng nơron nhân tạo ANN (Artificial Neural Networks) là một mô
phỏng xử lý thông tin, đƣợc nghiên cứu ra từ hệ thống thần kinh của sinh vật,
giống nhƣ bộ não để xử lý thơng tin. Nó bao gồm số lƣợng lớn các mối gắn kết
cấp cao để xử lý các yếu tố làm việc trong mối liên hệ giải quyết vấn đề rõ
ràng. ANN giống nhƣ con ngƣời, đƣợc học bởi kinh nghiệm, lƣu những kinh
nghiệm hiểu biết và sử dụng trong những tình huống phù hợp và quan trọng
hơn hết, con ngƣời có khả năng sáng tạo.
Đầu tiên ANN đƣợc giới thiệu năm 1943 bởi nhà thần kinh học Warren
McCulloch và nhà logic học Walter Pits. Nhƣng với những kỹ thuật trong thời
gian này chƣa cho phép họ nghiên cứu đƣợc nhiều. Những năm gần đây mô
phỏng ANN xuất hiện và phát triển. Các nghiên cứu ứng dụng đã đƣợc thực
hiện trong các ngành: điện, điện tử, kỹ thuật chế tạo, y học, quân sự, kinh tế...
Một trong những ứng dụng kinh điển của mạng nơron là bài tốn nhận dạng
mẫu, ở đó mỗi một mẫu là một tập hợp (hay một vector) các tham số biểu thị
các thuộc tính của q trình vật lý nào đó. Ngồi sức mạnh vốn có, mạng
nơron cịn thể hiện ƣu điểm của mình trong việc nhận dạng thơng qua khả năng
mềm dẻo, dễ thích nghi với mơi trƣờng. Chính vì vậy, có thể coi mạng nơron
trƣớc tiên là một cơng cụ để nhận dạng.
Các bài toán nhận dạng đƣợc nghiên cứu nhiều nhất hiện nay bao gồm
nhận dạng các mẫu hình học (vân tay, mặt ngƣời, hình khối,…), nhận dạng
tiếng nói và nhận dạng ký tự viết. Nhận dạng ký tự viết bao gồm hai kiểu chính

là nhận dạng ký tự in và nhận dạng ký tự viết tay. Cho đến nay bài toán nhận
dạng ký tự in đã đƣợc giải quyết khá trọn vẹn với sự ra đời của nhiều hệ thống
nhận dạng đạt tới độ chính xác gần nhƣ tuyệt đối. Nhận dạng ký tự viết tay
đang là vấn đề thách thức lớn đối với các nhà nghiên cứu, bài toàn này chƣa
thể giải quyết trọn vẹn đƣợc vì nó phụ thuộc q nhiều vào ngƣời viết và sự
biến đổi quá đa dạng trong cách viết và trạng thái tinh thần của từng ngƣời
viết. Đặc biệt đối với việc nhận dạng ký tự viết tay tiếng Việt lại càng gặp
nhiều khó khăn hơn do bộ ký tự tiếng Việt có nhiều ký tự có hình dáng rất
giống nhau, chỉ khác nhau chút ít về phần dấu.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




2
Chính vì các lý do nêu trên cùng với sự gợi ý của thầy giáo tôi nhận thấy
nghiên cứu về mạng nơron là một hƣớng nghiên cứu quan trọng, mới mẻ và có
nhiều triển vọng. Đồng thời áp dụng mạng nơron để giải quyết bài toán nhận
dạng chữ viết tay tiếng Việt là một hƣớng tiếp cận khoa học có hiệu quả, góp
phần giải quyết bài tốn nhận dạng chữ viết tay tiếng Việt hiện còn chƣa đƣợc
giải quyết trọn vẹn. Do đó tơi chọn đề tài: “Nghiên cứu mạng nơron và ứng
dụng trong nhận dạng chữ viết tay trực tuyến”.
Tuy nhiên do hạn chế về mặt thời gian cũng nhƣ độ phức tạp của bài
tốn, do đó tơi chỉ đi sâu nghiên cứu và mô phỏng nhận dạng ký tự viết tay
tiếng Việt rời rạc trực tuyến.
Nội dung luận văn gồm:

Chƣơng 1: Khái quát về mạng nơron
Trình bày những lý thuyết cơ bản về mơ hình mạng nơron nhƣ: lịch sử
ra đời và phát triển của mạng nơron, khái niệm mạng nơron, các loại mơ hình

mạng nơron, các đặc trƣng của mạng, các phƣơng pháp huấn luyện mạng
nơron, phƣơng pháp học có giám sát. Các vấn đề và ứng dụng của mạng nơron.

Chƣơng 2: Ứng dụng mạng nơron trong nhận dạng chữ viết tay trực tuyến
Giới thiệu về nhận dạng, các bài toán nhận dạng, nhận dạng chữ viết tay
tiếng Việt. Phƣơng pháp nhận dạng chữ viết tay bằng mạng nơron, phát biểu
bài toán, các bƣớc giải quyết bài tốn.
Trình bày lý thuyết cơ bản về mạng nơron Perceptron, Kohonen nhƣ:
giới thiệu về mạng, cấu trúc mạng, các bƣớc thực thi trong mạng: chuẩn hóa
đầu vào, tính tốn đầu ra, quá trình huấn luyện mạng,…

Chƣơng 3: Xây dựng chƣơng trình nhận dạng chữ viết tay trực tuyến
Trình bày phạm vi chƣơng trình minh họa, các bƣớc thực hiện chƣơng
trình minh họa: Thực hiện chƣơng trình nhận dạng ký tự, xác định các tham số
cho mạng, vẽ hình ảnh, lấy mẫu xuống hình ảnh, các tập huấn luyện, lớp mạng
cơ bản, …. Chƣơng trình minh họa: Các chức năng của chƣơng trình, kết quả
nhận dạng, đánh giá, nhận xét.
Kết luận và hƣớng phát triển
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




3
Trình bày các kết quả đã đạt đƣợc, hƣớng phát triển tiếp theo và một số
suy nghĩ khi nghiên cứu.
Do thời gian và trình độ cịn hạn chế nên luận văn khó tránh khỏi những
thiếu sót, kính mong nhận đƣợc sự đóng góp, chỉ bảo của các thầy giáo, cơ
giáo và các bạn đồng nghiệp.
Cuối cùng, tác giả xin chân thành bày tỏ lòng biết ơn sâu sắc đến thầy

giáo PGS-TS Ngô Quốc Tạo - Viện Công nghệ thông tin, Viện Khoa học và
Cơng nghệ Việt Nam đã tận tình hƣớng dẫn, chỉ bảo, giúp đỡ, khích lệ tác giả
trong suốt quá trình làm luận văn. Đồng thời, tác giả xin chân thành cảm ơn
các thầy cô trong trƣờng ĐH CNTT & TT Thái Nguyên đã tạo điều kiện thuận
lợi, giúp đỡ tác giả hoàn thành luận văn này.
Học viên

Chu Hồng Hà

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




4
Chƣơng 1
KHÁI QUAN VỀ MẠNG NƠRON
1.1. Khái niệm mạng nơron
1.1.1. Giới thiệu
Các nghiên cứu về bộ não con ngƣời đã đƣợc tiến hành từ hàng nghìn
năm nay. Cùng với sự phát triển của khoa học kĩ thuật đặc biệt là những tiến
bộ trong ngành điện tử hiện đại, việc con ngƣời bắt đầu nghiên cứu các nơron
nhân tạo là hoàn tồn tự nhiên. Có thể tính từ nghiên cứu của William (1890)
về tâm lý học với sự liên kết các noron thần kinh. Sự kiện đầu tiên đánh dấu sự
ra đời của mạng nơron nhân tạo diễn ra vào năm 1943 khi nhà thần kinh học
Warren McCulloch và nhà toán học Walter Pitts viết bài báo mô tả cách thức
các nơron hoạt động. Họ cũng đã tiến hành xây dựng một mạng nơron đơn
giản bằng các mạch điện. Các nơron của họ đƣợc xem nhƣ là các thiết bị nhị
phân với ngƣỡng cố định. Kết quả của các mơ hình này là các hàm logic đơn
giản chẳng hạn nhƣ “ a OR b” hay “a AND b”[12]

Tiếp bƣớc các nghiên cứu này, năm 1949 Donald Hebb cho xuất bản
cuốn sách Organization of Behavior. Cuốn sách đã chỉ ra rằng các nơron nhân
tạo sẽ trở nên hiệu quả hơn sau mỗi lần chúng đƣợc sử dụng.
Những tiến bộ của máy tính đầu những năm 1950 giúp cho việc mơ hình
hóa các nguyên lý của những lý thuyết liên quan tới cách thức con ngƣời suy
nghĩ đã trở thành hiện thực. Nathanial Rochester sau nhiều năm làm việc tại
các phịng thí nghiệm nghiên cứu của IBM đã có những nỗ lực đầu tiên để mơ
phỏng một mạng nơron. Trong thời kì này tính tốn truyền thống đã đạt đƣợc
những thành cơng rực rỡ trong khi đó những nghiên cứu về nơron cịn ở giai
đoạn sơ khai. Mặc dù vậy những ngƣời ủng hộ triết lý “thinking machines”
(các máy biết suy nghĩ) vẫn tiếp tục bảo vệ cho lập trƣờng của mình.
Năm 1956 dự án Dartmouth nghiên cứu về trí tuệ nhân tạo (Artificial
Intelligence) đã mở ra thời kỳ phát triển mới cả trong lĩnh vực trí tuệ nhân tạo
lẫn mạng nơron. Tác động tích cực của nó là thúc đẩy hơn nữa sự quan tâm của
các nhà khoa học về trí tuệ nhân tạo và quá trình xử lý ở mức đơn giản của
mạng nơron trong bộ não con ngƣời.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




5
Những năm tiếp theo của dự án Dartmouth, John von Neumann đã đề
xuất việc mô phỏng các nơron đơn giản bằng cách sử dụng rơle điện áp hoặc
đèn chân không. Nhà sinh học chuyên nghiên cứu về nơron Frank Rosenblatt
cũng bắt đầu nghiên cứu về Perceptron năm 1958. Sau thời gian nghiên cứu
này Perceptron đã đƣợc cài đặt trong phần cứng máy tính và đƣợc xem nhƣ là
mạng nơron lâu đời nhất còn đƣợc sử dụng đến ngày nay. Perceptron một tầng
rất hữu ích trong việc phân loại một tập các đầu vào có giá trị liên tục vào một
trong hai lớp. Perceptron tính tổng có trọng số các đầu vào, rồi trừ tổng này

cho một ngƣỡng và cho ra một trong hai giá trị mong muốn có thể. Tuy nhiên
Perceptron còn rất nhiều hạn chế, những hạn chế này đã đƣợc chỉ ra trong cuốn
sách về Perceptron của Marvin Minsky và Seymour Papert của MIT
(Massachurehs Insritute of Technology) viết năm 1969 đã chứng minh nó
khơng dùng đƣợc cho các hàm logic phức.
Năm 1959, Bernard Widrow và Marcian Hoff thuộc trƣờng đại học
Stanford đã xây dựng mơ hình ADALINE ( ADAptive LINear Elements) và
MADALINE. (Multiple ADAptive LINear Elements). Các mô hình này sử
dụng quy tắc học Least-Mean-Squares ( LMS : Tối thiểu bình phƣơng trung
bình). MADALINE là mạng nơron đầu tiên đƣợc áp dụng để giải quyết một
bài toán thực tế. Nó là một bộ lọc thích ứng có khả năng loại bỏ tín hiệu dội lại
trên đƣờng dây điện thoại. Ngày nay mạng nơron này vẫn đƣợc sử dụng trong
các ứng dụng thƣơng mại.
Năm 1973 Von der Marlsburg: đƣa ra quá trình học cạnh tranh và self –
organization. Năm 1974 Paul Werbos đã phát triển và ứng dụng phƣơng pháp
học lan truyền ngƣợc ( back-propagation). Tuy nhiên phải mất một vài năm thì
phƣơng pháp này mới trở lên phổ biến. Các mạng lan truyền ngƣợc đƣợc biết
đến nhiều nhất và đƣợc áp dụng rộng dãi nhất nhất cho đến ngày nay.
Sợ rằng đã đến lúc máy móc có thể làm mọi việc của con ngƣời. Những
lo lắng này khiến ngƣời ta bắt đầu phản đối các nghiên cứu về mạng neuron.
Thời kì tạm lắng này kéo dài đến năm 1981. Có thể tính vào khoảng đầu thập
niên 80. Những đóng góp lớn cho mạng noron trong giai đoạn này phải kể đến
Grossberg, Kohonen, Rumelhart và Hopfield. Kohonen là mạng SOM (Self
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




6
Organizing Map), Grossberg là mạng ART (Adaptive Resonance Theory).

Trong đó đóng góp lớn của Hopfield gồm hai mạng phản hồi: Mạng rời rạc
năm 1982 và mạng liên tục năm 1984. Đặc biệt, ơng đã dự kiến nhiều khả năng
tính tốn lớn của mạng mà một nơron khơng có khả năng đó. Năm 1982 trong
bài báo gửi tới viện khoa học quốc gia, John Hopfield bằng sự phân tích tốn
học rõ ràng, mạch lạc, ông đã chỉ ra cách thức các mạng nơron làm việc và
những cơng việc chúng có thể thực hiện đƣợc. Cống hiến của Hopfield không
chỉ ở giá trị của những nghiên cứu khoa học mà còn ở sự thúc đẩy trở lại các
nghiên cứu về mạng neuron. Cảm nhận của Hopfield đã đƣợc Rumelhart,
Hinton và Williams đề xuất thuật toán sai số truyền ngƣợc nổi tiếng để huấn
luyện mạng noron nhiều lớp nhằm giải bài toán mà mạng khác không thực hiện
đƣợc. Nhiều ứng dụng mạnh mẽ của mạng noron ra đời cùng với các mạng
theo kiểu máy Boltzmann và mạng Neocognition của Fukushima.
Cũng trong thời gian này, một hội nghị với sự tham gia của Hoa Kỳ và
Nhật Bản bàn về việc hợp tác/cạnh tranh trong lĩnh vực mạng nơron đã đƣợc tổ
chức tại Kyoto, Nhật Bản. Sau hội nghị, Nhật Bản đã công bố những nỗ lực
của họ trong việc tạo ra máy tính thế hệ thứ 5. Tiếp nhận điều đó, các tạp chí
định kỳ của Hoa Kỳ bày tỏ sự lo lắng rằng nƣớc nhà có thể bị tụt hậu trong
lĩnh vực này. Vì thế, ngay sau đó, Hoa Kỳ nhanh chóng huy động quĩ tài trợ
cho các nghiên cứu và ứng dụng mạng nơron.
Năm 1985, viện vật lý Hoa Kỳ bắt đầu tổ chức các cuộc họp hàng năm
về mạng neuron ứng dụng trong tin học (Nơron Networks for Computing).
Năm 1987, hội thảo quốc tế đầu tiên về mạng neuron của Viện các kỹ sƣ
điện và điện tử IEEE (Institute of Electrical and Electronic Engineer) đã thu
hút hơn 1800 ngƣời tham gia. Tính từ năm 1987 đến nay, hàng năm thế giới
đều mở hội nghị toàn cầu chuyên ngành nơron IJCNN (International Joit
Conference on Neural Networks).
Ngày nay, không chỉ dừng lại ở mức nghiên cứu lý thuyết, các nghiên
cứu ứng dụng mạng nơron để giải quyết các bài toán thực tế đƣợc diễn ra ở
khắp mọi nơi. Các ứng dụng mạng nơron ra đời ngày càng nhiều và ngày càng
hoàn thiện hơn. Điển hình là các ứng dụng: xử lý ngơn ngữ (Language

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




7
Processing), nhận dạng ký tự (Character Recognition), nhận dạng tiếng nói
(Voice Recognition), nhận dạng mẫu (Pattern Recognition), xử lý tín hiệu
(Signal Processing), Lọc dữ liệu (Data Filtering),…
1.1.1.1. Nơron
Nơron là phần tử cơ bản tạo nên bộ não. Cấu tạo và hoạt động của nơron
nhƣ sau:
a) Cấu tạo
Một nơron điển hình có 3 phần chính:
- Phần thứ nhất: Thân phần tử hay soma (hoặc cell body). Nhân của
nơron đƣợc đặt ở đây.
- Phần thứ hai: Các dendrite. Đây chính là các mạng dạng cây của các
dây thần kinh để nối các soma với nhau.
- Phần thứ ba: axon. Đây là một nối kết, hình trụ dài và mang các tín
hiệu từ đó ra ngồi. Phần cuối của axon đƣợc chia thành nhiều nhánh nhỏ. Mỗi
nhánh nhỏ (cả của dendrite và axon) kết thúc trong một cơ quan nhỏ hình củ
hành đƣợc gọi là synapte mà tại đây các nơron đƣa các tín hiệu của nó vào các
nơron khác. Những điểm tiếp nhận với các synapte trên các nơron khác có thể
ở các dendrite hay chính soma.

Hình 1.1 Sơ đồ nơron sinh học
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

8
b) Hoạt động
Các tín hiệu đƣợc đƣa ra bởi một synapte và đƣợc nhận bởi các dendrite
là các kích thích điện tử. Việc truyền tín hiệu nhƣ trên liên quan đến một q
trình hóa học phức tạp mà trong đó các chất truyền đặc trƣng đƣợc giải phóng
từ phía gửi của nơi tiếp nối. Điều này làm tăng hoặc giảm điện thế bên trong
thân của nơron nhận. Nơron nhận tín hiệu sẽ đƣợc kích hoạt (fire) nếu điện thế
vƣợt khỏi một ngƣỡng nào đó. Một xung (hoặc điện thế hoạt động) với cƣờng
độ mạnh và thời gian tồn tại cố định sẽ đƣợc gửi ra ngồi thơng qua axon tới
phần nhánh của nơron đó, rồi tới các chỗ nối synapte của các nơron khác. Sau
khi kích hoạt, nơron sẽ chờ một khoảng thời gian đƣợc gọi là chu kỳ
refractory, trƣớc khi nó có thể kích hoạt lại. Synapses là excitatory nếu chúng
cho phép các kích thích truyền qua gây ra tình trạng kích hoạt đối với nơron
nhận. Ngƣợc lại, chúng là inhibitory nếu chúng cho phép các kích thích truyền
qua làm ngăn chở trạng thái kích hoạt của nơron nhận.
Các synapses đóng vai trị rất quan trọng trong sự học tập. Khi chúng ta
học tập thì hoạt động của các synapses đƣợc tăng cƣờng, tạo nên nhiều liên kết
mạnh giữa các nơron. Có thể nói rằng ngƣời nào học càng giỏi thì càng có
nhiều synapses và các synapses ấy càng mạnh mẽ, hay nói cách khác, thì liên
kết giữa các nơron càng nhiều, càng nhạy bén.
1.1.1.2. Chức năng, tổ chức và hoạt động của bộ não con ngƣời
a) Chức năng
Bộ não của con ngƣời có chức năng hết sức quan trọng trong đời sống
của con ngƣời. Bộ não gần nhƣ kiểm soát hầu hết mọi hành vi của con ngƣời,
từ các hoạt động cơ bắp đơn giản đến những hành động phức tạp nhƣ học tập,
nhớ, suy luận, tƣ duy, sáng tạo,…
b) Tổ chức
Bộ não của con ngƣời đƣợc hình thành từ sự liên kết của khoảng 1011
phân tử (tế bào), trong đó có khoảng 1010 phần tử là nơron, số còn lại khoảng

9*1010 phần tử là các tế bào thần kinh đệm. Các tế bào thần kinh đệm có nhiệm
vụ phục vụ cũng nhƣ hỗ trợ cho các nơron. Cấu tạo chi tiết của bộ não thì đến
nay ngƣời ta vẫn chƣa thực sự biết rõ. Tuy vậy, não bộ có thể đƣợc phân chia
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




9
thành nhiều vùng khác nhau. Mỗi vùng có thể kiểm sốt một hay nhiều hoạt
động của con ngƣời.
Bộ não có cấu trúc nhiều lớp. Lớp bên ngoài thƣờng thấy là các nếp
nhăn, là lớp có cấu tạo phúc tạp nhất. Đây có thể là nơi kiểm sốt và phát sinh
các hành động phức tạp nhƣ nghe, nhìn, tƣ duy,…
c) Hoạt động
Mặc dù mỗi nơron (có thể xem nhƣ phần tử xử lý hay phần tử tính) có
tốc độ rất chậm so với tốc độ các cổng logic silicon trong các vi chip 10-3 giây
so với 10-10 giây, nhƣng do mỗi nơron liên kết với khoảng 104 nơron khác,
cho nên, khi hoạt động thì bộ não hoạt động một cách tổng lực và đạt hiệu quả
cao. Nói một cách khác là phần tử của não hoạt động một cách song song và
tƣơng tác hết sức tinh vi phức tạp. Hiệu quả hoạt động thƣờng rất cao, nhất là
trong các vấn đề phức tạp.
Tóm lại, bộ não có chức năng hết sức quan trọng đối với đời sống của
con ngƣời. Cấu tạo của bộ não rất phức tạp, tinh vi bởi đƣợc tạo thành từ mạng
nơron có hàng chục tỉ tế bào với mức độ liên kết giữa các nơron là rất cao. Hơn
nữa, bộ não còn đƣợc chia thành các vùng và các lớp khác nhau. Bộ não hoạt
động dựa trên cơ chế hoạt động song song của các nơron tạo nên bộ não đó.
Lý thuyết về mạng nơron nhân tạo, hay gọi tắt là “mạng nơron”, đƣợc
xây dựng xuất phát từ một thực tế là bộ não con ngƣời luôn ln thực hiện các
tính tốn một cách hồn tồn khác so với các máy tính số. Có thể coi bộ não là

một máy tính hay một hệ thống xử lý thông tin song song, phi tuyến và cực kỳ
phức tạp. Nó có khả năng tự tổ chức các bộ phận cấu thành của nó, nhƣ là các
tế bào thần kinh (neuron) hay các khớp nối thần kinh (synapse), nhằm thực
hiện một số tính tốn nhƣ nhận dạng mẫu và điều khiển vận động nhanh hơn
nhiều lần các máy tính nhanh nhất hiện nay. Sự mô phỏng bộ não con ngƣời
của mạng nơron là dựa trên cơ sở một số tính chất đặc thù rút ra từ các nghiên
cứu về thần kinh sinh học.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




10

Hình 1.2 Mạng nơron sinh học
1.1.1.3. So sánh mạng nơron với máy tính truyền thống
Các mạng nơron có cách tiếp cận khác trong giải quyết vấn đề so với
máy tính truyền thống. Các máy tính truyền thống sử dụng cách tiếp cận theo
hƣớng giải thuật, tức là máy tính thực hiện một tập các chỉ lệnh để giải quyết
một vấn đề. Vấn đề đƣợc giải quyết phải đƣợc biết và phát biểu dƣới dạng một
tập chỉ lệnh không nhập nhằng. Những chỉ lệnh này sau đó phải đƣợc chuyển
sang một chƣơng trình ngơn ngữ bậc cao và chuyển sang mã máy để máy tính
có thể hiểu đƣợc.
Trừ khi các bƣớc cụ thể mà máy tính cần tuân theo đƣợc chỉ ra rõ ràng,
máy tính sẽ khơng làm đƣợc gì cả. Điều đó giới hạn khả năng của các máy tính
truyền thống ở phạm vi giải quyết các vấn đề mà chúng ta đã hiểu và biết chính
xác cách thực hiện. Các máy tính sẽ trở lên hữu ích hơn nếu chúng có thể thực
hiện đƣợc những việc mà bản thân con ngƣời khơng biết chính xác là phải làm
nhƣ thế nào.

Các mạng nơron xử lý thông tin theo cách thức giống nhƣ bộ não con
ngƣời. Mạng đƣợc tạo nên từ một số lƣợng lớn các phần tử xử lý đƣợc kết nối
với nhau làm việc song song để giải quyết một vấn đề cụ thể. Các mạng nơron
học theo mô hình, chúng khơng đƣợc lập trình để thực hiện một nhiệm vụ cụ
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




11
thể. Các mẫu phải đƣợc chọn lựa cẩn thận nếu khơng sẽ rất mất thời gian, thậm
chí mạng sẽ hoạt động khơng đúng. Hạn chế này là bởi vì mạng tự tìm ra cách
giải quyết vấn đề, thao tác của nó khơng thể dự đốn đƣợc[12].
Các mạng nơron và các máy tính truyền thống khơng cạnh tranh nhau
mà bổ sung cho nhau. Có những nhiệm vụ thích hợp hơn với máy tính truyền
thống, ngƣợc lại có những nhiệm vụ lại thích hợp hơn với các mạng nơron.
Thậm chí rất nhiều nhiệm vụ đòi hỏi các hệ thống sử dụng tổ hợp cả hai cách
tiếp cận để thực hiện đƣợc hiệu quả cao nhất. Thơng thƣờng một máy tính
truyền thống đƣợc sử dụng để giám sát mạng nơron.
1.1.2. Nơron nhân tạo
Nơron nhân tạo là một đơn vị tính tốn có nhiều đầu vào và một đầu ra.
Mỗi đầu vào đến từ một liên kết. Đặc trƣng của nơron là một hàm kích hoạt
phi tuyến chuyển đổi tổ hợp tuyến tính của tất cả các tín hiệu đầu vào thành tín
hiệu đầu ra. Hàm kích hoạt này đảm bảo tính chất phi tuyến cho tính tốn của
mạng nơron.

Hình 1.3 Mơ hình một nơron nhân tạo

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

12

Hình 1.4 Sự tƣơng đƣơng giữa nơron sinh học và nơron nhân tạo[16]
Các thành phần cơ bản của một nơron nhân tạo bao gồm:
♦ Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín
hiệu này thƣờng đƣợc đƣa vào dƣới dạng một vector N chiều.
♦ Tập các liên kết: Mỗi liên kết đƣợc thể hiện bởi một trọng số (gọi là
trọng số liên kết – Synaptic weight). Trọng số liên kết giữa tín hiệu vào thứ j
với nơron k thƣờng đƣợc kí hiệu là wkj. Thông thƣờng, các trọng số này đƣợc
khởi tạo một cách ngẫu nhiên ở thời điểm khởi tạo mạng và đƣợc cập nhật liên
tục trong quá trình học mạng. Các trọng số liên kết chính là các tham số tự do
cơ bản của mạng nơron. Các trọng số này có thể đƣợc thay đổi nhằm thích
nghi với mơi trƣờng xung quanh.
♦ Bộ tổng (Summing function): Thƣờng dùng để tính tổng của tích các
đầu vào với trọng số liên kết của nó.
♦ Ngƣỡng (còn gọi là một độ lệch -bias): Ngƣỡng này thƣờng đƣợc
đƣa vào nhƣ một thành phần của hàm truyền. Hệ số điều chỉnh b có tác dụng
tăng lên hoặc giảm đi đầu vào thực của hàm truyền tùy theo hàm truyền dƣơng
hay âm.
♦ Hàm truyền (Transfer function): Hay còn đƣợc gọi là hàm kích
hoạt, hàm này đƣợc dùng để giới hạn phạm vi đầu ra của mỗi nơron. Nó nhận
đầu vào là kết quả của hàm tổng và ngƣỡng đã cho. Thơng thƣờng, phạm vi
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

13
đầu ra của mỗi nơron đƣợc giới hạn trong đoạn [0,1] hoặc [-1, 1]. Các hàm
truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn
hàm truyền nào là tuỳ thuộc vào từng bài toán và kinh nghiệm của ngƣời thiết
kế mạng. Một số hàm truyền thƣờng sử dụng trong các mơ hình mạng nơron
đƣợc đƣa ra trong bảng 1.2 .
♦ Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa
là một đầu ra.
Dƣới dạng cơng thức tốn học, chúng ta có thể mơ tả một nơron k bằng
cặp công thức sau:
m

u k   wkj x j

(1.1)

yk=(uk+b)

(1.2)

j 1

Và
Ở đó x1,x2,...,xm là các tín hiệu đầu vào; wk1,wk2,...,wkm là các trọng số
synapse của neuron k; uk là đầu ra bộ tổ hợp tuyến tính tƣơng ứng; bk là hệ số
hiệu chỉnh.
Hệ số hiệu chỉnh bk là một tham số ngồi của neuron nhân tạo k. Chúng
ta có thể thấy đƣợc sự có mặt của nó trong cơng thức (1.2). Một cách tƣơng
đƣơng, chúng ta có thể tổ hợp các công thức (1.1) và (1.2) nhƣ sau:
m

v k   wkj x j

(1.3)

y k   (vk )

(1.4)

j 0

và

Trong công thức (1.3), chúng ta đã thêm một synapse mới. Đầu vào của nó là:
x0=+1

(1.5)

wk0=bk

(1.6)

và trọng số của nó là:
Nhƣ vậy chúng ta vẽ lại mơ hình của neuron k nhƣ trong hình 1.5. Trong
hình này, nhiệm vụ của hệ số hiệu chỉnh là thực hiện hai việc: (1) thêm một tín
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

14
hiệu đầu vào cố định là (1), và (2) thêm một trọng số synapse mới bằng giá trị
của hệ số bk. Mặc dầu các mơ hình trong hình 1.3 và 1.5 là khác nhau về hình
thức nhƣng tƣơng tự về bản chất tốn học.

Hình 1.5 Mơ hình phi tuyến thứ hai của một mạng nơron
1.1.3. Mạng nơron nhân tạo
Các mạng nơron nhân tạo (Artificial neural networks – ANN), cũng còn
đƣợc gọi là “Các hệ thống xử lý song song phân bố” (Parallel distribute
processing systems), là một hệ thống bao gồm nhiều phần tử xử lý đơn giản
(hay còn gọi là nơron) tựa nhƣ nơron thần kinh của não ngƣời. Các phần tử này
hoạt động song song và đƣợc nối với nhau bởi các liên kết nơron. Mỗi liên kết
kèm theo một trọng số nào đó, đặc trƣng cho tính kích hoạt hoặc ức chế giữa
các nơron.
Các trọng số là phƣơng tiện để lƣu trữ thông tin dài hạn trong mạng
nơron. Nhiệm vụ của quá trình huấn luyện mạng là cập nhật các trọng số đó
khi có thêm thơng tin về mẫu học. Hay nói một cách khác, các trọng số đều
đƣợc điều chỉnh sao cho quan hệ vào ra của mạng sẽ mơ phỏng hồn tồn phù
hợp với mơi trƣờng đang xem xét.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




15
Mơ hình mạng nơron

Hình 1.6 Sơ đồ đơn giản về một mạng nơron nhân tạo[8]
Mơ hình mạng nơron ở trên gồm 3 lớp: lớp nhập (input), lớp ẩn (hidden)

và lớp xuất (output). Mỗi nút trong lớp nhập nhận giá trị của một biến độc lập
và chuyển vào mạng.
Dữ liệu từ tất cả các nút trong lớp nhập đƣợc tích hợp (ta gọi là tổng trọng
số) và chuyển kết quả cho các nút trong lớp ẩn. Lớp đó đƣợc gọi là “lớp ẩn” vì
các nút trong lớp này chỉ liên lạc với các nút trong lớp nhập và lớp xuất. Chỉ có
ngƣời thiết kế mạng mới biết lớp này (ngƣời sử dụng không biết lớp này).
Các nút trong lớp xuất nhận các tín hiệu tổng trọng hóa từ các nút trong
lớp ẩn. Mỗi nút trong lớp xuất tƣơng ứng với một biến phụ thuộc.
1.2. Đặc trƣng của mạng nơron[5]
1.2.1. Tính phi tuyến
Một nơron có thể tính tốn một cách tuyến tính hay phi tuyến. Một mạng
nơron cấu thành bởi các nơron phi tuyến thì cũng sẽ có tính phi tuyến. Hơn
nữa, điều đặc biệt là tính phi tuyến này đƣợc phân tán trên tồn mạng. Tính phi
tuyến là một thuộc tính rất quan trọng, nhất là khi các cơ chế vật lý sinh ra các
tín hiệu đầu vào (ví dụ tín hiệu tiếng nói) vốn là phi tuyến.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




16
1.2.2. Tính chất tƣơng ứng đầu vào, đầu ra
Mặc dù khái niệm “học” (hay “huấn luyện”) chƣa đƣợc bàn đến nhƣng
để hiểu đƣợc mối quan hệ đầu vào-đầu ra của mạng nơron, chúng ta sẽ đề cập
sơ qua về khái niệm này. Một mơ hình học phổ biến đƣợc gọi là “học có thầy”
(hay “học có giám sát”), liên quan đến việc thay đổi các trọng số liên kết của
mạng nơron bằng việc áp dụng một tập hợp các mẫu tích luỹ. Mỗi một mẫu
bao gồm một tín hiệu đầu vào và một đầu ra mong muốn tƣơng ứng. Các trọng
số liên kết của mạng đƣợc biến đổi sao cho có thể cực tiểu hố sự sai khác giữa

đầu ra mong muốn và đầu ra thực sự của mạng theo một tiêu chuẩn thống kê
thích hợp. Sự tích luỹ của mạng đƣợc lặp lại với nhiều ví dụ trong tập hợp cho
tới khi mạng đạt tới một trạng thái ổn định mà ở đó khơng có một sự thay đổi
đáng kể nào của các trọng số liên kết. Các ví dụ tích luỹ đƣợc áp dụng trƣớc có
thể đƣợc áp dụng lại trong thời gian của phiên tích luỹ nhƣng theo một thứ tự
khác. Nhƣ vậy, mạng nơron học từ các ví dụ bằng cách xây dựng nên một
tƣơng ứng đầu vào - đầu ra cho vấn đề cần giải quyết.
1.2.3. Tính chất thích nghi
Các mạng nơron có một khả năng mặc định là có thể biến đổi các trọng số
liên kết tuỳ theo sự thay đổi của môi trƣờng xung quanh. Đặc biệt, một mạng nơron
đã đƣợc tích luỹ để hoạt động trong một mơi trƣờng xác định có thể đƣợc tích luỹ
lại một cách dễ dàng khi có những thay đổi nhỏ của các điều kiện môi trƣờng.
1.2.4. Tính chất đƣa ra lời giải có bằng chứng
Trong ngữ cảnh phân loại mẫu, một mạng nơron có thể đƣợc thiết kế để
đƣa ra thông tin không chỉ về mẫu đƣợc phân loại, mà còn về sự tin cậy của
quyết định đã đƣợc thực hiện. Thơng tin này có thể đƣợc sử dụng để loại bỏ
các mẫu mơ hồ hay nhập nhằng.
1.2.5. Tính chất chấp nhận sai sót
Một mạng nơron, đƣợc cài đặt dƣới dạng phần cứng, vốn có khả năng
chấp nhận lỗi, hay khả năng tính tốn thơ (chứ khơng nhạy cảm lỗi). Tức là,
tính năng của mạng nơron chỉ thối hố (chứ khơng đổ vỡ) khi có những điều
kiện hoạt động bất lợi. Ví dụ, nếu một nơron hay các liên kết kết nối của nó bị
hỏng, việc nhận dạng lại một mẫu đƣợc lƣu trữ sẽ suy giảm về chất lƣợng. Tuy
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




17
nhiên, do bản chất phân tán của thông tin lƣu trữ trong mạng nơron, sự hỏng

hóc cũng đƣợc trải ra trên toàn mạng. Nhƣ vậy, về cơ bản, trong trƣờng hợp
này một mạng nơron sẽ thể hiện một sự thoái hố về tính năng hơn là sự đổ vỡ
trầm trọng.
1.2.6. Khả năng tích hợp VLSI (Very-Large-Scale-Intergrated)
Bản chất song song đồ sộ của một mạng nơron làm cho mạng nơron đó
rất nhanh trong tính tốn đối với một số cơng việc. Đặc tính này cũng làm cho
một mạng nơron có khả năng phù hợp trong việc cài đặt sử dụng kỹ thuật
Very-large-scale-intergrated (VLSI). Kỹ thuật này cho phép xây dựng những
mạch cứng tính tốn song song quy mơ lớn. Chính vì vậy, ƣu điểm nổi bật của
VLSI là mang lại những phƣơng tiện hữu hiệu để có thể xử lý đƣợc những
hành vi có độ phức tạp cao.
1.2.7. Tính chất tƣơng tự trong phân tích và thiết kế
Về cơ bản, các mạng nơron có tính chất chung nhƣ là các bộ xử lý thông
tin. Điều này áp dụng cho tất cả các lĩnh vực có liên quan tới việc ứng dụng
mạng nơron. Đặc tính này thể hiện ở một số điểm nhƣ sau:
 Các nơron, dƣới dạng này hoặc dạng khác, biểu diễn một thành phần
chung cho tất cả các mạng nơron.
 Tính thống nhất này đem lại khả năng chia sẻ các lý thuyết và các
thuật toán học trong nhiều ứng dụng khác nhau của mạng nơron.
 Các mạng tổ hợp (modular) có thể đƣợc xây dựng thơng qua một sự
tích hợp các mơ hình khác nhau.
1.3. Phân loại mạng nơron nhân tạo
1.3.1. Phân loại theo kiểu liên kết nơron
Ta có mạng nơron truyền thẳng và nơron mạng quy hồi[17].
- Mạng truyền thẳng, các nơron đi theo một hƣớng nhất định tạo thành
đồ thị khơng có chu trình nhƣ trong hình 1.7. Chu trình có các đỉnh là các
nơron, cịn các cạnh là các liên kết giữa chúng.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên