Nhận dạng chữ viết tay tiếng việt sử dụng mạng nơron

21

LỜI
CẢM
ƠN
LỜI
CAM
ĐOAN
Xin xin
châncam
thành
cảmđềơn
PGS.TS.
Bá Dũng
tậnnhận
tình
Tôi
đoan
tàiThầy
luận giáo,
văn “Sử
dụngLê
mạng
noron đã
cho
chỉ dạy, hướng dẫn tôi trong suốt thời gian nghiên cứu và thực hiện luận văn.
dạng ký tự tiếng Việt” là công trình nghiên cứu của bản thân tôi. Các số liệu,
kết quả nghiên cúu nêu trong luận văn này là trung thực và không sao chép y
Tôi cũng xin chân thành cảm ơn các Thầy giáo Viện Công nghệ Thông
nguyên từ một công trình nào khác. Tôi xin chịu trách nhiệm về luận văn của
tin và các Thầy giáo Truông Đại học sư phạm Hà Nội 2 đã giảng dạy, giúp đờ

trong suốt thời gian học tập.
mình.

Xin cảm ơn tất cả các anh chị học viên Cao học khóa 15 - Khoa học
máy tính, cảm ơn các cán bộ công chức, giảng viên Trường Đại học sư phạm
Hà Nội 2 đã tạo điều kiện tốt cho tôi trong suốt trong hai năm học qua.
Hà Nội, tháng 11/2013
Xin cảm ơn các bạn bè, đồng nghiệp, gia đình đã tạo mọi điều kiện

Hà Nội, tháng 11/2013

Nguyễn Đửc Thịnh

Nguyễn Đức Thịnh


3

MỤC LỤC
Trang
LỜI CẢM ƠN..................................................................................................... 1
LỜI CAM ĐOAN............................................................................................... 2
MỤC LỤC...........................................................................................................3
DANH MỤC CÁC TỪ TIẾNG ANH VIẾT TẮT..........................................6
DANH MỤC CÁC HÌNH ..................................................................................7
LỜI NÓI ĐÀU....................................................................................................8
CHƯƠNG 1. MỘT SÓ VÁN ĐÈ VÈ MẠNG NƠRON.................................10
1.1.................................................................................Mạng Nơron sinh học
................................................................................................................10
1.2................................................................................................................Mạn

g No-ron nhân tạo..................................................................................11
1.2.1. Nơ-ron nhân tạo............................................................................11
1.2.2. Mạng nơ-ron nhân tạo..................................................................17
1.2.2.1. Mạng truyền thẳng..............................................................18
1.2.2.2. Mạng hồi quy (Recurrent Neutral Network)......................20
1.3.........................................................................Đặc trưng của mạng noron
................................................................................................................21
1.4......................................................................................Mạng KOHONEN
................................................................................................................24
1.4.1. Giới thiệu về mạng Nơron Kohonen............................................24
1.4.2. Cấu trúc của mạng noron Kohonen.............................................25
1.4.3. Thực hiện mạng nơron Kohonen.................................................27
1.4.3.1. Chuẩn hóa đầu vào...............................................................27
1.4.3.2.................................................................................................. Tín
h toán đầu ra cho mỗi nơron...............................................................28
1.4.3.3. Chọn nơron chiến thắng........................................................28
1.4.3.4. Quá trình học của mạng nơron Kohonen..............................29
1.4.4....................................................................................................Kết luận
33
CHƯƠNG 2. MỘT SỐ VÁN ĐỀ NHẬN DẠNG KÝ TỤ sử DỤNG
MẠNG NƠRON...............................................................................................35


4

2.1................................................................................................................ N
hận dạng ký tự.......................................................................................35
2.1.1. Giói thiệu về nhận dạng ký tự......................................................35
2.1.2. Mô hình tong quát của một hệ nhận dạng ký tự........................38
2.2..........................................................................................................Mộ

t số phương pháp nhận dạng ký tự..................................................38
2.2.1........................................................................................................ Đ
ấi sánh mẫu...............................................................................................38
2.2.2........................................................................................................ P
hương pháp tiếp cận cấu trúc..................................................................39
2.2.3. Mô hình Markov ẩn (HMM - Hidden Markov Model)..............40
2.2.4 Máy véc tơ tựa (SVM).......................................................................40
2.2.5. Mạng nơron....................................................................................41
2.2.5.1. Những bài toán thích họp.....................................................41
2.2.5.2. Các lĩnh vực ứng dụng mạng nơron.....................................41
CHƯƠNG 3. ỦNG DỤNG MẠNG KOHONEN CHO NHẬN
DẠNG KÝ Tự...................................................................................................43
3.1.......................................................................................................Bài toán
................................................................................................................43
3.1.1. Phát biếu bài toán..........................................................................43
3.1.2. Ỷ tưởng bài toán.............................................................................43
3.2................................................................................................................Xá
c định các tham số của mạng cho nhận dạng ký tự..............................43
3.2.1. Các bước giải quyết bài toán sử dụng mạng nơron
Kohonen.....................................................................................................43
3.2.1.1. Xây dựng giao diện vẽ..........................................................44
3.2.1.2. Xây dựng mạng nơron Kohonen..........................................44
3.2.1.3.................................................................................................. X
ử lý dữ liệu (phân tích ảnh).................................................................45
3.2.1.4. Huấn luyện mạng nơron Kohonen........................................46
3.2.1.5. Nhận dạng mạng noTon Kohonen........................................48
3.2.1.6. Kết luận..................................................................................48
3.2.2. Giao diện chương trình.................................................................49
3.2.3. Quá trình nhận dạng.....................................................................50

65

3.3.......................................................................................................Tí
DANH
MỤC CÁC TỪ TIẾNG ANH VIẾT TẮT
nh toán và huấn luyện mạng Noron........................................... 50
3.3.1. Tính toán đầu ra của mạng KOHONEN...................................50
3.3.2. Huấn luyện mạng noronKohonen.............................................52
3.4.......................................................................Kết quả chuơng trinh
....................................................................................................... 54
3.5.......................................................................................................Kế
t quả đạt được, hướng phát triển............................................... 56
3.5.1. Kết quả.........................................................................................56
3.5.2. Hướng phát triển tiếp theo............................................................56
KẾT LUẬN...................................................................................................57
TÀI LIỆU THAM KHẢO............................................................................58


7

DANH MỤC CÁC HÌNH
•

Hình 1.1. Mô hình noTơn sinh học

Hình 1.2. Mô hình một nơron

Hình 1.3. Mạng truyền thẳng một lóp

Hình 1.4. Mạng truyền thẳng nhiều lớp

Hình 1.5. Mạng một lớp có nối nguợc

Hình 1.6. Mạng nhiều lóp có nối ngược

Hình 1.7. Cấu trúc của mạng Kohonen


8

PHÀN MỞ ĐẦU

Công nghệ thông tin ngày nay càng ngày càng trở lên quan trọng trong
cuộc sống hàng ngày của chúng ta. Trong công nghệ thông tin, trí tuệ nhân
tạo hiện nay đang được quan tâm rất nhiều của xã hội. Nó như là một giải
pháp mang đến hy vọng mới mô phong được bộ não con người. Nghiên cứu
và mô phỏng trí não, cụ thế là tế bào thần kinh (Neural) là một ước muốn từ
lâu của nhân loại. Với khoảng 15 tỷ Neural ở não người, mỗi Neural có thế
nhận hàng vạn tín hiệu từ khớp thần kinh và được coi là một cơ chế sinh vật
phức tạp nhất. Bộ não con người có khả năng giải quyết rất nhiều vấn đề như:
nghe, nhìn, nói, hồi ức thông tin, phân biệt, phân tích các mẫu dựa trên một số
thông tin đã có. Neural thần kinh chính là yếu tố chính giúp chúng ta có thể
làm nhũng công việc như vậy. Bộ não phân công công việc xủ lí cho hàng tỉ
Neural có liên quan, điều khiển các mối liên hệ giữa các Neural đó. Neural
không ngừng nhận và truyền thông tin lẫn nhau. Cơ chế hoạt động của Neural
[1] bao gồm: liên kết (association), tống quát hóa (generation), và tự tố chức
(Self Orgazation). Các Nơron tự liên kết với nhau thành mạng trong xử lý.
Mỗi mạng gồm hàng vạn các phần tử Nơron khác nhau. Mỗi phần tử Noron
có khả năng liên kết với hàng nghìn các Nơron khác.

Hiện nay, mạng Nơron được đưa vào ứng dụng rộng rãi trong rất nhiều
lĩnh vực. Và bài toán nhận dạng là bài toán sử dụng các tính năng của mạng
Nơron nhiều nhất. Bài toán nhận dạng với sự trợ giúp của mạng Nơron ngày
nay đã không còn dừng ở mức độ nghiên cứu nữa mà nó trở thành một lĩnh
vực đế áp dụng vào thực tế. Các bài toán nhận dạng được nghiên cứu nhiều
nhất hiện nay tập trung vào nhận dạng mẫu hình học (vân tay, mặt người, hình
khối ...), nhận dạng tiếng nói và nhận dạng chữ viết. Chúng được ứng dụng


9

lĩnh vực tự động hóa như điều khiển rô-bốt, điều khiến các thiết bị bằng giọng
nói,.... Trong số các bài toán nhận dạng này, nhận dạng chữ viết đang được
ứng dụng rất phố biến. Nhận dạng chữ viết được ứng dụng trong quá trình tự
động hóa các công việc văn phòng như nhập liệu, lưu trữ văn bản, sách báo,
phân loại thư tín,..., những công việc rất nhàm chán và đòi hỏi nhiều thời
gian của con người. Nhận dạng bằng mạng Nơron đang được úng dụng trong
hàng loạt lĩnh vực quan trọng của cuộc sống, phục vụ lợi ích trực tiếp và thiết
thực cho công việc của con người.

Mục đích của luận văn là: Trình bày các kết quả nghiên cứu lý thuyết
phục vụ cho chủ đề: “Nhận dạng chữ viết tay Tiếng Việt sử dụng mạng
Nơron”. Tuy nhiên, do hạn chế về mặt thời gian cũng như độ phức tạp của bài


10

CHƯƠNG 1

MỘT SỎ VÁN ĐỀ VÈ MẠNG NƠRON

1.1.

Mạng Nơron sinh học

Bộ não con người có khoảng 1010 tế bào thần kinh liên kết chặt chẽ với
nhau được gọi là các no-ron. Mỗi nơ-ron gồm có ba phần: Thân nơ-ron với
nhân ở bên trong (soma), một đầu sợi trục thần kinh ra (axon) và một hệ
thống tế bào hình cây (dendrite). Te bào hình cây có nhiệm vụ mang các tín
hiệu điện tới các tế bào thân, tế bào thân sẽ thực hiện gộp (Sum) và phân
ngưỡng (Thresholds) các tín hiệu đến. Sợi trục thần kinh làm nhiệm vụ đưa
các tín hiệu thân ra ngoài.

Trong thực tế có rất nhiều dây thần kinh vào và chúng bao phủ một diện
tích rất lớn (0.25 mm2) đế nhận các tín hiệu từ các nơ-ron khác. Đầu thần kinh
ra được rẽ nhánh nhằm chuyến giao tín hiệu từ thân nơ-ron tới nơ-ron khác.
Các nhánh của đầu thần kinh được nối với các khóp thần kinh (synapse). Các
khớp thần kinh này được nối với thần kinh vào của các nơ-ron khác. Sự sắp
xếp của các nơ-ron và mức độ mạnh yếu của các khóp thần kinh được quyết
định bởi quá trình hóa học phức tạp, sẽ thiết lập chức năng của mạng nơ-ron,
các nơ-ron có thể sửa đối tín hiệu tại các khóp, trong các nơ-ron nhân tạo
được gọi là trọng số.


11

này cũng giải thích tại sao nhừng nghiên cứu khoa học về mạng nơ-ron nhân
tạo có điều kiện phát triến cùng với sự phát triến về kỹ thuật công nghệ phần
cứng máy tính.

Có nhiều loại nơ-ron khác nhau về kích thước và khả năng thu phát tín

Hình 1.1. Mô hình nơ-ron sinh học

Hoạt động của nơ-ron sinh học có thế mô tả tóm tắt như sau:

Mỗi nơ-ron nhận tín hiệu vào tù’ các tế bào thần kinh khác. Chúng tích
họp các tín hiệu vào, khi tống tín hiệu vượt quá một ngưỡng nào đó chúng tạo
tín hiệu ra và gửi tín hiệu này tới các nơ-ron khác thông qua dây thần kinh.
Các nơ-ron liên kết với nhau thành mạng. Mức độ bền vững của các liên kết


net

i-ị
12

các nơ-ron nhân tạo và kết nối giữa chúng (kết nối này gọi là weights). Nơ-ron là
một đơn vị tính toán có nhiều đầu vào và một đầu ra, mỗi đầu vào đến từ một
khớp nối thần kinh (synapse). Đặc trưng của nơ-ron là một hàm kích hoạt phi
tuyến chuyến đối một tố họp tuyến tính của tất cả các tín hiệu đầu vào thành
tín hiệu đầu ra.

Một nơ-ron nhân tạo là một đon vị tính toán hay đon vị xử lý thông tin
cơ sở cho hoạt động của một mạng nơ-ron.
Các thành phần cơ bản của một mô hình nơ-ron.[ 1]

- Trọng số và tống tín hiệu đầu vào:
N

(1.1)

N
(ii) Dạng toàn phưong:

(1.2)

(iii) Dạng mặt câu:
(1.3)
Trong đó: p và w.. j = \,N lần lượt là tâm và bán kính mặt cầu


13

- Hàm kích hoạt (hàm chuyển):

Hầu hết các đơn vị trong mạng nơ-ron chuyển net input bằng cách sử
dụng một hàm vô hướng (scalar - to - scalar íìinction) gọi là hàm kích hoạt,
kết quả của hàm này là một giá trị gọi là mức độ kích hoạt của đơn vị. Trừ
khả năng đơn vị đó thuộc lớp ra, giá trị kích hoạt được đưa vào một hay nhiều
đơn vị khác. Các hàm kích hoạt thường bị ép vào một khoảng giá trị xác định,
do đó thường được gọi là các hàm nén (squashing).

Hàm biến đối tín hiệu đầu vào net cho tín hiệu đầu ra out được gọi là
hàm kích hoạt. Hàm này có đặc điếm là không âm và bị chặn, dùng đế giới
hạn biên độ đầu ra của nơ-ron. Có nhiều dạng hàm kích hoạt, người ta thường
sử dụng một hàm kích hoạt chung cho toàn mạng.

Đồ thị hàm đồng nhất (Identity function)

14

ở đây 0 là ngưỡng.
X

2

3

Dạng hàm này thường sử dụng trong mạng một lớp. Trong hình vẽ
6 được chọn băng 1.

3) Hàm sigmoid (Sigmoid íimction (logsig))

ỡ(*) = —^

(1.6)

Ớ đó Ả là tham số độ dắc của hàm sigma. Bằng việc biến đối tham số
Ả , chúng ta thu được các hàm sigma với các độ dốc khác nhau. Thực tế, hệ số
góc tại x= 0 là ^ /4. Khi tham số hệ số góc tiến tới không xác định, hàm sigma
trở thành một hàm ngưỡng đơn giản. Trong khi một hàm ngưỡng chỉ có giá
trị là 0 hoặc 1, thì một hàm sigma nhận các giá trị từ 0 tới 1. Cũng phải ghi
nhận rằng hàm sigma là hàm phân biệt, trong khi hàm ngưỡng thì không
(Tính phân biệt của hàm là một đặc tính quan trọng trong lý thuyết mạng


15

bởi thuật toán lan truyền nguợc (back -propagation), bởi nó dễ lấy đạo hàm,
làm giảm đáng kế tính toán trong quá trình huấn luyện. Hàm đuợc dùng cho

Đồ thị hàm sigmoid

4) Hàm sigmoid lưỡng cực (Bipolar sigmoid íunction (tan(sig))

Đồ thị hàm sigmoid lưcmg cực

Các hàm chuyển của các đơn vị ấn (hidden units) là cần thiết đế biểu
diễn sự phi tuyến vào trong mạng.


16

SjMô hình của một nút xử lý (nút thứ i):
Các liên
kết ra

Hình 1.2. Mô hình no-ron


17

1.2.2.

Mạng nơ-ron nhân tạo

Mạng nơ-ron nhân tạo (ArtiỊỉcỉaỉ Neural Network - ANN) là mô hình

toán học hay mô hình tính toán được xây dựng dựa trên các mạng nơ-ron sinh
học. Nó gồm có một nhóm các nơ-ron nhân tạo (nút) nối với nhau và xử lý
thông tin bằng cách truyền theo các kết nối và tính giá trị mới tại các nút
(cách tiếp cận connectionism đối với tính toán). Phần lớn mạng nơ-ron nhân
tạo là một hệ thống thích ứng (iadaptỉve System) tự thay đổi cấu trúc của mình
dựa trên các thông tin bên ngoài hay bên trong chảy qua mạng trong quá trình
học.

Với việc giả lập các hệ thống sinh học, các cấu trúc tính toán, mạng nơron có thể giải quyết được các lớp bài toán nhất định, như: Bài toán người du
lịch, bài toán tô màu bản đồ, bài toán nhận dạng mẫu... Các bài toán phức tạp
cao, không xác định. Tuy nhiên, sự liên kết giữa một bài toán bất kỳ trong
thực tế với một giải pháp mạng nơ-ron lại là một việc không dễ dàng.

Xét một cách tổng quát, mạng no-ron là một cấu trúc xử lý song song
thông tin phân tán mang các đặc tính nôi bật sau :

- Là mô hình toán học dựa trên bản chất của nơ-ron.

- Bao gồm một số lượng rất lớn các nơ-ron liên kết với nhau.


18

1.2.2.1.

Mạng truyền thẳng.

- Mạng truyền thắng một lóp

Mạng perceptron một lớp do F.Rosenblatt đề xuất năm 1960 là mạng

truyền thang chỉ một lớp vào và một lớp ra không có lóp ấn. Trên mỗi lóp này
(1.8)

Mô hình mạng nơ-ron truyền thắng một lóp là mô hình liên kết cơ bản
và đơn giản nhất. Các nơ-ron tố chức lại với nhau tạo thành một lớp, đường
truyền tín hiệu được truyền theo một hướng nhất định nào đó. Các đầu vào
được nối với các nơ-ron theo các trọng số khác nhau, sau quá trình xử lý cho

Hình 1.3. Mạng truyền thăng một lóp
Với mỗi giá trị đầu vào: x= ..,x VỊ. Qua quá trình xử lý của

đươc xác đinh như sau:


7

ii

i

ĩ?
19

Cj=1
aem
ộ0
—
y = f £ẳ w..x. - q ịi =
1,n

Trong đó:

m: Số tín hiệu
vào.
n: Số tín hiệu ra.

Tống thông tin đầu vào Xw,y*
Trong trường họp trái lại nơ-ron sẽ được phân vào lóp B.
- Mạng truyền thẳng nhiều lóp (Multilayer Perceptron -MLP)

Với mạng nơ-ron truyền thắng một lóp ở trên, khi phân tích một bài
toán phức tạp sẽ gặp rất nhiều khó khăn, đế khắc phục vấn đề này người ta
đưa ra mô hình mạng nơ-ron truyền thắng nhiều lớp bằng việc kết hợp một số
lóp nơ-ron lại với nhau. Lớp nhận tín hiệu vào gọi là lóp vào, lớp đưa tín hiệu
ra của mạng được gọi là lớp ra. Các lóp ở giữa lóp vào và lóp ra được gọi là
lóp ấn và các nơ-ron trong các lớp ấn có hàm chuyển (hàm kích hoạt) dạng
phi tuyến. Mạng nơ-ron nhiều lớp có thế giải quyết các bài toán phi tuyến nhờ
vào các lớp ấn. Càng nhiều lớp ấn thì khả năng mở rộng thông tin càng cao và


20

Hình (1.4) mô tả cấu trúc của mạng nơ-ron truyền thắng nhiều lóp.

1.2.2.2. Mạng

hồi

quy

(Recurrent

Neutral
Yi
Y2

YM

Y,
Y2

YM

Hình 1.6. Mạng nhiều lóp có nối ngược


21

1.3.

Đặc trưng của mạng nơron.

Tiến trình học là tiến trình quan trọng của con người, nhờ học mà bộ
não ngày càng tích lũy các kinh nghiệm đế thích nghi với môi trường và xử lý
tình huống tốt hon. Mạng nơ-ron xây dụng lại cấu trúc bộ não thì phải cần có
khả năng nhận biết dữ liệu thông qua tiến trình học, với các thông số tự do
của mạng có thế thay đối liên tục bởi nhũng thay đối của môi trường và mạng
nơ-ron ghi nhớ giá trị đó.

Trong quá trình học, giá trị đầu vào được đưa vào mạng và theo dòng

chảy trong mạng tạo thành giá trị đầu ra.

Tiếp đến là quá trình so sánh giá trị tạo ra bởi mạng nơ-ron vói giá trị
mong muốn. Neu hai giá trị này giống nhau thì không thay đối gì cả. Tuy
nhiên, nếu có một sai lệch giữa hai giá trị này vượt quá giá trị sai số mong
muốn thì đi ngược mạng từ đầu ra về đầu vào đế thay đối một số kết nối.

Đây là quá trình lặp lại liên tục và có thế không dừng khi không tìm
được giá trị w sao cho đầu ra tạo bởi mạng no-ron bằng đúng đầu ra mong
muốn. Do đó trong thực tế người ta phải thiết lập một số tiêu chuẩn dựa trên
một giá trị sai số nào đó của hai giá trị này, hay dựa trên một số lần lặp nhất
định.


22

đồng thời từ đó giải quyết dễ dàng một số bài toán thuộc lớp bài toán NP- đầy
đủ (NP-Complete).

Các luật học đóng vai trò quan trọng trong việc xác định một mạng
nơ-ron nhân tạo. Một cách đơn giản về khái niệm học của mạng nơ-ron là cập
nhật trọng số trên cơ sở các mẫu. Theo nghĩa rộng thì học có thể đuợc chia ra
làm hai loại: Học tham số và học cấu trúc.

- Học tham số: Các thủ tục học này nhằm tìm kiếm ma trận trọng số sao
cho mạng có khả năng đưa ra dự báo sát với thực tế. Dạng chung của luật học
tham số có thể được mô tả như sau:
ĐVỵ=hrx.J=ĨN,j=ịM

(1.11)

Trong đó:

AWy: Là sự thay đối trọng số liên kết từ nơron j đến nơron i.
X,: Là tín hiệu vào noTon i.
Y
J
ý

77: Là tốc độ học, nằm trong khoảng (0,1).

r: Là hằng số học.


23

Trong nhóm luật học này cũng cần phải kể đến luật học Perceptron của
Rosenblatt (1958). về cơ bản luật học này thay đối các giá trị trọng trong thời
gian học, còn luật Perceptron thì thêm hoặc bỏ trọng tùy theo giá trị sai số
dương hay âm.

Một loạt các luật học khác cũng được dựa trên tư tưởng này. Luật Oja
là cải tiến và nâng cấp của luật Delta. Luật truyền ngược là luật mở rộng của
luật Delta cho mạng nhiều lóp. Đối với mạng truyền thắng thường sử dụng
luật truyền ngược để chỉnh trọng với tín hiệu chỉ đạo tù’ bên ngoài và người ta
gọi mạng này là mạng lan truyền ngược.

+ Học không có tín hiệu chỉ đạo: Luật học này sử dụng đầu ra của
mạng làm cơ sở đế hiệu chỉnh các trọng số liên kết. Hay trong luật này chính
là tín hiệu ra của mạng. Điển hình là luật Hebb (1949) thường dùng cho các

mạng tự liên kết, luật LVQ (Leaming Vector Quantization) dùng cho mạng tự
tố chức một lóp thuộc lóp mạng ánh xạ đặc trung của Kohonen.

Luật học Hebb là luật sinh học xuất phát tù’ tiên đề của Hebb cho rằng:
Giữa hai nơ-ron có quan hệ và có thay đối thế năng thì giữa chúng có sự thay
đối trọng số liên kết. Nói cách khác, trọng số được điều chỉnh theo mối tương
quan trước và sau, nghĩa là:
ĐW=hyix.J=Wìj=XM

(1.12)


24

Luật Hebb giải thích việc chỉnh trọng trong phạm vi cục bộ của mạng
mà không cần tín hiệu chỉ đạo từ bên ngoài. Hopíleld cũng cải tiến luật Hebb
cho các mạng tự liên kết thành 16 dạng khác nhau theo kiếu luật Hebb, luật
đối Hebb, luật Hopíìeld...

Nhu vậy, ứng với mỗi nhóm mạng thường áp dụng một luật học nhất
định. Neu tồn tại hàng chục loại mạng khác nhau thì các luật học dùng trong
mạng no-ron có thế tăng lên rất nhiều lần.

Đối với mạng phản hồi thuờng sử dụng luật Hebb và các luật cải tiến
của nó đế chỉnh trọng mà không cần tín hiệu chỉ đạo từ bên ngoài.

+ Học tăng cườỉĩg: Trong một số trường họp, thông tin phản hồi chỉ là
tín hiệu bao gồm hai trạng thái cho biết tín hiệu đầu ra của mạng là đủng hay
sai. Quá trình học dựa trên các thông tin hướng dẫn như vậy được gọi là học
có củng cố (học tăng cưòng) và tín hiệu mang thông tin phản hồi được gọi là

tín hiệu củng cố cho quá trình học. Ta có thể thấy rằng quá trình học này là
một dạng của quá trình học có tín hiệu chỉ đạo bởi vì mạng nhận được một số
thông tin phản hồi từ bên ngoài.

+ Học cấu trúc: Tìm kiếm các tham số của cấu trúc mạng để tìm ra một
cấu trúc mạng hoạt động tốt nhất. Trong thực tế, việc học cấu trúc là tìm ra số
lóp ấn và tìm ra số nơ-ron trên mỗi lóp đó. Giải thuật di truyền thường được
sử dụng trong các cấu trúc nhưng thường chạy rất lâu, thậm chí ngay cả đối
với mạng có kích thước trung bình. Ngoài ra kỹ thuật gọt tỉa mạng hay mạng


25

Mạng Nơron Kohonen (hay còn gọi là SOM (Self-Organizing Maps) Bản đồ tự tố chức) là một trong nhiều loại mạng thông minh nhân tạo (AI) do
cố giáo sư, tiến sĩ Teuvo Kohonen đề xướng vào những năm 70 của thế kỷ
trước. Ồng là một trong những nhà nghiên cúư nối tiếng và có nhiều công
trình trong lĩnh vực tính toán nơron.

Thông thường, mạng noTon Kohonen gồm một lóp đầu vào và lóp đầu
ra.
Mạng này được đặt tên bởi tên người lập ra nó, cố giáo sư, tiến sĩ T. Kohonen.
Mạng Kohonen khác biệt so với mạng noTon lan truyền ngược dẫn tiến ở cách
huấn luyện và cách nó nhớ lại một mô hình. Mạng Kohonen không sử dụng
một loại hàm kích hoạt nào. Xa hon là nó không sử dụng loại trọng số bias
nào.

Đầu ra của mạng Kohonen không bao gồm đầu ra của một số nơron.
Khi có một mẫu được đưa vào mạng thì chỉ có một nơron đầu ra được lựa
chọn gọi là noxon chiến thắng. Nơron chiến thắng này chính là đầu ra của
mạng Kohonen. Thông thường thì các noron chiến thắng này đại diện cho các

nhóm dữ liệu đưa vào mạng Kohonen.

Điếm khác biệt quan trọng nhất giữa mạng Kohonen va mạng nơron
truyền thẳng lan truyền ngược là mạng nơron Kohonen học theo phương pháp
học không giám sát, có nghĩa là mạng noxon Kohonen thao tác với dữ liệu


27
26

Input trom txternal

Hìnhnơron
1.8 dưới
mộtEnviror^ment
mạng
Kohonen
điểndữhình.
Các
đầuđây
vàolà chỉ
đon
giản
cung cấp
liệu vào cho mạng chứ
không có chức năng xử lý gì trên đấy. Đối với mạng nơron Kohonen yêu cầu
đầu vào được chuấn hóa có giá trị trong phạm vi từ -1 đến +1.

Đầu ra của mạng Kohonen không bao gồm đầu ra của một số nơron.
Đối với mạng nơron truyền thắng, nếu có năm nơron đầu vào thì một đầu ra

bao gồm năm giá trị. Còn mạng nơron Kohonen khi có một mẫu được đưa
vào mạng thì chỉ có một nơron đầu ra được lựa chọn gọi là noTon chiến thắng.
Noron chiến thắng này chính là đầu ra của mạng noTon Kohonen. Đầu ra của
mạng nơron Kohonen thường là chỉ số của nơron chiến thắng, ví dụ Nơron

«23
Hình 1.8: Mạng noron Kohonen điển hình
1.4.3.

Thực hiện mạng nơron Kohonen.

1.4.3.1.

Chuẩn hóa đầu vào.

Mạng Kohonen yêu cầu đầu vào được chuẩn hóa. Dữ liệu đầu vào nên
có giá trị nằm trong khoảng -1 đến 1. Neu một hoặc nhiều hơn nơron đầu vào
sử dụng các giá trị chỉ nằm trong khoảng từ 0 đến 1 thì mạng nơron hoạt động
không đảm bảo chất lượng, đế chuấn hóa đầu vào, việc đầu tiên chúng ta phải

Hình 1.9. Dữ liệu đầu vào nơron

Hình 1.10. Trọng số kết nối giữa các nơron


28

Đê chuân hóa dữ liệu đầu vào, chúng ta sẽ tính toán độ dài vector (vector
length) của các dữ liệu đầu vào, hoặc vector đầu vào. Trong trường hợp này độ dài
vector sẽ là: (0.5 * 0.5) + (0.75 * 0.75) = 0.8125.

Vậy trường hợp trên sẽ có độ dài vector là 0.8125. Sử dụng độ dài này, chúng ta có
thê xác định được hệ sô chuân hóa. Hệ sô chuân hóa là sô nghịch đảo của căn bậc
hai độ dài vector đầu vào. Trong trường hợp trên thì hệ số chuân hóa là:

1
^/0.8125

1.4.3.2.

Tính toán đầu ra cho mỗi noron.

Đe tính toán đầu ra cho mỗi véctơ đầu vào thì phải cùng xem xét véctơ
đầu vào và trọng số. Đầu tiên phải tính tích vô hướng của các nơron đầu vào
s

1

(1.13)

Xét đầu ra của noron thứ j bây giờ được chuấn hóa bằng cách nhân giá

(1.14)

Giá trị vừa được tính toán phải được ánh xạ thành số lường cực. Đe ánh
output(j) = [output(j) + 1] * 0.5
(1.15)