Tìm hiểu mô hình som và ứng dụng trong tư vấn thi đại học.

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CNTT & TRUYỀN THÔNG





Nguyễn Thế Huy


TÌM HIỂU MÔ HÌNH SOM
VÀ ỨNG DỤNG TRONG TƯ VẤN THI ĐẠI HỌC


LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH






Thái Nguyên – 2012

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CNTT & TRUYỀN THÔNG



Nguyễn Thế Huy

TÌM HIỂU MÔ HÌNH SOM
VÀ ỨNG DỤNG TRONG TƯ VẤN THI ĐẠI HỌC


Chuyên ngành: Khoa học máy tính
Mã số: 60.48.01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

NGƯỜI HƯỚNG DẪN KHOA HỌC
TSKH. Nguyễn Minh Hải



Thái Nguyên – 2012
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

LỜI CẢM ƠN

Đầu tiên tôi xin gửi lời cảm ơn chân thành đến thầy TSKH. Nguyễn
Minh Hải - Học viện Công nghệ bƣu chính viễn thông đã tận tình hƣớng dẫn,
chỉ bảo cho tôi trong suốt quá trình làm luận văn.
Tôi cũng xin gửi lời cảm ơn đến các thầy cô trƣờng Đại học Công nghệ
thông tin và Truyền thông – Đại học Thái Nguyên, các thầy cô Viện Công
nghệ thông tin đã truyền đạt những kiến thức và giúp đỡ tôi trong suốt quá
trình học của mình.
Tôi cũng xin gửi lời cảm ơn tới các đồng nghiệp trong Trung tâm Giáo
dục thƣờng xuyên An Dƣơng, gia đình và bạn bè những ngƣời đã động viên
tạo mọi điều kiện giúp đỡ tôi trong suốt hai năm học.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

LỜI CAM ĐOAN
Tôi xin cam đoan toàn bộ nội dung trong luận văn này do tôi tự nghiên
cứu, đọc, dịch tài liệu, tổng hợp và thực hiện. Trong luận văn tôi có sử dụng
một số tài liệu tham khảo nhƣ đã trình bày trong phần tài liệu tham khảo.
Ngƣời viết luận văn


Nguyễn Thế Huy


Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

i
MỤC LỤC
DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT iv
DANH MỤC CÁC BẢNG v
DANH MỤC CÁC HÌNH VẼ vi
MỞ ĐẦU 1
Chƣơng 1: TÌM HIỂU VỀ MẠNG NƠRON VÀ MỘT SỐ PHƢƠNG PHÁP
PHÂN CỤM 3
1.1 Mạng nơron sinh học 3
1.1.1 Cấu trúc một nơron sinh học 3
1.1.2 Hoạt động của nơron sinh học 4
1.2 Mạng nơron nhân tạo 4
1.2.1 Cấu trúc và mô hình của một nơron nhân tạo 4
1.2.2 Mô hình của mạng nơron nhân tạo 7
1.2.3 Mạng nơron một lớp 9
1.2.4 Mạng nơron truyền thẳng nhiều lớp 10
1.2.5 Mạng Hopfield 11

1.3 Các luật học 12
1.3.1 Quy tắc học của mạng nơron nhân tạo 12
1.3.2 Học có giám sát 13
1.3.3 Học không giám sát 14
1.3.4 Học tăng cƣờng 15
1.4 Một số phƣơng pháp phân cụm dữ liệu 15
1.4.1 Phân cụm và các thành phần trong phân cụm dữ liệu 15
1.4.2 Phƣơng pháp phân cụm phân cấp 16
1.4.3 Phƣơng pháp phân cụm phân hoạch 16
1.4.4 Phƣơng pháp phân cụm dựa trên mật độ 17
1.4.5 Phân cụm dữ liệu dựa trên lƣới 17

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

ii
1.4.6 Phân cụm dữ liệu dựa trên sự ràng buộc 17
1.5 Kết luận chƣơng 1 18
Chƣơng 2: PHÂN CỤM DỮ LIỆU SỬ DỤNG MẠNG SOM 19
2.1 Thuật toán phân cụm dữ liệu 19
2.2 Thuật toán phân cụm tuyến tính không giám sát 20
2.2.1 Thuật toán phân cụm K-mean 20
2.2.2 Thuật toán phân cụm mờ C-mean 22
2.2.3 Thuật toán phân cụm phân cấp 24
2.2.4 Thuật toán phân cụm EM (Expectation Maximization) 25
2.2.5 Thuật toán phân cụm chất lƣợng ngƣỡng 26
2.3 Thuật toán phân cụm phi tuyến tính không giám sát 27
2.3.1 Thuật toán phân cụm MST (Minimum spanning tree) 27
2.3.2 Thuật toán phân cụm dữ liệu Kernel K-mean. 28
2.3.3 Thuật toán phân cụm dựa trên mật độ DBSCAN 29
2.4 Mạng nơron Kohonen (SOM) 30

2.4.1 Giới thiệu về mạng Kohonen (SOM) 30
2.4.2 Cấu trúc của SOM 31
2.4.3 Khởi tạo SOM 32
2.4.4 Huấn luyện SOM 33
2.4.5 Tỉ lệ học 34
2.4.6 Hàm lân cận 35
2.4.7 Cập nhật trọng số 37
2.4.8 Xác định nơron chiến thắng 38
2.4.9 Bảo toàn cấu trúc liên kết 39
2.5 SOM sử dụng trong phân cụm dữ liệu 40
2.5.1 SOM phân cụm với bản đồ một chiều 41
2.5.2 SOM phân cụm với bản đồ 2 chiều 41

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

iii
2.5.3 Xác định ranh giới các cụm 42
2.5.4 Trực quan mạng 43
2.6 Kết luận chƣơng 2 44
Chƣơng 3 : ỨNG DỤNG CỦA MẠNG SOM CHO TRỢ GIÚP HỌC SINH
THI ĐẠI HỌC 46
3.1 Giới thiệu về bài toán trợ giúp học sinh thi đại học 46
3.2 Giới thiệu công cụ SOM Toolbox 46
3.3 Chƣơng trình thử nghiệm 47
3.3.1 Thu thập dữ liệu 47
3.3.2 Phân tích tập dữ liệu 51
3.3.3 Khởi tạo và huấn luyện SOM 51
3.3.4 Kết quả và phân tích dữ liệu sau khi huấn luyện SOM 53
3.4 Kết luận chƣơng 3 64
KẾT LUẬN 65

TÀI LIỆU THAM KHẢO 66

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

iv

DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT
SOM (Self Organizing Maps)
Mạng nơron tự tổ chức
ĐH
Đại học
HV
Học viện
PE (Processing element)
Phần tử xử lý
U-matrix (unified distance matrix)
Ma trận thống nhất khoảng cách
EM (Expectation maximization)
Thuật toán tối đa hóa
MST (Minimum spanning tree)
Thuật toán tối thiểu cây mở rộng
BMU (Best – Matching unit)
Đơn vị phù hợp nhất
DBSCAN (Density Based Spatial
Clustering of Applications with Noise)
Phân cụm dữ liệu dựa trên không
gian mật độ ứng dụng với nhiễu

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

v
DANH MỤC CÁC BẢNG
Bảng 3.1: Thông tin về một số trƣờng đại học của Việt Nam 49
Bảng 3.2: Kết quả các cụm sau khi huấn luyện SOM 54


Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

vi
DANH MỤC CÁC HÌNH VẼ
Hình 1.1: Mô hình nơron sinh học 3
Hình 1.2: Mô hình một nơron nhân tạo 5
Hình 1.3: Đồ thị các dạng hàm truyền 7
Hình 1.4: Mạng nơron ba lớp 8
Hình 1.5: Một số dạng mạng nơron 10
Hình 1.6: Cấu trúc mạng Hopfield 11
Hình 1.7: Học có giám sát 14
Hình 1.8: Học không giám sát 14
Hình 2.1: Cấu trúc của mạng SOM 32
Hình 2.2: Cập nhật BMU và lân cận của nó với mẫu đầu vào x 34
Hình 2.3: Hàm tỉ lệ học theo thời gian 35
Hình 2.4: Giá trị của hàm lân cận Gausian(a) và hàm bubble(b) 37
Hình 2.5: Bảo toàn cấu trúc liên kết các cụm 40
Hình 3.1: Trực quan mạng sử dụng U-matrix 54
Hình 3.2: Trực quan các thành phần bản đồ 61

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

1
MỞ ĐẦU

Trong cuộc sống hàng ngày con ngƣời chúng ta tiếp nhận rất nhiều thông
tin. Với khối lƣợng thông tin khổng lồ đòi hỏi con ngƣời phải phân tích chúng
và phân chia chúng thành các dạng thông tin khác nhau. Cùng với sự phát
triển của công nghệ thông tin các phƣơng pháp, thuật toán phân cụm dữ liệu
ra đời giúp cho con ngƣời có khả năng phân chia các loại thông tin khác nhau
để phục vụ cho công việc và trong cuộc sống hàng ngày.
Mạng nơron SOM đƣợc giáo sƣ Teuvo Kohonen của trƣờng đại học
Helsinki Phần Lan phát triển vào những năm 80 của thế kỷ 20 [7]. Đây là
mạng truyền thẳng sử dụng thuật học cạnh tranh, không giám sát có khả năng
phân cụm dữ liệu với một lƣợng lớn dữ liệu đầu vào.
Với sự phát triển của xã hội cuộc sống của con ngƣời đƣợc nâng cao
ngày càng có nhiều bậc phụ huynh quan tâm đến việc học tập của con em
mình đặc biệt là đối với những gia đình có con em đang học lớp 12 năm học
cuối cấp đánh dấu bƣớc ngoặt của cuộc đời của học sinh trong việc tìm kiếm
trƣờng học và công việc trong tƣơng lai. Với số lƣợng trên 300 trƣờng đại học
và cao đẳng của Việt Nam việc lựa chọn ra một trƣờng để cho học sinh theo
học là một công việc hết sức khó khăn. Chính vì lý do đó em mạnh dạn đề
xuất đề tài ” Tìm hiểu mô hình SOM và ứng dụng trong tư vấn thi đại học”.
Luận văn tập trung vào tìm hiểu mạng SOM và sử dụng SOM trong phân cụm
dữ liệu.
Phƣơng pháp nghiên cứu chính là tìm hiểu các tài liệu bài báo viết về
mạng SOM và sử dụng công cụ SOM Toolbox để huấn luyện mạng SOM
phân cụm các trƣờng đại học, cao đẳng của Việt Nam từ đó đƣa ra những
nhận xét, đánh giá, tƣ vấn cho học sinh đăng kí dự thi vào các trƣờng.
Nội dung luận văn gồm có 3 chƣơng:

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

2
Chƣơng 1: Giới thiệu về mạng nơron nhân tạo, một số loại mạng nơron

nhân tạo, các luật học của mạng nơron nhân tạo và một số phƣơng pháp phân
cụm.
Chƣơng 2: Giới thiệu một số thuật toán phân cụm phổ biến, ƣu nhƣợc
điểm của từng thuật toán phân cụm. Trong chƣơng này trình bày về mạng
SOM: Giới thiệu về mạng SOM, cấu trúc của SOM, các phƣơng pháp khởi
tạo, huấn luyện SOM, tỉ lệ học, các hàm lân cận, phƣơng pháp xác định nơron
chiến thắng và sử dụng SOM trong phân cụm dữ liệu.
Chƣơng 3: Trình bày về sử dụng công cụm SOM Toolbox phân cụm các
trƣờng đại học để đƣa ra những đánh giá về các trƣờng từ đó đƣa ra những trợ
giúp cho học sinh thi đại học.
Thái Nguyên, tháng 9 năm 2012
Ngƣời viết luận văn



Nguyễn Thế Huy


Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

3
Chƣơng 1: TÌM HIỂU VỀ MẠNG NƠRON VÀ MỘT SỐ PHƢƠNG
PHÁP PHÂN CỤM
1.1 Mạng nơron sinh học
1.1.1 Cấu trúc một nơron sinh học
Bộ não con ngƣời chứa khoảng 10
11
nơron thần kinh. Cấu trúc của một
nơron thần kinh gồm các phần:
- Myelin là lớp cách nhiệt đƣợc bao quanh những Axons của dây thần

kinh. Nhiệm vụ của lớp vỏ Myelin này là giúp việc dẫn truyền các tín hiệu
của các dây thần kinh đƣợc nhanh chóng và hiệu quả.
- Axon của một nơron là một sợi dây đơn giản mang tín hiệu từ Soma
của một nơron này tới Dendrite hay Soma của một nơron khác.
- Dendrite của một nơron là những nhánh ngắn chạy từ thân nơron ra,
nhiệm vụ của chúng là tiếp nhận những tín hiệu từ những nơron khác đƣa đến
qua những Axons.
- Khoảng giữa những sợi Myelin đƣợc gọi là nút Ranvier.
- Soma hay thân tế bào nơron gồm một nhân và những cấu trúc khác của
một tế bào.
- Synapse là nơi hai nơron tiếp xúc nhau. Những thông tin hoá điện giữa
các nơron xảy ra tại đây.




Hình 1.1: Mô hình nơron sinh học
Dendrite
Nút
Ranvier
Soma

Điểm tận cùng
của Axon
Sợi Axon bao
bởi Myelin
Một đoạn
Myelin

Nhân

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

4
1.1.2 Hoạt động của nơron sinh học
Các tín hiệu đƣa ra bởi một khớp nối và đƣợc nhận bởi các dây thần
kinh vào là kích thích điện tử. Việc truyền tín hiệu nhƣ trên liên quan đến
một quá trình hóa học phức tạp mà trong đó các chất truyền đặc trƣng đƣợc
giải phóng từ phía gửi của nơi tiếp nối. Điều này làm tăng hay giảm điện thế
bên trong thân của nơron nhận. Nơron nhận tín hiệu sẽ kích hoạt nếu điện
thế vƣợt ngƣỡng nào đó. Và một điện thế hoạt động với cƣờng độ cùng thời
gian tồn tại cố định đƣợc gửi ra ngoài thông qua đầu dây thần kinh tới phần
dây thần kinh vào rồi tới chỗ khớp nối để đến nơron khác. Sau khi kích hoạt,
nơron sẽ chờ trong một khoảng thời gian đƣợc gọi là chu kỳ cho đến khi nó
có thể đƣợc kích hoạt lại.
Có 2 loại khớp nối là khớp nối kích thích và khớp nối ức chế. Khớp nối
kích thích sẽ cho tín hiệu qua nó để tới nơron, còn khớp nối ức chế có tác
dụng làm cản tín hiệu của nơron.
Cấu trúc mạng nơron luôn thay đổi và phát triển, các thay đổi có
khuynh hƣớng chủ yếu là làm tăng hay giảm độ mạnh các mối liên kết thông
qua các khớp nối. Các khớp nối đóng vai trò rất quan trọng trong sự học tập.
Khi chúng ta học tập thì hoạt động của các khớp nối đƣợc tăng cƣờng, tạo
lên nhiều liên kết mạnh giữa các nơron. Có thể nói rằng ngƣời nào học càng
giỏi thì càng có nhiều khớp nối và các khớp nối ấy càng mạnh mẽ, hay nói
cách khác thì liên kết giữa các nơron càng nhiều càng nhạy bén.
1.2 Mạng nơron nhân tạo
1.2.1 Cấu trúc và mô hình của một nơron nhân tạo
Mô hình toán học của mạng nơron sinh học đƣợc đề xuất bởi McCulloch và
Pitts [2], thƣờng đƣợc gọi là nơron M-P, ngoài ra nó còn đƣợc gọi là phần tử xử lý

và đƣợc ký hiệu là PE .
Mô hình nơron có m đầu vào x
1
, x
2
, , x
m
, và một đầu ra y
i
nhƣ sau:

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

5

.
.
.
w
i1
x
1

.
.
.
.

x
2

x
m

w
i2
w
im
m


f()
y
i
i
θ

Ngƣỡng
Đầu

vào

Trọng số liên kết

Hàm truyền

Đầu ra

Hàm tổng

Hình 1.2: Mô hình một nơron nhân tạo
Giải thích các thành phần cơ bản:
- Tập các đầu vào: Là các tín hiệu vào của nơron, các tín hiệu này thƣờng
đƣợc đƣa vào dƣới dạng một vector m chiều.
- Tập các liên kết (các trọng số): Mỗi liên kết đƣợc thể hiện bởi một trọng số
liên kết. Trọng số liên kết giữa tín hiệu vào thứ j cho nơron i thƣờng đƣợc ký hiệu là
w
ij
. Thông thƣờng các trọng số này đƣợc khởi tạo ngẫu nhiên ở thời điểm khởi tạo
mạng và đƣợc cập nhật liên tục trong quá trình học mạng.
- Bộ tổng (hàm tổng): Thƣờng dùng để tính tổng của tích các đầu vào với
trọng số liên kết của nó.
- Ngƣỡng: Ngƣỡng này thƣờng đƣợc đƣa vào nhƣ một thành phần của hàm
truyền.
- Hàm truyền: Hàm này dùng để giới hạn phạm vi đầu ra của mỗi nơron. Nó
nhận đầu vào là kết quả của hàm tổng và ngƣỡng đã cho. Thông thƣờng, phạm vi
đầu ra của mỗi nơron đƣợc giới hạn trong đoạn [0,1] hoặc [-1,1]. Các hàm truyền
rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến. Việc lựa chọn hàm truyền
tùy thuộc vào từng bài toán và kinh nghiệm của ngƣời thiết kế mạng.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

6
- Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa một đầu
ra.
Về mặt toán học, cấu trúc của một nơron i đƣợc mô tả bằng cặp biểu thức sau:

ii
y f(net - )θ

và
i ij j
net w x


Trong đó: x
1
, x
2
, …x
m
là các tín hiệu đầu vào, còn w
i1
, w
i2
,…,w
im
là các trọng
số kết nối của nơron thứ i, net
i
là hàm tổng, f là hàm truyền,
i
θ
là một ngƣỡng, y
i
là
tín hiệu đầu ra của nơron.
Nhƣ vậy, tƣơng tự nhƣ nơron sinh học, nơron nhân tạo cũng nhận các tín hiệu
đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu
đƣợc rồi gửi kết quả đến hàm truyền), và cho một tín hiệu đầu ra (là kết quả của

hàm truyền).
Hàm truyền có thể có các dạng sau:
Hàm bƣớc
1 khi x 0
y
0 khi x 0






(1.1)
Hàm giới hạn chặt (hay còn gọi là hàm bƣớc)

1 khi x 0
y sgn(x)
1 khi x 0






(1.2)
Hàm bậc thang
1 khi x 1
y sgn(x) x khi 0 x 1
1 khi x 0




   




(1.3)
Hàm ngƣỡng đơn cực
x
1
y
1e
λ


với λ>0 (1.4)
Hàm ngƣỡng hai cực
x
2
y1
1e
λ


với λ>0 (1.5)

Đồ thị các dạng hàm truyền đƣợc biểu diễn nhƣ sau:

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

7

Hình 1.3: Đồ thị các dạng hàm truyền
1.2.2 Mô hình của mạng nơron nhân tạo
Dựa trên những phƣơng pháp xây dựng nơron đã trình bày ở mục trên, ta có
thể hình dung mạng nơron nhƣ là một hệ truyền đạt và xử lý tín hiệu. Đặc tính
truyền đạt của nơron phần lớn là đặc tính truyền đạt tĩnh.
Khi liên kết các đầu vào/ra của nhiều nơron với nhau, ta thu đƣợc một mạng
nơron, việc ghép nối các nơron trong mạng với nhau có thể là theo một nguyên tắc
bất kỳ. Vì mạng nơron là một hệ truyền đạt và xử lý tín hiệu, nên có thể phân biệt
các loại nơron khác nhau, các nơron có đầu vào nhận thông tin từ môi trƣờng bên
ngoài khác với các nơron có đầu vào đƣợc nối với các nơron khác trong mạng,
chúng đƣợc phân biệt với nhau qua vector trọng số ở đầu vào w.
Nguyên lý cấu tạo của mạng nơron bao gồm nhiều lớp, mỗi lớp bao gồm
nhiều nơron có cùng chức năng trong mạng. Hình 1.4 là mô hình hoạt động của một
mạng nơron 3 lớp với 8 phần tử nơron. Mạng có ba đầu vào là x
1
, x
2
, x
3
và hai đầu
ra y
1
, y
2
. Các tín hiệu đầu vào đƣợc đƣa đến 3 nơron đầu vào, 3 nơron này làm
thành lớp đầu vào của mạng. Các nơron trong lớp này đƣợc gọi là nơron đầu vào.
Đầu ra của các nơron này đƣợc đƣa đến đầu vào của 3 nơron tiếp theo, 3 nơron này

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

8
không trực tiếp tiếp xúc với môi trƣờng bên ngoài mà làm thành lớp ẩn, hay còn gọi
là lớp trung gian. Các nơron trong lớp này có tên là nơron nội hay nơron ẩn. Đầu ra
của các nơron này đƣợc đƣa đến 2 nơron đƣa tín hiệu ra môi trƣờng bên ngoài. Các
nơron trong lớp đầu ra này đƣợc gọi là nơron đầu ra.

Lớp vào
Lớp ẩn
Lớp ra
x
1

x
2
x
3

y
2
y
3


Hình 1.4: Mạng nơron ba lớp
Mạng nơron đƣợc xây dựng nhƣ trên là mạng gồm 3 lớp mắc nối tiếp nhau đi
từ đầu vào đến đầu ra. Trong mạng không tồn tại bất kỳ một mạch hồi tiếp nào. Một
mạng nơron có cấu trúc nhƣ vậy gọi là mạng một hƣớng hay mạng truyền thẳng

một hƣớng và có cấu trúc mạng ghép nối hoàn toàn (vì bất cứ một nơron nào trong
mạng cũng đƣợc nối với một hoặc vài nơron khác). Mạng nơron bao gồm một hay
nhiều lớp trung gian đƣợc gọi là mạng Multilayer Perceptrons (MLP-Network).
Mạng nơron khi mới đƣợc hình thành thì chƣa có tri thức, tri thức của mạng sẽ
đƣợc hình thành dần dần sau một quá trình học. Mạng nơron đƣợc học bằng cách
đƣa vào những kích thích, và mạng hình thành những đáp ứng tƣơng ứng, những
đáp ứng tƣơng ứng phù hợp với từng loại kích thích sẽ đƣợc lƣu trữ. Giai đoạn này
đƣợc gọi là giai đoạn học của mạng. Khi đã hình thành tri thức mạng, mạng có thể
giải quyết các vấn đề một cách đúng đắn. Đó có thể là vấn đề ứng dụng rất khác
nhau, đƣợc giải quyết chủ yếu dựa trên sự tổ chức hợp nhất giữa các thông tin đầu
vào của mạng và các đáp ứng đầu ra.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

9
Nếu nhiệm vụ của một mạng là hoàn chỉnh hoặc hiệu chỉnh các thông tin thu
đƣợc không đầy đủ hoặc bị tác động của nhiễu. Mạng nơron kiểu này đƣợc ứng
dụng trong lĩnh vực hoàn thiện mẫu, trong đó có một ứng dụng cụ thể là nhận dạng
chữ viết.
Nhiệm vụ tổng quát của một mạng nơron là lƣu giữ động các thông tin. Dạng
thông tin lƣu giữ này chính là quan hệ giữa các thông tin đầu vào và các đáp ứng
đầu ra tƣơng ứng, để khi có một kích thích bất kỳ tác động vào mạng, mạng có khả
năng suy diễn và đƣa ra một đáp ứng phù hợp. Đây chính là chức năng nhận dạng
theo mẫu của mạng nơron. Để thực hiện chức năng này, mạng nơron đóng vai trò
nhƣ một bộ phận tổ chức các nhóm thông tin đầu vào, và tƣơng ứng với mỗi nhóm
là một đáp ứng đầu ra phù hợp. Nhƣ vậy, một nhóm bao gồm một loại thông tin đầu
vào và một đáp ứng đầu ra. Các nhóm có thể đƣợc hình thành trong quá trình học,
và cũng có thể không hình thành trong quá trình học.
1.2.3 Mạng nơron một lớp
Mỗi một nơron có thể phối hợp với các nơron khác tạo thành một lớp các

trọng số. Mạng một lớp truyền thẳng nhƣ hình 1.5a. Một lớp nơron là một
nhóm các nơron mà chúng đều có cùng trọng số, nhận cùng một tín hiệu đầu
vào đồng thời.
Trong ma trận trọng số, các hàng là thể hiện nơron, hàng thứ j có thể đặt
nhãn nhƣ một vector w
j
của nơron thứ j gồm m trọng số w
ji
. Các trọng số
trong cùng một cột thứ j (j=1,2, ,n) đồng thời cùng nhận một tín hiệu đầu vào
x
j
.
w
j
= [w
j1
, w
j2
, , w
jm
]
Tại cùng một thời điểm, vector đầu vào x = [x
1
, x
2
, , x
n
] có thể là một
nguồn bên ngoài là cảm biến hoặc thiết bị đo lƣờng đƣa tới mạng.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

10
(a) Mạng truyền thẳng một lớp (b) Mạng hồi tiếp một lớp

(c) Mạng truyền thẳng nhiều lớp


(d) Mạng nơron hồi quy
Hình 1.5: Một số dạng mạng nơron
1.2.4 Mạng nơron truyền thẳng nhiều lớp
Mạng nơron nhiều lớp Hình 1.5.c có các lớp đƣợc phân chia thành 3 loại
sau đây:
Lớp vào là lớp nơron đầu tiên nhận tín hiệu vào x
i
(i = 1, 2, , n). Mỗi tín
hiệu x
i
đƣợc đƣa đến tất cả các nơron của lớp đầu vào. Thông thƣờng các
nơron đầu vào không làm biến đổi các tín hiệu vào x
i
, tức là chúng không có

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

11
các trọng số hoặc không có các loại hàm chuyển đổi nào, chúng chỉ đóng vai
trò phân phối các tín hiệu.
Lớp ẩn là lớp nơron sau lớp vào, chúng không trực tiếp liên hệ với thế

giới bên ngoài nhƣ các lớp nơron vào/ra.
Lớp ra là lớp nơron tạo ra các tín hiệu ra cuối cùng.
1.2.5 Mạng Hopfield
Mạng Hopfield là mạng phản hồi một lớp, đƣợc chỉ ra trong hình 1.5.b.
Cấu trúc chi tiết của nó đƣợc thể hiện trong hình 1.6. Khi hoạt động với tín
hiệu rời rạc, nó đƣợc gọi là mạng Hopfield rời rạc, và cấu trúc của nó cũng
đƣợc gọi là mạng hồi quy.


Hình 1.6: Cấu trúc mạng Hopfield
Nhƣ mạng Hopfield trên hình 1.6, ta thấy nút có một đầu vào bên ngoài
x
j
và một giá trị ngƣỡng Ө
j
(j = 1,2, n). Một điều quan trọng cần nói ở đây là
mỗi nút không có đƣờng phản hồi về chính nó. Nút đầu ra thứ j đƣợc nối tới
mỗi đầu vào của nút khác qua trọng số w
ij
, với i

j, (i = 1,2, ,n), hay nói cách
khác w
ii
= 0, (với i = 1,2, ,n).

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

12
Một điều quan trọng nữa là trọng số của mạng Hopfield là đối xứng, tức

là w
ij
= w
ji
, (với i,j = 1,2, ,n). Khi đó, luật cập nhật cho mỗi nút mạng là nhƣ
sau:
n
(k 1) k
i i,j j i
i1
ji
y sng w y x θ





  




i = 1,2, ,n (1.6)
Luật cập nhật trên đƣợc tính toán trong cách thức không đồng bộ. Điều
này có nghĩa là, với một thời gian cho trƣớc, chỉ có một nút mạng cập nhật
đƣợc đầu ra của nó. Sự cập nhật tiếp theo trên một nút sẽ sử dụng chính
những đầu ra đã đƣợc cập nhật. Nói cách khác dƣới hình thức hoạt động
không đồng bộ của mạng, mỗi đầu ra đƣợc cập nhật độc lập.
Có sự khác biệt giữa luật cập nhật đồng bộ và luật cập nhật không đồng
bộ. Với luật cập nhật không đồng bộ thì sẽ chỉ có một trạng thái cân bằng của

hệ (với giá trị đầu đã đƣợc xác định trƣớc). Trong khi đó, với luật cập nhật
đồng bộ thì có thể làm mạng hội tụ ở mỗi điểm cố định hoặc một vòng giới
hạn.
1.3 Các luật học
1.3.1 Quy tắc học của mạng nơron nhân tạo
Huấn luyện mạng sử dụng các phần từ vector trọng số hoặc các thành
phần của vector trọng số w
ij
kết nối với đầu vào của nơron i, dữ liệu đầu ra
của nơron khác có thể là đầu vào của nơron i. Các dạng hàm kích hoạt nơron
có thể khác nhau khi các quy tắc học khác nhau đƣợc xem xét.
Trọng số của vector w
i
=[w
i1
w
i2
w
i3
w
in
]
t


tăng theo tỉ lệ kết quả đầu vào
x và tín hiệu học r. Tín hiệu học là một hàm của trong số w
i
và dữ liệu đầu
vào x, hoặc tín hiệu dạy d

i
R=f
r
(w
i,
x,d
i
) (1.7)
Trọng số của vector w
i
sẽ tăng tại thời điểm t theo quy tắc học :

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

13
i i i
w (t) r[w (t),x(t),d (t)]x(t)θ
(1.8)
Trong đó
θ
là hằng số xác định tỉ lệ học
Tại bƣớc tiếp theo vector trọng số tƣơng ứng với thời gian t:
w
i
(t+1)=w
i
(t) +
θ
r[w
i

(t),x (t),d
i
(t)]x(t) (1.9)
Quy ƣớc chỉ số trên sẽ đƣợc sử dụng trong phạm vi chỉ mục rời rạc. Đối
với các bƣớc có thể sử dụng từ 1.9 bằng cách sử dụng công thức
k 1 k k k k k
i i i i
w w r(w ,x ,d )xθ


(1.10)
1.3.2 Học có giám sát
Nguyên tắc học tập đƣợc cung cấp với một tập huấn luyện về hoạt động
mạng thích hợp: {x
1
, y
1
} , {x
2
, y
2
} , …, {x
n
, y
n
}.
Với (x
n
) là một dữ liệu đầu vào mạng, (y
n

) là dữ liệu đầu ra tƣơng ứng.
Khi đầu vào đƣợc áp dụng vào mạng, các kết quả đầu ra của mạng đƣợc so
sánh với kết quả mục tiêu. Nguyên tắc học đƣợc sử dụng để điều chỉnh trọng
số và sai số của mạng để dịch chuyển kết quả đầu ra của mạng gần hơn với
kết quả mong muốn. Trong học có giám sát tại từng thời điểm khi đầu vào
đƣợc áp dụng ngƣời huấn luyện sẽ cung cấp thông tin phản hồi của hệ thống.
Điều này đƣợc minh họa trong hình 1.7, khoảng cách thực tế và khoảng cách
mong muốn là biện pháp để tìm ra lỗi và đƣợc sử dụng để điều chỉnh trọng số
của mạng. Trong phân loại học của các mẫu đầu vào hoặc các trạng thái đầu
vào đƣợc biết trƣớc câu trả lời, lỗi này có thể đƣợc sử dụng để thay đổi trọng
số nhằm giảm lỗi. Học có giám sát là phƣơng thức học phổ biến và đƣợc sử
dụng trong nhiều trƣờng hợp học tự nhiên.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

14

ANN
Máy kiểm
tra khoảng
cách
Đầu ra mong
muốn
Đầu ra
thực tế (y)
Tín hiệu
đầu vào
(x)

W

Hình 1.7: Học có giám sát

1.3.3 Học không giám sát
Trong học không giám sát trọng số và các sai số của mạng đƣợc thay đổi
để đáp ứng với dữ liệu đầu vào của mạng. Học không giám sát không có kết
quả đầu ra của mạng. Mạng tự học cách phân loại các mẫu đầu vào đƣa vào
trong các lớp. Học không giám sát không có các tín hiệu phản hồi, thông tin
lỗi không đƣợc sử dụng để cải tiến hoạt động của mạng. Học không giám sát
đƣợc thực hiện dựa trên quan sát các phản ứng đầu vào. Mạng tự tìm hiểu các
mẫu, quy tắc, các thuộc tính… mạng tự tìm ra sự thay đổi trong các tham số
của nó.

ANN


W

Đầu ra thực
tế (y)
Tín hiệu đầu
vào (x)

Hình 1.8: Học không giám sát



Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

15

1.3.4 Học tăng cường
Học tăng cƣờng là luật học có điểm giống nhƣ học có giám sát là mạng
đƣợc cung cấp dữ liệu đầu ra mong muốn và có điểm giống học không giám
sát là mạng không nhận đƣợc tất cả các thông tin phản hồi. Trong học tăng
cƣờng hệ thống nhận đƣợc tín hiệu phản hồi đánh giá kết quả đầu ra là đúng
hay sai. Tuy nhiên học tăng cƣờng không đƣợc cung cấp thông tin đầu ra
chính xác. Do không có thông tin đầu ra chính xác lên hệ thống phải sử dụng
một số chiến lƣợc tìm kiếm ngẫu nhiên để lựa chọn không gian tìm kiếm từ
đó đƣa ra kết quả chính xác nhất. Khi có thông tin phản hồi đúng từ môi
trƣờng đầu vào học tăng cƣờng khám phá môi trƣờng mới. Hệ thống này sẽ
nhận đƣợc tín hiệu đầu vào từ môi trƣờng và cho kết quả đầu ra tƣơng ứng.
Hệ thống sẽ nhận đƣợc thông tin phản hồi tích cực hoặc không tích cực từ
môi trƣờng. Để nhận biết đƣợc thông tin phản hồi từ môi trƣờng là tích cực
hay không tích cực hệ thống sẽ phải thực hiện qua nhiều bƣớc.
1.4 Một số phƣơng pháp phân cụm dữ liệu
1.4.1 Phân cụm và các thành phần trong phân cụm dữ liệu
Phân cụm dữ liệu là quá trình áp dụng các phƣơng pháp, thuật toán để tổ
chức dữ liệu thành các nhóm có những đặc điểm tƣơng tự nhau. Một cụm là
một tập hợp dữ liệu mà các phần tử tƣơng tự nhau trong cùng một cụm và các
phần tử không tƣơng tự sẽ thuộc một cụm khác. Phân tích cụm đƣợc sử dụng
để đƣa ra những số liệu thống kê nhằm xác định những đặc điểm khác nhau
giữa các cụm.
Mẫu đại diện: Đề cập đến số lớp, số mẫu có sẵn và số lƣợng, chủng loại,
quy mô của các tính năng có sẵn cho các thuật toán phân cụm. Lựa chọn đặc
trƣng là quá trình xác định các đặc trƣng ban đầu của tập hợp con để sử dụng
trong phân cụm. Trích chọn đặc trƣng là việc sử dụng một hoặc nhiều biến
đổi từ đặc trƣng đầu vào để tạo ra đặc trƣng mới nổi bật. Những kĩ thuật này