Ứng dụng mạng nowrron hỗ trợ phân tích sản xuất kinh doanh than

ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG



LÊ THỊ PHƢƠNG



ỨNG DỤNG MẠNG NƠRON HỖ TRỢ PHÂN TÍCH
QUÁ TRÌNH SẢN XUẤT KINH DOANH THAN




LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH






Thái Nguyên - 2013

ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG


LÊ THỊ PHƢƠNG


ỨNG DỤNG MẠNG NƠRON HỖ TRỢ PHÂN TÍCH
QUÁ TRÌNH SẢN XUẤT KINH DOANH THAN

Chuyên nghành: KHOA HỌC MÁY TÍNH
Mã số: 60 48 01

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

HƢỚNG DẪN KHOA HỌC: P G S.TS LÊ BÁ DŨNG





Thái Nguyên – 2013




LỜI CAM ĐOAN
Tôi xin cam đoan luận văn là do bản thân tự tìm hiểu và đƣợc thực hiện theo
sự hƣớng dẫn khoa học của PGS. TS Lê Bá Dũng.
Nội dung trong luận văn có sự tham khảo và sử dụng một số tài liệu, thông

tin đƣợc đăng tải trên các tác phẩm, tạp chí và các trang web theo danh mục tài liệu
của luận văn. Các số liệu, chƣơng trình phần mềm và những kết quả trong luận văn
là trung thực và chƣa đƣợc công bố trong bất kỳ một công trình nào khác.
Tôi hoàn toàn chịu trách nhiệm về tính pháp lý quá trình nghiên cứu khoa
học của luận văn này.

Thái Nguyên, tháng 09 năm 2013
Học viên thực hiện
Lê Thị Phƣơng












i

LỜI CẢM ƠN
Trƣớc tiên tôi xin bày tỏ lòng biết ơn sâu sắc tới thầy PGS. TS Lê Bá Dũng
– Viện Công nghệ Thông Tin đã tận tình hƣớng dẫn, giúp đỡ và đóng góp cho tôi
nhiều ý kiến quí báu để tôi hoàn thành luận văn này.
Tôi xin chân thành cảm ơn các thầy, các cô trƣờng Đại học Công nghệ thông
tin và Truyền thông – Đại học Thái Nguyên, các thầy cô Viện Công nghệ thông tin
đã giảng dạy, giúp đỡ và tạo điều kiện thuận lợi cho tôi trong thời gian học tập tại

Trƣờng.
Tôi xin gửi lời cảm ơn đến các bạn học viên lớp Cao học khóa 2011 - 2013
đã giúp đỡ và tạo điều kiện thuận lợi cho tôi trong quá trình học tập và làm luận
văn.
Cuối cùng tôi xin chân thành cảm ơn tới gia đình, đồng nghiệp và bạn bè tôi,
những ngƣời đã động viên, quan tâm, tạo điều kiện giúp đỡ để tôi hoàn thành khóa
học của mình.

Thái Nguyên, tháng 09 năm 2013
Học viên thực hiện
Lê Thị Phƣơng








ii

MỤC LỤC
LỜI CAM ĐOAN
LỜI CẢM ƠN i
MỤC LỤC ii
DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT iv
DANH MỤC BẢNG v
DANH MỤC CÁC HÌNH VẼ vi
MỞ ĐẦU 1
CHƢƠNG 1: GIỚI THIỆU VỀ MẠNG NƠRON 3

1.1. Giới thiệu về mạng nơron nhân tạo 3
1.1.1. Cấu trúc và mô hình mạng nơron 3
1.1.2. Cấu tạo và phƣơng thức làm việc của mạng nơron 7
1.1.3. Các luật học 9
1.2. Tìm hiểu mạng nơron Kohonen 12
1.2.1. Giới thiệu 12
1.2.2. Mạng nơron Kohonen 13
1.2.3. Thực thi mạng nơron Kohonen 22
CHƢƠNG 2 : KHẢO SÁT HOẠT ĐỘNG SẢN XUẤT KINH DOANH Ở CÔNG
TY THAN 23
2.1. Cơ sở lý thuyết của phân tích hiệu quả sản xuất kinh doanh than 23
2.1.1. Hiệu quả sản xuất kinh doanh than 23
2.1.2. Những nhân tố ảnh hƣởng tới hiệu quả sản xuất kinh doanh than 26
2.1.3. Một số biện pháp nhằm nâng cao hiệu quả sản xuất kinh doanh than 30
2.2. Mục đích của công tác khảo sát hiện trạng 32
2.3. Các bƣớc thực hiện quá trình khảo sát 32
2.4. Các danh mục khảo sát 33
2.5. Tìm hiểu và đánh giá hiện trạng 33
2.5.1. Tìm hiểu hệ thống hiện tại 33

iii

2.5.2. Phân loại, tập hợp thông tin 37
2.5.3. Phát hiện các yếu kém của hiện trạng và đề ra phƣơng hƣớng phát triển
hệ thống tƣơng lai 38
CHƢƠNG 3 : ỨNG DỤNG MÔ HÌNH SOM TRONG BÀI TOÁN KHẢO SÁT,
PHÂN TÍCH, ĐÁNH GIÁ HOẠT ĐỘNG SẢN XUẤT KINH DOANH Ở CÔNG
TY THAN MẠO KHÊ TKV 40
3.1. Một vài nét về Công ty 40
3.1.1. Vị trí địa lý và điều kiện tự nhiên 40

3.1.2. Sự hình thành và phát triển 40
3.1.3. Quy trình công nghệ sản xuất sản phẩm than của Công ty than Mạo Khê
TKV 41
3.1.4. Chức năng nhiệm vụ của Công ty 42
3.2. Bài toán phân tích, đánh giá 42
3.3. Thực nghiệm sử dụng mô hình SOM để khảo sát, phân tích, đánh giá quá
trình sản xuất kinh doanh than 44
3.3.1. Thống kê quá trình phát triển 44
3.3.2. Khởi tạo và huấn luyện SOM 51
3.3.3. Phân tích kiểm toán với Bản đồ tự tổ chức 55
3.4. Kết luận chƣơng 3 62
KẾT LUẬN 63










iv

DANH MỤC CÁC KÍ HIỆU, CHỮ CÁI VIẾT TẮT
ANN (Artificial Neural Network) : Mạng nơron nhân tạo
SOM (Self Organizing Maps) : Mạng Nơron tự tổ chức
PE (Processing Element) : Phần tử xử lý
MLP-Network (Multilayer Perceptrons-Network): Mạng nơron gồm một hay nhiều
lớp trung gian

TKV : Than khoáng sản Việt Nam
Nộp ngân sách NN : Nộp ngân sách Nhà nƣớc
GTGT : Giá trị gia tăng
HĐKD : Hoạt động kinh doanh
BMU (Best – Matching unit) : Đơn vị phù hợp nhất
U-matrix (The Unified distance matrix) : Ma trận thống nhất khoảng cách












v

DANH MỤC BẢNG
Bảng 3.1: Bảng kết quả kinh doanh than của Công ty than Mạo Khê TKV trong 10
năm (2003 - 2012) 45
Bảng 3.2: Kết quả các cụm sau khi huấn luyện SOM dựa trên hình 3.3 57

vi

DANH MỤC CÁC HÌNH VẼ
Hình 1.1: Một nơron sinh học 3
Hình 1.2: Sự liên kết các nơron 4
Hình 1.3: Mô hình một nơron nhân tạo 4
Hình 1.4: Đồ thị các dạng hàm truyền 6
Hình 1.5: Mạng nơron ba lớp 7
Hình 1.6: Một số dạng mạng nơron 8
Hình 1.7: Cấu trúc huấn luyện mạng nơron 9
Hình 1.8: Học có giám sát 10
Hình 1.9: Học không có giám sát 11
Hình 1.10: Sơ đồ cấu trúc chung của quá trình học 11
Hình 1.11: Một dạng mạng nơron Kohonen 16
Hình 1.12: Sơ đồ khối biểu diễn huấn luyện mạng nơron Kohonen 20
Hình 3.1: Sơ đồ công nghệ sản xuất sản phẩm than 41

Hình 3.2: Kết quả chạy chƣơng trình huấn luyện SOM 55
Hình 3.3: Kết quả phân cụm sử dụng phƣơng pháp trực quan U-matrix 56
Hình 3.4: Kết quả phân cụm sử dụng phƣơng pháp trực quan các bản đồ thành phần
59








1

MỞ ĐẦU
Bên cạnh chức năng khai thác cơ sở dữ liệu có tính tác nghiệp, sự thành công
trong kinh doanh không chỉ thể hiện ở năng suất của các hệ thống thông tin mà
ngƣời ta còn mong muốn cơ sở dữ liệu đó đem lại tri thức từ dữ liệu hơn là chính
bản thân dữ liệu. Sự ra đời của kỹ thuật Khai phá dữ liệu và Phát hiện tri thức trong
cơ sở dữ liệu (Data Mining and Knownledge Discovery in Databases) đã đáp ứng
đƣợc điều đó.
Chúng ta biết rằng, bộ não con ngƣời là một sản phẩm hoàn hảo của tạo hóa,
nó có khả năng tƣ duy và sáng tạo. Hiện nay, con ngƣời đang nghiên cứu phƣơng
thức hoạt động của bộ não sau đó áp dụng cho những công nghệ hiện đại. Để tiếp
cận khả năng học, ngƣời ta đƣa ra mô hình mạng nơron gồm các nơron liên kết với
nhau thành mạng phỏng theo cấu trúc mạng thần kinh của con ngƣời. Mỗi nơron
riêng lẻ có khả năng xử lý thông tin yếu nhƣng khi chúng đƣợc ghép với nhau thành
mạng thì khả năng xử lý thông tin sẽ mạnh hơn rất nhiều.
Một mạng nơron nhân tạo (Artificial Neural Network: ANN) là một mô hình
xử lý thông tin phỏng theo cách thức xử lý thông tin của các hệ nơron sinh học. Nó

là tập hợp một số lớn các phần tử xử lý (các nút hay các khối) thƣờng đƣợc tổ chức
song song và đƣợc cấu hình theo kiến trúc đệ quy. Mạng nơron nhân tạo là công cụ
tốt trong việc giải quyết các bài toán nhƣ: hợp và phân lớp đối tƣợng, xấp xỉ hàm,
tối ƣu hóa, định lƣợng vector, nhận dạng, dự báo, phân tích và xử lý dữ liệu, phân
cụm dữ liệu, Mạng nơron nhân tạo thực hiện các bài toán tối ƣu đã đạt đƣợc hiệu
quả cao và đáng tin cậy. Việc ứng dụng mạng nơron nhân tạo để phân tích và xử lý
dữ liệu đã cho thấy nhiều ƣu điểm nổi bật và đã thu đƣợc những thành công to lớn.
Vì vậy, “Ứng dụng mạng nơron hỗ trợ phân tích quá trình sản xuất kinh
doanh than” đƣợc tôi chọn làm đề tài.
Cấu trúc luận văn bao gồm phần mở đầu, ba chƣơng nội dung, phần kết luận
và tài liệu tham khảo.



2

Chƣơng 1: Giới thiệu về mạng nơron
Trình bày các khái niệm cơ bản, cấu trúc, mô hình, phƣơng thức làm việc
của mạng nơron, mạng nơron Kohonen.
Chƣơng 2: Khảo sát hoạt động sản xuất kinh doanh ở công ty than
Giới thiệu chung về hoạt động sản xuất kinh doanh than. Trình bày mục đích
của công tác khảo sát hiện trạng, các bƣớc thực hiện quá trình khảo sát, tìm hiểu và
đánh giá hiện trạng.
Chƣơng 3: Ứng dụng mô hình SOM trong bài toán khảo sát, phân tích, đánh
giá hoạt động sản xuất kinh doanh ở Công ty than Mạo Khê TKV.
Tìm hiểu về Công ty than Mạo Khê TKV. Triển khai ứng dụng mô hình
SOM cho bài toán khảo sát, phân tích, đánh giá quá trình sản xuất kinh doanh
than. Xác định các đối tƣợng dữ liệu phù hợp với bài toán, lựa chọn môi trƣờng và
ngôn ngữ cài đặt, chuyển thiết kế thành chƣơng trình và chạy thử nghiệm với các
dữ liệu thực.

Phần kết luận: Nêu những kết quả đã đạt đƣợc và hƣớng phát triển của đề tài.















3

CHƢƠNG 1: GIỚI THIỆU VỀ MẠNG NƠRON
1.1. Giới thiệu về mạng nơron nhân tạo
1.1.1. Cấu trúc và mô hình mạng nơron
1.1.1.1. Mô hình một nơron sinh học
Phần tử xử lý cơ bản của một mạng nơron sinh học là một nơron, phần tử
này có thể chia làm bốn thành phần cơ bản:
- Dendrites: Là phần nhận tín hiệu đầu vào.
- Soma: Là hạt nhân.
- Axon: Là phần dẫn ra tín hiệu xử lý.
- Synapses: Là đƣờng tín hiệu điện hóa giao tiếp giữa các nơron.
Một cách tổng quát, một nơron sinh học nhận đầu vào từ các nguồn khác
nhau, kết hợp chúng tại với nhau, thực thi tổ hợp phi tuyến chúng để cho ra kết quả

cuối cùng ở đầu ra.
Hình 1.1 chỉ ra mối quan hệ giữa bốn thành phần của một nơron sinh học:

Hình 1.1: Một nơron sinh học
Một nơron sinh học chỉ có một số chức năng cơ bản nhƣ vậy nên khả năng
xử lý thông tin của nó là rất yếu. Để có đƣợc khả năng xử lý thông tin hoàn hảo nhƣ
bộ não con ngƣời thì các nơron phải kết hợp và trao đổi thông tin với nhau.




4

Sơ đồ liên kết và trao đổi thông tin giữa hai nơron nhƣ hình sau:

Hình 1.2: Sự liên kết các nơron
1.1.1.2. Cấu trúc và mô hình của một nơron nhân tạo
Mô hình toán học của mạng nơron nhân tạo đƣợc đề xuất bởi McCulloch và
Pitts gọi là nơron M-P (ngoài ra nó còn đƣợc gọi là phần tử xử lý và đƣợc ký hiệu là
PE - Processing Element).
Mô hình nơron có m đầu vào x
1
, x
2
, , x
m
và một đầu ra y
i
:

Hình 1.3: Mô hình một nơron nhân tạo
Giải thích các thành phần cơ bản:
- Tập các đầu vào: Là các tín hiệu vào của nơron, các tín hiệu này thƣờng
đƣợc đƣa vào dƣới dạng một vector m chiều.



5

00
01
xkhi
xkhi
y
- Tập các liên kết (các trọng số): Mỗi liên kết đƣợc thể hiện bởi một trọng
số (thƣờng đƣợc gọi là trọng số liên kết). Trọng số liên kết giữa tín hiệu
vào thứ j cho nơron i thƣờng đƣợc ký hiệu là w
ij
.
- Bộ tổng (hàm tổng): Thƣờng dùng để tính tổng của tích các đầu vào với
trọng số liên kết của nó.
- Ngưỡng: Ngƣỡng thƣờng đƣợc đƣa vào nhƣ một thành phần của hàm
truyền.
- Hàm truyền: Dùng để giới hạn phạm vi đầu ra của mỗi nơron. Nó nhận
đầu vào là kết quả của hàm tổng và ngƣỡng đã cho. Thông thƣờng, phạm
vi đầu ra của mỗi nơron đƣợc giới hạn trong đoạn [0,1] hoặc [-1,1].
- Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa một
đầu ra.
Về mặt toán học, cấu trúc của một nơron i đƣợc mô tả bằng cặp biểu thức
sau:

)(
iii
netfy
và
j
n
j
iji
xwnet
1

Trong đó: x
1
, x
2
, …x
m
là các tín hiệu đầu vào; w
i1
, w
i2
,…,w
im
là các trọng số
kết nối của nơron thứ i, net
i
là hàm tổng, f là hàm truyền,
i
là một ngƣỡng, y

i
là tín
hiệu đầu ra của nơron.
Tƣơng tự nhƣ nơron sinh học, nơron nhân tạo cũng nhận các tín hiệu đầu
vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu đƣợc
rồi gửi kết quả đến hàm truyền) và cho một tín hiệu đầu ra (là kết quả của hàm
truyền).
Hàm truyền có thể có các dạng sau:
- Hàm bƣớc
(1.1)




6

01
01
)sgn(
xkhi
xkhi
xy
00
10
11
)sgn(
xkhi
xkhix
xkhi
xy

x
e
y
1
1
1
1
2
x
e
y
- Hàm giới hạn chặt
(1.2)

- Hàm bậc thang
(1.3)

- Hàm ngƣỡng đơn cực
với λ > 0 (1.4)

- Hàm ngƣỡng hai cực
với λ > 0 (1.5)

Đồ thị các dạng hàm truyền đƣợc biểu diễn nhƣ sau:

Hình 1.4: Đồ thị các dạng hàm truyền

7

1.1.2. Cấu tạo và phƣơng thức làm việc của mạng nơron
Mạng nơron là một hệ truyền đạt và xử lý tín hiệu, đặc tính truyền đạt của
nơron phần lớn là đặc tính truyền đạt tĩnh nên có thể phân biệt các loại nơron khác
nhau. Các nơron có đầu vào nhận thông tin từ môi trƣờng bên ngoài khác với các
nơron có đầu vào đƣợc nối với các nơron khác trong mạng, chúng đƣợc phân biệt
với nhau qua vector hàm trọng số ở đầu vào w.
Nguyên lý cấu tạo của mạng nơron bao gồm nhiều lớp, mỗi lớp bao gồm
nhiều nơron có cùng chức năng trong mạng. Hình 1.5 là mô hình hoạt động của một
mạng nơron 3 lớp với 8 phần tử nơron:

Hình 1.5: Mạng nơron ba lớp
Các tín hiệu đầu vào đƣợc đƣa đến 3 nơron đầu vào x
1
, x
2
, x
3
; 3 nơron này
làm thành lớp đầu vào của mạng. Đầu ra của các nơron này đƣợc đƣa đến đầu vào
của 3 nơron tiếp theo, 3 nơron này không trực tiếp tiếp xúc với môi trƣờng bên
ngoài mà làm thành lớp ẩn hay còn gọi là lớp trung gian. Đầu ra của các nơron này
đƣợc đƣa đến 2 nơron đƣa tín hiệu ra môi trƣờng bên ngoài y
1
, y
2
.
Mạng nơron có cấu trúc nhƣ trên gọi là mạng một hƣớng hay mạng truyền
thẳng một hƣớng (Feed forward network) và có cấu trúc mạng ghép nối hoàn toàn.

Mạng nơron bao gồm một hay nhiều lớp trung gian đƣợc gọi là mạng Multilayer
Perceptrons (MLP-Network).




8

Mạng nơron khi mới đƣợc hình thành thì chƣa có tri thức, tri thức của mạng
sẽ đƣợc hình thành dần dần sau một quá trình học. Khi đã hình thành tri thức, mạng
có thể giải quyết các vấn đề một cách đúng đắn.
Nhiệm vụ tổng quát của một mạng nơron là lƣu giữ động các thông tin. Dạng
thông tin lƣu giữ này chính là quan hệ giữa các thông tin đầu vào và các đáp ứng
đầu ra tƣơng ứng để khi có một kích thích bất kỳ tác động vào mạng, mạng có khả
năng suy diễn và đƣa ra một đáp ứng phù hợp. Đây chính là chức năng nhận dạng
theo mẫu của mạng nơron.





(a) Mạng truyền thẳng một lớp (b) Mạng hồi tiếp một lớp

c) Mạng truyền thẳng nhiều lớp

(d) Mạng nơron hồi quy
Hình 1.6: Một số dạng mạng nơron

9

Hình 1.6 là một số liên kết đặc thù của mạng nơron. Nơron đƣợc vẽ là các
vòng tròn xem nhƣ một tế bào thần kinh, chúng có các mối liên hệ đến các nơron
khác nhờ các trọng số liên kết, tập hợp các trọng số liên kết này sẽ lập thành các ma
trận trọng số tƣơng ứng.
1.1.3. Các luật học
Thông thƣờng, mạng nơron đƣợc điều chỉnh hoặc đƣợc huấn luyện để hƣớng
các đầu vào riêng biệt đến đích ở đầu ra.

Hình 1.7: Cấu trúc huấn luyện mạng nơron
Ở đây, hàm trọng số của mạng đƣợc điều chỉnh trên cơ sở so sánh đầu ra với
đích mong muốn (taget) cho tới khi đầu ra của mạng phù hợp với đích. Những cặp
vào/đích (input/taget) đƣợc dùng để giám sát cho sự huấn luyện mạng.
Sau mỗi lần chạy ta có tổng bình phƣơng của tất cả các sai số, sai số này
đƣợc sử dụng để xác định các hàm trọng số mới. Hàm trọng số của mạng đƣợc sửa
đổi với đặc tính tốt hơn tƣơng ứng với đặc tính mong muốn. Sự thay đổi các hàm
trọng số của mạng sẽ đƣợc dừng lại nếu tổng các bình phƣơng sai số nhỏ hơn một
giá trị đặt trƣớc hoặc đã chạy đủ số lần chạy xác định (trong trƣờng hợp này mạng
có thể không thoả mãn yêu cầu đặt ra do sai lệch còn cao).
Có hai kiểu học:
- Học tham số: Là các tham số về trọng số cập nhật kết nối giữa các nơron.
- Học cấu trúc: Trọng tâm là sự biến đổi cấu trúc của các mạng nơron gồm
số lƣợng nút và các loại liên kết.
Đích
ANN
Trọng số w
i
So sánh
Dữ

liệu
vào
Điều chỉnh



10

Nhiệm vụ của việc học tham số là tìm ra đƣợc ma trận chính xác mong muốn
từ ma trận giả thiết ban đầu (với cấu trúc của mạng nơron có sẵn). Để làm đƣợc điều
này thì mạng nơron phải sử dụng các trọng số điều chỉnh với nhiều phƣơng pháp
học khác nhau để có thể tính toán gần đúng ma trận W cần tìm đặc trƣng cho mạng.
Sau đây là 3 phƣơng pháp học:
Học có giám sát
Là quá trình học có tín hiệu chỉ đạo bên ngoài d. Tại mỗi thời điểm khi đầu
vào đƣợc cung cấp tới mạng nơron thì phản ứng đầu ra mong muốn d tƣơng ứng
của hệ thống đƣợc đƣa ra.

Hình 1.8: Học có giám sát
Khi mỗi đầu vào x
(k)
đƣợc đặt vào mạng, đầu ra mong muốn tƣơng ứng d
(k)

cũng đƣợc cung cấp tới mạng. Hiệu giữa đầu ra thực y
(k)
và đầu ra mong muốn d
(k)
đƣợc đo trong máy phát tín hiệu lỗi. Máy này sẽ tạo ra tín hiệu lỗi cho mạng để hiệu
chỉnh các trọng số của mạng để đầu ra thực sẽ tiến sát với đầu ra mong muốn.

Học củng cố
Tín hiệu chủ đạo d có thể lấy từ môi trƣờng bên ngoài nhƣng tín hiệu này
không đƣợc đầy đủ mà chỉ có một vài bit đại diện có tính chất kiểm tra quá trình tốt
hay xấu. Học củng cố cũng là một dạng của học có giám sát bởi vì mạng vẫn nhận
một số tín hiệu từ bên ngoài nhƣng tín hiệu phản hồi ở đây chỉ mang tính chất đánh
giá hơn là mang tính chất chỉ dẫn. Tín hiệu củng cố bên ngoài thƣờng đƣợc xử lý
bằng máy phát tín hiệu đánh giá để tạo ra nhiều hơn nữa các thông tin tín hiệu đánh



11

giá, sau đó dùng để điều chỉnh các trọng số với mục đích đạt đƣợc tín hiệu đánh giá
tốt hơn.
Học không có giám sát

Hình 1.9: Học không có giám sát
Là học mà không có thầy hƣớng dẫn tức là không có tín hiệu d cung cấp tới
mạch phản hồi. Với loại này thì các nơron phải tự xoay xở với các dữ liệu mẫu mà
nó có đƣợc. Mạng phải tự khám phá mẫu, đặc tính, sự tƣơng quan hay loại đầu vào.
Trong khi khám phá những đặc tính này, tham số của mạng sẽ bị thay đổi. Quá trình
này đƣợc gọi là tự tổ chức.
Hình 1.10 mô tả cấu trúc chung quá trình học của ba phƣơng pháp học đã
nêu ở trên:

Hình 1.10: Sơ đồ cấu trúc chung của quá trình học
Trong tín hiệu vào x
j
(j = 1,2, ,m) có thể đƣợc lấy từ đầu ra của các nơron
khác hoặc có thể đƣợc lấy ra từ bên ngoài. Trọng số của nơron thứ i đƣợc thay đổi

tùy theo tín hiệu ở đầu vào mà nó thu nhận giá trị đầu ra của nó.



12

Dạng tổng quát của luật học trọng số của mạng nơron cho biết số gia của
vector w
i
là
i
w
tỉ lệ với tín hiệu học r và tín hiệu đầu vào x(t).

i
w
(t) =
)( txr
(1.6)

là một số dƣơng và đƣợc gọi là hằng số học dùng để xác định tốc độ học, r
là tín hiệu học và r đƣợc tính:

),,(
iir
dxwfr
(1.7)
Vector trọng số w
i
= [w

i1
, w
i2
, , w
im
]
T
có số gia tỷ lệ với tín hiệu vào x và tín
hiệu học r. Vector trọng số ở thời điểm (t+1) đƣợc tính nhƣ sau:
w
i
(t+1) = w
i
(t) + f
r
(w
i
(t),x(t),d(t)).x(t) (1.8)
Phƣơng trình liên quan đến sự biến đổi trọng số trong mạng nơron rời rạc,
tƣơng ứng với sự thay đổi trọng số trong mạng nơron liên tục theo biểu thức sau:

)( txr
dt
dw
i
(1.9)
Vấn đề quan trọng trong việc phân biệt luật học là cập nhật trọng số có giám
sát hay không có giám sát hoặc học củng cố là tín hiệu học r.
1.2. Tìm hiểu mạng nơron Kohonen
1.2.1. Giới thiệu

Trong các kiểu khác nhau của mạng nơron, mạng nơron Kohonen giống với
mạng nơron sinh học hơn cả về cấu tạo lẫn cơ chế học. Mạng nơron nhân tạo này
lần đầu tiên đƣợc giới thiệu bởi Kohonen vào năm 1982, nó đƣợc biết đến nhƣ là
ánh xạ đặc trƣng tự tổ chức (SOM) và ngƣời ta thƣờng gọi nó là mạng nơron
Kohonen. Mạng nơron Kohonen (hay nơron tự tổ chức) mô hình hóa cách hoạt
động của bộ não con ngƣời (mặc dù nó khá đơn giản).
Cách xử lý thông tin của các mạng nơron khác thƣờng chỉ quan tâm đến giá
trị và dấu hiệu của thông tin đầu vào mà chƣa quan tâm khai thác các mối liên hệ có
tính chất cấu trúc trong lân cận của các vùng dữ liệu mẫu hay toàn thể không gian.



13

Nhƣng trong mạng nơron Kohonen đã quan tâm đến các yếu tố này. Một mạng
nơron nhƣ vậy có thể đƣợc luyện để tìm ra các quy luật và các tƣơng quan, các giá
trị nhập vào và dự đoán các kết quả tiếp theo. Mục đích chính của việc luyện trong
mạng nơron Kohonen là nhận dạng một nhóm các vector đầu vào cùng loại.
Việc thi hành mạng nơron Kohonen có thể đƣợc thay thế bởi một thuật toán
tƣơng ứng mà dễ dàng thi hành và luôn luôn đƣợc sử dụng trong các ứng dụng của
mạng nơron Kohonen. Chúng ta gọi thuật toán đó là thuật toán mạng nơron tự tổ
chức (Kohonen) hay ánh xạ tự tổ chức SOM. Ý tƣởng đáng chú ý của thuật toán này
là ánh xạ các đặc trƣng tự tổ chức nhằm bảo toàn trật tự sắp xếp các mẫu trong
không gian biểu diễn nhiều chiều sang một không gian mới với các mảng nơron có
số chiều nhỏ hơn, thƣờng là hai chiều. Đây là một phép chiếu phi tuyến đem lại một
“ánh xạ đặc trƣng” hai chiều, nó có thể đƣợc sử dụng trong việc phát hiện và phân
tích những đặc trƣng trong không gian đầu vào. Trong mạng nơron Kohonen, các
vector tín hiệu đầu vào gần nhau sẽ đƣợc ánh xạ sang các nơron lân cận trong mạng.

dạng, phân cụm dữ liệu, dự đoán chuỗi và khai phá dữ liệu Có thể xem SOM là

một lớp điển hình nhƣng rất đơn giản của các mạng nơron.
1.2.2. Mạng nơron Kohonen
Mạng luyện không có thầy hƣớng dẫn, một kiểu luyện mà ở đó các nơron tự
xoay xở với các dữ liệu mẫu mà nó có đƣợc chứ không có “thầy” gợi ý cần phải
luyện theo hƣớng nào. Tự mình khám phá những quan hệ đang đƣợc quan tâm, ví
dụ về các dạng (patterns), các đặc trƣng (features) từ dữ liệu vào (input data) sau đó
chuyển thành cái ra (outputs). Nhƣ vậy thực chất đó là các mạng tự tổ chức (hay
mạng nơron Kohonen).
Định nghĩa: Mạng nơron Kohonen là mạng có khả năng sử dụng những kinh
nghiệm của quá khứ để thích ứng với những biến đổi của môi trƣờng (không dự báo
trƣớc). Loại mạng này thuộc nhóm hệ học, thích nghi không cần có tín hiệu chỉ đạo
từ bên ngoài.



14

)().(
)(
'
jjiiij
ij
ij
xsysw
dt
tdw
w
))()((
'
ijjjiiij

wxsysw
0,
1
1
)( c
e
ys
i
cy
ii
))((
'
ijjiiij
wxysw
Mô hình:
Mạng có n nơron PE
i
, i = 1, 2, , n.
Cái ra của chúng là y
i
, i = 1, , n.
Có m tín hiệu vào {x
1
, x
2
, , x
m
}, w
ij
là trọng số liên kết từ x

j
với PE
i
.
Gọi s(x), s(y) là hàm chuyển tín hiệu, giả thiết đó là hàm đơn điệu không
giảm liên tục nhƣ dạng hàm Sigmoid.
Phƣơng thức biến đổi trọng số đƣợc gọi là luật luyện Hebb, quy tắc luyện
đơn giản theo dạng Hebb cho bởi phƣơng trình:
(1.10)
Bây giờ ta xét một số trường hợp riêng:
- Quy tắc luyện cạnh tranh (Competitive Learning Rule – Grossberg 1969,
Rumelhart 1986):
(1.11)
ở đây (1.12)

- Nếu dùng s
j
(x
j
) = x
j
ta thu đƣợc Quy tắc luyện cạnh tranh tuyến tính (the
Linear competitive learning rule):
(1.13)
Trƣờng hợp riêng quan trọng là quy tắc “thắng lấy tất cả - the winner-take-all
learning rule” của Kohonen, giải thích để hiểu qua bài toán phân cụm tập mẫu:
X = {x
1
, x
2

, … , x
p
} thành n cụm với n cho trƣớc.
Kí hiệu: x R
m
, w
i
= (w
i1
, w
i2
,…,w
im
) R
m
, α là hệ số học.





15

x
wx
yyy
m
.
) max(
1

)(
1 k
iji
k
ij
k
ij
wxww
Tại mỗi vòng lặp k, quy tắc luyện gồm 2 bƣớc:
1/ Tìm cái khớp nhất (matching) – tìm nơron tạm gọi là nơron thắng (theo
nghĩa gần mẫu nhất), sử dụng công thức sau:
(1.14)
(Phƣơng pháp tính tích vô hƣớng)
2/ Tính toán sai số và điều chỉnh trọng số:
Ký hiệu e
j
là sai số ở cột thứ j, w
ij
là biểu diễn cho cột thứ j của ma trận trọng
số w, sai số này đƣợc tính theo công thức sau:
e
j
= ||x-w
ij
|| (1.15)
Nếu tổng sai số chƣa nằm dƣới mức cho phép, ta điều chỉnh trọng số theo
công thức với k = 1,…,m. (1.16)
Khi một mẫu đƣợc đƣa tới một mạng Kohonen, những nơron đƣợc chọn là
nơron thắng (nơron thích hợp nhất theo nghĩa mà ta đặt ra) và nó là dữ liệu đầu ra từ
mạng Kohonen.

1.2.2.1. Cấu trúc của mạng nơron Kohonen
Mạng nơron Kohonen chỉ bao gồm một lớp dữ liệu đầu vào, một lớp dữ liệu
đầu ra của các nơron và nó không chứa lớp ẩn.
Lớp dữ liệu đầu vào của mạng nơron Kohonen là các nơron đầu vào tạo
thành mẫu dữ liệu đầu vào, ta chọn dữ liệu đầu vào chuẩn hóa trong khoảng giữa -1
và 1. Khi thực thi mẫu dữ liệu đầu vào, mạng sẽ tạo ra các nơron đầu ra.
Lớp đầu ra của mạng nơron Kohonen rất khác với lớp đầu ra của mạng nơron
truyền thẳng. Đối với mạng truyền thẳng, nếu chúng ta có một mạng nơron với 5
nơron đầu ra thì chúng có thể cho kết quả bao gồm 5 giá trị. Còn trong mạng nơron
Kohonen chỉ có một nơron đầu ra cho ra một giá trị, giá trị duy nhất này có thể là



16

đúng hoặc sai. Dữ liệu đầu ra từ mạng nơron Kohonen thƣờng là các chỉ số của
nơron. Cấu trúc đặc trƣng của mạng nơron Kohonen đƣợc chỉ ra trong hình 1.11:

Hình 1.11: Một dạng mạng nơron Kohonen
Để kiểm tra quá trình xử lý thông tin của mạng nơron Kohonen chúng ta xét
ví dụ sau:
Ví dụ: Xét một mạng nơron Kohonen đơn giản chỉ có 2 nơron đầu vào và 2
nơron đầu ra.
Dữ liệu đầu vào đƣợc cho là 2 nơron:
Nơron vào 1 (I1)
0.5
Nơron vào 2 (I2)
0.75
Các trọng số kết nối giữa các nơron:
I1 O1

0.1
I2 O1
0.2
I1 O2
0.3
I2 O2
0.4