Tiểu luận môn Hệ hỗ trợ quyết định Ứng dụng mạng Neural lan truyền ngược và nhận dạng ký tự

HỆ HỖ TRỢ RA QUYẾT ĐỊNH
MỤC LỤC
CH1301065– CH1301046 Trang 1
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
A. GIỚI THIỆU
Quản lý và khai thác dữ liệu dữ liệu là một phần không thể thiếu đối với việc phát triển
của các hệ thống thông tin. Sự bùng nổ internet dẫn đến sự phát triển vượt bậc trong lĩnh
vực công nghệ thông tin bao gồm các phương tiện truyền thông, kỹ thuật số và các
phương thức kinh doanh, tiếp thị phi truyền thống. Kéo theo đó là sự phát triển, gia tăng
mạnh mẽ của dữ liệu về số lượng lẫn chủng loại.Các hệ thống thông tin có thể lưu trữ
một khối lượng lớn dữ liệu về hoạt động hàng ngày của chúng. Từ khối dữ liệu này, các
kỹ thuật trong Khai Phá Dữ Liệu (KPDL) có thể dùng để trích xuất những thông tin hữu
ích mà chúng ta chưa biết. Các tri thức vừa học được có thể vận dụng để cải thiện hiệu
quả hoạt động của hệ thống thông tin ban đầu, tạo điều kiện cho các doanh nghiệp, các tổ
chức thu thập và sở hữu được khối lượng thông tin khổng lồ. Để khai thác hiệu quả
nguồn thông tin từ các CSDL lớn đó để hỗ trợ cho tiến trình ra quyết định, bên cạnh các
phương pháp khai thác thông tin truyền thống, các nhà nghiên cứu đã phát triển các
phương pháp, kỹ thuật và phần mềm mới để hỗ trợ tiến trình khám phá, phân tích và tổng
hợp thông tin.
Data Mining ra đời như một hướng giải quyết hữu hiệu , Data Mining như là một
công nghệ tri thức giúp khai thác những thông tin hữu ích từ những kho dữ liệu được tích
trữ trong suốt quá trình hoạt động của một công ty, tổ chức nào đó. Hay là một quá trình
học tri thức mới từ những dữ liệu đã thu thập được . Khai phá dữ liệu là một trong những
lĩnh vực nghiên cứu của khoa học máy tính hiện nay đang được phát triển rất mạnh mẽ.
Nó kết hợp giữa học máy, công nghệ cơ sở dữ liệu và một số chuyên ngành khác để tìm
ra những tri thức, bao gồm cả các thông tin dự báo, từ những cơ sở dữ liệu lớn.
Chúng em xin áp dụng mạng neural theo giải thuật lan truyền ngược. Trong phạm
vi một bài tiểu luận nhỏ, chúng em chỉ xin trình bày về “Ứng dụng mạng neuron trong
nhận dạng ký tự quang học”.
Bài tiểu luận này sẽ giới sơ lược về Data Mining . Đặt biệt là xây dựng ứng dụng
mạng neural trong nhận dạng ký tự. Đồng thời cũng đưa ra một hướng ứng dụng mạng

neural và giải thuật lan truyền ngược.
Em xin chân thành cảm ơn Thầy PGS.TS . Đỗ Phúc đã truyền đạt kiến thức quý
báu về DSS . Thầy đã cung cấp cho tôi rất nhiều tài liệu bổ ích để tôi có thể hiểu sâu sắc
hơn về lĩnh vực này.
Chân thành cảm ơn Thầy!
CH1301065– CH1301046 Trang 2
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
B. NỘI DUNG
CH1301065– CH1301046 Trang 3
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
CHƯƠNG I : KHAI PHÁ DỮ LIỆU
1. Khai phá dữ liệu
1.1Giới thiệu
Khai phá dữ liệu (KPDL) là tiến trình khám phá tri thức tiềm ẩn trong CSDL. Cụ thể
hơn, đó là tiến trình trích lọc, sản sinh những tri thức hoặc các mẫu tiềm ẩn, chưa biết
nhưng hữu ích từ các CSDL lớn. KPDL là tiến trình khái quát các sự kiện rời rạc trong dữ
liệu thành các tri thức mang tính khái quát, tính quy luật hỗ trợ tích cực cho các tiến trình
ra quyết định.
Nguồn dữ liệu phục vụ cho KPDL có thể là các CSDL lớn hay các kho dữ liệu có
hoặc không có cấu trúc. Nói như vậy không có nghĩa là KPDL không thể thực hiện ở các
CSDL nhỏ. KPDL chỉ thực sự phát huy tác dụng trên các CSDL lớn, nơi mà khả năng
diễn dịch và trực giác của con người cũng như các kỹ thuật truyền thống không thể thực
hiện nổi hoặc nếu thực hiện được thì hiệu quả không cao.
Thuật ngữ Datamining ám chỉ việc tìm kiếm một tập hợp nhỏ có giá trị từ một số
lượng lớn các dữ liệu thô. Có nhiều thuật ngữ hiện được dùng cũng có nghĩa tương tự với
từ Datamining như Knowledge Mining (khai phá tri thức), knowledge extraction (chắt
lọc tri thức), data/patern analysis (phân tích dữ liệu/mẫu), data archaeoloogy (khảo cổ
dữ liệu), datadredging (nạo vét dữ liệu).
1.2Hai dạng khai phá dữ liệu
• KPDL theo hướng kiểm tra: Người dùng đề xuất giả thiết, hệ thống kiểm tra tính

đúng đắn của giả thiết (bao gồm: truy vấn, báo cáo, phân tích đa chiều, phân tích
thống kê …).
• KPDL theo hướng khám phá: Tìm kiếm các tri thức tiềm ẩn trong CSDL bằng
cách tiến hành xem xét tất cả các giả thiết khả dĩ. Do không gian tìm kiếm lớn, nên
rất nhiều heuristic đã được đề xuất nhằm nâng cao hiệu suất của các thuật giải tìm
kiếm.
1.3Ứng dụng của khai phá dữ liệu
Data Mining tuy là một hướng tiếp cận mới nhưng thu hút được rất nhiều sự quan tâm
của các nhà nghiên cứu và phát triển nhờ vào những ứng dụng thực tiễn của nó. Chúng ta
có thể liệt kê ra đây một số ứng dụng điển hình:
• Giải thích dữ liệu: Cung cấp sự hiểu biết sâu sắc và rất hữu ích về hành vi của các
đối tượng, giúp cho các doanh nghiệp hiểu rõ hơn những khách hàng của họ.
o Phân tích dữ liệu và hỗ trợ ra quyết định (data analysis & decision support)
CH1301065– CH1301046 Trang 4
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
o Tài chính và thị trường chứng khoán (finance & stock market)
• Dự báo: dự đoán giá trị của những đối tượng mới.
o Khuynh hướng mua hàng của khách hàng.
o Xác định rủi ro tín dụng đối với một khách hàng.
o Định hướng tập trung nguồn lực của doanh nghiệp.
1.4Quá trình khám phá tri thức
Quá trình khám phá tri thức là một chuỗi lặp gồm các bước được thực thi:
• Data sources (các nguồn dữ liệu)
• Data warehouse (kho dữ liệu)
• Task-relevant data (dữ liệu cụ thể sẽ được khai phá)
• Patterns (mẫu kết quả từ khai phá dữ liệu)
• Knowledge (tri thức đạt được)

CH1301065– CH1301046 Trang 5
HỆ HỖ TRỢ RA QUYẾT ĐỊNH

Quá trình khám phá tri thức là một chuỗi lặp gồm 7 bước:
• Data cleaning (làm sạch dữ liệu): Loại bỏ nhiễu và các dữ liệu không cần thiết
• Data integration (tích hợp dữ liệu) : Quá trình hợp nhất dữ liệu thành những kho
dữ liệu (data warehouses & data marts) sau khi đã làm sạch và tiền xử lý (data
cleaning & preprocessing).
• Data selection (chọn lựa dữ liệu): Trích chọn dữ liệu từ những kho dữ liệu và sau
đó chuyển đổi về dạng thích hợp cho quá trình khai thác tri thức. Quá trình này
bao gồm cả việc xử lý với dữ liệu nhiễu (noisy data), dữ liệu không đầy đủ
(incomplete data).
• Data transformation (biến đổi dữ liệu): Các dữ liệu được chuyển đổi sang các
dạng phù hợp cho quá trình xử lý
• Data mining (khai phá dữ liệu): Là một trong các bước quan trọng nhất,trong đó
sử dụng những phương pháp thông minh để chắt lọc ra những mẫu dữ liệu.
• Pattern evaluation (đánh giá mẫu): Ước lượng mẫu (knowledge evaluation): Quá
trình đánh giá các kết quả tìm được thông qua các độ đo nào đó.
• Knowledge presentation (biểu diễn tri thức): Quá trình này sử dụng các kỹ thuật
để biểu diễn và thể hiện trực quan cho người dùng.
CH1301065– CH1301046 Trang 6
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
1.5Các bài toán thông dụng trong khai phá dữ liệu
1.5.1Khai thác tập phổ biến và luật kết hợp
Là tiến trình khám phá các tập giá trị thuộc tính xuất hiện phổ biến trong các đối tượng
dữ liệu. Từ tập phổ biến có thể tạo ra các luật kết hợp giữa các giá trị thuộc tính nhằm
phản ánh khả năng xuất hiện đồng thời các giá trị thuộc tính trong tập các đối tượng.
Luật kết hợp giúp các nhà hoạch định hiểu rõ xu thế bán hàng, tâm lý khách hàng,
từ đó đưa ra các chiến lược bố trí mặt hàng, kinh doanh, tiếp thị, tồn kho, …là dạng luật
biểu diễn tri thứ ở dạng khá đơn giản.Một luật kết hợp X → Y phản ánh sự xuất hiện của
tập X dẫn đến sự xuất hiện đồng thời tập Y.
Ví dụ:
Trong CSDL bán hàng, có một luật kết hợp tiêu biểu như sau:

“60 % nam giới vào siêu thị nếu mua bia thì có tới 80% trong số họ sẽ mua thêm thịt
bò khô”.
Luật kết hợp được ứng dụng nhiều trong lĩnh vực kính doanh, y học, tin-sinh, tài chính &
thị trường chứng khoán, .v.v.
1.5.2Khai thác mẫu tuần tự
Là tiến trình khám phá các mẫu tuần tự phổ biến phản ánh mối quan hệ giữa các biến cố
trong các CSDL hướng thời gian. Một luật mô tả tuần tự có dạng tiêu biểu X → Y phản
ánh sự xuất hiện của biến cố X sẽ dẫn đến việc xuất hiện kế tiếp biến cố Y.
Một luật thể hiện mẫu tuần tự tiêu biểu:
“Có 80% khách hàng mua Áo thun Việt Tiến, mua bóng Động Lực thì sau 3
ngày mua quần Việt Tiến”.
Nhờ mẫu tuần tự, có thể khám phá các xu thế phát triển hành vi của đối tượng.
CH1301065– CH1301046 Trang 7
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
1.5.3Phân lớp dữ liệu
Là tiến trình khám phá các luật phân loại hay đặc trưng cho các tập dữ liệu đã được xếp
lớp. Tập dữ liệu học bao gồm tập đối tượng đã được xác định lớp sẽ được dùng để tạo mô
hình phân lớp dựa trên đặc trưng của đối tượng trong tập dữ liệu học.
Các luật phân lớp được sử dụng để xây dựng các bộ phân lớp dữ liệu. Phân lớp dữ
liệu có vai trò quan trọng trong tiến trình dự báo các khuynh hướng, quy luật phát triển.
Áp dụng vào tiến trình phân lớp dữ liệu khách hàng trong CSDL có thể xây dựng các luật
phân lớp khách hàng. Một luật phân lớp có dạng tiêu biểu như sau:
“Nếu khách hàng ở khu vực 1 và có doanh số năm trước > 200 triệu và có cửa
hàng ở khu thị tứ thì thuộc loại khách hàng có thể giao hàng trước trả tiền sau”.
1.5.4Khai thác cụm
Là tiến trình nhận diện các cụm tiềm ẩn trong tập các đối tượng chưa được xếp lớp. Tiến
trình khai thác cụm dựa trên mức độ tương tự giữa các đối tượng. Các đối tượng được
gom cụm sao cho mức độ tương tự giữa các đối tượng trong cùng một cụm là cực đại và
mức độ tương tự giữa các đối tượng nằm trong các cụm khác nhau là cực tiểu. Các cụm
được đặc trưng bằng các tính chất chung của tất cả các đối tượng gom cụm.

Do vậy, khảo sát các cụm sẽ giúp khái quát tổng kết nhanh chóng nội dung của
khối dữ liệu lớn.
2. Phân lớp dữ liệu
Phân lớp dữ liệu (data classification) là xếp đối tượng dữ liệu vào một trong các lớp đã
được xác định trước. Phân lớp dữ liệu gồm hai bước là xây dựng mô hình và vận hành
mô hình.
1) Xây dựng mô hình: Nhằm mục tiêu mô tả một tập những lớp đã được định nghĩa
trước trong đó mỗi bộ hoặc mẫu sẽ được gán về một lớp đã xác định trước bởi thuộc
tính phân lớp. Tập hợp những bộ được dùng để xây dựng mô hình được gọi là tập dữ
liệu học (tập học). Mô hình được biểu diễn dưới dạng luật phân lớp, cây quyết định
hoặc công thức toán học, …
2) Vận hành mô hình: Nhằm mục đích xác định lớp của dữ liệu trong tương lai hoặc
phân lớp những đối tượng chưa biết. Trước khi vận hành mô hình cần đánh giá độ
chính xác của mô hình trong đó các mẫu kiểm tra (đã biết được lớp) được đem so
CH1301065– CH1301046 Trang 8
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
sánh với kết quả phân lớp của mô hình. Độ chính xác là phần trăm của số mẫu kiểm
tra được phân lớp đúng. Lưu ý, tập kiểm tra và tập học là hai tập độc lập với nhau.
2.1Phân Lớp Quy Nạp Trên Cây Quyết Định
Cây quyết định gồm các nút trong biểu diễn giá trị thuộc tính, các nhánh biểu diễn đầu ra
của kiểm tra, nút lá biểu diễn nhãn lớp. Cây quyết định được tạo theo hai giai đoạn là tạo
cây và tỉa nhánh.
Trong giai đoạn tạo cây, lúc bắt đầu tất cả các mẫu học đều nằm ở nút gốc, sau đó
các mẫu học được phân chia một cách đệ quy dựa trên thuộc tính được chọn. Bước tỉa
nhánh nhằm tìm và xóa những nhánh có phần tử không thể xếp vào lớp nào cả.
Bước vận hành nhằm kiểm tra những giá trị thuộc tính của mẫu đối với các giá trị
trên nhánh của cây quyết định.
2.1.1 Thuật toán tạo cây quyết định
• B1: Cây được xây dựng đệ quy từ trên xuống và theo cách chia để trị.
• B2: Ban đầu, tất cả mẫu học đều nằm ở gốc.

• B3: Thuộc tính được phân loại (nếu là giá trị liên tục được rời rạc hóa).
• B4: Các mẫu học được phân chia đệ quy dựa trên thuộc tính chọn lựa.
• B5: Kiểm tra những thuộc tính được chọn dựa trên heuristic hoặc của một tiêu
chuẩn thống kê.
2.1.2 Điều kiện để dừng phân chia tập học:
• Tất cả những mẫu học đối với một nút cho trước đều cùng một lớp.
• Không còn thuộc tính nào để phân chia tiếp.
• Không còn mẫu học.
2.1.3 Độ lợi thông tin: (Information Gain)
Là đại lượng được dùng để chọn thuộc tính nhằm phân chia tập học. Thuộc tính
được chọn là thuộc tính có độ lợi thông tin lớn nhất.
Cho hai lớp P và N và tập học S. Lớp P có p phần tử, lớp N có n phần tử. Khối
lượng thông tin cần để quyết định các mẫu trong S thuộc về lớp P hay lớp N được xác
định bởi:
np
n
np
n
np
p
np
p
npI
++
−
++
−=
22
loglog),(
CH1301065– CH1301046 Trang 9

HỆ HỖ TRỢ RA QUYẾT ĐỊNH
Giả sử, thuộc tính A được chọn để phân hoạch S thành các tập hợp {S
1
, S
2
, …, S
v
}.
Nếu S
i
chứa p
i
mẫu của lớp P và n
i
mẫu của lớp N
i
thì entropy cần để phân loại các đối
tượng trong cây con S
i
là:
),()(
1
ii
v
i
ii
npI
np
np
AE

∑
=
+
+
=
Độ lợi thông tin của nhánh A là: Gain(A) = I(p,n) – E(A)
2.2Phương Pháp Phân Lớp Bayes
2.2.1 Sự phân hoạch và công thức Bayes
Cho H
1
, H
2
, …, H
n
là một phân hoạch không gian mẫu M và A là biến cố bất kỳ trong M,
ta có:
)/()()(
1
i
n
i
i
HAPHPAP
∑
=
=
Các xác suất P(H
i
) và P(A/H
i

) thường được biết trước khi thực hiện phép thử và
được gọi là xác suất tiên nghiệm. Xác suất P(A/H
i
) cho biết khả năng tham gia của H
i
vào
việc xảy ra biến cố A. Xác suất P(A/H
i
) được gọi là xác suất hậu nghiệm. Có thể tính xác
suất hậu nghiệm từ các xác suất tiên nghiệm theo công thức sau:
)(
)/()(
)/(
AP
HAPHP
AHP
ii
ii
=
∑
=
=
n
k
kk
ii
i
HAPHP
HAPHP
AHP

1
)/()(
)/()(
)/(
Định lý Bayes: Cho H
1
, H
2
, …, H
n
là một phân hoạch
không gian mẫu và A là biến cố trong M. Khi đó với mọi i = 1, …, n ta có:
CH1301065– CH1301046 Trang 10
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
2.2.2 Bộ phân lớp Naïve Bayes
Cho V
1
, V
2
, …, V
m
là phân hoạch không gian mẫu V, mỗi V
i
là một lớp. Không gian các
thể hiện X gồm các thể hiện được mô tả bởi tập thuộc tính A
1
, A
2
, …, A
n

. Không gian các
thể hiện X là tập học. Khi có thể hiện mới với giá trị <a
1
, a
2
, …, a
n
>, bộ phân lớp sẽ xuất
giá trị hàm phân lớp f(x) là một trong các V
i
.
Tiếp cận Bayes lấy giá trị có xác suất cao nhất V
MAP
cho thể hiện mới. Chữ MAP
là viết tắt của cụm từ Maximum A Posterior.
), ,,|(max
21 ni
Vv
MAP
aaavPV
i
∈
=
Sử dụng định lý Bayes, ta có:
), ,,(
)|, ,,()(
max
21
21
n

jnj
Vv
MAP
aaaP
vaaaPvP
V
j
∈
=
)|, ,,()(max
21 jnj
vaaaPvP
=
Trong công thức trên có hai số hạng cần quan tâm là P(vj) và P(a
1
, a
2
, …, a
n
). Ta
tính P(vj) bằng cách đếm số lần xuất hiện của giá trị đích vj trong tập học. Để tính P(a
1
,
a
2
, …, a
n
), ta giả thiết, ban đầu các thuộc tính là độc lập nhau. Nói cách khác, xác suất
của một thể hiện quan sát được <a
1

, a
2
, …, a
n
> trên mỗi lớp vj là tích các khả năng của
từng thuộc tính riêng biệt trên vj.
2.3Các Phương Pháp Phân Lớp Khác
2.3.1 Phân lớp bằng mạng neural lan truyền ngược
CH1301065– CH1301046 Trang 11
x1 w1
x2
w2
w1n
xn
k
f
Output y
Vector vào Vector trọng Tổng gán trọng Hàm kích hoạt Đầu ra y
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
Cấu trúc của một neural như sau:
Vector x có số chiều là n được ánh xạ vào biến y dựa trên tích vô hướng và một hàm phi
tuyến.
Mục tiêu cơ bản của việc huấn luyện nhằm thu được tập trọng số có thể phân lớp đúng
cho hầu hết những bộ trong tập huấn luyện. Các bước của tiến trình huấn luyện:
• Khởi tạo trọng số của mạng nơron những giá trị ngẫu nhiên.
• Lần lượt đưa từng mẫu học vào mạng nơron.
• Đối với từng mẫu học:
o Tính toán giá trị output sử dụng hàm kích hoạt.
o Tính toán lỗi.
o Cập nhật trọng số.

2.3.2 Những ích lợi của mạng neural có thể kể đến như sau:
• Có độ chính xác cao.
• Khả năng làm việc với các mẫu chứa lỗi.
• Output có thể là giá trị rời rạc, giá trị thực hoặc vector của nhiều thuộc tính rời rạc
hoặc giá trị thực.
• Đánh giá hàm mục tiêu.
2.3.3 Tuy vậy, mạng nơron cũng có các khuyết điểm sau:
CH1301065– CH1301046 Trang 12
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
• Thời gian huấn luyện lâu, điều này rất khó triển khai với khối dữ liệu lớn thường gặp
trong KPDL, tuy vậy gần đây đã có một số nghiên cứu đẩy nhanh tốc độ huấn luyện
mạng nơron dựa trên một số trường hợp đặc biệt của mẫu học.
• Hàm học có dạng số, không tường minh và khó giải thích.
• Khó kết hợp với tri thức lĩnh vực.
2.4Phân lớp dựa trên luật kết hợp
Tìm các luật kết hợp có độ hỗ trợ và độ tin cậy cao có dạng “cond_set => y” với y
là một phân lớp.
2.5Thuật giải di truyền
Thuật giải di truyền (genetic algorithm) dựa trên nguyên lý Darwin về sự tiến hóa
sinh học. Mỗi luật được biểu diễn bởi một chuỗi bit. Một mẫu khởi tạo được tạo ra bao
hàm những luật được tạo một cách ngẫu nhiên. Dựa trên khái niệm cái phù hợp nhất sẽ
tồn tại, những quy luật phù hợp nhất sẽ được biểu diễn bởi sự phân lớp chính xác trên tập
hợp huấn luyện. Sự phù hợp của một luật được biểu diễn bởi độ chính xác của phân lớp
trên tập hợp những ví dụ huấn luyện. Kết quả được tạo ra bởi sự lai ghép và đột biến.
2.6Tiếp cận tập thô
Tập thô được sử dụng để xấp xỉ hoặc định nghĩa “thô” những lớp tương đương.
Một tập thô cho một lớp C được xấp xỉ bởi hai tập hợp xấp xỉ dưới và xấp xỉ trên.
CH1301065– CH1301046 Trang 13
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
CHƯƠNG II : MẠNG NEURAL LAN TRUYỀN NGƯỢC

Đầu tiên ANN được giới thiệu năm 1943 bởi nhà thần kinh học Warrn McCulloch và nhà
logic học Walter Pits. Nhưng với những kỹ thuật trong thời gian này chưa cho phép họ
nghiên cứu được nhiều. Những năm gần đây mô phỏng ANN xuất hiện và phát triển. Các
nghiên cứu ứng dụng đã được thực hiện trong các ngành: điện, điện tử, kỹ thuật chế tạo, y
học, quân sự, kinh tế và mới nhất là các nghiên cứu ứng dụng trong lĩnh vực quản lý dự
án xây dựng. Tại Việt Nam việc nghiên cứu ứng dụng ANN vào quản lý xây dựng chỉ
mới bắt đầu trong vài năm gần đây và cần được phát triển.
Mạng nơ ron nhân tạo là một mô phỏng xử lý thông tin, được nghiên cứu ra từ hệ
thống thần kinh của sinh vật, đặc biệt là con người, giống như bộ não để xử lý thông tin.
Nó bao gồm số lượng lớn các mối gắn kết cấp cao để xử lý các yếu tố làm việc trong mối
liên hệ giải quyết vấn đề rõ ràng. ANNs giống như con người, được học bởi kinh nghiệm,
lưu những kinh nghiệm hiểu biết và sử dụng trong những tình huống phù hợp. Sau đây là
một thống kê so sánh khả năng của não người và máy tính
Máy tính Bộ não người
Đơn vị tính toán 10
5
mạch logic 10
11
neural
Bộ nhớ 10
11
neural, 10
14
khớp nối
Thời gian xử lý 10
-8
giây 10
-3
giây
Thông lượng 10

9
bit/giây 10
14
khớp/giây
1. Mạng neural
CH1301065– CH1301046 Trang 14
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
Mạng Neural là một thuật ngữ nói đến một phương pháp giải quyết vấn đề bài toán
trên máy tính phỏng theo hoạt động của tế bào thần kinh não bộ. Nói cụ thể hơn,
mạng Neural là một bộ xử lý phân tán song song rất lớn theo khuynh hướng tự nhiên
nhằm tích lũy kinh nghiệm tri thức và sử dụng chúng để giải quyết bài toán ngày càng
hoàn thiện hơn. Mạng neural nhân tạo hoạt động giống não bộ con người ở hai mặt:
• Tri thức được tích lũy thông qua mạng trong suốt quá trình học
• Mức độ của các kết nối giữa tế bào thần kinh được xem như những trọng số của
các cung mạng neural nhân tạo. Trọng số này được dùng để lưu trữ tri thức.
Trước khi đi vào nghiên cứu sâu hơn về mạng Neural, ta tìm hiểu sơ lược về hoạt
động của não bộ con người.
CH1301065– CH1301046 Trang 15
Cấu trúc của tế bào thần kinh con người
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
Hệ thần kinh con người có thể đuợc chia thành ba bộ phận:
• Bộ phận trung tâm được gọi là não bộ, nó được biểu diễn bởi mạng neural, tiếp
nhận thông tin, xử lý thông tin và đưa ra một quyết định thích hợp.
• Bộ phận tiếp nhận (Receptors) giữ nhiệm vụ chuyển đổi những tín hiệu kích
thích(stimulus) từ các bộ phận khác của cơ thể hay môi trường bên ngoài thành
những electrical impulses (xung lực điện sinh ra từ não bộ) và chuyển chúng
vào não bộ.
• Bộ phận phản hồi (Effectors) giữ vai trò ngược với bộ phận tiếp nhận, nó
chuyển đổi electrical impulses thành discernible responses và phản hồi thông
tin. Hoạt động của hệ thần kinh được biểu diễn theo sơ đồ sau:

Để đi vào phân tích các hoạt động của hệ thần kinh, ta xem xét mô hình phân cấp các
mức từ thấp đến cao như hình sau:
CH1301065– CH1301046 Trang 16
Respons
Stimulu
Bộ
phận
Mạng
Neural
Bộ
phận
Mô hình biểu diễn họat động của hệ thần kinh
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
Mức cơ bản biểu diễn các phân tử và các ion (Molecules). Chính sự tương tác của các
phân tử này theo nhiều cách khác nhau hình thành các khớp thần kinh (Synapses). Một
neural microcircuit là một nhóm các khớp thần kinh có tổ chức để tạo ra các tính năng
tương tự nhau. Kích cỡ của các neural microcircuit khoảng vài micro-met, tốc độ phản ứng
của chúng vào khoảng vài mili giây. Các neural microcircuit với các đặc điểm tương tự nhau
nhóm lại trong dạng hình cây (denrictic tree), và từ đó hình thành những neuron với các tính
năng riêng. Một neuron kích cỡ 100 micro-met chứa khoảng vài denrictic tree. Ở cấp độ cao
hơn là các local circuits có chiều rộng khoảng 1 mili mét được hình thành từ các neuron với
tính năng khác nhau hoặc gần giống nhau. Từ đây hình thành các hoạt động có tính chất
chuyên môn hóa. Ở mức cao hơn, các local circuits liên kết với nhau theo những qui tắc nhất
định, đó chính là các Interrgional circuits, có nhiệm vụ phản hồi thông tin sau khi đã được
xử lý. Trên cùng chính là cơ quan thần kinh trung ương (Central nervous system) đóng vai
trò quyết định cho một trả lời từ nhiều phản hồi thông tin của Interrgional circuits.
Từ cấu trúc cũng như họat động của bộ não con người, người ta đã đúc kết một phương
pháp học cho máy tính có mô hình tương tự như vậy, nhằm đạt được một kết quả tốt như
mong muốn, đó là mạng neural nhân tạo. Các thành phần cơ bản của mạng neural nhân tạo
được so sánh với các local circuits và interrigional circuits.

2. Thành phần chính của mạng neural
Mô hình bộ não và mạng neural sinh học
CH1301065– CH1301046 Trang 17
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
Một mạng neural thông thường có các thành phần chính sau đây:
• Soma là thân của neural.
• Các dendrites là các dây mảnh, dài, gắn liền với soma, chúng truyền dữ liệu (dưới
dạng xung điện thế) đến cho soma xử lý. Bên trong soma các dữ liệu đó được tổng
hợp lại. Có thể xem gần đúng sự tổng hợp ấy như là một phép lấy tổng tất cả các
dữ liệu mà neural nhận được.
• Một loại dây dẫn tín hiệu khác cũng gắn với soma là các axon. Khác với
dendrites, axons có khả năng phát các xung điện thế, chúng là các dây dẫn tín hiệu
từ neural đi các nơi khác. Chỉ khi nào điện thế trong soma vượt quá một giá trị
ngưỡng nào đó (threshold) thì axon mới phát một xung điện thế, còn nếu không thì
nó ở trạng thái nghỉ.
• Axon nối với các dendrites của các neural khác thông qua những mối nối đặc
biệt gọi là synapse. Khi điện thế của synapse tăng lên do các xung phát ra từ axon
thì synapse sẽ nhả ra một số chất hoá học (neurotransmitters); các chất này mở
"cửa" trên dendrites để cho các ions truyền qua. Chính dòng ions này làm thay đổi
điện thế trên dendrites, tạo ra các xung dữ liệu lan truyền tới các neural khác.
Có thể tóm tắt hoạt động của một neural như sau: neural lấy tổng tất cả các điện thế vào
mà nó nhận được, và phát ra một xung điện thế nếu tổng ấy lớn hơn một ngưỡng nào đó.
Các neural nối với nhau ở các synapses. Synapse được gọi là mạnh khi nó cho phép
truyền dẫn dễ dàng tín hiệu qua các neural khác. Ngược lại, một synapse yếu sẽ truyền
dẫn tín hiệu rất khó khăn.
Các synapses đóng vai trò rất quan trọng trong sự học tập. Khi chúng ta học tập thì
hoạt động của các synapses được tăng cường, tạo nên nhiều liên kết mạnh giữa các
neural. Có thể nói rằng người nào học càng giỏi thì càng có nhiều synapses và các
CH1301065– CH1301046 Trang 18
HỆ HỖ TRỢ RA QUYẾT ĐỊNH

synapses ấy càng mạnh mẽ, hay nói cách khác, thì liên kết giữa các neural càng nhiều,
càng nhạy bén. Hãy nhớ kỹ nguyên tắc này, vì chúng ta sẽ dùng nó trong việc học tập của
các ANNs.
3. Mô hình mạng neural nhân tạo
Mô hình một neural nhân tạo
Neural này sẽ hoạt động như sau: giả sử có N inputs, neural sẽ có N weights (trọng số)
tương ứng với N đường truyền inputs. Neural sẽ lấy tổng có trọng số của tất cả các
inputs. Nói như thế có nghĩa là neural sẽ lấy input thứ nhất, nhân với weight trên đường
input thứ nhất, lấy input thứ hai nhân với weight của đường input thứ hai v.v , rồi lấy
tổng của tất cả các kết quả thu được. Đường truyền nào có weight càng lớn thì tín hiệu
truyền qua đó càng lớn, như vậy có thể xem weight là đại lượng tương đương với synapse
trong neural sinh học. Có thể viết kết quả của output mạng neural này như sau:
∑
==
)()(
jj
awgingout
3.1. Các hàm thường dung
CH1301065– CH1301046 Trang 19
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
• Hàm dạng bước (hàm ngưỡng):



<
≥
=
φ
φ
x

x
xstep
if 0
if 1
)(

• Hàm dấu:



<−
≥
=
φ
φ
x
x
xsign
if 1
if 1
)(

• Hàm sigmoid:
( )
)(
1/1)(
θα
+−
+=
x

exsigmoid

3.2. Neuron (nút mạng)
Đơn vị nền tảng trong mạng neural là neuron, một đơn vị xử lý thông tin. Người ta đã
đưa ra các thành phần cơ bản của một neuron như sau:
• Một tập các dây thần kinh mà đặc trưng của mỗi sợi là một trọng số. Trọng số
w
kj
biểu diễn cho dây thần kinh có một đầu là tín hiệu x
j
nối vào neuron k. w
kj
>0
thể hiện sự kích thích tăng trưởng cho tín hiệu này, ngược lại w
kj
<0 mang tính
kìm hãm thông tin đó.
CH1301065– CH1301046 Trang 20
f(.)
x1
xp
x2
wk1
wk2
wkp
vk
yk
Mô hình biểu diễn một Neuron
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
• Một hàm cộng, tính tổng tất cả các tích của tính hiệu đầu vào x

j
và trọng số w
kj
tương ứng:
∑
=
=
p
j
jkjk
xwu
1
• Một hàm truyền nhằm hiệu chỉnh giá trị đầu ra của neuron. Hàm truyền là
hàm toán học thỏa mãn các điều kiện sau:
o Liên tục
o Đơn điệu tăng
o Bị chặn





Giá trị đầu ra của neuron k được tính bởi công thức:
y
k
= f(u
k
- θ
k
)

Trong đó f là hàm truyền, u
k
là tổng các tích của tín hiệu đầu vào x
j
và trọng số tương ứng
w
kj
, θ
k
là ngưỡng hoạt động của neuron k
Một số lọai hàm truyền được dùng cho các mạng neural:
• Hàm ngưỡng
f(v) =



0
1

• Hàm logistic (còn gọi là hàm sigma)
CH1301065– CH1301046 Trang 21
nếu v
≥
0
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
f(v) =
av
e
−
+1

1
• Hàm hyperpol
f(v) =
v
v
e
e
−
−
+
−
1
1
Trên cơ sở đã định nghĩa về cấu trúc của một neuron, người ta đưa ra một số mô hình
mạng neural dựa trên số lớp của nó.
4. Mạng neural một lớp
CH1301065– CH1301046 Trang 22
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
∑
∑
∑
f
f
f
1
p
2
p
3
p

1,1
w
RS
w
,
1
a
2
a
S
a
1
b
2
b
S
b
1
n
2
n
S
n
1
1
1
a = f(Wp+b)
S
p





Một lớp trong mạng neural là một nhóm các neuron có đặc điểm tương tự nhau, nghĩa là
chúng nhận cùng những tín hiệu đầu vào nhưng với các trọng có thể khác nhau.
CH1301065– CH1301046 Trang 23
Mô hình mạng neural một lớp
Lớp input
Lớp ẩn
Lớp ouput
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
Mạng neural một lớp là mạng chỉ có một lớp nhận nhiệm vụ tính toán để đưa ra
kết quả (lớp output). Đầu vào của các neuron output chính là các nút input x
1
,x
2
,…,x
p
.

5. Mạng neural nhiều lớp

Mạng neural nhiều lớp là mạng neural gồm có hai hay nhiều lớp tính toán, nghĩa là ngoài
lớp input và lớp output, còn có một số lớp xen giữa hai lớp này gọi là các lớp ẩn.
CH1301065– CH1301046 Trang 24
x1
x2
xp
θ
−

∑
=
p
i
ii
xw
1
w1
w2
wp
yk
f(vj)
Mô hình mạng perceptron
HỆ HỖ TRỢ RA QUYẾT ĐỊNH
Nguyên tắc hoạt động cơ bản của mạng neural là quá trình luyện mạng hay còn
gọi là quá trình học qua nhiều thế hệ. Để có thể học được, cũng như con người, ta cần có
tập những mẫu dùng để học. Một mẫu là cặp các giá trị đầu vào x
1
,…,x
p
và các giá trị
mong muốn d
1
,…,d
q
. Giả sử thông tin (giá trị của một mẫu) được đưa vào lớp input,
chúng sẽ được “truyền” qua các lớp kế tiếp nhờ vào kết quả tính toán của neuron mà ta
trình bày ở trên. Ở đây bộ trọng số có thể được khởi đầu bằng những giá trị bất kỳ.
Kết quả tính toán các giá trị output y
1,…,

y
q
sẽ được so sánh với các giá trị mong đợi
d
1
,…,d
q
từ đây mạng rút ra được các “bài học” bằng cách cập nhật các trọng số để lần
học sau được tốt hơn. Mỗi lần lặp lại tiến trình cập nhật trọng số được gọi là một thế hệ.
Điều mà ta mong muốn là qua các thế hệ, trọng số được cập nhật sao cho sai số
của giá trị output ngày càng giảm dần, đến một lúc nào đó có thể chấp nhận được, khi ấy
có thể coi là mạng học xong.
6. Mạng perceptron
6.1. Định nghĩa
Mạng perceptron là mạng neural được hình thành từ một neuron đơn với hàm truyền là
hàm signum
sgn(v) =



−
1
1

CH1301065– CH1301046 Trang 25
nếu v
≥
0