Đề tài điều khiển mobile robot ứng dụng các mạng neuron nhân tạo

Nguyễn Thiện

TRƯỜNG ĐẠI HỌC BÁCH KHOA TPHCM
KHOA ĐIỆN-ĐIỆN TỬ
BỘ MÔN ĐIỀU KHIỂN TỰ ĐỘNG

LUẬN VĂN TỐT NGHIỆP TỰ ĐỘNG
K97
ĐỀ TÀI :

ĐIỀU KHIỂN MOBILE ROBOT ỨNG DỤNG
CÁC MẠNG NEURON NHÂN TẠO

GIÁO VIÊN HƯỚNG DẪN : Thầy NGUYỄN THIỆN THÀNH
SINH VIÊN THỰC HIỆN :
NGUYỄN TRUNG DŨNG . MSSV : 49700311
HOÀNG TRUNG HIẾU

. MSSV : 49700468


Nguyễn Thiện

Tháng 1/2002

CHƯƠNG 1:
QUÁ TRÌNH HUẤN LUYỆN TRONG HỆ
THỐNG ĐIỀU KHIỂN NEURON
1.1 Giới Thiệu :
1.1.1 Hệ điều khiển neuron sinh học :
Với sự phát triển của các loại máy móc ,ngày nay các nhà khoa học muốn tạo

ra một loại máy có thể hoạt động độc lập với sự điều khiển của con người trong
một môi trường luôn thay đổi và không chắc chắn , những máy này được gọi là
máy tự động hay máy thông minh ( hay thường được gọi là robot ) .Sự thành công
của một robot phụ thuộc vào khả năng nó có thể xử lý được nhiều tình huống đa
dạng trong môi trường hoạt động của nó .Mục tiêu của các nhà khoa học là tạo ra
những robot có thể hoạt động liên tục và luôn hồi tiếp những hành động của nó
.Robot có thể thực hiện những công việc mà những máy móc thông thường được
điều khiển bằng tay khó có thể thực hiện được .Ngoài ra ,robot có thể thích nghi
và thực hiện hiệu quả công việc trong một môi trường luôn thay đổi . Vì vậy
,robot rất hữu ích khi thay thế con người trong những công việc khó khăn ,nguy
hiểm ,và nhàm chán như sử dụng robot trong chiến tranh , trong lò phản ứng hạt
nhân , trong quân sự , dò phá mìn ....
Cấu trúc mạng sinh học được xem như là nguồn gốc và bộ khung để thiết kế
robot .Mô hình mạng sinh học cung cấp không chỉ động cơ mà còn một vài manh
mối để phát triển giải thuật học thích nghi và bền vững trong robot .Ngày nay ,kỹ
thuật điều khiển thích nghi và bền vững còn ít phổ biến so với kỹ thuật điều khiển
cổ điển như bộ điều khiển tỷ lệ (P) , tích phân (I) , vi phân (D) và bộ điều khiển vi
tích phân (PID) và mô hình tham khảo của bộ điều khiển thích nghi .
Cơ cấu điều khiển dùng mạng sinh học phù hợp để điều khiển những đối
tượng có mô hình phức tạp, không chắc chắn .Mô hình mạng thường rất phức tạp
và bất chấp mô hình toán chính xác .Chúng có thể thực hiện những nhiệm vụ


Nguyễn Thiện

phức tạp mà không cần xây dựng mô hình toán của đối tượng cũng như môi
trường mà nó hoạt động ; điều đó có nghóa là ta không phải giải quyết những bài
toán tích phân ,vi phân và toán phức.
Ví dụ : hành vi cầm ly nước của con người .Trước tiên ,bộ não người tác động
lên ly nước ;và nó sẽ xác đònh khoảng cách từ tay đến ly nước và tính toán hướng

di chuyển của tay để cầm ly nước ,sau đó bộ não sẽ lên kế hoạch và thực hiện
công việc là cầm ly nước lên .
Cũng như bộ não người , mạng sinh học cũng thực hiện công việc dựa vào khả
năng nhận thức của nó .Những bước tính toán tiếp theo hoàn toàn là dựa vào tiềm
thức .Ở đây ,chúng ta không xem xét đến quan hệ giữa cổ tay với khuỷu tay hoặc
vai , cũng như sức lực của mỗi người ra sao .Mà những tính toán chi tiết về góc
hay lực được thực hiện bởi những mức thấp hơn của tính toán tiềm thức nằm ở hệ
thống thần kinh trung tâm (CNS) .Ngoài ra , hệ điều khiển sinh học có thể học để
thực hiện những công việc mới cũng như có thể thích nghi với những thay đổi của
môi trường một cách dễ dàng .
Giả thuyết rằng , nếu nguyên tắc cơ bản của những tính toán neuron trong hệ
điều khiển sinh học được sáng tỏ ,lúc này những bộ điều khiển thế hệ mới có thể
được phát triển càng bền vững và thông minh hơn vượt xa khả năng những bộ
điều khiển cổ điển dựa trên mô hình toán học .
Mặc dù nhiều nhà sinh vật học và tâm lý học đều cho rằng bộ não có cấu trúc
module thần kinh .Nhưng không có cái nhìn chung về số lượng module thần kinh
hay cách hình thành cấu trúc module thần kinh .Lý do là vì module tự nhiên của
não có số lượng lớn những bộ phận tác động qua lại với nhau .Thậm chí khi xây
dựng một mô hình với một vài bộ phận tương tác qua lại ( để so sánh với một bộ
não thật sự ) thì xuất hiện những tính toán kinh khủng và những phân tích khó
khăn .Trong nhiều trường hợp , mô hình toán cung cấp những công những công cụ
cần thiết để làm rõ những khía cạnh khác nhau của hệ thống .
Thiên nhiên đã tạo ra một cấu trúc thần kinh rất phức tạp trong các loài sinh
vật .Có trên 100 tỷ neuron sinh học trong hệ thống thần kinh trung tâm của con
người , chúng đóng một vai trò quan trọng trong những khía cạnh khác nhau của
quá trình xử lý thông tin và thực hiện những quyết đònh ( như nhận biết ,điều
khiển và nhận thức ) .Trong quá trình xử lý thông tin ;xuất hiện những hoạt động
đa dạng ,phức tạp và những chức năng ánh xạ ( mapping function ) trong cấu trúc

Nguyễn Thiện

tầng song song ( parallel_cascade ) ,hình thành một mô hình phức tạp ở những lớp
Neuron và phát triển thành mô hình hình chóp .Thông tin được truyền từ lớp
Neuron này sang lớp Neuron khác theo hướng tiến và liên tục được hồi tiếp để
hình thành một cấu trúc hình chóp động .
1.1.2 Những tiền đề để thiết kế hệ thống điều khiển cổ điển :
Phương pháp thiết kế hệ thống điều khiển cổ điển dựa trên mô hình toán học
mô tả hành vi của đối tượng và ứng dụng những kỹ thuật phân tích trên mô hình
này để đi đến luật điều khiển . Thông thường , những mô hình toán thường chứa
những phương trình vi phân tuyến tính hoặc phi tuyến .Hầu hết những phương
trình này đều được xây dựng xấp xỉ và đơn giản hoá .Đối với một đối tượng phức
tạp hoạt động trong một môi trường luôn thay đổi thì kỹ thuật cổ điển sẽ gặp khó
khăn khi xây dựng mô hình toán và luật điều khiển ,thậm chí không thể thực hiện
được .Mô hình của một hệ thống điều khiển có hồi tiếp liên quan đến sai số giữa
mô hình đơn giản hoá và mô hình thực ; sai số này quyết đònh hành vi và hoạt
động của hệ thống .
Có hai phương pháp điều khiển thường được mô tả để đạt được kết quả điều
khiển theo ý muốn từ những hiểu biết mơ hồ về đối tượng .Phương pháp thứ nhất
là ổn đònh bền vững (robust stabilizer ) hay còn gọi là bộ điều khiển bền vững
.Điều khiển thích nghi (Adaptive control) là phương pháp thứ hai để giải bài toán
điều khiển cho một đối tượng phức tạp .Các thông số của bộ điều khiển thích nghi
phải phù hợp với giải thuật thích nghi để giữ cho hệ thống hoạt động như mong
muốn .Nhìn chung ,bộ điều khiển thích nghi được áp dụng rộng rãi để điều khiển
những đối tượng không chắc chắn ,nhưng nó phức tạp hơn bộ điều khiển bền vững
.Sơ đồ của bộ điều khiển thích nghi được mô tả như sau :


Input

Nguyễn Thiện

Plant

Controlle
r

x(t)∈Rn Measurement Output
x = f [.]
s y(t) =g[.]
1
Largely unknow
.

y (t ) ∈ R

y

u(t) ∈Rn

Adapt
iv
algorith
e
m

J

Performance
Criterion ,

J

Hình trên biểu diễn một hệ thống điều khiển thích nghi .Bộ điều khiển thích
nghi đo được những giá trò như đầu vào ,trạng thái và đầu ra của hệ thống động
.So sánh những giá trò này với giá trò mong muốn ,luật thích nghi sẽ hiệu chỉnh
thông số của bộ điều khiển để đảm bảo đối tượng làm việc như mong muốn .
Mặc dù kỹ thuật điều khiển thích nghi được dùng rất rộng rãi nhưng những
ứng dụng của chúng vào các bài toán thực tế còn rất hạn chế .Lý do là vì trong
thực tế yếu tố ổn đònh được ưu tiên hơn trong hệ thống điều khiển thích nghi.Đối
với những hệ thống lớn và phức tạp thì sự phức tạp của phương pháp thích nghi
truyền thống gây khó khăn cho người thực hiện .Hơn nữa ,phương pháp này cần
hiểu biết về bậc của đối tượng điều khiển ;nhưng trong thực tế nhiều hệ thống ta
không biết được bậc của đối tượng nên việc áp dụng phương pháp điều khiển
thích nghi truyền thống rất khó khăn và đôi khi không thể thực hiện được .


Nguyễn Thiện

1.1.3 Giải thuật học trong bộ điều khiển Neuron :
Để đương đầu với một đối tượng động không chắc chắn , bộ điều khiển phải
ước lượng những thông tin không rõ ràng trong suốt thời gian hoạt động .Nếu
những thông tin được ước lượng gần với thông tin thật thì bộ điều khiển được thiết
kế sẽ là bộ điều khiển tối ưu.Sự cải tiến các hành vi nhờ vào sự hiệu chỉnh thông
tin ước lượng, vì vậy bộ điều khiển này được xem như là bộ điều khiển học thích
nghi. Bộ điều khiển được huấn luyện từ những thông tin không rõ ràng trong suốt
thời gian hoạt động ,thông tin này được dùng như một kinh nghiệm cho những
Mô hình của một bộ điều khiển Neuron được biễu diễn ở hình sau :
Input

Neural

network

Plant

x(t)∈Rn Measurement y(t) ∈R1
x = f [.
s y(t) =g[.
]
]
Largely unknow
Output
.

Learning
algorithm
Desired response

Erro
r

Bộ điều khiển được gọi là bộ điều khiển học hỏi nếu những thông tin không rõ
quyết đònh và điều khiển trong tương lai .
ràng của đối tượng hoặc của môi trường được thu thập khi hoạt động và những
thông tin này được dùng để ước lượng cho những bước tiếp theo .Ví dụ như bộ
điều khiển được thay đổi kiểu điều khiển hoặc những thông số của bộ điều khiển
sau khi học nếu bộ điều khiển hiện tại không thoả mãn yêu cầu .
Bộ điều khiển được huấn luyện có thể tăng hiệu quả hoạt động và có thể tạo
ra những bộ điều khiển bền vững .Bộ điều khiển có thể bù một số lượng lớn
những thay đổi trong bộ điều khiển và môi trường hoạt động của nó .Luật học
nhằm để xác đònh các thông số của bộ điều khiển Neuron để hệ thống hoạt động

tối ưu . Luật học có khả năng cải tiến những hành vi trong tương lai dựa vào
những thông tin trong hiện tại .Cả bộ điều khiển học hỏi và thích nghi có thể được
thực hiện dùng giải thuật điều chỉnh thông số dựa vào thông tin hồi tiếp .


Nguyễn Thiện

1.1.4 Cấu trúc sinh học của Neuron :
Bộ não người bao gồm xấp xỉ 100 tỷ tế bào thần kinh , còn được gọi là
Neuron .Tất cả những hoạt động của con người phụ thuộc vào những tế bào nhỏ
bé này . Mỗi Neuron kết hợp với nhiều Neuron khác tạo thành mạng Neuron .Sự
kết nối thành mạng tạo làm cho con người có khả năng tính toán và ghi nhớ .
Neuron là đơn vò cơ bản của hệ thần kinh trung tâm ( Central Nervous
System:CNS ) , những Neuron này có chức năng xử lý và thông tin qua lại từ
những bộ phận khác nhau của cơ thể con người .Theo quan điểm về xử lý thông
tin , mỗi Neuron bao gồm 3 phần ,mỗi phần liên hệ với nhau bằng một phương
trình toán cụ thể :
Denrite : có chức năng nhận thông tin từ những Neuron khác .
Thân Neuron ( hay Soma ) :thu thập và kết nối những thông tin nhận được
từ những Neuron khác .
Đầu ra Axon :mỗi Neuron chỉ có một đầu ra axon có chức năng truyền
thông tin đến các Neuron khác .
Điểm nối giữa đầu ra Axon và đầu vào dendrite của Neuron gọi là synapse
,synapse có chức năng như một bộ nhớ .Một đầu ra axon có thể liên kết với hàng
trăm synapse từ các Neuron khác .Cấu trúc sinh học của Neuron được mô tả ở
hình sau :


Nguyễn Thiện

Dendrite
soma

Synapse kích động
Synapse thụ động

Từ cấu trúc đó ,ta có thể xem Neuron như là một hệ thống nhiều đầu vào và
một đầu ra được mô tả như sau :
Neural
Input

Neural
output

Neural
Processor

x(t)∈R n

y(t)∈R1

1.2 Tổng quát về cấu trúc Neuron :
1.2.1 Giới thiệu :
Mạng Neuron sinh học có đặc tính rất phức tạp và đa dạng ,vì vậy việc đưa
những đặc tính phức tạp này vào trong một mô hình rất khó khăn .Để đạt được
mục tiêu này , cấu trúc của Neuron sinh học ( còn gọi là Neuron đơn vò ) được
phát triển trong mô hình mạng Neuron . Neuron có đầu vào nhận từ đầu ra của
Neuron khác hay từ môi trường bên ngoài .Tổng trọng số của các đầu vào này
thiết lập thành hàm tác động phi tuyến .Một Neuron là kích động nếu tổng trọng
số tại đầu vào của nó lớn hơn giá trò ngưỡng w 0 .

Mô hình toán cho đầu ra của Neuron được đònh nghóa như sau :
y(t) =y[∑n wi xi − w0 ]
i=1

(1.1)


Nguyễn Thiện

với

[x1,...,xn] là đầu vào của Neuron

[w1,...,wn] là trọng số
phi tuyến

y(t) : là đầu ra Neuron ; y [.] : là hàm tác động

w0 : giá trò ngưỡng .

Mạng nuôi tiến là mô hình thường được đề cập ,mô hình này đáp ứng ngay
lập tức đến các đầu vào vì cấu trúc của nó không chứa các yếu tố động ,vì vậy
cấu trúc mạng này còn được gọi là mạng Neuron tónh .Mô hình mạng tónh m đầu
vào và n đầu ra được mô tả như ở hình sau :

hợp yếu tố hồi tiếp và yếu tố động trong cấu trúc của nó .Mô hình mạng truyền
lùi được mô tả như sau :

x1

y1

x2
.
.
xm

y2
.
.
yn

Với sự phát triển song song của logic mờ ,nhiều mô hình mạng Neuron chứa
nguyên tắc của mạng Neuron và cả logic mờ đang được phát triển .Mặc dù ,các
mạng tónh ,động và các mạng Fuzzy_Neuron đang được ứng dụng trong nhiều bộ


Nguyễn Thiện

điều khiển ,nhưng mô hình cơ bản của mạng Neuron vẫn chỉ mô phỏng lờ mờ theo
mô hình thực .
Những năm trước đây ,các nhà nghiên cứu đã đưa ra nhiều mô hình mạng tónh
,động và Fuzzy_Neuron khác nhau .Mô tả chi tiết những mô hình này khó có thể
thực hiện được .Tuy nhiên ,chúng ta sẽ cố gắng đưa ra một số khái niệm cơ bản
của những cấu trúc Neuron khác nhau mà những cấu trúc này thường được dùng
trong mô hình điều khiển .
1.2.2 Tính toán trong mạng Neuron :
Mục đích của việc nghiên cứu những tính toán trong mạng Neuron là để phát
triển mô hình toán mạng Neuron mà không cần thiết nghiên cứu về mặt sinh
học ,mô hình toán có thể thực hiện bằng những hàm tính toán khác nhau .Mạng

Neuron nhân tạo (ANNs) ,hay những mạng Neuron đơn giản thường được mô tả
bằng những mô hình kết nối hay mạng xử lý phân bố song song (parallel
distributed processing networks).
Bắt đầu với sự phát triển của những tính toán Neuron dựa trên những hiểu
biết về cấu trúc sinh học của nó cùng với luật học .Điều này dẫn đến quá trình
tính toán trong mạng Neuron được thực hiện theo 3 bước sau :
Phát triển mô hình Neuron dựa trên cấu trúc sinh học của nó .
Mô hình kết nối và cấu trúc synapse .
Luật học .
Các nhà nghiên cứu đã khám phá ra nhiều cấu trúc mạng Neuron khác nhau
nhưng nếu xét về cấu trúc ;mạng Neuron có thể phân thành mạng tónh ,mạng
động ,mạng một lớp và mạng nhiều lớp .Hơn nữa ,những cách tính toán khác nhau
trong mạng Neuron cũng làm nảy sinh những cách kết nối synapse khác nhau giữa
các Neuron .
Mặc dù các nhà nghiên cứu đã đưa ra nhiều cấu trúc mạng Neuron cũng như
giải thuật học khác nhau ,những mạng Neuron cũng có chung nhiều đặc tính ,mà
những đặc tính này là duy nhất đối với một hệ sinh học .Những đặc tính này tương
phản với phương pháp tính toán truyền thống .Những tính toán trong mạng Neuron
có thể điều tiết nhiều đầu vào song song và mã hoá thông tin theo mô hình phân
bố .Kiểu mã hoá này tương phản với sơ đồ bộ nhớ truyền thống ,ở đó những mẫu
thông tin cụ thể được chứa trong một vùng bộ nhớ .Sự phân phát bộ nhớ trong


Nguyễn Thiện

mạng Neuron có nhiều thuận lợi ,quan trọng nhất là bộ nhớ chứa dư ra nhiều
thông tin tiêu biểu một lúc .Vì vậy mạng Neuron vẫn có thể hoạt động tốt khi bò
phá huỷ một vài bộ phận trong cấu trúc mạng .
Thuộc tính của mạng Neuron như luật học ,sự tổng hợp thông tin dư thừa và
dung sai cho phép là động cơ chọn lựa mô hình sinh học thích hợp cho mạng

Neuron .Những kích thích (potential benefits) của mạng Neuron có thể được tóm
tắt như sau :
Mô hình Neuron có nhiều Neuron liên kết với nhau theo một cấu trúc
song song .Vì có cấu trúc song song nên sự bất thường của một vài Neuron không
gây ra những ảnh hưởng quan trọng lên toàn bộ hệ thống .Đặc tính này được xem
như dung sai.
Chiều dài của mạng phụ thuộc vào luật học và khả năng thích nghi của
nó .Khả năng thích nghi và học từ môi trường có nghóa là mạng Neuron có thể xử
lý được những dữ liệu mơ hồ,không rõ ràng(imprecise data) và những tình huống
không được đònh nghóa tốt (ill_defined situation ).Mạng được huấn luyện thích hợp
sẽ có khả năng tổng hợp khi đầu vào không xuất hiện trong quá trình huấn luyện .
Đặc tính quan trọng nhất của mạng Neuron là khả năng xấp xỉ những
hàm liên tục phi tuyến đến độ chính xác mong muốn .Khả năng này của mạng
làm cho chúng trở nên hữu ích khi xây dựng một mô hình trong bộ điều khiển phi
tuyến .
Mạng Neuron có thể có nhiều đầu vào và nhiều đầu ra nên có thể ứng
dụng cho nhiều hệ thống khác nhau .
Với sự tiến bộ của kỹ thuật phần cứng ,gần đây nhiều nhà cung cấp đã
giới thiệu kỹ thuật VLSI trong mạng Neuron,điều này làm tăng tốc độ tính toán
trong mạng .
Mặc dù một số lượng lớn những phép toán trong mạng Neuron và giải thuật
học được đưa ra ,nhưng hầu hết những mạng này đều có một đặc tính chung nào
đó với hệ Neuron sinh học .Cấu trúc cơ bản của một mạng Neuron bao gồm nhiều
Neuron được phân bố song song và cách thức giải mã thông tin trong kết nối
synapse và cách thức gọi thông tin với đáp ứng đầu vào hiện tại .Các mạng
Neuron khác nhau đều có cách học tương tự nhau ,chúng đều rút ra những kinh
nghiệm từ những dữ liệu được đưa vào .


Nguyễn Thiện

Trên đây là những giới thiệu tổng quát về cấu trúc mạng Neuron .Mô tả chi
tiết về cấu trúc mạng động và mạng tónh sẽ được trình bày trong các phần sau .

1.3 Mạng nuôi tiến hay còn gọi là mạng tónh :
1.3.1 Mô hình toán của mạng nuôi tiến :
Một Neuron bao gồm synapse ( điểm nối ) và soma ( thân Neuron ) .Trong mô
hình mạng Neuron ,đầu ra axon của Neuron này được nối với các đầu vào
dendrite của các Neuron khác thông qua kết nối synapse và sự kết nối này quyết
đònh trọng số giữa các Neuron .Mỗi soma có trung bình 104 đầu vào dendrite và


Thiện Thành
soma có chức năng tổng hợp trọng số của tất cả các đầu vào này .Nếu trọng số này
lớn hơn giá trò ngưỡng thì nó sẽ tạo thành xung kích ở đầu ra Neuron ,những xung
kích này thông qua axon để chuyển đến đầu vào các Neuron khác .
Nhìn ở góc độ về xử lý tín hiệu ,Neuron có hai yếu tố then chốt là synapse và
soma-nó có chức năng tính toán và nhớ những dữ liệu trong quá khứ .Mỗi synapse là
một phần tử để lưu trữ dữ liệu (hay trọng số ) và nó sẽ được học để hiệu chỉnh
những trọng số này cho đến khi đạt được đầu ra như mong muốn .Soma có nhiệm vụ
tổng hợp các trọng số đầu vào của Neuron và tạo thành kích thích ở đầu ra Axon
thông qua hàm tác động dạng phi tuyến .
Một cách đơn giản , ta có xem một Neuron như là một phần tử xử lý thông tin
(PE) gồm có n đầu vào X(t) =[x1 (t), x2 (t),..., xn (t)]T ∈R n và đầu ra vô hướng y(t)∈R1
.Vector đầu vào X(t) chính là các đầu ra của các Neuron ở lớp trước hay
từ các Neuron cảm biến từ môi trường .
Xét về mặt toán học khả năng xử lý thông tin của một Neuron được xem như là
phép toán ánh xạ phi tuyến(NE) từ Vector đầu vào X(t)∈ Rn đến đầu ra mong muốn
y(t)∈R1 :
Ne : X(t)∈ Rn

Hay

(1.2)

y(t)∈R1

(1.3)

y(t) = Ne[X (t)∈R n ]∈R1

Lúc này ,mô hình của một Neuron có thể được biểu di
ễn như sau :

Neural
Input
X (t) ∈ R

W(t)

y(t) =Ψ[.]
u(t)

n

Axon
Neural output

y(t) ∈ R1
Synapse

Soma

với W(t) vector trọng số ,Ψ[.] là hàm tác động phi tuyến .
Ánh xạ phi tuyến Ne bao gồm 2 thành phần là : Hàm tổng hợp và Hàm tác động
phi tuyến .Hàm tổng hợp cung cấp trọng số ,cách kết nối và giá trò ngưỡng đến đầu
vào Neuron .Để tính toán giá trò ngưỡng chúng ta sẽ đònh nghóa thêm một vector ở
đầu vào Neuron ,lúc này đầu vào và trọng số của Neuron được cho như sau :
X a (t) =[x0 (t), x1 (t),..., xi (t),...., xn (t)]T ∈Rn+1 (1.4) với x0 (t) =1


Thiện Thành
và Wa (t) = [w0 (t), w1 (t),..., wi (t),...., wn (t)]T ∈Rn+1

(1.5)

trong đó w0(t) là giá trò ngưỡng ,Xa(t) là vector đầu vào ,Wa(t) là vector trọng số .
a. Hàm tổng hợp :
Về mặt sinh học ,hàm tổng hợp tượng trưng cho trọng số của tín hiệu đầu vào
Xa(t) ,dữ liệu được tồn trữ tại vector trọng số (synapse ) W a(t) ,sự kết nối những
trọng số đầu vào được thực hiện bởi Soma .Synapse và Soma ánh xạ tuyến tính như
được mô tả ở phương trình sau :
u(t) =Wa (t)T X a (t) =∑n wi xi
i=0

(1.6) ; Xa(t) và Wa(t) được đònh nghóa
theo

phương trình (1.4) và (1.5) .
b. Chức năng của hàm tác động phi tuyến :
Các chức năng của hàm tác động phi tuyến Ψ[.] ánh xạ giá trò hàm tổng hợp u(t)

thành giá trò đầu ra .Nhìn chung đầu ra của Neuron trong khoảng [0,1] hoặc [1,1],và
được tính như sau :
(1.7)

y(t) =Ψ[u(t)] =Ψ[Wa (t) T X a (t)]∈R1

MỘT SỐ HÀM TÁC ĐỘNG THÔNG THƯỜNG :
+ Hàm bậc thang đơn vò :
1

nếu f ≥ 0
a( f ) = 0

nếu f < 0



+ Hàm ngưỡng hay còn gọi là hàm dấu :


a( f ) = sgn( f ) = 
1

−1

nếu nếu ff ≥<00

+ Hàm Ramp :
1
1+e

nếu f >1


Thiện Thành


a( f ) = sgn( f ) =  −f 1 nếu

nếu 0 ≤

f ≤1

f <1

+ Hàm Unipolar Sigmoid :
a( f ) =

2

−l t

+Hàm Bipolar Sigmoid :
a( f ) =

2

−l t

−1

1+ e

Có nhiều hàm toán học khác nhau có thể được dùng làm hàm tác động phi
tuyến ,một vài dạng cơ bản được trình bày ở trên,trong đó dạng hàm Sigmoid thường
được sử dụng nhiều hơn trong các mạng Neuron .Chọn lựa hàm tác động thích hợp
có thể cho kết quả đầu ra như mong muốn .
c. Luật học :
Trọng số và phép tổng hợp được thực hiện bởi synapse và soma ,chúng tạo ra
phép đo đồng bộ giữa vector đầu vào X a(t) và vector trọng số Wa(t) .Khi có một đầu
vào mới thì nó sẽ được so sánh với dữ liệu ở các bước học trước để hiệu chỉnh các
trọng số sao cho sai số ở đầu ra giảm đi .Nói cách khác quá trình huấn luyện (học )
là làm cho vector Xa(t) tương đương với vector Wa(t) .
Hầu hết cấu trúc của mạng neuron đều phải trải qua quá trình học để cập nhật
trọng số. Giải thuật để thay đổi trọng số được gọi là luật học. Mục đích của luật học
phụ thuộc vào từng ứng dụng .
Trong bài toán về phân loại và xấp xỉ ,mỗi lần huấn luyện xong một cơ sở dữ
liệu được gọi là chu kỳ huấn luyện. Tuy nhiên không có công thức tổng quát để
huấn luyện chung cho các mạng neuron. Giản đồ minh hoạ cho những luật học khác
nhau để cập nhật trọng số được trình bày trong hình sau :


Thiện Thành
Học Neuron

Học thông số

Học cấu trúc

Học giám sát Học không giám sát

Theo như hình vẽ trên , nếu chỉ xét về học thông số thì luật học có thể phân loại
thành luật học giám sát và luật học không giám sát .
Giải thuật học giám sát:
Dùng một tín hiệu mong muốn ở ngoài như một thầy giáo và sai số của tín hiệu
được phát sinh bằng cách so sánh đầu ra mong muốn và đầu ra thực sự của mạng.
Dựa trên tín hiệu sai số mạng neuron sẽ cải tiến trọng số để cải tiến hoạt động của
hệ thống với giả sử đầu ra mong muốn của mạng được biết trước như hình sau :
∆Wa(t)

Xa(t) ∈ Rn+1

T

xWa(t)

y(t) ∈ R1
ψ [u(t)]

-

ya(t)
+

Lỗi dựa trên
luật học
Phương trình tổng quát cho giải thuật học giám sát được trình bày như sau :
wi(t+1) = wi(t) + ∆wi(t)

(1.8) với

∆wi (t) = µ.xi (t) .[yd(t) – y(t)]

(1.9)
Với wi(t) là trọng số khi đầu vào là x(t), ∆wi(t) là sự thay đổi của trọng số , µ là
hằng số học ,yd(t) là đầu ra mong muốn , y(t) là đầu ra thực sự của mạng . Sự lựa
chọn hằng số học µ rất quan trọng trong luật học này, một giá trò rất nhỏ của hằng số


Thiện Thành
học sẽ làm cho kết quả học chậm đi rất nhiều, một giá trò lớn của hằng số học sẽ
làm cho quá trình học diễn ra nhanh hơn nhưng nó cũng có thể làm cho hệ thống trở
nên dao động bất ổn đònh .
Giải thuật học không giám sát:
Ngược lại ,luật học không giám sát không có tín hiệu mong muốn. Trong cách
học này không có thông tin hồi tiếp từ môi trường để báo các đầu ra thực sự của
mạng là đúng hay sai, mạng sẽ tự điều chỉnh các trọng số kết nối giữa các neuron
bằng cách sử dụng các đầu ra thực sự của mạng . Có hai cấu trúc quan trọng của
luật học không giám sát đó là luật học Hebbian và luật học cạnh tranh . Luật học
Hebbian làm thay đổi trọng số theo đáp ứng tương quan của hai neuron nối liền
nhau. Luật học Hebbian đơn giản dùng để mô tả tương quan giữa tín hiệu đầu vào
và tín hiệu đầu ra được mô tả bằng phương trình :
∆wi (t) =mxi (t)y(t)

Mô hình mô tả luật học Hebbian :
∆Wa(t) =µXa(t) .y(t)
y(t
Xa(t)∈ Rn+
1

T

xWa(t
)

)

ψ[u()
t ]

y(t)∈ R1

µ

Luật học Competitive được ứng dụng cho lớp neuron ẩn. Luật học dựa trên
nguyên tắc một đầu vào đại diện cho một lớp neuron, mỗi neuron cạnh tranh đến
tất cả các neuron khác để nhận được tín hiệu tích cực và gởi tín hiệu thụ động đến
các neuron xung quanh. Sau một khoảng thời gian neuron có trạng thái hoạt động
lớn nhất sẽ tích cực (hay còn được gọi là neuron chiến thắng) và các neuron khác sẽ
bò huỷ bỏ.


Thiện Thành
Tóm lại : Có hai luật học là luật học giám sát và luật học không giám sát. Học
giám sát cần đầu ra mong muốn nếu đầu ra mong muốn là không biết trùc thì giải
thuật giám sát sẽ không thể sử dụng điều này có nghóa là giải thuật giám sát sẽ trở
nên hữu ích. Gần như tất cả các mạng neuron kết hợp chặt chẽ hai luật này hoặc
biến đổi chúng. Tuy nhiên một vài mạng neuron có trọng số cố đònh và những mạng
này hoạt động bằng cách thay đổi khả năng của mỗi neuron nếu như nó không thay
đổi trọng số.

1.3.2 Mạng nuôi tiến nhiều lớp :
Trong những phần trước, mô hình toán học chi tiết của một mạng neuron đơn
( mạng một lớp ) đã được mô tả. Mặc dù một mạng đơn có thể thực hiện một chức
năng đơn giản nào đó nhưng khả năng tính toán của mạng phụ thuộc vào số lượng
neuron được kết nối trong cấu trúc mạng. Một mạng lớn đưa ra một khả năng tính
toán vó đại. Sự xắp xếp neuron trong một lớp bắt chước một phần cấu trúc của bộ
não con người. Những mạng neuron nhiều lớp được chứng minh rằng có khả năng
vượt xa mạng neuron đơn . Cấu trúc mạng neuron được dùng thông thường nhất
trong các ứng dụng như các hệ thống nhận dạng và điều khiển là những mạng
neuron nhiều lớp (Multilayer neural network :MNN) với giải thuật truyền lùi sai số.
Một mạng (MNN) tiêu biểu gồm một lớp neuron đầu vào, một lớp neuron đầu ra
và một lớp neuron ẩn được biểu diễn như hình sau :
Y (t) ∈ Rm

X (t) ∈ Rn
x1(t)

y1(t)

x2(t)

y2(t)
•
•
•

xn(t)

•
•

•

•
•
•

Hay mô hình khối :
Input layer

Hidden layer Output layer

yn(t)


Thiện Thành
(t) ∈ R

Y (t) ∈ Rm X
n

N1

N2

N3

nh xạ đầu vào và ra của MNN được mô tả bởi công thức :
Y(t) = N3[N2[N1[X(t) ∈ Rn]]]∈ Rm
Khi hàm tác động và hàm tổng hợp có dạng phi tuyến thì phương trình trên được
viết lại như sau :

Y(t) = ψ3[W3a(t)T ψ2[W2a(t)T ψ [W1a(t)T Xa(t)]]]

với ψI [.] là hàm tác

động phi tuyến , W1a(t) , W2a(t), W3a(t) là trọng số của
neuron đầu vào , neuron ẩn và neuron đầu ra .
Tất cả các thông tin đều được lưu trữ trong trọng số của mạng nuôi tiến trong
suốt quá trình học. Các phần tử của ma trận trọng số w 1a(t), w2a(t), w3a(t) thường
xuyên được cập nhật giá trò mới. Luật học giám sát dựa trên sai số phát sinh thường
được dùng để xác đònh ∆w1a(t) , ∆w2a(t), ∆w3a(t) .Trọng số cũng có thể được cập
nhật dùng giải thuật giảm sai số hay thường được gọi là giải thuật truyền lùi bằng
cách truyền sai số về phía sau từ nút đầu ra thông qua lớp neuron ẩn để điều chỉnh
trọng số .Một mạng nuôi tiến có thể dùng kỹ thuật học không giám sát nếu trọng số
của mạng nuôi tiến được cập nhật dùng luật học Hebbian. Với mạng nuôi tiến nhiều
lớp luật học được sử dụng phổ biến là giải thuật học truyền lùi. Giải thuật truyền lùi
là một luật tổng quát hoá luật bình phương sai số tối thiểu cho một mạng neuron
nhiều lớp. Nó cố gắng giảm sai số tại mỗi nút bằng cách tối thiểu trọng số nhiễu
loạn và cải tiến nội dung của thông tin trước khi giải mã trọng số. Giải thuật học
truyền lùi có thể được áp dụng đến mạng có lớp neuron ẩn bất kỳ bằng cách tính sai
số đầu ra và sai số được truyền lùi về lớp đứng trước nó và cập nhật trọng số với sai
số tối thiểu. Nguyên tắc của giải thuật học truyền lùi đươc tóm tắt như sau :
v Cấu trúc mạng neuron dùng giải thuật học truyền lùi tiêu biểu bao gồm
lớp neuron đầu vào ,lớp neuron ẩn và lớp neuron đầu ra. Lớp neuron ẩn có thể có
nhiều lớp, rất khó xác đònh mô hình của mạng neuron có bao nhiêu lớp ẩn là cần
thiết cho một ứng dụng cụ thể. Không có nhiều tính toán xảy ra ở lớp neuron đầu
vào, số lượng neuron ở lớp neuron đầu vào bằng với số lượng thành phần vector đầu
vào. Trong quá trình học tập lớp neuron đầu vào sẽ gởi tín hiệu đầu vào đến neuron
ẩn như được biểu diễn ở hình sau :

Thiện Thành
y1(t)

x1(t)
x2(t)

xn(t)

•
•
•

•
•
•

•
•
•

Input layer

y2(t)

yn(t)

Hidden layer

Output layer

v Các neuron ẩn truyền kết quả của chúng đến tất cả các neuron đầu ra. Mỗi
đầu ra sẽ tính tổng trọng số ,tức là đầu ra thực sự và trừ đi đầu ra mong muốn để
tạo ra sai số tại đầu ra của mạng ,quá trình được biểu diễn như sau :

x1(t)

y1(t)

x2(t)

y2(t)

xn(t)

•
•
•

•
•
•

•
•
•
yn(t)

v Nút đầu ra tính đạo hàm các thành phần của vector sai số và truyền kết quả
này về lớp ẩn. Những tính toán này trong suốt quá trình học gọi là giải thuật truyền
lùi. Mỗi neuron ẩn tính tổng đạo hàm sai số để biết ảnh hưởng của nó đến sai số ở

đầu ra . Sự truyền lùi sai số đến lớp neuron được biểu diễn ở hình sau :


Thiện Thành
x1(t)

y1(t)

x2(t)

y2(t)

xn(t)

•
•
•

•
•
•

yn(t)

Mỗi neuron trong lớp ẩn và lớp đầu ra thay đổi trọng số của nó theo một luật
học được đònh trước được cho bởi công thức 1.8 và 1.9 .
Như vừa trình bày : giải thuật truyền lùi đòi hỏi đầu ra mong muốn trong suốt
quá trình học đã được tính toán sai số và điều chỉnh trọng số, sau quá trình học mạng
neuron được đưa vào những giá trò mới và biết trước (những dữ liệu này không được
dùng trong suốt quá trình học) để kiểm tra mạng . Độ chính xác của mạng neuron

với dữ liệu bên ngoài luật học cho biết khả năng khái quát của mạng neuron tức là
nó cho biết độ tin cậy của mạng. Sau giai đoạn học và kiểm tra, mạng neuron có thể
dùng để phân loại mô hình và mô hình hoá cho những mạng phi tuyến không biết
trước .
Một trong những đặc tính quan trọng nhất của mạng neuron là khả năng xấp xỉ
hàm phi tuyến. Nghiên cứu chức năng xấp xỉ chiếm một vò trí quan trọng trong mạng
neuron .

1.4 Mạng Truyền Lùi :
1.4.1 Giới thiệu :
Trong những phần trước chúng ta đã trình bày ngắn gọn về cấu trúc của mạng
neuron nuôi tiến một lớp, nhiều lớp với cấu trúc không hồi tiếp. Những mạng neuron
này được gọi là mạng tónh,nuôi tiến hoặc không tuần hoàn .Những mạng như thế
không có bộ nhớ động như là đáp ứng của mạng vì vậy nó phụ thuộc vào đầu vào
hiện tại và trọng số, những mạng này không có hồi tiếp nên nó ổn đònh.
Quá trình nuôi tiến và nuôi lùi ảnh hưởng qua lại lẫn nhau, điều chỉnh trọng số,
làm giảm sai số đầu ra trong suốt quá trình học .Một mạng neuron được thành lập tốt
sẽ có thể xấp xỉ hàm phi tuyến với độ chính xác như mong muốn. Đặc tính này của


Thiện Thành
mạng nuôi tiến được các nhà nghiên cứu dùng trong mô hình động, tuy nhiên mạng
này cũng có những hạn chế nhất đònh.
Trong phần này chúng ta sẽ mô tả cấu trúc của mạng nuôi lùi hay còn gọi là
mạng động , mạng tuần hoàn. Những mạng này không chỉ cung cấp những đặc tính
tính toán bền vững mà còn mang lại sự hiểu biết sâu sắc hơn trong cấu trúc sinh học
của mạng neuron. Mạng neuron động đưa ra những tính toán thuận lợi hơn so với
mạng tónh .
Ví dụ : bộ lọc có bậc vô hạn (FIR) tương đương với bộ lọc xác đònh bậc 1 (IIR)
như trong hình vẽ :

Hình (a) :
x(k)

Z-1

v(k)
∑

Z-1

Z-1

Hình (b):
x(k)
∑
+

v(k +1)
)

Z-1

v(k)

Từ hình (a) :đáp ứng của bộ lọc FIR bậc n có thể được viết lại như sau v(k) =
x(k) + x(k-1) + x(k-2) + . . +x(k-n) = ∑n

x(k-i)

n -> ∞ (1.10)

i=0

Dùng dạng chuyển đổi chúng ta có thể viết lại như sau :
Y(Z)

= 1+Z-1 + Z-2+ . . +Z-n

z <1

(1.11) X (Z)

Phương trình mô tả cấu trúc HR bậc 1 được biểu diễn như hình (b) có thể được
viết lại như sau :
v(k+1) = x(k) +v(k)
Dùng hàm chuyển đổi chúng ta viết lại như sau :

(1.12)


Thiện Thành
V(k)

1

=

X(k)

−1

= 1 + z-1 +z-2 + z-n

n->∞ , z <1

(1.13)

1− z

Ta nhận thấy rằng 1.11 và 1.13 có cấu trúc tương đương nhau. Vì vậy mạng nuôi
lùi tương đương với cấu trúc nuôi tiến vô hạn .
Không như mạng tónh, mạng động ( hay mạng truyền lùi ) dùng hồi tiếp mở rộng
giữa các neuron, có nghóa là mạng có bộ nhớ cục bộ. Phương trình của các nút trong
mạng truyền lùi được mô tả bởi phương trình vi phân. Điển hình một mạng động
dùng đầu ra nuôi tiến và đầu vào nuôi lùi được biểu diễn như hình vẽ :
x0=0
X(k∈Rn
)

xa(k)

w1a(k)T
+

y0= 0
ya(k-1

2

ψ[U( )

k ]

Y(k)∈ Rm

T

) w a(k)

Y(k-1 ∈Rm
)

z-1

Phương tình toán mô tả neuron trong miền thời gian rời rạc được mô tả bởi
phương trình (1.14) :
y(k) = ψ[W1a(k) T*Xa(k) + W2a(k)T* Ya(k-1)]

(1.14)

với k là biến rời rạc trong miền thời gian, ψ[.] là hàm tác động phi tuyến, X a(k)
∈ Rn+1 là vector đầu vào tại thời điểm k, Y a(k) và Ya(k-1) là vector đầu ra tại thời
điểm k và k-1. W1a(k) là ma trận trọng số nuôi tiến, W2a(k) là ma trận trọng số nuôi
lùi. Mô hình học tổng quát cho mạng được minh hoạ trong hình sau :


Thiện Thành
X (k) ∈ Rn
x1

Y (k) ∈ Rm

y1

x2

y2
•
•
•

•
•
•

xn

ym

Bởi vì mạng nuôi lùi có hồi tiếp từ neuron đầu ra đến neuron đầu vào nên đáp
ứng của mạng được gọi là đáp ứng động. Sau khi cập nhật một đầu vào mới, đầu ra
sẽ được tính toán và hồi tiếp để hiệu chỉnh đầu vào, sau đó đầu ra lại được tính toán
lại và quá trình tiếp tục được lập lại như thế. Sự lập lại liên tục làm đầu ra có sự
thay đổi ngày càng nhỏ thậm chí là hằng số. Trong một vài trường hợp quá trình xử
lý thông tin sẽ không kết thúc , những mạng như vậy gọi là mạng không ổn đònh .
Cấu trúc neuron của mạng nuôi lùi thích hợp cho mô hình nhận dạng và điều
khiển .., những mạng này rất quan trọng bởi vì nhiều hệ thống thực tế mà các nhà
khoa học muốn xây dựng mô hình thực là những hệ thống động không tuyến tính,
những hệ thống điều khiển mà chúng ta muốn xây dựng mô hình đó là máy bay, tên
lửa, robot và tàu không gian ....
Trong phần này chúng ta mô tả hai loại mạng neuron động . Loại thứ nhất phát
triển mở rộng từ mạng neuron tónh được mô tả ở trên, trong đó chúng ta mô tả hai

loại là mạng tuần hoàn và mạng thời gian trễ. Loại thứ hai sẽ được phát triển dựa
trên những dấu hiệu sinh học của những neuron tích cực trong CNS, phụ thuộc vào
những tác động qua lại của neuron tích cực và neuron thụ động.
1.4.2 Mở rộng mạng neuron tónh :
a. Mạng tuần hoàn :
Cấu trúc mạng tuần hoàn được giới thiệu bởi Hopfiel, tạo ra những mô hình
thay đổi của mạng neuron tónh. Cấu trúc bao này bao gồm mạng neuron một lớp có
đặc tính truyền lùi với thời gian trì hoãn được biểu diễn như hình vẽ :
x(k)

u(k)

x(k+1)


Thiện Thành
w(k)

ψ [.]

z-1

Mạng nuôi lùi này đặc trưng cho hệ thống động rời rạc và có thể được mô tả bởi
phương trình (1.15a)
y(k+1) = ψ [w(k) . y(k)] ,

x(0) = x0

(1.15a)

với y(k) và y(k+1) là trạng thái của mạng neuron ở thời điểm k và k+1 , x(0)
là giá trò đầu, w(k) là vector trọng số , ψ[.] là hàm tác động phi tuyến
Giá trò ban đầu x(0) của hệ thống động suy ra trạng thái cân bằng nếu chọn ψ[.]
thích hợp, điều kiện đầu trong vùng lân cận của x(0) hội tụ đến cùng một trạng thái
cân bằng thì được đồng nhất với trạng thái đó. Bộ nhớ liên hợp (assocoative
memory) được dùng để mô tả hệ thống như thế. Một mạng nuôi lùi với đầu vào hằng
số hay thay đổi chỉ đơn thuần là một hệ thống động phi tuyến và tiệm cận của hệ
thống này phụ thuộc vào trạng thái đầu vào cụ thể và hàm phi tuyến .
Mạng tuần hoàn một lớp gồm n neuron có giá trò ngưỡng là w oi được mô tả bởi
hình sau :