Bài giảng các phương pháp điều khiển hiện đại

TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT HƯNG YÊN
KHOA ĐIỆN – ĐIỆN TỬ
---------------*****----------------

ĐỀ CƯƠNG BÀI GIẢNG

CÁC PHƯƠNG PHÁP ĐIỀU KHIỂN HIỆN ĐẠI
(Lưu hành nội bộ)

HƯNG YÊN 12/2015

1


MỤC LỤC
PHẦN I: MẠNG NƠ RON NHÂN TẠO

5

CHƯƠNG 1: CƠ SỞ MẠNG NƠRON NHÂN TẠO ..................................... 5
1.1. Nơron là gì ................................................................................................................ 5
1.1.1. Noron sinh học .................................................................................................. 5
1.1.2. Mô hình noron nhân tạo ..................................................................................... 7
1.2. Nơron như một cổng logic ..................................................................................... 10
1.2.1. Đặt vấn đề........................................................................................................ 10
1.2.2. Nơ ron như cổng NOT ..................................................................................... 10
1.2.2. Nơron như cổng OR......................................................................................... 10
1.2.2. Nơron như cổng AND...................................................................................... 11
1.3. Mạng Nơron ........................................................................................................... 11
1.3.1. Mạng nơron một lớp truyền thẳng.................................................................... 12
1.3.2. Mạng nơron hai lớp truyền thẳng ..................................................................... 14

1.3.3. Mạng nơron truyền thẳng nhiều lớp ................................................................. 16
1.4. Luật học ( Learning Rule) ..................................................................................... 17
1.4.1. Giới thiệu......................................................................................................... 17
1.4.2. Phân loại luật học ............................................................................................ 18
1.5. Một số mạng điển hình truyền thẳng .................................................................... 19
1.5.1. Mạng ADALINE (adaptive linear elements) .................................................... 19
1.5.2.Mạng perceptron............................................................................................... 20
1.5.3. Mạng noron lan truyền ngược ......................................................................... 22
1.5.4. Mạng noron RBF(Radial Basis Function) ........................................................ 24
1.6. Mạng noron truy hồi.............................................................................................. 25
1.6.1. Mạng hopfield rời rạc ...................................................................................... 25
1.6.2. Mạng hopfield liên tục chuẩn........................................................................... 29
1.6.3. Mạng BAM ..................................................................................................... 31

CHƯƠNG 2 ỨNG DỤNG MẠNG NƠRON TRONG ĐIỀU KHIỂN ......... 36
2.1. Ứng dụng mạng nơron để điều chỉnh các tham số PID........................................ 36
2.1.1. Đặt bài toán ..................................................................................................... 36
2


2.1.2. Phân tích bài toán ............................................................................................ 36
2.2. Mạng nơron cho các bài toán tối ưu ..................................................................... 39
2.2.1. Nhắc lại mạng nơron Hopfield ......................................................................... 39
2.2.2. Mạng Hopfield rời rạc ..................................................................................... 40
2.2.3. Mạng Hopfield liên tục .................................................................................... 41
PHẦN II: ĐIỀU KHIỂN MỜ

CHƯƠNG

1: LOGIC MỜ VÀ CÁC KHÁI NIỆM CƠ BẢN

43
43

1. Nhắc lại về tập hợp kinh điển................................................................................... 43
1.1. Khái niệm về tập hợp.......................................................................................... 43
1.2. Cách biểu diễn tập hợp: ...................................................................................... 44
1.3. Tập con............................................................................................................... 44
1.4. Hàm thuộc: ......................................................................................................... 44
1.5. Các phép toán trên tập hợp: ................................................................................ 45
2. Khái niệm tập mờ ..................................................................................................... 49
2.1. Định nghĩa tập mờ .............................................................................................. 49
2.2. Các thuật ngữ trong logic mờ.............................................................................. 50
2.3. Các phép toán trên tập mờ .................................................................................. 51
3. Biến ngôn ngữ và giá trị của nó................................................................................ 61
4. Luật hợp thành mờ ................................................................................................... 62
4.1. Mệnh đề hợp thành: ............................................................................................ 62
4.2. Mô tả mệnh đề hợp thành mờ: ............................................................................ 62
4.3. Luật hợp thành mờ:............................................................................................. 67
5. Giải mờ...................................................................................................................... 72
5.1. Phương pháp cực đại: ........................................................................................ 72
5.2. Phương pháp điểm trọng tâm: ............................................................................. 74

CHƯƠNG 2: TÍNH PHI TUYẾN CỦA HỆ MỜ

76

1. Phân loại các khâu điều khiển mờ. .......................................................................... 76
2. Xây dựng công thức quan hệ truyền đạt: ................................................................ 79
3

2.1. Quan hệ vào/ra của thiết bị hợp thành:................................................................ 80
2.2. Quan hệ vào/ra của khâu giải mờ: ....................................................................... 82
2.3. Quan hệ truyền đạt y(x): ..................................................................................... 82

CHƯƠNG 3. ĐIỀU KHIỂN MỜ

84

1. Bộ điều khiển mờ cơ bản .......................................................................................... 84
2. Nguyên lý của điều khiển mờ ................................................................................... 84
3. Các nguyên tắc xây dựng bộ điều khiển mờ ............................................................ 85
3.1. Mờ hóa ............................................................................................................... 85
3.2.Xác định hàm liên thuộc ...................................................................................... 86
3.3.Rời rạc hóa các tập mờ ........................................................................................ 87
3.4. Thiết bị hợp thành............................................................................................... 87
3.5.Chọn thiết bị hợp thành: ...................................................................................... 88
3.6. Giải mờ............................................................................................................... 88
4. Các bộ điều khiển ..................................................................................................... 88
4.1 Phương pháp tổng hợp kinh điển ......................................................................... 88
4.2. Mô hình đối tượng điều khiển............................................................................. 89
4.3. Bộ điều khiển mờ tĩnh......................................................................................... 90
4.4. Thuật toán tổng hợp bộ điều khiển mờ tĩnh ......................................................... 91
4.5. Tổng hợp bộ điều khiển mờ tuyến tính từng đoạn ............................................... 92
4.6. Bộ điều khiển mờ động....................................................................................... 93
4.7. Bộ PID mờ ......................................................................................................... 95
5. Các ví dụ: .................................................................................................................. 98

4

PHẦN I: MẠNG NƠ RON NHÂN TẠO

CHƯƠNG 1: CƠ SỞ MẠNG NƠRON NHÂN TẠO
1.1. NƠRON LÀ GÌ
Nơron là tế bào thần kinh, con người có khoảng 14 đến 15 tỷ nơron
1.1.1. NORON SINH HỌC

a) Nguồn gốc của nơron sinh học
Đầu tiên, chúng ta tìm hiểu nguồn gốc của mạng nơron, bắt đầu từ một phần tử nơron
đơn giản. Mô hình nơron nhân tạo có nguồn gốc từ mô hình tế bào thần kinh (hay còn gọi là
nơron) sinh vật. Mục đích của phần này không phải là mô tả và nghiên cứu nơron sinh học
mà muốn chỉ ra rằng: từ những nguyên lý cơ b ản nhất của nơron sinh học, người ta đã b ắt
chước mô hình đó cho nơron nhân t ạo
Các nơron sinh vật có nhiều dạng khác nhau như dạng hình tháp ở đại não, dạng tổ
ong ở tiểu não, dạng rễ cây ở cột sống. Tuy nhiên, chúng có cấu trúc và nguyên lý hoạt động
chung. từ mô hình chung nhất, người ta có thể mô tả chúng như một nơron chuẩn. Một tế
bào nơron chuẩn gồm bốn phần cơ bản là:

5


Hình 1.1 Noron sinh học
• Các nhánh và rễ (Dendrite):
Là các bộ phận nhận thông tin. Các đầu nhậy hoặc các đầu ra của các nơron khác bám
vào rễ hoặc nhánh của một nơron. Khi các đầu vào từ ngoài này có sự chênh lệch về nồng
độ K+, Na+ hay Cl- so với nồng độ bên trong của nó thì xẩy ra hiện tượng thấm từ ngoài vào
trong thông qua một cơ chế màng thấm đặc biệt. Hiện tượng thẩm thấu như vậy tạo nên một
cơ chế truyền đạt thông tin với hàng ngàn hàng vạn lối vào trên một nơron sinh vật, ứng với

hàng nghìn hàng vạn liên kết khác nhau. Mức độ thẩm thấu được đặc trưng bởi cơ chế màng
tượng trưng bằng một tỷ lệ. Tỷ lệ đó được gọi là tỷ trọng hay đơn giản gọi là trọng (weight).
• Thân thần kinh (soma):
Chứa các nhân và cơ quan tổng hợp protein. Các ion vào được tổng hợp và biến đổi.
Khi nồng độ các ion đạt đến một giá trị nhất định, xảy ra quá trình phát xung (hay kích
thích). Xung đó được phát ở các đầu ra của nơron. Dây dẫn đầu ra xung được gọi là dây
thần kinh (axon).
• Dây thần kinh (axon):

6


Là đầu ra. Đó là phương tiện truyền dẫn tín hiệu. Dây thần kinh được cấu tạo gồm các
đốt và có thể dài từ micro mét đến vài mét tuỳ từng kết cấu cụ thể. Đầu ra này có thể truyền
tín hiệu đến các nơron khác.
• Khớp thần kinh (synape):
là bộ phận tiếp xúc của đầu ra nơron với rễ, nhánh của các nơron khác. Chúng có cấu
trúc màng đặc biệt để tiếp nhận các tín hiệu (Hình 1.1) khi có sự chênh lệch về nồng độ ion
giữa bên trong và bên ngoài. Nếu độ lệch về nồng độ càng lớn thì việc truyền các ion càng
nhiều và ngược lại. Mức độ thẩm thấu của các ion có thể coi là một đại lượng thay đổi tùy
thuộc vào nồng độ như một giá trị đo thay đổi được gọi là trọng.
b) Hoạt động của một nơron sinh học
• Truyền xung tín hiệu
Mỗi nơron nhận tín hiệu vào từ các tế bào thần kinh khác. Chúng tích hợp các tín hiệu
vào. Khi tổng các giá trị vượt một giá trị nào đó gọi là giá trị ngưỡng (hay đơn giản gọi là
ngưỡng) chúng phát tín hiệu ra. Tín hiệu ra của nơron được chuyển tới các các nơron khác
hoặc tới các cơ quan chấp hành khác như các cơ, các tuyến (glands). Việc truyền tín hiệu
thực hiện thông qua dây thần kinh và từ nơron này tới nơron khác theo cơ chế truyền tin đặc
biệt là khớp thần kinh. Mỗi một nơron có thể nhận hàng nghìn, vạn tín hiệu và cũng có thể
gửi tín hiệu đến hàng vạn các nơron khác. Mỗi nơron được coi là một thiết bị điện hóa, chứa

các nội năng liên tục, được gọi là thế năng màng (rnembrance potentiel). Khi thế năng năng
màng vượt ngưỡng, nơron có thể truyền thế năng tác động đi xa theo các dây thần kinh.



Quá trình học
Khi có xung kích thích từ bên ngoài tới, các khớp hoặc cho đi qua hoặc không và sẽ

kích thích hay ức chế các nơron tiếp theo. Học là một quá trình làm cho cách cập nhật này
lặp lại nhiều lần đến một giá trị ổn định, cân bằng điện hóa giữa các nơron.
Những nơron không có ý nghĩa khi x ử lí đơn lẻ mà cần thiết liên kết với nhau tạo
thành mạng. Đặc tính của hệ thần kinh dược xác định bằng cấu trúc và độ bền của những
liên kết đó. Có thể thay đổi độ bền vững liên kết (weight) bằng các thuật học khác nhau.
1.1.2. MÔ HÌNH NORON NHÂN TẠO

7


x

W

θ

1(t)
1

y

x


v(t)

W

2(t)

g

u(t)

(.)

2

(t)

(.)

W

x
n(t)

H

W
n

hình 1.2 mô hình noron nhân tạo
Mô hình một phần tử nơron nhân tạo được xây dựng dựa trên mô hình của nơron sinh
vật. Một nơron sinh vật có cấu trúc khá phức tạp còn một nơron nhân tạo được xây dựng từ
ba thành phần chính: bộ tổng các liên kết đầu vào, động học tuyến tính, phi tuyến không
động học (Hình 1.2).
• Bộ tổng liên kết:
Bộ tổng hợp các liên kết đầu vào của một phần tử nơron có thể mô tả như sau:
( )=

trong đó:

. ( )+

.

( )+

(1.1)

v(t): tổng tất cả các đầu vào mô tả toàn bộ thế năng tác động ở thân nơ ron;
xk(t): các đầu vào ngoài, mô tả tín hiệu vào từ các đầu nhạy thần kinh hoặc từ các
nơron khác đưa vào;
Wk: trọng liên kết vào ngoài, là hệ số mô tả mức độ liên kết giữa các đầu vào ngoài
tới nơron hiện tại, m là số đầu vào; k=1,...,n;
y(t) : đầu ra nơron mô tả tín hiệu đưa ra;
θ: hằng số, còn gọi là ngưỡng, xác định mức kích thích hay ức chế.
• Phần động học tuyến tính
Đầu vào của phần động học là v(t). Đầu ra của nó u(t) gọi là đầu ra tương tự. Hàm
truyền tương ứng của phần động học tuyến tính có thể mô tả dưới dạng biến đổi Laplace như
sau:

8


u(s) = H(s).v(s)
H(s)

1

Quan hệ vào/ra u(t) = v(t)

(1.2)

1/s

1/(1+sT)

du (t )
= v(t )
dt

T

du (t )
+ u (t ) = v(t )
dt

Exp(-sT)
u(t)=v(t-T)

Bảng 1.1. Một số hàm H(s) thường dùng cho mô hình nơron nhân tạo
• Phần phi tuyến
Các đầu ra của các nơron sinh vật là các xung, có giới hạn chặn. Trong mô phỏng để
đảm bảo hệ ổn định đầu ra, người ta thường gán hàm chặn ở lối ra cho các tín hiệu. Để đặc
trưng cho điều đó, ở mỗi đầu ra của nơron phải đặt một hàm chặn, thường ở dạng phi tuyến
với hàm g(.). Như vậy đầu ra y có đặc trưng của một hàm:
y =g(u(t))

(1.3)

Hàm phi tuyến ở đây có thể chia thành hai nhóm: nhóm hàm bước nhảy và nhóm hàm
liên hàm phi tuyến thường dùng được cho ở Bảng 3.2. một số dạng khác cũng được sử dụng
như : dạng hàm Gauss, hàm Logarit, hàm mũ.
Tên hàm

Công thức
1
0

x≥0
x<0

1
− 1

x≥0
x<0

g(x)= 
Bước nhảy đơn vị

Đặc tính

Hard limiter
(sgn)

g(x)= 

Hàm
tuyến tính

g(x)= x

9


Hàm tuyến tính bão

x >1

1

g(x)=  x
− 1


hòa đối xứng

−1≤ x ≤1
x<0

Hàm Sigmoid đơn cực
g(x) =

1
1 + e − x

Hàm Sigmoid
lưỡng cực

g(x) =

2
−1
1 + e − x

Bảng 1.2. Một số hàm phi tuyến thường được sử dụng trong các mô hình nơron

1.2. NƠRON NHƯ MỘT CỔNG LOGIC
1.2.1. ĐẶT VẤN DỀ

- Tốc độ xử lý của nơron sinh học bẳng 1/6 đến 1/7 tốc độ xử lý của các cổng lôgic
- Ta có các cổng logic cơ bản :and, or, not, nor, nand....
Có thể nói Nơron như 1 cổng logic
1.2.2. NƠ RON NHƯ CỔNG NOT

( ) = [0, 1]

Bài toán đặt ra: Cho sơ đồ như hình vẽ biết
1

g

( )

(.)

∑

1
0

( )

Hình 1.3 noron như cổng not
Yêu cầu:Hãy xác định các tham số w, θ, để nơ ron trùng với bộ not
1.2.2. NƠRON NHƯ CỔNG OR

10


Bài toán đặt ra: Cho sơ đồ như hình v ẽ biết
Yêu cầu

,

:Hãy xác định các tham số
-

( ),

( ) = [0, 1]

, θ, để nơ ron trùng với bộ OR

1

( )

g
(.)

∑

( )

( )

1
0

Hình 1.4 noron như cổng not
1.2.2. NƠRON NHƯ CỔNG AND

Bài toán đặt ra: Cho sơ đồ như hình v ẽ biết
Yêu cầu

:Hãy xác định các tham số
-

,

( ),

( ) = [0, 1]

, θ, để nơ ron trùng với bộ AND

1

( )

g
∑

( )

(.)

( )

1
0

Hình 1.5 noron như cổng not

1.3. MẠNG NƠRON
Cấu tạo của một nơron

x

W

1(t)

θ

g

1

(.)

x

W

2(t)

n(t)

H

u(t)

y

1
0 (t)

(.)

2

x


v(t)

W
n

11


Hình 1.6. Mô hình một nơron
Một nơron là một đơn vị xử lí thông tin và kí hiệu:

∑

Hình 1.7 noron, đơn vị thông tin
Cũng như nơ ron sinh vật, các nơron nhân tạo có thể liên kết với nhau để tạo thành
mạng. Có nhiều cách kết hợp các nơron nhân tạo thành mạng, mỗi cách kết hợp tạo thành
một loại lớp mạng khác nhau.
1.3.1. MẠNG NƠRON MỘT LỚP TRUYỀN THẲNG

Là mạng mà các nơron tạo thành một lớp, trong đó mỗi một tín hiệu vào có thể được
đưa vào cho tất cả các nơron của lớp và mỗi nơron có nhiều các đầu vào và một đầu ra trên
mỗi nơ ron đó . Xét trường hợp các nơron không phải là động học (tức H(s) =1) khi đó
=

(t)

(t).

( )
( )

( )

( )

1

( )

2

m

( )

Hình
1.8. Mạng nơ ron truyền thẳng một lớp
Phương trình mạng được mô tả như sau:
12


Công thức dưới dạng ma trận
[∑

=

Trong đó: Y =( ,

,…,

X =( ,

,…,

W=

θ =( ,
G =(

,

]

với j = 1...m (1.4)

⎡ ⎤
⎢ ⎥
) =⎢ . ⎥
⎢ . ⎥
⎣ ⎦

)

,…,

,…,

-

)
)

⎡ ⎤
⎢ ⎥
=⎢ . ⎥
⎢ . ⎥
⎣ ⎦

Công thức dưới dạng vectơ:
Y = (X.W – θ).G (1.5)
,

Ví dụ: Vẽ mạng nơron một lớp với 4 đầu vào, 3 đầu ra đầy đủ
Lời giải: Theo đề có m =3, n = 4
Vậy phương trình m ạng:
Ta có:

=

[(

=
=

[(

[(

=

+

+

Viết dưới dạng ma trận có:

[∑

+

+

+

+

+

Y =( ,
X=

-

,

,

]

+
+

,

với j = 1...3 và i = 1...4
)−

]

)−
)−

]
]

) =
,

W=

13


θ =( ,

G =(

Vậy ta có sơ đồ mạng:

( )

( )

( )

,

1

2

3

,

)

=
,

)

( )

( )

( )

( )

Hình 1.9. Mạng một lớp truyền thẳng
1.3.2. MẠNG NƠRON HAI LỚP TRUYỀN THẲNG

Sơ đồ cấu trúc:

14


( )
( )

( )

1

( )

1

2

( )

2

m

( )

k

( )
( )

( )

Hình 1.10. Sơ đồ cấu trúc mạng nơ ron truyền thẳng 2 lớp
Mô tả toán học:
-

Lớp 1: ( Lớp vào)

Ta có: Công thức dưới dạng ma trận
[∑

=

Trong đó: Y =( ,

,…,

X =( ,

,…,

W=

θ =( ,
G =(

,

]

với j = 1...m

⎡ ⎤
⎢ ⎥
) =⎢ . ⎥
⎢ . ⎥
⎣ ⎦

)

,…,
,…,

-

)
)

⎡ ⎤
⎢ ⎥
=⎢ . ⎥
⎢ . ⎥

⎣ ⎦

Công thức dưới dạng vectơ:
Y = (X.W – θ).G
-

Lớp 2 ( Lớp ra)
15


Ta có:

[∑

=

-

]=

1.3.3. MẠNG NƠRON TRUYỀN THẲNG NHIỀU LỚP

∑

∑

−

.

−

u
1

u
2

u
m

Lớ

Lớ

Lớ

p vào
p ẩn
p ra
Hình1.11. Mạng truyền thẳng nhiều
lớp
Liên kết một lớp cho khả năng ánh xạ phi tuyến giữa các đầu vào và các đầu ra.
Mạng hai lớp có khả năng ánh xạ các hàm trong vùng lồi. Mạng một hoặc hai lớp nói chung
dễ phân tích. Mạng ba lớp hoặc nhiều lớp có khả năng mô tả được mọi hàm phi tuyến. Theo
Cybenco [6,13] thì bất kỳ hàm phi tuyến nào cũng có th ể xấp xỉ tuỳ ý trên một tập compact
bằng mạng nơron truyền thẳng gồm hai lớp ẩn với độ phi tuyến cố định. Như vậy, khi xây
dựng mạng nơ ron trong xử lý, mạng hai lớp ẩn đủ khả năng xấp xỉ một hàm tùy chọn mà có
thể không dùng nhiều lớp hơn phức tạp cho tính toán.
Xét mạng tĩnh (H(s)=1) truy ền thẳng nhiều lớp có phương trình miêu tả như sau:

( )=∑
trong đó:

=

(

( ) + ∑
( )

( )+

(1.6)

(1.7)

xiq (t) là các đầu vào lớp q; i=1,...,n; q=1,...,Q; uk(t) là các đầu vào ngoài;

bik là trọng ngoài, k=1,...,m;
thứ i, i,j = 1,...,n;

yiq là đầu ra lớp q; w ijq là trọng lớp q, từ nơron thứ j tới nơron

Iiq là ngưỡng của nơron thứ i, lớp q; nq là số phần tử nơron lớp q; m là

số tín hiệu ngoài đưa vào.
Có thể mô tả phương trình (1) dưới dạng phương trình ma trận-véc tơ:
x(t) = Wy(t) + Bu(t) + I

(1.8)

16


y(t) = g(x(t))

(1.9)

Trong đó W, B, I là các ma trận; x, u, g là các véc tơ hàm. Từ các mạng truyền thẳng
tổng quát một số tác giả đã chọn các dạng cụ thể, nghiên cứu áp dụng cho chúng các thuật
học phù hợp, hình thành các mạng cụ thể như: mạng Adaline, mạng Percetron, mạng truyền
ngược

1.4. LUẬT HỌC ( LEARNING RULE)
1.4.1. GIỚI THIỆU

Bài toán: Sản xuất xi măng
Đầu ra mác “ P300”(y),
Đầu vào là: Đá vôi( x1); đất sét( x2); nước(x3).....xm.
Đặt vấn đề lượng vào là gì? để có mác là P300. Nếu gọi đường vào là Wij. Ta có
sơ đồ sau:

Hình 1.12.Sơ đồ luật học tổng quát
Trong đó:
d: tín hiệu chủ đạo để điều chỉnh đầu vào, ta có trường hợp tổng quát:
Wmới – Wcũ = ΔW = η.α.X (1.11)
η: hằng số học ( tùy chọn)
α: tín hiệu học.

17

X: vecto tín hiệu đầu vào, X=[ x1; x2; ....; xm]T
Định nghĩa luật học: học trong mạng noron là chỉnh trọng [Wij], sao cho từ X→ d.
Ghi chú:Trong trí tuệ nhân tạo, bài toán A→ B (A là t ập đầu vào, B là tập đầu ra). Học
là tìm “→”, trong noron là các ch ỉnh trọng Wij.
1.4.2. PHÂN LOẠI LUẬT HỌC

a) Học cấu trúc (Structure learning).
- Thay đổi → số lớp( layer)
→ Phần tử noron ở mỗi lớp
b) Học tham số
- Cấu trúc ( số lớp + số noron không biến đổi): Wij thay đổi: Wmới – Wcũ = ΔW = η.α.X
(1.12)
• Học có tín hiệu chủ đạo ( tức là có d) (học có “thầy”)

Hình 1.13 Học có tín hiệu chủ đạo

• Học không có tín hiệu chủ đạo( học không có “thầy”)

Hình 1.14. Học không có tín hiệu chủ đạo

• Học củng cố ( Inforcement): 1 phần có thầy, 1 phần không có thầy.
18


Hình 1.15. Học củng cố

1.5. MỘT SỐ MẠNG ĐIỂN HÌNH TRUYỀN THẲNG
1.5.1. MẠNG ADALINE (ADAPTIVE LINEAR ELEMENTS )

- Khái niệm về ADALINE: Adaline (Adaplive Linear Element): là một nơron
với đặc thù hàm tích hợp (tổng các đầu vào) tuyến tính và hàm kích hoạt (hàm đầu
ra) dốc. Phương trình mô t ả cấu trúc như sau:
y =∑

≡ d hoặc y =

X≡d

(1.13)

Luật học: Luật học Adaline sử dụng phương pháp bình phương cực tiểu truy hồi.
Windrow và Hoff đề ra luật học dựa trên phương pháp gradient dùng một Adaline để xấp xỉ
một hàm tuyến tính (m -1) biến nhờ một tập hợp gồm p mẫu. Đầu tiên chọn tuỳ ý véctơ
trọng ban đầu W(1), sau đó ta từng bước hiệu chỉnh lại W (k) theo các mẫu {x(k) , d(k)},
k=1,...,p, sao cho tổng bình phương sai số đạt cực tiểu:

E( w ) =

1 p (k)
1 p
(d − y ( k ) ) 2 = ∑ (d ( k ) − w T x ( k ) ) 2
∑
2 k =1
2 k =1
p
m
1
= ∑ (d ( k ) − ∑ w j x j ) 2

2 k =1
j=1

∆Wj = η

p
∂E
= η∑ ( d ( k ) − W T x ( k ) ) x ( k ) j
∂Wj
k =1

(1.14)

(1.15)

Học được tiến hành lần lượt theo các mẫu, nên ∆Wj có thể tính tuần tự:

∆Wj = η(d ( k ) − W T x ( k ) ) x (jk )

19


E(W) có dạng bình phương, là một siêu Parabol trong không gian các trọng Rm, có một
điểm cực tiểu duy nhất. Do đó, nếu chọn η đủ nhỏ theo phương pháp gradient ở trên thì có
thể tìm đư ợc véc tơ trọng tối ưu sau số lần lặp đủ lớn
1.5.2.MẠNG PERCEPTRON

Cấu trúc:
Với các véc tơ ra mong muốn d(k)=[d1(k), d2(k),...,dn(k)] và véc tơ và
X(k )=[X1(k), X2(k),..., Xm(k)], k=1,2,...,p, trong đó m là số đầu vào, n là số đầu ra, p là số

cặp mẫu vào-ra dùng huấn luyện mạng. Đầu ra thực tế theo cấu trúc chung:
yi(k)= f(WiT xi(k)) = f(Wij xj(k)) = di (k) ; i=1,...,n; k=1,...,

(1.16)

Đối với cấu trúc perceptron (1.10) có thể viết thành:
yi(k)= Sign(WiT xi(k)) = di (k)

[ ]

W = w iT

(1.17)

 w 1T   w 11w 12 ...w 1m 
 T  T

 w 2   w 2 w 22 ...w 2 m 
= =
...
................... 
  

 w Tn   w Tn w n 2 ...w nm 

(1.18)
Luật học tổng quát: học đối với mạng nơron là cập nhật trọng trên cơ sở các mẫu.
Theo nghĩa tổng quát, học có thể được chia làm hai loại: Học tham số và học cấu trúc.
Trong những năm gần đây, các công trình tập trung cho nghiên cứu các luật học khác nhau.
Các luật học đó có thể khái quát thành dạng chung sau:

Wi j  r X(t)

(1.19)

trong đó : α là hằng số học (dương) xác định tốc độ học; r là tín hiệu học. Tín hiệu học
tổng quát là một hàm của W, X, di, tức là r = fr(wi, xi, di). Đối với các trọng biến đổi liên tục
có thể sử dụng dạng sau:

dwi(t)
= αrx(t)
dt

(1.20)

Luật Hebb là một ví dụ điển hình. Nhà sinh học Hebb (1949) đã nêu tiên đề: trọng
được hiệu chỉnh phù hợp với quan hệ trước-sau [17] và sau này được mô hình hoá thành
20


một trong những luật học quan trọng nhất của mạng nơron nhân tạo. Trong luật học của
Hebb, tín hiệu học thay đổi theo:
r  f(WiT X) = f(yi) (1.21)

Wi=  f(WiTX) Xj=  yiXj; i=1,2..,n ; j=1,2..,m; r  di - yi (1.22)
Trong một mạng cụ thể nào đó, luật Hebb có dạng:

Wij= [di - Sign(WiT X)]Xj

(1.23)

Cấu trúc:
Các nơron tạo thành lớp, trong đó mỗi tín hiệu vào có thể được đưa vào cho tất cả các
nơron của lớp. Mỗi nơron có nhiều đầu vào và một đầu ra trên mỗi nơron đó. Cấu trúc của
mạng Perceptron được chỉ ra hình vẽ

Hình 1.6.2.Mạng Perceptron một lớp đơn
Đầu vào của mạng có thể được mô tả là vector X=[x1, x2, . . . xm]T, trong đó m là số lượng đầu vào. T là ký hiệu chuyển vị. Giá trị ngưởng của các nơron là các trọng liên kết với
đầu vào cuối cùng xm=-1. Với n nơron, vector đầu ra thực tế là Y=[y1, y2, ...yn]T . Mạng
Perceptron sử dụng luật học có giám sát. Do đó, tương ứng với mẫu đầu vào là vector X(k
)=[x1(k), x2(k),..., xm(k)]T, mẫu đầu ra mong muốn là vector d ( k) =[d1(k), d2( k),..., dn(
k)]T. K=1,2,...,p, trong đó m là số đầu vào, n là số đầu ra, p là số cặp vào ra theo tập luyện
tập. Chúng ta muốn đầu ra thực sự y(k) = d(k) sau quá trình học và có thể được mô tả như
sau:
m

yi( k )= f(WiT xi(k)) = f( ∑ Wi j xj( k )) = dik , i=1,2,...,n; k=1,2,...

(1.24)

j=1

21


Trong mạng perceptron sử dụng hàm phi tuyến là hàm dấu nên phương trình (1.24) có
thể viết thành:
yi( k )= Sign(WiT xi(k)) = dik

(1.25)

• Luật học perceptron:
Luật học trong mạng nơron nhân tạo là qui tắc trong đó các giá trị được cập nhật sau
một số biến đổi. Có nhiều luật học khác nhau trong mạng nơron, nhưng tất cả đều có thể qui
về dạng chung nhất, dưới dạng

Wi j  r xj(t).

(1.26)

Phương trình (1.26) đựơc áp dụng cho chuỗi biến đổi trọng rời rạc. Đối với các trọng
biến đổi liên tục có thể biểu diễn như sau:
dWi (t )
=  r x(t )
dt

(1.27)

Đối với mạng Perceptron, chúng ta sử dụng luật học Perceptron. Trong luật học
Perceptron, tín hiệu học r=di-yi . Do đầu ra mong muốn chỉ dữ lại 2 giá trị 1 và -1 nên ta có

Wi j=( di-yi)xj =  (di- Sign(wiT x))xj = 

2d i xi

0

if yi ≠ d i

(1.28)

else

Như vậy, các trọng số chỉ được cập nhật khi đầu ra thực sự yi khác với di . Các trọng
số được khởi tạo với giá trị bất kì. luật học Perceptron sẽ hội tụ sau một số bước hữu hạn
1.5.3. MẠNG NORON LAN TRUYỀN NGƯỢC

Thuật học lan truyền ngược là một trong những phát triển quan trọng trong mạng
nơron. Thuật toán này được áp dụng cho các mạng nhiều lớp truyền thẳng (feedforward)
gồm các phần tử xử lý với hàm kích hoạt liên tục. Các mạng như vậy kết hợp với thuật toán
học lan truyền ngược được gọi là mạng lan truyền ngược (Back Propagation Network).
Về mặt lý thuyết đã chứng minh được rằng: mạng ba lớp trở lên có thể nhận biết được
mọi hàm bất kỳ. Chính vì vậy, luật học truyền ngược có ý nghĩa r ất quan trọng trong việc
cập nhật trọng số của mạng nhiều lớp truyền thẳng. Nền tảng của thuật toán cập nhật trọng
số này cũng là phương pháp h ạ Gradient. Thật vậy, cho cặp mẫu đầu vào - đầu ra (x(k),
d(k)), thuật toán lan truyền ngược thực hiện 2 pha. Đầu tiên, mẫu đầu vào x(k) được truyền
từ lớp vào tới lớp ra và kết quả của luồng dữ liệu thẳng (forward) này là tạo đầu ra thực sự

22


y(k). Sau đó, tín hiệu lỗi tạo từ sai khác giữa d(k) và y(k) sẽ được lan truyền ngược từ lớp ra
quay trở lại các lớp trước đó để chúng cập nhật trọng số. Để minh hoạ chi tiết thuật toán lan
truyền ngược, xét một mạng 3 lớp: lớp vào có m nơron, lớp ẩn có l nơron và lớp ra có l
nơron
Cấu trúc:

+) Lớp ẩn: với tập mẫu đầu vào x, nơron thứ q của lớp ẩn nhận tổng đầu là

m

net q = ∑ v jq x j

j=1,2,…,m ; q=1,2,…,l

(1.29)

j =1

và tạo đầu ra của lớp ẩn
m

z q = f (net q ) = f (∑ v qj x j )

(1.30)

j =1

trong đó: f(.) là hàm tương tác đầu ra.
+) Lớp ra: giả thiết hàm tương tác đầu ra của lớp ra giống các lớp khác, tức là f(.). Khi
đó tổng đầu vào của nơron thứ i có thể xác định
l
l
 m

net i = ∑ wiq z q = ∑ wiq f  ∑ v qj x j 
q =1
q =1
 j =1


(1.31)

và tạo đầu ra:
 l
 l

y i = f (net i ) = f  ∑ wiq z q  = f  ∑ wiq
 q =1
 q =1



 m

f  ∑ v qj x j  

 j =1


(1.32)

• Luật lan truyền ngược (Backpropagation Learning Rule)

23


Cơ sở của luật học lan truyền ngược được xây dựng trên phương pháp hạ Gradient.
Đầu tiên, xây dựng hàm chi phí (hay còn gọi là hàm sai số giữa đầu ra mong muốn di với
đầu ra thực tế yi)

2

2
2
l

1n
1n
1n


(
)
[
]
(
d
−
y
)
=
d
−
f
net
=
d
−
f
w

z
E(w)=
∑ i i 2∑
∑ i ∑
i
i
iq q  (1.33)
2 i=1
2 i=1 
i=1
q
=
1



Theo phương pháp hạ Gradient, trọng liên kết giữa lớp ẩn và lớp đầu ra được cập
nhật bởi:
∆wiq = −

 ∂ E  ∂ y i
∂E

= − 
∂wiq
 ∂y i  ∂net i

 ∂net i



 ∂wiq

(






)

=  (d i − yi ) f ' (neti ) z q =  oi z q

(1.34)

vớiĠ là tín hiệu lỗi tại nơron thứ i trong lớp ra
 oi = (di -yi)f' (neti)

(1.35)

Đối với trọng liên kết giữa nơron thứ j của lớp vào và nơron thứ q của lớp ẩn sẽ được
cập nhật theo:
∆v qj = −

 ∂E
∂E
= − 
 ∂net
∂v qi
q


n

 ∂net q

 ∂ v
qj


[



 = −  ∂E

 ∂z

 q

]

=  ∑ ( d i − y i ) f ' ( net i ) wiq f ' ( net q ) x j
i =1

 ∂ z q

 ∂net
q


 ∂net q

 ∂ v
qj







(1.36)

Từ phương trình (1.35) ta có:
n

∆v qj =  ∑ [ oi w] f ' ( net q ) x j =  hq x j

(1.37)

i =1

với Ġ là tín hi ệu lỗi của nơron thứ q trong lớp ẩn
n

 hq = f ' ( net q )∑  0i wiq

(1.38)

Rõ

i =1

ràng, từ hàm sai lệch đầu ra (1.58), theo phương pháp hạ Gradient, chúng ta có thể tính
ngược trọng từ lớp ra, tiếp theo đến trọng của lớp trước đó. Điều này thể suy luận và tính các
lớp trọng cho một mạng nơron truyền thẳng có số lớp bất kỳ.
1.5.4. MẠNG NORON RBF(RADIAL B ASIS F UNCTION)

24


Mạng RBF được Moody và Darker đề xu ất năm 1989 dựa trên sự tương đồng giữa
khai triển RBF với mạng nơron một lớp ẩn. Khả năng xấp xỉ của các hàm phi tuyến của
mạng có thể thừa nhận từ hai lý do. Một là, nó là một kiểu khai triển RBF. Hai là, nó tương
đương với hệ thống mờ và là một công cụ xấp xỉ vạn năng. Đặc biệt mạng RBF Gauss sẽ là
một kiểu mạng “có một số người thắng”, nên có thể áp dụng luật học không giám sát của
Kohonen mở rộng. Điều này có thể giải thích từ cách suydiễn kiểu NẾU -THÌ (sẽ trình bày
ở phần hai) của hệ thống mờ tương đ ương.

1.6. MẠNG NORON TRUY HỒI
1.6.1. MẠNG HOPFIELD RỜI RẠC

Mạng Hopfield mang tên của một nhà vật lý người Mĩ phát hiện ra là một mạng truyền
ngược một lớp. Cấu hình mạng chi tiết được chỉ ra trong hình 1.7.1. Khi xử lý theo thời gian
rời rạc, nó được gọi là một mạng Hopfield rời rạc và cấu trúc của nó là một mạng truyền
ngược một lớp cũng có thể được gọi là hồi quy (recurrent). Chương này chủ yếu bàn về các
mạng hồi quy một lớp. Khi một mạng hồi quy một lớp thực hiện một tiến trình cập nhật tuần
tự, một mẫu đầu vào trước tiên được cung cấp cho mạng, và theo đó đầu ra của mạng được
khởi tạo. Sau đó, mẫu khởi tạo được xoá đi, và đầu ra đã khởi tao cũng tr ở nên mới, đầu ra
được cập nhật thông qua các kết nối phản hồi. Đầu vào được cập nhật lần thứ nhất sẽ có đầu

ra được cập nhật lần thứ nhất; hoạt động này tái diễn, đầu vào được cập nhật lần thứ hai
thông qua các liên kết phản hồi và cung cấp đầu ra được cập nhật lần thứ hai. Quá trình
chuyển tiếp tiếp tục cho đến khi không có sự biến đổi, các đáp ứng cập nhật được cung cấp
và mạng đã đ ạt được trạng thái cân bằng của nó.

W
1n

W

W

W
12

W

n2

n1

W

2n
21

N

1N

N

n

1

2

n

2

25