Nghien cứu ứng dụng mạng nơron trong nhận dạng và điều khiển đối tượng động học phi tuyến

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
1











ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC KỸ THUẬT CÔNG NGHIỆP
o0o




LUẬN VĂN THẠC SỸ KỸ THUẬT
NGÀNH: TỰ ĐỘNG HÓA



NGHIÊN CỨU ỨNG DỤNG MẠNG NƠRON TRONG
NHẬN DẠNG VÀ ĐIỀU KHIỂN
ĐỐI TƢỢNG ĐỘNG HỌC PHI TUYẾN

PHẠM VĂN HƢNG




THÁI NGUYÊN 2010

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
2
ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC KỸ THUẬT CÔNG NGHIỆP





LUẬN VĂN THẠC SỸ KỸ THUẬT
NGÀNH: TỰ ĐỘNG HÓA


NGHIÊN CỨU ỨNG DỤNG MẠNG NƠRON TRONG
NHẬN DẠNG VÀ ĐIỀU KHIỂN
ĐỐI TƢỢNG ĐỘNG HỌC PHI TUYẾN





Học viên: Phạm Văn Hƣng

Ngƣời HD Khoa Học: PGS.TS Nguyễn Hữu Công





THÁI NGUYÊN 2010
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
3
ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC KỸ THUẬT CÔNG
NGHIỆP
***
CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT
NAM
Độc Lập - Tƣ Do - Hạnh Phúc
o0o

THUYẾT MINH
LUẬN VĂN THẠC SỸ KỸ THUẬT

ĐỀ TÀI:
NGHIÊN CỨU ỨNG DỤNG MẠNG NƠRON TRONG NHẬN DẠNG
VÀ ĐIỀU KHIỂN ĐỐI TƢỢNG ĐỘNG HỌC PHI TUYẾN

Học viên: Phạm Văn Hƣng
Lớp : CH-K11
Chuyên ngành: Tự động hoá
Ngƣời hƣớng dẫn: PGS.TS Nguyễn Hữu Công
Ngày giao đề tài: 1/12/2009

Ngày hoàn thành đề tài: 30/7/2010

KHOA ĐT SAU ĐẠI HỌC
NGƢỜI HƢỚNG DẪN


PGS.TS Nguyễn Hữu Công
BAN GIÁM HIỆU
HỌC VIÊN


Phạm Văn Hƣng
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
4

LỜI CAM ĐOAN

Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu,
kết quả trong luận văn là hoàn toàn trung thực theo tài liệu tham khảo và chƣa
từng đƣợc ai công bố trong bất kỳ công trình nào khác.

Thái Nguyên, ngày 2 tháng 9 năm 2010
Tác giả luận văn


Phạm Văn Hƣng

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
5
LỜI CẢM ƠN

Trong quá trình làm luận văn, tôi đã nhận đƣợc nhiều ý kiến đóng góp từ
các thầy, cô giáo, các anh chị và các bạn đồng nghiệp.
Tôi xin bày tỏ lòng biết ơn đến PGS.TS Nguyễn Hữu Công, Ngƣời đã
tận tình hƣớng dẫn tôi hoàn thành luận văn này, đến Khoa Sau Đại học -
Trƣờng Đại học Kỹ thuật công nghiệp đã tạo điều kiện để tôi hoàn thành khóa
học.
Tôi xin chân thành cảm ơn Trƣờng Đại học Kỹ thuật Công nghiệp,
Phòng Hành chính Tài vụ, Khoa Điện đã tạo những điều kiện để tôi hoàn
thành khóa học.
Tôi xin chân thành cảm ơn các thầy cô giáo Bộ môn Tự động hóa - khoa
Điện, đã giúp đỡ và tạo những điều kiện thuận lợi nhất về mọi mặt để tôi hoàn
thành khóa học.

Tác giả luận văn


Phạm Văn Hƣng
Mọi đóng góp xin gửi vào:
Mobile: 0912 865 842


Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
6
Mục Lục
Mục Lục 6
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT 9

DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ 11
MỞ ĐẦU 13
1. Tính cấp thiết của đề tài 13
2. Mục đích nghiên cứu 13
3. Đối tƣợng và phƣơng pháp nghiên cứu 13
4. Ý nghĩa khoa học và thực tiễn của đề tài 14
5. Kết cấu luận văn 15
CHƢƠNG 1 TỔNG QUAN VIỆC ỨNG DỤNG MẠNG NƠRON TRONG
NHẬN DẠNG VÀ ĐIỀU KHIỂN ĐỐI TƢỢNG ĐỘNG HỌC PHI TUYẾN
16
1.1. Giới thiệu tóm tắt về mạng nơron 16
1.1.1 Mạng nơron sinh học 16
1.1.2 Mạng nơron nhân tạo (Artificial Neural network - ANN) 17
1.1.3 Cấu trúc mạng nơron 19
1.1.4 Huấn luyện mạng nơron 23
1.2. Tình hình nghiên cứu trong và ngoài nƣớc liên quan đến đề tài 27
1.2.1 Tình hình nghiên cứu trong nước 27
1.2.2 Tình hình nghiên cứu ngoài nước 29
1.2.3 Nhận xét và lựa chọn hướng nghiên cứu 32
1.3. Kết luận chƣơng 1 33
CHƢƠNG 2 NHẬN DẠNG ĐỐI TƢỢNG
ĐỘNG HỌC PHI TUYẾN SỬ DỤNG MẠNG NƠRON 35
2.1. Giới thiệu hệ động học phi tuyến 35
2.1.1 Giới thiệu chung 35
2.1.2 Mô hình mô tả hệ động học phi tuyến dưới dạng rời rạc 36
2.2. Nhận dạng hệ động học phi tuyến 40
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
7
2.2.1. Khái quát chung 40
2.2.2. Các phương pháp nhận dạng 43

2.3 Nhận dạng hệ thống sử dụng mạng nơron 50
2.3.1 Khả năng sử dụng mạng nơron trong nhận dạng 50
2.3.2 Mô hình nhận dạng hệ thống sử dụng mạng nơron 51
2.3.3. Nhận dạng hệ thống sử dụng mạng nơron 56
2.4 . Nhận dạng hệ thống xử lý nƣớc thải sử dụng mạng nơron 59
2.4.1. Các bước thực hiện trong quá trình nhận dạng 60
2.4.2. Mô hình toán học của hệ thống xử lý nước thải 60
2.4.3. Ứng dụng mạng nơron để nhận dạng đối tượng 62
2.5. Kết luận chƣơng 2 66
CHƢƠNG 3 ỨNG DỤNG MẠNG NƠRON
ĐIỀU KHIỂN BỂ XỬ LÝ NƢỚC THẢI THEO MÔ HÌNH MẪU 68
3.1. Thiết kế bộ điều khiển nơron theo mô hình mẫu 68
3.2. Ứng dụng mạng nơron thiết kế bộ điều khiển theo mô hình mẫu 69
3.2.1. Mô hình mạng nơron của bộ điều khiển 69
3.2.2. Mô hình mẫu của hệ thống xử lý nước thải 69
3.2.3. Chương trình huấn luyện bộ điều khiển nơron 71
3.3. Kết luận chƣơng 3 74
CHƢƠNG 4 NGHIÊN CỨU CẢI TIẾN THUẬT TOÁN HỌC CỦA MẠNG
NƠRON TRONG BÀI TOÁN NHẬN DẠNG BỂ XỬ LÝ NƢỚC THẢI 75
4.1. Đặt vấn đề 75
4.2 . Mô hình mạng nơron mới trong nhận dạng bể xử lý nƣớc thải 76
4.1.1 Mô hình mạng nơron hồi tiếp liên tục 76
4.1.2 Nhận dạng bể xử lý nước thải 76
4.3 Thuật toán mạng nơron hồi tiếp liên tục 78
4.3.1 Thuật toán lan truyền ngược 78
4.3.2 Thuật toán loại những mẫu học bị nhiễu 80
4.4 Lập trình huấn luyện mạng nơron hồi tiếp liên tục 81
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
8
4.4.1 Lưu đồ thuật toán huấn luyện mạng hồi tiếp liên tục 81

4.4.2 Chương trình huấn luyện mạng 83
4.5 Kết quả mô phỏng và nhận xét 88
4.5.1 Kết quả luyện mạng với thuật toán mới 88
4.5.2 Kiểm chứng khả năng loại các mẫu học bị nhiễu. 94
4.6 Kết luận chƣơng 4 98
KẾT LUẬN 99
TÀI LIỆU THAM KHẢO 100

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
9
DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
MSE
Sai lệch bình phƣơng cực tiểu, viết tắt của (Mean Square Error)
ANN
Mạng nơron nhân tạo (Artificial Neural network )
CTRNN
Mạng nơron hồi tiếp liên tục (Continuous time recurrent neural
networks)
LM
Thuật toán Leveber – Marquart
BIBO
Tín hiệu vào ra có giới hạn, viết tắt của (Bound Input Bound Output)
MISO
Hệ nhiều đầu vào một đầu ra, viết tắt của (Multi Inputs Single Output)
ĐKTN
Điều khiển thích nghi
MRAC
Model Referance Adaptive Control
MRC
Model Referance Control

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
10
BẢNG KÝ HIỆU
1. A =  a
ij

: ma trận mxn chiều.
2. A
T

: ma trận chuyển vị của A.
3.
A

: ma trận liên hợp của A
4. A
*

: ma trận chuyển vị liên hợp của A
5. A
-1

: ma rrận nghịch đảo của A
6. A
: ma trận với các giá trị tuyệt đối
7. A
: chuẩn ma trận
8. x
: chuẩn véc tơ

9. diag(a
1
, , a
i
)
: ma trận đƣờng chéo với các phần tử a
i

10. g(.)
: hàm quan hệ phi tuyến vào ra
11. R
n

: không gian thực n chiều
12. W=[w
ij
]
: ma trận trọng liên kết nxm chiều
13. (
T
)
: ký hiệu chuyển vị
14. x = [x
1
, , x
n
]
T
 R
: véc tơ cột x

15. g(x)/x
: đạo hàm riêng
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
11
DANH MỤC CÁC HÌNH VẼ VÀ ĐỒ THỊ
Hình 1.1 Mạng nơron đơn giản gồm 2 nơron …………….
10
Hình 1.2 Mô hình nơron nhiều đầu vào ………………….
12
Hình 1.3 Mạng nơron có đặc tính động học và tuyến tính ……
14
Hình 1.4 Mạng nơron có đặc tính phi tuyến tĩnh …………………
14
Hình 1.5 Mạng nơron có đặc tính động học phi tuyến …………
15
Hình 1.6 Cấu trúc của các khối TDL-1 và TDL-2……………
15
Hình 1.7 Sơ đồ dùng để huấn luyện mạng …………………
18
Hình 2.1 Mô hình I…………………………………………
30
Hình 2.2 Mô hình II…………………………………………
30
Hình 2.3 Mô hình III…………………………………………
31
Hình 2.4 Mô hình III……………………………………………
31
Hình 2.5 Điều khiển theo nguyên tắc phản hồi đầu ra………
33
Hình 2.6 Quy trình nhận dạng hệ thống ……………………

36
Hình 2.7 Sơ đồ tổng quát nhận dạng thông số mô hình
39
Hình 2.8 Nhận dạng theo phƣơng pháp gradient
40
Hình 2.9 Mô hình nhận dạng cơ bản ………………………
45
Hình 2.10 Bổ sung thông tin đầu vào cho mạng ……………
45
Hình 2.11 Sử dụng tri thức tiên nghiệm ……………………
46
Hình 2.12 Nhận dạng động học nghịch ……………………
46
Hình 2.13a, b Mô hình mạng nơron nhiều lớp ……………
48
Hình 2.14 Mô hình nhận dạng song song ………………………
50
Hình 2.15 Mô hình nhận dạng nối tiếp - song song ………………
51
Hình 2.16 Nhận dạng hệ phi tuyến dùng mạng nơron ………
51
Hình 2.17 Sơ đồ nhận dạng HT xử lý nƣớc thải bằng mạng nơron
53
Hình 2.18 Sơ đồ hệ thống xử lý nƣớc thải……………………
53
Hình 2.19 Mô hình đối tƣợng trong Simulink……………
55
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
12
Hình 2.20 Mô hình hệ thống dƣới dạng mạng nơron ………

56
Hình 2.21 Đồ thị sai lệch giữa mô hình nơron và mô hình đối tƣợng
58
Hình 3.1 Sơ đồ huấn luyện bộ điều khiển nơron NN ………………
60
Hình 3.2 Sơ đồ hệ thống điều khiển……………………………………
61
Hình 3.3 Cấu trúc mạng nơron của bộ điều khiển………………………
61
Hình 3.4 Hàm trọng lƣợng của mô hình mẫu…………………………….
62
Hình 3.5 Mô hình mẫu trong Simulink………………………………….
62
Hình 3.6 Đồ thị sai lệch giữa tín hiệu ra của đối tƣợng với mô hình mẫu.
65
Hình 4.1 Sơ đồ cấu trúc mạng noron……………………………………
69
Hình 4.2 Mạng truyền thẳng nhiều lớp………………………………
71
Hình 4.3: Lƣu đồ thuật toán chƣơng trình huấn luyện mạng nơron …
74
Hình 4.4: Tín hiệu mẫu vào ngẫu nhiên trong khoảng 0-2 L/s………….
80
Hình 4.5: Tín hiệu sai lệch e(t)=y
m
-y, tín hiệu y
m
; tín hiệu y……………
81
Hình 4.6: Tín hiệu mẫu đầu ra mô phỏng trên Simulink……………….

81
Hình 4.7: Sơ đồ mô phỏng trên Simulink…………………………
83
Hình 4.8: Tín hiệu đầu vào u hình sin với 1000 mẫu
83
Hình 4.9: Tín hiệu ra y
m
khi tín hiệu đầu vào là 1000 mẫu hình sin.
84
Hình 4.10: Kết quả của mạng khi tín hiệu vào sin với 1000 mẫu
85
Hình 4.11: Mô hình mẫu có nhiễu tác động là 2 hàm step
86
Hình 4.12: Tín hiệu đầu ra mẫu y
m
khi có nhiễu tác động từ 10 -30 s
86
Hình 4.13: Tín hiệu đầu ra mẫu y
m
khi có nhiễu tác động từ 10 -30 s
87
Hình 4.14: Số lƣợng mẫu học còn lại là 193/500 mẫu
88
Hình 4.15: Khi tăng số số lần lặp thì số mẫu học còn 188/500 mẫu
88
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
13

MỞ ĐẦU
1. Tính cấp thiết của đề tài

 Trong những năm gần đây mạng nơron nhân tạo ANN (Artificial
Neural Network) ngày càng đƣợc ứng dụng rộng rãi trong nhận
dạng, điều khiển và tính toán mềm vì những ƣu điểm nhƣ khả năng
xử lý song song, tốc độ cao … nên đƣợc ứng dụng trong nhiều lĩnh
vực nhƣ: công nhiệp, năng lƣợng, y học, tài nguyên nƣớc và khoa
học môi trƣờng. Đặc biệt trong lĩnh vực kỹ thuật môi trƣờng, ANN
ngày càng chứng tỏ đƣợc vai trò trong nhận dạng và điều khiển các
quá trình xử lý phức tạp mà các phƣơng pháp khác không có đƣợc.
 Tuy nhiên các tác giả đã nghiên cứu ở trên khi luyện mạng nơron sử
dụng các Toolbox của Matlab, thƣờng ta sẽ không loại bỏ đƣợc
những mẫu học bị nhiễu. Đề tài sẽ đƣa ra một thuật toán loại bỏ
những mẫu học bị nhiễu và sẽ làm giảm sai số trong quá trình huấn
luyện mạng. Ta sẽ nghiên cứu cho một số đối tƣợng động học phi
tuyến.
 Hệ thống sau khi thiết kế hoàn chỉnh sẽ áp dụng tốt trong những bài
toán nhận dạng và điều khiển đối tƣợng động học phi tuyến trên cơ
sở mạng nơron. Ý tƣởng của đề tài là áp dụng bài toán điều khiển bể
xử lý nƣớc thải hoặc điều khiển cánh tay robot…
2. Mục đích nghiên cứu
 Nghiên cứu về đối tƣợng sau đó lập ra thuật toán học của mạng
nơron để nâng cao kết quả quá trình luyện mạng.
 Sử dụng mạng nơron để nhận dạng và điều khiển đối tƣợng động học
phi tuyến.
3. Đối tƣợng và phƣơng pháp nghiên cứu
 Đối tượng nghiên cứu:
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
14
Đối tƣợng nghiên cứu của đề tài là các thông số của bể xử lý nƣớc
thải. Tập trung vào bài toán nhận dạng và điều khiển đối tƣợng động
học phi tuyến trên cơ sở mạng nơron. Từ đó giải các bài toán tối ƣu để

tìm ra thuật toán luyện mạng mới cải tiến các phƣơng pháp luyện
mạng trƣớc kia chƣa cho kết quả cao.
 Phương pháp nghiên cứu:
 Nghiên cứu lý thuyết: Nghiên cứu sách, giáo trình, bài báo, báo
cáo khoa học, luận văn và các tài liệu liên quan. Từ đó xây dựng
hệ thống nhận dạng và điều khiển đối tƣợng trên cơ sở mạng
nơron.
 Cải tiến thuật toán luyện mạng và áp dụng hệ điều khiển cho đối
tƣợng động học phi tuyến.
 Mô phỏng kết quả của phƣơng pháp kết hợp với hiệu chỉnh. Sau đó
so sánh với phƣơng pháp luyện mạng truyền thống của Matlab.
4. Ý nghĩa khoa học và thực tiễn của đề tài
 Ý nghĩa khoa học:
 Nghiên cứu những kiến thức về mạng nơron trong nhận dạng và
điều khiển đối tƣợng động học phi tuyến. Từ đó cải tiến thuật toán
học của mạng nơron để nhận dạng và điều khiển hệ thống đƣợc tối
ƣu hơn.
 Ta có thể làm chủ đƣợc chƣơng trình huấn luyện mạng nơron và
có thể có những cải tiến nhiều trong tƣơng lai.
 Sử dụng mạng nơron để điều khiển đối tƣợng động học phi tuyến.
 Ý nghĩa thực tiễn:
 Các kết quả nghiên cứu của đề tài có thể sử dụng trong giảng dạy,
nghiên cứu về mạng nơron hoặc ứng dụng vào quá trình sản xuất
trong tƣơng lai.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
15
 Các hệ thống xử lý nƣớc thải trên thị trƣờng giá thành rất cao vì
phải nhập ngoại. Nếu đề tài thành công sẽ giúp chi phí cho việc xử
lý nƣớc thải sẽ giảm đi đáng kể và trong nƣớc hoàn toàn có thể
làm chủ đƣợc công nghệ.

 Hệ thống nhận dạng và điều khiển dùng mạng nơron này hoàn
toàn có thể áp dụng cho các hệ thống khác nhƣ điều khiển chuyển
động của robot, các đối tƣợng động học phi tuyến khác.
5. Kết cấu luận văn
Mở đầu
Chƣơng 1: Tổng quan việc ứng dụng mạng nơron trong nhận dạng và
điều khiển đối tƣợng động học phi tuyến
Chƣơng 2: Nhận dạng đối tƣợng động học phi tuyến sử dụng mạng
nơron
Chƣơng 3: Ứng dụng mạng nơron để điều khiển bể xử lý nƣớc thải theo
mô hình mẫu
Chƣơng 4: Nghiên cứu cải tiến thuật toán học của mạng nơron trong
bài toán nhận dạng bể xử lý nƣớc thải










Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
16
CHƢƠNG 1
TỔNG QUAN VIỆC ỨNG DỤNG MẠNG NƠRON TRONG
NHẬN DẠNG VÀ ĐIỀU KHIỂN ĐỐI TƢỢNG ĐỘNG HỌC PHI TUYẾN
1.1. Giới thiệu tóm tắt về mạng nơron
1.1.1 Mạng nơron sinh học

Mạng nơron là sự tái tạo bằng kỹ thuật những chức năng của hệ thần
kinh con ngƣời. Trong quá trình tái tạo không phải tất cả các chức năng của
bộ não con ngƣời có đều đƣợc tái tạo mà chỉ có những chức năng cần thiết.
Bên cạnh đó có những chức năng mới đƣợc tạo ra nhằm giải quyết một bài
toán điều khiển đã định trƣớc.
Mạng nơron bao gồm vô số các nơron đƣợc liên kết truyền thông với
nhau trong mạng. Hình 1.1 là một phần của mạng nơron bao gồm hai nơron.









Thân nơron đƣợc giới hạn trong một màng membrane và trong cùng là
nhân. Từ thân nơron còn có rất nhiều đƣờng rẽ nhánh gọi là rễ.
Đƣờng liên lạc liên kết nơron này với nơron khác đƣợc gọi là axon, trên
axon có các đƣờng rẽ nhánh. Nơron có thể liên kết với các nơron khác qua
các rễ. Chính vì sự liên kết đa dạng nhƣ vậy nên mạng nơron có độ liên kết
cao.
Hình 1.1 Mạng nơron đơn giản gồm 2 nơron
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
17
Các rễ của nơron đƣợc chia thành 2 loại: loại nhận thông tin từ các
nơron qua các axon là loại rễ đầu vào, Loại đƣa thông tin từ nơron đến axon
khác là rễ đầu ra.
Đặc điểm quan trọng của một nơron là có thể có nhiều rễ đầu vào
nhƣng chỉ có một rễ đầu ra. Đặc điểm này giống khâu điều khiển có nhiều đầu

vào và một đầu ra.
Quá trình hoạt động của một nơron là một quá trình tự nhiên. Ở trạng
thái cân bằng (trạng thái tĩnh) điện áp của màng membran khoảng -75mV.
Khi có tác động bên ngoài vào nơron với mức điện áp khoảng 35mV thì trong
tế bào xảy ra hàng loạt các phản ứng hoá học tạo thành các lực làm nơron bị
kích hoạt. Thế năng sinh ra khi nơron ở trạng thái bị kích thích hoàn toàn chỉ
tồn tại trong vài ms, sau đó nơron lại trở lại trạng thái cân bằng cũ. Thế năng
này đƣợc truyền vào mạng qua các axon và có khả năng kích thích hoặc kìm
hãm tự nhiên các nơron khác trong mạng. Một nơron sẽ ở trạng thái kích thích
khi tại đầu vào xuất hiện một tín hiệu tác động vƣợt qua ngƣỡng cân bằng của
nơron.
Một tính chất quan trọng của nơron sinh học là các đáp ứng theo kích
thích có khả năng thay đổi theo thời gian. Các đáp ứng có thể tăng lên, giảm
đi hoặc hoàn toàn biến mất. Qua các nhánh axon liên kết tế bào nơron này với
tế bào nơron khác. Sự thay đổi trạng thái của một nơron cũng kéo theo sự thay
đổi trạng thái của những nơron khác và do đó là sự thay đổi của toàn bộ mạng
nơron. Việc thay đổi trạng thái của mạng nơron có thể thực hiện qua một quá
trình dạy hoặc do khả năng học tự nhiên.
1.1.2 Mạng nơron nhân tạo (Artificial Neural network - ANN)
Từ những nghiên cứu tính chất cơ bản của mạng nơron sinh học. Ngƣời
ta thay thế những tính chất này bằng một mô hình toán học tƣơng đƣơng đƣợc
gọi là mạng nơron nhân tạo. Mạng nơron nhân tạo có thể đƣợc chế tạo bằng
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
18
nhiều cách khác nhau vì vậy trong thực tế tồn tại rất nhiều kiểu mạng nơron
nhân tạo.

Cấu trúc một nơron bao gồm:
p
1
, p
2
, …. p
n
: n đầu vào
w
1
, w
2
… w
n
: n trọng số
b: tham số bù
a = f(n): hàm truyền
Đứng về mặt hệ thống, một nơron là một hệ thống MISO quen thuộc
với nhiều đầu vào và một đầu ra.
Quan hệ giữa các đầu vào và ra của một nơron đƣợc biểu diễn bằng
phƣơng trình toán học nhƣ sau:
 
1
2

12
1
w
w
.
w * . . . w
.
.
w
m
k k m
k
m
n p b p p p b p b





     








w
1

p
1

+


f

w
2

p
2

w
n

p
n

.
.
.
b
1
Hình 1.2 Mô hình nơron nhiều đầu vào
a
n
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

19


Dƣới đây là một số hàm f cơ bản thƣờng đƣợc sử dụng.
Hàm a = f(n)
BLM 10 mô tả
a = tansig(n)
1
1
2
2



 n
e
a

a= logsig(n)
1
1
n
a
e




a = radbas(n)
2

n
ae




a = satlins(n)
a = -1 nếu n ≤ -1
a = n nếu -1 ≤ n ≤ 1
a = 1 nếu n ≥ 1
a = hardlim(n)
a = 1 nếu n ≥0
a = -1 nếu n < 0
a = purelin(n)
a = n
1.1.3 Cấu trúc mạng nơron
Trong điều khiển tự động, để xây dựng đƣợc các hệ thống điều khiển tự
động, trƣớc tiên phải xác định đƣợc mô hình thích hợp cho đối tƣợng và xác
định các tham số của mô hình. Ở đây mô hình đƣợc sử dụng để thay thế cho
đối tƣợng là một mạng nơron. Vậy ta phải xác định đƣợc cấu trúc hợp lý cho
mạng nơron và huấn luyện các tham số của mạng. Tuỳ theo các đặc tính của
mạng nơron là động học tuyến tính, phi tuyến tĩnh, hay động học phi tuyến
mà ta có thể phân thành 3 loại nhƣ sau:
 Mạng nơron động học tuyến tính: Quan hệ vào và ra của mạng nơron
có tính chất động học tuyến tính.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
20
 Mạng nơron phi tuyến tĩnh: Quan hệ vào và ra của mạng có tính chất
phi tuyến tĩnh.
 Mạng nơron động học phi tuyến: Quan hệ vào và ra của mạng có tính

chất động học và phi tuyến.

 Mạng nơron động học tuyến tính
Mạng nơron động học tuyến tính bao gồm nhiều lớp với hàm truyền là
hàm tuyến tính purelin nhƣng trong đó phải có ít nhất một khâu trễ. Trong
điều khiển tự động mạng nơron có cấu trúc càng đơn giản càng tốt nghĩa là số
lớp và số nơron trong mỗi lớp càng ít càng tốt. Ở đây trình bày cấu trúc mạng
đơn giản nhất nhƣng rất hiệu quả trong nhận dạng đối tƣợng.










 Mạng nơron phi tuyến tĩnh
Mạng nơron phi tuyến tĩnh có cấu trúc nhiều lớp trong đó có ít nhất là
một lớp với hàm truyền là hàm phi tuyến. Dƣới đây là sơ đồ cấu trúc một
mạng nơron phi tuyến tĩnh.

+
z
-1
z
-1
z
-1
lw
11
lw
12

lw
1n


z
-1
z
-1
z
-1
iw
11

iw
12

iw
1m

iw
10
u
y
purelin
Hình 1.3 Mạng nơron có đặc tính động học và tuyến tính
b
1
1


t

LW
32

LW
21

IW
11

b
2
1
p
q
r
1

qx1
rx1
qx1
rx1
q x 1
qx 1
r x
q
b
3
1
1x1

r x
1 x r
1 x 1
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
21




 Mạng nơron động học phi tuyến
Là một mạng nơron gồm nhiều lớp có các hàm truyền phi tuyến và các
khâu trễ. Đây là một loại mạng nơron mà quan hệ vào và ra của nó không
những thể hiện tính phi tuyến mà còn thể hiện cả tính động học, do đó cấu
trúc mạng sẽ phức tạp hơn so với hai loại mạng ở trên và việc huấn luyện
mạng cũng khó khăn hơn.
Trong phần này chỉ trình bày một mạng nơron có đặc tính động học phi
tuyến đơn giản. Hình 1.5 dƣới đây là sơ đồ cấu trúc một mạng nơron có đặc

tính động học phi tuyến.









Các khâu TDL - 1 và TDL - 2 có cấu trúc đƣợc thể hiện trong hình 1.6.



Hình 1.4 Mạng nơron có đặc tính phi tuyến tĩnh
Hình 1.5 Mạng nơron có đặc tính động học phi tuyến
b
1
1


t

LW
32

LW
21

IW

11

b
2
1
TDL-1
0 1 m

p
LW
13

TDL-2
1 2 . n
1
q
r
q x n
q x
(m+1)

qx1
r x
q
b
3
1
n x 1
(m+1) x 1
r x

1
1 x r
1 x 1
z
-1
z
-1
z
-1
TDL-1
z
-1
z
-1
z
-1
TDL-2
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
22





Khâu TDL-1 đƣợc gọi là khâu trễ đầu vào, có 1 đầu vào và m+1 đầu ra
lần lƣợt bị trễ 0,1,2 … m nhịp, Khâu TDL-2 đƣợc gọi là khâu trễ đầu ra hay
khâu phản hồi có 1 đầu vào và n đầu ra. Trong khi chọn cấu trúc mạng nơron
ta phải chú ý đến việc chọn số nhịp trễ thích hợp tại vì khi tăng nhịp trễ sẽ làm
tăng số lƣợng các trọng số của mạng nơron.
Vậy ta phải cố gắng giảm số nhịp trễ đến mức ít nhất có thể, có nghĩa

là khi chƣa biết cấu trúc thì phải chọn nhịp trễ nhỏ nhất, sau đó tăng dần số
nhịp trễ nếu nhƣ sai lệch còn lớn.
Khối IW
11
là một ma trận các trọng số liên kết giữa đầu vào thứ nhất
với lớp vào có kích thƣớc q hàng và m+1 cột. Khối LW
21
là ma trận các trọng
số liên kết giữa các đầu ra của lớp vào với các nơron lớp ẩn có kích thƣớc r
hàng và q cột. Khối LW
32
là ma trận các trọng số liên kết giữa các đầu ra của
lớp ẩn với các nơron của lớp ra có kích thƣớc 1 hàng và r cột. Khối LW
13
là
ma trận các trọng số liên kết giữa đầu ra của lớp ra với các nơron của lớp vào
có kích thƣớc q hàng và n cột.
Hàm f ở trong cùng một lớp đƣợc chọn giống nhau. Lớp vào và lớp ẩn
cùng sử dụng các hàm tansig, lớp ra sử dụng hàm purelin.
Các khối b
1
, b
2
và b
3
là các véctơ tham số bù, có số hàng bằng số nơron
có trong lớp tƣơng ứng và có một cột.
Một cách tổng quát, cấu trúc mạng nơron động học phi tuyến là giống
nhƣ trên, nhƣng số lớp của mạng có thể lớn hơn hoặc ít hơn và phải có khâu
trễ, có thể là trễ đầu vào hoặc trễ đầu ra hoặc là cả hai loại trễ. Vậy cấu trúc

Hình 1.6 Cấu trúc của các khối TDL-1 và TDL-2
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
23
của mạng nơron động học phi tuyến đơn giản sẽ có cấu trúc hai lớp với trễ
đầu vào hoặc trễ đầu ra.
Nhìn vào cấu trúc của mạng nơron này ta thấy nó là một hệ động học
phi tuyến. Tính động học của mạng đƣợc thể hiện ở các khâu trễ đầu vào và
trễ phản hồi. Tính phi tuyến thể hiện ở các hàm truyền phi tuyến tansig. Nhƣ
vậy mô hình mạng nơron này có thể đƣợc sử dụng để thay thế mô hình toán
học của đối tƣợng có đặc tính động học phi tuyến.
Khi nhận dạng đối tƣợng động học phi tuyến sử dụng mô hình mạng
nơron trên thì cần phải chọn cấu trúc hợp lý. Để đơn giản đầu tiên nên chọn
cấu trúc mạng đơn giản nhất, tức là có hai lớp không có lớp ẩn. Mặt khác vì
đối tƣợng xét ở đây có quan hệ một vào và một ra, cho nên số nơron của lớp
ra luôn là một và để đơn giản hơn nữa có thể chọn hàm f của lớp ra là hàm
purelin. Vấn đề còn lại là chọn số nơron lớp vào và số nhịp trễ của hai khâu
trễ đầu vào và trễ phản hồi.
Nhƣ đã trình bày ở trên, số nơron một lớp sẽ quyết định số hàng và số
nhịp trễ sẽ quyết định số cột của ma trận trọng số, nhƣ thế sẽ quyết định số
lƣợng tham số của mạng. Cho nên, cấu trúc ban đầu của mạng phải chọn đơn
giản nhất có thể, sau đó sẽ thay đổi tăng hoặc giảm dần số nơron và số nhịp
trễ nếu nhƣ sai lệch lớn.
Dựa trên cơ sở mô tả toán học của đối tƣợng ta có thể xác định đƣợc
bậc tƣơng đối của nó, trên cơ sở đó sẽ xác định số nhịp trễ tối thiểu của mạng
nơron.
1.1.4 Huấn luyện mạng nơron
Trong hai bài toán nhận dạng và thiết kế bộ điều khiển nơron ta phải
xác định cấu trúc và tham số của mạng nơron. Đầu tiên là phải xác định cấu
trúc của mạng, sau đó là xác định tham số của mạng. Việc xác định tham số
của mạng đƣợc thực hiện bằng phƣơng pháp huấn luyện mạng.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
24
Với các bài toán động học tuyến tính và mạng nơron phi tuyến ta có thể
huấn luyện mạng bằng thuật toán lan truyền ngƣợc, nhƣng với mạng nơron
động học phi tuyến có khâu trễ phản hồi thì việc huấn luyện mạng sẽ khó
khăn hơn nhiều vì cấu trúc mạng có đƣờng hồi tiếp từ đầu ra của mạng qua
khâu trễ trở về lớp vào, cho nên khi huấn luyện sai lệch rất lớn.
Nguyên nhân là do các trọng số ban đầu chƣa phải là giá trị tối ƣu, dẫn
đến đầu ra của mạng có sai lệch lớn, mà đầu ra này lại đƣợc phản hồi trở về
lớp vào làm cho sai lệch càng lớn hơn. Do đó phải có phƣơng pháp huấn
luyện mạng thích hợp để giải quyết vấn đề này.
 Phương pháp huấn luyện mạng nơron động học phi tuyến
Có hai loại mạng nơron động học phi tuyến:
 Loại không có khâu trễ phản hồi, ta hoàn toàn có thể sử dụng các
phƣơng pháp huấn luyện mạng một cách bình thƣờng.
 Loại có khâu trễ phản hồi, Muốn huấn luyện mạng thì ta phải thay đổi
cấu trúc mạng nơron mà vẫn đảm bảo yêu cầu là xác định đƣợc tham số
của nó. Phƣơng pháp áp dụng nhƣ sau: Thay tín hiệu ra qua khâu trễ
phản hồi trở lại đầu vào của mạng bằng tín hiệu đâu ra mẫu. Khi đó sẽ
không còn đƣờng phản hồi ra có trễ và tín hiệu ra mẫu đƣợc coi là đầu
vào có trễ thứ hai của mạng nơron. Sơ đồ nhƣ sau:








Hình 1.7 Sơ đồ dùng để huấn luyện mạng

b
1
1


T

LW
32

LW
21

IW
11

b
2
1
TDL-1
0 1 m

P
LW
13

TDL-2
1 2 . n
1
q

r
q x n
q x
(m+1)

qx1
r x
q
b
3
1
n x 1
(m+1) x 1
r x
1
1 x r
1 x 1
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
25
Nhận xét:
Mạng sẽ có 2 đầu vào và 1 đầu ra. Cấu trúc này hoàn toàn có thể huấn
luyện mạng với thuật toán lan truyền ngƣợc trên cơ sở thuật toán Levenberg –
Marquardt.
Tập tín hiệu để luyện mạng là những tín hiệu mẫu đƣợc đo từ đầu vào và
đầu ra của đối tƣợng nhƣ sau: Tác động dãy tín hiệu P bậc thang ngẫu nhiên
bị hạn chế về biên độ vào đối tƣợng và đo đƣợc tín hiệu ra mẫu T.
Kết quả nhận dạng đối tƣợng phụ thuộc rất nhiều vào tập mẫu đã chọn,
thể hiện qua các yếu tố sau đây: Tập mẫu có phản ánh đƣợc đặc tính động học
phi tuyến của đối tƣợng hay không. Chu kỳ trích mẫu phải đƣợc lựa chọn
thích hợp. Chu kỳ càng nhỏ thì lƣợng thông tin càng đầy đủ nhƣng số mẫu sẽ

tăng lên và việc nhận dạng càng chính xác nhƣng thời gian luyện mạng càng
lớn và ngƣợc lại.
 Thuật toán Levenberg-Marquardt
Thuật toán này là sự kết hợp phƣơng pháp Newton và phƣơng pháp hạ
theo vector đạo hàm riêng. Khi hàm mục tiêu có dạng tổng bình phƣơng các
sai lệch, ma trận Hessian có thể đƣợc tính xấp xỉ là:
H = J
T
J và vector đạo hàm riêng gradient có thể đƣợc tính nhƣ sau:
G=J
T
e trong đó J là ma trận Jacobian, đó là đạo hàm bậc nhất của hàm mục
tiêu lần lƣợt theo các trọng số và tham số bù, e là vector các sai lệch của mạng
nơron.
Thuật toán Levenberg-Marquardt dùng phƣơng thức xấp xỉ này cho
việc tính toán ma trận Hessian, các tham số của mạng đƣợc hiệu chỉnh theo
công thức sau:
θ
k+1
= θ
k
- [J
T
J +µI]
-1
J
T
e
θ
k+1

,

θ
k
là thông số của mạng tại lần luyện thứ k+1 và k.
Khi µ = 0, đây là phƣơng pháp Newton, sử dụng ma trận Hessian xấp xỉ.