NGHIÊN CỨU ỨNG DỤNG MẠNG NƠRON TRUYỀN THẲNG NHIỀU LỚP TRONG ĐIỀU KHIỂN THÍCH NGHI VỊ TRÍ ĐỘNG CƠ ĐIỆN MỘT CHIỀU KHI CÓ THÔNG SỐ VÀ TẢI THAY ĐỔI

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC KỸ THUẬT CÔNG NGHIỆP

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐHKT CÔNG NGHIỆP
***

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
Độc lập - Tự do - Hạnh phúc
---------o0o---------

THUYẾT MINH

LUẬN VĂN THẠC SĨ TỰ ĐỘNG HÓA

VŨ MẠNH THỦY

NGHIÊN CỨU ỨNG DỤNG
MẠNG NƠRON TRUYỀN THẲNG NHIỀU LỚP TRONG
ĐIỀU KHIỂN THÍCH NGHI VỊ TRÍ ĐỘNG CƠ ĐIỆN MỘT
CHIỀU KHI CÓ THÔNG SỐ VÀ TẢI THAY ĐỔI

ĐỀ TÀI:
NGHIÊN CỨU ỨNG DỤNG
MẠNG NƠRON TRUYỀN THẲNG NHIỀU LỚP TRONG
ĐIỀU KHIỂN THÍCH NGHI VỊ TRÍ ĐỘNG CƠ ĐIỆN MỘT
CHIỀU KHI CÓ THÔNG SỐ VÀ TẢI THAY ĐỔI
Học viên: Vũ Mạnh Thủy
Lớp: CHK10
Chuyên ngành: Tự động hóa
Người HD khoa học: TS. Phạm Hữu Đức Dục

LUẬN VĂN THẠC SĨ TỰ ĐỘNG HÓA

Ngày giao đề tài: 01/02/2009
Ngày hoàn thành: 30/07/2009
KHOA ĐT SAU ĐẠI HỌC

THÁI NGUYÊN - 2009

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

NGƯỜI HƯỚNG DẪN
KHOA HỌC

HỌC VIÊN

T.S Phạm Hữu Đức Dục

Vũ Mạnh Thủy

THÁI NGUYÊN – Năm 2009



Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




MỤC LỤC

Lời cam đoan

Trang

1.11 So sánh khả năng của mạng nơron với mạch logic

25

1.12 Kết luận chƣơng 1

25

Chƣơng 2: CÁC PHƢƠNG PHÁP ỨNG DỤNG MẠNG NƠRON

Danh mục các ký hiệu, bảng, các chữ viết tắt

TRONG NHẬN DẠNG VÀ ĐIỀU KHIỂN

Danh mục các hình vẽ, đồ thị

26

Phần mở đầu

1

2.1 Các phƣơng pháp ứng dụng mạng nơron trong nhận dạng

26

Chƣơng 1: TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO

4

2.1.1 Khái quát chung

26

1.1 Lịch sử phát triển của mạng nơron nhân tạo

4

2.1.1.1 Đặt vấn đề

26

1.2 Các tính chất của mạng nơron nhân tạo

5

2.1.1.2 Định nghĩa

27

1.3 Mô hình nơron

5

2.1.1.3 Sơ lược về sự phát triển của các phương pháp nhận dạng

27

1.3.1 Mô hình nơron sinh học

5

2.1.1.4 Các bước cơ bản để nhận dạng hệ thống

28

1.3.2 Nơron nhân tạo

7

2.1.2 Các phương pháp nhận dạng

29

1.4 Cấu tạo mạng nơron

10

2.1.2.1 Nhận dạng On-line

30

1.5 Cấu trúc mạng nơron

11

2.1.2.1.1 Phương pháp lặp bình phương cực tiểu

30

1.6 Phƣơng thức làm việc của mạng nơron

13

2.1.2.1.2 Phương pháp xấp xỉ ngẫu nhiên

31

1.7 Các luật học

14

2.1.2.1.3 Phương pháp lọc Kalman mở rộng

31

1.8 Mạng nơron truyền thẳng và mạng nơron hồi quy

18

2.1.2.2 Nhận dạng Off-line

33

1.8.1 Mạng nơron truyền thẳng

18

2.1.2.2.1 Phương pháp xấp xỉ vi phân

34

1.8.1.1 Mạng nơron truyền thẳng một lớp nơron

18

2.1.2.2.2 Phương pháp gradient

34

1.8.1.2 Mạng nơron truyền thẳng nhiều lớp nơron

18

2.1.2.2.3 Phương pháp tìm kiếm trực tiếp

36

1.8.2 Mạng nơron hồi quy

19

2.1.2.2.4 Phương pháp tựa tuyến tính

36

1.8.2.1 Mạng hồi quy không hoàn toàn

19

2.1.2.2.5 Phương pháp sử dụng hàm nhạy

37

1.8.2.2 Mạng các dãy của Jordan

20

2.1.2.3 Nhận dạng theo thời gian thực

37

1.8.2.3 Mạng hồi quy đơn giản

21

2.1.3 Mô tả toán học của đối tượng ở rời rạc

38

1.8.2.4 Mạng hồi quy hoàn toàn

21

2.1.4 Mô hình dùng mạng nơron

41

1.9 Ứng dụng mạng nơron trong điều khiển tự động

22

2.1.4.1 Mô hình nhận dạng kiểu truyền thẳng

41

1.10 Công nghệ phần cứng sử dụng mạng nơron

24

2.1.4.2 Mô hình ngược trực tiếp

45

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




2.1.5 Tính gần đúng hàm số dung mạng nơron

45

3.1.5. Tìm hàm truyền của hệ thống

2.1.6 Mô hình mạng nơron trong nhận dạng và điều khiển

46

2.2 Các phƣơng pháp ứng dụng mạng nơron trong điều khiển

47

3.2 Ứng dụng mạng nơron truyền thẳng nhiều lớp trong điều khiển thích nghi
vị trị động cơ điện một chiều khi có thông số thay đổi
62

2.2.1 Các phương pháp ứng dụng mạng nơron trong điều khiển

47

2.2.1.1 Điều khiển thích nghi sử dụng nguyên tắc chung

47

2.2.1.2 Điều khiển có tín hiệu chỉ đạo

47

2.2.1.3 Điều khiển theo mô hình

47

2.2.1.4 Điều khiển ngược trực tiếp

49

2.2.1.5 Điều khiển mô hình trong

49

2.2.1.6 Điều khiển tối ưu

49

2.2.1.7 Điều khiển tuyến tính thích nghi

50

2.2.1.8 Phương pháp bảng tra

50

2.2.1.9 Điều khiển lọc

50

2.2.1.10 Điều khiển dự báo

50

2.2.2 Điều khiển thích nghi

51

2.2.2.1 Điều khiển thích nghi

51

2.2.2.2 Phương pháp điều khiển thích nghi theo mô hình mẫu (MRAC)

52

2.3 Kết luận chƣơng 2

54

60

3.2.1. Bộ điều khiển phản hồi tuyến tính (NARMA-L2)

62

3.2.2. Nhận dạng của mô hình NARMA-L2

62

3.2.3. Bộ điều khiển NARMA-L2

64

3.2.4. Bài toán ví dụ sử dụng khối điều khiển NARMA-L2

66

3.2.5. Kết quả thực nghiệm trên MATLAB

68

3.2.5.1. Số liệu

68

3.2.5.2. Kết quả mô phỏng khi có tải thay đổi

68

3.2.5.3. Kết quả mô phỏng khi có thông số và tải thay đổi

74

3.3. Kết luận chƣơng 3

80

Chƣơng4: KẾT LUẬN CHUNG VÀ KIẾN NGHỊ

81

Tài liệu tham khảo

Chƣơng 3: ỨNG DỤNG MẠNG NƠRON TRUYỀN THẲNG NHIỀU LỚP

ĐIỀU KHIỂN THÍCH NGHI VỊ TRÍ ĐỘNG CƠ ĐIỆN MỘT CHIỀU KHI
CÓ THÔNG SỐ VÀ TẢI THAY ĐỔI
55
3.1 Mô tả động lực học của động cơ một chiều
55
3.1.1. Tổng hợp mạch vòng dòng điện khi bỏ qua sức điện động
của động cơ

55

3.1.2. Tổng hợp hệ thống truyền động điều khiển tốc độ

57

3.1.3. Hệ thống điều chỉnh tốc độ dùng bộ điều chỉnh tốc độ tỷ lệ

57

3.1.4. Cấu trúc hệ điều chỉnh vị trí

59

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

DANH MỤC CÁC CHỮ VIẾT TẮT, TIẾNG NƯỚC NGOÀI
STT

Ký hiệu

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Diễn giải

1

Artificial Neural

Nơron nhân tạo

2

Artificial Neural Networks

Mạng nơron nhân tạo

1

Hình 1.1

Mô hình nơron sinh học

3

Back Propagation Learaning Rule

Luật học lan truyền ngược

2

Hình 1.2

Mô hình nơron nhân tạo

4

Bipolar Sigmoid Function

Hàm sigmoid 2 cực

3

Hình 1.3

Đồ thị các loại hàm chuyển đổi

5

Fuzzy

Loogic mờ

4

Hình 1.4

Mạng nơron 3 lớp

6

Fuzzy Neural Networks

Mạng nơron mờ

5

Hình 1.5

Sơ đồ cấu trúc các loại mạng nơron

7

Learing

Học

6

Hình 1.6

Mô hình học có giám sát và học củng cố

8

Linear Graded Unit-LGU

Phần tử graded tuyến tính

7

Hình 1.7

Mô hình học không có giám sát

STT

Ký hiệu

Diễn giải tên hình vẽ

9

Linear Threshold Unit-LTU

Phần tử ngưỡng tuyến tính

8

Hình 1.8

Sơ đồ cấu trúc chung của quá trình học

10

Myltilayer Layer Feedforward NetWord

Mạng nhiều lớp truyền thẳng

9

Hình 1.9

Mạng nơron truyền thẳng một lớp

11

Neural

Nơron

10

Hình 1.10

Mạng nơron truyền thẳng nhiều lớp

12

Neural Networks

Mạng nơron

11

Hình 1.11

Sơ đồ cấu trúc của mạng Jordan

13

Output Layer

Lớp ra

12

Hình 1.12

Sơ đồ cấu trúc mạng nơron hồi quy đơn giản

14

Paramater Learning

Học thông số

13

Hình 2.1

Điều khiển theo nguyên tắc phản hồi đầu ra

15

Recall

Gọi lại

14

Hình 2.2

Quy trình nhận dạng hệ thống

16

Recurrent Neural Networks

Mạng nơron hồi quy

15

Hình 2.3

Sơ đồ tổng quát nhận dạng thong số mô hình

17

Reinforcement Signal

Tín hiệu củng cố

16

Hình 2.4

Nhận dạng theo phương pháp gradient

18

Reinforcement Learning

Học củng cố

17

Hình 2.5

Mô hình dạng 1

19

Rump Function

Hàm Rump

18

Hình 2.6

Mô hình dạng 2

20

Self Organizing

Tự tổ chức

19

Hình 2.7

Mô hình dạng 3

Hình 2.8

Mô hình dạng 4

21

Single Layer Feedforward NetWord

Mạng một lớp truyền thẳng

20

22

Step Function

Hàm bước nhảy

21

Hình 2.9

Mô hình nhận dạng kiểu truyền thẳng

23

Structure Learning

Học cấu trúc

22

Hình 2.10

Mô hình nhận dạng kiểu song song

24

Supervised Learning

Học giám sát

23

Hình 2.11

Mô hình nhận dạng kiểu nối tiếp-song song

25

Threshold Function

Hàm giới hạn cứng

24

Hình 2.12

Mô hình nhận dạng ngược trực tiếp

26

Unipolar Sigmoid Function

Hàm sigmoid 1 cực

25

Hình 2.13

Mô hình 1

27

Unsupervised Learning

Học không có giám sát

26

Hình 2.14

Mô hình 2

27

Hình 2.15

Mô hình 3

28

Hình 2.16

Mô hình 4

29

Hình 2.17

Mô hình điều khiển trực tiếp

STT
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



Ký hiệu

Diễn giải tên hình vẽ

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




30

Hình 2.18

Mô hình điều khiển gián tiếp

59

Hình 3.24

Dữ liệu xác nhận cho bộ điều khiển NN NARMA-L2

31

Hình 2.19

Sơ đồ điều khiển mô hình trong

60

Hình 3.25

Dữ liệu kiểm tra cho bộ điều khiển NN NARMA-L2

32

Hình 2.20

Sơ đồ điều khiển theo phương pháp dự báo

61

Hình 3.26

33

Hình 2.21

Sơ đồ nguyên lý của phương pháp điểu khiển thích nghi theo
phương pháp mô hình mẫu

Đồ thị vị trí mẫu qd (nét mảnh) và vị trí sau khi đã điều khiển
q (nét đậm)

62

Hình 3.27

Đồ thị điện áp điều khiển

34

Hình 2.22

Sơ đồ điều khiển trực tiếp

63

Hình 3.28

Đồ thị mômen tải MC (Nm)

35

Hình 2.23

Sơ đồ điều khiển gián tiếp

64

Hình 3.29

36

Hình 3.1

Sơ đồ khối của mạch vòng dòng điện

Sơ đồ khối mô tả động cơ điện một chiều khi có R, MC thay
đổi

37

Hình 3.2

Sơ đồ khối

65

Hình 3.30

Dữ liệu vào ra của tín hiệu vị trí động cơ một chiều

38

Hình 3.3

Sơ đồ khối của hệ điều chỉnh tốc độ

66

Hình 3.31

39

Hình 3.4

Cấu trúc bộ điều chỉnh

Bảng điều khiển nhận dạng tín hiệu vị trí động cơ một chiều
NARMA-L2

Hình 3.32

Huấn luyện đối tượng với dư liệu đã nhập vào

Hình 3.5

Cấu trúc hệ điều chỉnh vị trí tuyến tính

67

40

Hình 3.33

Dữ liệu huấn luyện cho bộ điều khiển NN NARMA-L2

41

Hình 3.6

Sơ đồ khối của hệ điều chỉnh tốc độ

68

Hình 3.34

Dữ liệu xác nhận cho bộ điều khiển NN NARMA-L2

Hình 3.7

Sơ đồ khối tương đương 1 của hệ điều chỉnh tốc độ

69

42

Hình 3.35

Dữ liệu kiểm tra cho bộ điều khiển NN NARMA-L2

43

Hình 3.8

Sơ đồ khối tương đương 2 của hệ điều chỉnh tốc độ

70

Hình 3.36

Đồ thị điện áp điều chỉnh u

Hình 3.9

Sơ đồ khối của hệ điều chỉnh vị trí 1

71

44

Hình 3.37

45

Hình 3.10

Sơ đồ khối tương đương của hệ điều chỉnh vị trí

72

Đồ thị điện trở R ()

46

Hình 3.11

Cấu trúc một mạng nơron

73

Hình 3.38

Đồ thị mômen tải MC (Nm)

47

Hình 3.12

Sơ đồ khối của bộ điều khiển NARMA-L2

74

Hình 3.39

Đồ thị vị trí mẫu qd (nét mảnh) và vị trí sau khi đã điều khiển
q (nét đậm)

48

Hình 3.13

Bộ điều khiển thực hiện với mô hình nhận dạng NARMA-L2

49

Hình 3.14

Sơ đồ điều khiển vị trí nam châm vĩnh cửu

50

Hình 3.15

Đồ thị vị trí mẫu và vị trí sau khi đã điều khiển

51

Hình 3.16

Sơ đồ khối mô tả động cơ một chiều

52

Hình 3.17

Sơ đồ mạng nơron truyền thẳng nhiều lớp điều khiển thích
nghi vị trí động cơ điện một chiều khi có tải thay đổi

53

Hình 3.18

Bảng điều khiển nhận dạng tín hiệu vị trí động cơ một chiều
NARMA-L2

54

Hình 3.19

Dữ liệu vào ra của tín hiệu vị trí động cơ một chiều

55

Hình 3.20

Xuất dữ liệu làm việc

56

Hình 3.21

Nhập dữ liệu vào bộ điều khiển

57

Hình 3.22

Huấn luyện đối tượng với dư liệu đã nhập vào

58

Hình 3.23

Dữ liệu huấn luyện cho bộ điều khiển NN NARMA-L2

STT

Ký hiệu

Diễn giải tên hình vẽ

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




1
LỜI CAM ĐOAN

Tôi xin cam đoan Luận văn này là công trình do tôi tổng hợp và nghiên cứu.
Trong luận văn có sử dụng một số tài liệu tham khảo như đã nêu trong phần tài liệu
tham khảo.

Tác giả luận văn

VŨ MẠNH THỦY

PHẦN MỞ ĐẦU
1. Lý do chọn đề tài:
Để điều khiển chính xác đối tượng khi chưa biết rõ được thông số, trước tiên
ta phải hiểu rõ đối tượng đó. Đối với đối tượng có thông số thay đổi như động cơ
một chiều và có tải thay đổi, ta cần thực hiện nhận dạng đặc tính vào ra của nó để
đảm bảo tạo ra tín hiệu điều khiển thích nghi được lựa chọn chính xác hơn. Hiện
nay thường dùng lôgíc mờ (Fuzzy Logic), mạng nơron (Neural Networks), và mạng
nơron mờ (Fuzzy Neural Networks) để nhận dạng và điều khiển thích nghi hệ thống
có thông số thay đổi. Trong khuôn khổ của khóa học Cao học, chuyên ngành Tự
động hóa tại trường Đại học Kỹ thuật Công nghiệp, được sự tạo điều kiện giúp đỡ
của nhà trường và Tiến sĩ Phạm Hữu Đức Dục, em đã lựa chọn đề tài tốt nghiệp của
mình là “Nghiên cứu ứng dụng mạng nơron truyền thẳng nhiều lớp trong điều
khiển thích nghi vị trí động cơ điện một chiều khi có thông số và tải thay đổi”.
Trong quá trình thực hiện đề tài, tác giả đã cố gắng hạn chế tối đa các khiếm
khuyết, xong không thể tránh được tất cả, kính mong Hội đồng Khoa học và độc giả
bổ xung đóng góp ý kiến để đề tài được hoàn thiện hơn.
2. Cơ sở khoa học và thực tiễn của đề tài
Ngày nay do tiến bộ của khoa học kỹ thuật trong điện tử và tin học các hệ
thống điều khiển tự động được phát triển và có sự thay đổi lớn. Công nghệ vi mạch
phát triển khiến cho việc sản xuất các thiết bị điện tử ngày càng hoàn thiện. Các bộ
biến đổi điện tử trong các hệ thống không những đáp ứng được khả năng tác động
nhanh, độ chính xác cao mà còn góp phần giảm kích thước và hạ giá thành của hệ

thống. Đặc biệt trong những thập kỷ gần đây trước sự phát triển mạnh mẽ và ngày
càng hoàn thiện của lý thuyết mạng nơron truyền thẳng nhiều lớp, hàng loạt các ứng
dụng của lý thuyết mạng nơron truyền thẳng nhiều lớp đã và đang mở ra một kỷ
nguyên mới ngành điều khiển. Tuy là ngành kỹ thuật điều khiển non trẻ nhưng
những ứng dụng trong công nghiệp của điều khiển mạng nơron thật rộng rãi như
trong nhận dạng, phân loại sản phẩm, xử lý tiếng nói, chữ viết và điều khiển hệ
thống, điều khiển robot. Tới nay đã có rất nhiều sản phẩm công nghiệp được tạo ra
và nhờ kỹ thuật điều khiển mạng nơron, rất nhiều nước trên thế giới đã thành công.
Chính vì thế mà việc đi sâu nghiên cứu và áp dụng lý thuyết điều khiển
nơron truyền thẳng nhiều lớp trong điều khiển thích nghi vị trí động cơ một chiều
khi có thông số và tải thay đổi có ý nghĩa khoa học.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên


Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




2

3

Khác hẳn với kỹ thuật điều khiển kinh điển là hoàn toàn dựa vào sự chính
xác tuyệt đối của thông tin mà trong nhiều ứng dụng không cần thiết hoặc không thể
có được, điều khiển nơron truyền thẳng nhiều lớp chỉ cần sử lý những thông tin
(không chính xác) hay không đầy đủ, những thông tin mà sự chính xác của nó chỉ
nhận thấy được giữa các quan hệ của chúng với nhau và chỉ có thể mô tả được bằng

5. Ý nghĩa khoa học và thực tiễn của đề tài
Với ứng dụng của mạng nơron truyền thẳng nhiều lớp điều khiển vị trí động
cơ điện một chiều khi có thông sô và phụ tải thay đổi, sau khi đã nhận dạng được vị
trí động cơ một chiều, ta có thể thay thế gần đúng mô hình động cơ một chiều bằng
mạng nơron truyền thẳng nhiều lớp, từ đó căn cứ trên các thông số mô phỏng của

ngôn ngữ, đã có thể cho ra những quyết định chính xác. Chính khả năng này đã làm

mạng nơron, tính toán được tín hiệu điều khiển nhằm điều khiển thích nghi vị trí

cho điều khiển nơron truyền thẳng sao chụp được phương thức xử lý thông tin và

động cơ điện một chiều khi có thông số và phụ tải thay đổi phù hợp với yêu cầu cần

điều khiển của con người. Do đó việc áp dụng điều khiển nơron truyền thẳng nhiều
lớp vào hệ thống điều khiển thích nghi vị trí động cơ một chiều khi có tải và thông

thiết của điều khiển thích nghi vị trí động cơ điện một chiều.

số thay đổi là việc cần phải làm.
3. Mục đích của đề tài
Đối với đối tượng có thông số thay đổi như động cơ một chiều khi có phụ tải
thay đổi, ta cần nhận dạng đặc tính vào ra của nó để bảo đảm tạo ra tín hiệu điều
khiển thích nghi được chính xác hơn. Hiện nay thường sử dụng logic mờ (Fuzzy
Logic), mạng nơron mờ (Fuzzy Neural Networks), mạng nơron (Neural Networks)
để nhận dạng và điều khiển thích nghi vị trí động cơ điện một chiều.
Đề tài này nghiên cứu ứng dụng mạng nơron truyền thẳng nhiều lớp (bộ điều
khiển NARMA-L2) trong điều khiển thích nghi vị trí động cơ điện một chiều khi có
thông số và tải thay đổi.
4. Đối tƣợng và phạm vi nghiên cứu của đề tài:

Phần mở đầu
Chương 1. Tổng quan về mạng nơron nhân tạo
Phân tích tổng quan về mạng nơron bao gồm: phần lịch sử phát triển, kết cấu
của mạng các nơron, ứng dụng của chúng…
Chương 2. Các phương pháp ứng dụng mạng nơron trong nhận dạng và
điều khiển.
Phần này tập trung trình bày các phương pháp ứng dụng mô hình mạng
nơron trong nhận dạng và điều khiển.
Chương 3. Ứng dụng mạng nơron truyền thẳng nhiều lớp điều khiển thích
nghi vị trí động cơ điện một chiều khi có thông số và tải thay đổi.
3.1. Mô tả động lực học của động cơ một chiều.
3.2. Ứng dụng mạng nơron truyền thẳng nhiều lớp trong điều khiển thích
nghi vị trí động cơ điện một chiều khi có thông số và tải thay đổi.
Chương 4. Kết luận chung và kiến nghị.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




4

5

CHƢƠNG 1

dụng trong nhiều lĩnh vực kinh tế, kỹ thuật, khoa học vũ trụ (Hecht - Nielsen,

TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO

1988).
1.2 Các tính chất của mạng nơron nhân tạo
- Là hệ phi tuyến: Mạng nơron có khả năng to lớn trong lĩnh vực nhận dạng
và điều khiển các đối tượng phi tuyến.

Nghiên cứu và mô phỏng não người, cụ thể là mô phỏng nơron thần kinh là
một ước muốn từ lâu của nhân loại. Từ mơ ước đó, nhiều nhà khoa học đã không
ngừng nghiên cứu tìm hiểu về mạng nơron. Trong đó mạng nơron nhân tạo đã được
nói đến ở cuốn sách “Điều khiển học, hay điều chỉnh và sự truyền sinh trong cơ thể
sống, trong máy móc” của tác giả Nobert Wieners xuất bản năm 1948. Điều khiển
học đã đặt ra mục đích nghiên cứu áp dụng nguyên lý làm việc của hệ thống thần
kinh động vật vào điều khiển. Công cụ giúp điều khiển học thực hiện được mục
đích này là trí tuệ nhân tạo và mạng nơron. Trí tuệ nhân tạo được xây dựng dựa trên
mạng nơron. Mạng nơron nhân tạo (Artificial Neural Networks) là hệ thống được
xây dựng dựa trên nguyên tắc cấu tạo của bộ não con người. Mạng nơron nhân tạo
có một số lượng lớn mối liên kết của các phần tử biến đổi (Processing Elements) có
liên kết song song. Nó có hành vi tương tự như bộ não con người với các khả năng

- Là hệ xử lý song song: Mạng nơron có cấu trúc song song, do đó có tốc độ
tính toán rất cao, rất phù hợp với lĩnh vực nhận dạng và điều khiển.
- Là hệ học và thích nghi: Mạng được luyện từ các số liệu quá khứ, có khả
năng tự chỉnh khi số liệu đầu vào bị mất, có thể điều khiển on-line.
- Là hệ nhiều biến, là hệ nhiều đầu vào, nhiều đầu ra (Many Input Many
Output - MIMO), rất tiện dụng khi điều khiển đối tượng có nhiều biến số.
1.3 Mô hình mạng nơron
1.3.1 Mô hình nơron sinh học

Mô hình của một dạng nơron sinh học được thể hiện ở hình 1.1.

học (Learning), gọi lại (Recall) và tổng hợp thông tin từ sự luyện tập của các mẫu
và dữ liệu. Các phần tử biến đổi của mạng nơron nhân tạo được gọi là các nơron
nhân tạo (Artificial Neural) hoặc gọi tắt là nơron (Neural). Trong thiết kế hệ thống
tự động hóa sử dụng mạng nơron là một khuynh hướng hoàn toàn mới, phương
hướng thiết kế hệ thống điều khiển thông minh, một hệ thống mà bộ điều khiển có
khả năng tư duy như bộ não con người.
1.1 Lịch sử phát triển của mạng nơron nhân tạo
Mạng nơron nhân tạo đã có một lịch sử lâu dài. Năm 1943, McCulloch và
Pitts đã đưa ra khả năng liên kết và một số liên kết cơ bản, của mạng nơron. Năm
1949, Hebb đã đưa ra các luật thích nghi trong mạng nơron. Năm 1958, Rosenblatt
đưa ra cấu trúc Perception. Năm 1969, Minsky và Papert phân tích sự đúng đắn của
Perception, họ đã chứng minh các tính chất và chỉ rõ các giới hạn của một số mô
hình. Năm 1976, Grossberg dựa vào tích chất sinh học đã đưa ra một số cấu trúc của
hệ động học phi tuyến với các tính chất mới. Năm 1982, Hoppfield đã đưa ra mạng
học phi tuyến với các tính chất mới. Năm 1982, Rumelhart đưa ra mô hình song
song (Parallel Distributer Processing-PDS) và một số kết quả và thuật toán. Thuật
toán học lan truyền ngược (Back Propagation learning rule) được Rumelhart,
Hinton, Williams (1986) đề xuất luyện mạng nơron nhiều lớp. Những năm gần đây,
nhiều tác giả đã đề xuất nhiều loại cấu trúc mạng nơron mới. Mang nơron được ứng

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



Cây

Trục

Nhân

Thân nơron
Hình 1.1 Mô hình nơron sinh học
Gồm có ba phần chính: Thân (Cell body), bên trong có nhân (Nucleus), cây
(Dendrites) và trục (Axon). Cây gồm các dây thần kinh có liên kết với thân. Trục có
cấu trúc đơn, dài liên kết với thân có nhiệm vụ truyền tải thông tin từ nơron. Phần
cuối của trục có dạng phân nhánh. Trong mỗi nhánh có một cơ cấu nhỏ là khớp thần
kinh (Synapse), từ đây nơron liên kết bằng tín hiệu tới các nơron khác. Sự thu nhận
thông tin của nơron từ các nơron khác có thể từ cây hoặc cũng có thể từ thân của nó.
Tín hiệu thu, nhận ở dạng các xung điện - Màng (Membrane): Mỗi tế bào
thần kinh có một màng, có nhiệm vụ giữ các chất nuôi tế bào không tràn ra ngoài.
Do đó, các phần tử nội bào và ngoại bào không bằng nhau, giữa chúng có dung dịch

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




6

7

muối lỏng làm cho chúng bị phân ra thành các nguyên tử âm (ion) và dương

- Tính môđun: Các vùng của bộ nhớ được phân thành môđun được mã hóa

(cation). Các nguyên tử dương trong màng tạo ra điện thế màng (Membrane
potential), nó tồn tại trong trạng thái cân bằng lực: lực đẩy các nguyên tử dương ra
khỏi tế bào bằng với lực hút của chúng vào trong tế bào.

Điện thế màng là phần tử quan trọng trong quá trình truyền tin trong hệ thần

bằng các định nghĩa mối quan hệ tích hợp giữa các tín hiệu vào qua các giác quan
và các tín hiệu ra.
- Mối liên kết: Liên kết giữa các lớp dẫn đến các dữ liệu dùng chung xem
như các liên hệ phản hồi khi truyền tín hiệu.

kinh. Khi thay đổi khả năng thẩm thấu ion của màng thì điện thế màng của tế bào bị

- Sử lý phân tán các tín hiệu vào: Các tín hiệu vào được truyền qua nhiều

thay đổi và tiến tới một ngưỡng nào đó, đồng thời sinh ra dòng điện, dòng điện này

kênh thông tin khác nhau, được xử lý bởi các phương pháp đặc biệt.

gây ra phản ứng kích thích làm thay đổi khả năng thẩm thấu ion của tế bào thần
kinh tiếp theo.

1.3.2 Mô hình nơron nhân tạo
Sự thay thế những tính chất của mạng nơron sinh học bằng một mô hình toán

Bộ não con người gồm có gần 1011 nơron của nhiều loại khác nhau. Mạng

học tương đương được gọi là mạng nơron nhân tạo. Mạng nơron nhân tạo có thể

nơron là sự tái tạo bằng kỹ thuật những chức năng của hệ thần kinh con người.

được chế tạo bằng nhiều cách khác nhau vì vậy trong thực tế tồn tại rất nhiều kiểu

Trong quá trình tái tạo không phải tất cả các chức năng của bộ não con người có

đều được tái tạo, mà chỉ có những chức năng cần thiết. Bên cạnh đó còn có những
chức năng mới được tạo ra nhằm giải quyết một bài toán điều khiển đã định trước.

mạng nơron nhân tạo. Dựa vào cấu trúc của nơron sinh học có nhiều mô hình được
đưa ra như perceptron (Roenblatt, 1958); adaline (Windrow và Hoff, 1960). Nhưng
thông thường một nơron có 3 phần như (Hình 1.2)

* Xử lý thông tin trong bộ não:
Thông tin được tiếp nhận từ các giác quan và chuyển vào các tế bào thần
kinh vận động và các tế bào cơ. Mỗi tế bào thần kinh tiếp nhận thông tin, điện thế sẽ

Mỗi nơron gồm có nhiều đầu vào và một đầu ra. Trên mỗi đầu vào có gắn
một trọng số để liên hệ giữa nơron thứ i với nơron thứ j. Các trọng số này tương tự
như các tế bào cảm giác của nơron sinh học.

tăng trong thần kinh cảm giác, nếu điện thế này vượt ngưỡng nó tạo dòng điện trong
tế bào thần kinh cảm giác, ý nghĩa dòng điện đó được giải mã và lưu ở thần kinh
trung ương, kết quả sử lý thông tin được gửi đến các tế bào cơ.
Các khớp tế bào thần kinh đưa ra các tín hiệu giống nhau, do đó không thể

:
.
y1
:
.

phân biệt được đó là của loại động vật nguyên thủy hay của một giáo sư. Các khớp
thần kinh chỉ cho các tín hiệu phù hợp qua chúng, còn lại các tín hiệu khác bị cản

u1

lại. Lượng tín hiệu được biến đổi được gọi là cường độ khớp thần kinh đó chính là
trọng số của nơron trong mạng nơron nhân tạo.
Tại sao việc nghiên cứu về mạng thần kinh lại có tầm quan trọng lớn lao? Có
thể trả lời ngắn gọn là sự giống nhau của các tín hiệu của các tế bào thần kinh đơn
lẻ, do đó chức năng thực sự của bộ não không phụ thuộc vào vai trò của một tế bào
thần kinh đơn, mà phụ thuộc vào toàn bộ các tế bào thần kinh hay cách các tế bào
thần kinh liên kết với nhau thành một mạng thần kinh hay một mạng nơron (Neural
Networks).
* Các đặc tính cơ bản của não người:
- Tính phân lớp: Các vùng trong bộ não được phân thành các lớp, thông tin
được sử lý theo các tầng.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



Wi1
Wij
WiN

:
uk .

Wik∗

uM

∗
WiM

1

θ1

Hệ động
học tuyến



Wij∗

vi

xi

tính

Hàm động
học phi

yi

tuyến a(.)

Hình 1.2 Mô hình nơron nhân tạo
- Tổng trọng:
𝑁

𝑛𝑒𝑡𝑖 𝑡 = 𝑣𝑖 𝑡 =

𝑀

𝑊𝑖𝑘∗ . 𝑢𝑘 𝑡 + 𝜃𝑖

𝑊𝑖𝑗 . 𝑦𝑖 𝑡 +
𝑗 =1

1.1

𝑘=1

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




8

9

Với vi(t) là tổng trọng của nơron thứ i; yi các đầu ra của các nơron thứ j; ui(t)
các đầu vào từ bên ngoài tương ứng với trọng số Wij và 𝑊𝑖𝑘∗ ; 𝜃𝑖 là hằng số gọi là
ngưỡng của nơron thứ i.
Có thể viết (1.1) ở dạng:
𝑛𝑒𝑡𝑖 𝑡 = 𝑣𝑖 𝑡 = 𝑤. 𝑦 𝑡 + 𝑤 ∗ . 𝑢 𝑡 + 𝜃
1.2
Với các ma trận w và w* có cỡ tương ứng là: n x n và n x m.
- Hệ động học tuyến tính SISO: đầu vào là vi, đầu ra là xi. Ở dạng toán tử
Laplace:

𝑥𝑖 𝑠 = 𝐻 𝑠 𝑣𝑖 𝑠
Dạng thời gian (1.3) trở thành:

1.3

𝑡

𝑥𝑖 𝑡 =

𝑕 𝑡 − 𝜏 𝑣𝑖 𝜏 𝑑𝜏

1.4

−∞

Quan hệ của H(s), h(t) và quan hệ vào - ra tương ứng của nơron được cho
trong bảng 1.1.
1

h(t)

𝛿(𝑡)
xi(t)=vi(t)

(1.6)

- Số nhị phân (0,1)
Có nhiều hàm số thỏa mãn các điều kiện trên, chúng ta thường dùng các
dạng sau đây (Hình 1.3):
+ Hàm Rump (Rump Function): (Hình 1.3a)

1
𝑛ế𝑢 𝑓 > 1
𝑎 𝑓 = 𝑓 𝑛ế𝑢 0 ≤ 𝑓 ≤ 1
(1.7)
0
𝑛ế𝑢 𝑓 < 0
+ Hàm bước nhảy (Step Function): (hình 1.3b): Không khả vi, dạng bước
nhảy, dương:
1 𝑛ế𝑢 𝑓 ≥ 0
1.8
0 𝑛ế𝑢 𝑓 < 0
+ Hàm giới hạn cứng (Threshold Function): (Hình 1.3c):
𝑎 𝑓 =

Bảng 1.1:
H(s)

out = y = a(Net)

out (hoặc y) là tín hiệu ra; a(.) là hàm chuyển đổi.
Hàm chuyển đổi a(.) thực hiện coi nơron như một hộp đen, chuyển đổi m tín
hiệu vào thành tín hiệu ra. Các biến đầu vào và đầu ra có thể là:
- Số thực: Tốt nhất là trong khoảng (0,1) hoặc (-1,1)

0
1

1
𝑠
𝑡<0

𝑡≥0

xi(t)=vi(t)

1
1 + 𝑠𝑇
1 −𝑡
𝑒 𝑇
𝑇
Txi(t)+xi(t)=vi(t)

1
∝0 𝑠 +∝1
1 −(∝1 )/𝑡
𝑒 ∝0
∝0
α0xi(t)+α1xi(t)=vi(t)

- Hàm động học phi tuyến.
Mô tả quan hệ của đầu ra yi với đầu vào xi: yi = a(xi)

𝑒 −𝑠𝑇
𝛿(𝑡 − 𝑇)
xi(t)=vi(t-T)

(1.5)

a(.) là hàm chuyển đổi
+ Hàm chuyển đổi:
Để tìm được đầu ra của nơron ta phải tiến hành qua hai bước như sau:

- Tìm các giá trị tổng trọng lượng đầu vào neti(t)
- Căn cứu vào neti(t) để tìm đầu ra yi bằng các hàm chuyển đổi vào ra.
Xét các hàm chuyển đổi vào ra:
Nếu quan niệm đầu ra của một nơron nhân tạo như là một tổng của tích các

Không khả vi, dạng bước nhảy, giá trị trung bình bằng 0. Sgn(.) là hàm
signum.
1
𝑛ế𝑢 𝑓 ≥ 0
1.9
−1
𝑛ế𝑢 𝑓 < 0
+ Hàm sigmoid một cực (Unipolar Sigmoid Function): (Hình 1.3d)
Khả vi, dạng bước nhảy, dương:
1
𝑎 𝑓 =
1.10
1 + 𝑒 −𝜆𝑓
+ Hàm sigmoid hai cực (Bipolar Sigmoid Function): (Hình 1.3e):
𝑎 𝑓 = 𝑠𝑔𝑛 𝑓 =

Khả vi, dạng bước nhảy, giá trị trung bình bằng 0:
2
𝑎 𝑓 =
−1
1 + 𝑒 −𝜆𝑓

1.11

trọng số với các tín hiệu vào là không phù hợp, vì khi đó giá trị của chúng rất rộng,

thậm chí có thể làm âm, đây là các tín hiệu vào không thực. Vì vậy, cần thực hiện
một phép biến đổi phi tuyến giữa đầu vào và đầu ra, đây là nhiệm vụ của phần tử
chuyển đổi PE (Processing Elements) của nơron như sau:

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




10

11

này có thể là đầu vào của nhiều nơron khác hoặc có thể đưa ra môi trường bên

a
a

a

1

1

0

1

f

a, Hàm Rump

1
0

0
1
f
b, Hàm bước nhảy

-1

f

ngoài. Những nơron có đầu ra đưa tín hiệu vào môi trường bên ngoài được gọi là
“đầu ra” của mạng. Như vậy một nơron cũng có chức năng của một hệ truyền đạt và
xử lý tín hiệu từ đầu vào đến đầu ra của mạng. Các nơron trong một mạng thường
được chọn cùng một loại, chúng được phân biệt với nhau qua các véc tơ hàm trọng
lượng ở đầu vào wij.

c, Hàm giới hạn cứng

Nguyên lý cấu tạo của một mạng nơron bao gồm nhiều lớp, mỗi lớp bao gồm
nhiều nơron có cùng một chức năng trong mạng. Trên hình 1.4 là hình của một
mạng nơron ba lớp với 9 nơron. Mạng có 3 đầu vào x 1, x2, x3 và 2 đầu ra y1, y2. Các
tín hiệu đầu vào được đưa đến 3 nơron đầu vào, 3 nơron này làm thành lớp đầu vào

của mạng (input layer). Các nơron trong lớp này gọi là nơron đầu vào. Đầu ra của

d, Hàm sigmoid một cực

c, Hàm sigmoid hai cực

Hình 1.3 Đồ thị các loại hàm chuyển đổi
Một phần tử PE với hàm tích phân tuyến tính ở đầu vào và hàm chuyển đổi
Threshold ở đầu ra được gọi là phần tử ngưỡng tuyến tính (Linear Threshold Unit LTU) và một phần tử PE với hàm tích phân tuyến tính ở đầu vào và hàm chuyển đổi
ở dạng hàm sigmoid 1 và 2 cực ở đầu ra được gọi là phần tử graded tuyến tính

các nơron này được đưa đến đầu vào của bốn nơron tiếp theo, bốn nơron này không
trực tiếp tiếp xúc với môi trường xung quanh và làm thành lớp trung gian trong
mạng (hidden layer). Các nơron trong lớp này có tên là nơron nội hay nơron bị tre.
Đầu ra của các nơron này được đưa đến hai nơron đưa tín hiệu ra môi trường bên
ngoài. Các nơron trong lớp đầu ra này có tên là nơron đầu ra (output layer).

x1

y1

(Linear Graded Unit - LGU).
1.4 Cấu tạo mạng nơron
Dựa trên những phương pháp xây dựng mạng nơron ta có thể coi nơron như

x2

một hệ MISO truyền đạt và xử lý tín hiệu. Đặc tính truyền đạt của nơron phần lớn là

x3

y2

đặc tính truyền đạt tĩnh, chỉ khi có khâu đáp ứng chức năng kiểu BSB thì lúc đó
nơron có đặc tính động. Trong mọi trường hợp do đặc tính phi tuyến của khâu tạo
chức năng ra kết hợp và/hoặc với đặc tính phi tuyến của khâu tạo chức năng đáp
ứng mà nơron là một hệ có tính phi tuyến mạnh.

Hình 1.4 Mạng nơron 3 lớp

nguyên tắc một nơron là một hệ MISO. Từ đó có thể phân biệt các loại nơron khác

1.5 Cấu trúc mạng nơron
Nelson và Illingworth (1991) đã đưa ra một số loại cấu trúc của mạng nơron
như hình 1.5. Nơron được vẽ là các vòng tròn xem như môt tế bào thần kinh, chúng
có các mối liên hệ đến các nơron khác nhờ các trọng số, lập thành các ma trận trọng

nhau như các loại nơron mà các đầu vào nhận thông tin từ môi trường bên ngoài với
các loại nơron mà đầu vào được nối với nơron khác trong mạng. Các nơron mà đầu

số tương ứng.
Mỗi một nơron có thể phối hợp với các nơron khác tạo thành một lớp qua các

vào giữ chức năng nhận thông tin từ môi trường bên ngoài đóng chức năng “đầu
vào” của mạng. Cũng tương tự như vậy một nơron có một đầu ra, đầu ra của nơron

trọng sô. Mạng một lớp truyền thẳng (Single – Layer Feedforward network) như
hình 1.5a.

Liên kết đầu vào và đầu ra của nhiều nơron với nhau ta được một mạng

nơron. Việc ghép nối các nơron có thể theo một nguyên tắc bất kỳ nào đó, vì về

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




12

13

Có thể nối vài lớp nơron với nhau tạo thành mạng nhiều lớp truyền thẳng
(Multi layer – Layer Feedforward Network) như hình 1.5.d.
Lớp nơron thực hiện tiếp nhận các tín hiệu vào gọi là lớp vào (Input Layer).

Mạng nơron phản hồi mà đầu ra của mỗi nơron được quay trở lại nối với đầu

y1

x1

y1

x2

y2

vào của các nơron cùng lớp đó được gọi là mạng Lateral (hình 1.5f).
Mạng nơron phản hồi có thể thực hiện đóng vòng được gọi là mạng nơron
hồi quy (Recurrent Networks).
Hình 1.5b chỉ ra một mạng nơron hồi quy đơn giản nhất chỉ có một nơron

x2

y2

liên hệ phản hồi với chính nó.

xm

ym

xm

x1

W11

Wm,m
a,

b,

Hình 1.5c mạng nơron một lớp hồi quy với chính nó và các nơron khác.

ym

Hình 1.5e là mạng nơron nhiều lớp hồi quy.

Wm,m
x1

y1

x1

x2

y2

x2
…
x..m

Wm,m
xm

ym

y1
y2
ym
d,

c,

1.6 Phƣơng thức làm việc của mạng nơron
Phương thức làm việc của một mạng nơron nhân tạo có thể chia làm 2 giai
đoạn:
- Tự tái tạo (reproduction)
- Và giai đoạn học (learning phase)
Ở một mạng nơron có cấu trúc bền vững có nghĩa là véc tơ hàm trọng lượng

x1

y1

x1

y1

x2
…
x..m

đầu vào, khâu tạo đáp ứng và khâu tạo tín hiệu đầu ra đều cố định không bị thay đổi
về mặt cấu trúc cũng như tham số thì mạng có một quá trình truyền đạt xác định
chắc chắn, tĩnh hoặc động phụ thuộc vào cấu tạo của các nơron trong mạng. Ở đầu

y2

x2

y2

vào của mạng xuất hiện thông tin thì đầu ra cũng xuất hiện một đáp ứng tương ứng.

ym
xm
e,
f,
Hình 1.5 Sơ đồ cấu trúc các loại mạng nơron

ym

Đối với mạng nơron có quá trình truyền đạt tĩnh, đáp ứng đầu ra xuất hiện ngay sau
khi đầu vào nhận được thông tin, còn đối với mạng nơron có quá trình truyền đạt
động thì phải sau một thời gian quá độ ở đầu ra của mạng nơron mới xuất hiện đáp

Lớp nơron thực hiện đưa tín hiệu ra gọi là lớp ra (Output Layer).
Giữa hai lớp nơron vào và ra có một hoặc nhiều lớp nơron không liên hệ trực

ứng. Xuất phát từ quan điểm mọi đáp ứng của mạng nơron đều tiền định tự nhiên,
có nghĩa là khi xuất hiện các kích thích ở đầu ra ở thời điểm tương ứng cũng hoàn

tiếp với môi trường bên ngoài được gọi là các lớp ẩn (Hidden Layer). Mạng nơron
truyền thẳng nhiều lớp có thể có 1 hoặc nhiều lớp nơron ẩn.

toàn giống nhau. Quá trình làm việc như vậy của một mạng nơron được gọi là quá
trình tái diễn (reproduction phase). Khi đó thông tin ở đầu vào mạng lưu giữ thông

Mạng nơron được gọi là liên kết đầy đủ nếu từng đầu ra của mỗi lớp được
liên kết với đủ các nơron ở các lớp tiếp theo.

tin đó và dựa trên các tri thức của mình đưa ra các đáp ứng ở đầu ra phù hợp với
lượng thông tin thu được từ đầu vào.

Hai loại mạng nơron một lớp và nhiều lớp được gọi là truyền thẳng
(Feedforward Network) nếu đầu ra của mỗi nơron được nối với các đầu vào của các
nơron cùng lớp đó hoặc đầu vào của các nơron của các lớp trước đó. Trong mạng

Mạng nơron khi mới hình thành còn chưa có tri thức, tri thức của mạng hình
thành dần sau một quá trình học. Mạng nơron được dạy bằng cách dựa vào đầu vào
những kích thích và hình thành những đáp ứng tương ứng, những đáp ứng phù hợp

không tồn tại bất kỳ một mạch hồi tiếp nào kể cả hồi tiếp nội lẫn hồi tiếp từ đầu ra

với từng loại kích thích sẽ được lưu giữ, giai đoạn này được gọi là giai đoạn học của

trở về đầu vào.

mạng. Khi đã hình thành tri thức mạng có thể giải quyết các vấn đề cụ thể một cách
đúng đắn. Đó có thể là những vấn đề ứng dụng rất khác nhau, được giải quyết chủ

Mạng nơron bao gồm một hay nhiều lớp trung gian gọi là mạng MLP
(Multilayer perceptrons Networks).

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

14

15

yếu dựa trên sự tổ chức hợp nhất giữa các thông tin đầu vào của mạng và các đáp

Có hai loại học: Thực hiện đồng thời và không đồng thời.

ứng đầu ra:
- Nhiệm vụ của một mạng liên kết là hoàn chỉnh hoặc hiệu chỉnh các thông
tin thu thập được không đầy đủ hoặc bị tác động nhiễu. Mạng nơron kiểu này được
ứng dụng trong lĩnh vực hoàn thiện mẫu, mà một trong lĩnh vực cụ thể đó là nhận

Chúng ta tập trung vào phần học thông số.
Giả sử ma trận trọng số bao gồm tất cả các phần tử thích ứng của mạng
nơron. Nhiệm vụ của việc học thông số là bằng cách nào đó, tìm được ma trận chính
xác mong muốn từ ma trận giả thuyết ban đầu với cấu trúc của mạng nơron có sẵn.

dạng chữ viết.

Để làm được việc đó, mạng nơron sử dụng các trọng số điều chỉnh, với nhiều

- Nhiệm vụ tổng quát của mạng nơron là lưu giữ tác động thông tin. Dạng
thông tin lưu giữ đó chính là quan hệ giữa các thồng tin đầu vào của mạng và các
đáp ứng đầu ra tương ứng, để khi có một kích thích bất kỳ tác động vào mạng,

phương pháp học khác nhau có thể tính toán gần đúng ma trận W cần tìm đặc trưng
cho mạng. Có ba phương pháp học:

mạng có khả năng suy diễn và đưa ra một đáp ứng phù hợp. Đó chính là chức năng

* Học có giám sát (Supervised Learning)
Là quá trình học có giám sát (Hình 1.6), ở mỗi thời điểm thứ i khi đưa tín

nhận dạng theo mẫu của mạng nơron. Để thực hiện chức năng này mạng nơron

hiệu vào xi mạng nơron, tương ứng sẽ có các đáp ứng mong muốn d i của đầu ra cho

đóng vai trò như một bộ phận tổ chức các nhóm thông tin đầu vào và tương ứng với
mỗi nhóm là một đáp ứng đầu ra phù hợp. Như vậy một nhóm bao gồm một loại
thông tin đầu vào và một đáp ứng ra. Các nhóm có thể hình thành trong quá trình

trước ở thời điểm đó. Hay nói cách khác, trong quá trình học có giám sát, mạng
nơron được cung cấp liên tục các cặp số liệu mong muốn vào - ra ở từng thời điểm
(x1, d1), (x2, d2), …, (xk, dk), … khi cho đầu vào thực của mạng là xk tương ứng sẽ

học và cũng có thể hình thành không trong quá trình học.
Trong lĩnh vực ứng dụng, mạng nơron có khả năng tạo ra các đáp ứng đầu ra
dựa trên thông tin thu thập vào của mạng, điều đó có nghĩa là ứng với một thông tin

có tín hiệu đầu ra cũng được lặp lại là dk giống như mong muốn. Kết quả của quá
trình học có giám sát là tạo được một hộp đen có đầu vào là véc tơ tín hiệu vào x sẽ
đưa ra được câu trả lời đúng d.

xác định ở đầu vào của mạng cung cấp một đáp ứng tương ứng xác định ở đầu ra.
Nhìn trên quan điểm lý thuyết hệ thống, mạng nơron được coi như một bộ xấp xỉ
thông tin, thiết bị này có khả năng cung cấp một quá trình xử lý mong muốn một
cách chính xác. Mục đích của quá trình học là tạo ra một tri thức cho mạng thông
qua rèn luyện. Nguyên tắc học được thực hiện cho mạng mà cấu trúc của mạng
cũng như của các phần tử nơron cố định, chính là thay đổi giá trị của các phần tử

trong véc tơ hàm trọng lượng, véc tơ ghép nối giữa các phần tử nơron trong mạng.
Các phần tử này được chọn sao cho quá trình truyền đạt mong muốn được xấp xỉ
một cách đủ chính xác như bài toán yêu cầu. Như vậy, học chính là quá trình giải
bài toán tối ưu tham số.
1.7 Các luật học
Như phần trên đã trình bày, học là vấn đề quan trọng trong mạng nơron. Có
hai kiểu học:
- Học thông số (Paramater Learning): Tìm ra biểu thức cập nhật các thông
số về trọng số cập nhật kết nối giữa các nơron.
- Học cấu trúc (Structure Learning): Trọng tâm là sự biến đổi cấu trúc của
mạng nơron gồm số lượng nút (node) và các mẫu liên kết.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



x

y

Mạng
nơron

x

e
Máy phát
tín hiệu
sai lệch

d

Hình 1.6
Mô hình học có giám sát và học củng cố

Mạng
nơron

y

Hình 1.7
Mô hình học không có giám sát

Để đạt được kết quả mong muốn trên, khi đưa vào tín hiệu xk, thông thường
sẽ có sai lệch ek giữa tín hiệu đầu ra thực yk và tín hiệu đầu ra mong muốn dk. Sai
lệch đó sẽ được truyền ngược tới đầu vào để điều chỉnh thông số mạng nơron là ma
trận trọng sô W… Quá trình cứ thế tiếp diễn sao cho sai lệch giữa tín hiện ra mong
muốn và tín hiệu ra thực tế trong phạm vi cho phép, kết quả ta nhận được ma trận
trọng số W với các phần tử w ij đã được điều chỉnh phù hợp với đặc điểm của đối
tượng hay hàm số mạng nơron cần học.
* Học củng cố (Reinforcement Learning)

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




16

17

Tín hiệu có thể được đưa tín hiệu d từ bên ngoài môi trường (Hình 1.6),
nhưng tín hiệu này có thể không được đưa đầy đủ, mà có thể chỉ đưa đại diện 1 bít
để có tính chất kiểm tra quá trình đúng hay sai. Tín hiệu đó đươc gọi là tín hiệu
củng cố (Reinforcement Signal). Phương pháp học củng cố chỉ là một trường hợp
của phương pháp học có giám sát, bởi vì nó cũng có nhận tín hiệu chỉ đạo (giáo

x1
Wi1
x2

viên) phản hồi từ môi trường. Chỉ khác là tín hiệu củng cố chỉ có tính ước lượng
hơn là để dạy. Có nghĩa là chỉ có thể nói là tốt hay xấu cho một số tín hiệu đầu ra cá
biệt. Tín hiệu giám sát bên ngoài d thường được tiến hành bởi các tín hiệu ước
lượng để tạo thông tin tín hiệu ước lượng cho mạng nơron điều chỉnh trọng số với
hy vọng sự ước lượng đó mạng lại sự tốt đẹp cho quá trình tính toán. Học củng cố
còn được gọi là học với sự ước lượng (Learning With a Critic).
* Học không có giám sát (Unsupervised Learning)
Trong trường hợp này, hoàn toàn không có tín hiệu ở bên ngoài (Hình 1.7).
Giá trị mục tiêu điều khiển không được cung cấp và không được tăng cường. Mạng
phải khám phá các mẫu, các nét đặc trưng, tính cân đối, tính tương quan… Trong
khi khám phá các đặc trương khác, mạng nơron đã trải qua việc tự thay đổi thông
số, vấn đề đó còn gọi là tự tổ chức (Self – Organizing).
Hình 1.8 mô tả cấu trúc chung của quá trình học của ba phương pháp học đã
được nêu trên. Trong đó tín hiệu vào x j, j = 1, 2, 3, …, m, có thể được lấy từ đầu ra
của các nơron khác hoặc có thể được lấy từ bên ngoài. Chú ý rằng thông số ngưỡng
θi có thể được bao trong việc học như là một trọng số thứ m: w i,m của tín hiệu vào
có giá trị xm = -1. Tín hiệu mong muốn d i có sẵn chỉ trong phương pháp học có
giám sát hoặc củng cố (với di là tín hiệu học củng cố). Từ hai phương pháp học trên.
Trọng số của nơron thứ i được thay đổi tùy theo tín hiệu ở đầu vào mà nó thu nhận,

giá trị đầu ra của nó. Trong phương pháp học không giám sát sự thay đổi trọng số

Wi2
Wij

xj

Nơron thứ i
y

Wi,m-1
xm-1
xm = -1

Wi
X

Wi,m-1 = 

r

Máy phát tín
hiệu học

d


Hình 1.8 Sơ đồ cấu trúc chung của quá trình học
η là một số dương còn gọi là hằng số học, xác định tốc độ học.
r là tín hiệu học: r = fr(wi, x, di).

(1.13)

Từ (1.13) là biểu thức chung để tính số gia của trọng sô, ta thấy véc tơ trọng
số wi = (wi1, wi2,…, wim)T có gia số với tỷ lệ của tín hiệu vào x và tín hiệu học r. Từ
các biểu thức trên ta có véc tơ trọng số ở thời điểm (t+1) được tính là:
wi(t+1) = wi(t) + ηfr(wi(t), x(t), di(t)x(t))
(1.14)
Với chỉ số trên là thời điểm tính toán. Phương trình liên quan đến sự thay đổi
trọng số trong mạng nơron rời rạc (Discrete - Time) và tương ứng với sự thay đổi
trọng số trong mạng nơron liên tục theo biểu thức:
𝑑𝑤𝑖 𝑡
= 𝜂𝑟𝑥 𝑡
1.15
𝑑𝑡
Vấn đề quan trọng trong việc phân biệt luật học cập nhật trọng số có giám sát
hay không có giám sát là tín hiệu học r như thế nào để thay đổi hoặc cập nhật trọng
số có trong mạng nơron.

chỉ dựa trên cơ sở các giá trị đầu vào và đầu ra. Dạng tổng quát của luật học trọng
số của mạng nơron cho biết là gia số của véc tơ wi là Δwi tỷ lệ với tín hiệu học r và
tín hiệu đầu vào x(t):
Δwi(t) = η.r.x(t)

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

(1.12)

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




18

19

1.8 Mạng nơron truyền thẳng và mạng nơron hồi quy

nơron của lớp này. Thông thường, các nơron đầu vào không làm biến đổi các tín

1.8.1 Mạng nơron truyền thẳng
1.8.1.1 Mạng nơron truyền thẳng một lớp

hiệu vào xi, tức là chúng không có các trọng số hoặc không có các loại hàm chuyển
đổi nào, chúng chỉ đóng vai trò phân phối các tín hiệu và không đóng vai trò sửa đổi
chúng.
- Lớp ẩn: Là lớp nơron dưới lớp vào, chúng không trực tiếp liên hệ với thế

x1
Wm,m

W11

x2

y1

giới bên ngoài như các lớp nơron vào và ra.
y2

- Lớp ra: Là lớp nơron tạo các tín hiệu ra cuối cùng.

xm

ym
Wm,m
Hình 1.9 Mạng nơron truyền thẳng một lớp
Một lớp nơron là một nhóm các nơron mà chúng cùng nhận một số tín hiệu
vào đồng thời (hình 1.9).
Trong ma trận trọng số w, các dòng thể hiện trọng số của mỗi nơron, mỗi
dòng thứ j có thể đặt nhãn như một véc tơ wj của nơron thứ j gồm m trọng số wij.
wj = (wj1; wj2, …, wjm)

(1.16)

Các trọng số trong cùng một cột thứ j (j = 1, 2, …, n) đồng thời nhận cùng
một tín hiệu vào xj.
Tại cùng một thời điểm, véc tơ đầu vào x = (x 1, x2..xj…, xm) có thể là một
nguồn bên ngoài là cảm biến hoặc thiết bị đo lường đưa tới mạng. Tới khi toàn bộ

1.8.2 Mạng nơron hồi quy
Mạng nơron hồi quy (Recurrent Neural Networks) còn được gọi là mạng
phản hồi (Feedback Networks) là loại mạng tự liên kết thành các vòng và liên kết
hồi quy giữa các nơron. Mạng nơron hồi quy có trọng số liên kết đối xứng như
mạng Hopfield luôn hội tụ về trạng thái ổn định (Hopfid, 1982). Mạng liên kết 2
chiều (Bidirectional Associative Memory – BAM) là mạng thuộc nhóm mạng nơron
hồi quy gồm 2 lớp nơron liên kết tay đôi, trong đó đảm bảo nơron của cùng một lớp

không liên kết với nhau, cùng hội tụ về trạng thái ổn định (Kosko, 1986). Nghiên
cứu mạng nơron hồi quy có trọng số liên kết không đối xứng sẽ gặp nhiều phức tạp
hơn so với mạng truyền thẳng (Feedforward Networks) và mạng hồi quy đối xứng
(Symmetrich Recurrent Neural Networks). Mạng nơron hồi quy có khả năng về

ma trận trọng số wji được xác định tương ứng với véc tơ đầu vào X thì các tích số
wjixi cũng được tính toán.

nhận mẫu, nhận dạng các hàm phi tuyến, dự báo … Một ưu điểm khác của mạng
nơron hồi quy là chỉ cần mạng nhỏ hơn về cấu trúc cũng có khả năng như mạng
truyền thẳng có cấu trúc lớn hơn. Nó khắc phục được giả thuyết truyền thống của

1.8.1.2 Mạng nơron truyền thẳng nhiều lớp

mạng nơron là coi mạng có số nơron đủ lớn. Gồm 2 loại:

x1

y1

x2

y2

1.8.2.1 Mạng hồi quy không hoàn toàn (Partially Recurrent Networks)
Là mạng đó dựa trên cơ sở mạng lan truyền ngược (Back – Propagation) với
cấu trúc hồi quy. Câu trúc của mạng hồi quy không hoàn toàn phần lớn là cấu trúc

ym

truyền thẳng như có cả sự chọn lựa cho một bộ phận có cấu trúc hồi quy. Trong
nhiều trường hợp, trọng số của cấu trúc hồi quy được duy trì không đổi, như vậy

…
xm

Hình 1.10 Mạng nơron truyền thẳng nhiều lớp
Trong mạng nơron truyền thẳng nhiều lớp (Hình 1.10) trong đó các lớp được
phân chia thành 3 loại sau đây:
- Lớp vào: Là lớp nơron đầu tiên nhận các tín hiệu vào x i của véc tơ tín hiệu
vào X. Mỗi tín hiệu xi của tín hiệu vào sẽ được đưa đến tất cả các nơron của lớp
nơron đầu tiên, chúng được phân phối trên các trọng số có số lượng đúng bằng số

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



luật học lan truyền ngược BP có thể được dễ dàng sử dụng. Các mạng đó được gọi
là mạng dãy (Sequential Networks) và các nút nhận tín hiệu hồi quy được gọi là các
phần tử Context (Context Units). Trong các mạng loại này, sự truyền thẳng được
xảy ra rất nhanh hoặc không phụ thuộc vào thời gian, trong khi đó tín hiệu hồi quy
được thực hiện có tính thời gian. Từ đó, tại thời điểm t phần tử nằm trong phạm vi
Context Units có tín hiệu vào từ một phần mạng ở thời điểm (t – 1). Vì vậy, bộ phận
nằm trong phạm vi nhớ được một số dữ liệu của quá khứ từ kết quả biến đổi ở thời

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

20

21

điểm t. Do vậy, trạng thái của mạng nguyên thủy của các mẫu phụ thuộc vào các

1.8.2.3 Mạng hồi quy đơn giản (Simple Recurrent Networks)
Elman (1990) đã đề xuất cấu trúc mạng hồi quy đơn giản (SRN). Liên kết
phản hồi được lấy từ lớp ẩn đi tới lớp Context (Hình 1.12). mạng đầu vào được coi
có 2 phần: đầu vào thực và của lớp Context.

trạng thái đó cũng như dòng thồng tin đầu vào. Mạng có thể nhận mẫu (Recognice)
dãy dựa vào tình trạng cuối cùng của dãy và có thể dự báo tiếp theo cho tín hiệu của
dãy theo thời gian. Từ đó, mạng hồi quy không hoàn toàn về cơ bản là mạng truyền
thẳng, liên kết hồi quy có thể đi từ các nút ở các lớp ra hoặc lớp ẩn. Sau đây là một

yi

vài dạng mạng hồi quy không hoàn toàn (Hertzm, 1991).

Lớp ra

1.8.2.2 Mạng các dãy của Jordan (Jordan Sequential Netwoks)
Hình 1.11a là cấu trúc chung của mạng Jordan, hình 1.11b là một dạng của
mạng Jordan.
yi

Lớp ra

Lớp ra

Lớp Context

xi
Hình 1.12 Sơ đồ cấu trúc mạng nơron hồi quy đơn
1.8.2.4 Mạng hồi quy hoàn toàn (Fully
giảnRecurrent Networks)
Một trong những loại mạng nơron hồi quy đầu tiên được Gossberg (1969c,
1982a) xây dựng để học và biểu diễn các mẫu bất kỳ. Loại mạng này đã được xây

Lớp ẩn
Lớp ra

Lớp ra

Lớp Context Ci

dựng theo mẫu Instar – Outstar. Loại mạng … hồi quy hoàn toàn (Fully Recurrent

xi

Hình 1.11 b
Hình 1.11 a
Hình 1.11 Sơ đồ cấu trúc của mạng Jordan
Mạng đầu vào của mạng gồm tín hiệu phản hồi đầu ra vào lớp Context kết
hợp với tín hiệu vào ở trạng thái sau đó. Nói cách khác, lớp Context sao chụp tín

Networks), hay còn gọi là Sequential Competivive Avalanche Field (SCAF), có tác
dụng nhận số lượng mẫu nhiều hơn, đã được Hecht – Nielsen (1986); Freeman và
Skapura (1991) xây dựng. North (1988) đã áp dụng mạng một lớp avalanche trong

hiệu ra của thời điểm trước đó qua con đường phản hồi với trọng số đơn vị. Mỗi tự

việc nhận dạng chữ ký của 7 thuyền nhân.
Mạng RBP được áp dụng trong một số lĩnh vực như: hoàn thiện mẫu

liên kết (Selt – Connection) trong lớp Context Ci hàm hoạt hóa của phần tử thuộc

(Almeldam 1987), nhận dạng ảnh (Krishnapuram và Chen, 1993) và điều khiển rô

lớp Context có dạng:
ci(t) = -αci(t) + yi(t) yi là tín hiệu ra; α là cường độ của mối tự liên kết 0<α<1.
Nghiệm của phương trình vi phân trên có dạng:

bốt (Barhen, 1989). Elman (1991) đã luyện mạng SPN để nhận dạng chữ viết ở
dạng câu đơn giản gồm 2 đến 3 từ. Jodouin (1993) cũng đã trình bày một số phương
pháp và thành quả ứng dụng SPN. Mozer (1989) đã đề xuất một số mạng hồi quy
khác, được gọi là mạng lan truyền ngược hội tụ (Focused Back – Propgation

𝑡

𝑐𝑖 𝑡 = 𝑐𝑖 0 𝑒 −𝛼𝑡 +

𝑒 −𝛼

𝑡−𝑠

𝑦𝑖 𝑠 𝑑𝑠

Networks). Trong loại mạng này, các lớp và bản thân mỗi phần tử của lớp đều có

0

Nếu yi cố định, ci sẽ giảm theo luật hàm mũ. Viết ở dạng rời rạc, thay đổi của
phần tử lớp Context được viết:
𝑐𝑖 𝑡 + 1 = 1 − 𝛼 𝑐𝑖 𝑡 + 𝑦𝑖 𝑡
Nếu coi các phần tử lớp Context là các tín hiệu vào, ta có thể dùng luật BackPropagation để luyện mạng.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



liên hệ ngược với bản thân chúng. Watrous và Shastri (1987), Morgan và Scofield
(1991) cũng đã đề xuất một vài dạng mạng hồi quy.
Với mạng hồi quy hoàn toàn (Fully Recurrent Networks), hình thành quan
điểm thực hiện và luyện mạng hồi quy là hình thành mạng hồi quy từ mạng truyền
thẳng nhiều lớp được xây dựng từ lớp cho mỗi bước tính. Khái niệm này gọi là lan
truyền ngược theo thời gian (Back Propagation Through Time-BPTT) (Rumelhart,

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




22

23

1986a, b) phù hợp khi quan tâm đến các dãy với độ lớn T là nhỏ. Nó đã được sử

cứu được ứng dụng rộng rãi như logic mờ, đặc biệt là mạng nơron. Trong lĩnh vực

dụng học cho máy ghi cho nhiệm vụ thực hiện cho các dãy (Rumelhart, 1986b). Nó
có khả năng áp dụng cho điều khiển thích nghi (Miller, 1990). Luật RTRL được
giới thiệu bởi Williams và Zipser (1989a). Sun (1992) đã đề xuất cải tiến luật
RTRL. Họ đã đề xuất phương pháp tăng tốc độ tính toán của RTRL bởi sử dụng

điều khiển tự động, mạng nơron được ứng dụng để giải quyết hai bài toán cơ bản:
Nhận dạng đối tượng. Các đối tượng ở đây với đặc tính có thể là động học
tuyến tính, phi tuyến hoặc động học và phi tuyến.
Thiết kế bộ điều khiển nơron.

hàm Green. Một cải tiến khác của Schmidhuber (1992a) đã đề xuất luật học kết hợp

Theo lý thuyết đã chứng minh mạng nơron là một bộ xấp xỉ đa năng, có thể

của 2 luật RTRL và BPTT. Li và Haykin (1993) sử dụng luật RTRL luyện mạng hồi

dùng làm một mô hình toán học thay thế đối tượng với sai lệch cho trước nào đó.

quy với cấu trúc lọc phi tuyến thích nghi thời gian thực. Ba luật học của mạng hồi
quy TDRB, RTRL và phương pháp hàm Green (Sun, 1992) đã được so sánh với

Đây là cơ sở để ta có thể ứng dụng mạng nơron để nhận dạng các đối tượng. Ta sẽ
tiến hành nhận dạng lần lượt các đối tượng động học tuyến tính, đối tượng phi tuyến

nhau về tốc độ tính toán và độ chính xác (Logar, 1993). Tính chất học và đặc tính

tính và đối tượng động học và phi tuyến.

gọi lại của TDRB trong mạng lan truyền ngược hồi quy với tín hiệu nhận mẫu

Khả năng xấp xỉ đa năng của mạng nhiều lớp tạo ra một sự lựa chọn cho việc

(Signal Recognition) được đề cập bởi Sterzing và Schurmann (1993). Các luật học
giám sát RTRL, TDRB là cơ sở của mạng động học hồi quy.
Giles (1992) đã đề xuất thủ tục học mạng hồi quy bậc 2 (Second – Order

mô hình hóa các đối tượng phi tuyến và thực hiện các bộ điều khiển phi tuyến đa
năng. Mạng nơron được ứng dụng trong điều khiển tự động với ba bài toán sau:
Điều khiển tiên đoán mô hình: Model Predictive Control (MPC).

Recurrent Networks). Mạng hồi quy bậc 2 được sử dụng bởi Watrous và Kuhn
(1992) học phương pháp Tomita (Tomita’s Grammars), sử dụng các luật khác nhau
trên cơ sở phương pháp gradient. Zeng (1993) đề xuất một loại mạng hồi quy bậc 2,

Điều khiển tuyến tính hóa phản hồi: NARMA-L2 (Feedback Linearization
Control).
Điều khiển theo mô hình mẫu: Model Reference Control.

gọi là mạng hồi quy tự tổ chức (Self – Clustering Recurrent Networks), có thể học

Dùng mạng nơron để thiết kế bộ điều khiển phải thực hiện theo trình tự hai

các dãy dài. Kết quả sử dụng mạng hồi quy nhận mẫu theo phương pháp hình thức
được Pollack (1989), Sun (1990), Morgan và Scofild (1991) đề cập đến. Nó chỉ rõ
RTRL và RTRL có tín hiệu chỉ đạo là 2 loại đơn giản của luật học EKF (Williams,

bước cơ bản sau: bước 1 là nhận dạng đối tượng và bước 2 là thiết kế bộ điều khiển
nơron.

Trong bước nhận dạng đối tượng, phải xây dựng một mô hình mạng nơron

RTRL có tín hiệu chỉ đạo là 2 loại đơn giản của luật học EKF (Williams, 1992b).
Bàn về luật EKB đã được nhiều tài liệu đề cập (Singhal và Wu, 1989; Douglas và

thay thế cho đối tượng cần được điều khiển. Ở bước thiết kế bộ điều khiển nơron,
sử dụng mô hình mạng nơron của đối tượng để huấn luyện bộ điều khiển. Cả ba bài

Meng, 1991; Puskorius và Feldkamp, 1991, 1992, 1993; Shah, 1992).
Narendra và Thathchar (19989) và Lin (1994) đã đề cập đến lịch sử phát

toán trên đều giống nhau ở bước nhận dạng, tuy nhiên ở bước thiết kế điều khiển thì
khác nhau đối với mỗi bài toán.

triển của luật học củng cố. Lý thuyết hội tụ của TS (λ) cho λ được Dayan (1992) đề
cập. Dạng khác của luật học củng cố TD là luật Q (Watkins, 1989; Watkins và

Đối với bài toán điều khiển tiên đoán, mô hình đối tượng được dùng để tiên
đoán đầu ra tương lai của đối tượng và sử dụng một thuật toán tối ưu chọn tín hiệu

Dayan, 1992) đã giới thiệu lớp Dynn của cấu trúc học củng cố. Nó được sử dụng
cho điều khiển chuyển động của rô bốt hàng hải trong môi trường không biết trước
(Peng và Williams, 1993; Lin, 1993).

đầu vào làm tối ưu chỉ tiêu tương lai.
Với bài toán tuyến tính hóa phản hồi, bộ điều khiển đơn giản là sự sắp xếp
lại mô hình đối tượng.

1.9 Ứng dụng mạng nơron trong điều khiển tự động
Với sự phát triển mạnh mẽ của khoa học và kỹ thuật, nên khả năng tính toán

và xử lý của máy tính ngày càng mạnh, nhờ đó các phương pháp lý thuyết đã nghiên

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



Với bài toán điều khiển theo mô hình mẫu, bộ điều khiển là một mạng nơron
được huấn luyện để điều khiển một đối tượng bám theo mô hình mẫu. Một mô hình
mạng nơron của đối tượng được sử dụng để hỗ trợ trong việc huấn luyện bộ điều
khiển.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




24

25

1.10 Công nghệ phần cứng sử dụng mạng nơron
Mạng nơron nhân tạo được dùng để xây dựng các chip mang lại nhiều lợi ích
với bản chất cấu trúc phân bố song song của sự gia công thông tin như các nơron
sinh học (Ramacher and Ruckert 1991; Shanchz – Sinencio and Lau 1992), chip
nơron có thể được sử dụng làm các bộ xử lý (Coprocessor) trong các máy tính thông

1.11 So sánh khả năng của mạng nơron với mạch lôgíc
- Mạng nơron dùng ở cả các dạng mức (0, 1), (-1, +1) ở dạng liên tục như
hàm chuyển đổi sigmoid và dạng phi tuyến. Do đó, phần tử logic chỉ là một trường
hợp riêng của mạng nơron.

- Khả năng lập trình được của mạng nơron rất tốt, thay vì phương pháp lắp

thường và trong việc tính toán.

ráp phần cứng không lập trình được của mạng logic.

Trong phần cứng, mạng nơron có thể sử dụng vào nhiều lĩnh vực. Mạng

- Đặc trưng cơ bản của mạng nơron là tính truyền song song làm tăng tốc độ

nơron có thể sử dụng với các chức năng như các phần tử analog hoặc digital thay
thế cho các phần tử điện tử thông thường. Các loại chip analog có một tiềm năng to

tính toán.
- Ngày nay ở một phần tử nơron, cũng có thể được coi là một hệ điều khiển

lớn về sử lý tốc độ cao và kinh tế hơn chip digital cùng loại, các chip digital cũng có

trong mạch vì nó có đầy đủ các thành phần: ngưỡng, tín hiệu vào – ra, phản hồi, bộ

các ưu điểm là có độ chính xác cao hơn và dễ chế tạo.

tổng; Trong khi đó mạch logic chỉ là một phần tử, hoặc một mạch điện, một mạch

Ở phần tử analog, các trọng số liên kết mã hóa được với các phần tử điện trở,
điện cảm và điện dung. Các mức của các nút hoạt hóa (cường độ của tín hiệu) được
đặc trưng bằng các đại lượng dòng và áp. Ví dụ như lưới silic (Silicon Retina)

điện tử.

(Mead 1989) là một dạng chip analog có thể cạnh tranh được với lưới sinh học
(Biological Retina).
Công nghệ digital có thể áp dụng để thiết kế các chip nơron. Vấn đề này

nơron có tính chất sau:
- Là hệ phi tuyến
- Là hệ xử lý song song

1.12 Kết luận chƣơng 1
Qua phân tích tổng quan về mạng nơron nhân tạo ta thấy mô hình mạng

được Hammerstrom và Means (1990) đề cập đến. Khả năng khác là xung học (Pulse

- Là hệ học và thích nghi: Mạng được luyện từ các số liệu quá khứ, có khả

– Trains) là đặc trưng cho trọng số và cường độ tín hiệu (Caudill 1991). Xung học
phản ánh tương xứng với tần suất hoặc khả năng của nơron hoạt hóa, tái tạo điều
biến tần xuất quan sát được như của mạng nơron sinh học. Phép nhân của 2 xung

năng tự chỉnh khi số liệu đầu vào bị mất.
- Là hệ nhiều biến, nhiều đầu vào, nhiều đầu ra (MIMO) rất tiện dùng khi
điều khiển đối tượng có nhiều biến số.

học là tương đương với phép AND trong mạch logic, phép cộng của 2 xung học là
tương đương với phép OR trong mạch logic.

Vì vậy nó có ý nghĩa rất quan trọng trong quá trình nhận dạng và điều khiển
thích nghi đối tượng có tính chất phi tuyến và phụ tải thay đổi.

Trong hướng của thuật học, có được một vài chọn lọc. Các trọng số trong

môt chíp nơron cần cố định trước như ở chíp ROM (Read – Only Memory), bộ nhớ

So sánh mạng nơron truyền thẳng nhiều lớp và mạng nơron hồi quy nhiều
lớp ta thấy về cấu trúc mạng nơron truyền thẳng nhiều lớp đơn giản hơn so với

có thể chương trình hóa PROM (Programmable ROM), bộ nhớ có thể xóa và lập
trình được (Erasable PROM), hoặc bộ nhớ đọc/ ghi RAM (Random Access

mạng nơron hồi quy nhiều lớp vì mạng nơron hồi quy nhiều lớp có thêm các liên
kết phản hồi.

Memory).
Mạng nơron mở ra một hướng cải tiến quan trọng về công nghệ. Với ưu điểm
nổi bật của mạng nơron là khả năng truyền tín hiệu ở các chíp nơron ở dạng song
song do đó tốc độ truyền tín hiệu rất cao, đặc trưng này không có ở các chíp điện tử
truyền thống.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




26

27

CHƢƠNG 2

đối tượng trên cơ sở quan sát tín hiệu vào u(t) và ra y(t) của đối tượng sao cho mô

CÁC PHƢƠNG PHÁP ỨNG DỤNG MẠNG NƠRON TRONG NHẬN DẠNG
VÀ ĐIỀU KHIỂN

hình thu được bằng phương pháp thực nghiệm thỏa mãn các yêu cầu của phương
pháp lý thuyết đề ra. Phương pháp thực nghiệm đó được gọi là nhận dạng hệ thống
điều khiển.
Như vậy khái niệm nhận dạng hệ thống điều khiển được hiểu là sự bổ xung

2.1 Các phƣơng pháp ứng dụng mạng nơron trong nhận dạng
2.1.1 Khái quát chung
2.1.1.1 Đặt vấn đề
Tại sao phải nhận dạng? Để hiểu rõ vấn đề ta xét một bài toán điều khiển
theo nguyên tắc phản hồi như trên hình 2.1.
Bộ điều
khiển

khiển không đầy đủ.
2.1.1.2 Định nghĩa
Nhận dạng hệ thống là xây dựng mô hình toán học của hệ (cấu trúc – tham
số) dựa trên các dữ liệu thực nghiệm đo được. Quá trình nhận dạng là quá trình hiệu

Đối tượng
điều khiển

chỉnh các tham số của mô hình sao cho tín hiệu ra của mô hình tiến tới tín hiệu đo

Đo lường
Hình 2.1 Điều khiển theo nguyên tắc phản hồi đầu ra
Muốn tổng hợp được bộ điều khiển cho đối tượng hệ kín có được chất lượng
như mong muốn thì trước tiên phải hiểu biết về đối tượng, tức là cần phải có một
mô hình toán học mô tả đối tượng. Không thể điều khiển đối tượng khi không hiểu
biết hoặc hiểu sai lệch về nó. Kết quả tổng hợp bộ điều khiển phụ thuộc rất nhiều
vào mô hình mô tả đối tượng. Mô hình càng chính xác, hiệu suất công việc càng
cao.
Việc xây dựng mô hình cho đối tượng được gọi là mô hình hóa. Người ta
thường phân chia các phương pháp mô hình hóa ra làm hai loại:
- Phương pháp lý thuyết.
- Phương pháp thực nghiệm.
Phương pháp lý thuyết là phương pháp thiết lập mô hình dựa trên các định
luật có sẵn về quan hệ vật lý bên trong và quan hệ giao tiếp với môi trường bên
ngoài của đối tượng. Các quan hệ này được mô tả theo quy luật lý – hóa, quy luật
cân bằng,… dưới dạng những phương trình toán học.
Trong các trường hợp mà ở đó sự hiểu biết về những quy luật giao tiếp bên
trong đối tượng cũng về mối quan hệ giữa đối tượng với môi trường bên ngoài
không được đầy đủ để có thể xây dựng được một mô hình hoàn chỉnh, nhưng ít nhất
từ đó có thể cho biết các thông tin ban đầu về dạng mô hình thì tiếp theo người ta
phải áp dụng phương pháp thực nghiệm để hoàn thiện nốt việc xây dựng mô hình

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

cho việc mô hình hóa đối tượng mà ở đó lượng thông tin ban đầu về đối tượng điều



được của hệ thống.
Khái niệm về bài toán nhận dạng được Zadeh định nghĩa vào năm 1962 với

hai điểm cơ bản sau:
- Nhận dạng là phương pháp thực nghiệm nhằm xác định một mô hình cụ thể
trong lớp các mô hình thích hợp trên cơ sở quan sát các tín hiệu vào ra.
- Mô hình tìm được phải có sai số với đối tượng là nhỏ nhất.
Theo định nghĩa này thì những bài toán nhận dạng sẽ phải được phân biệt với
nhau ở ba điểm chính, đó là:
- Lớp mô hình thích hợp. Chẳng hạn lớp các mô hình tuyến tính không có
cấu trúc (không biết bậc của mô hình) hoặc có cấu trúc, lớp các loại mô hình lưỡng
tuyến tính.
- Loại tín hiệu quan sát được (tiền định/ngẫu nhiên).
- Phương thức mô tả sai lệch giữa mô hình thực và đối tượng.
2.1.1.3 Sơ lược về sự phát triển của các phương pháp nhận dạng.
Sự phát triển của nhận dạng trong lĩnh vực điều khiển tự động trong 60 năm
trở lại đây có thể chia thành ba giai đoạn như sau:
- Giai đoạn I: (khoảng 1960-1975) được đánh dấu bằng nhận dạng các mô
hình không tham số cho đối tượng điều khiển tuyến tính mà trọng tâm là thiết lập
hàm trọng hay đặc tính tần biên – pha dưới dạng một dãy giá trị (phức). Kiến thức
lý thuyết cần thiết cho giai đoạn này phần lớn được xây dựng trên cơ sở lý thuyết
hàm phức và phân tích phổ tín hiệu.
- Giai đoạn II: Được đặc trưng bởi sự ra đời của lớp mô hình liên tục hoặc
rời rạc có tham số và được gọi là giai đoạn nhận dạng tham số mô hình. Thông tin

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




28

29

lý thuyết ở đây đủ để người ta có thể lựa chọn được bậc (hay cấu trúc) cho mô hình
liên tục hay rời rạc. Nhiệm vụ nhận dạng trong giai đoạn này là xác định giá trị các
tham số của mô hình đó với hướng nghiên cứu tập trung là xét tính hội tụ các
phương pháp và ảnh hưởng của nhiễu và kết quả.
- Giai đoạn III: (Khoảng 1990 đến nay) được đánh dấu bằng nhận dạng mô
hình động học liên tục phi tuyến và nhận dạng mô hình tham số cho hệ nhiều chiều.

Thông tin
ban đầu

Tiến hình
thiết kế

Dữ liệu

Lựa chọn
tập mô hình

Dần dần trong giai đoạn này người ta cũng chuyển hướng đi vào nhận dạng các hệ

Chọn tiêu
chuẩn

thống suy biến.
2.1.1.4 Các bước cơ bản để nhận dạng hệ thống.
Nhận dạng hệ thống là ước lượng mô hình của hệ thống dựa trên các dữ liệu
vào ra quan sát được.

Tính toán mô hình

Để xác định được mô hình của hệ thống từ các dữ liệu quan sát này ta phải

Sai
Mô hình tốt

có:
- Số liệu vào – ra.

Đúng: chấp
nhận mô hình
Hình 2.2 Quy trình nhận dạng hệ thống

- Tập các đầu vào tham gia vào mô hình.
- Tiêu chí lựa chọn mô hình.
Quy trình nhận dạng gồm các bước sau:

2.1.2 Các phƣơng pháp nhận dạng
Các phương pháp nhận dạng được phân loại theo các phương pháp như sau:

Bước 1: Thu thập số liệu vào – ra từ hệ thống.
Bước 2: Khảo sát số liệu. Lựa chọn phần có ích trong số liệu thu được, có thể
sử dụng bộ lọc nếu cần.
Bước 3: Lựa chọn và xác định cấu trúc mô hình.
Bước 4: Tính toán mô hình tốt nhất trong các dạng cấu trúc tìm được theo số
liệu vào ra và tiêu chí lựa chọn.
Bước 5: Khảo sát tính năng của mô hình tìm được.
Nếu mô hình cho chất lượng tốt thì dùng. Ngược lại thì quay về bước 3 để
tìm mô hình khác. Có thể phải tìm phương pháp ước lượng khác (bước 4) hoặc thu
thập thêm số liệu vào – ra (bước 1 và 2).

Quy trình nhận dạng hệ thống có thể biểu diễn theo sơ đồ hình 2.2.

- Phân loại dựa trên cơ sở các phần tử hệ thống:
+ Phân loại theo hệ thống nhận dạng S.
+ Phân loại theo tín hiệu vào u
+ Phân loại theo tiêu chuẩn nhận dạng
- Phân loại theo phương pháp cập nhật dữ liệu của hệ thống:
+ Phương pháp nhận dạng đệ quy
Thông số nhận dạng được tính toán trực tiếp theo mỗi thời điểm. Nghĩa là
nếu có giá trị 𝜃(𝑡) được cập nhật tại thời điểm t, thì giá trị của 𝜃 (𝑡 + 1) được xác
định từ 𝜃(𝑡). Phương pháp nhận dạng đệ quy có đặc trưng sau:
- Là bộ phận chính của hệ thống thích nghi.
- Đòi hỏi cần có bộ nhớ.
- Thuật toán có thể được thay đổi dễ dàng.
- Tại bước tính toán đầu tiên có thể tìm được ra lỗi của thuật toán khi hệ
thống có sự thay đổi thông số đủ lớn.
Có 2 dạng nhận dạng đệ quy:

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




30

31

- Nhận dạng On-line

𝑃 𝑘 =𝑃 𝑘+1 +𝐾 𝑘 𝑥 𝑘−1 −𝜙 𝑘 𝑃 𝑘−1

- Nhận dạng Off-line
- Phương pháp nhận dạng không tham số và nhận dạng tham số
+ Nhận dạng không tham số: là phương pháp nhận dạng mà mô hình để nhận
dạng là các đường cong quá độ hoặc các hàm và véc tơ tham số không nhất thiết
phải có kích thước hữu hạn. Nhận dạng không tham số thường dùng các phương
pháp như: phân tích hàm quá độ h(t), phân tích tần số, phân tích hàm tương quan,
phân tích phổ…
+ Nhận dạng tham số từ mô hình AR, MA, ARMA… Người ta đưa vào hệ
thống tín hiệu vào xác định u(t) sau đó đo tín hiệu ra y(t). Người ta mô tả hệ thống
bằng một mô hình tham số và dùng phương pháp bình phương tối thiểu để hiệu

𝑇

𝐾 𝑘 = 𝑃 𝑘−1 𝜙 𝑘 𝜙 𝑘 𝑃 𝑘−1 𝜙 𝑘 +𝑒
𝑃 𝑘 =𝑒
Trong đó:

Nhận dạng on-line vì thế được xem như là phương pháp dễ thực hiện cho
việc tính toán. Nhận dạng on-line được sử dụng trong nhiều lĩnh vực như: nhận
dạng thích nghi, học thích nghi, lọc phi tuyến…
Trong chế độ on-line, mô hình phải thật đơn giản, số các thông số chọn đủ
nhỏ và cấu trúc mô hình tuyến tính theo thông số.
Thuật toán nhận dạng on-line được xây dựng sao cho trên mỗi bước tính
không cần xử lý lại toàn bộ chuỗi quan sát, có nghĩa là sử dụng lại quá trình lặp.
Nhận dạng thông số hệ thống on-line có một số phương pháp sau:

2.1.2.1.1 Phương pháp lặp bình phương cực tiểu
Hệ thống có thể mô tả bằng hệ phương trình sai phân tuyến tính theo thông
số hoặc điều khiển như sau:
𝑥 𝑘+1 =𝜙 𝑘 𝑃 𝑘 +𝑤 𝑘

2.1

𝑧 𝑘 = 𝑥 𝑘 +𝑣 𝑘

2.2

Trong đó: 𝜙 𝑘 = 𝜙 𝑥, 𝑢, 𝑘
Sơ đồ nhận dạng có tính đến hệ số trọng cho các quan sát trong quá khứ theo
luật hàm exponent:

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

∆𝑇 𝜏

𝐼 − 𝐾9𝑘)𝜙(𝑘) 𝑃 𝑘 − 1

2.4
2.5

T: là khoảng cách giữa hai quan sát.

lên quá trình ước lượng.
2.1.2.1.2 Phương pháp xấp xỉ ngẫu nghiên.
Thuật toán có dạng sau:
𝑃 𝑘 + 1 = 𝑃 𝑘 + 0.5𝜌 𝑘 ∆𝑝 𝐽

2.6

Trong đó (k) là véc tơ thông số hiệu chỉnh thỏa mãn các điều kiện sau:
∞

𝜌 𝑘 ≥ 0;

∞

𝜌2 𝑘 < ∞

𝜌 𝑘 = ∞;
𝑘=0

𝑘=0

𝐽 = 𝑒2 𝑘 + 1
𝑒 𝑘 + 1 = 𝑥 𝑘 + 1 − 𝜙 𝑘 + 1 𝑃(𝑘)
Như vậy (2.3) có thể viết dưới dạng:
𝑃 𝑘+1 =𝑃 𝑘 +𝜌 𝑘 𝜙 𝑘 𝑥 𝑘+1 −𝜙 𝑘+1 𝑃 𝑘

2.7

Thuật toán xấp xỉ ngẫu nhiên đơn giản hơn thuật toán lặp bình phương cực
tiểu, tuy nhiên kém chính xác hơn.
2.1.2.1.3 Phương pháp lọc Kalman mở rộng.
Lọc Kalman là thuật toán xử lý thông tin sử dụng đầy đủ thông tin tiên
nghiệm (cấu trúc, thông số, các đặc trưng thống kê của nhiễu trạng thái và nhiễu
quan sát, các dữ liệu về điều kiện ban đầu…) Nếu trạng thái hóa véc tơ thông số

P(k+1) = P(k), ta có véc tơ trạng thái mở rộng:
𝑦 𝑘 + 1 = 𝑥 𝑘 + 1 ,𝑃 𝑘 + 1 𝑇
Và như vậy bộ lọc Kalman mở rộng có thể được sử dụng để xác định đồng
thời trạng thái và thông số.
Giả sử hệ thống có động học:
𝑥 𝑘 + 1 = 𝜙 𝑘 𝑥 𝑘 , 𝑢 𝑘 , 𝑃1 𝑘 , 𝑘 + 𝑤 𝑘

2.8

𝑧 𝑘 = 𝑕 𝑥 𝑘 , 𝑢 𝑘 , 𝑃2 𝑘 , 𝑘 + 𝑣 𝑘
Trong đó:

2.9

𝐸 𝑤 𝑗

= 0;

𝑐𝑜𝑣 𝑤 𝑘 , 𝑤 𝑗



2.3

∆𝑇 𝜏 −1

: là thời gian đặc trưng cho khoảng ảnh hưởng tiếp tục của quan sát

chỉnh sao cho đánh giá của véc tơ tham số trùng với véc tơ tín hiệu ra của hệ thống.
Phương pháp này thường dùng nhận dạng các hệ phức tạp, khi đó đối tượng được

coi là “hộp đen”, vì vậy phương pháp nhận dạng có tên là nhận dạng “hộp đen”.
2.1.2.1 Nhận dạng On-line.
Trong phương pháp nhận dạng đệ quy nếu không cần đòi hỏi dữ liệu vào-ra
đầy đủ ở mỗi thời điểm thì được gọi là phương pháp nhận dạng on-line.

𝑇

𝐸 𝑣 𝑗

=0

= 𝑣𝑣 𝑘 𝛿 𝑘 − 𝑗

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

2.10
2.11




32

33

Nếu biết cấu trúc ∅ và h và các thông số mô hình P1, P2 thì bộ lọc Kalman
cho kết quả lọc:
1
𝑥 𝑘 + 1 = 𝑥 (𝑘 + ) +
𝑘

1
+ 𝑘(𝑘 + 1) 𝑧 𝑘 + 1 − 𝑕 𝑥 𝑘 + , 𝑢 𝑘 + 1 , 𝑃2 𝑘 , 𝑘 + 1 (2.12)
𝑘

P1(k) và P2(k) trong khoảng thời gian đủ ngắn là không đổi (có nghĩa là đối tượng

Trong đó dự báo
𝑥 𝑘 + 1 𝑘 = 𝜙 𝑘 𝑥 𝑘 , 𝑢 𝑘 , 𝑃1 𝑘 , 𝑘
2.13
Ma trận hiệp phương sai của sai số dự báo thỏa mãn phương trình:
𝜕𝜙 𝑥 𝑘 , 𝑢 𝑘 , 𝑃1 𝑘 , 𝑘
𝜕𝜙 𝑇 𝑥 𝑘 , 𝑢 𝑘 , 𝑃1 𝑘 , 𝑘
𝑉𝑥 (𝑘)
+
𝜕𝑥 𝑘
𝜕𝑥 𝑘
+𝑉𝑤 (𝑘)
(2.14)
Ma trận hiệp phương sai của sai số lọc thỏa mãn phương trình:

𝑉𝑥 𝑘 + 1 𝑘 =

𝑉𝑥 𝑘 + 1 = 𝑉𝑥 𝑘 + 1 𝑘 −
𝜕𝑕𝑇 𝑢 𝑘 + 1 , 𝑥 𝑘 + 1 𝑘 , 𝑃2 𝑘 , 𝑘 + 1
−𝑉𝑥 (𝑘 + 1 𝑘)
∗
𝜕𝑥 𝑘 + 1 𝑘
𝜕𝑕 𝑢 𝑘 + 1 , 𝑥 𝑘 + 1 𝑘 , 𝑃2 𝑘 , 𝑘 + 1
∗[
𝑉𝑥 (𝑘 + 1 𝑘) ∗

𝜕𝑥 𝑘 + 1 𝑘

∗

𝜕𝑕𝑇 𝑥 𝑘 + 1 𝑘 , 𝑢 𝑘 + 1 , 𝑃2 𝑘 , 𝑘 + 1
+ 𝑉𝑥 (𝑘 + 1 𝑘)]−1 ∗
𝜕𝑥 𝑘 + 1 𝑘

𝜕𝑕 𝑥 𝑘 + 1 𝑘 , 𝑢 𝑘 + 1 , 𝑃2 𝑘 , 𝑘 + 1
𝑉𝑥 (𝑘 + 1 𝑘) (2.15)
𝜕𝑥 𝑘 + 1 𝑘
Hệ số Kalman được tính bằng biểu thức sau:
𝜕𝑕 𝑥 𝑘 + 1 𝑘 , 𝑢 𝑘 + 1 , 𝑃2 𝑘 , 𝑘 + 1 −1
𝐾 𝑘 + 1 = 𝑉𝑥 (𝑘 + 1)
𝑉𝑥 (𝑘 + 1)
𝜕𝑥 𝑘 + 1 𝑘
(2.16)
Các biểu thức ban đầu:
∗

𝑥 = 𝐸 𝑥0

và 𝑉𝑥 0 = 𝑉𝑥(0)

gần dừng). Khi đó véc tơ mở rộng có thể viết dưới dạng sau:
𝑥 𝑘+1
𝑦 𝑘 + 1 = 𝑃1 𝑘 + 1
𝑃2 𝑘 + 1

𝑤 𝑘

𝜙 𝑥 𝑘 ,𝑢 𝑘 ,𝑘
+
(2.18)
0
𝑃1 𝑘
0
𝑃2 (𝑘)
Sử dụng thuật toán (2.11) đến (2.16) đánh giá đồng thời thông số và trạng
=

thái hệ thống với véc tơ trạng thái mở rộng (2.17).
Phương pháp trên chỉ có hiệu quả khi tính phi tuyến thấp.
2.1.2.2 Nhận dạng off-line
Ngược lại với phương pháp on-line, phương pháp nhận dạng off-line sử dụng
đồng thời tất cả các dữ liệu. Nhận dạng off-line sử dụng khi cần thiết sử lý một
“mớ” tín hiệu cùng một lúc. Tuy nhiên nhận dạng thông số OFF-LINE có nhược
điểm chung sau đây:
- Mất thông tin do phép rời rạc hóa.
- Khó thể hiện bằng phần cứng trên thực tế.
- Khi số thông số lớn (>3) khó xác định chính xác véc tơ thông số.
- Không sử dụng được khi hệ không dừng.
Xét bài toán nhận dạng off-line mô hình với cấu trúc cho trước như sau:
 Bài toán nhận dạng thông số off-line:
Quan sát được các véc tơ z(t) bao gồm véc tơ trạng thái với nhiễu tác động
v(t) và đầu vào u(t) như sau:
𝑍 𝑡 = 𝑕 𝑥 𝑡 , 𝑢 𝑡 , 𝑣 𝑡 , 𝑃2 𝑡 ,
Ở đây P2(t) là các thông số chưa biết của hệ thống.

2.19

Véc tơ trạng thái của hệ được mô tả bởi phương trình:
𝑥 𝑡 = 𝑓 𝑥 𝑡 , 𝑢 𝑡 , 𝑤 𝑡 , 𝑃1 𝑡 , 𝑡
2.20
Trong đó w(t) là véc tơ nhiễu tác động từ bên ngoài. Cần xác định thông số
mô hình đảm bảo cực trị một tiêu chuẩn nhận dạng. Sơ đồ tổng quát có dạng biểu
diễn ở hình 2.3:

(2.17)

Do các véc tơ thống số P1(k), P2(k) thay đổi theo thời gian chưa biết trước
nên cần thiết nhận dạng thông số cùng với trạng thái. Tuy nhiên phải giả thuyết rằng

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




34

35

𝑘

V(t)

X(t)

𝐽=

u(t)
𝑥 𝑡 = 𝑓(. )

w(t)

Z(t)

𝑍 = 𝑕(. )

𝐻 𝑥 𝑡𝑖 − 𝑧 𝑡𝑖

Trong đó H là hàm và thường được chọn dưới dạng tổng bình phương các
phần véc tơ sai số. Cấu trúc hệ nhận dạng theo phương pháp gradient như hình 2.4.

P(t)

u(t)

phân, phương trình quan sát và đồng thời có thể có các đặc trưng thống kê của nhiễu
v(t), w(t).
2.1.2.2.1 Phương pháp xấp xỉ vi phân.
Nếu lấy vi phân giá trị các biến tại các thời điểm, thì có thể xây dựng hệ
phương trình tuyến tính được giải bằng các phương pháp bình phương cực tiểu đối
với véc tơ cần tìm P. Nếu x(t), 𝑥 (𝑡), u(t) là các hàm đã biết thì phương trình (2.20)
có thể viết dưới dạng:
𝑥 𝑡1
.

.
𝑥 𝑡𝑘

x(t)

Đối tượng

Hình 2.3 Sơ đồ tổng quát nhận dạng thông số mô hình
Véc tơ thông số P(t) = [P1(t), P2(t)] có thể chứa các hệ số của phương trình vi

2.23

𝑖=0

Tiêu chuẩn
nhận dạng J

Mô hình
𝑥 𝑡

𝑧 = 𝑕(. )

= 𝑓(. )
Chỉnh
thông số

Tính
toán

Hình 2.4 Nhận dạng theo phương pháp gradient

𝑀𝑎 𝑡𝑟ậ𝑛 𝐴 𝑐𝑕ọ𝑛 𝑐, 𝑐
= 𝑕à𝑚 𝑝𝑕𝑖 𝑡𝑢𝑦ế𝑛 𝑥 𝑣à
𝑢 𝑡𝑖 𝑡1 , 𝑡2 , … … , 𝑡𝑘

𝑃1
.
.
𝑃𝑚

2.21

Thuật toán nhận dạng Gradient như sau:
+ Cho các giá trị ban đầu P0.
+ Giải các phương trình sai phân hoặc vi phân và xác định được J.

Trong đó 𝑥 (𝑡𝑖 ) là ước lượng của x(ti) được tính theo phương trình mô hình .
Phương pháp bình phương cực tiểu cho kết quả sau:
𝑃1 = 𝐴𝑇 𝐴 −1 𝐴𝑇 𝑥 𝑡
2.22
Phương pháp xấp xỉ vi phân thuận tiện nhưng có một số nhược điểm sau:
- Phải có đạo hàm của x(t) theo thời gian.
- Khi có nhiễu tác động thì kết quả nhận được là xấp xỉ trung bình bình
phương đến 𝑥 (𝑡) mà không phải là x(t).
- Khi không đo được toàn bộ véc tơ trạng thái thì phương pháp trên không

+ Cho pi = pi0 +  và giải cũng các phương trình đó, xác định được

rời rạc. Cần xác định véc tở thông số P sao cho x(t) với độ chính xác cho trước phù
hợp với z(t) dưới tác động của điều khiển u(t).
So sánh x(t) với z(t) ta có thể dẫn đến tiêu chuẩn sai số J bao gồm hiệu các

đầu ra của mô hình và đối tượng (hệ thống):

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



𝜕𝑝𝑖

+ Thông tin nhận được về hướng gradient được sử dụng tùy theo từng trường
hợp để xây dựng thuật toán tìm véc tơ thông số P.
Thuật toán gradient lặp đơn giản nhất để xác định thông số P, là phương
pháp hạ nhanh nhất. Hướng của phương pháp hạ nhanh nhất ngược với hướng
gradient và ở điểm ban đầu trùng với hướng trong đó tiêu chuẩn sai số giảm nhanh
nhất được mô tả bằng véc tơ:
𝑃

dung được.
2.1.2.2.2 Phương pháp gradient.
Giả thuyết rằng mô hình phi tuyến (2.19) và (2.20) được biểu diễn dưới dạng

𝜕𝐽

𝑘+1

= 𝑃𝑘 + ∆𝑃

∆𝑃 = ∆𝑝1 , ∆𝑝2 , … , ∆𝑝𝑚

𝑇

2.24

Trong đó:
𝜕𝐽
∆𝑝𝑖 = −𝐶
𝜕𝑝𝑖

𝑚

𝑗 =1

𝜕𝐽
𝜕𝑝𝑗

1
2 2

(2.25)

Lưu ý rằng 𝜕𝐽 𝜕𝑝𝑗 thường được xấp xỉ như sau:

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




36

37

𝐽 𝑝1 , 𝑝2 , … , 𝑝𝑗 + ∆, … , 𝑝𝑚 − 𝐽 𝑝1 , 𝑝2 , … , 𝑝𝑗 , … , 𝑝𝑚
𝜕𝐽
=
𝜕𝑝𝑗
∆

Như vậy mô hình đánh giá (2.27) được mở rộng với:

2.26

𝑥 𝑇 = 𝑥1 , 𝑥2 , … , 𝑥𝑣 , 𝑝1 , 𝑝2 , … , 𝑝𝑚
𝑈 𝑇 = 𝑢1 , 𝑢2 , … , 𝑢𝑣 , 0, … , 0

Hằng số C trong phương trình (2.25) xác định bước thay đổi véc tơ thông số
theo hướng gradient. Nếu cho C quá lớn thì tiêu chuẩn sai số nhận dạng J thực tế
cũng có thể rất lớn. Ngược lại chọn C quá nhỏ thì tốc độ hội tụ có thể quá chậm. Vì
vậy cần chọn C = C* tối ưu theo nghĩa cực tiểu theo hướng ngược với gradient:
𝐽 𝑃 + 𝐶 ∗ ∆𝑃 = 𝑚𝑖𝑛𝑐 𝐽 𝑃 + 𝐶∆𝑃
Để tìm C có thể sử dụng các phương pháp tối ưu thông thường.

𝑓 𝑇 = 𝑓1 𝑥, 𝑢, 𝑡 , 𝑓2 𝑥, 𝑢, 𝑡 , … , 𝑓𝑣 𝑥, 𝑢, 𝑡 , 0, … , 0
𝑥0 = 𝑥10 , 𝑥20 , … , 𝑥𝑣0 , 𝑝10 , 𝑝20 , … , 𝑝𝑚 0
Ta có thể dung phương pháp xấp xỉ vi phân ở những bước đầu tiên của thuật
toán tựa tuyến tính.

2.1.2.2.3 Phương pháp tìm kiếm trực tiếp
Phương pháp này không yêu cầu biết trước các giá trị đạo hàm (sai phân)

2.1.2.2.5 Phương pháp sử dụng hàm nhạy.
Đây là phương pháp trực giác cho phép xác định thông số tương đối chính

xác. Giả sử hệ có dạng (2.27). Hàm ma trận nhạy của đầu ra hệ thống được xác định

như các phương pháp gradient và xấp xỉ đạo hàm. Mặc dù phương pháp tìm kiếm

bằng:

*

hội tụ chậm hơn so với các phương pháp khác nhưng trên thực tế được sử dụng khá
nhiều do tính đơn giản và dễ sử dụng của nó.
Bản chất của phương pháp dựa trên giả thuyết rằng độ lệch của véc tơ thông

𝜆=

Δ𝑝𝑗
∆𝑥𝑖
≈ 𝜆𝑖𝑗
𝑥𝑖
𝑝𝑗
Kết hợp (2.25) và (2.28) có thể viêt:
𝜕2 𝑥
𝜕𝑓 𝜕𝑥 𝜕𝑓
=
∙
+
2.31
𝜕𝑝𝜕𝑡 𝜕𝑥 𝜕𝑝 𝜕𝑝
𝜕𝑓 𝑇 𝜕𝑓
𝜕𝑥0
𝜆=

𝜆 +
, 𝜆 0 =
2.32
𝜕𝑥
𝜕𝑝
𝜕𝑝

phù hợp với tất cả các thành phần của véc tơ thông số. Nếu J(k) < J(0) thì chọn lại
giá trị ban đầu mới và dịch chuyển “sơ đồ” tính toán sang tọa độ gốc mới và lặp lại
chu trình tìm kiếm cho tới khi tìm được giá trị cực tiểu J*.
𝑘+1

𝑝𝑖𝑚
Trong đó

= 𝑝𝑖

(𝑘+1)

𝑝𝑖𝑚

𝑘+1

+ 𝛼 𝑝𝑖

(𝑘+1)

, 𝑝𝑖𝑐

𝑘+1

𝑘

− 𝑝𝑖𝑐

2.27

là các tọa độ gốc mới và cũ.

 ≥ 1 là hệ số khuếch đại.
2.1.2.2.4 Phương pháp tựa tuyến tính
Phương pháp tựa tuyến tính kết hợp với phương pháp bình phương cực tiểu
có thể nhận dạng véc tơ thông số chính xác hơn khi biết giá trị xấp xỉ của nó.
Giả sử hệ được mô tả bằng phương trình sau:
𝑥 𝑡 = 𝑓 𝑥, 𝑢, 𝑃, 𝑡 ,
𝑥 0 = 𝑥0
2.28
Nếu tuyến tính hóa vế phải biểu thức (2.28) qua chuỗi Taylor thì có thể tìm P
đơn giản bằng phương pháp bình phương cực tiểu ở trên. Tuy nhiên cần bổ xung
một hệ phương trình đánh giá thông số cho (2.28) như sau:
𝑝𝑖 = 0;

𝑝𝑖 0 = 𝑝𝑖0 ;

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

2.30

Hoặc:

số ở những bước tìm kiếm đúng đắn trước đó có thể dẫn đến những thành công ở
bước sau.
Đầu tiên chọn giá trị ban đầu của véc tơ thông số và tính toán hàm mục tiêu
tìm kiếm J(0). Sau đó tiến hành xem xét (với bước tính toán cho trước) các hướng

𝜕𝑥
𝜕𝑝

Lấy tích phân (2.32) nhận được  phục vụ cho quá trình nhận dạng.
2.1.2.3 Nhận dạng theo thời gian thực.
Trong phương pháp nhận dạng đệ quy nếu thông số của mô hình có đầy đủ
cho mỗi thời điểm được quan sát theo thời gian thực, gọi là phương pháp nhận dạng
theo thời gian thực. Nó được sử dụng cho nhận dạng thông số hệ thống biến đổi
chậm thời gian. Để xác định thông số (t+1) trên cơ sở N cặp tín hiệu vào-ra, phải
thực hiện liên tiếp thủ tục nhận dạng dữ liệu tín hiệu vào-ra với bậc phù hợp. Thuật
toán có dạng:
𝜃 𝑡 + 1 = 𝜃 𝑡 + Γ 𝑡 .e t

2.33

Với e(t) là sai lệch tại thời điểm t; Γ 𝑡 là số phụ thuộc vào đối tượng nhận
dạng tại thời điểm t.

𝑖 = 1, 2, … , 𝑚



Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

38

39

Phương pháp nhận dạng đối tượng theo đặc tính vào-ra, là điểm mạnh về ứng

Cho hệ tuyến tính bất biến thời gian với thông số chưa biết, đối với hệ một

dụng của mạng nơron. Sử dụng mạng nơron để nhận dạng đối tượng có nhiều ưu
điểm hơn so với phương pháp nhận dạng truyền thống vì:
Mạng nơron là hệ học và thích nghi có khả năng học on-line từ các số liệu
quá khứ, do đó kết quả nhận dạng có thể đạt được độ chính xác rất cao. Mạng nơron

đầu vào, một đầu ra (Single Input, Sing Output – SISO) để điều khiển và quan sát
đối tượng, ma trận A, B và C của đối tượng ở dạng rời rạc được cho ở dạng.

là hệ xử lý song song do đó tốc độ tính toán cao, mà các phương pháp nhận dạng
truyền thống khó có thể đạt được. Mặt khác mạng nơron là hệ MIMO (Many Input,
Many Output), do đó rất tiện dùng khi nhận dạng cho đối tượng nhiều biến. Tóm lại
bản chất “HỌC” mạng nơron có một trong những ứng dụng rất đặc trưng đó là nhận
dạng đối tượng căn cứ vào đặc tính vào-ra của nó.
Luận văn này quan tâm đến điều khiển thích nghi hệ thống, do đó chúng tôi
sử dụng phương pháp nhận dạng quỹ đạo theo thời gian thực, theo đặc điểm vào-ra
của đối tượng.
2.1.3 Mô tả toán học của đối tƣợng ở rời rạc
Phương trình không gian trạng thái của đối tượng được biểu diễn ở dạng:
𝑑𝑥 𝑡
= 𝑥 𝑡 ,𝑢 𝑡

2.34
𝑑𝑡
𝑦 𝑡 = 𝑥 𝑡 ;
Trong đó: 𝑥 𝑡 = 𝑥1 𝑡 , 𝑥2 𝑡 , … , 𝑥𝑛 𝑡

𝑇

𝑛−1

𝑦𝑝 𝑘 + 1 =
𝑖=1

𝛽𝑗 𝑢 𝑘 − 𝑗

2.36

𝑗 =0

Trong đó i,  j là các hằng số chưa biết; mn.
Tín hiệu ra yp(k+1) là tổ hợp tuyến tính của các giá trị quá khứ của cả tín
hiệu đầu vào u(k-j) (j = 0, 1, 2,…, m-1) và tín hiệu đầu ra yp(k-i) (i = 1, 2, …, n)
* Đối tượng phi tuyến
Có 4 dạng đối tượng phi tuyến rời rạc biểu diễn như sau:
- Dạng 1:
𝑛−1

𝑦𝑝 𝑘 + 1 =

𝛼𝑖 𝑦𝑝 𝑘 − 𝑖 + 𝑔 𝑢 𝑘 , 𝑢 𝑘 − 1 , … , 𝑢 𝑘 − 𝑚 + 1 ; 2.37
1

u(k)
Z



-1

;

𝑢 𝑡 = 𝑢1 𝑡 , 𝑢2 𝑡 , … , 𝑢𝑛 𝑡

𝑚 −1

𝛼𝑖 𝑦𝑝 𝑘 − 𝑖 +

yp(k+1)

yp(k)

Z-1
yp(k)

u(k-1)
g(.)

𝑇

;

𝑦 𝑡 = 𝑦1 𝑡 , 𝑦2 𝑡 , … , 𝑦𝑛 𝑡 𝑇 ;
Tương ứng với hệ có p đầu vào, m đầu ra có bậc n với u i(t) là các đầu vào,

Z-1

Z-1
yp(k-1)

u(k-m+1)



xi(t) là các biến trạng thái và y i(t) là các đầu ra của hệ.  véc tơ bậc RnxRp và  bậc

Z-1

m

R . Véc tơ x(t) biểu thị trạng thái của hệ thống theo thời gian t và được xác định tại
thời điểm t0phụ thuộc trạng thái x(t). Phương trình trạng thái viết ở dạng rời rạc:
𝑥 𝑘 + 1 = 𝜙 𝑥 𝑘 ,𝑢 𝑘 ;
𝑦 𝑘 = Ψ𝑥 𝑘 ;
2.35
Trong đó: u(.), x(.), y(.) là các biến ở dạng rời rạc. Nếu (2.35) là dạng tuyến
tính ta được:

yp(k-n+1)
Hình 2.5 Mô hình dạng 1
yp(k+1) phụ thuộc tuyến tính vào giá trị quá khứ yp(k-1) (i = 0, 1, …, n-1) và phụ

thuộc phi tuyến vào giá trị quá khứ đầu vào u(k),…, u(k-m+1).
- Dạng 2:
m-1

𝑥 𝑘 + 1 = 𝐴𝑥 𝑘 + 𝐵𝑢 𝑘 ;
𝑦 𝑘 = 𝐶𝑥 𝑘 ;
Với A, B, C là các ma trận tương ứng với cấp (nxn), (nxp), (mxn).

yp k+1 =f yp k , yp k-1 ,…,yp k-n+1 +

βi up k-i ; 2.38
i=0

* Đối tượng tuyến tính

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên



Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên