(LUẬN văn THẠC sĩ) CÁCPHƯƠNG PHÁPỨNG DỤNG MẠNG NƠRON TRONG điều KHIỂN

1

download by :


LỜI CAM ĐOAN
Nội dung của báo cáo này đã trình bày khái niệm cơ bản về mạng nơron và
một số phương pháp ứng dụng mạng nơron để nhận dạng đối tượng. Dưới sự chỉ
bảo và hướng dẫncủa PGS. TS. Hoàng Mạnh Thắng tác giả đã nghiên cứu tìm hiểu
một số phương pháp ứng dụng mạng nơron để nhận dạng đối tượng. Từ đó, nghiên
cứu và xây dựng ứng dụng mạng nơron trong điều khiển thích nghi, điều khiển dự
đốn và điều khiển phản hồi (đã mô phỏng thành công một số kết quả thực tế). Tôi
xin cam đoan những nội dung của luận văn này là hoàn toàn trung thực, chính xác
và chưa được ai cơng bố trong các cơng trình khoa học nào khác.
TÁC GIẢ

2

download by :


LỜI CẢM ƠN
Để hồn thành q trình nghiên cứu được trình bày trong luận văn, em xin
gửi lời cảm ơn đến các thầy cô giáo tại Viện Điện tử - Viễn thơng đã tạo điều kiện
giúp em hồn thiện đồ án tốt nghiệp này. Em xin gửi lời cảm ơn sâu sắc nhất đến
thầy PGS. TS. Hoàng Mạnh Thắng đã trực tiếp hướng dẫn em hoàn thành luận văn
với sự nhiệt tình và ân cần chỉ bảo, đồng thời cung cấp cho em những kiến thức
chun mơn để em có thể hồn thiện luận văn tốt nghiệp.
Cuối cùng, tơi xin gửi lời cảm ơn chân thành đến gia đình, bạn bè và người
thân, những người đã bên cạnh và động viên tơi trong suốt q trình học tập và
hồn thành luận văn.

TÁC GIẢ

3

download by :


MỤC LỤC
LỜI CAM ĐOAN......................................................................................................................
DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT .........................................................
DANH MỤC HÌNH ẢNH........................................................................................................
LỜI NĨI ĐẦU ...........................................................................................................................
CHƯƠNG 1: TỔNG QUAN VỀ MƠ HÌNH MẠNG NƠRON..........................................
1.1 Giới thiệu về mạng nơron nhân tạo ..................................................................

1.1.1Mạng nơron nhân tạo là gì?..................

1.1.2Lịch sử phát triển mạng nơron .............

1.1.3So sánh mạng nơron với máy tính truyề
1.2. Nơron sinh học và nơron nhân tạo ..................................................................

1.2.1Nơron sinh học .....................................

1.2.2Nơron nhân tạo .....................................
1.3 Mơ hình mạng nơron .......................................................................................

1.3.1Các kiểu mơ hình mạng nơron .............

1.3.2Perceptron.............................................

1.3.3Mạng nhiều tầng truyền thẳng (MLP) ..
1.4. Kết luận chương 1 ..........................................................................................
CHƯƠNG 2: CÁC PHƯƠNG PHÁP ỨNG DỤNG MẠNG NƠRON TRONG NHẬN
DẠNG.......................................................................................................................................
2.1 Các phương pháp ứng dụng mạng nơron trong nhận dạng ...............................

2.1.1Khái quát chung....................................

2.1.2Các phương pháp nhận dạng ................
2.1.2.1.1 Phương pháp lặp bình phương cực tiểu ...................................................
2.1.2.1.2 Phương pháp xấp xỉ ngẫu nghiên. ...........................................................
2.1.2.1.3 Phương pháp lọc Kalman mở rộng..........................................................
2.1.2.1.4 Phương pháp tìm kiếm trực tiếp ..............................................................
2.1.2.1.5 Phương pháp sử dụng hàm nhạy..............................................................

2.1.3Mơ tả tốn học của đối tựợng ở rời rạc.
4

download by :


2.1.4 Mơ hình dùng mạng nơron..................................................................................... 44
2.1.5 Tính gần đúng hàm số dùng mạng nơron............................................................ 47
2.1.6 Mơ hình mạng nơron trong nhận dạng và điều khiển...................................... 48
2.2. Kết luận chương 2.......................................................................................................... 82
CHƯƠNG 3: CÁC PHƯƠNG PHÁP ỨNG DỤNG MẠNG NƠRON TRONG ĐIỀU

KHIỂN....................................................................................................................................... 52
3.1 Ứng dụng mạng neural vào điều khiển dự đoán....................................................... 52

3.1.1 Hệ thống nhận dạng.................................................................................................. 52
3.1.2 Mạng dự đoán............................................................................................................ 54
3.1.3 Ứng dụng mạng nơron dự đoán vào hệ thống Magnetic Levitation.............55
3.2 Ứng dụng mạng nơron vào điều khiển thích nghi [1]............................................. 59
3.2.1 Xác định các Model NARMA-L2 [2].................................................................. 60
3.2.2 Sử dụng các khối điều khiển NARMA-L2 [2]................................................... 63
3.2.3 Kết quả thực nghiệm trên MATLAB [3]............................................................. 66
3.3 Mạng nơron trong điều khiển phản hồi [4]................................................................ 79
3.3.1 Phản hồi tuyến tính của hệ thống phi tuyến dùng mạng nơron...................... 80
3.3.2 Ứng dụng mạng nơron trong mạng phản hồi..................................................... 81
3.4. Kết luận chương 3.......................................................................................................... 82
TỔNG KẾT.............................................................................................................................. 82
TÀI LIỆU THAM KHẢO..................................................................................................... 83

5

download by :


DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ
STT

Ký hiệu
1

Artificial Intelligence

2

Artificial Neural

3

Artificial Neural Network (ANN)

4

Axon

5

Bias

6

Cell body

7

Character Recognition

8

Data Filtering

9

Dendrites

10

Institute of Electrical and Electronic
Engineer (IEEE)

11

Input signals

12

Language Processing

13

Least Mean Squares (LMS)

14

Multiple Adaptive Linear Elements

15

Many input many output (MIMO)

16

Multi Layer Perceptron (MLP)

17

Neural Networks for Computing

18

Output Layer

19

Organization of Behavior

20

Voice Recognition

21

Pattern Recognition

22

Signal Processing

23

Summing function

24

Synaptic weight

25

Transfer function

6

download by :


DANH MỤC HÌNH ẢNH
Hình 1.1: Cấu trúc của một nơron sinh học điển hình ...........................................
Hình 1.2: Nơron nhân tạo......................................................................................
Hình 1.3: Mạng tự kết hợp.....................................................................................
Hình 1.4: Mạng kết hợp khác kiểu .........................................................................
Hình 1.5: Mạng truyền thẳng.................................................................................
Hình 1.6: Mạng phản hồi.......................................................................................
Hình 1.7: Perceptron.............................................................................................
Hình 1.8: Mạng MLP tổng quát.............................................................................
Hình 2.1: Điều khiển theo nguyên tắc phản hồi đầu ra ..........................................
Hình 2.2: Quy trình nhận dạng hệ thống ...............................................................
Hình 2.3: Sơ đồ tổng quát nhận dạng thơng số mơ hình.........................................
Hình 2.4: Nhận dạng theo phương pháp gradient..................................................
Hình 2.5: Mơ hình dạng 1......................................................................................
Hình 2.6: Mơ hình dạng 2......................................................................................
Hình 2.7: Mơ hình dạng 3......................................................................................
Hình 2.8: Mơ hình dạng 4......................................................................................
Hình 2.9: Mơ hình nhận dạng kiểu truyền thẳng....................................................
Hình 2.10: Mơ hình nhận dạng kiểu song song......................................................
Hình 2.11: Mơ hình nhận dạng kiểu nối tiếp-song song.........................................
Hình 2.12: Mơ hình nhận dạng ngược trực tiếp .....................................................

Hình 2.13, 2.14, 2.15, 2.16: Mơ hình mạng nơron .................................................
Hình 3.1: Nhận dạng thực vật................................................................................
Hình 3.2: Mơ hình mạng nơron thực vật................................................................
Hình 3.3: Mạng nơron điều khiển dự đốn ............................................................
Hình 3.4: Hệ thống Magnetic Levitation................................................................
Hình 3.5: Dữ liệu huấn luyện có chiều rộng xung dài............................................
Hình 3.6: Huấn luyện dữ liệu có độ rộng xung ngắn..............................................
Hình 3.7: Dữ liệu huấn luyện với hỗn hợp độ rộng xung .......................................
Hình 3.8: Phản ứng Maglev và hành động kiểm sốt bằng cách sử dụng điều khiển
dự đốn .................................................................................................................
Hình 3.9: Cấu trúc một mạng nơron......................................................................
Hình 3.10: Sơ đồ khối của bộ điều khiển NARMA-L2 ............................................
Hình 3.11: Bộ điều khiển thực hiện với mơ hình nhận dạng NARMA-L2................
Hình 3.12: Sơ đồ điều khiển vị trí nam châm vĩnh cửu...........................................
7

download by :


Hình 3.13: Các Simulink biên soạn với các mơ hình..................................................... 65
Hình 3.14: Cửa sổ cho phép tạo mơ hình NARMA-L2.................................................. 65
Hình 3.15: Đồ thị vị trí mẫu và vị trí sau khi đã điều khiển......................................... 66
Hình 2.16: Sơ đồ khối mơ tả động cơ điện một chiều.................................................... 67
Hình 3.17: Sơ đồ mạng nơron truyền thẳng nhiều lớp điều khiển thích nghi vị trí
động cơ điện một chiều khi có tải thay đổi....................................................................... 67
Hình 3.18: Bảng điều khiển nhận dạng tín hiệu vị trí động cơ một chiều NARMA-L2
68
Hình 3.19: Dữ liệu vào ra của tín hiệu vị trí động cơ một chiều................................ 68
Hình 3.20: Xuất dữ liệu làm việc........................................................................................ 69
Hình 3.21: Nhập dữ liệu vào bộ điều khiển...................................................................... 69

Hình 3.22: Huấn luyện đối tượng với dư liệu đã nhập vào.......................................... 70
Hình 3.23: Dữ liệu huấn luyện cho bộ điều khiển NN NARMA-L2............................ 70
Hình 3.24: Dữ liệu xác nhận cho bộ điều khiển NN NARMA-L2................................ 71
Hình 3.25: Dữ liệu kiểm tra cho bộ điều khiển NN NARMA-L2................................. 71
Hình 3.26: Đồ thị vị trí mẫu qd........................................................................................... 72
(nét mảnh) và vị trí sau khi đã điều khiển q (nét đậm).................................................. 72
Hình 3.27: Đồ thị điện áp điều khiển................................................................................. 72
Hình 3.28: Đồ thị mơmen tải MC (Nm)............................................................................. 73
Hình 3.29: Sơ đồ khối mơ tả động cơ điện một chiều khi có R, MC thay đổi..........74
Hình 3.30: Dữ liệu vào ra của tín hiệu vị trí động cơ một chiều................................ 75
Hình 3.31: Bảng điều khiển nhận dạng tín hiệu vị trí động cơ một chiều NARMA-L2
75
Hình 3.32: Huấn luyện đối tượng với dư liệu đã nhập vào.......................................... 76
Hình 3.33: Dữ liệu huấn luyện cho bộ điều khiển NN NARMA-L2............................ 76
Hình 3.34: Dữ liệu xác nhận cho bộ điều khiển NN NARMA-L2................................ 77
Hình 3.35: Dữ liệu kiểm tra cho bộ điều khiển NN NARMA-L2................................. 77
Hình 3.36: Đồ thị điện áp điều chỉnh u............................................................................. 77
Hình 3.37: Đồ thị điện trở R................................................................................................ 78
Hình 3.38: Đồ thị mơmen tải MC (Nm)............................................................................. 78
Hình 3.39: Đồ thị vị trí mẫu qd (nét mảnh) và vị trí sau khi đã điều khiển q..........79
(nét đậm)................................................................................................................................... 79
Hình 3.40: Phản hồi tuyến tính điều khiển mạng nơron............................................... 81

8

download by :


LỜI NÓI ĐẦU
Ngày nay do tiến bộ của khoa học kỹ thuật trong điện tử và tin học, các hệ

thống điều khiển tự động được phát triển và có sự thay đổi lớn. Công nghệ vi mạch
phát triển khiến cho việc sản xuất các thiết bị điện tử ngày càng hoàn thiện. Các bộ
biến đổi điện tử trong các hệ thống không những đáp ứng được khả năng tác động
nhanh, độ chính xác cao mà cịn góp phần giảm kích thước và hạ giá thành của hệ
thống. Đặc biệt trong những thập kỷ gần đây trước sự phát triển mạnh mẽ và ngày càng
hoàn thiện của lý thuyết mạng nơ ron truyền thẳng nhiều lớp đã và đang mở ra một kỷ
nguyên mới ngành điều khiển. Tuy là ngành kỹ thuật điều khiển non trẻ nhưng những
ứng dụng trong công nghiệp của điều khiển mạng nơ ron rất rộng rãi như trong nhận
dạng, phân loại sản phẩm, xử lý tiếng nói, chữ viết và điều khiển hệ thống, điều khiển
rơ bốt. Tới nay đã có rất nhiều sản phẩm cơng nghiệp được tạo ra và nhờ kỹ thuật điều
khiển mạng nơ ron, rất nhiều nước trên thế giới đã thành cơng.

Để điều khiển chính xác đối tượng khi chưa biết rõ được thông số, trước tiên
ta phải hiểu rõ đối tượng đó. Đối với đối tượng có thơng số thay đổi như động cơ
một chiều và có tải thay đổi, ta cần thực hiện nhận dạng đặc tính vào ra của nó để
đảm bảo tạo ra tín hiệu điều khiển thích nghi được lựa chọn chính xác hơn.
Chính vì thế mà việc đi sâu nghiên cứu và áp dụng lý thuyết điều khiển nơ
ron truyền thẳng nhiều lớp trong điều khiển thích nghi vị trí động cơ một chiều khi
có thơng số và tải thay đổi có ý nghĩa khoa học rất lớn.
Đề tài này nghiên cứu ứng dụng mạng nơ ron truyền thẳng nhiều lớp (bộ
điều khiển NARMA-L2) trong điều khiển thích nghi vị trí động cơ điện một chiều
khi có thơng số và tải thay đổi.
Do kiến thức còn hạn hẹp và thời gian thực hiện chưa được nhiều nên luận
văn này cịn rất nhiều sai sót, hạn chế. Vì vậy tơi mong nhận được nhiều sự góp ý
để đề tài được hoàn thiện hơn.
Em xin gửi lời cảm ơn chân thành nhất tới thầy giáo PGS.TS. Hoàng Mạnh
Thắng đã nhiệt tình, tận tụy hướng dẫn giúp em hoàn thành đề tài này.
9

download by :

Em xin chân thành cảm ơn !

10

download by :


CHƯƠNG 1: TỔNG QUAN VỀ MƠ HÌNH MẠNG
NƠRON 1.1 Giới thiệu về mạng nơron nhân tạo
1.1.1 Mạng nơron nhân tạo là gì?
Định nghĩa: Mạng nơron nhân tạo, ArtificialNeural Network (ANN) gọi tắt
là mạng nơron, neural network, là một mơ hình xử lý thông tin phỏng theo cách
thức xử lý thông tin của các hệ nơron sinh học. Nó được tạo lên từ một số lượng
lớn các phần tử (gọi là phần tử xử lý hay nơron) kết nối với nhau thông qua các liên
kết (gọi là trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn
đề cụ thể nào đó.
Một mạng nơron nhân tạo được cấu hình cho một ứng dụng cụ thể (nhận
dạng mẫu, phân loại dữ liệu...) thơng qua một q trình học từ tập các mẫu huấn
luyện. Về bản chất, học chính là q trình hiệu chỉnh trọng số liên kết giữa các
nơron.
1.1.2 Lịch sử phát triển mạng nơron
Các nghiên cứu về bộ não con người đã được tiến hành từ hàng nghìn năm
nay. Cùng với sự phát triển của khoa học kĩ thuật đặc biệt là những tiến bộ trong
ngành điện tử hiện đại, việc con người bắt đầu nghiên cứu các nơron nhân tạo là
hoàn toàn tự nhiên. Sự kiện đầu tiên đánh dấu sự ra đời của mạng nơron nhân tạo
diễn ra vào năm 1943 khi nhà thần kinh học Warren McCulloch và nhà toán học
Walter Pitts viết bài báo mô tả cách thức các nơron hoạt động. Họ cũng đã tiến
hành xây dựng một mạng nơron đơn giản bằng các mạch điện. Các nơron của họ

được xem như là các thiết bị nhị phân với ngưỡng cố định. Kết quả của các mơ
hình này là các hàm logic đơn giản chẳng hạn như “a OR b” hay “a AND b”.
Tiếp bước các nghiên cứu này, năm 1949 Donald Hebb cho xuất bản cuốn
sách Organization of Behavior. Cuốn sách đã chỉ ra rằng các nơron nhân tạo sẽ trở
lên hiệu quả hơn sau mỗi lần chúng được sử dụng.
Những tiến bộ của máy tính đầu những năm 1950 giúp cho việc mơ hình hóa
các ngun lý của những lý thuyết liên quan tới cách thức con người suy nghĩ đã trở

11

download by :


thành hiện thực. Nathanial Rochester sau nhiều năm làm việc tại các phịng thí
nghiệm nghiên cứu của IBM đã có những nỗ lực đầu tiên để mô phỏng một mạng
nơron. Trong thời kì này tính tốn truyền thống đã đạt được những thành cơng rực
rỡ trong khi đó những nghiên cứu về nơron còn ở giai đoạn sơ khai. Mặc dù vậy
những người ủng hộ triết lý “thinking machines” (các máy biết suy nghĩ) vẫn tiếp
tục bảo vệ cho lập trường của mình.
Năm 1956 dự án Dartmouth nghiên cứu về trí tuệ nhân tạo (Artificial
Intelligence) đã mở ra thời kỳ phát triển mới cả trong lĩnh vực trí tuệ nhân tạo lẫn
mạng nơron. Tác động tích cực của nó là thúc đẩy hơn nữa sự quan tâm của các
nhà khoa học về trí tuệ nhân tạo và q trình xử lý ở mức đơn giản của mạng nơron
trong bộ não con người.
Những năm tiếp theo của dự án Dartmouth, John von Neumann đã đề xuất
việc mô phỏng các nơron đơn giản bằng cách sử dụng rơle điện áp hoặc đèn chân
không. Nhà sinh học chuyên nghiên cứu về nơron Frank Rosenblatt cũng bắt đầu
nghiên cứu về Perceptron. Sau thời gian nghiên cứu này Perceptron đã được cài đặt
trong phần cứng máy tính và được xem như là mạng nơron lâu đời nhất còn được
sử dụng đến ngày nay. Perceptron một tầng rất hữu ích trong việc phân loại một tập

các đầu vào có giá trị liên tục vào một trong hai lớp. Perceptron tính tổng có trọng
số các đầu vào, rồi trừ tổng này cho một ngưỡng và cho ra một trong hai giá trị
mong muốn có thể. Tuy nhiên Perceptron còn rất nhiều hạn chế, những hạn chế này
đã được chỉ ra trong cuốn sách về Perceptron của Marvin Minsky và Seymour
Papert viết năm 1969.
Năm 1959, Bernard Widrow và Marcian Hoff thuộc trường đại học Stanford
đã xây dựng mô hình ADALINE (ADAptive LINear Elements) và MADALINE.
(Multiple ADAptive LINear Elements). Các mơ hình này sử dụng quy tắc học
Least-Mean-Squares (LMS: Tối thiểu bình phương trung bình). MADALINE là
mạng nơron đầu tiên được áp dụng để giải quyết một bài toán thực tế. Nó là một bộ
lọc thích ứng có khả năng loại bỏ tín hiệu dội lại trên đường dây điện thoại. Ngày
nay mạng nơron này vẫn được sử dụng trong các ứng dụng thương mại.
12

download by :


Năm 1974 Paul Werbos đã phát triển và ứng dụng phương pháp học lan
truyền ngược (back-propagation). Tuy nhiên phải mất một vài năm thì phương
pháp này mới trở lên phổ biến. Các mạng lan truyền ngược được biết đến nhiều
nhất và được áp dụng rộng dãi nhất nhất cho đến ngày nay.
Thật không may, những thành công ban đầu này khiến cho con người nghĩ
quá lên về khả năng của các mạng nơron. Chính sự cường điệu quá mức đã có
những tác động khơng tốt đến sự phát triển của khoa học và kỹ thuật thời bấy giờ
khi người ta lo sợ rằng đã đến lúc máy móc có thể làm mọi việc của con người.
Những lo lắng này khiến người ta bắt đầu phản đối các nghiên cứu về mạng
neuron. Thời kì tạm lắng này kéo dài đến năm 1981.
Năm 1982 trong bài báo gửi tới viện khoa học quốc gia, John Hopfield bằng
sự phân tích tốn học rõ ràng, mạch lạc, ông đã chỉ ra cách thức các mạng nơron
làm việc và những cơng việc chúng có thể thực hiện được. Cống hiến của Hopfield

không chỉ ở giá trị của những nghiên cứu khoa học mà còn ở sự thúc đẩy trở lại các
nghiên cứu về mạng neuron.
Cũng trong thời gian này, một hội nghị với sự tham gia của Hoa Kỳ và Nhật
Bản bàn về việc hợp tác/cạnh tranh trong lĩnh vực mạng nơron đã được tổ chức tại
Kyoto, Nhật Bản. Sau hội nghị, Nhật Bản đã công bố những nỗ lực của họ trong
việc tạo ra máy tính thế hệ thứ 5. Tiếp nhận điều đó, các tạp chí định kỳ của Hoa
Kỳ bày tỏ sự lo lắng rằng nước nhà có thể bị tụt hậu trong lĩnh vực này. Vì thế,
ngay sau đó, Hoa Kỳ nhanh chóng huy động quĩ tài trợ cho các nghiên cứu và ứng
dụng mạng neuron.
Năm 1985, viện vật lý Hoa Kỳ bắt đầu tổ chức các cuộc họp hàng năm về
mạng neuron ứng dụng trong tin học (Neural Networks for Computing).
Năm 1987, hội thảo quốc tế đầu tiên về mạng neuron của Viện các kỹ sư
điện và điện tử IEEE (Institute of Electrical and Electronic Engineer) đã thu hút
hơn 1800 người tham gia.
Ngày nay, không chỉ dừng lại ở mức nghiên cứu lý thuyết, các nghiên cứu
ứng dụng mạng nơron để giải quyết các bài toán thực tế được diễn ra ở khắp mọi
13

download by :


nơi. Các ứng dụng mạng nơron ra đời ngày càng nhiều và ngày càng hồn thiện
hơn. Điển hình là các ứng dụng: xử lý ngơn ngữ (Language Processing), nhận dạng
kí tự (Character Recognition), nhận dạng tiếng nói (Voice Recognition), nhận dạng
mẫu (Pattern Recognition), xử lý tín hiệu (Signal Processing), lọc dữ liệu (Data
Filtering)...
1.1.3 So sánh mạng nơron với máy tính truyền thống
Các mạng nơron có cách tiếp cận khác trong giải quyết vấn đề so với máy
tính truyền thống. Các máy tính truyền thống sử dụng cách tiếp cận theo hướng giải
thuật, tức là máy tính thực hiện một tập các chỉ lệnh để giải quyết một vấn đề. Vấn

đề được giải quyết phải được biết và phát biểu dưới dạng một tập chỉ lệnh không
nhập nhằng. Những chỉ lệnh này sau đó phải được chuyển sang một chương trình
ngơn ngữ bậc cao và chuyển sang mã máy để máy tính có thể hiểu được.
Trừ khi các bước cụ thể mà máy tính cần tuân theo được chỉ ra rõ ràng, máy
tính sẽ khơng làm được gì cả. Điều đó giới hạn khả năng của các máy tính truyền
thống ở phạm vi giải quyết các vấn đề mà chúng ta đã hiểu và biết chính xác cách
thực hiện. Các máy tính sẽ trở lên hữu ích hơn nếu chúng có thể thực hiện được
những việc mà bản thân con người khơng biết chính xác là phải làm như thế nào.
Các mạng nơron xử lý thông tin theo cách thức giống như bộ não con người.
Mạng được tạo nên từ một số lượng lớn các phần tử xử lý được kết nối với nhau
làm việc song song để giải quyết một vấn đề cụ thể. Các mạng nơron học theo mơ
hình, chúng khơng thể được lập trình để thực hiện một nhiệm vụ cụ thể. Các mẫu
phải được chọn lựa cẩn thận nếu khơng sẽ rất mất thời gian, thậm chí mạng sẽ hoạt
động không đúng. Điều hạn chế này là bởi vì mạng tự tìm ra cách giải quyết vấn
đề, thao tác của nó khơng thể dự đốn được.
Các mạng nơron và các máy tính truyền thống khơng cạnh tranh nhau mà bổ
sung cho nhau. Có những nhiệm vụ thích hợp hơn với máy tính truyền thống, ngược lại
có những nhiệm vụ lại thích hợp hơn với các mạng nơron. Thậm chí rất nhiều nhiệm
vụ địi hỏi các hệ thống sử dụng tổ hợp cả hai cách tiếp cận để thực hiện

14

download by :


được hiệu quả cao nhất (thơng thường một máy tính truyền thống được sử dụng để
giám sát mạng nơron).
1.2. Nơron sinh học và nơron nhân tạo
1.2.1 Nơron sinh học
Qua quá trình nghiên cứu về bộ não, người ta thấy rằng: bộ não con người

bao gồm khoảng 1011 nơron tham gia vào khoảng 1015 kết nối trên các đường
truyền. Mỗi đường truyền này dài khoảng hơn một mét. Các nơron có nhiều đặc
điểm chung với các tế bào khác trong cơ thể, ngồi ra chúng cịn có những khả
năng mà các tế bào khác khơng có được, đó là khả năng nhận, xử lý và truyền các
tín hiệu điện hóa trên các đường mòn nơron, các con đường này tạo nên hệ thống
giao tiếp của bộ não.

Hình 1.1: Cấu trúc của một nơron sinh học điển hình
Mỗi nơron sinh học có 3 thành phần cơ bản:
• Các nhánh vào hình cây ( dendrites)
• Thân tế bào (cell body)
• Sợi trục ra (axon)

Các nhánh hình cây truyền tín hiệu vào đến thân tế bào. Thân tế bào tổng hợp
và xử lý cho tín hiệu đi ra. Sợi trục truyền tín hiệu ra từ thân tế bào này sang nơron
khác. Điểm liên kết giữa sợi trục của nơron này với nhánh hình cây của nơron khác gọi
là synapse. Liên kết giữa các nơron và độ nhạy của mỗi synapse được xác định

15

download by :


bởi q trình hóa học phức tạp. Một số cấu trúc của nơron được xác định trước lúc
sinh ra. Một số cấu trúc được phát triển thơng qua q trình học. Trong cuộc đời cá
thể, một số liên kết mới được hình thành, một số khác bị hủy bỏ.
Như vậy nơron sinh học hoạt động theo cách thức sau: nhận tín hiệu đầu
vào, xử lý các tín hiệu này và cho ra một tín hiệu output. Tín hiệu output này sau
đó được truyền đi làm tín hiệu đầu vào cho các nơron khác.
Dựa trên những hiểu biết về nơron sinh học, con người xây dựng nơron nhân

tạo với hy vọng tạo nên một mơ hình có sức mạnh như bộ não.
1.2.2 Nơron nhân tạo
Một nơron là một đơn vị xử lý thông tin và là thành phần cơ bản của một
mạng nơron. Cấu trúc của một nơron được mô tả trên hình dưới.

Hình 1.2: Nơron nhân tạo
Các thành phần cơ bản của một nơron nhân tạo bao gồm:
♦ Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín

hiệu này thường được đưa vào dưới dạng một vector N chiều.
♦ Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số (gọi là trọng số

liên kết – Synaptic weight). Trọng số liên kết giữa tín hiệu vào thứ j với nơron k
thường được kí hiệu là wkj. Thơng thường, các trọng số này được khởi tạo một cách

ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học
mạng.

16

download by :


♦ Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu

vào với trọng số liên kết của nó.
♦ Ngưỡng (cịn gọi là một độ lệch - bias): Ngưỡng này thường được đưa

vào như một thành phần của hàm truyền.
♦ Hàm truyền (Transfer function) : Hàm này được dùng để giới hạn phạm

vi đầu ra của mỗi nơron. Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã
cho. Thông thường, phạm vi đầu ra của mỗi nơron được giới hạn trong đoạn [0,1]
hoặc [-1, 1]. Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi
tuyến. Việc lựa chọn hàm truyền nào là tuỳ thuộc vào từng bài toán và kinh nghiệm
của người thiết kế mạng. Một số hàm truyền thường sử dụng trong các mơ hình
mạng nơron được đưa ra trong bảng 1 .
♦ Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là

một đầu ra.
Xét về mặt toán học, cấu trúc của một nơron k, được mô tả bằng cặp biểu
thức sau:
[Cơng thức]
Trong đó: x1, x2 ..., xp: là các tín hiệu vào; (wk1, wk2…..wkp) là các trọng số

liên kết của nơron thứ k;u k là hàm tổng; bk là một ngưỡng; f là hàm truyền và y k là
tín hiệu đầu ra của nơron.
Như vậy tương tự như nơron sinh học, nơron nhân tạo cũng nhận các tín
hiệu đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích
thu được rồi gửi kết quả tới hàm truyền), và cho một tín hiệu đầu ra (là kết quả của
hàm truyền).

17

download by :


Bảng 1: Một số hàm truyền thông dụng
Hàm truyền

Symmetrical

Đồ thị

Định nghĩa

Hard

Limit (hardlims)

Linear (purelin)

Saturating

Linear

(satlin)

Log-Sigmoid (logsig)

1.3 Mơ hình mạng nơron
Mặc dù mỗi nơron đơn lẻ có thể thực hiện những chức năng xử lý thơng tin
nhất định, sức mạnh của tính tốn nơron chủ yếu có được nhờ sự kết hợp các nơron
trong một kiến trúc thống nhất. Một mạng nơron là một mơ hình tính tốn được xác
định qua các tham số: kiểu nơron (như là các nút nếu ta coi cả mạng nơron là một
đồ thị), kiến trúc kết nối (sự tổ chức kết nối giữa các nơron) và thuật toán học
(thuật toán dùng để học cho mạng).
Về bản chất một mạng nơron có chức năng như là một hàm ánh xạ F: X →
Y, trong đó X là khơng gian trạng thái đầu vào (input state space) và Y là không
18

download by :


gian trạng thái đầu ra (output state space) của mạng. Các mạng chỉ đơn giản là làm
nhiệm vụ ánh xạ các vector đầu vào x ∈ X sang các vector đầu ra y ∈ Y thông qua

“bộ lọc” (filter) các trọng số. Tức là y = F(x) = s(W, x), trong đó W là ma trận trọng số
liên kết. Hoạt động của mạng thường là các tính tốn số thực trên các ma trận.

1.3.1 Các kiểu mơ hình mạng nơron
Cách thức kết nối các nơron trong mạng xác định kiến trúc (topology) của
mạng. Các nơron trong mạng có thể kết nối đầy đủ (fully connected) tức là mỗi
nơron đều được kết nối với tất cả các nơron khác, hoặc kết nối cục bộ (partially
connected) chẳng hạn chỉ kết nối giữa các nơron trong các tầng khác nhau. Người
ta chia ra hai loại kiến trúc mạng chính:
♦ Tự kết hợp (autoassociative): là mạng có các nơron đầu vào cũng là các

nơron đầu ra. Mạng Hopfield là một kiểu mạng tự kết hợp.

Hình 1.3: Mạng tự kết hợp
♦ Kết hợp khác kiểu (heteroassociative): là mạng có tập nơron đầu vào và

đầu ra riêng biệt. Perceptron, các mạng Perceptron nhiều tầng (MLP: MultiLayer
Perceptron), mạng Kohonen, … thuộc loại này.

19

download by :

Hình 1.4: Mạng kết hợp khác kiểu
Ngồi ra tùy thuộc vào mạng có các kết nối ngược (feedback connections) từ
các nơron đầu ra tới các nơron đầu vào hay không, người ta chia ra làm 2 loại kiến
trúc mạng.
♦ Kiến trúc truyền thẳng (feedforward architechture): là kiểu kiến trúc mạng

không có các kết nối ngược trở lại từ các nơron đầu ra về các nơron đầu vào; mạng
không lưu lại các giá trị output trước và các trạng thái kích hoạt của nơron. Các
mạng nơron truyền thẳng cho phép tín hiệu di chuyển theo một đường duy nhất; từ
đầu vào tới đầu ra, đầu ra của một tầng bất kì sẽ khơng ảnh hưởng tới tầng đó. Các
mạng kiểu Perceptron là mạng truyền thẳng.

Hình 1.5: Mạng truyền thẳng
♦ Kiến trúc phản hồi (Feedback architecture): là kiểu kiến trúc mạng có các

kết nối từ nơron đầu ra tới nơron đầu vào. Mạng lưu lại các trạng thái trước đó, và
trạng thái tiếp theo khơng chỉ phụ thuộc vào các tín hiệu đầu vào mà còn phụ thuộc
vào các trạng thái trước đó của mạng. Mạng Hopfield thuộc loại này.

20

download by :


Hình 1.6: Mạng phản hồi
1.3.2 Perceptron
Perceptron là mạng nơron đơn giản nhất, nó chỉ gồm một nơron, nhận đầu
vào là vector có các thành phần là các số thực và đầu ra là một trong hai giá trị +1
hoặc -1.

Hình 1.7: Perceptron
Đầu ra của mạng được xác định như sau: mạng lấy tổng có trọng số các
thành phần của vector đầu vào, kết quả này cùng ngưỡng b được đưa vào hàm
truyền (Perceptron dùng hàm Hard-limit làm hàm truyền) và kết quả của hàm
truyền sẽ là đầu ra của mạng.
Hoạt động của Perceptron có thể được mơ tả bởi cặp công thức sau:
Y = f(u - b) = Hardlimit (u - b); Y nhận giá trị +1 nếu u - b>0, ngược lại Y
nhận giá trị -1.
Perceptron cho phép phân loại chính xác trong trường hợp dữ liệu có thể
phân chia tuyến tính (các mẫu nằm trên hai mặt đối diện của một siêu phẳng). Nó

21

download by :


cũng phân loại đúng đầu ra các hàm AND, OR và các hàm có dạng đúng khi n trong m
đầu vào của nó đúng (n ≤ m). Nó khơng thể phân loại được đầu ra của hàm XOR.

1.3.3 Mạng nhiều tầng truyền thẳng (MLP)
Mơ hình mạng nơron được sử dụng rộng rãi nhất là mơ hình mạng nhiều
tầng truyền thẳng (MLP: Multi Layer Perceptron). Một mạng MLP tổng quát là
mạng có n (n≥2) tầng (thơng thường tầng đầu vào khơng được tính đến): trong đó
gồm một tầng đầu ra (tầng thứ n) và (n-1) tầng ẩn.

Hình 1.8: Mạng MLP tổng quát
Kiến trúc của một mạng MLP tổng quát có thể mô tả như sau:
♦ Đầu vào là các vector (x1, x2, ..., xp) trong không gian p chiều, đầu ra là

các vector (y1, y2, ..., yq) trong không gian q chiều. Đối với các bài tốn phân loại,
p chính là kích thước của mẫu đầu vào, q chính là số lớp cần phân loại. Xét ví dụ
trong bài tốn nhận dạng chữ số: với mỗi mẫu ta lưu tọa độ (x,y) của 8 điểm trên
chữ số đó, và nhiệm vụ của mạng là phân loại các mẫu này vào một trong 10 lớp
tương ứng với 10 chữ số 0, 1, …, 9. Khi đó p là kích thước mẫu và bằng 8 x 2 = 16;
q là số lớp và bằng 10.
♦ Mỗi nơron thuộc tầng sau liên kết với tất cả các nơron thuộc tầng liền trước

nó.
♦ Đầu ra của nơron tầng trước là đầu vào của nơron thuộc tầng liền sau nó.

Hoạt động của mạng MLP như sau: tại tầng đầu vào các nơron nhận tín hiệu
vào xử lý (tính tổng trọng số, gửi tới hàm truyền) rồi cho ra kết quả (là kết quả của
hàm truyền); kết quả này sẽ được truyền tới các nơron thuộc tầng ẩn thứ nhất; các
22

download by :


nơron tại đây tiếp nhận như là tín hiệu đầu vào, xử lý và gửi kết quả đến tầng ẩn
thứ 2;…; quá trình tiếp tục cho đến khi các nơron thuộc tầng ra cho kết quả.
Một số kết quả đã được chứng minh:
♦ Bất kì một hàm Boolean nào cũng có thể biểu diễn được bởi một mạng

MLP 2 tầng trong đó các nơron sử dụng hàm truyền sigmoid.
♦ Tất cả các hàm liên tục đều có thể xấp xỉ bởi một mạng MLP 2 tầng sử

dụng hàm truyền sigmoid cho các nơron tầng ẩn và hàm truyền tuyến tính cho các
nơron tầng ra với sai số nhỏ tùy ý.
♦ Mọi hàm bất kỳ đều có thể xấp xỉ bởi một mạng MLP 3 tầng sử dụng hàm

truyền sigmoid cho các nơron tầng ẩn và hàm truyền tuyến tính cho các nơron tầng ra.

1.4. Kết luận chương 1
Qua phân tích tổng quan về mạng nơ ron nhân tạo ở chương một, ta thấy mơ
hình mạng nơ ron có tính chất sau:
- Là hệ phi tuyến
- Là hệ xử lý song song
- Là hệ học và thích nghi: Mạng được luyện từ các số liệu quá khứ, có khả

năng tự chỉnh khi số liệu đầu vào bị mất.
- Là hệ nhiều biến, nhiều đầu vào, nhiều đầu ra rất tiện dùng khi điều khiển

đối tượng có nhiều biến số.
Vì vậy nó có ý nghĩa rất quan trọng trong q trình nhận dạng và điều khiển
thích nghi đối tượng có tính chất phi tuyến và phụ tải thay đổi.

23

download by :


CHƯƠNG 2: CÁC PHƯƠNG PHÁP ỨNG DỤNG MẠNG NƠRON TRONG
NHẬN DẠNG
2.1 Các phương pháp ứng dụng mạng nơron trong nhận dạng
2.1.1 Khái qt chung
2.1.1.1 Đặtvấnđề
Tạisaophảinhậndạng?Đểhiểurõvấnđềtaxétmộtbàitốnđiềukhiển
theonguntắcphảnhồinhưtrênhình2.1.

Hình 2.1: Điều khiển theo ngun tắc phản hồi đầu ra
Muốn tổng hợp được bộ điều khiển cho đối tượng hệ kín có được chất lượng
như mong muốn thì trước tiên phải hiểu biết về đối tượng, tức là cần phải có một
mơ hình tốn học mô tả đối tượng. Không thể điều khiển đối tượng khi khơng hiểu
biết hoặc hiểu sai lệch về nó. Kết quả tổng hợp bộ điều khiển phụ thuộc rất nhiều
vào mơ hình mơ tả đối tượng. Mơ hình càng chính xác, hiệu suất cơng việc càng
cao.
Việc xây dựng mơ hình cho đối tượng được gọi là mơ hình hóa. Người ta
thường phân chia các phương pháp mơ hình hóa ra làm hai loại:
- Phương pháp lý thuyết.
- Phương pháp thực nghiệm.

Phương pháp lý thuyết là phương pháp thiết lập mô hình dựa trên các định
luật có sẵn về quan hệ vật lý bên trong và quan hệ giao tiếp với mơi trường bên
ngồi của đối tượng. Các quan hệ này được mơ tả theo quy luật lý – hóa, quy luật
cân bằng,… dưới dạng những phương trình tốn học.
Trong các trường hợp mà ở đó sự hiểu biết về những quy luật giao tiếp bên
trong đối tượng cũng về mối quan hệ giữa đối tượng với mơi trường bên ngồi khơng
được đầy đủ để có thể xây dựng được một mơ hình hồn chỉnh, nhưng ít nhất từ đó có
thể cho biết các thông tin ban đầu về dạng mô hình thì tiếp theo người ta

24

download by :


phải áp dụng phương pháp thực nghiệm để hoàn thiện nốt việc xây dựng mơ hình
đối tượng trên cơ sở quan sát tín hiệu vào u(t) và ra y(t) của đối tượng sao cho mơ
hình thu được bằng phương pháp thực nghiệm thỏa mãn các yêu cầu của phương
pháp lý thuyết đề ra. Phương pháp thực nghiệm đó được gọi là nhận dạng hệ thống

điều khiển.
Như vậy khái niệm nhận dạng hệ thống điều khiển được hiểu là sự bổ sung
cho việc mơ hình hóa đối tượng mà ở đó lượng thông tin ban đầu về đối tượng điều
khiển không đầy đủ.
2.1.1.2 Định nghĩa
Nhận dạng hệ thống là xây dựng mơ hình tốn học của hệ (cấu trúc – tham
số) dựa trên các dữ liệu thực nghiệm đo được. Quá trình nhận dạng là quá trình
hiệu chỉnh các tham số của mơ hình sao cho tín hiệu ra của mơ hình tiến tới tín hiệu
đo được của hệ thống.
Khái niệm về bài toán nhận dạng được Zadeh định nghĩa vào năm 1962 với
hai điểm cơ bản sau:
- Nhận dạng là phương pháp thực nghiệm nhằm xác định một mơ hình cụ

thể trong lớp các mơ hình thích hợp trên cơ sở quan sát các tín hiệu vào ra.
- Mơ hình tìm được phải có sai số với đối tượng là nhỏ nhất.

Theo định nghĩa này thì những bài tốn nhận dạng sẽ phải được phân biệt
với nhau ở ba điểm chính, đó là:
- Lớp mơ hình thích hợp. Chẳng hạn lớp các mơ hình tuyến tính khơng có

cấu trúc (khơng biết bậc của mơ hình) hoặc có cấu trúc, lớp các loại mơ hình lưỡng
tuyến tính.
- Loại tín hiệu quan sát được (tiền định/ngẫu nhiên).
- Phương thức mô tả sai lệch giữa mơ hình thực và đối tượng.

2.1.1.3 Sơ lược về sự phát triển của các phương pháp nhận dạng.
Sự phát triển của nhận dạng trong lĩnh vực điều khiển tự động trong 60 năm
trở lại đây có thể chia thành ba giai đoạn như sau:

25

download by :