Tải bản đầy đủ (.pdf) (83 trang)

(LUẬN văn THẠC sĩ) CÁCPHƯƠNG PHÁPỨNG DỤNG MẠNG NƠRON TRONG điều KHIỂN

Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (6.46 MB, 83 trang )

1

download by : skknchat@gmail.com


LỜI CAM ĐOAN
Nội dung của báo cáo này đã trình bày khái niệm cơ bản về mạng nơron và
một số phương pháp ứng dụng mạng nơron để nhận dạng đối tượng. Dưới sự chỉ bảo và
hướng dẫncủa PGS. TS. Hoàng Mạnh Thắng tác giả đã nghiên cứu tìm hiểu một số
phương pháp ứng dụng mạng nơron để nhận dạng đối tượng. Từ đó, nghiên cứu và
xây dựng ứng dụng mạng nơron trong điều khiển thích nghi, điều khiển dự đốn và
điều khiển phản hồi (đã mô phỏng thành công một số kết quả thực tế). Tôi xin cam
đoan những nội dung của luận văn này là hoàn toàn trung thực, chính xác và chưa
được ai cơng bố trong các cơng trình khoa học nào khác.
TÁC GIẢ

2

download by : skknchat@gmail.com


LỜI CẢM ƠN
Để hồn thành q trình nghiên cứu được trình bày trong luận văn, em xin
gửi lời cảm ơn đến các thầy cô giáo tại Viện Điện tử - Viễn thơng đã tạo điều kiện
giúp em hồn thiện đồ án tốt nghiệp này. Em xin gửi lời cảm ơn sâu sắc nhất đến
thầy PGS. TS. Hoàng Mạnh Thắng đã trực tiếp hướng dẫn em hoàn thành luận văn
với sự nhiệt tình và ân cần chỉ bảo, đồng thời cung cấp cho em những kiến thức
chun mơn để em có thể hồn thiện luận văn tốt nghiệp.
Cuối cùng, tơi xin gửi lời cảm ơn chân thành đến gia đình, bạn bè và người
thân, những người đã bên cạnh và động viên tơi trong suốt q trình học tập và hồn
thành luận văn.


TÁC GIẢ

3

download by : skknchat@gmail.com


MỤC LỤC
LỜI CAM ĐOAN ...................................................................................................................... 2
DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT ......................................................... 6
DANH MỤC HÌNH ẢNH ........................................................................................................ 7
LỜI NĨI ĐẦU ........................................................................................................................... 9
CHƯƠNG 1: TỔNG QUAN VỀ MƠ HÌNH MẠNG NƠRON.......................................... 10
1.1 Giới thiệu về mạng nơron nhân tạo ..................................................................11
1.1.1 Mạng nơron nhân tạo là gì?........................................................................11
1.1.2 Lịch sử phát triển mạng nơron ...................................................................11
1.1.3 So sánh mạng nơron với máy tính truyền thống .........................................14
1.2. Nơron sinh học và nơron nhân tạo ..................................................................15
1.2.1 Nơron sinh học ..........................................................................................15
1.2.2 Nơron nhân tạo ..........................................................................................16
1.3 Mơ hình mạng nơron .......................................................................................18
1.3.1 Các kiểu mơ hình mạng nơron ...................................................................19
1.3.2 Perceptron..................................................................................................21
1.3.3 Mạng nhiều tầng truyền thẳng (MLP) ........................................................22
1.4. Kết luận chương 1 ..........................................................................................21
CHƯƠNG 2: CÁC PHƯƠNG PHÁP ỨNG DỤNG MẠNG NƠRON TRONG NHẬN
DẠNG....................................................................................................................................... 24
2.1 Các phương pháp ứng dụng mạng nơron trong nhận dạng ...............................24
2.1.1 Khái quát chung.........................................................................................24
2.1.2 Các phương pháp nhận dạng ......................................................................27

2.1.2.1.1 Phương pháp lặp bình phương cực tiểu ...................................................29
2.1.2.1.2 Phương pháp xấp xỉ ngẫu nghiên. ...........................................................30
2.1.2.1.3 Phương pháp lọc Kalman mở rộng..........................................................30
2.1.2.1.4 Phương pháp tìm kiếm trực tiếp ..............................................................37
2.1.2.1.5 Phương pháp sử dụng hàm nhạy..............................................................38
2.1.3 Mơ tả tốn học của đối tựợng ở rời rạc.......................................................40
4

download by : skknchat@gmail.com


2.1.4 Mơ hình dùng mạng nơron.........................................................................44
2.1.5 Tính gần đúng hàm số dùng mạng nơron. ..................................................47
2.1.6 Mơ hình mạng nơron trong nhận dạng và điều khiển..................................48
2.2. Kết luận chương 2 ..........................................................................................82
CHƯƠNG 3: CÁC PHƯƠNG PHÁP ỨNG DỤNG MẠNG NƠRON TRONG ĐIỀU
KHIỂN...................................................................................................................................... 52
3.1 Ứng dụng mạng neural vào điều khiển dự đoán ..............................................52
3.1.1 Hệ thống nhận dạng ...................................................................................52
3.1.2 Mạng dự đoán............................................................................................54
3.1.3 Ứng dụng mạng nơron dự đoán vào hệ thống Magnetic Levitation ............55
3.2 Ứng dụng mạng nơron vào điều khiển thích nghi [1] .......................................59
3.2.1 Xác định các Model NARMA-L2 [2].........................................................60
3.2.2 Sử dụng các khối điều khiển NARMA-L2 [2]............................................63
3.2.3 Kết quả thực nghiệm trên MATLAB [3] ....................................................66
3.3 Mạng nơron trong điều khiển phản hồi [4].......................................................79
3.3.1 Phản hồi tuyến tính của hệ thống phi tuyến dùng mạng nơron....................80
3.3.2 Ứng dụng mạng nơron trong mạng phản hồi ..............................................81
3.4. Kết luận chương 3 ..........................................................................................82
TỔNG KẾT.............................................................................................................................. 82

TÀI LIỆU THAM KHẢO....................................................................................................... 83

5

download by : skknchat@gmail.com


DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
STT

Ký hiệu

Diễn giải

1

Artificial Intelligence

Trí tuệ nhân tạo

2

Artificial Neural

Nơron nhân tạo

3

Artificial Neural Network (ANN)


Mạng nơron nhân tạo

4

Axon

Sợi trục ra

5

Bias

Độ lệch (ngưỡng)

6

Cell body

Thân tế bào

7

Character Recognition

Nhận dạng kí tự

8

Data Filtering


Lọc dữ liệu

9

Dendrites

Nhánh vào hình cây

10

Institute of Electrical and Electronic Viện các kỹ sư điện và điện tử
Engineer (IEEE)

11

Input signals

Các tín hiệu vào

12

Language Processing

Xử lý ngơn ngữ

13

Least Mean Squares (LMS)

Tối thiểu bình phương trung bình


14

Multiple Adaptive Linear Elements

Thành phần tuyến tính thích nghi

15

Many input many output (MIMO)

Hệ nhiều đầu vào nhiều đầu ra

16

Multi Layer Perceptron (MLP)

Mạng nhiều tầng truyền thẳng

17

Neural Networks for Computing

Mạng neuron dùng trong tin học

18

Output Layer

Lớp ra


19

Organization of Behavior

Hành vi tổ chức

20

Voice Recognition

Nhận dạng tiếng nói

21

Pattern Recognition

Nhận dạng mẫu

22

Signal Processing

Xử lý tín hiệu

23

Summing function

Bộ tổng


24

Synaptic weight

Trọng số liên kết

25

Transfer function

Hàm truyền

6

download by : skknchat@gmail.com


DANH MỤC HÌNH ẢNH
Hình 1.1: Cấu trúc của một nơron sinh học điển hình ...........................................15
Hình 1.2: Nơron nhân tạo......................................................................................16
Hình 1.3: Mạng tự kết hợp.....................................................................................19
Hình 1.4: Mạng kết hợp khác kiểu .........................................................................20
Hình 1.5: Mạng truyền thẳng.................................................................................20
Hình 1.6: Mạng phản hồi.......................................................................................21
Hình 1.7: Perceptron.............................................................................................21
Hình 1.8: Mạng MLP tổng quát.............................................................................22
Hình 2.1: Điều khiển theo nguyên tắc phản hồi đầu ra ..........................................24
Hình 2.2: Quy trình nhận dạng hệ thống ...............................................................27
Hình 2.3: Sơ đồ tổng quát nhận dạng thơng số mơ hình.........................................34

Hình 2.4: Nhận dạng theo phương pháp gradient..................................................36
Hình 2.5: Mơ hình dạng 1......................................................................................42
Hình 2.6: Mơ hình dạng 2......................................................................................42
Hình 2.7: Mơ hình dạng 3......................................................................................43
Hình 2.8: Mơ hình dạng 4......................................................................................43
Hình 2.9: Mơ hình nhận dạng kiểu truyền thẳng....................................................44
Hình 2.10: Mơ hình nhận dạng kiểu song song......................................................45
Hình 2.11: Mơ hình nhận dạng kiểu nối tiếp-song song.........................................46
Hình 2.12: Mơ hình nhận dạng ngược trực tiếp .....................................................47
Hình 2.13, 2.14, 2.15, 2.16: Mơ hình mạng nơron .................................................50
Hình 3.1: Nhận dạng thực vật................................................................................52
Hình 3.2: Mơ hình mạng nơron thực vật................................................................53
Hình 3.3: Mạng nơron điều khiển dự đốn ............................................................54
Hình 3.4: Hệ thống Magnetic Levitation................................................................55
Hình 3.5: Dữ liệu huấn luyện có chiều rộng xung dài............................................57
Hình 3.6: Huấn luyện dữ liệu có độ rộng xung ngắn..............................................57
Hình 3.7: Dữ liệu huấn luyện với hỗn hợp độ rộng xung .......................................58
Hình 3.8: Phản ứng Maglev và hành động kiểm sốt bằng cách sử dụng điều khiển
dự đốn .................................................................................................................58
Hình 3.9: Cấu trúc một mạng nơron......................................................................62
Hình 3.10: Sơ đồ khối của bộ điều khiển NARMA-L2 ............................................62
Hình 3.11: Bộ điều khiển thực hiện với mơ hình nhận dạng NARMA-L2................63
Hình 3.12: Sơ đồ điều khiển vị trí nam châm vĩnh cửu...........................................64
7

download by : skknchat@gmail.com


Hình 3.13: Các Simulink biên soạn với các mơ hình..............................................65
Hình 3.14: Cửa sổ cho phép tạo mơ hình NARMA-L2 ...........................................65

Hình 3.15: Đồ thị vị trí mẫu và vị trí sau khi đã điều khiển...................................66
Hình 2.16: Sơ đồ khối mơ tả động cơ điện một chiều.............................................67
Hình 3.17: Sơ đồ mạng nơron truyền thẳng nhiều lớp điều khiển thích nghi vị trí
động cơ điện một chiều khi có tải thay đổi.............................................................67
Hình 3.18: Bảng điều khiển nhận dạng tín hiệu vị trí động cơ một chiều NARMA-L2
..............................................................................................................................68
Hình 3.19: Dữ liệu vào ra của tín hiệu vị trí động cơ một chiều ............................68
Hình 3.20: Xuất dữ liệu làm việc ...........................................................................69
Hình 3.21: Nhập dữ liệu vào bộ điều khiển............................................................69
Hình 3.22: Huấn luyện đối tượng với dư liệu đã nhập vào.....................................70
Hình 3.23: Dữ liệu huấn luyện cho bộ điều khiển NN NARMA-L2.........................70
Hình 3.24: Dữ liệu xác nhận cho bộ điều khiển NN NARMA-L2............................71
Hình 3.25: Dữ liệu kiểm tra cho bộ điều khiển NN NARMA-L2 .............................71
Hình 3.26: Đồ thị vị trí mẫu qd..............................................................................72
(nét mảnh) và vị trí sau khi đã điều khiển q (nét đậm) ...........................................72
Hình 3.27: Đồ thị điện áp điều khiển .....................................................................72
Hình 3.28: Đồ thị mơmen tải MC (Nm)..................................................................73
Hình 3.29: Sơ đồ khối mơ tả động cơ điện một chiều khi có R, MC thay đổi .........74
Hình 3.30: Dữ liệu vào ra của tín hiệu vị trí động cơ một chiều ............................75
Hình 3.31: Bảng điều khiển nhận dạng tín hiệu vị trí động cơ một chiều NARMA-L2
..............................................................................................................................75
Hình 3.32: Huấn luyện đối tượng với dư liệu đã nhập vào.....................................76
Hình 3.33: Dữ liệu huấn luyện cho bộ điều khiển NN NARMA-L2.........................76
Hình 3.34: Dữ liệu xác nhận cho bộ điều khiển NN NARMA-L2............................77
Hình 3.35: Dữ liệu kiểm tra cho bộ điều khiển NN NARMA-L2 .............................77
Hình 3.36: Đồ thị điện áp điều chỉnh u..................................................................77
Hình 3.37: Đồ thị điện trở R ..................................................................................78
Hình 3.38: Đồ thị mơmen tải MC (Nm)..................................................................78
Hình 3.39: Đồ thị vị trí mẫu qd (nét mảnh) và vị trí sau khi đã điều khiển q .........79
(nét đậm) ...............................................................................................................79

Hình 3.40: Phản hồi tuyến tính điều khiển mạng nơron .........................................81

8

download by : skknchat@gmail.com


LỜI NÓI ĐẦU
Ngày nay do tiến bộ của khoa học kỹ thuật trong điện tử và tin học, các hệ
thống điều khiển tự động được phát triển và có sự thay đổi lớn. Công nghệ vi mạch
phát triển khiến cho việc sản xuất các thiết bị điện tử ngày càng hoàn thiện. Các bộ
biến đổi điện tử trong các hệ thống không những đáp ứng được khả năng tác động
nhanh, độ chính xác cao mà cịn góp phần giảm kích thước và hạ giá thành của hệ
thống. Đặc biệt trong những thập kỷ gần đây trước sự phát triển mạnh mẽ và ngày
càng hoàn thiện của lý thuyết mạng nơ ron truyền thẳng nhiều lớp đã và đang mở ra
một kỷ nguyên mới ngành điều khiển. Tuy là ngành kỹ thuật điều khiển non trẻ
nhưng những ứng dụng trong công nghiệp của điều khiển mạng nơ ron rất rộng rãi
như trong nhận dạng, phân loại sản phẩm, xử lý tiếng nói, chữ viết và điều khiển hệ
thống, điều khiển rơ bốt. Tới nay đã có rất nhiều sản phẩm cơng nghiệp được tạo ra
và nhờ kỹ thuật điều khiển mạng nơ ron, rất nhiều nước trên thế giới đã thành cơng.
Để điều khiển chính xác đối tượng khi chưa biết rõ được thông số, trước tiên
ta phải hiểu rõ đối tượng đó. Đối với đối tượng có thơng số thay đổi như động cơ
một chiều và có tải thay đổi, ta cần thực hiện nhận dạng đặc tính vào ra của nó để
đảm bảo tạo ra tín hiệu điều khiển thích nghi được lựa chọn chính xác hơn.
Chính vì thế mà việc đi sâu nghiên cứu và áp dụng lý thuyết điều khiển nơ
ron truyền thẳng nhiều lớp trong điều khiển thích nghi vị trí động cơ một chiều khi
có thơng số và tải thay đổi có ý nghĩa khoa học rất lớn.
Đề tài này nghiên cứu ứng dụng mạng nơ ron truyền thẳng nhiều lớp (bộ
điều khiển NARMA-L2) trong điều khiển thích nghi vị trí động cơ điện một chiều
khi có thơng số và tải thay đổi.

Do kiến thức còn hạn hẹp và thời gian thực hiện chưa được nhiều nên luận
văn này cịn rất nhiều sai sót, hạn chế. Vì vậy tơi mong nhận được nhiều sự góp ý để
đề tài được hoàn thiện hơn.
Em xin gửi lời cảm ơn chân thành nhất tới thầy giáo PGS.TS. Hoàng Mạnh
Thắng đã nhiệt tình, tận tụy hướng dẫn giúp em hoàn thành đề tài này.
9

download by : skknchat@gmail.com


Em xin chân thành cảm ơn !

10

download by : skknchat@gmail.com


CHƯƠNG 1: TỔNG QUAN VỀ MƠ HÌNH MẠNG NƠRON
1.1 Giới thiệu về mạng nơron nhân tạo
1.1.1 Mạng nơron nhân tạo là gì?
Định nghĩa: Mạng nơron nhân tạo, ArtificialNeural Network (ANN) gọi tắt
là mạng nơron, neural network, là một mơ hình xử lý thông tin phỏng theo cách
thức xử lý thông tin của các hệ nơron sinh học. Nó được tạo lên từ một số lượng lớn
các phần tử (gọi là phần tử xử lý hay nơron) kết nối với nhau thông qua các liên kết
(gọi là trọng số liên kết) làm việc như một thể thống nhất để giải quyết một vấn đề
cụ thể nào đó.
Một mạng nơron nhân tạo được cấu hình cho một ứng dụng cụ thể (nhận
dạng mẫu, phân loại dữ liệu...) thơng qua một q trình học từ tập các mẫu huấn
luyện. Về bản chất, học chính là q trình hiệu chỉnh trọng số liên kết giữa các
nơron.

1.1.2 Lịch sử phát triển mạng nơron
Các nghiên cứu về bộ não con người đã được tiến hành từ hàng nghìn năm
nay. Cùng với sự phát triển của khoa học kĩ thuật đặc biệt là những tiến bộ trong
ngành điện tử hiện đại, việc con người bắt đầu nghiên cứu các nơron nhân tạo là
hoàn toàn tự nhiên. Sự kiện đầu tiên đánh dấu sự ra đời của mạng nơron nhân tạo
diễn ra vào năm 1943 khi nhà thần kinh học Warren McCulloch và nhà toán học
Walter Pitts viết bài báo mô tả cách thức các nơron hoạt động. Họ cũng đã tiến hành
xây dựng một mạng nơron đơn giản bằng các mạch điện. Các nơron của họ được
xem như là các thiết bị nhị phân với ngưỡng cố định. Kết quả của các mơ hình này
là các hàm logic đơn giản chẳng hạn như “a OR b” hay “a AND b”.
Tiếp bước các nghiên cứu này, năm 1949 Donald Hebb cho xuất bản cuốn
sách Organization of Behavior. Cuốn sách đã chỉ ra rằng các nơron nhân tạo sẽ trở
lên hiệu quả hơn sau mỗi lần chúng được sử dụng.
Những tiến bộ của máy tính đầu những năm 1950 giúp cho việc mơ hình hóa
các ngun lý của những lý thuyết liên quan tới cách thức con người suy nghĩ đã trở
11

download by : skknchat@gmail.com


thành hiện thực. Nathanial Rochester sau nhiều năm làm việc tại các phịng thí
nghiệm nghiên cứu của IBM đã có những nỗ lực đầu tiên để mô phỏng một mạng
nơron. Trong thời kì này tính tốn truyền thống đã đạt được những thành cơng rực
rỡ trong khi đó những nghiên cứu về nơron còn ở giai đoạn sơ khai. Mặc dù vậy
những người ủng hộ triết lý “thinking machines” (các máy biết suy nghĩ) vẫn tiếp
tục bảo vệ cho lập trường của mình.
Năm 1956 dự án Dartmouth nghiên cứu về trí tuệ nhân tạo (Artificial
Intelligence) đã mở ra thời kỳ phát triển mới cả trong lĩnh vực trí tuệ nhân tạo lẫn mạng
nơron. Tác động tích cực của nó là thúc đẩy hơn nữa sự quan tâm của các nhà khoa học
về trí tuệ nhân tạo và q trình xử lý ở mức đơn giản của mạng nơron trong bộ não con

người.
Những năm tiếp theo của dự án Dartmouth, John von Neumann đã đề xuất
việc mô phỏng các nơron đơn giản bằng cách sử dụng rơle điện áp hoặc đèn chân
không. Nhà sinh học chuyên nghiên cứu về nơron Frank Rosenblatt cũng bắt đầu
nghiên cứu về Perceptron. Sau thời gian nghiên cứu này Perceptron đã được cài đặt
trong phần cứng máy tính và được xem như là mạng nơron lâu đời nhất còn được sử
dụng đến ngày nay. Perceptron một tầng rất hữu ích trong việc phân loại một tập
các đầu vào có giá trị liên tục vào một trong hai lớp. Perceptron tính tổng có trọng
số các đầu vào, rồi trừ tổng này cho một ngưỡng và cho ra một trong hai giá trị
mong muốn có thể. Tuy nhiên Perceptron còn rất nhiều hạn chế, những hạn chế này
đã được chỉ ra trong cuốn sách về Perceptron của Marvin Minsky và Seymour
Papert viết năm 1969.
Năm 1959, Bernard Widrow và Marcian Hoff thuộc trường đại học Stanford
đã xây dựng mô hình ADALINE (ADAptive LINear Elements) và MADALINE.
(Multiple ADAptive LINear Elements). Các mơ hình này sử dụng quy tắc học
Least-Mean-Squares (LMS: Tối thiểu bình phương trung bình). MADALINE là
mạng nơron đầu tiên được áp dụng để giải quyết một bài toán thực tế. Nó là một bộ
lọc thích ứng có khả năng loại bỏ tín hiệu dội lại trên đường dây điện thoại. Ngày
nay mạng nơron này vẫn được sử dụng trong các ứng dụng thương mại.
12

download by : skknchat@gmail.com


Năm 1974 Paul Werbos đã phát triển và ứng dụng phương pháp học lan
truyền ngược (back-propagation). Tuy nhiên phải mất một vài năm thì phương pháp
này mới trở lên phổ biến. Các mạng lan truyền ngược được biết đến nhiều nhất và
được áp dụng rộng dãi nhất nhất cho đến ngày nay.
Thật không may, những thành công ban đầu này khiến cho con người nghĩ
quá lên về khả năng của các mạng nơron. Chính sự cường điệu quá mức đã có

những tác động khơng tốt đến sự phát triển của khoa học và kỹ thuật thời bấy giờ
khi người ta lo sợ rằng đã đến lúc máy móc có thể làm mọi việc của con người.
Những lo lắng này khiến người ta bắt đầu phản đối các nghiên cứu về mạng neuron.
Thời kì tạm lắng này kéo dài đến năm 1981.
Năm 1982 trong bài báo gửi tới viện khoa học quốc gia, John Hopfield bằng
sự phân tích tốn học rõ ràng, mạch lạc, ông đã chỉ ra cách thức các mạng nơron
làm việc và những cơng việc chúng có thể thực hiện được. Cống hiến của Hopfield
không chỉ ở giá trị của những nghiên cứu khoa học mà còn ở sự thúc đẩy trở lại các
nghiên cứu về mạng neuron.
Cũng trong thời gian này, một hội nghị với sự tham gia của Hoa Kỳ và Nhật
Bản bàn về việc hợp tác/cạnh tranh trong lĩnh vực mạng nơron đã được tổ chức tại
Kyoto, Nhật Bản. Sau hội nghị, Nhật Bản đã công bố những nỗ lực của họ trong
việc tạo ra máy tính thế hệ thứ 5. Tiếp nhận điều đó, các tạp chí định kỳ của Hoa Kỳ
bày tỏ sự lo lắng rằng nước nhà có thể bị tụt hậu trong lĩnh vực này. Vì thế, ngay
sau đó, Hoa Kỳ nhanh chóng huy động quĩ tài trợ cho các nghiên cứu và ứng dụng
mạng neuron.
Năm 1985, viện vật lý Hoa Kỳ bắt đầu tổ chức các cuộc họp hàng năm về
mạng neuron ứng dụng trong tin học (Neural Networks for Computing).
Năm 1987, hội thảo quốc tế đầu tiên về mạng neuron của Viện các kỹ sư điện
và điện tử IEEE (Institute of Electrical and Electronic Engineer) đã thu hút hơn
1800 người tham gia.
Ngày nay, không chỉ dừng lại ở mức nghiên cứu lý thuyết, các nghiên cứu
ứng dụng mạng nơron để giải quyết các bài toán thực tế được diễn ra ở khắp mọi
13

download by : skknchat@gmail.com


nơi. Các ứng dụng mạng nơron ra đời ngày càng nhiều và ngày càng hồn thiện
hơn. Điển hình là các ứng dụng: xử lý ngơn ngữ (Language Processing), nhận dạng

kí tự (Character Recognition), nhận dạng tiếng nói (Voice Recognition), nhận dạng
mẫu (Pattern Recognition), xử lý tín hiệu (Signal Processing), lọc dữ liệu (Data
Filtering)...
1.1.3 So sánh mạng nơron với máy tính truyền thống
Các mạng nơron có cách tiếp cận khác trong giải quyết vấn đề so với máy
tính truyền thống. Các máy tính truyền thống sử dụng cách tiếp cận theo hướng giải
thuật, tức là máy tính thực hiện một tập các chỉ lệnh để giải quyết một vấn đề. Vấn
đề được giải quyết phải được biết và phát biểu dưới dạng một tập chỉ lệnh không
nhập nhằng. Những chỉ lệnh này sau đó phải được chuyển sang một chương trình
ngơn ngữ bậc cao và chuyển sang mã máy để máy tính có thể hiểu được.
Trừ khi các bước cụ thể mà máy tính cần tuân theo được chỉ ra rõ ràng, máy
tính sẽ khơng làm được gì cả. Điều đó giới hạn khả năng của các máy tính truyền
thống ở phạm vi giải quyết các vấn đề mà chúng ta đã hiểu và biết chính xác cách
thực hiện. Các máy tính sẽ trở lên hữu ích hơn nếu chúng có thể thực hiện được
những việc mà bản thân con người khơng biết chính xác là phải làm như thế nào.
Các mạng nơron xử lý thông tin theo cách thức giống như bộ não con người.
Mạng được tạo nên từ một số lượng lớn các phần tử xử lý được kết nối với nhau
làm việc song song để giải quyết một vấn đề cụ thể. Các mạng nơron học theo mơ
hình, chúng khơng thể được lập trình để thực hiện một nhiệm vụ cụ thể. Các mẫu
phải được chọn lựa cẩn thận nếu khơng sẽ rất mất thời gian, thậm chí mạng sẽ hoạt
động không đúng. Điều hạn chế này là bởi vì mạng tự tìm ra cách giải quyết vấn đề,
thao tác của nó khơng thể dự đốn được.
Các mạng nơron và các máy tính truyền thống khơng cạnh tranh nhau mà bổ
sung cho nhau. Có những nhiệm vụ thích hợp hơn với máy tính truyền thống, ngược
lại có những nhiệm vụ lại thích hợp hơn với các mạng nơron. Thậm chí rất nhiều
nhiệm vụ địi hỏi các hệ thống sử dụng tổ hợp cả hai cách tiếp cận để thực hiện

14

download by : skknchat@gmail.com



được hiệu quả cao nhất (thơng thường một máy tính truyền thống được sử dụng để
giám sát mạng nơron).
1.2. Nơron sinh học và nơron nhân tạo
1.2.1 Nơron sinh học
Qua quá trình nghiên cứu về bộ não, người ta thấy rằng: bộ não con người
bao gồm khoảng 1011 nơron tham gia vào khoảng 1015 kết nối trên các đường
truyền. Mỗi đường truyền này dài khoảng hơn một mét. Các nơron có nhiều đặc
điểm chung với các tế bào khác trong cơ thể, ngồi ra chúng cịn có những khả năng
mà các tế bào khác khơng có được, đó là khả năng nhận, xử lý và truyền các tín hiệu
điện hóa trên các đường mòn nơron, các con đường này tạo nên hệ thống giao tiếp
của bộ não.

Hình 1.1: Cấu trúc của một nơron sinh học điển hình
Mỗi nơron sinh học có 3 thành phần cơ bản:
• Các nhánh vào hình cây ( dendrites)
• Thân tế bào (cell body)
• Sợi trục ra (axon)
Các nhánh hình cây truyền tín hiệu vào đến thân tế bào. Thân tế bào tổng hợp
và xử lý cho tín hiệu đi ra. Sợi trục truyền tín hiệu ra từ thân tế bào này sang nơron
khác. Điểm liên kết giữa sợi trục của nơron này với nhánh hình cây của nơron khác
gọi là synapse. Liên kết giữa các nơron và độ nhạy của mỗi synapse được xác định
15

download by : skknchat@gmail.com


bởi q trình hóa học phức tạp. Một số cấu trúc của nơron được xác định trước lúc
sinh ra. Một số cấu trúc được phát triển thơng qua q trình học. Trong cuộc đời cá

thể, một số liên kết mới được hình thành, một số khác bị hủy bỏ.
Như vậy nơron sinh học hoạt động theo cách thức sau: nhận tín hiệu đầu vào,
xử lý các tín hiệu này và cho ra một tín hiệu output. Tín hiệu output này sau đó
được truyền đi làm tín hiệu đầu vào cho các nơron khác.
Dựa trên những hiểu biết về nơron sinh học, con người xây dựng nơron nhân
tạo với hy vọng tạo nên một mơ hình có sức mạnh như bộ não.
1.2.2 Nơron nhân tạo
Một nơron là một đơn vị xử lý thông tin và là thành phần cơ bản của một
mạng nơron. Cấu trúc của một nơron được mô tả trên hình dưới.

Hình 1.2: Nơron nhân tạo
Các thành phần cơ bản của một nơron nhân tạo bao gồm:
♦ Tập các đầu vào: Là các tín hiệu vào (input signals) của nơron, các tín
hiệu này thường được đưa vào dưới dạng một vector N chiều.
♦ Tập các liên kết: Mỗi liên kết được thể hiện bởi một trọng số (gọi là trọng
số liên kết – Synaptic weight). Trọng số liên kết giữa tín hiệu vào thứ j với nơron k
thường được kí hiệu là w kj. Thơng thường, các trọng số này được khởi tạo một cách
ngẫu nhiên ở thời điểm khởi tạo mạng và được cập nhật liên tục trong quá trình học
mạng.

16

download by : skknchat@gmail.com


♦ Bộ tổng (Summing function): Thường dùng để tính tổng của tích các đầu
vào với trọng số liên kết của nó.
♦ Ngưỡng (cịn gọi là một độ lệch - bias): Ngưỡng này thường được đưa vào
như một thành phần của hàm truyền.
♦ Hàm truyền (Transfer function) : Hàm này được dùng để giới hạn phạm vi

đầu ra của mỗi nơron. Nó nhận đầu vào là kết quả của hàm tổng và ngưỡng đã cho.
Thông thường, phạm vi đầu ra của mỗi nơron được giới hạn trong đoạn [0,1] hoặc
[-1, 1]. Các hàm truyền rất đa dạng, có thể là các hàm tuyến tính hoặc phi tuyến.
Việc lựa chọn hàm truyền nào là tuỳ thuộc vào từng bài toán và kinh nghiệm của
người thiết kế mạng. Một số hàm truyền thường sử dụng trong các mơ hình mạng
nơron được đưa ra trong bảng 1 .
♦ Đầu ra: Là tín hiệu đầu ra của một nơron, với mỗi nơron sẽ có tối đa là
một đầu ra.
Xét về mặt toán học, cấu trúc của một nơron k, được mô tả bằng cặp biểu
thức sau:
[Cơng thức]
Trong đó: x , x ..., x : là các tín hiệu vào; (w , w k2…..wkp là các trọng số
1

2

p

k1

)

liên kết của nơron thứ k;u là hàm tổng; b là một ngưỡng; f là hàm truyền và y là
k

k

k

tín hiệu đầu ra của nơron.

Như vậy tương tự như nơron sinh học, nơron nhân tạo cũng nhận các tín hiệu
đầu vào, xử lý (nhân các tín hiệu này với trọng số liên kết, tính tổng các tích thu
được rồi gửi kết quả tới hàm truyền), và cho một tín hiệu đầu ra (là kết quả của hàm
truyền).

17

download by : skknchat@gmail.com


Bảng 1: Một số hàm truyền thông dụng
Hàm truyền

Symmetrical

Đồ thị

Định nghĩa

Hard

Limit (hardlims)

Linear (purelin)

Saturating

Linear

(satlin)


Log-Sigmoid (logsig)

1.3 Mơ hình mạng nơron
Mặc dù mỗi nơron đơn lẻ có thể thực hiện những chức năng xử lý thơng tin
nhất định, sức mạnh của tính tốn nơron chủ yếu có được nhờ sự kết hợp các nơron
trong một kiến trúc thống nhất. Một mạng nơron là một mơ hình tính tốn được xác
định qua các tham số: kiểu nơron (như là các nút nếu ta coi cả mạng nơron là một
đồ thị), kiến trúc kết nối (sự tổ chức kết nối giữa các nơron) và thuật toán học (thuật
toán dùng để học cho mạng).
Về bản chất một mạng nơron có chức năng như là một hàm ánh xạ F: X →
Y, trong đó X là khơng gian trạng thái đầu vào (input state space) và Y là không
18

download by : skknchat@gmail.com


gian trạng thái đầu ra (output state space) của mạng. Các mạng chỉ đơn giản là làm

nhiệm vụ ánh xạ các vector đầu vào x ∈ X sang các vector đầu ra y ∈ Y thông qua

“bộ lọc” (filter) các trọng số. Tức là y = F(x) = s(W, x), trong đó W là ma trận trọng
số liên kết. Hoạt động của mạng thường là các tính tốn số thực trên các ma trận.
1.3.1 Các kiểu mơ hình mạng nơron
Cách thức kết nối các nơron trong mạng xác định kiến trúc (topology) của
mạng. Các nơron trong mạng có thể kết nối đầy đủ (fully connected) tức là mỗi
nơron đều được kết nối với tất cả các nơron khác, hoặc kết nối cục bộ (partially
connected) chẳng hạn chỉ kết nối giữa các nơron trong các tầng khác nhau. Người ta
chia ra hai loại kiến trúc mạng chính:
♦ Tự kết hợp (autoassociative): là mạng có các nơron đầu vào cũng là các

nơron đầu ra. Mạng Hopfield là một kiểu mạng tự kết hợp.

Hình 1.3: Mạng tự kết hợp
♦ Kết hợp khác kiểu (heteroassociative): là mạng có tập nơron đầu vào và
đầu ra riêng biệt. Perceptron, các mạng Perceptron nhiều tầng (MLP: MultiLayer
Perceptron), mạng Kohonen, … thuộc loại này.

19

download by : skknchat@gmail.com


Hình 1.4: Mạng kết hợp khác kiểu
Ngồi ra tùy thuộc vào mạng có các kết nối ngược (feedback connections) từ
các nơron đầu ra tới các nơron đầu vào hay không, người ta chia ra làm 2 loại kiến
trúc mạng.
♦ Kiến trúc truyền thẳng (feedforward architechture): là kiểu kiến trúc mạng
không có các kết nối ngược trở lại từ các nơron đầu ra về các nơron đầu vào; mạng
không lưu lại các giá trị output trước và các trạng thái kích hoạt của nơron. Các
mạng nơron truyền thẳng cho phép tín hiệu di chuyển theo một đường duy nhất; từ
đầu vào tới đầu ra, đầu ra của một tầng bất kì sẽ khơng ảnh hưởng tới tầng đó. Các
mạng kiểu Perceptron là mạng truyền thẳng.

Hình 1.5: Mạng truyền thẳng
♦ Kiến trúc phản hồi (Feedback architecture): là kiểu kiến trúc mạng có các
kết nối từ nơron đầu ra tới nơron đầu vào. Mạng lưu lại các trạng thái trước đó, và
trạng thái tiếp theo khơng chỉ phụ thuộc vào các tín hiệu đầu vào mà còn phụ thuộc
vào các trạng thái trước đó của mạng. Mạng Hopfield thuộc loại này.

20


download by : skknchat@gmail.com


Hình 1.6: Mạng phản hồi
1.3.2 Perceptron
Perceptron là mạng nơron đơn giản nhất, nó chỉ gồm một nơron, nhận đầu
vào là vector có các thành phần là các số thực và đầu ra là một trong hai giá trị +1
hoặc -1.

Hình 1.7: Perceptron
Đầu ra của mạng được xác định như sau: mạng lấy tổng có trọng số các
thành phần của vector đầu vào, kết quả này cùng ngưỡng b được đưa vào hàm
truyền (Perceptron dùng hàm Hard-limit làm hàm truyền) và kết quả của hàm truyền
sẽ là đầu ra của mạng.
Hoạt động của Perceptron có thể được mơ tả bởi cặp công thức sau:
Y = f(u - b) = Hardlimit (u - b); Y nhận giá trị +1 nếu u - b>0, ngược lại Y
nhận giá trị -1.
Perceptron cho phép phân loại chính xác trong trường hợp dữ liệu có thể
phân chia tuyến tính (các mẫu nằm trên hai mặt đối diện của một siêu phẳng). Nó

21

download by : skknchat@gmail.com


cũng phân loại đúng đầu ra các hàm AND, OR và các hàm có dạng đúng khi n trong
m đầu vào của nó đúng (n ≤ m). Nó khơng thể phân loại được đầu ra của hàm XOR.
1.3.3 Mạng nhiều tầng truyền thẳng (MLP)
Mơ hình mạng nơron được sử dụng rộng rãi nhất là mơ hình mạng nhiều tầng

truyền thẳng (MLP: Multi Layer Perceptron). Một mạng MLP tổng quát là mạng có
n (n≥2) tầng (thơng thường tầng đầu vào khơng được tính đến): trong đó gồm một
tầng đầu ra (tầng thứ n) và (n-1) tầng ẩn.

Hình 1.8: Mạng MLP tổng quát
Kiến trúc của một mạng MLP tổng quát có thể mô tả như sau:
♦ Đầu vào là các vector (x1, x2, ..., xp) trong không gian p chiều, đầu ra là
các vector (y1, y2, ..., yq) trong không gian q chiều. Đối với các bài tốn phân loại,
p chính là kích thước của mẫu đầu vào, q chính là số lớp cần phân loại. Xét ví dụ
trong bài tốn nhận dạng chữ số: với mỗi mẫu ta lưu tọa độ (x,y) của 8 điểm trên
chữ số đó, và nhiệm vụ của mạng là phân loại các mẫu này vào một trong 10 lớp
tương ứng với 10 chữ số 0, 1, …, 9. Khi đó p là kích thước mẫu và bằng 8 x 2 = 16;
q là số lớp và bằng 10.
♦ Mỗi nơron thuộc tầng sau liên kết với tất cả các nơron thuộc tầng liền trước
nó.
♦ Đầu ra của nơron tầng trước là đầu vào của nơron thuộc tầng liền sau nó.
Hoạt động của mạng MLP như sau: tại tầng đầu vào các nơron nhận tín hiệu
vào xử lý (tính tổng trọng số, gửi tới hàm truyền) rồi cho ra kết quả (là kết quả của
hàm truyền); kết quả này sẽ được truyền tới các nơron thuộc tầng ẩn thứ nhất; các
22

download by : skknchat@gmail.com


nơron tại đây tiếp nhận như là tín hiệu đầu vào, xử lý và gửi kết quả đến tầng ẩn thứ
2;…; quá trình tiếp tục cho đến khi các nơron thuộc tầng ra cho kết quả.
Một số kết quả đã được chứng minh:
♦ Bất kì một hàm Boolean nào cũng có thể biểu diễn được bởi một mạng
MLP 2 tầng trong đó các nơron sử dụng hàm truyền sigmoid.
♦ Tất cả các hàm liên tục đều có thể xấp xỉ bởi một mạng MLP 2 tầng sử

dụng hàm truyền sigmoid cho các nơron tầng ẩn và hàm truyền tuyến tính cho các
nơron tầng ra với sai số nhỏ tùy ý.
♦ Mọi hàm bất kỳ đều có thể xấp xỉ bởi một mạng MLP 3 tầng sử dụng hàm
truyền sigmoid cho các nơron tầng ẩn và hàm truyền tuyến tính cho các nơron tầng ra.
1.4. Kết luận chương 1
Qua phân tích tổng quan về mạng nơ ron nhân tạo ở chương một, ta thấy mơ
hình mạng nơ ron có tính chất sau:
- Là hệ phi tuyến
- Là hệ xử lý song song
- Là hệ học và thích nghi: Mạng được luyện từ các số liệu quá khứ, có khả
năng tự chỉnh khi số liệu đầu vào bị mất.
- Là hệ nhiều biến, nhiều đầu vào, nhiều đầu ra rất tiện dùng khi điều khiển
đối tượng có nhiều biến số.
Vì vậy nó có ý nghĩa rất quan trọng trong q trình nhận dạng và điều khiển
thích nghi đối tượng có tính chất phi tuyến và phụ tải thay đổi.

23

download by : skknchat@gmail.com


CHƯƠNG 2: CÁC PHƯƠNG PHÁP ỨNG DỤNG MẠNG NƠRON TRONG
NHẬN DẠNG
2.1 Các phương pháp ứng dụng mạng nơron trong nhận dạng
2.1.1 Khái qt chung
2.1.1.1 Đặtvấnđề
Tạisaophảinhậndạng?Đểhiểurõvấnđềtaxétmộtbàitốnđiềukhiển
theonguntắcphảnhồinhưtrênhình2.1.

Hình 2.1: Điều khiển theo ngun tắc phản hồi đầu ra

Muốn tổng hợp được bộ điều khiển cho đối tượng hệ kín có được chất lượng
như mong muốn thì trước tiên phải hiểu biết về đối tượng, tức là cần phải có một
mơ hình tốn học mô tả đối tượng. Không thể điều khiển đối tượng khi khơng hiểu
biết hoặc hiểu sai lệch về nó. Kết quả tổng hợp bộ điều khiển phụ thuộc rất nhiều
vào mơ hình mơ tả đối tượng. Mơ hình càng chính xác, hiệu suất cơng việc càng
cao.
Việc xây dựng mơ hình cho đối tượng được gọi là mơ hình hóa. Người ta
thường phân chia các phương pháp mơ hình hóa ra làm hai loại:
- Phương pháp lý thuyết.
- Phương pháp thực nghiệm.
Phương pháp lý thuyết là phương pháp thiết lập mô hình dựa trên các định
luật có sẵn về quan hệ vật lý bên trong và quan hệ giao tiếp với mơi trường bên
ngồi của đối tượng. Các quan hệ này được mơ tả theo quy luật lý – hóa, quy luật
cân bằng,… dưới dạng những phương trình tốn học.
Trong các trường hợp mà ở đó sự hiểu biết về những quy luật giao tiếp bên
trong đối tượng cũng về mối quan hệ giữa đối tượng với mơi trường bên ngồi
khơng được đầy đủ để có thể xây dựng được một mơ hình hồn chỉnh, nhưng ít nhất
từ đó có thể cho biết các thông tin ban đầu về dạng mô hình thì tiếp theo người ta
24

download by : skknchat@gmail.com


phải áp dụng phương pháp thực nghiệm để hoàn thiện nốt việc xây dựng mơ hình
đối tượng trên cơ sở quan sát tín hiệu vào u(t) và ra y(t) của đối tượng sao cho mơ
hình thu được bằng phương pháp thực nghiệm thỏa mãn các yêu cầu của phương
pháp lý thuyết đề ra. Phương pháp thực nghiệm đó được gọi là nhận dạng hệ thống
điều khiển.
Như vậy khái niệm nhận dạng hệ thống điều khiển được hiểu là sự bổ sung
cho việc mơ hình hóa đối tượng mà ở đó lượng thông tin ban đầu về đối tượng điều

khiển không đầy đủ.
2.1.1.2 Định nghĩa
Nhận dạng hệ thống là xây dựng mơ hình tốn học của hệ (cấu trúc – tham
số) dựa trên các dữ liệu thực nghiệm đo được. Quá trình nhận dạng là quá trình hiệu
chỉnh các tham số của mơ hình sao cho tín hiệu ra của mơ hình tiến tới tín hiệu đo
được của hệ thống.
Khái niệm về bài toán nhận dạng được Zadeh định nghĩa vào năm 1962 với
hai điểm cơ bản sau:
- Nhận dạng là phương pháp thực nghiệm nhằm xác định một mơ hình cụ thể
trong lớp các mơ hình thích hợp trên cơ sở quan sát các tín hiệu vào ra.
- Mơ hình tìm được phải có sai số với đối tượng là nhỏ nhất.
Theo định nghĩa này thì những bài tốn nhận dạng sẽ phải được phân biệt với
nhau ở ba điểm chính, đó là:
- Lớp mơ hình thích hợp. Chẳng hạn lớp các mơ hình tuyến tính khơng có
cấu trúc (khơng biết bậc của mơ hình) hoặc có cấu trúc, lớp các loại mơ hình lưỡng
tuyến tính.
- Loại tín hiệu quan sát được (tiền định/ngẫu nhiên).
- Phương thức mô tả sai lệch giữa mơ hình thực và đối tượng.
2.1.1.3 Sơ lược về sự phát triển của các phương pháp nhận dạng.
Sự phát triển của nhận dạng trong lĩnh vực điều khiển tự động trong 60 năm
trở lại đây có thể chia thành ba giai đoạn như sau:

25

download by : skknchat@gmail.com


×