Nghiên cứu thiết kế mạng nơron truyền thẳng nhiều lớp bằng các phần tử điện tử thông thường

ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐH KỸ THUẬT CÔNG NGHIỆP
----------

TRẦN NGỌC ÁNH

NGHIÊN CỨU THIẾT KẾ MẠNG NƠRON TRUYỀN
THẲNG NHIỀU LỚP BẰNG CÁC PHẦN TỬ ĐIỆN TỬ
THÔNG THƢỜNG

LUẬN VĂN THẠC SĨ KỸ THUẬT
CHUYÊN NGÀNH: TỰ ĐỘNG HÓA

Thái Nguyên, 2012


ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐH KỸ THUẬT CÔNG NGHIỆP
----------

TRẦN NGỌC ÁNH

NGHIÊN CỨU THIẾT KẾ MẠNG NƠRON TRUYỀN
THẲNG NHIỀU LỚP BẰNG CÁC PHẦN TỬ ĐIỆN TỬ
THÔNG THƢỜNG

LUẬN VĂN THẠC SĨ KỸ THUẬT
CHUYÊN NGÀNH: TỰ ĐỘNG HÓA

NGƢỜI HƢỚNG DẪN KHOA HỌC:
PGS. TS PHẠM HỮU ĐỨC DỤC

Thái Nguyên, 2012
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




ĐẠI HỌC THÁI NGUYÊN

CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM

ĐẠI HỌC KTCN THÁI NGUYÊN

Độc lập – Tự do – Hạnh phúc

THUYẾT MINH
LUẬN VĂN THẠC SĨ KỸ THUẬT

ĐỀ TÀI:
“NGHIÊN CỨU THIẾT KẾ MẠNG NƠRON TRUYỀN THẲNG
NHIỀU LỚP BẰNG CÁC PHẦN TỬ ĐIỆN TỬ THÔNG THƢỜNG”

HỌC VIÊN:

TRẦN NGỌC ÁNH

LỚP:

K13TĐH

GVHD:

PGS. TS PHẠM HỮU ĐỨC DỤC

BAN GIÁM HIỆU

PHÒNG QLĐT SAU ĐẠI HỌC

GIÁO VIÊN HƢỚNG DẪN

HỌC VIÊN

PGS. TS PHẠM HỮU ĐỨC DỤC

TRẦN NGỌC ÁNH

THÁI NGUYÊN, 2012
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên




LỜI CAM ĐOAN
Tôi tên là Trần Ngọc Ánh, học viên lớp CHK13-TĐH; tôi xin cam đoan
bản luận văn: “Nghiên cứu thiết kế mạng nơron truyền thẳng nhiều lớp bằng
các phần tử điện tử thông thường” là do tôi tự tổng hợp, kết quả trong luận
văn là trung thực và chƣa ai từng cơng bố. Trong luận văn có sử dụng một số
nguồn tài liệu tham khảo rõ ràng nhƣ đã nêu trong phần tài liệu tham khảo.
Thái Nguyên, Ngày tháng 12 năm 2012
Học viên

Trần Ngọc Ánh

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
i




LỜI CẢM ƠN
Tôi xin chân thành cảm ơn PSG. TS PHẠM HỮU ĐỨC DỤC đã tận
tình hƣớng dẫn tơi trong suốt q trình hồn thành nội dung luận văn này.
Tơi xin chân thành cảm ơn Khoa Điện – trƣờng Đại học Kỹ thuật Công
nghiệp Thái Nguyên đã tạo điều kiện, giúp đỡ tơi trong q trình học tập và
nghiên cứu đề tài.
Cuối cùng tôi xin chân thành cảm ơn sự giúp đỡ của Ban giám hiệu,
Phòng quản lý đào tạo sau đại học - trƣờng Đại học Kỹ thuật Công nghiệp
Thái Nguyên đã cho phép và tạo điều kiện thuận lợi để tơi hồn thành bản
luận văn này.

Số hóa bởi Trung tâm Học liệu – Đại học Thái ii
Nguyên




Mục Lục
LỜI CAM ĐOAN ........................................................................................................ i
LỜI CẢM ƠN ............................................................................................................. ii
Danh mục ký hiệu và từ viết tắt................................................................................. vi

Danh mục hình vẽ ..................................................................................................... vii
Mở đầu ........................................................................................................................ 1
Chƣơng 1: Tổng quan về mạng nơron nhân tạo ......................................................... 3
1.1

Mơ hình nơron nhân tạo: .................................................................................. 3

1.2 Cấu trúc mạng noron: ........................................................................................... 6
1.3

Các tính chất của mạng nơron nhân tạo: ............................................................ 8

1.4

Các luật học: ..................................................................................................... 8

1.4.1

Học có giám sát: ........................................................................................ 9

1.4.2

Học củng cố: .............................................................................................. 9

1.4.3

Học khơng có giám sát: ........................................................................... 10

1.5

Ứng dụng mạng nơron trong điều khiển tự động: ............................................. 12

1.6

Công nghệ phần cứng sử dụng mạng nơron:..................................................... 13

1.7

Kết luận chƣơng 1: .......................................................................................... 14

Chƣơng 2: Lý thuyết về thiết kế phần cứng mạng noron nhân tạo .......................... 15
2.1 Giới thiệu chung: ............................................................................................... 15
2.1.1 Thực thi mạng noron nhân tạo trong phần cứng tƣơng tự: .......................... 15
2.1.2 Thực thi các luật học trong phần cứng tƣơng tự: ......................................... 17
2.2. Hệ thống xử lý của mạng noron: ....................................................................... 19
2.2.1. Mơ hình mạng noron nhân tạo: ................................................................... 19
2.2.1.1. Noron: ................................................................................................... 20

Số hóa bởi Trung tâm Học liệu – Đại học Tháiiii
Nguyên




2.2.1.2. Mạng noron ........................................................................................... 21
2.2.2 Lập biểu đồ thuật toán trên VLSI: ............................................................... 22
2.2.2.1. Cấu trúc: ................................................................................................ 22
2.2.2.2. Sự phát tín hiệu: .................................................................................... 25
2.2.2.3. Bộ nhớ:.................................................................................................. 26
2.2.2.4. Mạch nhân: ........................................................................................... 32

2.2.2.5. Hàm chuyển đổi: ................................................................................... 38
2.2.3. Thiết kế chip:............................................................................................... 41
2.2.3.1 Chíp noron: ............................................................................................ 41
2.2.3.2. Chíp khớp thần kinh: ............................................................................ 43
2.2.3.3. Chíp thần kinh đầu vào rời rạc.............................................................. 46
2.2.4. Đo lƣờng chíp: ............................................................................................ 46
2.2.4.1 Chíp noron: ............................................................................................ 46
2.2.4.2 Chíp khớp thần kinh: ............................................................................. 47
2.2.4.3. Chip đa hợp:.......................................................................................... 48
2.3. Kết luận chƣơng: ............................................................................................... 49
Chƣơng 3: Thực hiện on-chip lan truyền ngƣợc ...................................................... 50
3.1. Thuật toán lan truyền ngƣợc:............................................................................. 50
3.1.1. Các khái niệm cơ bản: ................................................................................. 50
3.1.2. Những thay đổi thuật toán: .......................................................................... 51
3.2 Sự sắp đặt các thuật toán trên VLSI: .................................................................. 53
3.3 Thiết kế chip: ...................................................................................................... 59
3.3.1 Chíp khớp thần kinh: .................................................................................... 59
3.3.2 Chip noron .................................................................................................... 61

Số hóa bởi Trung tâm Học liệu – Đại học Tháiiv
Nguyên




3.4 Các phép đo chíp: ............................................................................................... 63
3.4.1 Chíp khớp thần kinh: .................................................................................... 63
3.4.2 Chip noron:................................................................................................... 65
3.4.3 Cải thiện tính tốn đạo hàm: ........................................................................ 68
3.5 Thiết kế hệ thống: ............................................................................................... 69

3.5.1 Liên kết ASIC: ............................................................................................. 70
3.5.2 Phần cứng cập nhật trọng số: ....................................................................... 71
3.6. Lan truyền ngƣợc khơng tuyến tính: ................................................................. 72
3.6.1 Đạo hàm của thuật toán:............................................................................... 73
3.6.2 Thực hiện phần cứng:................................................................................... 74
3.7 Kết luận chƣơng 3: ............................................................................................. 79
Kết luận, kiến nghị và hƣớng nghiên cứu tiếp theo.................................................. 80
Tài liệu tham khảo .................................................................................................... 81

Số hóa bởi Trung tâm Học liệu – Đại học Thái v
Nguyên




Danh mục ký hiệu và từ viết tắt.
ADC

Chuyển đổi tƣơng tự số

ANN

Mạng nơron nhân tạo

CCO

Mạch điều khiển dao động dòng điện

DAC

Chuyển đổi số tƣơng tự

IPM

Mạch nhân kết quả bên trong

LBM MOSFET

MOSFET lƣỡng cực

MLP

Multi-layer proception

MRC

Mạch điện trở MOSFET

MVM

Mạch nhân Ma trận-Vetor

NLSM

Mạch nhân khớp thần kinh khơng tuyến tính

PFM

Điều chế tần số xung

PSRR

Hệ số giảm nguồn năng lƣợng

PWM

Điều chế độ rộng xung

VLSI

Mạch tích hợp rất lớn

WSI

Mạch tích hợp lớp mỏng

Số hóa bởi Trung tâm Học liệu – Đại học Tháivi
Nguyên




Danh mục hình vẽ
Hình Tên hình

Trang

1.1

Mơ hình phần tử xử lý thứ i (mơ hình một nơron)

3

1.2

Đồ thị các dạng hàm chuyển đổi

6

1.3

Cấu trúc của một số loại mạng nơron thường gặp

7

1.4

Sơ đồ ba kiểu học của mạng nơron

10

1.5

Luật học trọng số ở dạng cơ bản

11

2.1

Mở rộng mạng noron.

23

2.2

Mạng noron hồi quy mở rộng

24

2.3

Mạng noron tái cấu hình được.

24
25

2.4

Một khớp thần kinh điện đặc biệt.

26

2.5

Lưu trữ điện dung.

27

2.6

Các cổng MOSFET.

29

2.7

Mạch nhân Gilbert MOS.

34

2.8

Mạch nhân điện trở MOS.

35

2.9

Điện trở MRC tương đương.

35

2.10

Khớp thần kinh chuyển đổi DAC nhiều lớp.

36

2.11

Mạch nhân khớp thần kinh phi tuyến đơn.

37

2.12

Đặc điểm trọng số đầu ra của NLSM.

37

2.13

Tần số xung của noron.

39

2.14

Phân bố noron.

40

2.15

Noron tang hypebon.

42

2.16

Mạch nhân kết quả bên trong.

44

2.17

Sơ đồ mạch khớp thần kinh.

45

2.18

Sự chênh lệch chuyển dòng điện.

45

2.19

Đo lường chức năng truyền tải noron.

47

2.20

Đo lường đặc điểm khớp thần kinh.

47

2.21

Đo lường đặc điểm chuyển đổi noron-khớp thần kinh.

48

2.22

Đo lương phản ứng bước nhảy noron-khớp thần kinh.

48

3.1

Sơ đồ mạch khớp thần kinh lan truyền ngược.

54

Số hóa bởi Trung tâm Học liệu – Đại học Tháivii
Nguyên




3.2

Sơ đồ mạch noron lan truyền ngược.

54

3.3

MRC hoạt động trong chế độ truyền thẳng.

56

3.4

MRC hoạt động trong chế độ phản hồi.

56

3.5

Hệ thống lan truyền ngược.

58

3.6

Chip khớp thần kinh thế hệ thứ hai.

60

3.7

Noron tang hypebol thế hệ thứ hai.

61

3.8

Sơ đồ khối noron lan truyền ngược.

62

3.9

Đặc tính khớp thần kinh chế độ truyền thẳng.

64

3.10

Đặc tính khớp thần kinh chế độ đảo chiều.

64

3.11

Bù trọng số chế độ truyền thẳng.

65

3.12

Bù trọng số chế độ đảo chiều.

65

3.13

Đặc tính noron trong chế độ truyền thẳng.

66

3.14

Tính tốn đạo hàm noron.

66

3.15

Hàm chuyển đổi noron khác nhau.

66

3.16

Sự không tuyến tính noron khác nhau.

66

3.17

Hàm chuyển đổi parabol khác nhau.

67

3.18

Sự khơng tuyến tính parabol đạo hàm.

67

3.19

Tỷ lệ độ suy giảm lấy mẫu noron.

67

3.20

Tính gần đúng đạo hàm với tỷ số vi sai.

69

3.21

Cấu trúc ANN lan truyền ngược.

71

3.22

Nguyên tắc phần cứng cập nhật trọng số kỹ thuật số.

72

3.23

Sai lệch huấn luyện NLBP.

74

3.24

Noron lan truyền ngược phi tuyến trong thời gian thực.

76

3.25

Noron lan truyền ngược khơng tuyến tính thời gian rời rạc.

77

3.26

Sơ đồ cấu trúc khối kích hoạt noron.

78

3.27

Mơ phỏng hàm chuyển đổi noron.

78

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
viii

Mở đầu
Bộ não của con ngƣời là một sản phẩm hồn hảo của tạo hóa, có khả năng học và
tƣ duy sáng tạo. Hiện nay, con ngƣời đang nghiên cứu phƣơng thức hoạt động của bộ
não, sau đó áp dụng cho nhƣng công nghệ hiện đại. Để tiếp cận khả năng học, ngƣời ta
đƣa ra mơ hình mạng nơron gồm các nơron liên kết với nhau thành mạng phỏng theo
cấu trúc mạng thần kinh của con ngƣời.
Mỗi nơron riêng lẻ có khả năng xử lý thơng tin chậm, nhƣng khi chúng đƣợc liên
kết với nhau thành mạng, thì khả năng xử lý thông tin sẽ mạnh hơn nhiều. Mỗi cấu
trúc mạng đều có một ƣu điểm đặc thù, chúng cho ta một công cụ mạnh trong các lĩnh
vực kỹ thuật điều khiển và kỹ thuật thông tin. Một mạng nơron nhân tạo gồm các
nơron nhân tạo liên kết với nhau thành mạng. Các ứng xử trên mạng nơron nhân tạo
giống nhƣ bộ não ngƣời, nó có khả năng học và tƣ duy nhƣ bộ não của con ngƣời.
Các nghiên cứu ứng dụng mạng nơron nhân tạo vào giải quyết các bài toán
nhận mẫu, nhân dạng, điều khiển...trong kỹ thuật điều khiển và tự động hóa đƣợc phát
triển rất rộng rãi trong thời gian hiện nay. Trong khi đó việc nghiên cứu thiết kế phần
cứng để tạo ra đƣợc các nơron nhân tạo và mạng nơron nhân tạo vẫn còn đang khá mới
mẻ. Ngày nay kỹ thuật điện tử đang phát triển mạnh với nhiều kỹ thuật mới có thể tích
hợp các vi mạch xử lý tích hợp lớn có tốc độ cao và đa dạng. Việc ứng dụng những
thành tựu đó vào thiết kế để tạo ra đƣợc các chíp có thể thực hiện các luật học nhƣ là
một mạng nơron nhân tạo vẫn đang là một hƣớng đi mới hiện nay. Do đó việc
“Nghiên cứu thiết kế mạng nơron truyền thẳng nhiều lớp bằng các phần tử điện tử
thông thƣờng” là một đề tài mang tính cấp thiết trong kỹ thuật hiện nay.
Đề tài nghiên cứu tập trung nghiên cứu từ đó đề xuất phƣơng pháp, xây dựng sơ
đồ thiết kế để thực hiện thiết kế phần cứng cho mạng nơron truyền thẳng nhiều lớp
bằng các phần tử điện tử thơng thƣờng. Trên cơ sở đó có thể phát triển mở rộng nâng
cao chất lƣợng của mạng noron tƣơng tự, nghiên cứu ứng dụng cụ thể cho từng cấu

trúc mạng noron và với các luật học khác nhau.
Nội dung luận văn gồm các phần:
Chương 1: Tổng quan về mạng noron nhân tạo
Chương 2: Lý thuyết về thiết kế phần cứng mạng noron nhân tạo
Chương 3: Thực hiện on-chip lan truyền ngược
Kết luận, kiến nghị và hướng nghiên cứu tiếp theo
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
1




Do trình độ và thời gian nghiên cứu hạn chế, em rất mong nhận đƣợc những ý
kiến đóng góp của các thầy giáo, cơ giáo và các ý kiến đóng góp của đồng nghiệp.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
2




Chương 1: Tổng quan về mạng nơron nhân tạo
Nghiên cứu và mô phỏng não ngƣời, cụ thể là mô phỏng mạng nơron thần kinh là
một ƣớc muốn từ lâu của nhân loại. Từ mơ ƣớc đó, nhiều nhà khoa học đã khơng
ngừng nghiên cứu tìm hiểu về mạng nơron. Mạng nơron nhân tạo (Artificial Neural
Networks) là hệ thống đƣợc xây dựng dựa trên nguyên tắc cấu tạo của bộ não con
ngƣời. Mạng nơron nhân tạo có một số lƣợng lớn mối liên kết của các phần tử biến đổi
(Processing Elements) có liên kết song song. Nó có hành vi tƣơng tự nhƣ bộ não con
ngƣời với các khả năng học (Learning), gọi lại (Recall) và tổng hợp thông tin từ sự
luyện tập của các mẫu và dữ liệu. Các phần tử biến đổi của mạng nơron nhân tạo đƣợc

gọi là các nơron nhân tạo (Artificial Neural) hoặc gọi tắt là nơron (Neural). Trong thiết
kế hệ thống tự động hóa sử dụng mạng nơron là một khuynh hƣớng hoàn toàn mới,
phƣơng hƣớng thiết kế hệ thống điều khiển thông minh, một hệ thống mà bộ điều
khiển có khả năng tƣ duy nhƣ bộ não con ngƣời.

1.1 Mơ hình nơron nhân tạo:
Mạng nơron nhân tạo có thể đƣợc chế tạo bằng nhiều cách khác nhau vì vậy
trong thực tế tồn tại rất nhiều kiểu mạng nơron nhân tạo. Dựa vào cấu trúc của nơron
sinh học có nhiều mơ hình đƣợc đƣa ra nhƣ perceptron (Roenblatt, 1958); adaline
(Windrow và Hoff, 1960). Mơ hình một phần tử xử lý hay mơ hình mạng nơron dạng
M – P, do Culloch và Pitts đề xuất năm 1943. có dạng nhƣ sau [2,3]:

wi1 Phần tử xử lý thứ i

x1
xi

wij

xm-1



wi(m-1)

yi

vi

a(.)

wim=bi

xm=-1
Hình 1.1: Mơ hình phần tử xử lý thứ i (mơ hình một nơron)
Với mơ hình một nơron nhƣ vậy thì gồm các phần nhƣ sau:



Tín hiệu đầu vào:

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
3




Có m tín hiệu đầu vào. Trong đó (m-1) tín hiệu là tín hiệu kích thích ở đầu vào là
(x1,…, xj,…, xm-1), chúng đƣợc lấy từ đầu ra của các nơron đƣợc đặt trƣớc nơron này
hoặc đƣợc lấy từ các nguồn tín hiệu đầu vào khác. Các tín hiệu kích thích đầu vào này
đƣợc đƣa qua một bộ trọng số (weight) wij đặc trƣơng cho mức độ liên kết giữa các
nơron thứ j (j = 1, 2, …, m-1) với nơron thứ i. Trọng số liên kết có giá trị dƣơng tƣơng
ứng khớp thần kinh bị kích thích, ngƣợc lại có giá trị âm tƣơng ứng với khớp thần kinh bị
kiềm chế.
Riêng thành phần tín hiệu vào thứ xm đƣợc gọi là ngƣỡng (threshold) có giá trị xm =
-1. Tín hiệu xm đƣợc đƣa qua thành phần dịch chuyển (bias) bi:
wim = bi



(1.1)

Tín hiệu ra:
Có một tín hiệu ra là yi



Bộ cộng:
Thực hiện phép tính tím tổng trọng vi (hoặc neti) bằng cách so sánh tổng trọng của

(m-1) kích thích đầu vào với giá trị trọng lƣợng của ngƣỡng, nếu tổng trọng của (m - 1)
đầu vào vƣợt quá trọng lƣợng của ngƣỡng thì nơron ở trạng thái bị kích thích để tạo ra
đƣợc tín hiệu ra yi
m-1

net i = v i =

 w x +b x
ij

j

i

(1.2)

m

j=1

Thành phần bi về cơ bản giống với trọng số wij , nó chỉ khác là ln liên kết tín hiệu xm =

-1. Do đó, cũng có thể coi bi là trọng số liên kết thứ m là wim của nơron thứ i nối với tín
hiệu vào thứ m là xm ln có giá trị là -1. Viết lại biểu thức (1.2) ở dạng sau đây:
m

net i = v i =

w x
ij

(1.3)

j

j=1

Với: wij = bi và xm = -1.



Hàm chuyển đổi:
Hàm chuyển đổi (transfer function), có nhiệm vụ biến đổi tổng trọng vi (hoặc neti)

thành tín hiệu đầu ra yi:

yi = a(net i ) = a(v i )

(1.4)

Các dạng hàm chuyển đổi thƣờng dùng nhƣ sau:
- Hàm chuyển đổi dạng giới hạn cứng (hard limit transfer function): cịn có tên

khác là hàm chuyển đổi dạng bƣớc nhảy (step transfer function) có biểu thức:
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
4




1

a(v) = sgn(v) = 

0



nÕu v  0
nÕu v < 0

(1.5)

- Hàm chuyển đổi dạng giới hạn cứng đối xứng (symmetric hard limit transfer
function): cịn gọi là hàm dấu có biểu thức sau:

1

a(v) = sgn(v) = 

-1



nÕu v  0
nÕu v < 0

(1.6)

- Hàm chuyển đổi dạng tuyến tính bão hịa (saturating linear transfer function):
có biểu thức nhƣ sau:

1



a(v) = v

0




nÕu v > 1
nÕu 0  v  1

(1.7)

nÕu v < 0

- Hàm chuyển đổi dạng tuyến tính bão hịa đối xứng (symmetric saturating linear
transfer function): có biểu thức nhƣ sau:

1



a(v) = v

1




nÕu v < -1
nÕu -1  v  1

(1.8)

nÕu v > 1

- Hàm chuyển đổi dạng sigmoid (sigmoid transfer function): có biểu thức nhƣ sau:

a(v) =

1
1 + ev

(1.9)

trong đó  > 0 là hệ số độ dốc của dạng hàm chuyển đổi.
- Hàm chuyển đổi dạng tang hyperbolic (hyperbolic tangent transfer function): có
hiểu thức nhƣ sau:

a(v) =

2
1
1 + ev

(1.10)

trong đó  > 0 là hệ số độ dốc của dạng hàm chuyển đổi.
- Hàm chuyển đổi dạng tuyến tính (linear transfer function): có biểu thức nhƣ sau:
a(v) = v

(1.11)

Các dạng hàm chuyển đổi đƣợc biểu diễn nhƣ hình vẽ dƣới đây:

a

a

1

1
v

(a)

0

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
5

v
0
-1

(b)




a

a

1

1
v
0

v

-1

0
-1

1

(c)

(d)

a

1

a

1

1
v

v
0

0

-1
(e)

(f)

a

Hình 1.2: Đồ thị các dạng hàm chuyển đổi:
(a). hàm giới hạn cứng; (b). hàm giới hạn cứng

đối xứng; (c). hàm tuyến tính bão hịa (d). hàm
tuyến tính bão hịa đối xứng

(e). hàm sigmoid;

1
v
0

1

(f). hàm tang hypernolic;
(g). hàm tuyến tính

(g)

1.2 Cấu trúc mạng noron:
Mạng nơron bao gồm sự liên kết của nhiều nơron. Đầu ra của mỗi nơron kết nối
với nơron khác thông qua các trọng số, hoặc tự phản hồi trở về đầu vào của chính nó.
Cấu trúc mạng nơron là kiểu kết nối hình học của mỗi nơron liên kết trong mạng,
đây là đặc điểm quan trọng của từng mạng nơron. Một số loại mạng nơron thƣờng gặp
đƣợc mơ tả bởi hình 1.3 [2,3].
Hình 1.3a mơ tả mạng truyền thẳng một lớp có đặc điểm tất cả các nơron đều nhận
tín hiệu vào từ nguồn bên ngồi qua các biến trọng số và mỗi nơron đều cho ra một tín
hiệu ra.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
6

Hình 1.3: Cấu trúc của một số loại mạng nơron thường gặp
(a). Mạng nơron truyền thẳng một lớp; (b). Mạng nơron truyền thẳng nhiều lớp;
(c). Mạng nơron chỉ có một nơron tự hồi quy; (d). Mạng nơron hồi quy một lớp;
(e). Mạng nơron có cấu trúc ngang - hạn chế; (f). Mạng nơron hồi quy nhiều lớp.
Hình 1.3b mơ tả mạng truyền thẳng nhiều lớp. Lớp vào gồm có các nơron nhận
trực tiếp các tín hiệu vào lấy từ bên ngồi. Lóp ra gồm có các nơron có các tín hiệu ra,
đƣa ra bên ngoài mạng. Lớp ẩn gồm các nơron cịn lại khơng nhận trực tiếp các tín hiệu
vào lấy từ bên ngồi và khơng cung cấp tín hiệu ra cho bên ngồi mạng, nó chỉ có nhiệm
vụ truyền tín hiệu từ các nơron ở lớp vào đến các nơron ở lớp ra. Mạng nơron truyền
thẳng nhiều lớp có một lớp vào, một lớp ra, có thể khơng có hoặc có nhiều lớp ẩn. Một
mạng đƣợc gọi là liên kết đầu đủ nếu mỗi nơron ở lớp trƣớc có liên kết với tất cả các
nơron ở lớp ngay sau nó. Mạng nơron hình 1.3b là loại mạng nơron truyền thẳng có 3
lớp, có liên kết khơng đầu đủ.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
7




Nếu mạng nơron có các tín hiệu đầu ra đƣợc đƣa ngƣợc trở lại đầu vào của các
nơron ở lớp trƣớc nó hoặc chính nó thì mạng đó gọi là mạng phản hồi.
Nếu tín hiệu ra của một nơron đƣợc đƣa phản hồi thành các tín hiệu vào của các
nơron ở cùng một lớp với nơron đó thì mạng đó gọi là mạng phản hồi bên
Mạng phản hồi có các vịng kín đƣợc gọi là mạng hồi quy. Hình 1.3c mô tả một loại
mạng hồi quy đơn giản nhất, chỉ có một nơron có tín hiệu ra tự phản hồi về đầu vào của
chính nó.
Mạng một lớp có liên kết kết phản hồi nhƣ hình 1.3d có đặc điểm tín hiệu đầu ra
của mỗi nơron đƣợc đƣa ngƣợc trở lại đầu vào của chính nó hoặc của các nơron khác

đƣợc gọi là mạng hồi quy một lớp.
Hình 1.3e mơ tả mạng cấu trúc ngang – hạn chế, mạng này có hai loại tín hiệu đầu
vào khác nhau: các đầu vào kích thích ứng với các tín hiệu vào có gắn ký hiệu rỗng (o)
và đầu vào hạn chế với các tín hiệu vào có gắn ký hiệu vịng đặc ()
Hình 1.3f mơ tả mạng hồi quy nhiều lớp.

1.3 Các tính chất của mạng nơron nhân tạo:
- Là hệ phi tuyến: Mạng nơron có khả năng to lớn trong lĩnh vực nhận dạng và
điều khiển các đối tƣợng phi tuyến.
- Là hệ xử lý song song: Mạng nơron có cấu trúc song song, do đó có tốc độ tính
tốn rất cao, rất phù hợp với lĩnh vực nhận dạng và điều khiển.
- Là hệ học và thích nghi: Mạng đƣợc luyện từ các số liệu quá khứ, có khả năng
tự chỉnh khi số liệu đầu vào bị mất, có thể điều khiển on-line.
- Là hệ nhiều biến, là hệ nhiều đầu vào, nhiều đầu ra (Many Input Many
Output - MIMO): rất tiện dụng khi điều khiển đối tƣợng có nhiều biến số.
1.4

Các luật học:
Mạng nơron sử dụng hai nhóm luật học: nhóm các luật học thơng số và nhóm các

luật học cấu trúc [3].
- Học thơng số (Paramater Learning rules): có nhiệm vụ tính tốn cập nhật giá trị
của trọng số liên kết các nơron trong mạng.
- Học cấu trúc (Structure Learning rules): có nhiệm vụ đƣa ra cấu trúc hợp lý của
mạng nhƣ thay đổi số lƣợng nơron hoặc thay đổi số lƣợng liên kết của các nơron có
trong mạng.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
8

Hai nhóm luật học trên có thể đƣợc áp dụng đồng thời học cả cấu trúc và thông số,
hoặc đƣợc áp dụng riêng rẽ.
Sau đây trình bày các luật học thông số với các giả thiết:
- Cấu trúc của mạng nơron gồm số lƣợng lớp nơron, số lƣợng nơron và cách thức
liên kết của các trọng số có trong mạng đã hợp lý
- Ma trận trọng số đã bao gồm tất cả các phần tử thích ứng
Nhiệm vụ của học thống số là đƣa ra phƣơng pháp nào đó để tìm ra ma
trận trọng số điều chỉnh từ ma trận trọng số tùy chọn ban đầu với cấu trúc của
mạng nơron đã đƣợc xác định từ trƣớc, thỏa mãn điều kiện sai lệch trong phạm
vi cho phép.
Để làm đƣợc việc đó, mạng nơron sử dụng các phƣơng pháp học thích ứng để
tính tốn đƣợc các ma trận trọng số điều chỉnh w đặc trƣng cho mạng. Có 3 kiểu học
là: Học có giám sát, học củng cố và học khơng có giám sát.

1.4.1 Học có giám sát:
Cho trƣớc p cặp mẫu tín hiệu vào - ra sau đây:
(x(1),d(1)),…,(x(k),d(k)), …,(x(p),d(p)),
Với x là véc tơ tín hiệu mẫu đầu vào x=[(x(1),x(2),…, x(p)]T và d là véc tơ tín hiệu
đầu ra mong muốn d =[(d(1),d(2),…, d(p)]T
Khi đƣa một mẫu tín hiệu là x(k) vào đầu vào của mạng nơron, ở đầu ra có một tín
hiệu ra tƣơng ứng là y(k). Sai lệnh giữa hai vectơ tín hiệu d, y có nhiệm vụ điều chỉnh
véc tơ trọng số w của mạng nơron sao cho vectơ tín hiệu ra y của mạng bám theo đƣợc
vectơ tín hiệu ra mong muốn d, nói cách khác là để giảm thiểu sai lệch giữa chúng.
Nhƣ vậy kiểu học có giám sát (hình 1.4a) có đặc điểm là cần có tín hiệu đầu ra mong
muốn d đƣợc lấy từ bên ngồi.

1.4.2 Học củng cố:

Trong q trình học giám sát, giả thiết rằng đáp ứng đầu ra của mạng đã đạt đƣợc
giá trị mong muốn nhƣng ở một mẫu vào - ra nào đó bị cho rằng có kết quả khơng
đáng tin cậy, vì vậy cần phải tiến hành kiểm tra lại mẫu nói trên. Khi đó chỉ có một bit
tín hiệu của mẫu cần kiểm tra đóng vai trị là tín hiệu củng cố đƣợc đƣa vào mạng để
góp phần khẳng định kết quả q trình học có giám sát đúng hay sai. Kiểu học này
đƣợc gọi là kiểu học củng cố (hình 1.4c). Kiểu học này cũng có tín hiệu củng cố đƣợc

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
9




lấy từ bên ngồi nên nó chỉ là một trƣờng hợp đặc biệt của kiểu học có giám sát.

1.4.3 Học khơng có giám sát:
Kiểu học này có đặc điểm là khơng có tín hiệu lấy từ bên ngồi. Mạng cần phải
tự mình tìm ra các mẫu, nét đặc trƣng, sự tƣơng thích, phân loại trong dữ liệu đầu vào
và mã hóa thành các mẫu ở đầu ra. Trong q trình học khơng giám sát (hình 1.4b) nếu
mạng khơng thay đổi thơng số của nó thì đƣợc gọi là tự tổ chức (self-organizing)
Hình 1.5 trình bày luật học trọng số ở dạng cơ bản nhất cho nơron thứ i.
Trong đó véc tơ tín hiệu vào: x =[(x1,x2,…, xj,....xm]T có thể đƣợc lấy từ các
nơron khác hoặc đƣợc lấy từ bên ngoài. Thành phần thơng số ngƣỡng có thể đƣợc
thay thế bằng thành phần thứ m của véc tơ tín hiệu vào x là xm= -1 đƣợc kết nối với
trọng số wim= bi.

Hình 1.4: Sơ đồ ba kiểu học của mạng nơron
(a). Học có giám sát
(b). Học khơng có giám sát
(c). Học củng cố

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
10




Hình 1.5: Luật học trọng số ở dạng cơ bản.
Véc tơ trọng số liên kết của nơron thứ i là wi = [ wi1, wi2,…, wim]T

- Yêu cầu đối với hai kiểu học có giám sát và học củng cố
Cần phải có tín hiệu mong muốn ở đầu ra di, các trọng số của nơron thứ i đƣợc
điều chính theo giá các trị của tín hiệu vào, tín hiệu đầu ra và tín hiệu đầu ra mong
muốn của nó. Nghĩa là cần đƣa ra một luật học với mục đích là thay đổi vectơ trọng số
wi sao cho các tín hiệu đầu ra của nơron thứ i là yi bám theo đƣợc tín hiệu đầu ra
mong muốn di (hình 1.5).
- u cầu đối với kiểu học khơng có giám sát
Trọng số của nơron thứ i chỉ phụ thuộc vào giá trị của sự kết hợp của tín hiệu đầu
vào and/or với tín hiệu đầu ra.
Nói chung các luật học trọng số đều có sự thay đổi giá trị của véctơ trọng số liên
kết của nơron thứ i là wi tại thời điểm t phù hợp với tín hiệu học r và tín hiệu vào x(t):

wi (t) = rx(t)

(1.12)

Với  là số dƣơng gọi là hằng số học (learning constant) đặc trƣng cho tốc độ học
của mạng, thông thƣờng 0 <  < 1.
Tín hiệu học r thơng thƣờng phụ thuộc vào wi, x, di:
r = fr (wi,x,di)

(1.13)

Biểu thức tính véc tơ trọng số của nơron thứ i tại (t+1) nhƣ sau:

wi (t 1)  wi (t)  fr (wi (t), x(t),di (t))x(t)
Ở dạng liên tục có thể viết lại là:

dwi (t)
 rx(t)
dt

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
11

(1.14)
(1.15)



Từ các biểu thức trên ta thấy rằng ở các luật học trọng số đều tập trung vào xác
định tín hiệu học r trong biểu thức cập nhật trọng số của mạng nơron.
1.5

Ứng dụng mạng nơron trong điều khiển tự động:
Với sự phát triển mạnh mẽ của khoa học và kỹ thuật, nên khả năng tính tốn

và xử lý của máy tính ngày càng mạnh, nhờ đó các phƣơng pháp lý thuyết đã nghiên
cứu đƣợc ứng dụng rộng rãi nhƣ logic mờ, đặc biệt là mạng nơron. Trong lĩnh vực
điều khiển tự động, mạng nơron đƣợc ứng dụng để giải quyết hai bài toán cơ bản:

Nhận dạng đối tượng: Các đối tƣợng ở đây với đặc tính có thể là động học
tuyến tính, phi tuyến hoặc động học và phi tuyến. Theo lý thuyết đã chứng minh mạng
nơron là một bộ xấp xỉ đa năng, có thể dùng làm một mơ hình tốn học thay thế đối
tƣợng với sai lệch cho trƣớc nào đó. Đây là cơ sở để ta có thể ứng dụng mạng nơron để
nhận dạng các đối tƣợng.
Thiết kế bộ điều khiển nơron: Khả năng xấp xỉ đa năng của mạng nhiều lớp tạo ra
một sự lựa chọn cho việc mơ hình hóa các đối tƣợng phi tuyến và thực hiện các bộ
điều khiển phi tuyến đa năng. Mạng nơron đƣợc ứng dụng trong điều khiển tự động
với ba bài tốn sau:
Điều khiển tiên đốn mơ hình: Model Predictive Control (MPC).
Điều khiển tuyến tính hóa phản hồi: NARMA-L2 (Feedback Linearization
Control).
Điều khiển theo mơ hình mẫu: Model Reference Control.
Dùng mạng nơron để thiết kế bộ điều khiển phải thực hiện theo trình tự hai
bƣớc cơ bản sau: nhận dạng đối tƣợng và thiết kế bộ điều khiển nơron.
Trong bƣớc nhận dạng đối tƣợng, phải xây dựng một mô hình mạng nơron thay
thế cho đối tƣợng cần đƣợc điều khiển. Ở bƣớc thiết kế bộ điều khiển nơron, sử dụng
mơ hình mạng nơron của đối tƣợng để huấn luyện bộ điều khiển. Cả ba bài toán trên
đều giống nhau ở bƣớc nhận dạng, tuy nhiên ở bƣớc thiết kế điều khiển thì khác nhau
đối với mỗi bài tốn.
Đối với bài tốn điều khiển tiên đốn, mơ hình đối tƣợng đƣợc dùng để tiên đoán
đầu ra tƣơng lai của đối tƣợng và sử dụng một thuật toán tối ƣu chọn tín hiệu đầu vào
làm tối ƣu chỉ tiêu tƣơng lai.
Với bài tốn tuyến tính hóa phản hồi, bộ điều khiển đơn giản là sự sắp xếp lại mơ
hình đối tƣợng.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
12

Với bài tốn điều khiển theo mơ hình mẫu, bộ điều khiển là một mạng nơron
đƣợc huấn luyện để điều khiển đối tƣợng bám theo mơ hình mẫu. Một mơ hình
mạng nơron của đối tƣợng đƣợc sử dụng để hỗ trợ trong việc huấn luyện bộ điều
khiển.
1.6

Công nghệ phần cứng sử dụng mạng nơron:
Mạng nơron nhân tạo đƣợc dùng để xây dựng các chip mang lại nhiều lợi ích với

bản chất cấu trúc phân bố song song của sự gia công thông tin nhƣ các nơron sinh học
(Ramacher and Ruckert 1991; Shanchz - Sinencio and Lau 1992), chip nơron có thể
đƣợc sử dụng làm các bộ xử lý (Coprocessor) trong các máy tính thơng thƣờng và trong
việc tính tốn.
Trong phần cứng, mạng nơron có thể sử dụng vào nhiều lĩnh vực. Mạng nơron
có thể sử dụng với các chức năng nhƣ các phần tử analog hoặc digital thay thế cho các
phần tử điện tử thông thƣờng. Các loại chip analog có một tiềm năng to lớn về xử lý tốc
độ cao và kinh tế hơn chip digital cùng loại, các chip digital cũng có các ƣu điểm là có độ
chính xác cao hơn và dễ chế tạo.
Ở phần tử analog, các trọng số liên kết mã hóa đƣợc với các phần tử điện trở, điện
cảm và điện dung. Các mức của các nút hoạt hóa (cƣờng độ của tín hiệu) đƣợc đặc trƣng
bằng các đại lƣợng dịng và áp. Ví dụ nhƣ lƣới silic (Silicon Retina) (Mead 1989)
là một dạng chip analog có thể cạnh tranh đƣợc với lƣới sinh học (Biological Retina).
Cơng nghệ digital có thể áp dụng để thiết kế các chip nơron. Vấn đề này đƣợc
Hammerstrom và Means (1990) đề cập đến. Khả năng khác là xung học (Pulse - Trains)
là đặc trƣng cho trọng số và cƣờng độ tín hiệu (Caudill 1991). Xung học phản ánh
tƣơng ứng với tần suất hoặc khả năng của nơron hoạt hóa, tái tạo điều biến tần xuất
quan sát đƣợc nhƣ của mạng nơron sinh học. Phép nhân của 2 xung học là tƣơng
đƣơng với phép AND trong mạch logic, phép cộng của 2 xung học là tƣơng đƣơng với
phép OR trong mạch logic.

Các trọng số trong một chíp nơron cần cố định trƣớc nhƣ ở chíp ROM (Read Only Memory), bộ nhớ có thể chƣơng trình hóa PROM (Programmable ROM), bộ nhớ
có thể xóa và lập trình đƣợc (Erasable PROM), hoặc bộ nhớ đọc/ghi RAM
(Random Access Memory).
Mạng nơron mở ra một hƣớng cải tiến quan trọng về công nghệ. Với ƣu điểm nổi
bật của mạng nơron là khả năng truyền tín hiệu ở các chíp nơron ở dạng song song do
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
13




đó tốc độ truyền tín hiệu rất cao, điều này khơng có ở các chíp điện tử truyền thống.

1.7

Kết luận chương 1:
Qua phân tích và tìm hiểu chung về mạng nơron nhân tạo, ta thấy rằng mạng nơron

nhân tạo có ƣu điểm lớn trong lĩnh vực nhận dạng, nhận mẫu và điều khiển các đối tƣợng
trong điều khiển tự động. Ngày nay khi công nghệ kỹ thuật ngày càng phát triển nó càng
thể hiện đƣợc ƣu thế. Với khả năng truyền tín hiệu và xử lý tín hiệu dƣới dạng song song
làm tăng tốc độ xử lý tín hiệu, là điều cần thiết trong kỹ thuật ngày nay. Vì vậy vấn đề
nghiêm cứu thiết kế chíp sử dụng mạng nơron nhân tạo để thay thế chíp điện tử truyền
thống là một hƣớng phát triển mới và đề tài tập trung nghiên cứu về vấn đề này.

Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
14