tóm tắt luận văn thạc sĩ kỹ thuật NGHIÊN cứu THIẾT kế MẠNG NORON TRUYỀN THẲNG NHIỀU lớp BẰNG các PHẦN tử điện tử THÔNG THƢỜNG

BỘ GIÁO DỤC VÀ ĐÀO TẠO
ĐẠI HỌC THÁI NGUYÊN
TRƢỜNG ĐẠI HỌC KỸ THUẬT CÔNG NGHIỆP

---------------------------

TRẦN NGỌC ÁNH

NGHIÊN CỨU THIẾT KẾ MẠNG NORON
TRUYỀN THẲNG NHIỀU LỚP BẰNG CÁC PHẦN
TỬ ĐIỆN TỬ THƠNG THƢỜNG

LUẬN VĂN THẠC SĨ
Chun ngành : Tự động hố
Mã số:….

TÓM TẮT LUẬN VĂN THẠC SĨ

Thái Nguyên, năm 2013


Mục lục
MỞ ĐẦU ........................................................................................................................................................... 1
1.

Tính cấp thiết của đề tài:............................................................................................................................ 1

2.

Ý nghĩa khoa học và ý nghĩa thực tiễn của đề tài. ..................................................................................... 1
a. Ý nghĩa khoa học:...................................................................................................................................... 1

b. Ý nghĩa thực tiễn: ...................................................................................................................................... 1

3.

Mục đích nghiên cứu: ................................................................................................................................ 1

4.

Phƣơng pháp nghiên cứu: .......................................................................................................................... 1

5.

Kết cấu của luận văn:................................................................................................................................. 1

CHƢƠNG 1: TỔNG QUAN VỀ MẠNG NORON NHÂN TẠO ..................................................................... 1
1.1

Mô hình nơron nhân tạo: ....................................................................................................................... 1

1.2

Cấu trúc mạng nơron: ............................................................................................................................ 2

1.3

Các tính chất của mạng nơron nhân tạo:................................................................................................ 2

1.4

Các luật học: .......................................................................................................................................... 2

1.4.1

Học có giám sát: ............................................................................................................................ 2

1.4.2

Học củng cố: .................................................................................................................................. 2

1.4.3

Học khơng có giám sát: ................................................................................................................. 2

1.5

Ứng dụng mạng nơron trong điều khiển tự động: ................................................................................. 2

1.6

Công nghệ phần cứng sử dụng mạng nơron: ......................................................................................... 2

1.7

Kết luận chƣơng 1: ................................................................................................................................ 2

CHƢƠNG 2: LÝ THUYẾT VỀ THIẾT KẾ PHẦN CỨNG MẠNG NORON NHÂN TẠO ........................... 2
2.1

Giới thiệu chung: ................................................................................................................................... 2

2.1.1

Thực thi mạng noron nhân tạo trong phần cứng tƣơng tự: ............................................................ 2

2.1.2

Thực thi các luật học trong phần cứng tƣơng tự: .......................................................................... 2

2.2

Hệ thống xử lý của mạng noron: ........................................................................................................... 3

2.2.1

Mơ hình mạng noron nhân tạo:..................................................................................................... 3

2.2.1.1

Noron: ........................................................................................................................................ 3

2.2.1.2

Mạng noron: .............................................................................................................................. 3

2.2.2

Lập biểu đồ thuật toán trên VLSI: ................................................................................................. 3

2.2.2.1

Cấu trúc: .................................................................................................................................... 3

2.2.2.2

Sự phát tín hiệu: ......................................................................................................................... 3

2.2.2.3

Bộ nhớ: ...................................................................................................................................... 3

2.2.2.4

Mạch nhân: ................................................................................................................................ 4

2.2.2.5

Hàm chuyển đổi: ........................................................................................................................ 4

2.2.3

Thiết kế chip: ................................................................................................................................. 4

2.2.3.1

Chip noron: ................................................................................................................................ 4

2.2.3.2

Chip khớp thần kinh: ................................................................................................................. 4

2.2.3.3

Chip thần kinh đầu vào rời rạc: ................................................................................................. 5

2.2.4
2.2.4.1

Đo lƣờng chip: ............................................................................................................................... 5
Chip noron: ................................................................................................................................ 5

2.2.4.2 Chip khớp thần kinh: .................................................................................................................... 5
2.2.4.3

Chip đa hợp: .............................................................................................................................. 6


2.3

Kết luận chƣơng 2: ................................................................................................................................ 6

CHƢƠNG 3: THỰC HIỆN ON-CHIP LAN TRUYỀN NGƢỢC .................................................................... 6
3.1

Thuật toán lan truyền ngƣợc: ................................................................................................................. 6

3.1.1

Các khái niệm cơ bản: ................................................................................................................... 6

3.1.2

Những thay đổi thuật toán: ............................................................................................................ 7

3.2

Sự sắp đặt các thuật toán trên VLSI: ..................................................................................................... 8

3.3

Thiết kế chip: ......................................................................................................................................... 9

3.3.1

Chip khớp thần kinh: ..................................................................................................................... 9

3.3.2

Chip noron: .................................................................................................................................... 9

3.4

Các phép đo chip: ................................................................................................................................ 10

3.4.1

Chip khớp thần kinh: ................................................................................................................... 10

3.4.2

Chip noron: .................................................................................................................................. 10

3.4.3

Cải thiện tính tốn đạo hàm: ........................................................................................................ 10

3.5

Thiết kế hệ thống: ................................................................................................................................ 10

3.5.1

Liên kết ASIC: ............................................................................................................................. 11

3.5.2

Phần cứng cập nhật trọng số: ....................................................................................................... 11

3.6

Lan truyền ngƣợc khơng tuyến tính:.................................................................................................... 11

3.6.1

Đạo hàm của thuật tốn: .............................................................................................................. 11

3.6.2

Thực hiện phần cứng: .................................................................................................................. 12

3.7

Kết luận chƣơng 3: .............................................................................................................................. 13

KẾT LUẬN, KIẾN NGHỊ VÀ HƢỚNG NGHIÊN CỨU TIẾP THEO ......................................................... 13
Kết luận: .......................................................................................................................................................... 13
Kiến nghị và hƣớng nghiên cứu tiếp theo: ...................................................................................................... 13


1
MỞ ĐẦU
1. Tính cấp thiết của đề tài:
Bộ não của con ngƣời là một sản phẩm hoàn hảo của tạo hóa, có khả năng học và tƣ duy sáng tạo.
Hiện nay, con ngƣời đang nghiên cứu phƣơng thức hoạt động của bộ não, sau đó áp dụng cho nhƣng cơng
nghệ hiện đại. Để tiếp cận khả năng học, ngƣời ta đƣa ra mơ hình mạng nơron gồm các nơron liên kết với
nhau thành mạng phỏng theo cấu trúc mạng thần kinh của con ngƣời.
Mỗi nơron riêng lẻ có khả năng xử lý thông tin chậm, nhƣng khi chúng đƣợc liên kết với nhau thành
mạng, thì khả năng xử lý thơng tin sẽ mạnh hơn nhiều. Mỗi cấu trúc mạng đều có một ƣu điểm đặc thù,
chúng cho ta một cơng cụ mạnh trong các lĩnh vực kỹ thuật điều khiển và kỹ thuật thông tin. Một mạng
nơron nhân tạo gồm các nơron nhân tạo liên kết với nhau thành mạng. Các ứng xử trên mạng nơron nhân tạo
giống nhƣ bộ não ngƣời, nó có khả năng học và tƣ duy nhƣ bộ não của con ngƣời.
Các nghiên cứu ứng dụng mạng nơron nhân tạo vào giải quyết các bài toán nhận mẫu, nhân dạng, điều
khiển...trong kỹ thuật điều khiển và tự động hóa đƣợc phát triển rất rộng rãi trong thời gian hiện nay. Trong
khi đó việc nghiên cứu thiết kế phần cứng để tạo ra đƣợc các nơron nhân tạo và mạng nơron nhân tạo vẫn
còn đang khá mới mẻ. Ngày nay kỹ thuật điện tử đang phát triển mạnh với nhiều kỹ thuật mới có thể tích
hợp các vi mạch xử lý tích hợp lớn có tốc độ cao và đa dạng. Việc ứng dụng những thành tựu đó vào thiết kế
để tạo ra đƣợc các chíp có thể thực hiện các luật học nhƣ là một mạng nơron nhân tạo vẫn đang là một hƣớng
đi mới hiện nay. Do đó việc “Nghiên cứu thiết kế mạng nơron truyền thẳng nhiều lớp bằng các phần tử điện
tử thông thƣờng” là một đề tài mang tính cấp thiết trong kỹ thuật hiện nay.
2. Ý nghĩa khoa học và ý nghĩa thực tiễn của đề tài.
a. Ý nghĩa khoa học:

Đề tài đề xuất phƣơng pháp, xây dựng sơ đồ thiết kế để thực hiện thiết kế phần cứng cho mạng nơron
truyền thẳng nhiều lớp bằng các phần tử điện tử thông thƣờng.
b. Ý nghĩa thực tiễn:
Thiết kế đƣợc sơ đồ của một mạng nơron truyền thẳng nhiều lớp.
3. Mục đích nghiên cứu:
- Nghiên cứu thực hiện mạng nơron nhân tạo trong phần cứng dùng thiết bị tƣơng tự.
- Thiết kế đƣợc mạng nơron truyền thẳng nhiều lớp bằng các phần tử điện tử thông thƣờng.
4. Phƣơng pháp nghiên cứu:
- Nghiên cứu sách, giáo trình, bài báo, luận văn, các nghiên cứu khoa học khác và các tài liệu liên quan.
- Tiến hành thực hiện thiết kế đƣợc một sơ đồ mạch cụ thể.
5. Kết cấu của luận văn:
Ngoài phần mở đầu, kết luận, các danh mục và tài liệu tham khảo, lận văn đƣợc kết cấu thành 3
chƣơng:
Chƣơng 1: Tổng quan về mạng noron nhân tạo
Chƣơng 2: Lý thuyết về thiết kế phần cứng mạng noron nhân tạo
Chƣơng 3: Thực hiện on-chip lan truyền ngƣợc
CHƢƠNG 1: TỔNG QUAN VỀ MẠNG NORON NHÂN TẠO
1.1

Mơ hình nơron nhân tạo:
Dựa vào cấu trúc của noron sinh học đã có nhiều mơ hình noron nhân tạo đƣợc đƣa ra; mơ hình noron

nhân tạo dạng M-P, do Culloch và Pitts đề xuất năm 1943 có dạng nhƣ sau:


2
x1
xi
xm-1

wi1 Phần tử xử lý thứ i
wij



vi

yi
a(.)

wi(m-1) wim=bi
xm=-1

Hình 1.1: Mơ hình phần tử xử lý thứ i (mơ hình một noron)
1.2

Cấu trúc mạng nơron:
Mạng noron bao gồm sự liên kết của nhiều noron. Đầu ra của mỗi noron kết nối với noron khác thông

qua các trọng số, hoặc tự phản hồi trở về đầu vào của chính nó.
1.3

Các tính chất của mạng nơron nhân tạo:

1.4

Các luật học:
Mạng noron có hai nhóm luật học: nhóm các luật học thơng số và nhóm các luật học cấu trúc. Trong

nội dung nghiên cứu ta đề cập đến các luật học tham số.

1.4.1 Học có giám sát:
1.4.2 Học củng cố:
1.4.3 Học khơng có giám sát:
1.5

Ứng dụng mạng nơron trong điều khiển tự động:
Mạng noron phát triển mạnh mẽ trong lĩnh vực điều khiển tự động, ƣng dụng để giải quyết hai bài toán

cơ bản là: nhận dạng đối tƣợng và thiết kế bộ điều khiển noron.
1.6

Công nghệ phần cứng sử dụng mạng nơron:

1.7

Kết luận chƣơng 1:
Qua phân tích và tìm hiểu chung về mạng nơron nhân tạo, ta thấy rằng mạng nơron nhân tạo có ƣu điểm

lớn trong lĩnh vực nhận dạng, nhận mẫu và điều khiển các đối tƣợng trong điều khiển tự động. Ngày nay khi
công nghệ kỹ thuật ngày càng phát triển nó càng thể hiện đƣợc ƣu thế. Với khả năng truyền tín hiệu và xử lý tín
hiệu dƣới dạng song song làm tăng tốc độ xử lý tín hiệu, là điều cần thiết trong kỹ thuật ngày nay. Vì vậy vấn đề
nghiêm cứu thiết kế chíp sử dụng mạng nơron nhân tạo để thay thế chíp điện tử truyền thống là một hƣớng phát
triển mới và đề tài tập trung nghiên cứu về vấn đề này.
CHƢƠNG 2: LÝ THUYẾT VỀ THIẾT KẾ PHẦN CỨNG MẠNG NORON NHÂN TẠO
2.1

Giới thiệu chung:

2.1.1 Thực thi mạng noron nhân tạo trong phần cứng tƣơng tự:
Với những đặc điểm riêng mà mạng noron nhân tạo có thể đƣợc tích hợp vào phần tử tƣợng tự.

Sự tƣơng đồng: Đó là khả năng xử lý tín hiệu song song, làm tăng tốc độ xử lý dƣ liệu.
Sự khơng đồng bộ: Mạng noron thì khơng đồng bộ trong tự nhiên, có thể đƣợc khai thác hiệu quả.
Sai lệch cho phép: Mạng noron đƣợc huấn luyện tốt thì không nhạy với những sai lệch trọng số nhỏ.
Ứng dụng năng lƣợng thấp: Ứng dụng MOSFET đƣợc điều khiển ở ngƣỡng năng lƣợng thấp.
Thiết bị ghép nói thực: Mạng noron tƣơng tự hiển nhiên loại bỏ đƣợc các chuyển đổi A/D, D/A.
Tính quy luật: Làm cho mạng noron thích hợp cho xử lý tín hiệu song song cỡ lớn.
2.1.2 Thực thi các luật học trong phần cứng tƣơng tự:
Các luật học đƣợc áp dụng đối với mạng noron cũng có các tính chất tƣơng tự nhƣ đối với mạng noron
thực hiện trọng phần cứng tƣơng tự nên có thể thực hiện chúng trên phần cứng tƣơng tự.


3
2.2

Hệ thống xử lý của mạng noron:

2.2.1 Mơ hình mạng noron nhân tạo:
Chúng ta cần phải quyết định trên một hình mẫu của mạng noron nhân tạo. Có ba đặc tính mà mơ hình
mạng noron phải có; chúng là:


Mơ hình có mục đích chung



Mơ hình phải đơn giản



Sự tiện dụng của mơ hình cho kỹ thuật

Để đáp ứng những u cầu này chúng ta đi xây dựng các khối thành phần hoặc các modul của mạng
noron. Các khối thành phần này phải phù hợp với việc thực hiện chúng trên VLSI tƣơng tự.
2.2.1.1 Noron:
Noron đƣợc sử dụng để xây dựng mơ hình là noron bậc cao:
yk  g k (sk )  g k ( w kjz j   w'kj1 j2 z j1 z j2 
j

j1  j2



j1  j2  j3

w" 1 j2 j3 z j1 z j2 z j3  ...)
kj

(2.2)

2.2.1.2 Mạng noron:
Để thực hiện mạng noron bằng các phần tử tƣơng tự chúng tôi lựa chọn mạng noron với cấu trúc liên
kết đầy đủ
2.2.2 Lập biểu đồ thuật tốn trên VLSI:
Trƣớc khi trình bày giải pháp về ANN tích hợp tƣơng tự, chúng tơi sẽ tìm hiểu những khía cạnh khác
nhau với các hệ thống xử lý nhƣ vậy. Và cụ thể hơn thế nữa chúng tôi sẽ thảo luận về sự khác nhau của cấu
trúc, hệ thống tín hiệu, bộ nhớ, mạch nhân và ngƣỡng – cho hệ thống xử lý tƣơng lai của các thuật học.
2.2.2.1 Cấu trúc:
Cấu trúc đƣợc lựa chọn là cấu trúc cho một hệ thống nhỏ, mức năng lƣợng thấp. Việc xây dựng các
khối thành phần cho hệ thống (các noron và khớp thần kinh) là một thƣ viện các khối để có thể chế tạo nhƣ
một CMOS.

2.2.2.2 Sự phát tín hiệu:
Các tín hiệu khác nhau đƣợc truyền thì có liên quan chặt chẽ đến các nhu cầu của bộ nhân ma trận và
khớp thần kinh, và phải đảm bảo yêu cầu:
• Đầu ra từ một noron (đầu vào noron) phải dễ dàng phân phối cho một cột của các khớp thần kinh
• Đầu ra từ một hàng của các khớp thần kinh phải dễ dàng đƣợc tích lũy.
Sử dụng khớp thân fkinh với đầu vào điện áp và đầu ra là dịng điện thì đáp ứng đƣợc u cầu.

Hình 2.4: Một khớp thần kinh điện đặc biệt.
2.2.2.3 Bộ nhớ:
Lƣu giữ các tín hiệu tƣơng tự thì khơng phải là đơn giản; khơng chính xác, hiệu quả bộ nhớ điện tử
tƣơng tự vẫn tồn tại ngày nay. Do đó, sự lƣu trữ của khớp thần kinh đầy đủ là một liên quan chính trong việc
nghiên cứu ANNs tƣơng tự.
Lƣu trữ điện dung là một phƣơng pháp để lƣu trữ tín hiệu tƣơng tự. Tín hiệu tƣơng tự là tín hiệu điện
đƣợc tích lũy trên tự điện và đọc giá trị này bằng cách sử dụng các cổng ghép trở kháng cao của MOSFET.
Hình 2.5: Lưu trữ điện dung.


4
2.2.2.4 Mạch nhân:
Mạch nhân khớp thần kinh có những đặc điểm chính sau đây hoặc có thể là các đặc điểm tốt hơn:
• Kích thƣớc nhỏ
• Đầu ra dịng điện
• Đầu vào điện áp. Một trong những cái cần phải có là điện trở kháng đầu vào rất cao (nhƣ một cổng
MOS) do đó điện dung trên nút này có thể đƣợc sử dụng cho lƣu trữ khớp thần kinh bền.
Chúng tôi lựa chọn mạch nhân điện trở Mos là một mạch nhân tuyến tính.

Hình 2.8: Mạch nhân điện trở MOS.

2.2.2.5 Hàm chuyển đổi:
Hàm chuyển đổi noron phải đảm bảo u cầu về hình dạng và chất lƣợng của nó. Một tính năng hấp

dân nữa là dễ dang thực thi trong công nghệ phần cứng đƣợc lựa chọn.
Chúng tôi đã lựa chọn hàm chuyển đổi dạng Noron tang hypebon, đáp ứng tốt yêu cầu. Và mạch tang
hypebol đƣợc thực hiện bằng cách sử dụng LBM MOSFETs.
2.2.3 Thiết kế chip:
Trong phần này chúng tôi sẽ nghiên cứu thiết kế từng thành phần cơ bản của mạng noron đó là chip
noron, chip khớp thần kình bằng các phần tử điện tử.
2.2.3.1 Chip noron:
Sơ đồ mạch của một noron trên chíp noron đƣợc chỉ ra trên hình 2.15. Cốt lõi của mạch là cặp so lệch
lƣỡng cực thực hiện sử dụng hai LBM MOSFETs. So lệch dòng điện đầu ra của cặp cực này là sự chuyển đổi
để một tín hiệu điện áp giới hạn duy nhất bởi “biên độ đầu ra” MRC. Điều này một lần nữa đƣợc lƣu lại
trong bộ đệm vì vậy noron có thể điều khiển đầu vào trở kháng tƣơng đối thấp của chip khớp thần kinh. Tại
đầu ra của noron, “quy mô đầu ra” MRC đƣợc đặt tƣơng tự nhƣ vậy, hoạt động nhƣ điện trở chuyển đầu ra,
nó chuyển đổi dịng điện đầu vào thành điện áp cần thiết để điều khiển cặp so lệch.

Hình 2.15: Noron tang hypebon.
2.2.3.2 Chip khớp thần kinh:
Chíp khớp thần kinh bao gồm một số mạch nhân kết quả bên trong (IPM) nhân vector đầu vào (vz*)
với một hàng của ma trận lƣu trữ (Vwk*). Một số mạch nhân kết quả bên trong đƣợc chỉ ra trên hình 2.16. Sự


5
khác biệt của các đầu ra MRC khớp thần kinh tổng quát thì đƣợc thể hiện bởi khuếch đại thuật tốn với mạch
phản hồi MRC, nó đảm bảo u cầu ngắn mạch ảo của đầu ra khớp thần kinh. Điện áp kết quả thì đƣợc biến
đổi bởi độ dẫn điện tới dịng điện đầu ra (isk)

Hình 2.16: Mạch nhân kết quả bên trong.
Sơ đồ mạch của một khớp thần kinh đơn đƣợc chỉ ra trên hình 2.17. Số lƣợng khớp thần kinh thì đƣợc
lƣu trữ trong một kiểu khác biệt trên tụ điện ở mỗi điểm khớp; theo cách này sự bù nhờ điện tích đƣa vào
đƣợc loại bỏ, cũng nhƣ điện tích rị rỉ nhờ diot kênh dẫn đƣợc định thiên nghịch đảo của thiết bị chuyển đổi
lấy mẫu; với điều kiện các thành phần phù hợp. Đảm bảo truy cập ngẫu nhiên khớp thần kinh, các thiết bị

chuyển đổi lấy mẫu đƣợc điều khiển bởi một cổng NAND hơn là điều khiển trực tiếp bởi hàng/cột tín hiệu
lựa chọn đƣợc cung cấp bởi hàng và cột bộ giải mã.

Hình 2.17: Sơ đồ mạch khớp thần kinh.

2.2.3.3 Chip thần kinh đầu vào rời rạc:
2.2.4 Đo lƣờng chip:
Chúng tôi thực hiện đo lƣờng kiểm tra chất lƣợng các mạch thành phần của mạng noron đa thiết kế
trong phần trƣớc.
2.2.4.1 Chip noron:
Trong hình 2.19 đo đạc đặc điểm chuyển đổi noron cho các giá
trị khác nhau của phạm vi điện áp đầu vào VIS có thể nhìn thấy đƣợc.
Hình 2.19: Đo lường chức năng truyền tải noron.
2.2.4.2 Chip khớp thần kinh:
Đo lƣờng đặc điểm chuyển đổi khớp thần kinh cho một khớp thần
kinh đơn có thể thấy trên hình 2.20.
Hình 2.20: Đo lường đặc điểm khớp thần kinh.


6
2.2.4.3 Chip đa hợp:
Một chip noron và một chíp khớp thần kinh liên kết với nhau, đặc điểm chuyển giao hỗn hợp có thể đo
lƣờng đƣợc. Điều này thể hiện trên hình 2.21 cho giá trị khác nhau của độ bền khớp thần kinh, xác minh sự
tƣơng thích chip noron và chíp khớp thần kinh. Phản ứng bƣớc nhảy của sự kết hợp noron-khớp thần kinh
đƣợc chỉ ra trên hình 2.22.

Hình 2.22: Đo lương phản ứng bước nhảy

Hình 2.21: Đo lường đặc điểm chuyển đổi

noron-khớp thần kinh.

noron-khớp thần kinh.
2.3

Kết luận chƣơng 2:
Trong chƣơng này đã đƣa ra những lý thuyết để thiết kế một mạng noron nhân tạo VLSI tƣơng tự một

lớp. Để xác định noron thứ tự đầu tiên đƣợc sử dụng bằng điện áp và dòng điện liên tục cho tín hiệu đã đƣợc
lựa chọn và một noron định vị cấu trúc nhiều lớp trên một chip và khớp thần kinh trên chip.
Các khối thành phần của một mạng noron: bộ nhớ, mạch nhân và ngƣơng đã đƣợc nghiên cứu chi tiết.
Bộ nhớ có thể sử dụng bộ nhớ lƣu trữ điện đơn giản, Ram kỹ thuật số, sử dụng lƣu trữ kỹ thuật số kết hợp
với mạch điều chỉnh tƣơng tự. Mạch nhân chì có thể sử dụng mạch nhân bốn góc phần tƣ hoặc mạch nhân
MRC gọn nhẹ. Hàm chuyển đổi sử dụng hàm chức năng hypebol không hạn chế khai triển luật học phần
cứng. Cuối cùng là yêu cầu loại bỏ các thông số quá trình trong hệ thống thực.
CHƢƠNG 3: THỰC HIỆN ON-CHIP LAN TRUYỀN NGƢỢC
Trong chƣơng này chúng tôi sẽ nghiên cứu đƣa luật học lan truyền ngƣợc trên bộ chip ANN tƣơng tự
bằng cách sử dụng một đƣa thêm vào lƣợng nhỏ phần cứng.
3.1

Thuật toán lan truyền ngƣợc:

3.1.1 Các khái niệm cơ bản:
Thuật học sai lệch lan truyền ngƣợc cho một mạng noron truyền thẳng phân tầng (perceptron nhiều
lớp) có thể đƣợc miêu tả nhƣ sau: đƣa ra một vecto đầu vào x(t ) theo thời gian t, sự kích hoạt noron k trong
lớp l nhƣ sau:
l
l
yk (t )  g (sk (t ))  g ( w lkj (t ) z lj (t ))
j

(3.1)


7
3.1.2 Những thay đổi thuật toán:
Để đảm bảo đơn giản khi thực hiện trên phần cứng tƣơng tự, chúng tôi có những thay đổi thuật tốn
lan truyền ngƣợc.


Giảm bớt trọng số: Điều chỉnh luật cập nhật trọng số nhƣ sau:

w lkj (t  1)  (w lkj (t )  w lkj (t ))(1   dec )


(3.5)

Xung lượng: điều chỉnh thay đổi trọng số, xác định tính delta nhƣ sau:

w lkj (t )   mtm w lkj (t  1)   kl (t ) z lj (t )


(3.6)

Giá trị của hàm chuyển: Sử dụng bình phƣơng giá trị hàm chuyển điều khiển sai lệch trọng số

 lj trong (3.3). Bằng cách sử dụng một hàm chuyển đổi là một sigmoid đặc biệt, những sai lệch trọng số này
sẽ giảm về 0 khi đầu vào mạng noron

s lj thì lớn về số lƣợng; do đó làm bằng phẳng sai lệch noron lớn  lj ,

không thay đổi trọng số sẽ diễn ra. Vấn đề này có thể loại trừ bằng cách sử dụng hàm chuyển giá trị entropi
hoặc sự nhiễu loạn Fahlmann. Kết luận cuối cùng trong sai lệch trọng số tiếp theo:

 lj (t )  ( g (slj (t ))   F ) lj (t )


(3.7)

Chỉ tiêu luật học động lượng: Chỉ tiêu luật học là tham số quan trọng nhất: Nếu nó qua lớn, sự giảm

độ dốc thì dao động; nếu nó q nhỏ, độ dốc hội tụ rất chậm. Một chỉ tiêu luật học thích hợp với sự gia tăng
hàm chuyển đổi giá trị khi thiết lập cuối cùng của các thay đổi trọng số, J (t )  J (t )  J (t  1) :

 (t )  a,

 (t  1)  (1  b) (t ),
 (t ),




for J (t ), J (t -1), ..., J (t - T )  0
for J (t )  0
otherwise

Bộ dò eta: Để tránh sự phức tạp của một chỉ tiêu luật học động năng, ngƣời ta có thể lựa chọn một

tốc độ học tối ƣu. Reyneri and Filippi đƣa ra (cho yk    ymax , ymax  , z j    zmax , zmax ) :

kl 

1
2
2
max max

2y

z

 M
2
t

(3.8)
l
k

Trong đó: k   thì là chỉ tiêu luật học lớp l. M k  M là số thứ tự đầu vào lớp l và t là độ dốc
hàm chuyển chức năng noron. Có thể sử dụng:
l

l

l

kl  


l

(3.9)

M kl

Luật học hàng loạt: thực hiện giảm độ dốc trọng số thì đƣợc cập nhật duy nhất sau mỗi giai đoạn:

w ((1  n)Tepc )  w (nTepc ) 
l
kj

l
kj

Tepc 1

 w
t 0

l
kj

(nTepc  1)

(3.10)


8
3.2

Sự sắp đặt các thuật toán trên VLSI:
Sơ đồ khối của khớp thần kinh và noron mở rộng có thể xem trên hình 3.1 và 3.2 tƣơng ứng. Trên

khớp thần kinh cũng bao gồm phần cứng để tính tốn thay đổi trọng số,

w lkj

phù hợp với (3.4). Các khớp

thần kinh mở rộng có các đầu vào điện áp và đầu ra dòng điện cũng giống nhƣ khớp thần kinh nguyên bản.

Hình 3.1: Sơ đồ mạch khớp thần kinh lan
truyền ngƣợc.


Hình 3.2: Sơ đồ mạch noron lan truyền
ngƣợc.

Tiếp cận phần cứng hiệu quả:
Cấu trúc trong hình 3.1 có hai nhƣợc điểm chính: (i) Đối với một khu vực silicon xác định, số lƣợng

các khớp thần kinh đƣợc giảm so với số lƣợng các khớp thần kinh trong một hệ thống chê độ thu hồi, với ba
mạch nhân đƣợc sử dụng thay thế cho một mạch. Ngoài ra, trong hầu hết chế độ thu hồi phần cứng khớp thần
kinh ở trạng thái khơng hoạt động, đó tất nhiên là điều khơng mong muốn. (ii) Số lƣợng dây dẫn giữa các
chíp khớp thần kinh và noron thì đƣợc tăng gấp đơi so với một hệ thống chế độ gọi lại. Cả hai bất lợi nghiêm
trọng này có thể hạn chế các ứng dụng của mạng noron thích nghi, nếu kích thƣớc vật lý của nó là quan
trọng. May mắn mạch thay thế có thể vƣợt qua đƣợc những bất lợi này.

Hình 3.3: MRC hoạt động trong chế độ

truyền thẳng.

Hình 3.4: MRC hoạt động trong chế độ
phản hồi.

Việc thực hiện một mạng noron tƣơng tự chi phí phần cứng thấp với on-chip lan truyền ngƣợc sẽ đƣợc
nghiên cứu. Các hoạt động chủ yếu của hệ thống lan truyền ngƣợc thì đƣợc minh họa trong hình 3.5.

Hình 3.5: Hệ thống lan truyền ngược.


9

3.3

Thiết kế chip:
Ý tƣởng của bộ chíp ANN với on-chip lan truyền ngƣợc đƣơc phát triển mang tính chất hai chiều của

MRC. Trong phần này chúng tôi sẽ miêu tả chip này.
3.3.1 Chip khớp thần kinh:
Các yếu tố tính tốn của chíp khớp thần kinh lan truyền ngƣợc trong chế độ truyền thẳng có thể đƣợc
thấy trong hình 3.6.

Hình 3.6: Chip khớp thần kinh thế hệ thứ hai.

3.3.2 Chip noron:
Sơ đồ của một noron tang hypebol thế hệ thứ hai đƣợc chỉ ra trên hình 3.7. Mạch gƣơng dịng điện
đƣợc thêm vào sẽ chắc chắn gây ra sự gia tăng bù đầu ra noron.

Hình 3.7: Noron tang hypebol thế hệ thứ hai.

Sơ đồ khối của noron lan truyền ngƣợc đƣợc thấy trong hình 3.8.

Hình 3.8: Sơ đồ khối noron lan truyền ngược.


10
3.4

Các phép đo chip:

3.4.1 Chip khớp thần kinh:
Đo lƣờng đặc tính chuyển đổi khớp thần kinh chế độ truyền thẳng cho một khớp thần kinh tín hiệu có
thể đƣợc thấy trên hình 3.9; Đặc tính chế độ đảo chiều cho khớp thần kinh tƣơng tự đƣợc thấy trên hình 3.10.

Hình 3.9: Đặc tính khớp thần kinh chế độ
truyền thẳng.

Hình 3.10: Đặc tính khớp thần kinh chế độ
đảo chiều.

3.4.2 Chip noron:
Đo lƣờng đặc tính chuyển đổi noron chế độ truyền thẳng có thể thấy trên hình 3.13.

Hình 3.13:Đặc tính noron trong chế độ truyền thẳng

3.4.3 Cải thiện tính tốn đạo hàm:
Ngồi việc bù đầu ra chip khớp thần kinh và bù thay đổi trọng số – mà có thể đƣợc hủy bỏ bởi một
thiết lập chƣơng trình tự động loại bỏ bù – các vấn đề liên quan hầu hết đến các bộ chip là tính tốn đạo hàm
noron.

Hình 3.20: Tính gần đúng đạo hàm với tỷ số vi sai.

3.5

Thiết kế hệ thống:
Hầu hết các phần cứng cho một ANN với on-

chip lan truyền ngƣợc thì bao gồm trên bộ chip lan truyền ngƣợc. Đối với một hệ thống hoàn chỉnh, thêm vào
một vài ứng dụng cần thiết. Đó là:
 Một bộ nhớ lƣu trữ trọng số kỹ thuật số.
 Hầu hết các trình tự nhân rộng phần cứng O(1), ví dụ các chuyển đổi D/A và A/D để truy cập bộ nhớ
lƣu trữ, và một số phần cứng cập nhật trọng số. Cũng bao gồm:
 Một máy tự động hữu hạn để kiểm soát hệ thống (làm mới trọng số, các đầu vào ứng dụng, chƣơng
trình điều khiển luật học..)


11
 Mơi trƣờng trong đó để đặt các ANN
3.5.1 Liên kết ASIC:
Sử dụng chip khớp thần kinh 16x16 đơn giản, số lƣợng chíp khớp thần kinh thì giảm xuống, kết nối
với nhau (khi hệ thống hoạt động trong chế độ lan truyền ngƣợc) nhƣ chỉ ra trong hình 3.21 (chip khớp thần
kinh thì đƣợc rút ra có kiến trúc nhƣ hình 1 để cho thuận tiện)

Hình 3.21: Cấu trúc ANN lan truyền ngược.
3.5.2 Phần cứng cập nhật trọng số:
Giá trị bù và độ phân giải trọng số trong các hệ thống VLSI tƣơng tự hạn chế tỷ lệ học ở một phạm vi
cao hơn so với trong phần mềm mô phỏng.

Hình 3.22: Nguyên tắc phần cứng cập nhật trọng số kỹ thuật số

Nghiên cứu sơ đồ khối noron lan truyền ngƣợc trong hình 3.18. Chúng tối sẽ thấy rằng tín hiệu
thì khơng phải truy cập trực tiếp; áp dụng các tín hiệu

w kj (t )

và

 dec

w kj

trên chip noron nhƣ điểm không cho

thay đổi trọng số mong muốn tại đầu ra (mặc dù không thể tránh khỏi với một lƣợng bù lớn hơn nội bộ

w kj ). Khi các đầu ra chip khớp thần kinh, đầu ra w kj

thì đƣợc bù độ lệch trƣớc khi học (bằng cách áp

dụng các yếu tố đầu vào điểm không trong chế độ học và điều chỉnh tín hiệu

w kj (t )

nhƣ vậy mà đầu ra

cũng bằng khơng)
3.6

Lan truyền ngƣợc khơng tuyến tính:
Một trong những mối quan tâm lớn nhất khi thực hiện giảm độ dốc giống nhƣ các thuật học trong phần

cứng là các tính tốn của đạo hàm noron. Nhiều cách tiếp cận khác nhau để làm gần đúng giá trị đạo hàm đã
đƣợc đề xuất trong luận văn: tỉ số chênh lệch (tính tốn địa phƣơng hoặc trên tồn bộ) hoặc các phƣơng pháp
gần đúng khác, nhiễu loạn để làm giảm lƣợng bù liên quan đến lƣợng sai lệch, cũng nhƣ triển khai thực hiện
phần lớn bỏ qua đạo hàm
3.6.1 Đạo hàm của thuật toán:
Đạo hàm của thuật toán lan truyền ngƣợc khơng tuyến tính trong khn khổ của lan truyền ngƣợc lặp
lại có thể đƣợc tìm thấy trong Hertz. Trong trƣờng hợp truyền thẳng, chúng tôi nhớ lại các quy tắc cập nhật


12
trọng số (3.3) trong đó xác định thay đổi trọng số:
l
l
wkj (t )   kl (t ) z lj (t )   g '( sk (t )) kl (t ) z lj (t )

= N


l
g '(sk (t )) kl (t ) z lj (t )
N

(3.13)

Trong đó chúng tơi gọi N giá trị trong miền NLBP. Bây giờ, ý tƣởng cơ bản trong lan truyền ngƣợc
khơng tuyến tính là để mơ tả các phƣơng trình trên nhƣ là khai triển tailor thứ tự đầu tiên của phƣơng trình.

 l


 l
l
w lkj (t )   N  g ( sk (t ) 
 k (t ))  g ( sk (t ))  .z lj (t )
N



đó là hợp lệ nhỏ

 l
 (t )
N k

(3.14)

xác định lại định nghĩa sai lệch trọng số (3.2) để:

l
 Nk (t ) 

N


 l

 l
l
 k (t ))  g ( sk (t )) 
 g ( sk (t ) 

N



(3.15)

Trong đó  Nk (t ) là các sai lệch trọng số NLBP, phƣơng trình thay đổi trọng số NLBP có dạng giống nhƣ
phƣơng trình lan truyền ngƣợc ban đầu:
l

l
w lkj (t )   Nk (t ) z lj (t )

Khi giá trị trong miền NLBP

N
nghĩ rằng  N
tốn. Khi

N

(3.16)

thì lớn, xấp xỉ Tailor thì tốt nhƣng đồi hỏi độ chính xác cao để tính

thì nhỏ, thuật tốn là số lƣợng ổn định nhƣng đƣợc lấy từ hình dạng của độ dốc. Chúng tơi
thì nằm trong phạm vi    N  1 . Trong giới hạn số lƣợng ổn định nhất – cái mà thú vị

nhất trong việc thực hiện một VLSI vì độ chính xác giới hạn của cơng nghệ này – có dạng đơn giản.
l

l
l
 Nk (t )  g (sk (t )   kl (t ))  g (sk (t )) for  N  

(3.17)

3.6.2 Thực hiện phần cứng:
Noron NLBP thời gian liên tục: Lấy cặp khác nhau giữa BJT của noron ban đầu của chúng tôi nhƣ là
một điểm khởi đầu cho thực hiện NLBP với một hàm kích hoạt noron tang hypebol, dẫn đến các sơ đồ mạch
trong hình 3.24.

Hình 3.24: Noron lan truyền ngược phi tuyến trong thời gian thực.
Noron NLBP thời gian rời rạc: Nhƣ hình dạng thực tế của hàm kích hoạt noron thì khơng thích hợp
cho thực hiện lan truyền ngƣợc khơng tun tính, khơng cần thiết phải thực hiện trên các cặp chênh lệch.
Một cách tiếp cận tốt hơn là sử dụng các mạch vốn có (các đầu vào dòng điện và các đầu ra điện áp là cần
thiết). Ngoài ra, nhƣ các chức năng tƣơng tự đƣợc sử dụng để tính tốn kích hoạt noron và các sai lệch


13
noron, sẽ là thích hợp hơn để sử dụng cùng một phần cứng cho những tính tốn, điều này giúp loại bỏ sự cần
thiết cho các thành phần phù hợp. Điều này là có thể nếu hệ thống khơng cần thiết để thực hiện chức năng
trong thời gian liên tục, mặc dù đầu ra sẽ phải đƣợc lấy mẫu.
Nhƣ chỉ ra trên hình 3.25 là sơ đồ mạch đơn giản nhƣ của một noron thời gian rời rạc điều này sử dụng
lại các khối hàm kích hoạt và nó có dịng điện đầu vào/điện áp ra.

3.7

Hình 3.25: Noron lan truyền ngược khơng tuyến tính thời gian rời rạc.
Kết luận chƣơng 3:
Chƣơng này nghiên cứu lý thuyết thiết kế bộ chip ANN ghép liên tầng, bao gồm luật học lan truyền

ngƣợc. Đƣa ra các thuật học cơ bản đã đƣợc và khả năng áp dụng các thay đổi thuật toán phổ biến cho việc
thực hiện VLSI tƣơng tự. Ứng dụng cụ thể cho bộ chip lam truyền ngƣợc với những đặc điểm nhƣ trọng số
đƣợc lƣu trữ trọng một Ram kỹ thuật số, có thể biết đƣợc sự thay đổi trọng số thông qua sử dụng phần cứng
kỹ thuật số rời rạc.
Nghiên cứu về thuật tốn lan truyền ngƣợc khơng tuyến tính, khơng cần tính tốn đạo hàm noron. Đề
xuất các noron khác nhƣ noron lan truyền ngƣợc phi tuyến thời gian liên tục và thời gian rời rạc. Đƣa ra các
mạch ngƣỡng thay đổi trọng số, xung lƣợng và sự suy giảm trọng số trong hệ thống.
KẾT LUẬN, KIẾN NGHỊ VÀ HƢỚNG NGHIÊN CỨU TIẾP THEO
Kết luận:
Luận văn đã nghiên cứu một số nội dung:
 Nghiên cứu tìm hiểu những lý thuyết cơ bản về mạng noron nhân tạo
 Trên cơ sở đó nghiên cứu tìm hiểu về việc xây một mạng noron nhân tạo VLSI một lớp, với các thành
phần co bản bộ nhân, bộ nhớ…bằng cách sử dụng thiết bị tƣơng tự MOSFET.
 Đi sâu nghiên cứu đề xuất thiết kế một bộ chip noron VLSI với cấu trúc truyền thẳng nhiều lớp là
thuật học lan truyền ngƣợc.
Kiến nghị và hƣớng nghiên cứu tiếp theo:
 Nâng cao chất lƣợng của bộ chip noron VLSI với cấu trúc truyền thẳng nhiều lớp là thuật học lan
truyền ngƣợc.
 Tiếp tục nghiên cứu về cách thực hiện mạng noron nhân tạo với các cấu trúc mạng khác, và các thuật
học khác.
 Thực hiện một vi mạch chip noron.