Nghiên cứu thuật toán nơron tương quan và áp dụng cho bài toán nhận dạng thông số

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
-------------------------------------

NGUYỄN QUỲNH NGA

NGHIÊN CỨU THUẬT TOÁN NƠRON –
TƯƠNG QUAN VÀ ÁP DỤNG CHO BÀI TOÁN NHẬN
DẠNG THÔNG SỐ

LUẬN VĂN THẠC SĨ KHOA HỌC
NGÀNH ĐO LƯỜNG CÁC HỆ THỐNG ĐIỀU KHIỂN

Hà Nội – Năm 2010


1

MỤC LỤC
MỤC LỤC .................................................................................................................. 1
BẢNG KÝ HIỆU ....................................................................................................... 3
BẢNG CHỮ VIẾT TẮT VÀ TÊN MỘT SỐ MẠNG ............................................... 4
DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ .................................................................... 5
MỞ ĐẦU .................................................................................................................... 6
CHƯƠNG I: TỔNG QUAN VỀ MẠNG NƠRON.................................................. 10
1.1 LÝ THUYẾT VỀ MẠNG NƠRON ............................................................... 10
1.1.1 Quá trình phát triển .................................................................................. 10
1.1.2 Cơ sở mạng nơron nhân tạo ..................................................................... 11
1.1.2.1 Mô hình Nơron sinh vật .................................................................... 11
1.1.2.2. Mô hình nơron nhân tạo ................................................................... 15
1.1.3 Các cấu trúc mạng điển hình.................................................................... 20

1.1.3.1 Mạng truyền thẳng một lớp............................................................... 20
1.1.3.2 Mạng truyền thẳng nhiều lớp ............................................................ 21
1.2. HỌC CỦA MẠNG NƠRON ......................................................................... 36
1.2.1 Học có tín hiệu chỉ đạo ............................................................................ 37
1.2.2 Học không có tín hiệu chỉ đạo ................................................................. 38
1.3 LÝ THUYẾT PHÂN TÍCH TƯƠNG QUAN .............................................. 39
1.3.1 Quá trình ngẫu nhiên................................................................................ 39
1.3.1.1 Khái niệm .......................................................................................... 39
1.3.1.2 Các hàm tương quan của quá trình ngẫu nhiên ................................. 40
1.3.2 Đo đặc tính động (hàm truyền đạt, đáp ứng xung) của những hệ tuyến
tính – nhận dạng thông số ................................................................................. 41
1.3.2.1 Nguyên lý của phương pháp.............................................................. 41
1.3.2.2 Khảo sát một hệ đang hoạt động bình thường................................... 43
1.3.2.3 Khảo sát hệ chịu tác động của nhiễu ................................................. 43
1.3.2.4 Khảo sát một quá trình chỉ bằng quan sát ......................................... 44
1.3.2.5. Kết luận về ứng dụng ....................................................................... 45
1.3.3. Các Angôrit (algorithm) tính hàm tương quan của tín hiệu ngẫu nhiên
dừng................................................................................................................... 46
1.3.3.1 Angôrit (algorithm) thứ nhất ............................................................. 47
1.3.3.2 Angôrit thứ hai .................................................................................. 48
1.3.3.3 Angôrit thứ ba.................................................................................... 49


2
CHƯƠNG II: PHƯƠNG PHÁP NƠRON-TƯƠNG QUAN CHO BÀI TOÁN
NHẬN DẠNG THÔNG SỐ..................................................................................... 52
2.1.1 Khả năng dùng mạng nơron trong nhận dạng thông số ........................... 52
2.1.2 Nhận dạng thông số sử dụng mạng nơron ............................................... 52
2.2 ĐỐI TƯỢNG NHẬN DẠNG LÀ ĐỘNG CƠ ĐIỆN MỘT CHIỀU.............. 56
2.2.1 Cấu tạo của động cơ một chiều ................................................................ 56

2.2.2. Mô phỏng đối tượng bằng Matlab .......................................................... 58
2.3 CHƯƠNG TRÌNH THỰC HIỆN PHƯƠNG PHÁP NƠRON -TƯƠNG
QUAN ................................................................................................................... 59
CHƯƠNG III: KẾT QUẢ MÔ PHỎNG CHƯƠNG TRÌNH ................................. 64
3.1 Kết quả mô phỏng........................................................................................... 64
3.2 Đánh giá - Nhận xét ...................................................................................................66

KẾT LUẬN VÀ KIẾN NGHỊ.................................................................................. 68
TÀI LIỆU THAM KHẢO ........................................................................................ 69
PHỤ LỤC ................................................................................................................. 71


3

BẢNG KÝ HIỆU

A = [aịj]

: ma trận n x n.

AT

: ma trận chuyển vị của A.

A-1

: ma trận đảo của A.

|A|

: ma trận với các giá trị tuyệt đối.

||A||

: chuẩn ma trận.

||x||

: chuẩn véc tơ.

||x||∞ =maxi=1, 2,…,n |xi|

: chuẩn vô cùng của véc tơ.

diag(a1,.....,ai)

: ma trận đường chéo với các phần tử

ai.
g(.)

: hàm quan hệ phi tuyến vào ra.

Rn

: không gian thực n chiều.

trA

: vết của ma trận A.

W= [wij]

: ma trận trọng liên kết n x m chiều

x= [x1,....,xn]T є R

: véc tơ cột x.

δg(x)/ δx

: đạo hàm riêng.

E

: hàm năng lượng mạng.

y(t)

: đầu ra.

x(t)

: trạng thái.

u(t)

: tín hiệu điều khiển.

4

BẢNG CHỮ VIẾT TẮT VÀ TÊN MỘT SỐ MẠNG

Adaline

: (Adaptive Linnear Element), phần tử

nơron tuyến tính

thích nghi – Tên một loại nơron do Widrow đề xuất năm 1960.
ART

: (Adaptive Resonannce Theory). Thuyết cộng hưởng thích
nghi. Một loại mạng được xây dựng theo lý thuyết này.

Boltzmann

: Một loại mạng lấy tên là Boltzmann.

CAM

: (Content Addressable Memory). Bộ nhớ nội dung được địa
chỉ hóa.

LMS

: (Least – Mean – Square). Tên một algorithm học (trung bình
bình phương nhỏ nhất).

LVQ

: (Learning Vector Quantization). Thuật toán học lượng hóa
véc tơ.

MIMO

: Multi Input – Multi Output.

Perceptron

: Tên một loại nơron do Rosenblatt đề xuất (1960).

RBF

: (Radial Basis Functions). Tên một loại nơron do Broomhead
và Lowe đề xuất năm 1988.

VLSI

: (Very Large Scale Intergation). Mạch tích hợp mật độ cao.

Hopfield

: Tác giả của một loại mạng trong nhóm mạng phản hồi

THNN

: Tín hiệu ngẫu nhiên.

HTQ

: Hàm tương quan.


5

DANH MỤC CÁC HÌNH VẼ, ĐỒ THỊ

Hình 1.1: Nơron sinh vật .......................................................................................... 12
Hình 1.2: Mô phỏng các nơ-ron sinh học................................................................. 15
Hình 1.3: Nơron nhân tạo ......................................................................................... 15
Hình 1.4: Một số hàm H(s) thường dùng cho nơron nhân tạo ................................. 16
Hình 1.5: Mô hình nơron nhân tạo có n đầu vào và 1 dầu ra ................................... 17
Hình 1.6: Các hàm kích thích hay được sử dụng nhất. a) Hàm chặn cứng; (b-1), ((b2) Các hàm chặn tuyến tính; c(1-2) Các hàm sigma; (d) Hàm Gaussian ................. 18
Hình 1.7: Phân loại mạng nơron nhân tạo ................................................................ 19
Hình 1.8: Mạng nơron truyền thẳng một lớp............................................................ 20
Hình 1.9: Mạng truyền thẳng nhiều lớp ................................................................... 22
Hình 1.10: Mạng nơron hai lớp ................................................................................ 23
Hình 1.11: Mạng MLP truyền thẳng ........................................................................ 24
Hình 1.12: Mạng MLP truyền thẳng ........................................................................ 30
Hình 1.13: Năng lượng mạng ................................................................................... 34
Hình 1.14: Mô hình đo đặc tính động sử dụng tương quan kế................................. 42
Hình 1.15: Mô hình khảo sát quá trình nhờ tín hiệu thử .......................................... 43
Hình 1.15: Mô hình khảo sát quá trình chịu tác động của nhiễu.............................. 44
Hình 1.16: Thuật toán tính hàm tương quan ............................................................ 48
Hình 2.1: Mô hình nhận dạng cơ bản ....................................................................... 53
Hình 2.2: Mô hình bổ sung thông tin đầu vào cho mạng nơ rôn.............................. 53
Hình 2.3: Mô hình sử dụng tri thức tiên nghiệm...................................................... 54
Hình 2.4: Mô hình nhận dạng động học nghịch ....................................................... 54

Hình 2.5: Cấu tạo động cơ một chiều thông thường ................................................ 56
Hình 2.7: Nguyên lý hoạt động của động cơ điện một chiều ................................... 57
Hình 2.8: Mô hình mạch điện thay thế của động cơ điện một chiều........................ 58
Hình 2.9: Mô hình tự động nhận dạng quá trình sử dụng phương pháp nơ rôn tưong
quan .......................................................................................................................... 60
Hình 2.10: Lưu đồ thuật toán của phương pháp....................................................... 62
Hình 3.1: Các tín hiệu vào/ra của mô hình nhận dạng ............................................. 64
Hình 3.2: Giao diện thiết lập cấu trúc mạng nơ rôn ................................................. 65
Hình 3.3: Hiển thị kết quả so sánh ........................................................................... 66


6

MỞ ĐẦU
Khoa học nơron là ngành khoa học đã có từ lâu, nhưng phỏng theo
mạng nơron để áp dụng vào các ngành khoa học kỹ thuật khác nhau thì đang
là vấn đề nóng hổi của thế giới và là vấn đề mới ở nước ta. Có thể dự đoán
trong thời gian không xa nữa máy tính theo mô hình nơron sẽ được đưa và sử
dụng thay thế dần các máy tính hiện thời với các ưu điểm nổi trội của mạng
nơron. Thực tế mạng nơron đã được bắt đầu ứng dụng ở một số lĩnh vực như
nhận dạng, điều khiển…..
1. TÍNH CẦN THIẾT CỦA ĐỀ TÀI
Trong kỹ thuật xử lý thông tin, từ khi ra đời đến nay máy tính đã đạt
được tốc độ tính toán số học rất nhanh, nó làm việc chính xác theo chương
trình. Tuy nhiên nhiều vấn đề mà máy tính số chưa đáp ứng được như loại bỏ
ảnh hưởng nhiễu của các tác động môi trường, máy tính chưa xử lý tốt thông
tin thiếu hụt, chưa thích nghi được với hoàn cảnh tự nhiên. Trong khi đó
mạng nơron với hàng tỉ nơron có tốc độ tính toán cực nhanh, xử lý các tình
huống xảy ra trong thực tế thì chưa máy tính số nào có thể sánh kịp.
Mạng nơron có một số đặc tính quan trọng trội hơn so với các hệ thống

tính toán truyền thống như sau [4]:
• Là hệ phi tuyến, mạng nơron từ quan điểm lý thuyết có khả năng xấp xỉ
những ánh xạ phi tuyến tuỳ ý; nó hứa hẹn giải những bài toán điều
khiển phi tuyến phức tạp. Nó có thể thực hiện nhiều phép lọc nằm
ngoài khả năng của những bộ lọc tuyến tính thông thường.


7

• Là hệ xử lý song song, mạng nơron có cấu trúc song song lớn; tốc độ
tính toán cao và hy vọng sẽ đáp ứng được những hệ cần có độ chính
xác cao hơn những hệ truyền thống hiện nay.
• Mạng nơron là hệ nhiều đầu vào và nhiều đầu ra, có khả năng tự chỉnh
cao đáp ứng các yêu cầu khắt khe của các hệ thống kỹ thuật.
• Mạng nơron là hệ học và thích nghi, khi mạng nơron được huấn luyện
từ các dữ liệu quá khứ, đồng thời nó có khả năng khái quát hoá khi dữ
liệu vào bị thiếu hụt, phù hợp với các hệ thống nhận dạng, phỏng đoán
kỹ thuật.
Với các ưu điểm của mạng nơron thì việc nghiên cứu mạng nơron và
đưa nó ứng dụng vào các lĩnh vực kỹ thuật là hoàn toàn cần thiết và đang là
vần đề thời sự của thế giới và trong nước.
2. NHỮNG CƠ SỞ TIẾP CẬN MẠNG NƠRON NHÂN TẠO
Cơ sở để xây dựng mạng nơron có thể tóm tắt như sau:
• Đầu tiên phải kể đến khoa sinh học nơron. Hầu hết các cấu trúc nơron
nhân tạo đều bắt nguồn từ các mô hình nơron sinh vật. Các nhà sinh
học nơron chọn phương pháp nghiên cứu đặc tính đáp ứng nơron với
các xung kích thích từ thấp lên cao, từ nơron đơn thể đến mạng nhiều
lớp, từ các khu thần kinh trung ương đến các cơ chế thần kinh chấp
hành [5].
• Cơ sở thứ hai để xây dựng nơron nhân tạo là sinh lý học nơron. Các

nhà sinh lý học nơron nghiên cứu cách nhận thức, các hành vi của não
từ cao xuống thấp; rất nhiều các thuật học bắt nguồn từ những nghiên
cứu về sinh lý học. Trong năm mươi năm qua, các nghiên cứu đó dần
hội tụ từ mức vi mô đến vĩ mô hiện nay [6].
• Cơ sở toán học. Các lĩnh vực khoa học nói chung và mạng nơron nói
riêng đều cần công cụ toán học để kiểm nghiệm và đảm bảo các tiên đề


8

và giả thiết đối với mạng nơron nhân tạo (ví dụ tiên đề Hebb). Các
phương pháp được dùng ở đây là các phương pháp ổn định theo lý
thuyết điều khiển tự động, các công cụ giải tích, phương pháp ổn định
theo lý thuyết, công cụ số, các lý thuyết hệ thống lớn, tối ưu [5], [7]…
3. MỤC ĐÍCH, ĐỐI TƯỢNG VÀ NỘI DUNG CỦA LUẬN VĂN
Mạng nơron nhân tạo đã được chú trọng nghiên cứu từ lâu, nhưng kết
quả nghiên cứu còn phụ thuộc vào sự phát triển của nhiều lĩnh vực khoa học
và công nghệ khác. Lý thuyết về mạng nơron đã hình thành, đang phát triển
và ngày càng hoàn thiện, tuy nhiên vẫn còn nhiều vấn đề chưa được giải quyết
triệt để như số lớp, số nơron trong mỗi lớp, ổn định mạng… Việc ứng dụng
mạng nơron nhân tạo vào điều khiển và nhận dạng nhưng còn chưa nhiều.
Luận văn này nghiên cứu, phân tích, cải tiến nhằm đưa mạng nơron và hàm
tương quan để nhận dạng và điều khiển các thông số.
Luận văn được trình bày theo ba chương trừ phần mở đầu, kết luận, phụ
lục:
• Chương một trình bày tổng quan về mạng nơron và hàm tương quan;
• Chương hai trình bày phương pháp nơron-tương quan để nhận dạng
thông số;
• Chương ba trình bày kết quả mô phỏng chương trình.
Phạm vi nghiên cứu: Sử dụng mạng nơron và hàm tương quan để chỉnh các

tham số của động cơ điện một chiều. Trong đó:
− Thuật toán tương quan để phát hiện sai lệch giữa quá trình thực và mô
hình giả thiết.
− Mạng nơron dùng để điều chỉnh các thông số của mô hình.
Ý nghĩa khoa học và thực tiễn của luận văn
Mạng nơron là công cụ mới hứa hẹn giải quyết những vấn đề xử lý
song song, phi tuyến phức tạp trong khoa học tính toán, trong điều khiển tự


9

động cũng như các lĩnh vực khác. Nghiên cứu nhằm phát triển thêm công cụ
và tìm khả năng áp dụng công cụ mạnh và mới này trong điều khiển. Với đặc
tính vốn có song song của mạng nơron, các hệ thống sử dụng nó có thể tăng
tốc độ xử lý và tính toán theo thời gian thực.
Thuật toán tương quan được áp dụng cho hầu hết các quá trình như:
điện tử, hoá học, thuỷ lực, cơ học, v.v.. dải thông rộng bao nhiêu cũng được
không phụ thuộc vào tần số. Đặc điểm đáng chú ý là có thể đo ngay khi hệ
đang làm việc với một tín hiệu thử có biên độ rất bé. Thực tế phương pháp
này đã được áp dụng để xác định các đặc tính của những quá trình hoá học,
những hệ cơ khí, đặc biệt là trong ngành hàng không (cả về máy, vỏ và cánh
máy bay).


10

CHƯƠNG I: TỔNG QUAN VỀ MẠNG NƠRON VÀ
HÀM TƯƠNG QUAN
1.1. LÝ THUYẾT VỀ MẠNG NƠRON
1.1.1. Quá trình phát triển

Theo Wiener, trí não, thông tin và điều khiển là ba lĩnh vực dưới ngọn
cờ chung là điều khiển học (Cybernetics) [16]. Nghiên cứu và mô phỏng trí
não, cụ thể là mô tế bào thần kinh (nơron) là một ước muốn từ lâu của nhân
loại. Từ mơ ước đó nhiều nhà khoa học đã không ngừng nghiên cứu tìm hiểu
về mạng nơron. Với khoảng 15 tỷ nơ ron ở não người, mỗi nơ ron có thể nhận
hàng vạn tín hiệu từ các khớp thần kinh và được coi là một cơ chế sinh vật
phức tạp nhất. Não người có khả năng giải quyết nhũng vấn đề như: nghe,
nhìn, nói, hồi ức thông tin, phân biệt các mẫu mặc dù sự kiện có bị méo mó,
thiếu hụt. Não thực hiện những nhiệm vụ như vậy nhờ các phần tử tính toán
(nơ ron). Não phân bố việc xử lý cho hàng tỷ nơ ron có liên quan, điều khiển
các mối liên hệ giữa các nơ ron đó. Nơ ron không ngừng nhận và truyền thông
tin lẫn nhau. Cơ chế hoạt động nơ ron bao gồm: liên kết (association), tổng
quát hoá (generation), và tự tổ chức (Self- organization). Các nơ ron tự liên
kết với nhau thành mạng trong xử lý. Mỗi mạng gồm hàng vạn các phần tử nơ
ron khác nhau. Mỗi phần tử nơ ron có khả năng liên kết với hàng nghìn các
nơ ron khác. Lý thuyết về mạng nơ ron đã hình thành và đang phát triển, đặc
biệt là nghiên cứu ứng dụng chúng [2, 4]. Có thể chia quá trình phát triển và
nghiên cứu mạng nơ ron trong thế kỷ qua thành bốn giai đoạn:
Giai đoạn một: có thể tính từ những nghiên cứu của William từ những
năm 1890 về tâm lý học với sự liên kết các nơ ron thần kinh. Năm 1940,
McCulloch và Pitts đã cho biết, nơ ron có thể được mô hình hoá như thiết bị


11

ngưỡng giới hạn để thực hiện các phép tính logic. Cũng thời gian đó, Wiener
đã xét mối liên quan giữa nguyên lý phản hồi trong điều khiển và chức năng
cuả bộ não; Ashly đã đề xuất mô hình chức năng bộ não và nguyên lý ổn định
cuả nó.
Giai đoạn hai: có thể tính từ sau thế chiến thứ hai. Đặc biệt, vào những

năm cuả thập niên 60 gần như đồng thời xuất hiện một loạt mô hình mạng nơ
ron hoàn hảo hơn được đưa ra như: Perceptron cuả Rosenblatt, phần tử nơ ron
tuyến tính Adaline (ADAptive LINear Element) cuả Windrow, Ma trận học
cuả Steinbuck. Perceptron rất được chú trọng vì nguyên lý giản đơn, nhưng nó
cũng hạn chế vì như Minsky và Papert đã chứng minh nó không dùng được
cho các hàm logic phức. Bản chất cuả Adaline là tuyến tính, tự chỉnh và được
dùng rộng rãi cho những bài toán tự thích nghi, tách nhiễu và vẫn phát triển
cho đến ngày nay.
Giai đoạn ba: Có thể tính từ đầu những năm 80 đến nay. Những đóng
góp to lớn cho mạng nơron ở giai đoạn này là Grossberg, Kohonen,
Rumelhart và Hopfield. Đóng góp chính của Hopfield là hai mô hình mạng
phản hồi: mạng rời rạc năm 1982 và mạng liên tục năm 1984. Đặc biệt ông dự
tính nhiều khả năng tính toán lớn của mạng mà một nơron đơn không thể có
được.
Giai đoạn bốn: Từ năm 1990 đến nay, các hội nghị, tạp trí khoa học và
chuyên đề đặc biệt về mạng nơron liên tục được tổ chức ví dụ như IJCNN
(International Joint Conference on Nơron Networks). Hàng loạt các lĩnh vực
khác nhau như: kỹ thuật tính toán, tính toán tối ưu, ứng dụng mạng nơron
trong tin học, viễn thông, sinh y học, dự báo, thống kê….đã đi vào áp dụng và
đem lại những kết quả đáng khích lệ.
1.1.2. Cơ sở mạng nơron nhân tạo
1.1.2.1. Mô hình Nơron sinh vật


12

Các nơron sinh vật có nhiều dạng khác nhau như dạng hình tháp ở đại
não, dạng tổ ong ở tiểu não, dạng rễ cây ở cột sống. Tuy nhiên, chúng có cấu
trúc và nguyên lý hoạt động chung. Từ mô hình chung nhất, người ta có thể
mô tả chúng như một nơron chuẩn. Một tế bào nơron chuẩn gồm bốn phần cơ

bản là:

Hình 1.1: Nơron sinh vật

• Các nhánh và rễ: là các bộ phận nhận thông tin. Các đầu nhạy hoặc các
đầu ra của các nơ ron khác bám vào rễ hoặc nhánh của một nơ ron. Khi
các đầu vào từ ngoài này có sự chênh lệch về nồng độ K+, Na+ hay Clso với nồng độ bên trong của của nơ ron thì xảy ra hiện tượng thấm
(hoặc hiện tượng bơm) từ ngoài vào trong thông qua một cơ chế màng
thấm đặc biệt. Hiện tượng thẩm thấu như vậy tạo nên một cơ chế truyền
đạt thông tin với hàng nghìn hàng vạn lối vào trên một nơ ron sinh vật,
ứng với hàng nghìn hàng vạn liên kết khác nhau. Mức độ thẩm thấu
được đặc trưng bởi cơ chế màng tượng trưng bằng một tỷ lệ. Tỷ lệ đó
được gọi là tỷ trọng hay đơn giản gọi là trọng (weight).
• Thân thần kinh (soma) chứa các nhân và cơ quan tổng hợp prôtêin. Các
ion vào được tổng hợp và biến đổi. Khi nồng độ các ion đạt đến một giá
trị nhất định, xẩy ra quá trình phát xung (hay kích thích). Xung đó được


13

phát ở các đầu ra của nơ ron. Dây dẫn đầu ra xung được gọi là dây thần
kinh (axon).
• Dây thần kinh (axon) là đầu ra. Đó là phương tiện truyền dẫn tín hiệu.
Dây thần kinh được cấu tạo gồm các đốt và có thể dài từ vài micro mét
đến vài mét tùy từng kết cấu cụ thể. Đầu ra này có thể truyền tín hiệu
đến các nơ ron khác.
• Khớp thần kinh (synape) là bộ phận tiếp xúc của các đầu ra nơ ron với
rễ, nhánh của các nơ ron khác. Chúng có cấu trúc màng đặc biệt để tiếp
nhận các tín hiệu (Hình 1.a) khi có sự chênh lệch về nồng độ ion giữa
bên trong và bên ngoài. Nếu độ lệch về nồng độ càng lớn thì việc

truyền các ion càng nhiều và ngược lại. Mức độ thấm của các ion có thể
coi là một đại lượng thay đổi tùy thuộc vào nồng độ như một giá trị đo
thay đổi và được gọi là trọng.
Hoạt động của nơron sinh vật
• Truyền xung tín hiệu: Mỗi nơron nhận tín hiệu vào từ các tế bào thần
kinh khác. Chúng tích hợp các tín hiệu vào. Khi tổng các tín hiệu vượt
một giá trị nào đó gọi là giá trị ngưỡng (hay đơn giản gọi là ngưỡng)
chúng phát tín hiệu ra. Tín hiệu ra của nơron được chuyển tới các nơron
hoặc tới các cơ quan chấp hành khác như các cơ, các tuyến (glands).
Việc truyền tín hiệu thực hiện thông qua dây thần kinh và từ nơron này
tới nơron khác theo cơ chế truyền tin đặc biệt là khớp thần kinh. Mỗi
một nơron có thể nhận hàng nghìn, vạn tín hiệu và cũng có thể gửi tín
hiệu đến hàng vạn các nơron khác. Mỗi nơron được coi là một thiết bị
điện hoá, chứa các nội năng liên tục, được gọi là thế năng màng
(rnembrance potential). Khi thế năng màng vượt ngưỡng, nơron có thể
truyền thế năng tác động đi xa theo các dây thần kinh.
• Quá trình học: Khi có xung kích thích từ bên ngoài tới, các khớp hoặc
cho đi qua hoặc không và kích thích hay ức chế các nơron tiếp theo.


14

Học là một quá trình làm cho cách cập nhật này lặp lại nhiều lần đến
một giá trị ổn định, cân bằng điện hoá giữa các nơron. (Trong mạng
nơron nhân tạo, trọng số wij biểu diễn gía trị cân bằng đó đồng thời tạo
mối liên kết giữa các nơron). Những nơron không có ý nghĩa khi xử lý
đơn lẻ mà cần thiết liên kết với nhau tạo thành mạng. Đặc tính của hệ
thần kinh được xác định bằng cấu trúc và độ bền của những liên kết đó.
Có thể thay đổi độ bền vững liên kết (weight) bằng các thuật học khác
nhau. Theo nghiên cứu của các nhà nơ ron sinh vật, một noron xử lý

với tốc độ chỉ bằng 1/6 đến 1/7 tốc độ của cổng logic. Các nơron sinh
học thường được liên kết hàng nghìn, hàng vạn các phần tử với nhau
theo nhiều cách tổ chức khác nhau rất phức tạp. Tuy nhiên, một số cách
kết hợp các phần tử nơron thành mạng theo lớp (layer) được đúc kết
như sau:
• Mạng một lớp: là tập hợp các nơron có đầu vào và đầu ra trên mỗi một
phần tử.
• Mạng hai lớp: gồm một lớp đầu vào và một lớp đầu ra riêng biệt trên
mỗi một phần tử.
• Mạng nhiều lớp: gồm nhiều lớp trong đó lớp đầu vào và lớp đầu ra
riêng biệt. Các lớp nằm giữa lớp vào và lớp ra gọi là các lớp ẩn (Hidden
layers).
• Mạng truyền thẳng: là mạng nhiều lớp mà quá trình truyền tín hiệu từ
đầu ra lớp này đến đầu vào lớp kia theo một hướng xác định.
• Mạng truyền ngược: là mạng mà trong đó một hoặc nhiều đầu ra của
các phần tử lớp sau truyền ngược tới đầu vào các lớp trước đó.
• Mạng tự tổ chức: là mạng có khả năng sử dụng những kinh nghiệm quá
khứ để thích ứng với những biến đổi của môi trường (không dự báo
trước).
Mô phỏng các nơron sinh học:


15

Hình 1.2: Mô phỏng các nơ-ron sinh học

Nhận các tín hiệu từ các nơ-ron khác (hay từ đầu vào). Nếu giá trị (tổng
các tín hiệu có nhân hệ số) nhận được vượt quá một ngưỡng nào đó, nơ-ron
này sẽ kích hoạt (nó sẽ gửi tín hiệu đến các nơ-ron khác nữa).
Mạng nơ-ron là 1 họ các quá trình xử lý thông tin dựa trên mô hình các

nơ-ron thần kinh của con người. Kết hợp 1 số lượng lớn các thành phần đơn
giản (nơ-ron) cấu trúc phức tạp nhằm giải quyết 1 vấn đề cụ thể nào đó.
Giống như con người, mạng nơ-ron học bằng các ví dụ (mẫu).
1.1.2.2. Mô hình nơron nhân tạo
Mạng nơron sinh học có cấu trúc phức tạp. Mô hình một nơron nhân
tạo được xây dựng từ ba thành phần chính: tổng các liên kết đầu vào, động
học tuyến tính, phi tuyến không động học. (Hình 1.3).

Hình 1.3: Nơron nhân tạo


16

• Bộ tổng liên kết: Bộ tổng liên kết đầu vào phần tử nơron có thể được
mô tả như sau:
m

v(t ) = wy (t ) + ∑ bk uk (t ) + I

(1.1)

k =1

Trong đó :
− v(t ) là tổng tất cả các đầu vào;
− uk (t ) là các đầu vào ngoài, k=1,...,m;
− y (t ) là đầu ra nơron;
− bk là trọng liên kết các đầu vào ngoài;
− w là trọng liên kết các đầu vào trong;
−

I là ngưỡng của nơron xác định giới hạn kích thích hay ức chế.

• Phần động học tuyến tính : Có nhiều hàm để mô tả phần động học
tuyến tính. Đây là phần mô tả các xử lý bên trong của nơron. Dưới đây
là một phương pháp dùng toán tử Laplace mô tả (Hình 1.3) phần động
học tuyến tính như một hàm truyền đạt :

X (s) = V (s) ⋅ H (s)

(1.2)

Hình 1.4: Một số hàm H(s) thường dùng cho nơron nhân tạo

• Phần phi tuyến :
Các đầu ra của nơron sinh vật là các xung, có giới hạn chặn. Trong mô
phỏng, để đảm bảo hệ ổn định đầu ra, người ta thường gán hàm chặn ở lối ra
cho các tín hiệu. Để đặc trưng cho điều này, lối ra của mỗi nơron phải đặt


17

hàm chặn, thường ở dạng phi tuyến với hàm g(.). Như vậy, đầu ra y có đặc
trưng là một hàm :
Y = g ( x(t ))

(1.3)

Có nhiều hàm phi tuyến có thể sử dụng trong phần phi tuyến. Một số
dạng khác cũng được sử dụng. (Các nơron chuyển động ở vùng thị giác trong

nơ ron sinh học có đặc tính của hàm Sigmoid, nơron ở khu vực quan sát có
dạng hàm Gauss, nên việc mô hình hóa các đầu ra ở các dạng kể trên phù hợp
và tương ứng với các nơron sinh học).
Một số dạng mũ, logarit cũng được sử dụng trong khâu đầu ra phi tuyến
mặc dù cơ sở sinh vật của những hàm đó chưa được đặt ra. Đầu ra y(t) trong
trường hợp tổng quát có thể liên tục hoặc rời rạc. Giống nơron sinh vật các
nơron nhân tạo liên kết với nhau tạo thành mạng. Có nhiều cách kết hợp các
nơron nhân tạo thành mạng, mỗi cách kết hợp tạo thành một lớp mạng khác
nhau.

Hình 1.5: Mô hình nơron nhân tạo có n đầu vào và 1 dầu ra

Hình 1.5 biểu diễn một nơron nhân tạo gồm n đầu vào và 1 đầu ra. Nó
bao gồm những thành phần sau:
Đầu vào x1 , x2 ,..., xn : Các đầu vào nhân với các trọng số w1 , w2 ,..., wn .

Một đầu vào có giá trị bằng 1 được gọi là 1 bias và được ký hiệu là x0 .
Hàm số đầu vào u tính tập hợp các tín hiệu đầu vào cho nơron
u = u ( x, w) , trong đó x và w lần lượt là các vectơ đầu vào và trọng số. Thông
thường chọn hàm tổng


18
n

u = ∑ xi wi

(1.4)

i =1

.

Hàm kích thích s tính toán mức độ kích thích của nơron a=s(u).
Hàm đáp ứng tính toán giá trị tín hiệu đầu ra của nơron y=f(a). Tín

hiệu đầu ra của tín hiệu thông thường bằng mức độ kích thích của nơron y=a.
Tùy theo sự khác nhau của từng tham số ở trên mà sinh ra các kiểu nơron
khác nhau. Các giá trị đầu vào và đầu ra của 1 nơron có thể số nhị phân {0,1},
số lai {-1,1}, giá trị liên tục trong đoạn [0,1], hoặc các số rời rạc trong 1
khoảng được định nghĩa trước.

Hình 1.6: Các hàm kích thích hay được sử dụng nhất. a) Hàm chặn cứng; (b-1), ((b-2)
Các hàm chặn tuyến tính; c(1-2) Các hàm sigma; (d) Hàm Gaussian

Hàm chặn cứng (hình 1.6[a]). Nếu giá trị đầu vào của mạng lớn hơn 1 giá
trị chặn nào đó thì nơron trở nên tích cực (giá trị kích thích bằng 1), ngược lại
nó sẽ không tích cực (giá trị kích thích bằng 0).

Hàm chặn tuyến tính. Giá trị kích thích sẽ tăng tuyến tính cùng với sự tăng
của tín hiệu đầu vào và khi đến một ngưỡng nào đó đầu ra sẽ bão hòa. Các


19

kiểu hàm chặn tuyến tính khác nhau phụ thuộc vào phạm vi của giá trị đầu ra
nơron (hình 1.6[b-1], 1.6[b-2]).

Hàm sigma. Hàm sigma là hàm truyền phi tuyến hình chữ S được đặc trưng
bởi các yếu tố sau.

Bị chặn, các giá trị của nó bị hạn chế giữa 2 ngưỡng, ví dụ như [0 1], [-1 1].
Đơn điệu tăng, nghĩa là các giá trị của f(u) không bao giờ giảm khi u tăng.
Liên tục và tăng, do đó có thể đạo hàm ở mọi điểm trong miền của hàm xác
định của hàm. Các kiểu hàm sigma khác nhau được sử dụng trong thực tế là:
hàm logsig a =

1
(hình 1.5[c-1]) trong đó c là hằng số.
1 + e− cu

1 − e − cu
Một hình thức khác của hàm logsig là hàm logsig 2 cực: h ( u ) =
1 + e− cu
(hình 1.6[c-2]) và hàm tangsig: tanh ( u ) =

ecu − e − cu
.
ecu + e − cu

Hàm gaussian (hàm hình quả chuông, hình 1.6[d]).
• Một kiểu được phân loại điển hình như sau:

Hình 1.7: Phân loại mạng nơron nhân tạo


20

1.1.3. Các cấu trúc mạng điển hình
1.1.3.1. Mạng truyền thẳng một lớp

Là mạng mà các nơron tạo thành một lớp, trong đó mỗi một tín hiệu
vào có thể được đưa vào cho tất cả các nơron của lớp và mỗi nơron có nhiều
các đầu vào và một đầu ra trên mỗi nơ ron đó (Hình 1.7).
m

xi (t ) = ∑ bik uk (t ) + I i

(1.5)

k =1

Xét trường hợp các nơron không phải là động học (tức H ( s ) = 1 ) khi đó
xi (t ) = vi (t ) . Phương trình mạng được mô tả như sau:

yi = g ( xi (t ))

(1.6)

Hình 1.8: Mạng nơron truyền thẳng một lớp

Trong đó :
− xi (t ) là các trạng thái của nơ ron, i =1,..., n;
− ui (t ) là các đầu vào ngoài; bik là trọng liên kết, k = 1,..., m;
− yi (t ) là đầu ra;
− n là số nơron;
− m là số tín hiệu ngoài đưa vào.
Phương trình (1.6) viết dưới dạng phương trình ma trận vector :


21

x(t ) = Bu (t ) + I

(1.7)

y (t ) = g ( x(t ))
Trong đó :
− x =| x1 , x2 ,...xn |T là vector trạng thái, i = 1,…..,n
− y =| y1 , y2 ,... yn |T là vector đầu ra
− B = [bik ] là ma trận trọng n x m chiều
− I =| I1 , I 2 ,...I n |T là vector hằng
Nếu mỗi nơron có đặc tính động học bậc nhất H ( s ) = 1/ T ( s ) + 1 thì tập hợp
của các nơron có thể được viết dưới dạng phương trình trạng thái:
dx
+ x(t ) = Bu (t ) + I
dt
y (t ) = g ( x(t ))

T

(1.8)

Hệ phương trình (1.8) có thể cho ở dạng rời rạc:
Tx(t + 1) + (1 − t ) x(t ) = Bu (t ) + I
y (t ) = g ( x(t ))

(1.9)

Đặc tính mạng như vậy phụ thuộc vào ma trận liên kết B và dạng động
học H ( s ) .

1.1.3.2. Mạng truyền thẳng nhiều lớp

Liên kết một lớp cho khả năng ánh xạ phi tuyến giữa các đầu vào và
các đầu ra. Mạng hai lớp có khả năng ánh xạ các hàm trong vùng lồi. Mạng
một hoặc hai lớp nói chung dễ phân tích. Mạng ba lớp hoặc nhiều lớp có khả
năng mô tả được mọi hàm phi tuyến. Theo Cybenco thì bất kỳ hàm phi tuyến
nào cũng có thể xấp xỉ tuỳ ý trên một tập compact bằng mạng nơron truyền
thẳng gồm hai lớp ẩn với độ phi tuyến cố định. Như vậy, khi xây dựng mạng
nơ ron trong xử lý, mạng hai lớp ẩn đủ khả năng xấp xỉ một hàm tùy chọn mà
có thể không dùng nhiều lớp hơn phức tạp cho tính toán.


22

Hình 1.9: Mạng truyền thẳng nhiều lớp

Xét mạng tĩnh H ( s ) truyền thẳng nhiều lớp có phương trình mô tả như
sau:
nq

m

j =1

k =1

X (t ) = ∑Wijq (t ) + ∑ bik uk (t ) + I iq
q
i

yiq = g q ( X iq (t ))

(1.10)

Trong đó:
− X iq (t ) là các đầu vào lớp q ; i = 1,..., n ; q = 1,...Q ;
−

uk (t ) là các đầu vào ngoài

− bik là trọng ngoài, k = 1,...M
− yiq là đầu ra lớp q
−

Wijq là trọng lớp q từ nơron thứ i tới nơron thứ j ; i, j = 1,...n ;

− I iq là ngưỡng của nơron thứ i , lớp q ;
− n q là số phân tử nơron lớp q ;
− m là số tín hiệu ngoài đưa vào.
Phương trình (1.10) có thể viết dưới dạng phương trình ma trận-vector :

x(t ) = Wy (t ) + Bu (t ) + I
y (t ) = G ( x(t ))

(1.11)


23

Trong đó :

− W , B, I là các ma trận ;
− x, u , g là các vector hàm.
Ví dụ xét mạng nơron 2 lớp sau:

Hình 1.10: Mạng nơron hai lớp

Gọi Wijk là trọng số của nơron thứ i , có đầu vào là j , thuộc lớp thứ k .

xi là đầu vào thứ i , i = 1, 2,3
zi là đầu ra của nơron thứ i thuộc lớp ẩn, i = 1,2,3 .
y là đầu ra của lớp đầu ra.
net1 , net2 lần lượt là hàm truyền của lớp ẩn, lớp đầu ra.
Tính đầu ra của các lớp:
Lớp ẩn:

a1(1) = x1w11(1) + x2 w12(1) + x3 w13(1)
z1 = net1 ( a1(1) )
a2(1) = x1w21(1) + x2 w22(1) + x3 w23(1)
z2 = net1 ( a )
(1)
2

a3(1) = x1w31(1) + x2 w32(1) + x3 w33(1)
z3 = net1 ( a3(1) )

(1.12)


24

Lớp đầu ra:
(2)
(2)
(2)
a(2) = z1w11
+ z2 w12
+ z3 w13

(1.13)

y = net2 (a(2) )
Thuật toán huấn luyện lan truyền ngược

Lan truyền ngược là thuật toán được dùng phổ thông nhất trong việc
dạy mạng nhiều lớp, kể cả mạng với nơron có tíng động học BSB.
(k )

Từ một mẫu học cụ thể x , y
(k )

như w , v

(k )

(k )

và các trọng số đã có của mạng, chẳng hạn

(k )
ở mạng hai lớp, người ta xác định đầu ra thực y% . Sau đó trên

(k )

(k )

cơ sở so sánh với mẫu học y , các trọng số của lớp nơron đầu ra, ví dụ w ,
được hiệu chỉnh thành w

( k +1)

. Tiếp tục, từ trọng số mới w

( k +1)

người ta lại hiệu

chỉnh trọng số của các nơron thuộc lớp phía trước, ví dụ như v

(k )

thành v

( k +1)

.

Cứ như vậy cho đến trọng số của lớp nơron đầu vào.
Nội dung thuật toán:

Bây giờ ta xét tổng quát mạng MLP truyền thẳng với m đầu vào và x j ,

j = 1,2,..., m và n đầu ra %
y i , j = 1, 2,...n gồm Q lớp với mỗi lớp có n p nơron
, p = 1, 2,...Q như hình mô tả sau:

Hình 1.11: Mạng MLP truyền thẳng