(Luận văn thạc sĩ) Điều khiển PID một nơron thích nghi dựa trên bộ nhận dạng mạng nơron RBF

Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

LỜI CAM ĐOAN
Tôi cam đoan đây là cơng trình nghiên cứu của tơi.Các số liệu, kết quả
trình bày trong luận văn đã đƣợc kiểm tra kỹ và phản ánh hoàn toàn trung thực
và chƣa từng đƣợc ai cơng bố trong bất kỳ cơng trình nào khác.
Tp. Hồ Chí Minh, ngày 21 tháng 09 năm 2012
(Ký tên và ghi rõ họ tên)

Trần Thanh Tú

ii


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

CẢM ƠN
Tôi xin bày tỏ lời cám ơn sâu sắc và lịng kính trọng đối với thầy hƣớng
dẫn: GVC-TS Nguyễn Chí Ngơn đã có những chỉ dẫn quý báu về phƣơng
pháp luận và định hƣớng nghiên cứu để luận văn hồn thành.
Tơi cũng bày tỏ lời cám ơn đối với Khoa Điện-Điện tử của trƣờng Đại
học Sƣ phạm Kỹ thuật thành phố Hồ Chí Minh, Khoa Công nghệ của trƣờng
Đại học Cần Thơ và đơn vị tôi đang công tác đã tạo điều kiện thuận lợi về cơ
sở vật chất và thời gian để tơi hồn thành luận văn.
Tôi cũng xin trân trọng cám ơn các Thầy Phản biện đóng góp các ý
kiến và trao đổi các vấn đề lý thuyết cũng nhƣ thực tiễn để luận văn đƣợc hồn
thiện.
Cuối cùng, tơi xin bày tỏ lời cám ơn sâu sắc đến gia đình, ngƣời thân,
bạn bè và đồng nghiệp đã luôn chia sẻ và cổ vũ động viên tinh thần đối với tơi
trong suốt q tình học tập và thực hiện luận văn này.

iii


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

TĨM TẮT

Tóm tắt:
Luận văn này nhằm nghiên cứu xây dựng bộ điều khiển PID một nơron thích nghi để điều khiển đối tƣợng phi tuyến chƣa biết trƣớc tham số và
cấu trúc. Bộ điều khiển PID đƣợc tổ chức dƣới dạng một nơ-ron tuyến tính mà
ở đó ba trọng số kết nối của ba ngõ vào nơ-ron tƣơng ứng với ba thông số Kp,
Ki, và Kd của bộ điều khiển. Áp dụng giải thuật huấn luyện trực truyến
(online) nơ-ron cho phép tự điều chỉnh thông số bộ điều khiển thích nghi theo
sự biến đổi đặc tính động của đối tƣợng. Bộ nhận dạng mạng nơ-ron RBF làm
nhiệm vụ nhận dạng khơng tham số mơ hình đối tƣợng, từ đó đƣa ra thơng tin
Jacobian cịn gọi là độ nhạy của đối tƣợng. Bộ nhận dạng này đƣợc huấn luyện
trực tuyến bằng phƣơng pháp gradient descent. Giải thuật huấn luyện bộ điều
khiển PID một nơ-ron cần thông tin Jacobian từ bộ nhận dạng, để tính tốn các
giá trị gradient dùng để cập nhật các trọng số kết nối của nơ-ron PID. Kiểm
nghiệm qua mô phỏng trên MATLABvà tiến tới thực nghiệm trên hệ ổn định
áp suất RT030 của hãng Gunt-Hamburg, Đức. Kết quả cho thấy đáp ứng của
đối tƣợng thỏa mãn các yêu cầu điều khiển khắc khe, triệt tiêu đƣợc sai số xác
lập và độ vọt lố nằm trong phạm vi cho phép.

Abstract:
This thesis aims to develop a single neuron adaptive PID controller
forunknownsystems. APID controller is constructed as a linear neuron that
three input weights of neuron work as three parameters Kp, Ki and Kdof the
PID controller. Applyingan online learning algorithm for this neuron allows
self-tuning the PID controller adapting to behaviors of system dynamics.A

RBF neural network - based non-parametric model identifier providesJacobian

iv


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

information, also known as the sensitivity of the subject. This neural network
identifier is online trainedby using gradient descent method. ThePID training
algorithm needs Jacobian information from the identifier to calculate gradient
values used to update weights of PID neuron. The controller was tested by
simulation on MATLAB and experiment on RT030 Air Pressure Control Unit
of Gunt-Hamburg, Germany. The results show that the system responses
satisfy the requirements of control performance, eliminating steady-state error,
and achieving safe overshoot.

v


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

MỤC LỤC
LÝ LỊCH KHOA HỌC

i

LỜI CAM ĐOAN ii
CẢM ƠN

iii

TÓM TẮT

iv

MỤC LỤC…...................................................................................................vi
CHƢƠNG 1: TỔNG QUAN

1

1.1 Tổng quan chung về lĩnh vực nghiên cứu, các kết quả nghiên cứu trong và
ngồi nƣớc đã cơng bố.

1

1.1.1 Tổng quan chung về lĩnh vực nghiên cứu.

1

1.1.2 Các kết quả nghiên cứu trong và ngồi nƣớc đã cơng bố.

6

1.2 Mục tiêu của đề tài.

7

1.3 Nhiệm vụ của đề tài và giới hạn đề tài.

7

1.4 Phƣơng pháp nghiên cứu.

8

CHƢƠNG2: CƠ SỞ LÝ THUYẾT

9

2.1 Bộ điều khiển PID thích nghi.

9

2.1.1 Tổng quan về bộ điều khiển PID
2.1.2 Bộ điều khiển PID thích nghi

9
12

2.2 Bộ điều khiển PID một nơ-ron.

14

2.2.1 Cấu trúc bộ điều khiển PID một nơ-ron.

14

2.2.2 Huấn luyện trực tuyến bộ điều khiển một nơ-ron.

15

2.3 Mạng nơ-ron RBF.

16

2.3.1 Cấu trúc mạng nơ-ron RBF.

16

2.3.2 Hàm cơ sở xuyên tâm.

17

2.3.3 Tổng quát hàm cơ sở xuyên tâm Gaussian và huấn luyện mạng RBF.
18
2.4 Hệ ổn định áp suất RT030

20

vi


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

CHƢƠNG 3:THIẾT KẾ BỘ ĐIỀU KHIỂN PID MỘT NƠ-RON THÍCH
NGHI DỰA TRÊN BỘ NHẬN DẠNG MẠNG NƠ-RON RBF

25

3.1 Sơ đồ điều khiển.

25

3.2 Bộ nhận dạng đối tƣợng điều khiển.

26

3.2.1 Bộ nhận dạng dựa trên mạng nơ-ron RBF.

26

3.2.2 Giải thuật huấn trực tuyến bộ nhận dạng.

26

3.3 Giải thuật huấn luyện bộ điều khiển PID một nơ-ron.

28

3.4 Mô phỏng giả định giải thuật huấn luyện bộ điều khiển PID một nơ-ron
thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF.

29

3.4. 1 Mơ phỏng 1: Tín hiệu tham khảo cố định

30

3.4. 2 Mơ phỏng 2: Tín hiệu vào tham khảo là xung vng.

33

3.4. 3 Mơ phỏng 3: Tín hiệu vào tham khảo Xref là tín hiệu bậc thang tăng
dần.

37

CHƢƠNG 4:KẾT QUẢ THỰC NGHIỆM

40

4.1 Phƣơng thức giao tiếp máy tính với thiết bị RT030.

40

4.2 Sơ đồ thực nghiệm điều khiển

42

4.3 Kết quả thực nghiệm

43

4.3.1 Kết quả thực nghiệm 1:43
4.3.2 Kết quả thực nghiệm 2:

47

4.3.3 Kết quả thực nghiệm 3:

50

4.3.4 Kết quả thực nghiệm 4:

52

CHƢƠNG 5:KẾT LUẬN

56

TÀI LIỆU THAM KHẢO

57

vii


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

CHƢƠNG 1

TỔNG QUAN

1.1 Tổng quan chung về lĩnh vực nghiên cứu, các kết quả nghiên cứu
trong và ngồi nƣớc đã cơng bố.
1.1.1 Tổng quan chung về lĩnh vực nghiên cứu.
Trong sự phát triển của KH&CN, lý thuyết điều khiển hiện đại có vai
trị hết sức quan trọng để giải quyết nhiều vấn đề nhƣ nâng cao chất lƣợng
điều khiển, độ ổn định của hệ thống, tiết kiệm năng lƣợng hay nhƣ sử dụng
máy móc thay thế con ngƣời trong các ứng dụng điều khiển phức tạp hoặc

nguy hại.
Các bộ điều khiển PIDđƣợcsử dụng rộng rãitrong việc kiểm sốtq
trình cơng nghiệpbởi vìđơngiảnvàmạnh mẽ. Tuy nhiên,thơng thƣờngbộ điều
khiểnPIDvới các thơng sốcốđịnhkhócó thểthích ứng vớithờigiankhác nhaucủa
các đối tƣợng có đặc tính động trong phạm vi rộng[1]. Đểcải thiện hiệu
suấtđiều khiển, bộ điều khiểnPIDtự điều chỉnhđƣợc quan tâm nghiên cứu của
các nhà khoa học[1-3].
Để giải quyết các vấn đề phức tạp trên, lý thuyết điều khiển bền
vững và thích nghi đƣợc xem là các công cụ hữu hiệu. Thực tế hiện nay điều
khiển thích nghi đƣợc áp dụng thành cơng trong nhiều lĩnh vực nhƣ điều khiển
robot, máy công cụ, CNC, điều khiển q trình (hóa học, sinh học, ...), điều
khiển truyền động hay nhƣ điều khiển lái tàu, máy bay tự động. Tuy nhiên
việc thiết kế các bộ điều khiển phi tuyến nói chung và điều khiển thích nghi
nói riêng là không đơn giản và đặt ra hàng loạt vấn đề cần giải quyết nhƣ vấn
đề về ổn định hệ vịng kín, vấn đề điều khiển bám theo tín hiệu mẫu, vấn đề
chống nhiễu hoặc làm suy giảm nhiễu cũng nhƣ khi kết hợp các vấn đề trên

1


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

với nhau. Giống nhƣ trong điều khiển tuyến tính, phản hồi vẫn là chìa khóa
để thiết kế các bộ điều khiển phi tuyến nói chung. Về mặt lý thuyết, nếu toàn
bộ các trạng thái của hệ đo đƣợc khi đó ta nói đến điều khiển phản hồi trạng
thái, cịn trong trƣờng hợp chỉ có véctơ đầu ra đo đƣợc, điều khiển phản hồi
đầu ra đƣợc áp dụng. Các phƣơng pháp thiết kế bộ điều khiển phi tuyến
nhƣ tuyến tính hóa phản hồi (feedback linearization), điều khiển tích phân
(integral control) và điều khiển PID thích nghi là các phƣơng pháp chủ đạo
hiện nay [20-24].

Các bộ điều khiểnPIDsử dụng nhiều trongcác vịngkiểmsốtcủa các q
trìnhcơng nghiệp. Các thơngsốcủa nólàcầnphải đƣợc điều chỉnhchức năng
củaquy trình kiểm sốtvàkhơng thay đổitrongqtrìnhhoạt động thƣờng
xuncủanó.
Sự bắt đầu của bộ điều khiểnPIDđịi hỏi phải cómộtcơng việckhông
phải lúc nào cũngđơn giảntrongviệc điều chỉnhcác thông số, bên cạnh sự tồn
tại

củamột

sốphƣơng

pháp

[29].

Mặc

dùhữu

íchcủacácphƣơng

phápnàytrongviệc tính tốntiếp cậncác thơng sốgiá trị, tuy nhiênlàcần
thiếttrong một thời gianquan sát đểđiều tramột cách chắc chắnhơnviệc thực
hiệnđiều khiển,yêu cầu,trong một sốtrƣờnghợp, một số lƣợng đáng kểthời
gian. Điềunàyđƣợc hiểu nhƣ làmột bất lợihoặckhókhăntrongdịch vụbắt
đầuđiều khiển.
Các trƣờng hợp khác phức tạp hơntồn tạidođặc thùcủa nó, nơi có quy
trìnhthay đổi nhỏthỏa hiệpthựchiệnbộ điều khiểnPID. Những tình huống này
đƣợc quan sátbởi các bản đồxu hƣớngphân tíchbởingƣời điều khiểnq

trìnhxảy rasự cần thiết phảiđiều chỉnhcác thơng sốđiều khiển.Lý do là khó
khănđể định nghĩa haygiải thích, làhầu hết thời gianlàm thủ tụcđa dạngcác
khía cạnh.

2


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

Giải thuật tính tốn bộ điều khiển PID bao gồm 3 thơng số riêng biệt,
do đó đơi khi nó cịn đƣợc gọi là điều khiển ba khâu: các giá trị tỉ lệ, tích phân
và đạo hàm, viết tắt là P, I, và D. Giá trị tỉ lệ xác định tác động của sai số hiện
tại, giá trị tích phân xác định tác động của tổng các sai số quá khứ, và giá trị vi
phân xác định tác động của tốc độ biến đổi sai số. Tổng chập của ba tác động
này dùng để điều chỉnh quá trình thơng qua một phần tử điều khiển nhƣ vị trí
của van điều khiển hay bộ nguồn của phần tử gia nhiệt. Nhờ vậy, những giá trị
này có thể làm sáng tỏ về quan hệ thời gian: P phụ thuộc vào sai số hiện tại, I
phụ thuộc vào tích lũy các sai số quá khứ, và D dự đoán các sai số tƣơng lai,
dựa vào tốc độ thay đổi hiện tại.
Bằng cách điều chỉnh 3 hằng số trong giải thuật của bộ điều khiển PID,
bộ điều khiển có thể dùng trong những thiết kế có yêu cầu đặc biệt. Đáp ứng
của bộ điều khiển có thể đƣợc mơ tả dƣới dạng độ nhạy sai số của bộ điều
khiển, giá trị mà bộ điều khiển vƣợt điểm đặt và giá trị dao động của hệ thống.
Bộ điều khiển PID vẫn làthuậttoánthốngtrịtrongthực hành kỹ
thuậtkiểmsoátdođơn giảnvà khả năngcơbản. Một vấn đề lâu dàivới sự quan
tâmđángkểtừngành công nghiệpđể cải thiệnmạnh mẽcủabộ điều khiểnPIDvà
giảmđộ nhạy cảmcủa chúngđể đạt đƣợcđiều chỉnhbất ổnhệthốngvà thờigian
biến đổi.
Điều khiển thích nghi là mộtlĩnhvựctrƣởng thành vớinhiều kết quả.Tuy
nhiên, hầuhếtcácbộ điều khiểnthích nghiucầuhoặc là mộtmơ hình quy

trìnhchi tiết hoặcmộtmơ hình xấp xỉnhƣmạng nơ-ronđể ƣớc tínhcác thơng sốhệ
thống. Vấn đề với cách tiếp cận nàylànhiều hệ thốngphức tạp củamột bộ điều
khiểnthích nghiổn địnhlà rất cao, trongđóhạnchếkhả năng sử dụngthực tế[30].
Hơn nữa, đảm bảosự ổn địnhmạnh mẽlý thuyếttùy ý của cácmơhìnhdựa
trênbộđiềukhiểnthích nghithƣờngviphạmtrong thực tếdohiệuứngkỹ thuật số,độ
bão hịa,và động lựckhơng mơ hình. Kết quả là, thiết kếthích nghiổn địnhphụ
thuộctrong thực tếđiều chỉnhcẩnthậntăngtỷ lệhọc vàđạtphản hồicố địnhcũng

3


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

nhƣcácsửa đổithích nghivững mạnhđƣợc sử dụng. Vì vậy, nólàmộtnhu cầurất
lớnđểđơn

giảnđiều

khiểnphổ

thơngnắm

bắtbảnchấtcủađiều

khiểnthích

nghitrong khiduy trìdễdàngcủađiều chỉnhđểđiều khiểnthích nghithực tếổn
địnhngay cả khichúngkhơngcócácmức độcùngmộtđảm bảoƣu tiênvề sự ổn
định.
Điều khiển PID thích nghi là một trong nhữngphƣơng pháp tiếp cậnđể

cải thiệnsức mạnh vàtự chủ củacác bộ điều khiểnPIDcũng nhƣnắmbắtđƣợc bản
chất củalý thuyết điều khiểnthích nghitrong mộtkiến trúcđơngiản. Các cơng bố
trong cộng đồngđiều khiểnđã xem xétvấn đề nàynhƣng vớicách tiếp cận
rấtkhácnhau. Một cách tiếp cận là sử dụngmột bộ điều khiểnPIDcố định vàkết
hợp nóvới một số hàm gầnđúng,vídụnhƣ dựa trên điều khiểnthích nghi, mạng
nơ-ron[30].
Bộ điều khiển PID truyền thống có những ƣu điểm của nó, tuy nhiên bộ
điều khiển PID truyền thống khơng có khả năng thích ứng, các thơng số của
nó phải liên quan đến một hệ thống nhất định với mô hình và thơng số cụ thể.
Một khi các thơng số đƣợc thiết lập, chúng chỉ đƣợc sử dụng cho một điều
kiện duy nhất vì vậy rất khó cho để điều chỉnh các thông số on-line khi đối
tƣợng điều khiển bị thay đổi.
Vì vậy, bộ điều khiển PID một nơ-ron thích nghi đƣợc thiết kế bởi sự
kết hợp cấu trúc một nơ-ron với giải thuật PID. Nó có hiệu suất mạnh mẽ
trong điều khiển PID và có khả năng tự học và thích nghi. Khi hệ thống có
thay đổi khơng thể chấp nhận trong hoạt động do thay đổi mơ hình hoặc khơng
chính xác, bộ điều khiển có thể điều chỉnh các thông số trọng số của PID tự
động giữ đƣợc hiệu quả mong muốn.
Nhiều cơng trình nghiên cứu về điều khiển bền vững, điều khiển thích
nghi, điều khiển tối ƣu hay điều khiển mờ và mạng nơ-ron đƣợc công bố trong
những năm gần đây cho thấy sự quan tâm lớn của các nhà khoa học trên

4


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

khắp thế giới và những vấn đề, các hƣớng nghiên cứu phát triển trong lĩnh
vực này[11-18].
Nhƣ chúng ta đã biết, các hệ thống thực thƣờng là các hệ phi tuyến,

phức tạp nên các phƣơng pháp thiết kế kinh điển dựa trên điều khiển tuyến
tính trong nhiều trƣờng hợp không đảm bảo đƣợc yêu cầu do đặc tính phi
tuyến của động học đối tƣợng điều khiển, đặc tuyến đầu đo hoặc cơ cấu chấp
hành cũng nhƣ tính chất khơng đầy đủ, chính xác của các mơ hình thay thế
(động học chƣa biết, nhiễu, điều kiện ban đầu).
Ngoài ra một vấn đề khác cũng đƣợc đặt ra là rất nhiều hệ cần điều
khiển có các tham số khơng rõ (nhƣ hệ truyền động servo, robot), có các tham
số biến đổi chậm (ví dụ nhƣ các tham số phụ thuộc vào nhiệt độ) hoặc có các
tham số thay đổi khơng dự đốn đƣợc (nhƣ các hệ thống năng lƣợng).
Hiện nay mạng nơ-rontạothànhmột sự quan tâmnghiên cứu rấtlớn.
Chúng có khả nănglớntrong việc giải quyếtcácvấn đềtốn học phức tạpvì
chúngđãđƣợc chứng minh làgần đúngchức năngliên tụcmột cách chính
xácnhất có thể. Do đó, nó đã nhận đƣợcsự chú ýđáng kểtrong lĩnh vựckiểm
sốtq trình hóa họcvàđã đƣợc áp dụngđểxácđịnhhệ thống vàthiết kếbộ điều
khiển. Tất cảcác cơng trìnhchothấyrằng cácmạngnơ-roncó thểnắm bắt đƣợcđặc
điểm củamơ hìnhhệ thốngvàhàmhiệu suấtxấp xỉ[31].
Các mạng nơ-ron đã đƣợc sử dụng nhƣ bộ điều khiển hệ thống năng
động phi tuyến để giải quyết các vấn đề mà phƣơng pháp tiếp cận truyền thống
đã đƣợc chứng minh là không hiệu quả [32].
Kể từcuốithập niên 1980, đã có sựquantâmđáng kể trong mạng nơ-ron
hàm Cơ sở xuyên tâm (RBF: Radia Basis Function), dokhả năngtổng
quáttốttoàn cầu của họvà một mạng cấu trúc đơn giản, có thể tránh tính
tốndài. Các hàmGaussianđƣợc lựa chọntrongphần lớncác trƣờng hợpnhƣ các
hàmcơ sởxun tâmmặc dùcác hàm kháccũngcó thểđƣợc sử dụng[33].

5


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

Mạng nơ-ron hàm cơ sở xuyên tâm (RBFNN: Radia Basic Function
Neural Network) là cơng cụ tính toán mạnh mẽ đã đƣợc sử dụng rộng rãi trong
các lĩnh vực nhận dạng mẫu, mơ hình hóa và nhận dạng các hệ thống. Mạng
RBF là một hình thức cấu trúc đặc biệt của mạng nơ-ron nhân tạo, trong đó có
những lợi thế đơn giản về cấu trúc, các giải thuật học nhanh hơn và khả năng
xấp xỉ một quan hệ phi tuyến tốt hơn[4,7,8].
Một mạnghàm cơ sởxuyên tâm là một mạngnơ-ronnhântạosử dụngcác
hàm cơ sởxun tâmnhƣ các hàmkíchhoạt. Đó là mộtsựkếthợptuyến tính
củacác hàm cơ sởxuyên tâm. Chúng đƣợc sử dụngtrong hàm gần đúng, dự
đoán chuỗi thời gian và kiểm soát.
Một mạng RBF đƣợc xây dựng để nhận dạng trực tuyến hệ thống, thực
hiện tự học các thông số điều khiển thơng qua bộ điều khiển một nơ-ron, do
đó đạt đƣợc điều chỉnh các thông số của bộ điều khiển.
1.1.2 Các kết quả nghiên cứu trong và ngồi nƣớc đã cơng bố.
Trong những năm gần đây vấn đề về thiết kế bộ điều khiển thích nghi
cho các hệ thống động học phi tuyến ln là một trong các chủ đề chính trên
các tạp chí chuyên ngành về điều khiển, tự động hóa trên thế giới và ngày
càng thu hút đƣợc nhiều nhà khoa học tham gia nghiên cứu. Đã có nhiều bƣớc
tiến, kết quả đạt đƣợc cả về mặt lý thuyết và thực tiễn ứng dụng [9, 21, 23-28].
Đặc biệt theo hƣớng sử dụng hệ mờ và mạng nơ-ron để xấp xỉ phƣơng trình
động học của đối tƣợng phi tuyến và dùng các phƣơng pháp tuyến tính hóa
phản hồi trạng thái hoặc phản hồi đầu ra của hệ thống để thiết kế bộ điều
khiển ổn định tĩnh. Để bộ điều khiển có đặc tính thích nghi với những sai lệch
khơng rõ khi hoạt động trực tuyến, các bộ điều khiển đƣợc thiết kế sử dụng
cấu trúc mạng nơ-ron chỉnh định các trọng số trong quá trình làm việc. Đây
cũng là phƣơng pháp thƣờng dùng để thiết kế các bộ điều khiển thích nghi
trong các ứng dụng cơng nghiệp [10-11, 21].

6

Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

Đối với trong nƣớc, các nghiên cứu về điều khiển PID một nơ-ron thích
nghi dựa trên bộ nhận dạng mạng nơ-ron RBF cũng đã đƣợc nhiều cơ sở
KHCN tập trung nghiên cứu trong nhiều năm trở lại đây và đã có khơng ít
cơng trình hƣớng tới việc ứng dụng đƣợc cơng bố nhƣng nhìn chung các kết
quả đạt đƣợc còn khá khiêm tốn [14-19]. Một số Viện trƣờng nhƣ Viện NC
Điện tử, Tin học, Tự động hóa, Đại học Sƣ Phạm Kỹ Thuật thành phố Hồ Chí
Minh, Đại học Bách khoa thành phố Hồ Chí Minh, Khoa Công nghệ - Đại học
Cần Thơ, Phân viện Tự động hóa - Viện cơng nghệ thơng tin, Viện Tự động
hóa Kỹ thuật qn sự, Học viện Cơng nghệ Bƣu chính Viễn thơng,... là những
đơn vị đã có nhiều năm nghiên cứu về điều khiển mờ nơ-ron và đã có một số
kết quả nhất định, tuy nhiên các nghiên cứu sâu rộng hơn nhằm ứng dụng công
nghệ này trong các hệ thống tự động hóa cơng nghiệp tiên tiến cịn là những
bƣớc đi ban đầu.
1.2

Mục tiêu của đề tài.
 Xây dựng bộ nhận dạng mơ hình đối tƣợng chƣa biết tham số dùng
mạng nơ-ron RBF.
 Xây dựng giải thuật huấn luyện bộ nhận dạng mơ hình đối tƣợng
dùng mạng nơ-ron RBF.
 Xây dựng điều khiển PID một nơ-ron thích nghi.
 Xây dựng giải thuật huấn luyện trực tuyến (online) bộ điều khiển
một nơ-ron thích nghi.
 Kiểm nghiệm giải thuật huấn luyện trực tuyến (online) thông qua mô
phỏng và tiến tới thực nghiệm trên thiết bị ổn định áp suất RT030
của hãng Gunt-Hamburg,Đức.

1.3

Nhiệm vụ của đề tài và giới hạn đề tài.
Nghiên cứu xây dựng bộ điều khiển PID một nơ-ronthíchnghidựa trên

bộ nhận dạng mạng nơ-ronRBF.

7


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

Xây dựng giải thuật tựhọc tậpcủamạng nơ-ronRBFđể tự độngđiều chỉnh
vàsửađổicácthơngsốPIDthích nghi với sự biến thiên của đối tƣợng. Giải thuật
này điều chỉnh 3 thông số Kp, Kd và Ki của bộ điều khiển PID khảo sát sự thay
đổi của đối tƣợng điều khiển.
Giải thuật này sẽ đƣợc kiểm nghiệm thông qua mô phỏng và tiến tới
thực nghiệm trên hệ ổn định áp suất RT030 của hãng Gunt-Hamburg, Đức.
Đề tài này chỉ giới hạn trong phịng thí nghiệm bằng cách kiểm nghiệm
qua mô phỏng và tiến tới thực nghiệm trên hệ ổn định áp suất RT030 của hãng
Gunt-Hamburg, Đức.
1.4

Phƣơng pháp nghiên cứu.
Tổng hợp các lý thuyết về bộ điều khiển PID thích nghi và các giải

thuật của bộ nhận dạng mạng nơ-ron RBF khảo sát các cơ sở toán học để xây
dựng phầm mềm. Luận văn này, chúng ta vận dụng một số kết quả nghiên cứu
đã đƣợc công bố gần đây và sử dụng các cơ sở toán học nêu trên để từng bƣớc
chứng minh cách giải quyết các vấn đề nhằm đạt đƣợc mục tiêu và nội dung

nghiên cứu đề ra. Ngoài ra một số cơ sở toán học quan trọng xây dựng trong
đề tài cũng đƣợc chúng ta lập trình mơ phỏng trên Matlab để kiểm tra lại tính
chính xác của các kết quả đạt đƣợc.Đồng thời chạy thực nghiệm trên đối tƣợng
RT030 của hãng Gunt-Hamburg, Đức để kiểm chứng lại giải thuật của phầm
mềm.

8


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

Chƣơng 2
CƠ SỞ LÝ THUYẾT

2.1

Bộ điều khiển PID thích nghi.

2.1.1 Tổng quan về bộ điều khiển PID
Bộ điều khiển PID là gì?

2.1.1.1

Bộ điều khiển PID là một cơ chế điều khiển lặp hồi tiếp đƣợc sử dụng
rộng rãi trong hệ thống điều khiển công nghiệp do dễ áp dụng và dễ sử dụng.
Một bộ điều khiển PID cố gắng điều chỉnh giữa giá trị biến đo đƣợc và giá trị
mong muốn đạt đƣợc bằng cách tính tốn và đƣa ra một trạng thái điều chỉnh
nhanh chóng để giữ cho lỗi ở mức nhỏ nhất có thể.
Bộ điều khiển PID gồm 3 thông số hay 3 chế độ: Proportional (P),
Integral (I) và Derivative (D). Và đƣợc thể hiện qua Hình 2.1:

Hình 2.1: Bộ điều khiển PID
-

Proportional (P): phụ thuộc vào sai số hiện tại.

-

Integral (I): phụ thuộc vào tích lũy các sai số quá khứ.

9


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

-

Derivative(D): dự đoán các sai số tƣơng lai, dựa vào tốc độ thay

đổi hiện tại.
Một vài ứng dụng chỉ cần sử dụng một hoặc hai chế độ trong việc điều
khiển hệ thống.Điều này đạt đƣợc bằng cách gán cho hằng số không muốn sử
dụng bằng không. Do đó, bộ điều khiển PID có thể trở thành bộ điểu khiển
PD, PI, P, I.
2.1.1.2Lý thuyết điều khiển PID
Mô hình điều khiển PID đƣợc cấu thành từ 3 thành phần, gọi tham số
thao tác điều chỉnh là MV thay đổi theo thời gian t:

MV(t) = Pout + Iout + Dout

(2.1)

Trong đó: Pout, Iout, Dout là các hàm đóng góp vào giá trị ngõ ra sau cùng
của MV(t).
Hàm lỗi tại thời điểm t:

E(t)= SP– PV

(2.2)

Trong đó: SP : Setpoint ( giá trị mong muốn), PV: measurable output( giá
trị đo đƣợc).
a. Proportional (hàm tỉ lệ).
Hàm tỉ lệ giúp thay đổi mức điều khiển tỉ lệ với giá trị lỗi hiện tại.

Pout = Kp. E(t)

(2.3)

Kp: hằng số tỉ lệ, tham số dùng để tinh chỉnh.
Hằng số Kp càng lớn thì sự điều chỉnh càng lớn khi E(t) càng lớn. Ngƣợc lại,
Kp càng nhỏ thì sẽ đáp ứng điều chỉnh nhỏ đối với lỗi.
b. Integral term (hàm tích phân)

10


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

Hàm tích phân điều chỉnh mức điều khiển tƣơng ứng với mức lỗi đƣợc tích lũy

theo thời gian:
𝐼𝑜𝑢𝑡 = 𝐾𝑖 . 𝐸 𝑡 𝑑𝑡

(2.4)

Ki: hằng số điều chỉnh hàm tích phân.
Hàm tích phân giúp cho khả năng điều chỉnh nhanh chóng đạt đến
mức mong muốn và hạn chế giá trị dƣ thừa lỗi còn hạn chế ở hàm tỉ lệ.
c. Derivative term (hàm đạo hàm)
Hàm đạo hàm đáp ứng với tốc độ thay đổi của lỗi, hay độ dốc lỗi, theo thời
gian:
𝐷𝑜𝑢𝑡 = 𝐾𝑑 .

𝑑𝐸 (𝑡)

(2.5)

𝑑𝑡

Kd: hằng số điều chỉnh hàm đạo hàm.
Hàm đạo hàm giúp nhanh chóng đạt đƣợc mức ổn định của giá trị mong
muốn (nếu chọn đƣợc Kd phù hợp). Còn nếu Kd khơng phù hợp thì giá trị
output sẽ dao động quanh giá trị mong muốn.
2.1.1.3

Phƣơng pháp tinh chỉnh các tham số trong PID.
Trong bộ điều khiển PID, một trong số những vấn đề gặp phải cần giải

quyết là phải chọn đƣợc giá trị các tham số (hằng số Kp, Ki, Kd)cho từng hàm
hiệu chỉnh PID sao cho phù hợp nhất có thể để bộ điều chỉnh PID đạt đƣợc

hiệu suất cao nhất. Nếu lựa chọn các tham số không phù hợp thì q trình điều
khiển sẽ khơng ổn định và khơng chính xác nhƣ mong muốn.
Vì vậy, trong thực tế sử dụng đã có một vài phƣơng pháp phục vụ cho
quá trình tinh chỉnh này, trong đó phổ biến phải kể đến là manual tuning,
Ziesler-Nichols, Software tools, Cohen-Coon… Phƣơng pháp đƣợc áp dụng
tƣơng đối đơn giản nhƣ sau:

11


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

Bƣớc 1: Cho Ki=0, Kd=0, thay đổi giá trị Kp sao cho đạt đƣợc tốc

-

độ phản ứng với lỗi gần nhƣ mong muốn.
Bƣớc 2: Bắt đầu thay đổi Ki và Kd. Bằng nhiều phép thử và kiểm

-

tra tính đáp ứng của hệ thống, chúng ta rút ra một bộ các tham số Ki, Kd, Kp
phù hợp gần đúng với mong muốn nhất.
Bộ điều khiển PID thích nghi

2.1.2

2.1.2.1 Sơ đồ điều khiển
Sơ đồ điều khiển đƣợc thể hiện ở hình 2.2.

w(k)+

e1(k)

Điều khiển PID

u(k)

Đối tƣợng

y(k)

điều khiển

thích nghi

e2(k)

Hình 2.2: Bộ điều khiển PID thích nghi
2.1.2.2 Nguyên lý làm việc
Các kết quả thí nghiệm cho thấy, bộ điều khiển PID thích nghi cho chất
lƣợng tốt hơn so với bộ điều khiển PID truyền thống ở những điều kiện hoạt
động khác nhau.
Các ngõ vào bộ điều khiển PID thích nghi là e1(k), e2(k) và ngõ ra là
u(k). Ta nhận thấy, ngõ vào bộ điều khiển PID thích nghi phụ thuộc vào e1(k)
và e2(k) trong khi ở bộ điều khiển PID truyền thống thì ngõ ra chỉ phụ thuộc
vào e1(k). Ngõ ra e2(k) có thể đƣợc tìm nhƣ sau:
e2 (k )  w(k )  u(k )

(2.6)

Lấy biến đổi Z hai vế ta đƣợc:

12


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

E2 ( z)  W ( z)  U ( z)
E2 ( z )  W ( z ) 

a0  a1 z 1  a2 z 2
* E1 ( z )
1  z 1

(2.7)

Hàm mục tiêu toàn phƣơng đƣợc tạo ra dựa vào cực tiểu E2(z) theo các
tham số điều khiển:
J (a0 , a1 , a2 ) 

1 2
E2
2


a  a z 1  a z 2
1
J (a0 , a1 , a2 )  W ( z )  0 1 1 2 * E1 ( z ) 
2

1 z


2

(2.8)

Lấy đạo hàm riêng bậc nhất theo các tham số điều khiển:
 a0  a1 z 1  a2 z 2   1  2
J
 1 
 W 
E




 E1
1
a0
 1  z 1 

1  z 1
 1  z 1 
 a0  a1 z 1  a2 z 2   z 1  2
 z 1 
J
 W 
E


 1 

 E1
a1
 1  z 1 

1  z 1
 1  z 1 
 a0  a1 z 1  a2 z 2   z 2  2
 z 2 
J
 W 
E




 E1
1
a2
 1  z 1 

1  z 1
 1  z 1 

(2.9)

Sử dụng xấp xỉ bậc nhất, gradient âm là tích của tốc độ đặt (W) và sai
số tốc độ (E1).Thông thƣờng sử dụng E1 và E2 cho kết quả hội tụ tốt hơn. Do
đó, phƣơng pháp gradient chỉnh sửa đƣợc sử dụng để cập nhật các tham số

PID.
an (k  1)  an (k )   e2 (k )e1 (k  n)

Trong đó:

n = 0, 1, 2….

β

: kích thƣớc bƣớc (tốc độ thích nghi)

an(k+1)

: các hệ số điều khiển tại thời điểm k+1.

an(k)

: các hệ số điều khiển tại thời điểm k.

e2(k)

: ngỏ vào tại thời điểm k [w(k)-u(k)].

13

(2.10)


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

: sai số tại thời điểm k.

e1(k-n)

Để làm nổi bật chất lƣợng bộ PID thích nghi ở trạng thái quá độ và xác
lập, các bộ điều khiển PI và PID thƣờng cũng đƣợc thực thi. Công thức sau
đây đƣợc sử dụng để tìm RMSE (Root Mean Square Error) :
N

RMSE 

  w(k )  y(k ) 

2

k 1

N

(2.11)

Trong đó:
RMSE : căn bậc hai trung bình bình phƣơng sai số tốc độ (trị hiệu
dụng).

2.2

w(k)

: tốc độ đặt (vòng/phút).

y(k)

: tốc độ thực (vòng/phút).

N

: số mẫu.

Bộ điều khiển PID một nơ-ron.

2.2.1 Cấu trúc bộ điều khiển PID một nơ-ron.

Jacobian từ bộ nhận dạng mạng nơ-ron RBF
Hình 2.3: Cấu trúc bộ điều khiển PID một nơ-ron.
Phƣơng trình mơ tả đƣợc thiết lập:
𝑢 𝑘 = 𝑢 𝑘 − 1 − 𝐾𝑝 ∆𝑒1 + 𝐾𝑖 ∆𝑒2 + 𝐾𝑑 ∆𝑒3

14

(2.12)


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

Với sai biệt giữa tín hiệu tham khảo với đáp ứng của hệ thống:
𝑒 𝑘 = 𝑦𝑟𝑒𝑓 𝑘 − 𝑦 𝑘

(2.13)

Ba ngõ vào của bộ PID một nơ-ron đƣợc xác định:
∆𝑒1 = 𝑒 𝑘 − 𝑒 𝑘 − 1
∆𝑒2 = 𝑒 𝑘

(2.14)
∆𝑒3 = 𝑒 𝑘 − 2𝑒 𝑘 − 1 + 𝑒(𝑘 − 2)

Cấu trúc bộ điều khiển PID một nơ-ron tuyến tính trên hình 2.3 áp dụng
trong nghiên cứu này là:
𝑛 = 𝑤11 ∆𝑒1 + 𝑤12 ∆𝑒2 + 𝑤13 ∆𝑒3
𝑑𝑢 𝑛 = 𝑓 𝑛 = 𝑛

(2.15)

𝑢 𝑘 = 𝑢 𝑘 − 1 + 𝑑𝑢(𝑘)
Trong đó: w11, w12, w13 là các trọng số nối kết của nơ-ron, chính là bộ
ba thơng số Kp, Ki, Kd của bộ điều khiển PID và chúng đƣợc cập nhật trực
tuyến trong quá trình điều khiển.
2.2.2 Huấn luyện trực tuyến bộ điều khiển một nơ-ron.
Mục tiêu của quá trình huấn luyện bộ điều khiển PID một nơ-ron là
điều chỉnh bộ trọng số w11, w12, w13 của mạng để cực tiêu hóa hàm chi phí
(cost function)[34]:
𝐸 𝑘 =

1
2

𝑒2 𝑘 =

1

2

𝑦𝑟𝑒𝑓 (𝑘) − 𝑦(𝑘)

2

(2.16)

Để điều chỉnh bộ trọng số w11, w12, w13 bằng phƣơng pháp gradient
descent :
𝐾𝑝 = 𝑤11 𝑘 + 1 = 𝑤11 𝑘 + ∆𝑤11
𝐾𝑖 = 𝑤12 𝑘 + 1 = 𝑤12 𝑘 + ∆𝑤12 2.17
𝐾𝑑 = 𝑤13 𝑘 + 1 = 𝑤13 𝑘 + ∆𝑤13

15


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

Trong đó ∆w11, ∆w12, ∆w13là gradian xác định:

∆𝑤11 = −𝜂 𝐾𝑝
= 𝜂𝐾𝑝 𝑒 𝑘

𝜕𝑦 𝑘
𝜕𝑢 𝑘

∆𝑤12 = −𝜂 𝐾𝑖
= 𝜂𝐾𝑖 𝑒 𝑘

∆𝑒1

(2.18)

𝜕𝐸 𝑘
𝜕𝐸 𝑘 𝜕𝑦 𝑘 𝜕𝑢 𝑘
= −𝜂 𝐾𝑖
𝜕𝑤12 𝑘
𝜕𝑦 𝑘 𝜕𝑢 𝑘 𝜕𝑤12

𝜕𝑦 𝑘
∆𝑒2
𝜕𝑢 𝑘

∆𝑤13 = −𝜂 𝐾𝑑
= 𝜂 𝐾𝑑 𝑒 𝑘

𝜕𝐸 𝑘
𝜕𝐸 𝑘 𝜕𝑦 𝑘 𝜕𝑢 𝑘
= −𝜂𝐾𝑝
𝜕𝑤11 𝑘
𝜕𝑦 𝑘 𝜕𝑢 𝑘 𝜕𝑤11

(2.19)

𝜕𝐸(𝑘)
𝜕𝐸 𝑘 𝜕𝑦 𝑘 𝜕𝑢 𝑘
= −𝜂 𝐾𝑑
𝜕𝑤13 𝑘
𝜕𝑦 𝑘 𝜕𝑢 𝑘 𝜕𝑤13

𝜕𝑦 𝑘
∆𝑒3
𝜕𝑢 𝑘

(2.20)

Trong đó 𝜂 𝐾𝑝 , 𝜂 𝐾𝑖 , 𝜂 𝐾𝑑 là các hằng số tốc độ học, ∆e1, ∆e2, ∆e3 đƣợc
xác định bởi công thức (2.14);
Và ∂y/∂u là độ nhạy của đáp ứng đối với tín hiệu điều khiển, cịn gọi là
thơng tin Jacobian đƣợc xác định bởi bộ nhận dạng mạng nơ-ron RBF.
2.3

Mạng nơ-ron RBF.

2.3.1 Cấu trúc mạng nơ-ron RBF.
Một mạng RBFlàmột mạng nơ-ron truyền thẳng balớp. Việc ánh xạ từ
đầu vàođến đầu ralàphi tuyến,nhƣngtừ lớpẩn lớp đầu ratuyến tính.Tỷ lệ học
tậplànhanh hơnrất nhiều và tránh đƣợc vấn đề vềcực tiểu cục bộ (local
minimum). Mạng RBF là mộthàm ánh xạ đa chiềuphi tuyếnphụ thuộcvào
khoảng cáchgiữa cácvectorđầuvàovàcácvectortrung tâm. Mạng RBF vớimột

16


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

đầu vàon-chiều 𝑛𝜖𝑅𝑛 và một đầu raymduy nhất𝑦𝑚 𝜖𝑅 và một cấu hình
mạngRBFđặc trƣngđƣợc thể hiệntrênHình 2.4.

Hình 2.4: Mạng nơ-ron RBF (RBFNN)

Kiến trúc của mạng nơ-ronRBF3lớp mạng: Lớp ẩnápdụngmột sự biến
đổiphituyếntừ khơng gianđầuvàokhơng gianẩn.Lớp đầu rấpdụngmột biến
đổituyếntínhtừ khơng gianẩnkhơng gianđầu ra. Các đơn vịẩnsử dụnghàmcơ
sởxun tâm.
2.3.2 Hàm cơ sở xuyên tâm.
Hàm cơ sở xuyên tâm thƣờng mang hình thức ∅𝑗

𝑥 − 𝜑𝑗

. Hàm phụ

thuộc khoảng cách giữa véctơ đầu vào 𝑥 và một vétơ 𝜑𝑗 (thực hiện bởi
Euclidean). Khoảng cách Euclidean:
𝑥 − 𝜑𝑗

2

=

𝑖 (𝑥𝑖

− 𝜑𝑗𝑖 )2

(2.21)

Hình thức thƣờng gặp nhất của các hàm cơ sở đƣợc sử dụng là hàm
Gaussian:

∅𝑗 𝑥 = 𝑒𝑥𝑝(−

𝑥 −𝜑 𝑗
2𝜎𝑗2

2

)

(2.22)

17


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

Hàm Gaussian là một hàm cơ sở cục bộ với thuộc tính ∅ 𝑟 →
0 𝑘ℎ𝑖 𝑟 → ∞. 𝜑𝑗 xác định trung tâm của hàm cơ sở ∅𝑗 . σjlà một tham
sốchiềurộngđể điều khiểncáchlan truyền đƣờng cong. Hàm Gaussian khơng
đƣợc chuẩn hố vì bất kỳ yếu tố hoạt động đều đƣợc nhận các trọng số. Và có
thể chọn cách khác cho hàm cơ sở cục bộ là:
∅ 𝑟 = (𝑟 2 + 𝜎 2 )−𝛼 , 𝛼 > 0. (𝑟 = 𝑥 − 𝜑𝑗 )

(2.23)

Một nơ-ronẩncónhạy cảm hơn vớicácsố liệugầntrung tâmcủa nó. Độ
nhạy cảmnày có thểđƣợc điều chỉnhbằngcáchđiều chỉnh độ rộngσ.Chiều rộng
lớn hơncónghĩalàđộ nhạt.Đối với một vectorđầuvàonhấtđịnh, thƣờng
chỉmộtvàiđơn vịẩnsẽcókích hoạtđángkể.Lớp ẩnápdụngmột biến đổituyến
tínhtừ khơng gianđầu vàokhông gianẩn. Mạng nơ-ron RBF là hàm xấp xỉ phổ

thông, với giới hạn mức độ nhẹ về hình thức của các hàm cơ sở. Tổng quát
hơn cấu trúc liên kếtcủaRBFmạng(hơn một lớp ẩn) thƣờng khôngxem xét.
2.3.3 Tổng quát hàm cơ sở xuyên tâm Gaussian và huấn luyện mạng
RBF.
Hàm cơ sở xuyên tâm Gaussian cho phép ma trận đồng biến Σj tuỳ ý.
1

∅𝑗 𝑥 = exp⁡ − (𝑥 − 𝜇𝑗 )𝑡
2

−1
𝑗 (𝑥

− 𝜇𝑗 )

(2.24)

Giả sử 𝑥 có d chiều. Σjma trậnđối xứng,mỗi hàm cơ sở có d(d+3)/2
thơng số điều chỉnh độc lập, so với d+1 thông số độc lập cho hàm cơ sở
Gaussian thơng thƣờng. Trong thục tế, chúng ta có thể xem xét một ít hàm cơ
sở với nhiều thơng số điều chỉnh để thay cho nhiều hàm kém linh hoạt.
Hàm tổng bình phƣơng lỗi:

18


Điều khiển PID một nơ-ron thích nghi dựa trên bộ nhận dạng mạng nơ-ron RBF

𝑛

𝐸=

1
𝐸𝑝 =
2

𝐸𝑝 ,
𝑝=1

𝑐

𝑡𝑘𝑝 − 𝑧𝑘𝑝

2

(2.25)

𝑘=1

Trong đó: tkp giá trị mục tiêu cho k đơn vị đầu vào trong khi
mạng đã cho có đầu vào là véc tơ 𝑥 .

𝑦𝑗𝑝

𝑥𝑝 − 𝜇𝑗
= exp −
2𝜎𝑗2

𝑀

2

;

𝑧𝑘𝑝 =

𝑤𝑘𝑝 𝑦𝑗𝑝

(2.26)

𝑗 =0

M: số đơn vị ẩn.

Giải thuật Gradient descent:

𝜕𝐸𝑝
𝜕𝐸𝑝 𝜕𝑧𝑘𝑝
=
.
𝜕𝑤𝑘𝑗
𝜕𝑧𝑘𝑝 𝜕𝑤𝑘𝑗

Vì vậy:

𝜕𝐸𝑝
𝜕𝑧 𝑘𝑝

(2.27)

= − 𝑡𝑘𝑝 − 𝑧𝑘𝑝

𝜕𝐸𝑝
= − 𝑡𝑘𝑝 − 𝑧𝑘𝑝 𝑦𝑗𝑝
𝜕𝑤𝑘𝑗
𝜕𝐸𝑝
=
𝜕𝜇𝑗𝑖

𝑘

𝜕𝐸𝑝 𝜕𝑧𝑘𝑝 𝜕𝑦𝑗𝑝
𝜕𝑧𝑘𝑝 𝜕𝑦𝑗𝑝 𝜕𝜇𝑗𝑖

𝜕𝑦𝑗𝑝
𝜕
= 𝑦𝑗𝑝
𝜕𝜇𝑗𝑖
𝜕𝜇𝑗𝑖

=

𝑥𝑝 − 𝜇𝑗
2𝜎𝑗2

(2.28)

2

=

−𝑦𝑗𝑝 𝜕
=
2𝜎𝑗2 𝜕𝜇𝑗𝑖

−𝑦𝑗𝑝
𝑦𝑗𝑝
2(𝑥
−
𝜇
)(−1)
=
𝑥 − 𝜇𝑗𝑖
𝑖𝑝
𝑗𝑖
2𝜎𝑗2
2𝜎𝑗2 𝑖𝑝

19

𝑥𝑖𝑝 − 𝜇𝑗𝑖

2

𝑖

(2.29)