LUẬN VĂN ĐIỆN TỬ ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

Chương 1
LÝ THUYẾT LIÊN QUAN
I . GIỚI THIỆU MẠNG NEURON:
I.1. MẠNG NEURON NHÂN TẠO:
Mạng neuron nhân tạo(ANN: artificial neuron networks)là mạng được xây dựng
bằng cách sao chép lại các nguyên lý tổ chức của hệ neuron của con người.Bộ óc của con
người là một hệ neuron gồm có 10
10
đến 10
12
neuron được tổ chức có cấu trúc vào khoảng
200 mô hình khác nhau dưới dạng nhiều lớp.
Hình 1.cấu trúc cơ bản của một neuron
Cấu trúc cơ bản của một neuron của hệ neuron con người gồm:các đầu
vào(dendrite),thân neuron(soma)và đầu ra(axon).Mỗi neuron có nhiều đầu vào và chỉ một
đầu ra.thân neuron là phần tử xử lý có chức năng thu nhận tất cả các thông tin đến từ các
đầu vào,tính toán và đưa ra quyết định ở ngõ ra để gởi thông tin đến các neuron
khác.SYNAP là khớp nối giữa đầu vào của neuron này với đầu ra của neuron khác.
Tín hiệu điện áp được truyền từ neuron này sang neuron khác.tín hiệu điện áp dương được
coi như là tín hiệu kích động(excitory)để kích động neuron gởi tín hiệu đến các neuron
khác và điện áp âm được xem như là tín hiệu ức chế(inhibitory)để ức chế neuron gởi tín
hiệu đến nhiều neuron khác.điện áp không thì không có tín hiệu kết nối giữa hai neuron.
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
1
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

Đối với hệ neuron con người có cấu trúc cơ bản gồm :lớp neuron đầu vào(lớp này
được kết nối với các phần tử cảm biến như miệng ,mắt, mũi ,tai và da),các lớp neuron ẩn
và lớp neuron đầu ra(lớp này được kết nối với các phần tử cơ như tay ,chân).

Cường độ kết nối SYNAP xác định lượng tín hiệu truyền đến đầu vào và giá trị cường độ
synap được gọi là trọng số.
Người ta dùng mạng neuron nhân tạo để giải quyết các bài toán trong kỹ thuật(mục
tiêu là mô phỏng hoạt động của não người)
Để xây dựng một mạng neuron nhân tạo giống như hệ neuron con người,vào năm
1943 Mc.culloch và Pitts đề ra cấu trúc cơ bản của một neuron thứ I trong mô hình của
mạng neuron nhân tạo.

Trong đó:x
j
(k):tín hiệu vào thứ j ở thời điểm k
Y
i
(k):tín hiệu ra thứ I ở thời điểm k
W
ij
:trọng số trên tín hiệu vào thứ j
Ф
i :
ngưỡng tác động của neuron i
F: hàm tích hợp
A(.) :hàm tác động
W
ij
biểu diễn cường độ kết nối giữa neuron thứ j và neuron thứ i.w
ij
>0 tương ứng với tín
hiệu tác động,w
ij
<0 tương ứng với tín hiệu ức chế và w

ij
=0 thí không có sự kết hợp giữa
hai neuron.
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
2
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

I.2.CÁC THÀNH PHẦN CƠ BẢN CỦA MẠNG NEURON NHÂN TẠO
Mạng neuron nhân tạo được đặc trưng bởi 3 yếu tố:phần tử xử lý,cấu trúc và
ghép nối của các phần tử xử lý,phương pháp huấn luyện để cập nhập các trọng số w
ij.
I.2.1.Phần tử xử lý
Mỗi phần tử xử lý có nhiều đầu vào và một đầu ra.hàm tổng hợp f
i
có chức năng
tổng hợp tất cả các thông tin từ ngõ vào.hàm tác động a(f) tạo tín hiệu ra
X
j
:tín hiệu đầu vào phần tử xử lý thứ i
W
ij
: trọng số để kết nối giữa x
j
và phần tử xử lý thứ i
Ф
i
: giá trị ngưỡng của phần tử xử lý thứ i
F
i :
hàm tích hợp

Một số dạng thông dụng của hàm tích hợp:
Hàm tích hợp tuyến tính
Hàm tích hợp phi tuyến toàn phương
Một số dạng thông dụng của hàm tác động:
Hàm bước nhảy đơn vị:
Hàm dấu :
Hàm dốc :
Hàm tuyến tính :
Hàm sigmoid đơn cực :
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
3
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

Hàm sigmoid lưỡng cực :
Hình 2.đồ thị một số hàm tác động
A)hàm bước nhảy B)hàm dấu C)hàm dốc D)hàm tuyến tính
E)hàm sigmoid đơn cực F)hàm sigmoid lưỡng cực
I.2.2.Cấu trúc và ghép nối của các phần tử xử lý
Mô hình ghép nối của các mạng neuron nhân tạo có thể chia ra làm 2 loại:Mạng
truyền thẳng(feedforward network) và mạng hồi tiếp(feedback network)
Mạng truyền thẳng là mạng được xây dựng bằng cách đầu ra của neuron của lớp
đứng trước chính là đầu vào của các neuron đứng sau nó.Mạng truyền thẳng có mạng
truyền một lớp và mạng truyền thẳng nhiều lớp.
Mạng hồi tiếp là mạng được xây dựng khi các đầu ra được định hướng lùi về làm các đầu
vào cho các neuron ở cùng lớp hoặc các lớp đứng trước nó.mạng hồi tiếp trở thành mạng
hồi qui(recurrent network) khi các đầu ra của lớp neuron ra là các đầu vào của lớp neuron
vào(hay còn gọi là mạng hồi qui vòng kín)
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
4
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

Hình 3.các cấu trúc của mạng neuron
A.mạng truyền thẳng một lớp
B.mạng truyền thẳng nhiều lớp
C.nút đơn hồi tiếp
D.mạng hồi quy nhiều lớp
I.2.3.Huấn luyện mạng neuron
Yếu tố quan trọng thứ ba của các mạng neuron là huấn luyện mạng(trainning)hay còn gọi
việc học(learning)cho các mạng sử dụng các luật học khác nhau.có hai cách học trong các
mạng neuron:học thông số(parameter learning) và học cấu trúc(structure learning).học
thông số là phương pháp học bằng cách cập nhật các trọng số,còn học cấu trúc là phương
pháp học bằng cách thay bên trong cấu trúc mạng bao gồm các phần tử xử lý và các kiểu
kết nối mạng.
Giả sử có một mạng neuron có n phần tử xử lý và mỗi phần tử xử lý có m trọng số thích
nghi
Ma trận trong số w được xác định:
Trong đó: w
i
=(w
i1,
w
i2
,….,w
im
)
T
,i = 1,2,….n.
W
ij
là trọng số ngõ vào thứ j của neuron thứi

Ma trận W chứa các phần tử thích nghi,học thông số là cập nhật ma trận trọng số W sao
cho xấp xỉ với ma trận trọng số mong muốn của mạng.một cách tổng quát,học thông số có
thể chia ra làm ba chế độ học:Học có giám sát ,Học tăng cường và Học không có giám sát.
• Học có giám sát(supervised learning)
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
5
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

Hình 4.học có giám sát
Trong cách học có giám sát,mạng neuron được cung cấp với một dãy các cặp đầu vào ra
mong muốn(x(1),d(1);x(2),d(2);… ;x(k),d(k)).
Khi mỗi đầu vào x(k) đặt vào mạng tại thời điểm k thì đầu ra mong muốn tương ứng d(k)
cũng được cung cấp đến mạng.sai lệch giữa đầu ra thật sự y(k) và đầu ra mong muốn d(k)
được giám sát trong bộ tín hiệu lỗi(error signal generator).Mạng dựa vào tín hiệu lỗi (error
signal) để điều chỉnh các trọng số sao cho tín hiệu đầu ra thật sự y(k) tiến gần đến tín hiệu
đầu ra mong d(k).
Hình 5.học tăng cường
Trong một vài tình huống nào đó,mạng được cung cấp các mẫu đầu vào nhưng
không được cung cấp rõ rang các mẫu đầu r among muốn(chẳng hạn như mạng chỉ được
cho biết đầu ra thật sự hiện có của nó là quá trình cao hoặc chỉ đúng 50%).trong trường này
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
6
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

thì chỉ có một thông tin hồi tiếp chỉ định đầu ra của mạng là đúng hay sai.Học tăng cường
là một dạng học có giám sát.
Trong cách học này,không có bất kỳ một thông tin hồi tiếp nào.mạng chỉ được cung
cấp các mẫu đầu vào không có thông tin hồi tiếp,mạng tự điều chỉnh các trọng số bằng
cách sử dụng các mẫu đầu ra thật sự của mạng.
Hình 6.học không có giám sát

Bây giờ chúng ta khảo sát một cấu trúc huấn luyện mạng tổng quát cho một phần tử
xử lý thứ I trong một mạng neuron được mô tả trong hình 2.8
Hình 7.luật học các trọng số
Luật học các trọng số
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
7
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

Nếu học có giám sát : r = d
i
– y
i
là tín hiệu sai lệch
Nếu học tăng cừong : r = d
i
là tín hiệu tăng cường
Nếu học không có giám sát : r = y
i
là tín hiệu ra thực sự
Với các hàm f
r
(w
i
(k),x(k),d
i
(k))khác nhau thì có luật học khác nhau
Luật học của Hebbian không có tín hiệu ra mong muốn d
i
(k)nên phương pháp học của
Hebbian là phương pháp học không giám sát.

I.3.phân loại mạng neuron
Phân loại theo cấu trúc liên kết gồm có mạng truyền thẳng và mạng hồi tiếp.
Phân loại theo số lớp gồm có mạng đơn và mạng đa lớp.
Phân loại theo phương pháp học gồm có học có giám sát ,học tăng cường và học
không có giám sát.
I.4.một số mạng neuron thường gặp
Mạng perceptron một lớp (trình bày 2.2),mạng truyền thẳng nhiều lớp(trình bày
2.3),mạng RBF(Radial Basis Function Network),mạng Hopfield và mạng Kohonen.mạng
RBF được Broomhed và Lpwe đưa ra vào năm 1988 và ngày càng chứng tỏ hiệu quả trong
việc giải các bài toán thực tế.
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
8
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

Hình 8.mạng radial basic
Mạng hopfield là mạng hồi tiếp một lớp với các đặc tính:
Mỗi nút có một tín hiệu vào từ bên ngoài(external input) x
i
và một ngưỡng Ф
i
.không có tự
hồi tiếp w
ij =0, .
đối xứng w
ij
=w
ji

Luật cập nhật của mỗi nút:
Cập nhật không đồng bộ nghĩa là mỗi thời điểm chỉ cập nhật một nút.mạng Hopfield hiệu

quả trong các bài toán tối ưu hóa tổ hợp.
Hình 9.mạng hopfied ba nút
Mạng Kohonen là mạng truyền thẳng không có giám sát dung các neuron thích
nghi để nhận các tín hiệu từ không gian sự kiện.Ý tưởng chính trong mạng Kohonen là tạo
ra một hệ thống tự sửa đổi sao cho các neuron gần nhau đáp ứng tương tự như nhau.khi
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
9
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

một neuron đáp ứng tốt với một tín hiệu vào,neuron này và các neuron kế cận với nó sẽ có
các trọng số thay đổi sao cho tất cả đều đáp ứng giống như neuron có đáp ứng tốt nhất.
I.5.MẠNG PERCEPTRON MỘT LỚP
Hình 10. mạng perceptron một lớp với m-1 tín hiệu vào và n tín hiệu ra
Trong đó: x
j
(k) là tín hiệu vào,j=1,2… ,m(x
m
= -1)
W
ij
là trọng số trên nhánh vào thứ j của neuron thứ i
W
im
,i=1,2,….n là các ngưỡng tác động của các neuron
Y
i
(k) là tín hiệu ra thực của neuron thứ i
a(.) là hàm tác động
d
i

(k) là tín hiệu ra mong muốn của neuron thứ i
{x(k),d(k),k=1,2,….p}là p mẫu huấn luyện mạng neuron sao cho
y
i
(k) =d
i
(k),k=1,2,….p.
I.5.1 MẠNG TRUYỀN THẲNG NHIỀU LỚP
Định nghĩa hàm Squashing:Hàm a(f):R→[0,1] (hoặc R→[-1,1])được gọi là hàm
squashing nếu a(f) không giảm khi f tăng, a(-∞)=0 (hoặc a(-∞)= -1) và a(+∞)=1.
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
10
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

Người ta chứng minh được rằng mọi quan hệ phi tuyến đều có thể được xấp xỉ với độ
chính sát tùy ý bởi một mạng truyền thẳng nhiều lớp với số nút ẩn đủ lớn,hàm tích hợp
tuyến tính hoặc đa thức và hàm tác động squashing.
Hình 11.mạng truyền thẳng ba lớp
I.5.2 GIẢI THUẬT LAN TRUYỀN NGƯỢC
Giải thuật lan truyền ngược là một trong các giải thuật quan trong nhất trong lịch sử
phát triển của các mạng neuron nhân tạo.Giải thuật được sử dụng để huấn luyện các mạng
truyền thẳng nhiều lớp với các phần tử xử lý trong mạng có hàm tác động là hàm phi
tuyến.cho tập các cặp mẫu huấn luyện vào – ra (x(k),d(k)) với k = 1,2,…p,giải thuật sẽ
cung cấp một thủ tục cho việc cập nhật các trọng số trong mạng từ lớp neuron đầu ra tới
lớp neuron đầu vào.giải thuật vận hành theo 2 luồng dữ liệu,đầu tiên là các mẫu huấn luyện
x(k) được truyền từ lớp neuron đầu vào đến lớp neuron đầu ra và cho kết quả thực sự y(k)
của lớp neuron đầu ra.sau đó các tín hiệu sai lệch giữa neuron đầu ra mong muốn d(k) và
đầu ra thực sự y(k) của mạng được truyền ngược từ lớp đầu ra đến các lớp đứng trước để
cập nhật các trọng số trong mạng.
Giả sử xét mạng truyền thẳng ba lớp như hình 2.12 gồm lớp neuron đầu vào(input

layer),lớp neuron ẩn (hidden layer) và lớp neuron đầu ra (output layer)
Lớp neuron đầu vào của mạng có m đầu vào trong đó x
1
… ,x
i
,x
m
.lớp neuron ẩn có r phần
tử xử lý với các đầu ra,đó là z
1
….,z
q
… ,z
r.
và lớp neuron đầu ra của mạng có n phần tử xử
lý với n đầu ra,đó là y
1
….,y
i
….,y
n
.trọng số kết nối giữa đầu vào thứ j của lớp neuron đầu
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
11
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

vào với phần tử xử lý thứ q của lớp neuron ẩn là v
qj
và trọng số kết nối giữa phần tử xử lý
thứ q của lớp neuron ẩn với phần tử xử lý thứ i của lớp neuron đầu ra là w

iq
.
Dữ liệu huấn luyện : {x(k),d(k),k =1,2….p}
Lớp ẩn :
Lớp ra :
Hàm mục tiêu :
Luật học delta tổng quát hóa được xây dựng dùng phương pháp gradient descent.
Xét các nhánh nối giữa nút ẩn và nút ra :
Xét các nhánh nối giữa nút vào và nút ẩn :
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
12
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

• Luật học lan truyền ngược :
Nhập :Tập các cặp mẫu huấn luyện {x(k),d(k),k =1,2,… p},trong đó các
vector đầu vào với các phần tử cuối cùng được gán bằng -1.
Bước 0 : Khởi động trị
Chọn hằng số học η >0,ngưỡng dừng E
max
Các trọng số có trị nhỏ và ngẫu nhiên
E =0 , K =1
Bước 1 : Lan truyền thuận dữ liệu :
Áp dụng mẫu dữ liệu thứ k
Xác định tín hiệu tại các nút trong mạng
Xác định hàm mục tiêu (2.40)
Xác định tín hiệu học tại các nút (2.42)
Bước 2 : Lan truyền ngược sai lệch :
Cập nhật các vector trọng số (2.41) và (2.43)
Xác định các tín hiệu học (2.44)
Bước 3 : Kiểm tra :

Nếu E > E
max
: k =1 ,nhảy đến bước 1
Nếu E ≤ E
max
: kết thúc
Trong mạng truyền thẳng nhiều lớp, việc huấn luyện mạng dùng giải thuật lan
truyền ngược chịu tác động bởi các yếu tố :
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
13
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

- trị khởi động của các trọng số : các trọng số nên khởi động với các giá trị bé
và ngẫu nhiên. Các giá trị lớn của vector trọng số có thể làm tác động bão
hòa khi bắt đầu học.
- hằng số học :η lớn sẽ hội tụ nhanh nhưng có thể gây vọt lố, do đó có thể
chọn η giảm dần
- Hàm mục tiêu
- Luật học
- Dữ liệu huấn luyện
- Số nút ẩn
Giải thuật gradient descent rất chậm bởi vì nó yêu cầu tốc độ học thấp cho
sự ổn định quá trình học.Việc lựa chọn hằng số học η cho phù hợp mạng
nhiều lớp là không đơn giản, η quá lớn dẫn đến quá trình học không ổn định
và ngược lại η quá nhỏ sẽ làm cho thời gian huấn luyện lớn.
Mạng phụ thuộc vào số neuron có trong lớp ẩn. quá ít neuron sẽ dẫn đến
tình
trạng thiếu, quá nhiều neuron sẽ dẫn đến tình trạng thừa.
I.5.3 Một số giải thuật huấn luyện nhanh (faster training)
Hai phương pháp thường được dùng cho mạng lan truyền ngược là gradient descent

và gradient descent với momentum, tuy nhiên hai phương pháp này có tốc độ huấn luyện
chậm khi áp dụng cho các bài toán thực tế. để nâng cao hơn tốc độ huấn luyện người viết
sẽ giới thiệu thêm một vài giải thuật có khả năng thực thi cao và lại có khả năng hội tụ
nhanh hơn 10 đến 100 lần so với giải thuật đã trình bày trong phần trước. Các giải thuật
này đều hoạt động theo kiểu batch training.
Những giải thuật này đều qui hai loại chính: Loại thứ nhất là dùng kỹ thuật thử và
kiểm tra (giải thuật tốc độ học thay đổi và giải thuật Rprop), loại thứ hai là kỹ thuật tối ưu
hóa các thông số chuẩn trên mạng ( giải thuật conjugate-gradient, giải thuật Quasi-newton
và giải thuật Levenberg-marquardt).
 Giải thuật tốc độ học thay đổi(variable learning rate)
Trong giải thuật giảm dốc chuẩn,tốc độ học được giữ cố định trong suốt thời gian
huấn luyện. hiệu suất giải thuật này rất nhạy với sự thay đổi của tốc độ học. Nếu
tốc độ học quá lớn thì giải thuật sẽ bị dao động và không ổn định. Ngược lại tốc độ
học quá nhỏ thì giải thuật sẽ tốn nhiều thời gian để hội tụ.Trong thực tế khó xác
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
14
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

định được tốc độ học tối ưu và nó thay đổi trong quá trình xử lý huấn luyện khi giải
thuật di chuyển trên mặt phẳng hiệu suất. Tốc độ học thích nghi sẽ cố gắng giữ
bước nhảy càng lớn càng tốt mà vẫn giữ việc học ổn định. Tốc độ học sẽ tương ứng
với độ phức tạp của mặt phẳng sai số cục bộ.
 Giải thuật phục hồi mạng bachproparation (resilient bachpropagation)
Mạng nhiều lớp thường sử dụng hàm tác động sigmoid trong các lớp ẩn.Những
hàm này thường gọi là hàm squashing vì chúng nén vùng ngõ vào vô hạn thành
vùng ngõ ra hữu hạn.Hàm sigmoid có đặc tính là độ dốc của hàm đạt zero khi ngõ
vào lớn.Đây chính là vấn đề khi sử dụng giải thuật steep descent để huấn luyện
mạng đa lớp dùng hàm sigmoid.Vì gradient có thể có biên độ rất nhỏ,do đó trọng số
và ngưỡng chỉ thay đổi nhỏ cho dù trọng số và ngưỡng ở rất xa giá trị tối ưu.
Mục đích giải thuật resilient bachpropagation là loại bỏ các hậu quả về biên độ của

các đạo hàm riêng, chỉ sử dụng dấu của đạo hàm để xác định việc cập nhật trọng
số.Độ lớn của đạo hàm không ảnh hưởng đến việc cập nhật trọng số.Độ thay đổi
trọng số dựa trên cập nhật riêng lẽ.Gía trị cập nhật của mỗi trọng số và ngưỡng tăng
bởi hệ số del-inc khi đạo hàm của hàm hiệu suất tại trọng số tức thời cùng dấu với
hai lần lặp tiếp theo ngược lại trọng số và ngưỡng giảm bởi hệ del-dec khi đạo hàm
của hàm hiệu suất ứng với trọng số hiện tại đổi dấu so với lần lặp trước đó.Nếu đạo
hàm bằng không thì giá trị cập nhật giữ nguyên.Khi trọng số dao động thì trọng số
sẽ giảm,nếu trọng số tiếp tục thay đổi trên cùng một hướng sau nhiều vòng lặp thì
biên độ thay đổi trọng số sẽ giảm
 Giải thuật conjugate-gradient
Giải thuật bachpropagation cơ bản điều chỉnh trọng số theo hướng giảm dốc
nhất.Đây là hướng mà hàm hiệu suất giảm nhanh nhất.Mặc dù giảm nhanh theo
hướng gradient nhưng không có nghĩa hội tụ nhanh.Trong các giải thuật conjugate-
gradient sẽ tìm dọc theo hướng liên hợp,Thông thường tạo ra độ hội tụ nhanh hơn
hướng giảm dốc nhất.Có bốn phương pháp khác nhau về giải thuật conjugate-
gradient :
Trong hầu hết các giải thuật huấn luyện đã được trình bày,tốc độ học dùng để xác
định độ dài cập nhật trọng số(kích thước nấc).Còn trong các giải thuật conjugate-
gradient, kích thước nấc sẽ thay đổi sau mỗi lần lặp.giải thuật sẽ tìm dọc theo
hướng gradient kết hợp để xác định kích thước nấc cực tiểu hóa hàm hiệu suất.
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
15
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

• Giải thuật cập nhật Fletcher – Reeves
Tất cả các giải thuật conjugate – gradient đều bắt đầu bằng việc định hướng
giảm dốc nhất ớ bước lặp đầu tiên (gradient âm) p
0
= -g
0.

Định hướng sau đó sẽ thực hiện để xác định khoảng tối ưu di chuyển dọc theo
hướng tìm hiện tại:
X
k+1
= x
k
+ α
k
p
k
Hướng tìm kiếm tiếp theo được xác định bằng cách lấy liên hợp hướng trước
đó.Thủ tục tổng quát để xác định hướng tìm mới là kết hợp hướng giảm dốc
mới với hướng tìm được trước đó.
P
k
= -g
k
+ β
k
p
k-1
Sự phân biệt các giải thuật conjugate – gradient dựa trên cách tính β
k
.đối với
phương pháp Fletcher – Reeves ,β
k
được tính như sau :
• Giải thuật cập nhật Polak – Ribiera
Đây là phương pháp khác của giải thuật conjugate – gradient.
Tương tự như phương pháp Fletcher – reeves ,hướng tìm của mỗi vòng lặp

được xác định:
• Giải thuật khởi động lại Powell – Beale
Đối với các giải thuật conjugate – gradient ,hướng tìm sẽ được khởi động sau
mỗi chu kỳ.Điểm khởi động chuẩn xuất hiện khi số chu kỳ bằng thông số của
mạng.Phương pháp Powell – Beale sẽ tăng hiệu xuất huấn luyện,khởi động lại
về giá trị âm gradient nếu giá trị trực giao giữa gradient cũ và mới còn lại rất
nhỏ,nghĩa là thõa điều kiện :
• Giải thuật Scale conjugate – gradient
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
16
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

Trong mỗi thuật toán comjugate – gradient đều yêu cầu hướng tìm ở mỗi vòng
lặp.Việc tìm hướng rất phức tạp vì yêu cầu mạng đáp ứng cho tất cả các ngõ
vào huấn luyện và được tính nhiều lần trong mỗi vòng lặp.giải thuật Scale
conjugate – gradient tránh sự phức tạp này.
I.5.4 Các vấn đề cần xử lý trước khi huấn luyện
Chuẩn hóa biến vào và biến đích làm cho quá trình huấn luyện tốt hơn.Hàm
premnmx sử dụng để chuẩn hóa ngõ vào và đích trong khoảng [-1,1].do hàm premnmx
chuẩn hóa giá trị vào,đích nên giá trị ngõ ra của mạng nằm trong khoảng [-1,1].Để đổi giá
trị ngõ ra trở về bình thường ta sử dụng hàm Postmnmx.Nếu hàm premnmx dùng để tiền
sử lý tập huấn luyện thì bất cứ khi nào mạng được huấn luyện với giá trị vào mới ta sử
dụng hàm tramnmx để chuẩn hóa giá trị vào.Kỹ thuật khác dùng để phân đoạn giá trị
vào,đích của mạng chuẩn hóa là trung bình và phương sai chuẩn.Hàm prestd chuẩn hóa
ngõ vào,đích sao cho có giá trị trung bình là zero và phương sai chuẩn đơn vị.Hàm poststd
biến đổi ngõ ra của mạng trở lại giá trị trung thường.Nếu ta muốn mạng được huấn luyện
với giá trị vào mới ta sử dụng hàm trastd để chuẩn hóa giá trị vào.
I.6.TRÌNH TỰ THIẾT KẾ MẠNG NEURON ỨNG DỤNG
Mạng neuron là một công cụ tốt cho phép xấp xỉ lớp tương đối quan hệ phụ thuộc
hàm giữa tín hiệu ra y(n) và tín hiệu vào x(n) của một hệ thống nào đó.Điểm mạnh của

mạng neuron là khả năng thích nghi khi tập dữ liệu huấn luyện (x,d) được cập nhật thường
xuyên.
Quá trình thiết kế mạng neuron thường trải qua các bước:Xác định bài toán, xác định các
biến vào ra, thu thập dữ liệu, tiền xử lý dữ liệu, lựa chọn mô hình mạng neuron, huấn luyện
mạng, thử nghiệm mạng và cuối cùng là tinh chỉnh mạng
Xác định bài toán :Tùy theo yêu cầu bài toán cần giải quyết cụ thể mà có thể xác định
thuộc bài toán phân lớp dữ liệu hoặc nhận dạng hoặc mô hình hóa hoặc biến đổi không
gian biểu diễn.
Xác định các biến vào ra : Xác định các biến vào/ra và miền giá trị của các biến đó.
Thu thập dữ liệu : Thu thập môt lượng lớn các mẫu dữ liệu đảm bảo nguyên tắc ngẫu
nhiên, khách quan và phủ toàn bộ không gian đầu vào.Đối với các dữ liệu biến động kiểu
chuỗi thời gian thì cần đảm bảo trình tự các sự kiện sao cho tạo ra các thông tin cốt lõi về
đối tượng.Đối với các dữ liệu ngẫu nhiên có dạng hoàn toàn độc lập nhau thì phải bảo đảm
đã quét hết các dạng cần thiết.
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
17
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

Tiền xử lý dữ liệu : Thông thường tập dữ liệu thu thập được cần phải xử lý để đảm bảo
các yêu cầu :Dữ liệu mẫu phân bố đồng đều ,đủ đại diện cho tất cả các dạng trong một
phân hoạch không gian nào đó,Dữ liệu được thu gọn trong mô hình mạng neuron phù hợp.
Lựa chọn mô hình mạng neuron : Tùy theo bản chất xử lý dữ liệu của bài toán mà ta lựa
chọn mạng neuron phù hợp
Huấn luyện mạng : Các thao tác thực hiện bao gồm:
- phần dữ liệu mẫu thành ba tập con: tập mẫu học, tập kiểm soát( để xác định
khi nào dừng quá trình học) và tập kiểm thử(để kiểm tra khả năng đón nhận,
dự đoán mạng). Trong đó tập mẫu học phải mang tính đại diện, còn tập
kiểm thử gắn với dáng điệu thực của môi trường đang xét.
- Xác định luật học
- Xác định cơ chế cập nhật trọng số các neuron trong quá trình huấn luyện.

- Khởi tạo các tham số ( các loại mạng khác nhau tương ứng có các tham số
khác nhau. các trọng số tham số ban đầu xác định ngẫu nhiên hay theo kinh
nghiệm).
- Tốc độ học.
- Mức độ quán tính.
- Tiêu chuẩn dừng học.
Thử nghiệm mạng : Sử dụng mạng để giải quyết bài toán đặt ra theo dữ liệu mẫu đầu vào.
Tinh chỉnh mạng : Muốn nâng cao hiệu quả sử dụng mạng cần phải cập nhật mẫu học,
cải tiến cơ chế huấn luyện, tinh chỉnh cấu trúc và tham số mạng.
Trong trường hợp mạng tuy đã huấn luyện tốt nhưng kết quả không đáp ứng yêu cầu với
các dữ liệu kiểm thử( hiện tượng học quá khít) thì tiến hành:
- tăng số liệu mẫu và huấn luyện lại mạng
- xem xét lại tập dữ liệu mẫu với sự tư vấn của chuyên gia
II.CÁC ỨNG DỤNG CỦA MẠNG NEURON
Mạng neuron nhân tạo đã và đang được ứng dụng rộng rãi trong các ngành kỹ thuật
(Kỹ thuật điều khiển, Điện tử viễn thông, hệ thống điện, công nghệ thông tin, y học, quân
sự, tài chính, trí tuệ nhân tạo… )
Ví dụ như trong kỹ thuật điều khiển, mạng neuron được ứng dụng để nhận dạng, dự báo và
điều khiển hệ thống tự động.Trong điện tử viễn thông mạng neuron được ứng dụng để xử
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
18
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

ảnh, nhận dạng ảnh, nhận dạng tiếng nói, nhận dạng các đối tượng được kết hợp với các
đặc thù vật lý của chúng.Trong hệ thống điện, mạng neuron được ứng dụng nhận dạng dự
báo và điều khiển các trạm biến áp…
II.1. Nhận dạng ký tự quang học bằng mạng neuron:
Nhận dạng ký tự bằng quang học là kỹ thuật được sử dụng để chuyển đổi ảnh văn
bản sang dạng văn bản có thể chỉnh sửa trong máy tính .Nó được ứng dụng trong công tác
quét và lưu trữ các tài liệu cũ,đẩy nhanh việc nhập dữ liệu vào máy với ít lỗi hơn.

Trong kỹ thuật nhận dạng ký tự ,mạng neuron tỏ ra ưu thế hơn các phương pháp
truyền thống ở chỗ không tốn thời gian cho tiền xử lý, làm mảnh ký tự, trích chọn đặc
trưng .mặt khác các phương pháp ra quyết định trong nhận dạng truyền thống được cài đặt
tĩnh trong chương trình ,khi muốn bổ sung thêm các mẫu học mới phải thiết kế lại chương
trình . trong khi với mạng neuron ,chỉ cần cung cấp một tập mẫu vào ra của dữ liệu mới
chop ha huấn luyện là có thể bổ sung vào “bộ nhớ mạng” những kiểu dữ liệu mới mà
không ảnh hưởng đến cấu trúc chương trình ban đầu .
Phương pháp và thuật toán nhận dạng ký tự
Cơ sở dữ liệu
Mẫu các ký tự trong nhận dạng ký tự quang
Cơ sở dữ liệu cho bài toán nhận dạng ký tự quang gồm 90 ký tự LATINH với các loại font
khác nhau,cùng với giá trị Unicode tương ứng của chúng
Phương pháp nhận dạng ký tự quang bằng mạng neuron bao gồm các bước được
mô tả như hình sau:
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
19
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

Hình 12.Các bước trong nhận dạng ký tự dùng mạng neuron
+thu nhận ảnh
ảnh văn bản , tài liệu có thể được thu nhận bằng máy quét scanner,webcam,hoặc các thiết
bị thu nhận ảnh thông dụng khác
+phân tích ảnh để tìm ký tự
quá trình phân tích ảnh để tìm ký tự bao gồm các bước sau:
-tách dòng ký tự ra khỏi ảnh ký tự.
-tách từ riêng biệt ra khỏi dòng ký tự
-tách riêng từng ký tự ra khỏi từ
Thuật toán sử dụng để tách ký tự ra khỏi ảnh văn bản dựa trên đặc tính biên độ về độ sáng
của các pixel ảnh
+tiền xử lý ký tự

Quá trình tiền xử lý ký tự giải quyết vấn đề ánh xạ giá trị pixel ảnh ký tự vào ma trận
10x15 và tuyến tính hóa ma trận thành 150 giá trị đưa vào 150 neuron ở lớp vào của mạng.
d.mạng neuron nhận dạng ký tự
chương trinh nhận dạng ký tự quang sử dụng mạng MLP(MultiLayer Perceptron) có 3
lớp :lớp vào có 150 nút tương ứng với 150 phần tử của vecto ma trận pixel ,lớp ẩn có 250
neuron và lớp ra có 16 neuron tương ứng với 16 bit nhị phân của giá trị Unicode của các
ký tự.
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
20
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

`
Hình 13.Mạng MLP trong nhận dạng ký tự quang
Quá trình huấn luyện mạng:
Quá trình huấn luyện mạng là quá trình sinh học với các tập mẫu để
điều chỉnh tập trọng số liên kết.giải thuật huấn luyện được áp dụng trong thiết kế chương
trình nhận dạng ký tự là giải thuật lan truyền ngược sai số Propagation.
Bước 1:Lan truyền xuôi đầu vào X
s
= qua mạng :
Bước 2: Lan truyền ngược sai số :
So sánh các phần tử của vectơ đầu ra thực Y
s
với các phần tử tương ứng của vectơ
đầu ra mẫu T
s
để tính sai lệch :
Tổng bình phương sai số của mạng ứng với mẫu học (X
s,
T

s
):
Thông tin về sai số được lan truyền ngược qua mạng để điều chỉnh lại các giá trị
trọng số tại vòng lặp thứ 1:
• Với liên kết giữa neuron ẩn và neuron ra :
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
21
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

*Với liên kết giữa neuron vào và neuron ẩn:
Sau khi hiệu chỉnh trọng số ,mẫu X
s
tiếp tục được đưa vào mạng lần (l+1) và tiếp
tục thuật toán hiệu chỉnh trọng số cho đến khi E < ε cho trước hoặc số vòng lặp đạt đến
mức định trước.
Mẫu tiếp theo được đưa vào mạng và quá trình huấn luyện lặp lại như trên cho đến
khi mạng học thuộc tất cả các mẫu.lưu cấu hình mạng lại để sẵn sàng đưa vào sử dụng.
Hàm kích hoạt sử dụng trong mạng perceptron nhiều lớp là hàm sigmoid lưỡng cực
hoặc hàm sigmoid đơn cực đạo hàm của cả 2 hàm này đều
là :
Sử dụng mạng :
Mạng sau khi được huấn luyện được sử dụng như một bảng tra.các ảnh ký tự sau
bước tiền xử lý được đưa vào đầu vào mạng,đầu ra mạng là vectơ Y với các phần tử y
k
được tính theo công thức (1) và (2).Như vậy đầu ra mạng là giá trị Unicode của ký tự.
Hậu xử lý dữ liệu
Giai đoạn này làm nhiệm vụ chuyển đổi giá trị Unicode sang dạng ký tự tương ứng
và sắp xếp lại các ký tự dưới dạng text theo dạng ảnh văn bản ban đầu.
kết quả và đánh giá :
Thử nghiệm việc huấn luyện mạng với tập mẫu của 3 loại font : Latinh Arial,Latinh

Tahoma, Latinh Times Roman
kết quả khi thay đổi số vòng lặp (Epoch)
Số ký tự =9,tốc độ học learning _rate=150,hệ số góc hàm sigmoid α = 0.014
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
22
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

kết quả thay đổi tham số learning _rate
Số ký tự = 90 ,số Epoch = 600 ,hệ số góc α = 0.014
Đánh giá ảnh hưởng của sự thay đổi các thông số :
Tăng số vòng lặp tổng quát sẽ tỉ lệ thuận hiệu suất của mạng Nhưng đến một mức
nào đó nó sẽ gây ra hiện tượng học vẹt ( over learning),sẽ bỏ qua trạng thái tối ưu .
Kích thước đầu vào cũng là một nhân tố ảnh hưởng trực tiếp đến hiệu suất của
mạng .Thực tế số đầu vào càng nhiều mạng được yêu cầu huấn luyện nhiều hơn để có thể
nhận bắt lỗi tốt .
Sự thay đổi tham số learning _rate cũng ảnh hưởng hiệu suất của mạng đối với số vòng lặp
xác định .Giá trị tham số này càng nhỏ thì mạng hiệu chỉnh trọng số càng chậm.Nhưng
muốn đạt đến trạng thái tối ưu thì ta phải tăng số vòng lặp nhiều hơn.
Kết luận : với các kết quả thu được trong quá trình thử nghiệm huấn luyện ta chọn các
thông số mạng : số vòng lặp epoch = 600 ,tốc độ học learning _rate =150,hệ số góc hàm
sigmoid α =0.014,ngưỡng sai số ε = 0.0002.
II.2 Nhận dạng tiếng việt dùng mạng neuron:
Trong quá trình xây dựng hệ thống nhận dạng ,có nhiều yếu tố ảnh hưởng đến năng
lực nhận dạng của hệ thống ,trong đó phải kể đến:
-các đặc tính âm học
-phiên âm âm vị của âm tiết
-mô hình hóa độ dài
-các phương pháp huấn luyện
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
23

ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

-kích thước dữ liệu huấn luyện
Phương pháp nhận dạng:
Các hệ thống nhận dạng được xây dựng dựa trên bộ công cụ CSLU tookit.phương pháp
nhận dạng mạng neuron bao gồm các bước như được miêu tả trong hình sau:
Phân tích phổ: tiếng nói được lưu dưới dạng số trong các tệp .wav được phân chia
thành các khung tín hiệu (frame),mỗi khung tín hiệu có độ dài 10ms.qua trình phân tích
phổ được áp dụng cho mỗi khung tín hiệu để tìm ra tâọ các đặc tính phổ tương ứng .tập các
đặc tính này sau đó được dùng để làm đầu vào cho mạng neuron tiến hành phân lớp .
Hai phương pháp trích chọn đặc điểm được sử dụng trong hệ thống nhận dạng là
MFCC(Mel-scale Frequency ceptral coefficients) và PLP(Peceptual Linear Prediction ),cả
hai phương pháp đều dùng cửa sổ phân tích Hamming .Kỹ thuật khử lệch DC(Dc-offset)
được áp dụng nhằm loại bỏ ảnh hưởng của sai lệch DC sinh ra trong quá trình ghi âm,17
filterbank được thực hiện trên thang tần số Mel-scale đối với MFCC ,và thang tần số Bark
–scale đối với PLP
Ngoài 12 hệ số MFCC hoặc PLP ,logarit giá trị năng lượng (logE) được bổ sung vào vectơ
đặc tính .để thêm thông tin về sự biến thiên các đặc tính theo thời gian,giá trị các delta của
13 hệ số trên được thêm vào vectơ các đặc tính tạo thành tập 26 vectơ đặc tính tương ứng
với mỗi khung tín hiệu.
Hai kỹ thuật xử lý tín hiệu RASTA (Relative SpecTral)và CMS ( Ceptral Mean
Substraction) được áp dụng để loại bỏ ảnh hưởng của nhiễu đường truyền tới các giá trị
ceptral.Như vậy có 4 loại đặc tính phổ khác nhau được sử dụng:
-12 hệ số MFCC+năng lượng (MFCC13)dùng CMS và giá trị D của 13 hệ số nói trên.
-MFCC13 dùng RASTA và giá trị D
-12 hệ số PLP + năng lượng (PLP13) dùng CMS và giá trị D của 13 hệ nói trên.
-PLP13 dùng RASTA và giá trị D
Để mạng neuron có thể mô hình hóa biến thiên tiếng nói theo thời gian ,ngoài đặc tính của
khung tín hiệu chính,các đặc tính của 4 khung tín hiệu lân cận cách khung chính -60ms,-
SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA

24
ĐỒ ÁN ĐIỀU KHIỂN CÁNH TAY MÁY DÙNG MẠNG NEURON

30ms,30ms,60ms cũng được tính toán và kết hợp với đặc tính của khung chính tạo thành
một tập vectơ 130 đặc tính
Phiên âm âm vị của âm tiết
Đơn vị tiếng nói cơ sở sử dụng là âm vị phụ thuộc ngữ cảnh .các âm vị bị ảnh hưởng mạnh
bởi ngữ cảnh xung quanh .mỗi âm vị được chia thành 2,3 phần ,được gọi là category.mỗi
category phụ thuộc vào ngữ cảnh ở bên trái hoặc bên phải của nó .ví dụ âm /kh/được chia
thành 2 phần ,phần bên trái phụ thuộc vào các âm vị đứng bên trái âm vị /kh/ và phần bên
phải phụ thuộc vào các âm vị đứng bên phải âm vị /kh/ .do /kh/ là phụ âm đứng đầu câu và
xuất hiện duy nhất trong từ “không” nên phần bên phải của /kh/ chỉ có thể là âm vị /oo/ ,từ
đó ta có một category /kh>oo/,phần bên trái của /kh/ sẽ cho ta category /,pau>kh/ khi từ
“không “ đứng đầu câu hoặc sau một khoảng nghỉ pause .khi “không” đứng sau các từ
khác ta có các category tương ứng
/oong>kh/,/oot>kh/,//ai>kh/,/a>kh/,oon>kh/,/awm>kh/,/au>kh/,/aai>kh/,am>kh/,/in>kh/,nh
ư vậy âm vị /kh/ cho ta 12 category tương ứng với 12 nút đầu ra của mạng noron
Huấn luyện mạng MLP được trình bày ở phần trên
II.3 Điều khiển robot bằng phương pháp momen:
Phương pháp tính momen là một phương pháp phổ biến trong điều khiển robot hiện
đại.nó cho phép loại được tất cả các thành phần phi tuyến và liên kết chéo trong robot
.nhược điểm của pháp này là các tham số phi tuyến thường không được ước lượng chính
xác và quá trình tính toán phức tạp đòi hỏi thời gian thực .vì vậy trong thực tế dao động và
quá trình thường xuyên xuất hiện khi điều khiển bằng phương pháp tính momen.mạng
nơron và thuật di truyền có thể cho phép khắc phục được những nhược điểm này .bài báo
cáo này giới thiệu việc sử dụng mạng nơron được tối ưu bằng thuật di truyền thực hiện tính
toán chính xác các tham số phi tuyến và liên kết chéo của hệ robot.hệ điều khiển được
kiểm chứng bằng MATLAB SỊMULINK 6.0 trên cánh tay máy 2 bậc tự do
Sơ đồ hệ điều khiển tính momen được biểu diễn như sau:
Phương pháp tính momen

SV: HUỲNH LƯƠNG HIỆP TRANG GVHD: ThS.VŨ THỊ HỒNG NGA
25