Mạng hồi tiếp, mạng Self- Organizing

Phần 3_Chương 7 : Mạng hồi tiếp
CHƯƠNG 7
MẠNG HỒI TIẾP
Mạng hồi tiếp là đề tài được quan tâm nhiều nhất. Ở đây xem xét hai mạng : mạng Elman và mạng
Hopfield.
Mạng Elman là mạng backpropagation hai lớp, hơn nữa mạng này có kết nối hồi tiếp từ ngõ ra của
lớp ẩn về ngõ vào. Đường hồi tiếp này cho phép mạng Elman học cách nhận dạng và phát các mẫu
thời gian cũng như mẫu không gian.
Mạng Hopfield dùng để lưu trữ một hoặc nhiều vector đích tónh. Các vector tónh này có thể xem như
là bộ nhớ của mạng và sẽ được lấy ra từ các vector vào tương tự.
Hàm newelm dùng thiết kế mạng Elman. Hàm newhop dùng thiết kế mạng Hopfield.
1. MẠNG ELMAN
1.1 Cấu trúc mạng
Mạng Elman thông thường là mạng hai lớp có đường hồi tiếp từ ngõ ra lớp một về ngõ vào. Đường
hồi tiếp này cho phép mạng Elman nhận ra và phát những mẫu thời gian thay đổi.
Lê Thanh Nhật-Trương Ánh Thu 1 GVHD : Ths Hoàng Đình Chiến
Phần 3_Chương 7 : Mạng hồi tiếp
Mạng Elman có neuron tansig trong lớp ẩn và neuron purelin ở lớp ngõ ra. Sự kết hợp này là đặc
biệt trong mạng hai lớp với những hàm truyền này có thể gần đúng bất kì hàm nào với độ chính xác
tùy ý. Yêu cầu duy nhất là lớp ẩn phải có đủ neuron. Số neutron ẩn nhiều hơn thì mạng sẽ khít về
độ phức tạp.
Lưu ý rằng mạng Elman khác những mạng hai lớp thông thường khác ở chỗ lớp thứ nhất có kết nối
hồi tiếp. Độ trễ trong kết nối này lưu trữ giá trò từ thời điểm trước, có thể sử dụng ở thời điểm hiện
tại.
Vì thế thậm chí với hai mạng Elman có cùng trọng số và ngưỡng, có ngõ vào giống nhau ở cùng thời
điểm, ngõ ra có thể khác nhau do trạng thái hồi tiếp khác nhau.
Bởi vì mạng có thể lưu thông tin nên có thể học các mẫu theo thời gian cũng như không gian. Mạng
Elman có thể huấn luyện để đáp ứng và phát cả hai loại mẫu này.
1.2 Thiết kế mạng Elman
Mạng Elman có hai hay nhiều lớp có thể được tạo bằng hàm newelm. Các lớp ẩn thường có hàm
truyền tansig. Hàm truyền lớp ngõ ra là purelin.

Hàm huấn luyện backpropagation mặc đònh là trainbfg, hoặc có thể dùng trainlm, nhưng quá nhanh
nên không cần thiết sử dụng trong mạng Elman. Hàm học mặc đònh là learngdm và hiệu suất là
mse.
Khi mạng được tạo, mỗi lớp trọng số và ngưỡng được khởi động bằng phương pháp khởi động lớp
Nguyễn – Widrow trong hàm initnw.
1.3 Huấn luyện mạng Elman
Mạng Elman có thể được huấn luyệân bằng hai hàm : train hoặc adapt.
1.3.1 Hàm train
• Sau khi toàn bộ chuỗi ngõ vào đã vào mạng, ngõ ra được tính và so sánh với chuỗi đích để
phát ra chuỗi sai số.
• Với mỗi nấc thời gian sai số được truyền ngược để tìm gradient của các sai số đối với mỗi
trọng số và ngưỡng. Gradient này là gần đúng khi các trọng số và ngưỡng góp phần vào sai
số thông qua kết nối hồi tiếp trễ được bỏ qua.
Lê Thanh Nhật-Trương Ánh Thu 2 GVHD : Ths Hoàng Đình Chiến
Phần 3_Chương 7 : Mạng hồi tiếp
• Sau đó gradient này được sử dụng để cập nhật trọng số với hàm huấn luyện tự chọn, thường
dùng hàm traingdx.
1.3.2 Hàm adapt
• Sau khi ngõ vào đã vào mạng, phát ngõ ra sai số của mạng.
• Sai số được truyền ngược lại để tính gradient của sai số cho mỗi trọng số và ngưỡng. Gradient
này là gần đúng khi các trọng số và ngưỡng góp phần tạo sai số qua kết nối hồi tiếp trễ được
bỏ qua.
• Sau đó gradient gần đúng này cập nhật trọng số với hàm học tự chọn, thường chọn hàm
learngdm.
Mạng Elman không tin cậy bằng những mạng khác bởi vì cả hàm train và adapt đều sử dụng hàm
gần đúng sai số gradient.
Đối với cùng một vấn đề mạng Elman cần dùng nhiều neuron ẩn hơn các mạng khác. Mạng Elman
khó có thể tìm được các trọng số đúng nhất cho các neuron ẩn vì gradient sai số được tính gần đúng.
Hàm train huấn luyện mạng Elman phát ra một chuỗi vector đích khi có chuỗi vector vào. Các
vector ngõ vào và đích là các ma trận P và T. Hàm train lấy các vector này và trọng số, ngưỡng của

mạng, huấn luyện mạng sử dụng phương pháp backpropagation tốc độ học thay đổi có quán tính, và
trả về trọng số và ngưỡng mới.
2. MẠNG HOPFIELD
Mục đích ở đây là thiết kế mạng chứa một tập các điểm cân bằng, khi điều kiện đầu xác lập mạng
cuối cùng sẽ đi đến điểm được thiết kế. Mạng có hồi tiếp từ ngõ ra về ngõ vào. Mạng này không
hoàn hảo khi có các điểm cân bằng giả không mong muốn. Tuy nhiên, số các điểm không mong
muốn này trong phương pháp thiết kế sẽ làm càng nhỏ càng tốt, cũng như làm tăng phạm vi tối đa
của các điểm cân bằng.
Lê Thanh Nhật-Trương Ánh Thu 3 GVHD : Ths Hoàng Đình Chiến
Phần 3_Chương 7 : Mạng hồi tiếp
2.1 Cấu trúc mạng
Ngõ vào P của mạng chỉ đơn thuần là các điều kiện đầu. Mạng Hopfield sử dụng hàm truyền tuyến
tính bão hòa satlins. Khi ngõ vào nhỏ hơn –1, ngõ ra bằng -1, ngõ vào trong khoảng
(-1,1) trả ra giá trò bằng ngõ vào, ngõ vào lớn hơn 1 thì ngõ ra bằng 1.
Mạng này được kiểm tra với một hoặc nhiều ngõ vào là điều kiện đầu của mạng. Sau khi đã có điều
kiện đầu, ngõ ra của mạng hồi tiếp về ngõ vào. Quá trình này lặp lại cho đến khi ngõ ra ổn đònh. Rõ
ràng, cuối cùng ngõ ra của mạng sẽ hội tụ về điểm cân bằng được thiết kế.
2.2 Thiết kế mạng
Với một tập hợp các điểm cân bằng cho trước (ma trận đích T), hàm newhop trả về trọng số và
ngưỡng cho mạng đệ quy. Mạng bảo đảm có các điểm cân bằng ở vector đích nhưng có thể chứa các
điểm cân bằng giả. Phương pháp này làm giảm thiểu số các điểm không mong muốn này.
Khi mạng được thiết kế, nó kiểm tra với một hoặc nhiều vector ngõ vào. Các vector ngõ vào gần với
điểm cân bằng đích sẽ tìm ra ngõ ra yêu cầu. Ngõ vào mạng vào cùng lúc, mạng đưa ngõ ra có hồi
tiếp về ngõ vào. Các vector ngõ ra có thể so sánh với vector đích để thấy kết quả xử lý.
3. Kết luận
Lê Thanh Nhật-Trương Ánh Thu 4 GVHD : Ths Hoàng Đình Chiến
Phần 3_Chương 7 : Mạng hồi tiếp
Mạng Elman có vòng hồi tiếp trong, có khả năng học để nhận ra và phát các mẫu thời gian. Điều
này làm cho mạng có ưu điểm trong vấn đề xử lý tín hiệu và dự đoán mà thời gian đóng vai trò quan
trọng.

Bởi vì mạng Elman là dạng mở rộng của cấu trúc mạng hai lớp sigmoid/tuyến tính, nên chúng có khả
năng khít với bất kì hàm nào. Chúng cũng có khả năng đúng đối với các mẫu thời gian nhưng cần
nhiều neuron trên lớp hồi tiếp.
Mạng Hopfield cũng có khả năng sửa lỗi và phân loại vector. Vector ngõ vào sử dụng như điều kiện
đầu của mạng, được hồi tiếp cho đến khi vector ngõ ra ổn đònh.
Mạng Hopfield rất được quan tâm trên lý thuyết nhưng rất hiếm khi được sử dụng trong thực tế.
Thậm chí khi mạng Hopfield được thiết kế tốt nhất vẫn có các điểm tónh giả dẫn đến sai số.
Lê Thanh Nhật-Trương Ánh Thu 5 GVHD : Ths Hoàng Đình Chiến