Huấn luyện mạng neuron nhân tạo pptx

GV: Lê Hoài Long
Huấn luyện mạng
neuron nhân tạo
Phần
GV: Lê Hoài Long
Học của mạng neuron
x
1
x
2
x
n
W
2
W
n
Đầu vào
Đầu ra
Huấn luyện
Các thông số huấn luyện
Neuron

Một bước rất quan trọng của mạng
neuron đó là việc huấn luyện mạng
(training) hay còn gọi là việc học
GV: Lê Hoài Long
Học của mạng neuron

Có hai cách học khác nhau trong
mạng neuron nhân tạo : Học tham số
(parameter learning) và học cấu trúc

(structure learning).

Hầu hết trong các nghiên cứu trong
ngành quản lý xây dựng, ta dùng cách
học thông số để huấn luyện mạng
GV: Lê Hoài Long
Học thông số

Học thông số là phương pháp học
bằng cách cập nhật trọng số kết nối.

Vấn đề đặt ra là tìm cách nào để tìm
ra một ma trận trọng số thực sự của
mạng xấp xỉ với ma trận W trong quá
trình xử lý thông tin?

Chế độ học thông số được áp dụng là
chế độ học giám sát
GV: Lê Hoài Long
Học giám sát (supervised)
Mạng neuron
W
Khâu phát sinh tín
hiệu sai số
Y (Đầu ra thực sự)
X
(Đầu vào)
Tín hiệu sai số d (Đầu ra mong muốn)
GV: Lê Hoài Long
Mạng hướng tiến và giải thuật lan

truyền ngược (Back-Propagation)

Giải thuật được sử dụng để huấn
luyện các mạng nuôi tiến nhiều lớp
với các phần tử xử lý trong mạng có
hàm tác động là hàm phi tuyến.

Giải thuật sẽ cung cấp một thủ tục
cho việc cấp nhật các trọng số kết nối
trong mạng truyền ngược từ lớp
neuron đầu ra đến lớp neuron đầu
vào.
GV: Lê Hoài Long
Mạng hướng tiến và giải thuật lan
truyền ngược (Back-Propagation)

Giải thuật vận hành theo hai luồng dữ liệu.
Đó là:
 Đầu tiên, các mẫu huấn luyện được truyền
từ lớp neuron đầu vào đến lớp đầu ra và cho
kết quả thực sự y(k) của lớp neuron đầu ra.

Sau đó, tín hiệu sai lệch giữa đầu ra mong
muốn và đầu ra thực sự của mạng truyền
ngược từ lớp đầu ra đến các lớp đứng trước
để cập nhật các trọng số kết nối trong mạng.
GV: Lê Hoài Long
Mạng hướng tiến và giải thuật lan
truyền ngược (Back-Propagation)


Việc áp dụng phương pháp lan truyền
ngược là một quá trình lặp đi lặp lại nhiều
lần hai tiến trình chính : ánh xạ và lan
truyền ngược sai số.

Quá trình luyện mạng được bắt đầu với các
trọng số tùy ý có thể là các số ngẫu nhiên
và tiến hành lặp đi lặp lại. Mỗi lần lặp được
gọi là một thế hệ.

Trong mỗi thế hệ, mạng hiệu chỉnh các
trọng số sao cho sai số giảm dần.
GV: Lê Hoài Long
Thuật toán tối ưu hóa trong
huấn luyện

Ba thuật toán hay sử dụng nhất đó là:

Steepest descent,

Newton,

và conjugate gradient

Ba thuật toán này có thể tìm hiểu sâu
trong tài liệu được giao
GV: Lê Hoài Long
Nhiễu

Thiếu thông tin


Thông tin không chính xác

Thông tin thiếu.
GV: Lê Hoài Long
Quá khớp (lack of generality)

Mạng bị quá khớp được đặt biệt quan
tâm.

Nghĩa là mạng không có khả năng
tổng quát hoá, điều mà ta cần khi sử
dụng mạng

Mạng sẽ trả lời chính xác những gì nó
được học còn những gì nó không
được học nó không quan tâm
GV: Lê Hoài Long
Quá khớp (lack of generality)
 Việc huấn luyện mạng với số bước lớn
hơn cần thiết. Nguyên nhân là mạng
đã được luyện quá khớp với dữ liệu
học (kể cả nhiễu).

Tính linh động của lan truyền ngược
là lý do khiến nó có thể thực hiện
công việc tạo mô hình tốt hơn hồi qui
tuyến tính, nhưng cũng vì thế có thể
dễ dẫn đến vấn đề quá khớp.
GV: Lê Hoài Long

Quá khớp (lack of generality)
3000 thế hệ
7000 thế hệ
8500 thế hệ
15000 thế hệ
101000 thế hệ
GV: Lê Hoài Long
Quá
trình
phát
triển của
mô hình
neuron
GV: Lê Hoài Long
Đánh giá mô hình
Đánh giá d
ự
a trên sai s
ố

Sai số phần trăm (percentage error)

Sai số phần trăm tuyệt đố trung bình
(Mean absolute percentage error)
%100*
Actual
Actual)(Predicted
PE



%100*
Actual
ActualPredicted
n
1
MAPE
n
1



GV: Lê Hoài Long
Đánh giá mô hình

Sai số bình phương trung bình (Mean
squared error)

Sai số căn bậc hai bình phương trung
bình (Root mean squared error)
 
n
ActualPredicted
MSE
n
1
2



 

n
ActualPredicted
RMSE
n
1
2



GV: Lê Hoài Long
Đánh giá mô hình
Đánh giá d
ự
a trên đ
ộ
phù h
ợ
p (goodness of
fit)

Hệ số xác định (coefficient of determination)

Hệ số xác định điều chỉnh (Adjusted
coefficient of determination)
squares of sum Total
errors squared of Sum
1R
2




22
1
1
1
1 R
pn
n
AdjR 



GV: Lê Hoài Long
Precision và Accuracy
Không precise và không accurate Không precise và accurate
GV: Lê Hoài Long
Precision và Accuracy
Precise và không accurate Precise và accurate
GV: Lê Hoài Long
Bài đọc
HÃY CHỈ RA NHỮNG VẤN ĐỀ CỦA NGHIÊN
CỨU SAU ĐÂY
Ước lượng chi phí xây dựng chung cư bằng
mạng neuron nhân tạo
(Phan Văn Khoa và các Tác giả)
Tạp chí phát triển Khoa học và Công nghệ -
Quyển 10, Số 11, 2007
GV: Lê Hoài Long
Đề xuất một qui trình nghiên
cứu

Nghiên cứu tài liệu, sách báo, các vấn
đề nghiên cứu trước đây
Đề xuất nghiên cứu
Xác định phương pháp nghiên cứu
Công cụ phân tích số liệu Số liệu phân tích
Kết quả phân tích
Kết luận và kiến nghị
GV: Lê Hoài Long
Đề xuất một qui trình nghiên
cứu
Nghiên cứu tài liệu, sách báo, các vấn
đề nghiên cứu trước đây
Đề xuất nghiên cứu
Xác định phương pháp nghiên cứu
Công cụ phân tích số liệu
– Mạng neuron nhân tạo
Xác định các biến tiềm
năng
Thu thập số liệu các biến
tiềm năng (Bảng câu hỏi)
Xử lý ban đầu số liệu thu
thập
Xác định loại và cấu hình
mạng
Huấn luyện mạng
Phân tích kết quả
Kết luận và kiến nghị