Báo cáo nghiên cứu khoa học " Mạng thần kinh nhân tạo truy hồi thời gian trễ và ứng dụng dự báo nhiệt độ tối thấp cho khu vực đồng bằng phía Bắc Việt Nam " ppsx

TạpchíKhoahọcĐạihọcQuốcgiaHàNội,KhoahọcTựnhiênvàCôngnghệ25,Số1S(2009)28‐34
28
_______
Mạng thần kinh nhân tạo truy hồi thời gian trễ
và ứng dụng dự báo nhiệt độ tối thấp cho khu vực
đồng bằng phía Bắc Việt Nam
Nguyễn Hướng Điền
1,
*, Hoàng Thanh Vân
1
, Hoàng Phúc Lâm
2
1
Khoa Khí tượng Thủy văn và Hải dương học, Trường Đại học Khoa học Tự nhiên, ĐHQGHN
2
Trung tâm Dự báo Khí tượng Thuỷ văn Trung ương
Ngày nhận 02 tháng 01 năm 2009
Tóm tắt. Cùng với những nghiên cứu trước đây sử dụng mạng thần kinh nhân tạo (TKNT) dự báo
nhiệt độ tối cao, chúng tôi đã thử nghiệm dự báo nhiệt độ tối thấp cho khu vực nghiên cứu bằng
việc sử dụng một loại mạng TKNT nữa - mạng truy hồi thời gian trễ. Kết quả đạt được với bài
toán dự báo là khả quan, hệ số
tương quan rất lớn (luôn >0,93) và sai số nằm trong ngưỡng cho
phép của dự báo nghiệp vụ (RMSE trong khoảng từ 1,49
0
C đến 1,59
0
C và MAE xấp xỉ 1,1
0
C).
Tuy nhiên chất lượng dự báo nhiệt độ tối thấp của mô hình mạng TKNT trong mùa đông và mùa
xuân chưa được cao lắm.

1. Giới thiệu về mạng thần kinh nhân tạo
truy hồi thời gian trễ
∗
Nhận thức đa lớp là thuật toán mạng phổ
biến nhất, nhưng nó chỉ có thể giải quyết các
thông tin đồng thời, do trong hệ thống của nó
không có bộ nhớ và chỉ thực hiện lan truyền
tiến. Trong khoa học, kỹ thuật, việc xử lý các
tín hiệu, các giá trị đại lượng tại các thời điểm
khác nhau có liên hệ với nhau, đòi hỏi các hệ
thống phải có bộ
nhớ. Điều này đặc biệt có ý
nghĩa trong khí tượng, khi các đại lượng khí
tượng đều có quán tính, có tính thống nhất theo
thời gian. Một động lực nữa đòi hỏi phải sử
dụng bộ nhớ đó là hồi tiếp (Feedback), hay đơn
giản là sử dụng có hiệu quả các thông tin sẵn
có. Đó cũng chính là lý do cho sự ra đời của
mạng truy hồi. Nhưng các mạng TKNT truy hồi
đầy đủ rất khó luyện để đạt tới trạng thái ổn
định. Việc xây dựng một thuật toán khác
(không phải thuật toán truy hồi), dựa trên mạng
nhận thức đa lớp nhưng có thêm một hệ thống
con để chứa các thông tin trong quá khứ là cần
thiết và thích hợp hơn. Những hệ thống con này
được gọi là các cấu trúc bộ nhớ ngắ
n hạn
(Short-term memory structures) [Jose C.
Principe, 2000]. Sự kết hợp của mạng nhận

thức đa lớp và các cấu trúc bộ nhớ ngắn hạn
được gọi là mạng thời gian trễ (Time-Lagged
Network), các cấu trúc bộ nhớ thậm chí có thể
là truy hồi, nhưng chỉ là hồi tiếp địa phương (để
tính ổn định dễ đảm bảo hơn). Khi kết hợp
mạng truy hồi v
ới các cấu trúc bộ nhớ thì ta có
mạng truy hồi thời gian trễ (Time-Lagged
Recurrent Network). Thông thường, với một
mạng thời gian trễ tổng quát nhất, bộ nhớ sẽ
được đặt ở tất cả các thành phần của mạng, điều
∗
Tác giả liên hệ. ĐT: 84-4-38584943.
E-mail:
N.H.Điềnvànnk./TạpchíKhoahọcĐHQGHN,KhoahọcTựNhiênvàCôngnghệ25,Số1S(2009)28‐34
29
đó sẽ tăng khả năng của mạng rất nhiều nhưng
cũng sẽ mất rất nhiều thời gian để luyện và số
liệu cũng cần nhiều để đảm bảo tính đặc trưng
của mạng. Một trong những thuật toán giúp đơn
giản hoá vấn đề này là thuật toán tập trung
(Focused), trong đó bộ nhớ ngắn hạn chỉ được
đặ
t ở lớp nhập. Chức năng của bộ nhớ ngắn hạn
trong mạng thời gian trễ tập trung là chứa các
thông tin, tín hiệu trong quá khứ của lớp nhập,
trong khi các phần tử hoạt động phi tuyến cung
cấp các ánh xạ tương tự như ở mạng nhận thức
đa lớp. Trong bài báo này, mạng truy hồi thời
gian trễ là lựa chọn số một cho bài toán phân

tích chuỗ
i thời gian dự báo nhiệt độ tối thấp.


Hình 1. Mạng thời gian trễ với thuật toán tập trung.
Cấu trúc bộ nhớ đơn giản nhất được xây
dựng từ chuỗi trì hoãn (delay line) hay bộ nhớ
trễ. Bộ nhớ trễ là một hệ thống nhập đơn - xuất
đa, có duy nhất một tham số là kích thước bộ
nhớ K. Loại bộ nhớ này được sử dụng rất hiệu
quả cùng với mạng thời gian trễ (Time-delay
Neural Network) trong việc nhận dạng gi
ọng nói
và xác định hệ thống. (Kung, 1993) (hình 2).
Một cơ chế khác cho bộ nhớ tuyến tính đó
là hồi tiếp (hình 3). Hồi tiếp cho phép hệ thống
nhớ các sự kiện trong quá khứ. Không giống
như bộ nhớ trì hoãn, bộ nhớ hồi tiếp còn cung
cấp cho hệ thống luyện tham số
µ
, giúp chỉnh
độ dài của bộ nhớ. Bộ nhớ hồi tiếp được sử
dụng cùng với mạng Elman và Jordan [Haykin,
1994].


Hình 2. Bộ nhớ trễ.

Hình 3. Bộ nhớ hồi tiếp.

N.H.Điềnvànnk./TạpchíKhoahọcĐHQGHN,KhoahọcTựNhiênvàCôngnghệ25,Số1S(2009)28‐34
30

Ta có thể kết hợp ưu điểm của bộ nhớ hồi
tiếp và bộ nhớ trễ trong các hệ thống tuyến tính,
được gọi là chuỗi khuếch tán trễ (Dispersive
Delay Lines). Bộ nhớ được dùng nhiều nhất
thuộc loại này là bộ nhớ gamma (hình 4). Bộ
nhớ gamma có một tham số tự do là
µ
, dùng để
điều khiển độ dài bộ nhớ (là khoảng thời gian
giữa thời điểm xung trả lời đầu tiên và thời
điểm tác động cuối cùng K: D = K/
µ
) dựa trên
độ phân giải của bộ nhớ (số kết xuất trong một
đơn vị thời gian: R=
µ
). Tham số
µ
có thể được
điều chỉnh để đạt được sai số nhỏ nhất. Đây
chính là ưu điểm của bộ nhớ gamma so với bộ
nhớ hồi tiếp.


Hình 4. Bộ nhớ gamma.
Ưu điểm của thuật toán tập trung là các
trọng số mạng nhận thức đa lớp vẫn có thể được

điều chỉnh bằng thuật toán lan truyền ngược.
Lớp bộ nhớ giúp mang thêm thông tin trong quá
khứ, làm tăng giá trị của ánh xạ. Khi sử dụng
bộ nhớ trễ, sự lan truyền ngược cũng có thể
được sử dụng vì khi này chỉ có các trọng số củ
a
mạng nhận thức đa lớp là các thông số được
điều chỉnh. Khi sử dụng bộ nhớ gamma, thông
số lặp được điều chỉnh trong một hệ thống thích
ứng toàn phần. Phương trình dùng để thích ứng
các thông số cho các loại bộ nhớ được cho
trong hình vẽ tương ứng ở trên.
Trong bài báo này, nhóm nghiên cứu sử
dụng mạng truy hồi thời gian trễ với 1 lớp nhập,
1 lớp ẩn và 1 lớp xuất để dự báo nhiệt độ tối
thấp. Số liệu đầu vào là chuỗi số liệu quan trắc
nhiệt độ tối thấp liên tục trong 9 năm từ 1981
đến 1989 của 4 trạm là Láng (Hà Nội), Phủ Liễn
(Hải Phòng), Thanh Hóa và Vinh; số liệu năm
1990 được sử dụng để đánh giá chất lượng mạng.
Qua quá trình thử nghiệm và đánh giá cho
các loại mạng khác nhau v
ới số lượng nút ẩn
khác nhau: lần lượt là 3, 5 và 10 nút ẩn. Kết quả
cho thấy mạng có một lớp ẩn với 5 nút ẩn cho
chất lượng tốt nhất.
2. Kết quả dự báo nhiệt độ tối thấp và nhận xét
Kết quả đánh giá cho 4 trạm tiêu biểu nêu trên
với mạng TKNT có một lớp ẩn và 5 nút ẩn được
trình bày trong các bảng và hình vẽ dưới đây:

N.H.Điềnvànnk./TạpchíKhoahọcĐHQGHN,KhoahọcTựNhiênvàCôngnghệ25,Số1S(2009)28‐34
31
Bảng 1. Các chỉ số đánh giá dự báo nhiệt độ tối thấp

Láng Phủ Liễn Thanh Hóa Vinh
MAE (
0
C) 1.14 1.10 1.10 1.07
RMSE (
0
C) 1.59 1.55 1.49 1.56
E-max (
0
C) -3.07 -3.86 -3.05 -4.00
E+max (
0
C) 8.07 7.56 7.30 8.07
N
E<2
309 314 311 317
DP 9 17 11 16
AC 0.94 0.94 0.94 0.93
N 365 365 365 365

Ghi chú:
MAE: Sai số tuyệt đối trung bình,
RMSE: Sai số quân phương,
E-max: Sai số dự báo hụt nhiều nhất,

E+max: Sai số dự báo vượt nhiều nhất,
N
E<2
: Số dự báo có sai số tuyệt đối nhỏ hơn
2
0
C,
DP: Số cặp quan trắc - Dự báo trùng khớp
(sai số nhỏ hơn 0.05
0
C),
AC: Hệ số tương quan,
N: Số quan trắc.
Kết quả đánh giá dự báo độc lập cho thấy
chất lượng của mạng TKNT rất khả quan,
RMSE chỉ dao động trong khoảng 1,49
0
C (trạm
Thanh Hóa) đến 1,59
0
C (trạm Láng), đồng thời
MAE đều xấp xỉ 1,1
0
C. Hệ số tương quan luôn
đạt ở mức cao (0.93 và 0,94), số dự báo có sai
số tuyệt đối nhỏ hơn 2
0
C dao động trong
khoảng từ 84,7% (Láng) tới 86,8% (Vinh). Tuy
nhiên đôi khi mạng TKNT cũng cho kết quả

không thực sự tốt, sai số dự báo vượt cực đại
lên tới 7 - 8
0
C còn sai số dự báo hụt lớn nhất
cũng từ 3 đến 4
0
C. Để có đánh giá chi tiết hơn,
ta chia nhỏ giai đoạn đánh giá ra thành từng
mùa ba tháng một.

Bảng 2. Các chỉ số đánh giá dự báo nhiệt độ tối thấp theo 3 tháng

Láng Phủ Liễn
Chỉ số/Tháng
1-2-3 4-5-6 7-8-9 10-11-12 1-2-3 4-5-6 7-8-9 10-11-12
ME (
0
C) 0.06 -0.12 -0.20 0.16 0.09 -0.02 -0.26 0.07
RMSE (
0
C) 1.57 1.98 1.14 1.55 1.47 1.89 1.41 1.37
E-max (
0
C) -3.07 -2.88 -2.15 -2.63 -3.69 -2.75 -3.86 -3.36
E+max (
0
C) 6.17 8.07 3.08 7.74 6.46 7.56 4.47 7.38

Thanh Hóa Vinh
Chỉ số/Tháng

1-2-3 4-5-6 7-8-9 10-11-12 1-2-3 4-5-6 7-8-9 10-11-12
ME (
0
C) 0.08 -0.15 -0.13 0.12 0.07 -0.11 -0.11 0.12
RMSE (
0
C) 1.42 1.86 1.07 1.49 1.54 1.83 1.07 1.69
E-max (
0
C) -2.57 -2.82 -3.05 -2.89 -3.16 -3.26 -2.04 -4.00
E+max (
0
C) 6.89 5.70 2.01 7.30 7.01 6.61 3.67 8.07

Bảng 2 cho ta thấy xu thế khá thú vị của các
mô hình mạng TKNT cho tất cả các trạm, đó là
các mô hình mạng TKNT thường có xu hướng dự
báo nhiệt độ tối thấp lớn hơn thực tế trong các
tháng mùa đông và mùa xuân (từ tháng 10 năm
trước đến tháng 3 năm sau) và dự báo thấp hơn

N.H.Điềnvànnk./TạpchíKhoahọcĐHQGHN,KhoahọcTựNhiênvàCôngnghệ25,Số1S(2009)28‐34
32
thực tế trong các tháng mùa hè và thu. 3 tháng 7,
8 và 9 cũng thường cho kết quả dự báo tốt nhất
(RMSE trong 3 tháng này nhỏ nhất, trừ trạm Phủ
Liễn đạt cực tiểu trong 3 tháng 10, 11 và 12).

5.0
10.0

15.0
20.0
25.0
30.0
35.0
5.0 10.0 15.0 20.0 25.0 30.0 35.0
Quan trắc (độ C)
Dự báo (độ C)
Láng

Hình 5. Kết quả đánh giá trạm Láng.
5.0
10.0
15.0
20.0
25.0
30.0
35.0
5.0 10.0 15.0 20.0 25.0 30.0 35.0
Quan trắc (độ C)
Dự báo (độ C)
Phủ Liễn

Hình 6. Kết quả đánh giá trạm Phủ Liễn.

N.H.Điềnvànnk./TạpchíKhoahọcĐHQGHN,KhoahọcTựNhiênvàCôngnghệ25,Số1S(2009)28‐34
33
5.0
10.0
15.0

20.0
25.0
30.0
35.0
5.0 10.0 15.0 20.0 25.0 30.0 35.0
Quan trắc (độ C)
Dự báo (độ C)
Thanh Hóa

Hình 7. Kết quả đánh giá trạm Thanh Hóa.
5.0
10.0
15.0
20.0
25.0
30.0
35.0
5.0 10.0 15.0 20.0 25.0 30.0 35.0
Quan trắc (độ C)
Dự báo (độ C)
Vinh

Hình 8. Kết quả đánh giá trạm Vinh.

3. Kết luận
Cùng với những nghiên cứu trước đây
[Nguyễn Hướng Điền, Hoàng Phúc Lâm, 2006,
2007, 2008], mạng TKNT đã cho thấy khả năng
ứng dụng cao trong các bài toán từ phức tạp đến
đơn giản. Đây là những kết quả thử nghiệm với

một loại mạng TKNT nữa - mạng truy hồi thời
gian trễ. Kết quả đạt được với bài toán dự báo
nhiệt độ
tối thấp là khả quan, hệ số tương quan

N.H.Điềnvànnk./TạpchíKhoahọcĐHQGHN,KhoahọcTựNhiênvàCôngnghệ25,Số1S(2009)28‐34
34
rất lớn và sai số nằm trong ngưỡng cho phép
của dự báo nghiệp vụ. Tuy nhiên vẫn còn
những tồn tại cần tiếp tục nghiên cứu giải
quyết, đó là chất lượng dự báo nhiệt độ tối thấp
của mô hình mạng TKNT trong mùa đông và
mùa xuân chưa được cao lắm.
Bài báo là một phần kết quả của đề tài
NCCB mã số 705306.
Tài liệu tham khảo
[1] J.C. Principe, Artificial Neural Network, CRC
Press LLC, 2000.
[2] S. Haykin, Neural Networks: A Comprehensive
Foundation, New York, 1994.
[3] Nguyễn Hướng Điền, Hoàng Phúc Lâm, Dự báo
tổng lượng bứcc xạ ngày cho khu vực đồng bằng
phía Bắc Việt Nam bằng phương pháp sử dụng
mạng thần kinh nhân tạo, Tạp chí Khoa học Đại
học Quốc gia Hà Nội, Chuyên san Khoa học Tự
nhiên và Công nghệ, tập 22, số 2B PT (2006) 9.
[4] Hoàng Phúc Lâm, Nghiên cứu ứng dụng mạng
TKNT dự báo m
ột số yếu tố khí tượng cho các
tỉnh đồng bằng phía Bắc Việt Nam, Luận văn

cao học, 2007.
[5] Hoàng Phúc Lâm, Nguyễn Hướng Điền, Dự báo
nhiệt độ tối cao cho khu vực đồng bằng phía Bắc
Việt Nam bằng mạng thần kinh nhân tạo, Tạp
chí Khí tượng Thuỷ văn, số 571 (2008) 20.
[6] Nguyễn Đình Thúc, Hoàng Đức Hải, Mạng
nơron: Quy tắc và ứ
ng dụng, NXB Giáo dục,
2000.

Time-lagged recurrent neural network
and application in minimum temperature forecasting
for Northern Vietnam flat area
Nguyen Huong Dien
1
, Hoang Thanh Van
1
, Hoang Phuc Lam
2


1
Faculty of Hydro-Meteorology & Oceanography, College of Science, VNU
2
National Centre for Hydrometeorological Forecasting
After success in using neural network in radiation and maximum temperature, we try to use
another type of neural network: time-lagged recurrent network to make the time-series analysis of
minimum temperature for northern Vietnam flat area. By training and evaluating the results, 1 hidden
layer with 5 nodes time-lagged network was chosen as the best one for this problem. RMSE ranges
from 1.49 to 1.59 degree while MAE around 1.1, especially the correlations are always greater than

0.93. However, when we access the maximum over and under-estimated forecast, the model is still not
really good, the former one is about 7 - 8 degree and the later is around 3 - 4 degree. In order to get
more detail assessment, the test data set was divided into 4 parts and the season from July to September
often got the best verification results. These results support for the conclusions in the previous papers that
the neural network with suitable configuration always gives a reasonable assessment.