Báo cáo nghiên cứu khoa học " Thử nghiệm dự báo lượng mưa ngày bằng phương pháp dùng mạng thần kinh nhân tạo hiệu chỉnh sản phẩm mô hình số " ppt

Tạp chí Khoa học đhqghn, KHTN & CN, T.xxII, Số 1PT., 2006

Thử nghiệm dự báo lợng ma ngày bằng phơng pháp
dùng mạng thần kinh nhân tạo hiệu chỉnh sản phẩm
mô hình số
Hồ Thị Minh Hà, Nguyễn Hớng Điền
Khoa Khí tợng-Thuỷ văn và Hải dơng học
Trờng Đại học Khoa học Tự nhiên, ĐHQG Hà Nội


1. Mở đầu
Trên thế giới có rất nhiều nhà khí tợng đã quan tâm tới mạng thần kinh nhân
tạo (MTKNT) vì nó có khả năng học và xử lý tính phi tuyến của các quá trình biến đổi
phức tạp mà các phơng pháp dự báo khác không thực hiện đợc. MTKNT đã đợc ứng
dụng trong rất nhiều lĩnh vực khoa học nh điều khiển tự động, nhận dạng dấu vân
tay, và cũng đợc các nhà khí tợng sử dụng trong dự báo thời tiết, khí hậu. Có thể
kể ra một số công trình nghiên cứu đã sử dụng MTKNT nh dự báo giáng thuỷ hạn dài
ở California, mô hình hoá ôzôn, dự báo ma đá nguy hiểm, dự báo giáng thủy hạn
ngắn, Tuy nhiên, trong nớc mới chỉ có rất ít các nghiên cứu về lĩnh vực này và cha
có công trình nào đợc áp dụng vào thực tiễn. ở đây chúng tôi sử dụng MTKNT để thử
nghiệm hiệu chỉnh sản phẩm của mô hình số, cụ thể là lợng ma của mô hình phân
giải cao HRM, theo số liệu quan trắc trong 3 tháng mùa ma (6, 7, 8) năm 2004 nhằm
nâng cao chất lợng của sản phẩm dự báo số. Trớc hết ta sẽ xem xét cấu trúc và hoạt
động của một mạng thần kinh đơn giản cũng nh phơng pháp học giảm gradient của
MTKNT, sau đó sẽ tiến hành hiệu chỉnh sản phẩm của mô hình số và đánh giá kết quả.

2. Khái niệm về MTKNT và phơng pháp học giảm gradient
2.1. Cấu trúc và hoạt động của MTKNT

Tổng có
trọn

g
số của
các giá trị
đầu vào
Giá trị đầu vào 1
Giá trị đầu vào
n
Hàm truyền
(a) (b)

Hình 1. Sơ đồ mạng thần kinh sinh học (a) và cấu trúc của MTKNT một nút ẩn (b).
- Mạng thần kinh sinh học bao gồm nhánh thần kinh (dendrites), tế bào thần
kinh (cell body), trục thần kinh (axon) và các xung thần kinh (electrical spike) tơng
ứng với 3 phần chính bao gồm đầu vào, lớp ẩn và kết xuất của MTKNT.
1
Hồ Thị Minh Hà, Nguyễn Hớng Điền
2
- Đầu vào của MTKNT bao gồm N giá trị x
i
và các trọng số tơng ứng. Kết quả
lấy tổng có trọng số của các x
ij
a
i
sẽ đợc nhập vào lớp ẩn :

1
n
j
oi

i
ua xa
=
=+
ij

(1)
- Lớp ẩn bao gồm hàm truyền, có thể là hàm sigma, hàm tang-hypebol,Ngời ta
thờng sử dụng hàm sigma có dạng:

()
()
1
1exp
x
x
=
(2)
+

Thay giá trị của
u
vào hàm truyền sẽ đợc đầu ra của lớp ẩn, ký hiệu là y
j
j
(j=1, , H).
- Các giá trị đầu ra của lớp ẩn là đầu vào của kết xuất, thực hiện tơng tự nh đối
với lớp ẩn đợc giá trị kết xuất, ký hiệu là z
k
(k = 1, , K).

- Kết xuất đích mà ta muốn mạng học đợc là các giá trị t
k
(k = 1, , m).

x
i

=
+=
n
i
ijioj
axau
1
(
)
jj
uy

=
y
j

=
+=
h
j
jkjok
bybz
1

jk
b
ij
a

Hình 2. Quá trình lan truyền tiến
- Một quá trình đi từ đầu vào, qua lớp ẩn và đến kết xuất là một quá trình lan
truyền tiến (feed-forward) của mạng (Hình 2). Quá trình này cũng tơng tự nh quá
trình nhận, xử lý thông tin và truyền thông tin đến não bộ của một tế bào thần kinh
sinh học.

2.2. Phơng pháp học giảm gradient (giảm dốc nhất)
Bản chất của phơng pháp này là cực tiểu hoá hàm lỗi (sai số trung bình bình
phơng) giữa kết xuất z
k
và kết xuất đích t
k
. Hàm lỗi E là hàm của trọng số:

() ()

=
=
m
k
kk
ztE
1
2
2

1

r
(3)
với

r
là vectơ các trọng số, ứng với mỗi vectơ

r
ta có một giá trị sai số và các giá trị
này lập thành một mặt lỗi trong không gian. Để dễ hình dung ta giả sử có 2 trọng số w
1

và w
2
và ta có thể biểu diễn hàm E là một mặt lỗi theo 2 biến này.







Hình 3. Mặt lỗi
w
1
w
2
E

Thử nghiệm dự báo lợng ma ngày bằng phơng pháp
3
Mục tiêu của mạng là tìm đợc điểm trũng nhất trên mặt lỗi, nơi đó z
k
và t
k
gần
nhau nhất. Ban đầu, khi chọn một cặp trọng số bất kỳ ta đợc một điểm trên mặt lỗi và
mạng phải đi theo một đờng nào đó để tìm đợc điểm trũng nhất. Hớng đi của mạng
qua từng bớc là hớng làm giảm sai số của bớc trớc nó.
Biểu diễn toán học của quá trình cực tiểu hoá sai số đợc trình bày dới dây.
Thiết kế một MTKNT gồm đầu vào bao gồm n mẫu, mỗi mẫu gồm các giá trị input x
i
(i=1 N), lớp ẩn gồm các nút y
j
(j=1 H) và kết xuất là các giá trị đích t
k
(k=1 K). Ký hiệu
lại hàm truyền sigma là g(x):

()
()
x
xg
+
=
exp1
1
(4)

x
1

x
2




x
N

a
0
a
11

a
22

a
1H


a
N2

y

1
y
2




y
H

b
0
b
11

b
21

b
1K
b
H1
b
2k

u
1

u
2

u
H

v
1




v
K

z
1





z
K

t
1

t
K

g(u
j
) g(v
k
)
Đầu vào

Lớp ẩn đầu ra đích

Hình 4: Các thành phần chủ yếu của một mẫu của MTKNT.
Đối với mỗi mẫu, trớc hết ta tính tổng trọng số các giá trị đầu vào:

(5)

=
+=
N
i
iijj
xaau
1
0
.
Hàm truyền sigma đợc áp dụng cho lớp ẩn:

()
j
jj
u
ugy

1
+
==
exp1
)(
)
(6)
Lấy tổng trọng số các nút ẩn y
j
:

(7)

=
+=
H
j
jjkkk
ybbv
1
0
.
áp dụng hàm truyền sigma cho lớp xuất:

(
k
kk
v
vgz
+
==
exp1
1
)(
(8)
Bớc (8) đợc thực hiện nếu nh giá trị đích là biến nhị phân. Nếu là các giá trị
thực thì z
k
đợc gán trực tiếp bằng v
k
tơng ứng.
Sai số tổng cộng của mỗi mẫu là:
Hồ Thị Minh Hà, Nguyễn Hớng Điền
4


=
=
K
k
kk
tzE
1

2
)(
2
1
(9)
Để sai số này đạt cực tiểu thì đạo hàm của E theo các trọng số phải tiến dần đến 0.
Ta tính đạo hàm riêng của E theo từng trọng số. Trớc hết là theo trọng số của
lớp xuất:

jk
k
k
k
kjk
b
v
v
z
z
E
b
E






=

, (10)
trong đó
kk
k
tz
z
E
=


(11)

)1.(
kk
k
k
zz
v
z
=


(12)
và
j
jk
k
y

b
v
=


(13)
Khi đó:
)).(1.(.
kkkkj
jk
tzzzy
b
E
=



(14)
Đặt:
)).(1.(
kkkkk
tzzzp


=
(15)
Vậy
kj
jk
py

b
E
.=



(16)
Tiếp theo là đạo hàm theo trọng số của lớp ẩn:

ij
i
i
j
K
k
jk
k
k
k
kij
i
i
j
jij
a
u
u
y
b
v

v
z
z
E
a
u
u
y
y
E
a
E

=






=



=

1
(17)
Sử dụng phơng trình (16) ta đợc:

ij
i
i
j
K
k
jkk
ij
a
u
u
y
bp

a
E










=



=

1
, (18)
trong đó
)1.(
jj
i
j
yy
u
y
=

(19)
và
i
ij
i
x
a
u
=


(20)
Vậy
ijj
K
k
jkk
ij
xyybp
a
E
).1.(.
1

=




=
(21)
Thử nghiệm dự báo lợng ma ngày bằng phơng pháp
5
Nếu g(x) là hàm hybepol hay tang hypebol thì đạo hàm của E theo các trọng số sẽ
khác.
Các trọng số a
ij
và b
jk
đợc cập nhật sao cho gradient tổng cộng của sai số theo
mọi trọng số trên tất cả các mẫu giảm đi. Gọi d là tổng gradient sai số theo mọi trọng số
(ký hiệu chung là

) của bớc trớc nó:

i
n
i
E
d

=

=
1
(22)
với
/
E là đạo hàm riêng tổng cộng của E theo trọng số của mẫu thứ i, n là số lợng
mẫu. Hớng giảm dốc nhất là hớng ngợc lại của hớng d. Nh vậy, mỗi trọng số sau
một bớc sẽ đợc cập nhật mới:





+
=
+ kk 1
(23)
với:
d.



=

(24)
trong đó

là hệ số học, là hệ số thực nghiệm do ngời sử dụng tự chọn, ở đây chọn hệ
số học
05.0=

. Theo dõi sự biến thiên của sai số E theo thời gian đến khi E giảm ít
hoặc hầu nh không giảm nữa thì dừng lại và chọn số thế hệ luyện phù hợp. Quá trình
luyện đợc thực hiện nhiều lần để tránh rơi vào các cực tiểu địa phơng trên mặt lỗi
hay còn gọi là bị rơi vào bẫy.
Nh vậy, trên lý thuyết MTKNT có thể tìm đợc sai số cực tiểu, có thể bằng 0 và
kết xuất sẽ hoàn toàn trùng khớp với kết xuất đích. Nhng có một số vấn đề làm cho
MTKNT không tìm đến đợc điểm trũng nhất của mặt lỗi. Việc học của MTKNT hoàn
toàn độc lập với con ngời, con ngời không tác động đến bất cứ một hoạt động nào của
nó nhng việc chọn số nút, số lớp ẩn, số thế hệ quá nhiều hoặc quá ít lại có thể làm cho
MTKNT không tìm đợc sai số cực tiểu. Ngoài ra mạng còn thờng gặp phải một vấn đề
nữa là vấn đề quá khớp. Khi kiểm nghiệm cho thấy đối với tập số liệu luyện, sai số rất
nhỏ nhng với tập số liệu độc lập dùng để đánh giá thì sai số lại tăng lên. Điều này
phần lớn là do mạng đã luyện với quá nhiều thế hệ. Những vấn đề này chỉ có thể hạn
chế đợc nhờ việc luyện nhiều lần và lấy tổ hợp các kết quả nhận đợc hoặc tiến hành
kiểm nghiệm chéo (không trình bày chi tiết ở đây). Sau đây sẽ sử dụng MTKNT để thử
nghiệm hiệu chỉnh cho lợng ma dự báo của mô hình phân giải cao HRM.
3. Thử nghiệm hiệu chỉnh lợng ma dự báo của mô hình HRM
3.1. Số liệu sử dụng
- Số liệu bao gồm các giá trị lợng ma ngày dự báo trớc 24h bởi mô hình HRM
với độ phân giải ngang 14km và 31 mực thẳng đứng, đợc nội suy về 314 trạm trên khu
vực Việt Nam và lợng ma quan trắc tại các trạm đó trong thời gian từ tháng 6 đến
tháng 8 năm 2004.

- Hai tập số liệu này đợc xử lý loại bỏ những ngày không đủ số liệu quan trắc
hoặc dự báo. Sau khi luyện mạng xong sẽ phục hồi các vị trí thiếu giá trị bằng 9999 và
đánh giá chất lợng dự báo theo các chỉ số, chủ yếu là lợng ma trung bình ngày, sai
số trung bình toàn phơng (RMSE), sai số hệ thống (BIAS) và độ lệch tuyệt đối trung
Hồ Thị Minh Hà, Nguyễn Hớng Điền
6
bình (MAE) cho từng trạm, từng vùng (Bắc Bộ, Trung Bộ, Nam Bộ) và toàn bộ Việt
Nam.
3.2. Chạy mô hình
Phần xử lý số liệu đầu vào, số liệu đầu ra đợc thực hiện bằng lập trình Fortran
trên hệ điều hành Linux. Phần luyện mạng, kiểm nghiệm và hiển thị đợc thực hiện
nhờ phần mềm Matlab.
a/ Phần luyện mạng: Số liệu đầu vào (input) của mạng là chuỗi giá trị lợng ma
ngày dự báo đã đợc nội suy về 314 trạm trên Việt Nam. Đích cần học là các giá trị
ma quan trắc trên các trạm tơng ứng. Mạng đợc thiết kế bao gồm 2 lớp ẩn và 1 lớp
xuất. Lớp ẩn thứ nhất có 3 nút ẩn, lớp thứ 2 có 5 nút ẩn, số thế hệ học là 300 thế hệ. Số
thế hệ này đợc chọn sau một vài lần luyện mạng. Các bộ trọng số tại 2 lớp ẩn và 1 lớp
xuất đợc lu lại để kiểm nghiệm.
b/ Phần tái tạo, kiểm nghiệm và đánh giá:
- Tái tạo: Nhân bộ trọng số với chính số liệu input đợc đa vào mạng học, kết
quả so sánh với đích học xem mức độ trùng khớp đợc bao nhiêu.
- Kiểm nghiệm: Nhân bộ trọng số ở trên với chuỗi dự báo của tập số liệu kiểm
nghiệm, kết quả so sánh với chuỗi quan trắc của tập số liệu kiểm nghiệm.
- Đánh giá: Hiển thị giá trị ma trung bình theo thời gian cho 314 trạm đối với
cặp số liệu input-tái tạo và input-kiểm nghiệm. Tính các chỉ số RMSE, BIAS, MAE đối
với quá trình luyện và quá trình kiểm nghiệm.
N
2
ii
i1

1
RMSE (fcst obs )
N
=
=

;
N
i
i1
1
MAE fcst obs
N
=
=

i
;
N
ii
i1
1
BIAS (fcst obs )
N
=
=


trong đó N là số ngày của chuỗi, fcst
i

là dự báo thứ i, obs
i
là quan trắc thứ i tơng ứng.
4. Kết quả thử nghiệm
Sau đây là một số kết quả dự báo lợng ma ngày bằng phơng pháp dùng
MTKNT hiệu chỉnh sản phẩm của mô hình HRM. Số liệu luyện và dự báo bao gồm cả
314 trạm trên Việt Nam sau đó tách ra làm 3 chuỗi gồm 159 trạm trên Bắc Bộ (19.5-24
độ Bắc, 100-110 độ Đông), 95 trạm trên Trung Bộ (12-19.5 độ Bắc, 100-110 độ Đông) và
57 trạm trên Nam Bộ (7-12 độ Bắc, 100-110 độ Đông), loại ra 3 trạm nằm ngoài đảo và
trên nớc Lào.
Trên mỗi hình vẽ biểu diễn lợng ma ngày trung bình theo thời gian của các
trạm trên từng khu vực, đờng chấm chấm là số liệu dự báo 24h của HRM, đờng liền
Thử nghiệm dự báo lợng ma ngày bằng phơng pháp
7
nét có dấu hoa thị là số liệu đợc hiệu chỉnh bởi MTKNT và đờng liền nét là số liệu
quan trắc tơng ứng.


Hình 5. Lợng ma ngày (mm/ngày) trung bình tháng 6 và tháng 7 của Bắc bộ, tập số liệu input và tái tạo

Hình 6. Lợng ma ngày (mm/ngày) trung bình tháng 8 của Bắc bộ, tập số liệu input và kiểm nghiệm

Hình 7. Lợng ma ngày (mm/ngày) trung bình tháng 6 và tháng 7 của Trung bộ, tập số liệu input và tái tạo
Hå ThÞ Minh Hµ, NguyÔn H−íng §iÒn
8
H×nh 8. L−îng m−a ngµy (mm/ngµy) trung b×nh th¸ng 8 cña Trung bé, tËp sè liÖu input vµ kiÓm nghiÖm

H×nh 9. L−îng m−a ngµy (mm/ngµy) trung b×nh th¸ng 6 vµ th¸ng 7 cña Nam bé, tËp sè liÖu input vµ t¸i t¹o

H×nh 10: L−îng m−a ngµy (mm/ngµy) trung b×nh th¸ng 8 cña Nam bé, tËp sè liÖu input vµ kiÓm nghiÖm

Thử nghiệm dự báo lợng ma ngày bằng phơng pháp
9
Bảng 1: Đánh giá sai số tổng quát của quá trình luyện mạng và quá trình kiểm nghiệm
BIAS
(mm/ngày)
MAE
(mm/ngày)
RMSE
(mm/ngày)
Trung bình dự
báo
(mm/ngày)
Trung bình
quan trắc
(mm/ngày)
HRM 6.585 7.547 9.835 13.654 Việt
Nam
MTKNT 0.002 2.710 3.563 7.071
7.069
HRM 9.692 10.265 12.516 17.872 Bắc Bộ
MTKNT 0.276 2.577 3.609 8.457
8.180
HRM 3.337 4.721 6.065 9.014 Trung
Bộ
MTKNT -0.288 2.840 3.456 5.390
5.678
HRM 3.445 4.843 5.759 9.881

Luyện
(06-
07/2004)
Nam Bộ
MTKNT -0.341 2.912 3.666 6.090
6.432
HRM 6.179 7.663 9.884 13.898 Việt
Nam
MTKNT -0.499 3.007 4.058 7.220
7.719
HRM 10.306 10.704 12.677 20.265 Bắc Bộ
MTKNT -0.673 2.823 3.939 9.287
9.959
HRM 0.980 4.153 5.384 5.942 Trung
Bộ
MTKNT -0.518 3.454 4.462 4.444
4.961
HRM 3.469 5.249 6.355 9.730

Kiểm
nghiệm
(08/2004)
Nam Bộ
MTKNT -0.077 2.824 3.744 6.184
6.261
Từ hình 5 đến hình 10 và bảng 1 ta thấy MTKNT đã hiệu chỉnh sản phẩm của
HRM về gần với quan trắc hơn, sai số ở tập luyện nhỏ hơn sai số trên tập kiểm nghiệm.
Nhìn chung, tính trung bình cho cả chuỗi thời gian (2 tháng đối với tập luyện và 1

tháng đối với tập kiểm nghiệm) thì các đờng biểu diễn lợng ma trung bình theo thời
gian tại 314 trạm của MTKNT và quan trắc khá sát nhau, trong khi đó sản phẩm của
HRM thờng cho lợng ma lớn hơn nhiều so với quan trắc. Điều này thể hiện rõ hơn
trong các chỉ số ở bảng 1. Tính cho tất cả các ngày và tất cả các trạm thì lợng ma dự
báo trung bình của HRM khoảng hơn 13mm/ngày trong khi lợng ma trung bình của
quan trắc và MTKNT chỉ khoảng 7-8mm/ngày. Do đó, các sai số RMSE, BIAS và MAE
của MTKNT nhỏ hơn hẳn so với HRM. Tuy nhiên, những ngày ma lớn trong tập số
liệu luyện rất ít so với số ngày không ma hoặc ma rất nhỏ, nên MTKNT học đợc ít
thông tin về ma lớn. Vì vậy, MTKNT không hiệu chỉnh tốt đối với những ngày có ma
lớn. Nh thấy trên hình 5 đến hình 10, tại một vài trạm thờng có ma lớn trong 3
tháng mùa hè năm 2004, đờng mô phỏng của MTKNT không gần với đờng quan trắc
và chỉ số BIAS có giá trị âm, trong khi đó dự báo của HRM lại nắm bắt tốt.
5. Kết luận
- MTKNT đã hiệu chỉnh sản phẩm của HRM về gần với quan trắc hơn, sai số ở
tập luyện nhỏ hơn sai số trên tập kiểm nghiệm.
- MTKNT đã thiết lập có thể hiệu chỉnh tốt đối với những số liệu ma vừa và ma
nhỏ trong khoảng 5-15mm, cha hiệu chỉnh tốt đối với những ngày ma lớn và những
trạm thờng có ma lớn.
Hồ Thị Minh Hà, Nguyễn Hớng Điền
10
Để cải tiến kết quả hiệu chỉnh cần thay đổi một số tham số của mạng nh hệ số
học, số lớp ẩn, số nút ẩn của mỗi lớp ẩn và luyện mạng nhiều lần để chọn đợc một
MTKNT phù hợp nhất. Phức tạp hơn, ta có thể thiết lập nên MTKNT với mục tiêu học
không chỉ là cực tiểu hoá sai số trung bình bình phơng mà còn tăng thêm trọng số đối
với những quan trắc đích có giá trị lớn để đa thêm thông tin về những ngày ma lớn
cho mạng học. Sau khi chọn đợc mạng phù hợp nhất ta có thể lu trữ lại mạng để
dùng cho các mô phỏng tiếp sau mà không cần luyện lại mạng.
Bài báo đợc hoàn thành với sự hỗ trợ kinh phí của đề tài NCCB 733104.
Tài liệu tham khảo
1. Caren Marzban and Arthur Witt, A Bayesian Neural Network for Severe-Hail Size

Prediction, Weather and Forecasting, Volume 16, 2000, p600-610.
2. David Silverman and John A. Dracup, Artificial Neural Networks and Long-Range
Precipitation Prediction in California, Monthly weather review, JANUARY 2000, p.57-66.
3. Narasimhan et al., Ozone Modeling Using Neural Networks, Monthly weather review,
MARCH 2000, p291-296.
4. Robert J. Kuligowski and Ana P. Barros, Experiments in Short-Term Pricipitation
Forecasting Using Artifical Neural Networks, Monthly weather review, 2000, Volume 126,
p.470-482.
5. Tom M. Mitchell, Machine Learning, Chapter 4, 1996, p81-127.

VNU. JOURNAL OF SCIENCE, Nat., Sci., & Tech., T.xXII, n
0
1AP., 2006

An Experiment in Daily Rainfall Forecasting Using
Artificial Neural Network to Adjust Numerical
Model Output
Ho Thi Minh Ha, Nguyen Huong Dien
Department of Hydro-Meteorology & Oceanography
College of Science, VNU

Artifical Neural Network (ANN) is one kind of Decision Support Systems. It has
the similar structure and behaviours to that of biological neuron. It can learn and
simulate the information as a brain through a learning course. The most common
learning method is folowing the gradient descent rule. In this paper its used for HRM
rainfall output adjustment. The input data is rainfall field predicted by HRM (with the
horizontal resolution14km and 31 vertical levels) and the observation data,
respectively in the period of time between 01th June 2004 and 31th August 2004 at 314
stations in Vietnam. Data is divided into 2 parts. One part is used for neural network
learning and the other one for prediction and test. The average rainfall, root mean

square error (RMSE), mean absolute error (MAE) and mean bias error (BIAS) are the
indices used to verify the results. All the indices show that the rainfall adjusted by
ANN is closer to observation than that of HRM output in general. In particle, however
the rainfall of ANN is smaller than that of HRM in the heavy rainfall days. The best
results are get in the North of Vietnam and theyre very not good in the South of
Vietnam. The reason is maybe the lack of station in this area.