Bộ lọc kalman khoảng và ứng dụng dự báo thời tiết

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
-------------------

ĐỖ HỒNG NHUNG

BỘ LỌC KALMAN KHOẢNG
VÀ ỨNG DỤNG DỰ BÁO THỜI TIẾT

TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC

Hà Nội – 2015


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
-------------------

ĐỖ HỒNG NHUNG

BỘ LỌC KALMAN KHOẢNG
VÀ ỨNG DỤNG DỰ BÁO THỜI TIẾT

Chuyên ngành: XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC
Mã số:

60460106

LUẬN VĂN THẠC SĨ KHOA HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC:

GS.TS. NGUYỄN HỮU DƯ

Hà Nội – 2015



Trước khi trình bày nội dung chính của luận văn, em xin bày tỏ lòng biết
ơn sâu sắc tới GS. TS, Nguyễn Hữu Dư người đã tận tình hướng dẫn để em
có thể hoàn thành khóa luận này.
Em cũng xin bày tỏ lòng biết ơn chân thành tới toàn thể các thầy cô giáo
trong khoa Toán - Cơ - Tin học, Đại học Khoa Học Tự Nhiên, Đại Học Quốc
Gia Hà Nội đã dạy bảo em tận tình trong suốt quá trình học tập tại khoa.
Nhân dịp này em cũng xin được gửi lời cảm ơn chân thành tới gia đình,
bạn bè đã luôn bên em, cổ vũ, động viên, giúp đỡ em trong suốt quá trình
học tập và thực hiện luận văn tốt nghiệp.
Hà Nội, ngày 19 tháng 09 năm 2015
Học viên

Đỗ Hồng Nhung


Mục lục

DANH SÁCH HÌNH VẼ

iv

MỞ ĐẦU

1

1 MỘT SỐ KHÁI NIỆM CƠ BẢN
1.1 Xác suất . . . . . . . . . . . . . . . .
1.1.1 Biến ngẫu nhiên . . . . . . . . .
1.1.2 Xác suất có điều kiện . . . . . .
1.2 Khoảng thời gian . . . . . . . . . . .
1.2.1 Các khái niệm và tính chất của
1.2.2 Số học khoảng cơ bản . . . . .
1.2.3 Hàm khoảng . . . . . . . . . . .
1.2.4 Ma trận khoảng . . . . . . . . .
1.3 Ước lượng bình phương cực tiểu . . .
1.4 Thuật toán EM . . . . . . . . . . . .

. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
khoảng thời gian .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .
. . . . . . . . . . .

2 LỌC KALMAN
2.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . .
2.2 Mô hình trạng thái Gauss . . . . . . . . . . . . . .
2.3 Lọc Kalman và ước lượng bình phương cực tiểu . .
2.4 Lọc Kalman và Kalman smoother . . . . . . . . . .
2.5 Xác định các mô hình không gian trạng thái tuyến

2.6 Ví dụ . . . . . . . . . . . . . . . . . . . . . . . . . .
3 KHOẢNG LỒI
3.1 Giới thiệu . . . . . . . . . . . . . . . . .
3.2 Số học khoảng lồi . . . . . . . . . . . .
3.3 Ma trận khoảng, hệ tuyến tính khoảng
3.3.1 Ma trận khoảng . . . . . . . . . .
3.3.2 Hệ tuyến tính khoảng . . . . . .
ii

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.

.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.

. . .
. . .
. . .
. . .
tính
. . .

.
.

.
.
.

.
.
.
.
.

.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.

.
.
.

.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.

.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.

.
.

.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.

.
.
.
.
.
.
.
.

.
.

3
3
3
5
6
6
6
8
9
10
12

.
.
.
.
.
.

14
14
14
15
19
20
26

.
.
.
.
.

28
28
28
30
30
32


3.4 Biến ngẫu nhiên khoảng . . . . . . . . . . . . . . . . . . . . . . .
3.4.1 Ánh xạ đa trị đo được . . . . . . . . . . . . . . . . . . . . .
3.4.2 Biến ngẫu nhiên khoảng phân bố chuẩn . . . . . . . . . . .
4 LỌC KALMAN KHOẢNG LỒI
4.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2 Mô hình không gian trạng thái khoảng . . . . . . . . . . . . . .
4.3 Lọc Kalman khoảng lồi . . . . . . . . . . . . . . . . . . . . . . .
4.4 Làm trơn Kalman khoảng lồi . . . . . . . . . . . . . . . . . . .
4.5 Tóm lược Lọc Kalman khoảng lồi và Làm trơn Kalman khoảng
4.6 Xác định các mô hình không gian trạng thái khoảng . . . . . .
4.6.1 Mở đầu . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.6.2 Xác định tham số khoảng . . . . . . . . . . . . . . . . . .

33
33
34

42
. 42
. 42
. 43
. 45
lồi 47
. 48
. 48
. 50

5 ỨNG DỤNG DỰ BÁO THỜI TIẾT

54

KẾT LUẬN

61

TÀI LIỆU THAM KHẢO

62

iii


Danh sách hình vẽ
2.1 Quan sát và Trạng thái lưu lượng dòng chảy sông Nile . . . . . .

27

5.1 Quan sát và Trạng thái . . . . . . . . . . . . . . . . . . . . . . . .
5.2 Trạng thái ước lượng và mô phỏng . . . . . . . . . . . . . . . . .
5.3 Quan sát thực và ước lượng . . . . . . . . . . . . . . . . . . . . .

58
59
60

iv


MỞ ĐẦU
Dự báo thời tiết có ý nghĩa cực kỳ quan trọng đối với sản xuất và đời
sống, nhằm phòng chống và hạn chế thiên tai, thiết lập kế hoạch sản xuất,
khai thác tiềm năng khí hậu... Người ta thường sử dụng nhiều phương pháp
để dự báo thời tiết. Một trong những phương pháp đó là thuật toán EM,
lọc Kalman khoảng. Từ những quan sát thu được dưới dạng khoảng (ví dụ:
khoảng nhiệt độ, khoảng độ ẩm,...), ta tìm được ước lượng của trạng thái thật
trong môi trường ta đang quan sát. Thông thường để ước lượng được ta cần
biết các mô hình liên kết các quan sát với các thông số biểu diễn của của mô
hình. Việc xác định chính xác mô hình và giải một bài toán ước lượng luôn
là chìa khóa giải quyết hệ thống liên kết dữ liệu.
Vào năm 1960, Rudolf Kalman lần đầu tiên giới thiệu lọc Kalman là một
lọc ước lượng tối ưu cho mô hình không gian trạng thái tuyến tính. Để ước
lượng trạng thái, lọc Kalman (KF) sử dụng các phép đo có quan hệ tuyến tính
với trạng thái và bị nhiễu. Bộ lọc ước lượng trạng thái của quá trình tại một
thời điểm sau đó có được phản hồi từ các quan sát (có nhiễu). Như vậy, các
phương trình của bộ lọc Kalman được chia thành hai bước: dự báo và điều
chỉnh. Các phương trình cập nhật theo thời gian để dự đoán trạng thái hiện

tại và vector hiệp phương sai sai số nhằm ước lượng trạng thái tiền nghiệm
cho bước tiếp theo. Các phương trình cập nhật theo giá trị đo lường dùng để
cung cấp phản hồi – ví dụ như kết hợp một giá trị đo lường mới với ước lượng
tiền nghiệm để có được ước lượng trạng thái hậu nghiệm. Để nhận dạng mô
hình không gian trạng thái tuyến tính, bài toán ước lượng tham số hợp lý
cực đại và thuật toán cực đại hóa kỳ vọng (Expectation - Maximization, EM)
được sử dụng để tìm ra lời giải. Lọc Kalman được ứng dụng rộng rãi trong
ước lượng quỹ đạo của đối tượng qua các khung hình được sử dụng nhiều
trong các thiết bị điện tử dân dụng như Camera giám sát, điều hướng Robot,
dò tìm mìn, thiết bị kiểm tra hành lý...

1


Lọc Kalman khoảng là một mở rộng của lọc Kalman với mô hình không
gian trạng thái được biểu diễn bởi nhiễu và các tham số có dạng khoảng.
Tương tự như lọc Kalman, để xác định mô hình trạng thái, ta sẽ sử dụng
thuật toán EM khoảng. Lọc Kalman khoảng có nhiều ứng dụng trong đời
sống, xã hội như: dự báo thời tiết, theo dõi địa chấn tổng hợp, định vị vị trí...
Nội dung của luận văn được cấu trúc thành các phần như sau:
• Chương 1: Một số khái niệm cơ bản.
• Chương 2: Lọc Kalman.
• Chương 3: Khoảng lồi.
• Chương 4: Lọc Kalman khoảng lồi.
• Chương 5: Ứng dụng dự báo thời tiết.

2


Chương 1

MỘT SỐ KHÁI NIỆM CƠ BẢN
Trong chương này, ta sẽ giới thiệu một vài khái niệm cơ bản cần thiết
cho lọc Kalman khoảng và xác định các tham số của mô hình không gian
trạng thái khoảng. Ta sẽ đề cập đến một số khái niệm cơ bản trong lý thuyết
xác suất như ước lượng bình phương cực tiểu, thuật toán EM; các khái niệm
mở rộng cho khoảng và trình bày một số kết quả ban đầu của khoảng số học.

1.1
1.1.1

Xác suất
Biến ngẫu nhiên

Định nghĩa 1. Cho không gian xác suất (Ω, F, P ). Không giảm tổng quát ta
có thể giả thiết (Ω, F, P ) là không gian xác suất đủ tức là nếu A là biến cố có
xác suất 0: P (A) = 0 thì mọi tập con B ⊂ A cũng là biến cố ( tức là B ∈ F ).
1. Giả sử E là không gian metric, ánh xạ X : Ω → E được gọi là một biến
ngẫu nhiên (b.n.n) với giá trị trên E (hay biến ngẫu nhiên E−giá trị)
nếu với mỗi tập Borel B của E ta có X −1 (B) ∈ F .
2. Nếu X là biến ngẫu nhiên nhận giá trị trên E = Rn ta nói X là vector
ngẫu nhiên n−chiều.
3. Nếu X là biến ngẫu nhiên nhận giá trị trên tập số thực R ta nói X là
biến ngẫu nhiên.
Nếu X là vector ngẫu nhiên n−chiều thì X có dạng X = (X1 , X2 , ..., Xn ) ở đó
X1 , ..., Xn là các biến ngẫu nhiên.
Định nghĩa 2. 1. Cho X là biến ngẫu nhiên E−giá trị. Xét hàm tập µX
xác định trên σ−đại số Borel của E theo cách sau
µX (B) = P (X −1 (B)), B ∈ B.
3

µX được gọi là phân bố xác suất của biến ngẫu nhiên X .

2. Giả sử X = (X1 , X2 , ..., Xn ) là vector ngẫu nhiên n−chiều. Hàm số F (x) =
F (x1 , x2 , ..., xn ) xác định bởi công thức
F (x1 , x2 , ..., xn ) = P (X1 < x1 , X2 < x2 , ..., Xn < xn )

được gọi là hàm phân bố (xác suất) của vector ngẫu nhiên X . Ta cũng
nói F (x1 , x2 , ..., xn ) là hàm phân bố đồng thời của n biến ngẫu nhiên
X1 , X2 , ..., Xn .
Nếu tồn tại hàm f (x) = f (x1 , x2 , ..., xn ) đo được không âm sao cho với mọi
tập Borel B của Rn ta có
P (X ∈ B) =

f (x)dx =
B

f (x1 , ..., xn )dx1 ...dxn
B

thì f (x) được gọi là hàm mật độ (xác suất) của X . Ta cũng nói f (x1 , x2 , ..., xn )
là hàm mật độ đồng thời của n biến ngẫu nhiên X1 , X2 , ..., Xn .
3. Cho X là biến ngẫu nhiên và X ∈ L1 (Ω, P ). Kỳ vọng của X, ký hiệu là
E(X), được định nghĩa bởi công thức
E(X) =

X(ω)dP (ω).
Ω

Nếu X = (X1 , X2 , ..., Xn ) là vector ngẫu nhiên n−chiều thì kỳ vọng của
X , ký hiệu là E(X), là một vector n−chiều xác định bởi
E(X) = (E(X1 ), E(X2 ), ..., E(Xn )).

Cho X = (X1 , X2 , ..., Xn ) là một vector ngẫu nhiên n− chiều mà mỗi thành
phần X1 , X2 , ..., Xn của nó là một biến ngẫu nhiên, trong đó Xi (s) ∈ R, s ∈ S .
Đại lượng σii = E(Xi − µi )2 , i = 1, ..., n được gọi là phương sai của Xi và
σij = E(Xi − µi )(Xj − µj ) với µi = E(Xi ) được gọi là hiệp phương sai của biến
Xi và Xj , trong đó:
+∞

+∞

−∞
+∞

−∞
+∞

−∞

−∞

(xi − µi )(xj − µj )fij (xi , xj )dxi dxj

σij =

xi xj fij (xi , xj )dxi dxj − µi µj ,

=

nếu (Xi , Xj ) có mật độ đồng thời là fij (xi , xj ), còn
(xi − µi )(xj − µj )pij (xi , xj )

σij =
xi

xj

xi

xj

xi xj pij (xi , xj ) − µi µj ,

=

4


nếu (Xi , Xj ) là biến ngẫu nhiên rời rạc với xác suất đồng thời
P (Xi = xi , Xj = xj ) = pij (xi , xj ),

trong đó tổng chạy theo tất cả xi (tương ứng theo xj ) trong miền giá trị của
biến ngẫu nhiên Xi (tương ứng theo Xj ).
Nếu i = j và σij = 0 thì các biến ngẫu nhiên Xi và Xj gọi là không tương
quan. Chú ý rằng nếu Xi và Xj độc lập thì σij = 0, điều ngược lại nói chung
không đúng. Cần lưu ý rằng Xi và Xj gọi là độc lập nếu
P (Xi < xi , Xj < xj ) = P (Xi < xi )P (Xj < xj ), ∀xi , xj ∈ R.

Đẳng thức đó tương đương với các đẳng thức sau:
fij (xi , xj ) = fi (xi )fj (xj ), ∀xi , xj ,

khi Xi , Xj có mật độ đồng thời fij và các mật độ riêng là fi (xi ), fj (xj ) và
pij (xi , xj ) = pi (xi )pj (xj ),

khi Xi , Xj là các biến ngẫu nhiên rời rạc có xác suất đồng thời là pij và các
xác suất riêng là pi (xi ), pj (xj ).
Định nghĩa 3. Phương sai của biến ngẫu nhiên X được xác định bởi
Var(X) = E{X − E{X}}2 .
1.1.2

Xác suất có điều kiện

Định nghĩa 4. Cho không gian xác suất (Ω, F, P ), E ∈ F . Xác suất có điều
kiện của E với điều kiện A ∈ F đã cho, ký hiệu là P (E|A) được định nghĩa là
P (E|A) = E(1E |A).

Cho hai biến ngẫu nhiên X, Y . Giả sử (X, Y) có mật độ đồng thời f (x, y).
Hàm mật độ có điều kiện của X với điều kiện Y = y , ký hiệu là f (x|y) được
xác định bởi

 f (x,y) nếu f (y) > 0,
f (x|y) =

Y

fY (y)

 0 nếu trái lại.

Kỳ vọng có điều kiện của X với điều kiện là Y = y được xác định bởi
∞

xf (x|y)dx

E(X|Y = y) =
−∞

và phương sai có điều kiện của X dưới điều kiện Y = y là
∞

[x − E(X|Y = y)][x − E(X|Y = y)]T f (x|y)dx.

Var(X|Y = y) =
−∞

5


1.2

Khoảng thời gian

Trong phần này, chúng ta sẽ trình bày một số kết quả ban đầu của phân
tích khoảng thời gian và khoảng thời gian số học.
1.2.1

Các khái niệm và tính chất của khoảng thời gian

Định nghĩa 5. Một khoảng [x] là một tập con đóng liên thông của R, có cận

dưới và cận trên tương ứng là x, x¯, ta có [x, x¯].
¯
¯
Các tính chất của khoảng:
• Bằng nhau: Hai khoảng [x1 , x1 ] và [x2 , x2 ] được gọi là bằng nhau nếu và
chỉ nếu x1 = x2 và x1 = x2 .
• Giao: Giao của hai khoảng [x1 , x1 ] và [x2 , x2 ] là một khoảng được xác

định bởi [x1 , x1 ] ∩ [x2 , x2 ] = [max{x1 , x2 }, min{x1 , x2 }].
• Hợp: Hợp của hai khoảng không rời nhau [x1 ] và [x2 ] là một khoảng được
xác định bởi [x1 , x1 ] ∪ [x2 , x2 ] = [min{x1 , x2 }, max{x1 , x2 }].
• Bất đẳng thức: Khoảng [x1 ] được gọi là nhỏ hơn (tương tự, lớn hơn)

khoảng [x2 ] khi và chỉ khi x1 < x2 (x1 > x2 ), ngoài ra ta không thể so
sánh hai khoảng. Các quan hệ ≤ và ≥ không được định nghĩa cho các
khoảng.
• Nằm trong: Khoảng [x1 ] được gọi là nằm trong khoảng [x2 ] khi và chỉ

khi x2 ≤ x1 và x1 ≤ x2
.
1.2.2

Số học khoảng cơ bản

Cho [x] = [x, x¯] và [y] = [y , y¯] là các đoạn compact thực và o là một trong
¯
¯ cộng, phép trừ, phép nhân và phép chia tương
các phép toán cơ bản như phép
ứng với các số thực, o ∈ {+, −, ∗, /}. Tiếp theo, ta định nghĩa các phép toán
tương ứng đối với các khoảng [x] và [y] như sau

[x]o[y] = {xoy|x ∈ [x], y ∈ [y]},

trong đó ta quy ước 0 ∈
/ [y] đối với phép chia. Ta có
a.
b.

[x] + [y] = [x + y , x¯ + y¯],

¯

¯

[x] − [y] = [x − y¯, x¯ − y ],

¯

6

¯

(1.1)


c.

[x] ∗ [y] = [min(xy , xy¯, x¯y , x¯y¯), max(xy , xy¯, x¯y , x¯y¯)],

d.

[x]
x x x¯ x¯
x x x¯ x¯
= [min( ¯ , ¯ , , ), max( ¯ , ¯ , , )], 0 ∈
/ [y].
[y]
y y¯ y y¯
y y¯ y y¯

¯¯ ¯

¯

¯¯ ¯

¯

¯
¯
¯
¯
Như vậy, tập IR các khoảng compact thực là đóng đối với các phép toán
{+, −, ∗, /}.
Định nghĩa 6. Tâm và độ rộng của khoảng [x] được định nghĩa tương ứng
như sau

x + x¯
c([x]) = ¯
2
w([x]) = x − x¯.

(1.2)

¯

Nếu [x] chỉ bao gồm một phần tử x ∈ R thì ta coi x = [x, x]. Như vậy, mỗi
số thực có thể được biểu diễn tương ứng thành một khoảng và được trang bị
các phép toán số học (1.1) trong IR. Chú ý, (IR, +, ∗) không là một trường
cũng không là một vành.(IR, +) và (IR/{0}, ∗) là các nửa nhóm giao hoán với
các phần tử trung hòa tương ứng là 0 và 1, chúng không phải là các nhóm.
Một khoảng [x] không suy biến không có nghịch đảo cộng hoặc nhân tương
ứng với hai nửa nhóm trên. Trên đó, luật phân phối được thay thế bởi luật
phân phối con
[x] ∗ ([y] + [z]) ⊆ [x] ∗ [y] + [x] ∗ [z]
(1.3)
Ví dụ: Cho [x] = [−2, 2], [y] = [1, 1] và [z] = [−1, −1]. Khi đó,
[x] ∗ ([y] + [z]) = [−2, 2](1 − 1) = 0 ⊂ [−4, 4] = [−2, 2] ∗ 1 + [−2, 2] ∗ (−1)
= [x] ∗ [y] + [x] ∗ [z].

Hơn nữa,
[−2, 2] + (−[−2, 2]) = [−2, 2] + [−2, 2] = [−4, 4] = 0,

tức là −[−2, 2] không là nghịch đảo cộng của [−2, 2].
Trong một số trường hợp, hệ thức (1.3) đóng vai trò quan trọng, ví dụ như
[x] suy biến hoặc [y] và [z] nằm cùng phía đối với 0.
Từ (1.1) có thể suy ra với o là các phép toán trên khoảng thì
[x] ⊆ [z], [y] ⊆ [w] ⇒ [x]o[y] ⊆ [z]o[w].

7

(1.4)


1.2.3

Hàm khoảng

Định nghĩa 7. Nếu f là một hàm giá trị thực liên tục, ta định nghĩa hàm
khoảng chuẩn W(f) như sau
W (f, [x]) = {f (x), x ∈ [x]} = [min f (x), max f (x)],
x∈[x]

(1.5)

x∈[x]

đó là sự mở rộng của các hàm thực tương ứng.
Hàm khoảng thực thỏa mãn
[x] ⊆ [y] ⇒ W (f, [x]) ⊆ W (f, [y]).

(1.6)

Định nghĩa 8. Cho f: D ⊂ R → R được cho bởi một biểu thức toán học f (x)
trong đó bao gồm các phép toán sơ cấp +, −, ∗, /. Nếu ta thay thế biến x bởi
một khoảng [x] ⊂ D và tìm kết quả biểu thức khoảng theo các quy tắc (1.1)
và (1.4) thì ta sẽ thu được một khoảng. Khoảng đó được ký hiệu bởi f ([x]) và
được gọi là một đánh giá số học khoảng của f trên [x].
Từ (1.3) và (1.5), các đánh giá số học khoảng có tính chất sau
[x] ⊆ [y] ⇒ f ([x]) ⊆ f ([y]).

(1.7)

x ∈ [x] ⇒ f (x) ∈ f ([x]).

(1.8)

W (f, [x]) ⊆ f ([x]).

(1.9)

Từ (1.6), ta có
Do đó,
(1.9) được gọi là định lý cơ bản của số học khoảng.
Ví dụ: Giả sử
f (x) =

x
,x ∈
/ {0, 1},
1−x

[x] = [2, 3].

Ta cũng có thể viết
f (x) =

1
,x ∈
/ {0, 1}.
1/x − 1

Như vậy,
3
W (f, [x]) = W (f, [2, 3]) = [−2, − ].
2

Ta đặt

x
,x ∈
/ {0, 1},
1−x
1
f (2) (x) =
,x ∈
/ {0, 1}.
1/x − 1
f (1) (x) =

8


Ta có
f (1) ([x]) = f (1) ([2, 3]) = [−3, −1],
3
f (2) ([x]) = f (2) ([2, 3]) = [−2, − ] = W (f, [x]).
2

Như vậy, W (f, [x]) ⊆ f ([x]) và bao hàm thức phụ thuộc vào sự biểu diễn của
f (x).

Định nghĩa 9. Khoảng cách giữa hai khoảng [x] và [y] được định nghĩa bởi
q([x], [y]) = max{|x − y|, |¯
x − y¯|}.

¯

(1.10)

¯

Ánh xạ q là một khoảng cách trên IR.
Định nghĩa 10. Giá trị tuyệt đối của khoảng [x] được định nghĩa như sau
|[x]| = max{|x| : x ∈ [x]} = max{|x|, |¯
x|}.

¯

1.2.4

(1.11)

Ma trận khoảng

Ma trận khoảng ([A]) = ([aij ])m×n là một ma trận gồm m hàng và n cột
với các phần tử là các khoảng [aij ], i = 1, m, j = 1, n và các vector cột là các
vector khoảng [x] = ([xj ]), j = 1, n. Ta có, [A] ∈ IR(m×n) .
Hiển nhiên, [A] = [A, A] = {B ∈ R(m×n) : A ≤ B ≤ A}, trong đó A = (aij ), A =
(aij ) ∈ R(m×n) . Các vector khoảng cũng được biểu diễn tương tự như trên.
Ma trận 0 và ma trận đơn vị I có ý nghĩa như thông thường, ta ký hiệu e là
vector e = (1, 1, ..., 1)T ∈ Rn .

Các phép toán giữa các ma trận khoảng, giữa các vector được định nghĩa
theo các phép toán thường dùng đối với các ma trận thông thường và các
điều kiện (1.6)-(1.8). Ví dụ,
n

[aij ][xj ]) ∈ IRm ,

{Ax : A ∈ [A], x ∈ [x]} ⊆ [A][x] = (

(1.12)

j=1

với [A] ∈ IR(m×n) , [x] ∈ IRn .
Một ma trận khoảng [A] ∈ IR(n×n) được gọi là không kỳ dị nếu nó không
chứa ma trận thực kỳ dị cỡ (n × n). Tổng quát hóa các khái niệm khoảng
cách, tâm, giá trị tuyệt đối trong (1.2), (1.10) và (1.11) ta được các khái niệm
tương tứng đối với các ma trận khoảng các vector khoảng; chú ý rằng kết quả
9


là các ma trận và các vector thực, ví dụ
q([A], [B]) = [q([aij ], [bij ])] ∈ R(m×n) ,

với [A], [B] ∈ IR(m×n) .
Định lý 1. (Bất đẳng thức tam giác): Cho hai khoảng X = [xil , xiu ], Y =
[yil , yiu ]. Khi đó,
|X + Y | ≤ |X| + |Y |.
(1.13)
Chứng minh.

|X + Y | = max{|xil + yil |, |xiu + yiu |}
≤ max{|xil | + |yil |, |xiu | + |yiu |}
= max{|xil |, |xiu |} + max{|yil |, |yiu |}
= |X| + |Y |.

1.3

Ước lượng bình phương cực tiểu

Trong luận văn này, chúng ta sử dụng ước lượng bình phương cực tiểu
để suy ra các phương trình lọc Kalman. Ở đây, ta sẽ đề cập đến ước lượng
bình phương cực tiểu thông thường (LSE).
Xét phương trình quan sát
yt = Hxt + vt
(1.14)
trong đó,
• xt là vector trạng thái,
• yt là vector dữ liệu,
• vt là một vector ngẫu nhiên nhiễu trắng với phân bố Gauss và có kỳ vọng

bằng 0,
E(vt vjT ) = Rt δtj ,

E(vt ) = 0,

Rt δtj = Cov(vt , vj ),
δtj =

1,

t=j

0,

t=j

,

Rt là xác định dương đối xứng.

10


Cho trước H. Ta cần thu được một ước lượng tối ưu uˆt của vector trạng thái
xt từ thông tin yt . Khi dữ liệu bị làm nhiễu, ta sẽ cực tiểu
F (ut , Wt ) = E((yt − Hut )T Wt (yt − Hut ))

(1.15)

trên n vector ut , trong đó Wt là ma trận trọng số đối xứng và xác định dương.
Ta cần tìm uˆt = uˆt (Wt ) sao cho
F (ˆ
ut , Wt ) = min F (ut , Wt ).
ut

(1.16)

Để tìm uˆt = uˆt (Wt ), giả sử (H T Wt H) không kỳ dị, ta có thể viết
F (ut , Wt ) = E[(yt − Hut )T Wt (yt − Hut )]
= E[(H T Wt H)ut − H T Wt yt ]T (H T Wt H)−1 [(H T Wt H)ut − H T Wt yt ]

+ E[ytT (I − Wt H(H T Wt H)−1 H T )Wt yt ],

(1.17)

trong đó, số hạng đầu tiên ở vế phải là xác định không âm. Để cực tiểu hóa
F (ut , Wt ), số hạng đầu tiên ở vế phải này phải bị triệt tiêu, do đó
uˆt = (H T Wt H)−1 H T Wt yt .

(1.18)

ˆ t , ta coi
Để tìm trọng số tối ưu W
F (ˆ
ut , Wt ) = E[(yt − H uˆt )T Wt (yt − H uˆ)t ]

(1.19)

là một hàm của Wt . Rõ ràng, (1.21) không đạt giá trị nhỏ nhất tại trọng số Wt
xác định dương do giá trị nhỏ nhất đó tồn tại khi Wt = 0. Do đó, ta cần một
ˆ t tối ưu. Chú ý rằng vấn đề cơ bản là ước lượng
số đo khác để xác định một W
vector trạng thái xt bởi uˆt (Wt ), như vậy chúng ta cần tính sai số (xt − uˆt (Wt )).
Nhưng do ta không biết nhiều thông tin xt và chỉ có dữ liệu nhiễu có thể đo
được, số đo này sẽ được xác định bởi variance của sai số. Như vậy, ta sẽ cực
tiểu hóa Var(xt − uˆt (Wt )) trên toàn bộ ma trận đối xứng, xác định dương Wt .
Do đó, ta có
V ar(xt − uˆt ) = V ar[(H T Wt H)−1 (H T Wt H)xt − (H T Wt H)−1 H T Wt yt ]
= V ar[(H T Wt H)−1 H T Wt (Hxt − yt )]
= V ar[−(H T Wt H)−1 H T Wt vt ].

Do tính tuyến tính của kỳ vọng, ta có
V ar(xt − uˆt ) = (H T Wt H)−1 H T Wt E(vt vtT )Wt H(H T Wt H)−1
= (H T Wt H)−1 H T Wt Rt Wt H(H T Wt H)−1 .
11

(1.20)


Đây là đại lượng được cực tiểu hóa. Để biểu diễn đại lượng trên thành bình
phương của một đại lượng nào đó, ta cần có căn bậc hai dương của ma trận đối
xứng, xác định dương Rt , tức là (Rt1/2 )(Rt1/2 ) = Rt . Do vậy, V ar(xt − uˆt ) = QT Q,
với Q = (Rt1/2 )Wt H(H T Wt H)−1 . Theo bất đẳng thức Schwarz cho ma trận, giả
sử P là một ma trận sao cho P T P không kỳ dị, ta có
QT Q ≥ (P T Q)T (P T P )−1 (P T Q).

(1.21)

Ta chọn P = (Rt1/2 )−1 H , suy ra P T P = H T ((Rt−1/2 )T )−1 (Rt1/2 )H = H T Rt−1 H là
không kỳ dị, ở đây H T Rt H là không kỳ dị và
1/2

1/2

(P T Q)T (P T P )−1 (P T Q) = [H T ((Rt )−1 )T (Rt )T Wt H(H T Wt H)−1 ]T
1/2

1/2

(H T Rt−1 H)−1 [H T ((Rt )−1 )T (Rt )T Wt H(H T Wt H)−1 ]
= (H T Rt−1 H)−1

(1.22)

= V ar(xt − uˆt (Rt−1 )).

Do đó, V ar(xt − uˆt (Wt )) ≥ V ar(xt − uˆt (Rt−1 )) với mọi ma trận trọng số đối
ˆ t = R−1 và ước
xứng, xác định dương Wt . Do đó, ma trận trọng số tối ưu là W
t
lượng tối ưu của xt sử dụng trọng số tối ưu này là
xˆt = uˆt (Rt−1 ) = (H T Rt−1 H)−1 H T Rt−1 yt .

(1.23)

Ta gọi xˆt là ước lượng tối ưu bình phương nhỏ nhất của xt .

1.4

Thuật toán EM

Trong phần này, chúng ta sẽ đề cập đến bài toán ước lượng tham số hợp
lý cực đại và thuật toán cực đại hóa kỳ vọng (Expectation - Maximization,
EM) được sử dụng như thế nào để tìm ra lời giải. Phương pháp này sẽ được
sử dụng để nhận dạng mô hình không gian trạng thái tuyến tính trong những
phần sau.
Cho P (x, Θ) là hàm mật độ phụ thuộc vào tham số θ ∈ Θ. Ta cũng có một
tập dữ liệu cỡ N: X = {x1 , x2 , ..., xn }. Giả sử các vector dữ liệu này là độc lập
và có cùng phân bố với P. Như vậy, mật độ của mẫu là
N

P (X|Θ) =

P (xi , Θ) = L(Θ|X).
i=1

Hàm L(Θ, X) được gọi là hàm hợp lý. Trong bài toán hợp lý cực đại, ta sẽ
tìm Θ làm cực đại L. Để thuận tiện, ta cực đại hóa LogL(Θ, X) thay vì L(Θ, X).

12


Thuật toán EM lặp lại việc tính ước lượng hợp lý cực đại từ một tập dữ
liệu cho trước nhưng tập dữ liệu này không đầy đủ hoặc có các giá trị bị thiếu.
Thuật toán này được sử dụng rộng rãi trong thống kê và trở thành một công
cụ đa năng để xây dựng phương pháp phân tích thống kê dựa trên hàm hợp
lý và các phương pháp thay thế khác.
Giả sử rằng dữ liệu X được quan sát và được sinh ra bởi một số phân bố.
Ta nói X là dữ liệu không đầy đủ. Ta giả sử tập dữ liệu đầy đủ Z = (X; Y )
tồn tại và hàm mật độ đồng thời là
P (z|Θ) = P (x, y|Θ) = P (y|x, Θ)P (x|Θ).

Với hàm mật độ mới này, ta có thể xác định một hàm hợp lý mới, L(Θ|Z) =
L(Θ|X, Y ) = P (X, Y |Θ), được gọi là hàm hợp lý dữ liệu đầy đủ.
Trước tiên, thuật toán EM tìm giá trị kỳ vọng của hàm hợp lý sau khi
logarit hóa dữ liệu đầy đủ LogP (X, Y |Θ) với dữ liệu Y chưa biết, cho trước
dữ liệu quan sát X và các ước lượng tham số hiện tại. Ta định nghĩa:
G(Θ, Θ(i−1) ) = E[LogP (X, Y |Θ)|X, Θ(i−1) ],

(1.24)

trong đó Θ(i−1) là các ước lượng tham số hiện tại ta sử dụng để tìm giá trị kỳ
vọng và Θ là các tham số mới tối ưu hóa G. Việc đi tìm giá trị kỳ vọng được
gọi là bước E của thuật toán. Bước tiếp theo của thuật toán (bước M) là cực
đại kỳ vọng vừa tính được ở bước trên ứng với Θ. Hai bước này được lặp lại
khi cần thiết. Mỗi lần lặp lại làm tăng log của hàm hợp lý và thuật toán đảm
bảo hội tụ đến cực đại địa phương của hàm hợp lý.

13


Chương 2

LỌC KALMAN
2.1

Giới thiệu

Lọc Kalman (Kalman filter) lần đầu tiên được đưa ra bởi Rodolf Kalman
vào năm 1960 như là lọc ước lượng tối ưu cho mô hình không gian trạng thái
tuyến tính. Trong chương này, ta trình bày thuật toán lọc Kalman dựa trên
ước lượng bình phương cực tiểu, từ đó, ta sẽ thấy được ứng dụng của lọc
Kalman trong mô hình không gian trạng thái tuyến tính. Lọc Kalman sử
dụng kỹ thuật không gian trạng thái làm cho phép lọc được sử dụng như một
bộ lọc trơn hoặc một công cụ dự báo. Do vậy, các phương trình lọc Kalman
trơn đòi hỏi thực hiện bước E trong thuật toán kỳ vọng - cực đại hóa (EM)
cho các mô hình không gian trạng thái Gauss. Ta sử dụng thuật toán EM để
xác định các tham số chưa biết trong mô hình không gian trạng thái (SSM)
(2.1) và (2.2). Phương pháp ước lượng hợp lý cực đại cực đại hóa dạng mới
của hàm hợp lý trong đó mọi giá trị được sử dụng là thu được từ các phương
trình làm trơn và lọc. Chi tiết hơn về Phương pháp Ước lượng Hợp lý Cực

đại, ta xem [6, 15].

2.2

Mô hình trạng thái Gauss

Một mô hình không gian trạng thái Gauss tuyến tính được đặc trưng
bởi các chuỗi vector không được quan sát x1 , x2 , ..., xn (được gọi là các trạng
thái) có liên quan với một chuỗi các quan sát y1 , y2 , ..., yn . Mối quan hệ giữa
các trạng thái và các quan sát được chỉ rõ thông qua các phương trình trạng
thái và quan sát dưới đây
xt+1 = Axt + wt ,

(2.1)

yt = Hxt + vt ,

(2.2)

14


wt ∼ N (0, Q),

(2.3)

vt ∼ N (0, R), t = 1, 2, ..., n,

(2.4)

E(wj wtT ) = δjt Qt ,

(2.5)

E(vj vtT ) = δjt Rt ,

(2.6)

E(wi vjT ) = 0, ∀i, j,

(2.7)

trong đó, yt là một vector p × 1 các quan sát, xt là một vector k × 1 các trạng
thái.
Phương trình (2.2) được gọi là phương trình quan sát có cấu trúc hồi
quy tuyến tính gắn liền vector trạng thái với chuỗi thời gian được quan sát.
Phương trình (2.1) được gọi là phương trình trạng thái mô tả các động lực của
các trạng thái. Mối quan hệ giữa vector trạng thái và các giá trị được quan
sát được đặc trưng bởi ma trận H cỡ p × k . Sự phụ thuộc của trạng thái ở
thời điểm hiện tại vào quá khứ được xác định bởi ma trận chuyển trạng thái A.
Các phương trình (2.3), (2.4) cho ta nhiễu động lực wt và nhiễu quan sát
vt là nhiễu trắng, Gauss với kỳ vọng 0 và không tương quan. Nói riêng, các
phương trình (2.5), (2.6) chỉ ra rằng wt và vt là các quá trình Gauss trắng với
các hiệp phương sai (covariances) tương ứng tại thời điểm t là Qt , Rt . Cuối
cùng,
δjt =

2.3

1,

j=t

0,

j = t.

Lọc Kalman và ước lượng bình phương cực tiểu

Trong phần này ta sẽ xem xét nguồn gốc của lọc Kalman bắt nguồn từ
ước lượng bình phương cực tiểu. Nếu Θ = {A, H, R, Q} đã được biết trong mô
hình không gian trạng thái (2.1) và (2.2), ta có thể ước lượng vector trạng
thái chưa biết bởi lọc Kalman. Trước tiên, ta định nghĩa một số ký hiệu:
xst = E{xt |Ys }, trong đó Ys = {y1 , y2 , ..., ys } là các vector đến thời điểm s. Với
s = t − 1, kỳ vọng là một dự báo trong khi với s = t, kỳ vọng là giá trị đã
được lọc Kalman. Với s = n, kỳ vọng là có điều kiện trên toàn bộ dữ liệu và
là Kalman smoother (làm trơn Kalman). Các hiệp phương sai có điều kiện là
s = E{(x − xs )(x − xs )T |Y }.
Pts = E{(xt − xst )(xt − xst )T |Ys } và Pt,u
t
u
s
u
t
Không giảm tổng quát, giả sử ta biết vector trạng thái ban đầu x00 và hiệp
15


phương sai sai số ban đầu tương ứng P00 . Ta chia phương pháp lọc Kalman
thành hai bước: dự đoán và lọc.

Bước dự đoán
Kỳ vọng của trạng thái xt được cho bởi (2.1) bằng
(2.8)

E(xt ) = AE(xt−1 ),

phương trình này thường được sử dụng như ước lượng thông tin cơ bản (nền)
ngay tại thời điểm t. Thông tin nền xtt−1 được ước lượng bởi
xt−1
= E(xt |Yt−1 )
t

(2.9)

= E(Axt−1 + wt |Yt−1 )
= AE(xt−1 |Yt−1 )
t−1
= Axt−1
.

Hiệp phương sai sai số nền tương ứng Ptt−1 được cho bởi
t−1 T
Ptt−1 = E((xt − xt−1
t )(xt − xt ) |Yt−1 )

(2.10)

t−1
T
= E((A(xt−1 − xt−1

t−1 ) + wt )(A(xt−1 − xt−1 ) + wt ) |Yt−1 )
t−1
t−1 T
= AE((xt−1 − xt−1
)(xt−1 − xt−1
) |Yt−1 )AT + E(wt wtT |Yt−1 )
t−1 T
= APt−1
A + Qt .

Chú ý rằng từ phương trình (2.10), ta có thể giả sử sai số
là không phụ thuộc vào nhiễu động lực wt .

t−1
t−1

= xt−1
t−1 − xt−1

Bước lọc
Sau khi có một quan sát mới yt , ta kết hợp thông tin mới để cập nhật
các thông tin nền xt−1
nhằm ước lượng xtt . Cuối cùng, ta cần tìm ra một ma
t
trận trọng số tối ưu Kt (Kalman gain) được điều chỉnh theo quy tắc dưới đây
nhằm phân tích xtt
xtt = xt−1
+ Kt (yt − Hxtt−1 )
(2.11)
t

Cực tiểu hóa kỳ vọng của năng lượng (hàm giá trị)
Jt = E(

t 2
t )

= E( xtt − xt 2 )

(2.12)

của sai số phân tích tt = xtt − xt . Phương trình (2.11) được sử dụng để điều
chỉnh thông tin nền xt−1
là bởi ta muốn thông tin nền, phân tích và quan sát
t
16


được ước tính tốt nhất, tức là
E{
E{

t−1
t−1
− xt ) =
t } = E(xt
t
t
t } = E(xt − xt ) = 0,

0,

(2.13)

E{vt } = E(yt − Hxt ) = 0,
t
trong đó t−1
t , t tương ứng là các sai số nền và sai số phân tích. Để thấy được
cơ sở hợp lý của phương trình (2.11), đầu tiên ta viết thông tin phân tích như
là tổ hợp tuyến tính của nền xt−1
và quan sát yt . Đó là
t

xtt = Cxt−1
+ W yt ,
t

(2.14)

với C và W là các ma trận hằng số với cỡ ma trận tương ứng là k × k và k × p.
Từ (2.13), ta có
E(xtt − xt ) = E(Cxtt−1 + W yt − xt )

(2.15)

= E(Cxtt−1 + W (Hxt + vt ) − xt )
= (C + W H − Ik )E(xt )
= 0,

do vậy, C = Ik − W H , thay vào phương trình (2.14), ta được
xtt = Cxtt−1 + W yt

(2.16)

= (I − W H)xt−1
+ W yt
t
= xt−1
+ W (yt − Hxtt−1 ).
t

Thay W bởi Kt , ta được phương trình (2.11).
Hơn nữa, hiệp phương sai sai số phân tích là
Ptt = E(( tt − E tt )( tt − E tt )T )

(2.17)

= E( tt ( tt )T ).

Do đó, hàm giá trị trong phương trình (2.12) tương đương với vết của hiệp
phương sai sai số Ptt , tức là
Jt = E

t 2
t

= E(( tt )T tt ) = tr(Ptt )

(2.18)

Vì vậy, bài toán ước lượng trạng thái tối ưu ở (2.1) trở thành bài toán tối ưu

hóa với mục đích là cực tiểu hóa tr(Ptt ) trên toàn bộ trọng số có thể tồn tại
Kt . Từ phương trình (2.11), ta có
xtt − xt = (xt−1
− xt ) + Kt ((yt − Hxt ) − (Hxt−1
− Hxt )).
t
t
17

(2.19)


Từ đó, phương trình (2.19) có thể được viết lại như sau
t
t

=

t−1
t

+ Kt (vt − H

= (I − Kt H)

t−1
t

t−1
t )

+ Kt vt .

(2.20)
(2.21)

Do đó, ta có thể thu được hiệp phương sai phân tích theo hiệp phương sai sai
số nền như sau
Ptt = E( tt ( tt )T )

(2.22)

t−1 t−1 T
t ( t ) )(I
− Kt H)Ptt−1 (I − Kt H)T

= (I − Kt H)E(

− Kt H)T + Kt Rt KtT

= (I

+ Kt Rt KtT .

Chú ý rằng để thu được kết quả trên, ta giả thiết rằng sai số nền tt và nhiễu
T
quan sát vt là độc lập, để E( tt−1 (vt )T ) = E(vt ( t−1
t ) ) = 0. Ta cũng ký hiệu
t−1 T
T

Ptt−1 = E( t−1
t ( t ) ) là hiệp phương sai sai số nền và Rt = E(vt (vt ) ) là hiệp
phương sai của nhiễu quan sát. Do đó, người ta có thể viết lại (2.22) như sau
Ptt = Ptt−1 − Ptt−1 H T KtT + Kt Rt KtT − Kt HPtt−1 + Kt HPtt−1 H T KtT .

(2.23)

Như vậy, vết của Ptt được cho bởi
tr(Ptt ) = tr(Ptt−1 ) + tr(Kt Rt KtT ) − 2tr(Kt HPtt−1 ) + tr(Kt HPtt−1 H T KtT ). (2.24)

Để suy ra (2.24), ta sử dụng hoán vị của Kt HPtt−1 là Ptt−1 H T KtT do vết của
chúng là như nhau. Để cực tiểu hóa tr(Ptt ), điều kiện cần cho một trọng số
t
t)
tối ưu Kt là dtr(P
dKt = 0. Do vậy, từ (2.24), ta có
d
tr(Ptt )M = tr(Kt (Rt + RtT ) − 2(HPtt−1 )T +
dKt
Kt (HPtt−1 H T + (HPtt−1 H T )T ))M, ∀M ∈ Rn×n .

Vì các ma trận hiệp phương sai là đối xứng nên
d
tr(Ptt )M = tr[(2Kt Rt − 2Ptt−1 H T + 2Kt HPtt−1 H T )M ]
dKt

(2.25)

= 2tr[(Kt Rt − Ptt−1 H T + Kt HPtt−1 H T )M ].

Biểu thức trên dần tới 0 và đẳng thức đúng với mọi M ∈ Rn×n thì
2(Kt Rt − Ptt−1 H T + Kt HPtt−1 H T ) = 0.

Suy ra
Kt = Ptt−1 H T (HPtt−1 H T + Rt )−1 ,

(2.26)

trong đó, HPtt−1 H T + Rt là khả nghịch bởi nó xác định dương.
Trừ từng vế của (2.26) với (2.23), ta có
Ptt = Ptt−1 − Kt HPtt−1 .
18

(2.27)