hương pháp Bradley W. Dickinson ước lượng tham số trong mô hình tự hồi quy nhiều chiều

Website: Email : Tel : 0918.775.368
LỜI MỞ ĐẦU
Trong nghiên cứu và xử lý thống kê chuỗi thời gian nhiều chiều, mô hình
tự hồi quy là lớp mô hình được nghiên cứu sâu sắc và toàn diện nhất. Việc
nghiên cứu và xây dựng lớp mô hình này nhận được sự quan tâm của nhiều
tác giả và đã thu những kết quả có giá trị cho dù đây là mô hình tương đối
phức tạp. Dưới sự hướng dẫn của thầy giáo Tống Đình Quỳ cùng với sự mong
muốn và nổ lực của bản thân tác giả đã tìm hiểu, nghiên cứu mô hình này và
tiếp cận với phương pháp ước lượng tham số của mô hình đó do Bradley W.
Dickinson đưa ra năm 1979. Đây là một phương pháp hay và thực sự nó đã
thúc đẩy tác giả rất nhiều trong bước đầu nghiên cứu của mình cũng như đi
đến quyết định chọn đề tài cho đồ án tốt nghiệp Phương pháp Bradley W.
Dickinson ước lượng tham số trong mô hình tự hồi quy nhiều chiều.
Nghiên cứu đề tài này trước hết giúp chúng ta có thể hiểu sâu hơn về mô
hình tự hồi quy nhiều chiều, một mô hình được sử dụng nhiều trong thực tế,
tìm hiểu các phương pháp ước lượng tham số cho mô hình, đặc biệt là phương
pháp của tác giả Dickinson. Khi đã xây dựng được mô hình, trong những
trường hợp thực tế cụ thể, ta có thể dùng nó để kiểm tra một số giả thiết hay
lý thuyết về cơ chế đã sinh ra mô hình, xây dựng những quyết định điều khiển
cho quá trình, phân tích và đánh giá để đưa ra những điều chỉnh hợp lý hay dự
báo các kết quả tương lai cho quá trình đó.
Nội dung chính của đồ án được trình bày trong 3 chương. Ở chương 1,
trong phần đầu tiên sẽ giới thiệu khái quát về chuỗi thời gian một chiều và các
khái niệm liên quan đến quá trình tự hồi quy một chiều. Phần tiếp theo sẽ
trình bày rõ về quá trình tự hồi quy nhiều chiều, xem xét nó như là một sự mở
Website: Email : Tel : 0918.775.368
rộng của quá trình dừng tự hồi quy một chiều và các đặc trưng của nó để làm
cơ sở cho việc ước lượng tham số của mô hình trong những phần sau.
Với giả thiết chuỗi thời gian quan sát của chúng ta được cảm sinh bởi
một quá trình tự hồi quy nhiều chiều cấp
p

nào đó, chương 2 sẽ trình bày về
việc ước lượng tham số cho mô hình tự hồi quy nhiều chiều dựa trên khái
niệm tự hiệp phương sai riêng và tự tương quan riêng thông qua phương pháp
Durbin-Levinson, một phương pháp rất cơ bản trong ước lượng tham số của
mô hình tự hồi quy nhiều chiều. Chúng ta cũng sẽ tìm hiểu một số phương
pháp khác như phương pháp bình phương tối thiểu, phương pháp R. H. Jones,
phương pháp Nuttall-Strand.
Chương 3 sẽ trình bày cụ thể về phương pháp ước lượng tham số cho mô
hình tự hồi quy nhiều chiều của tác giả Bradley W. Dickinson. Phương pháp
này là một sự mở rộng của phương pháp Durbin-Levinson và dựa trên một
phân tích rất quen thuộc trong toán học, phân tích Cholesky, để ước lượng các
tự tương quan riêng. Cuối cùng là kết quả của thuật toán chạy trên máy tính
và một số nhận xét rút ra khi so sánh với một số phương pháp khác.
Trong phần kết luận sẽ nhìn lại những điều đã làm được cũng như chưa
làm được trong đồ án, những hướng có thể phát triển và mở rộng đồ án. Phần
phụ lục sẽ khái quát chương trình chạy trên máy tính, đưa ra một số mô đun
chính của chương trình và một số ví dụ minh họa về tính ứng dụng của mô
hình và làm rõ một số khái niệm trong đồ án.
Đồ án này được hoàn thành dưới sự hướng dẫn tận tình của thầy giáo
TS.Tống Đình Quỳ, tác giả xin bày tỏ lòng biết ơn chân thành của mình đối
với thầy. Tác giả xin chân thành cảm ơn các thầy giáo, cô giáo Khoa Toán
Tin Ứng Dụng, Trường ĐHBK Hà Nội đã dành nhiều sự quan tâm, giúp đỡ
Website: Email : Tel : 0918.775.368
và tạo mọi điều kiện trong quá trình làm đồ án tốt nghiệp tại khoa. Xin chân
thành cảm ơn các bạn trong nhóm Xác suất đã có những góp ý chân thành
trong quá trình được làm việc cùng nhau.
Cuối cùng, tác giả kính mong nhận được những lời nhận xét để báo cáo
này ngày càng hoàn thiện hơn.
Xin chân thành cảm ơn!
Website: Email : Tel : 0918.775.368

MỤC LỤC
Lời giới thiệu …………………………………………………………… 1
1 Quá trình tự hồi quy nhiều chiều ……...……………………………… 6
1.1 Chuỗi thời gian và quá trình tự hồi quy một chiều ............……….. 6
1.1.1 Khái niệm chuỗi thời gian ………………………..………………. 6
1.1.2 Quá trình dừng ngẫu nhiên dừng ………………………………….. 7
1.1.3 Định nghĩa quá trình tự hồi quy một chiều ………………………... 8
1.1.4 Các đặc trưng của quá trình dừng tự hồi quy một chiều …………. 9
1.1.5 Về nhận dạng mô hình ARIMA tổng quát và ước lượng tham số của
mô hình tự hồi quy một chiều …………………………………… 10
1.2 Quá trình tự hồi quy nhiều chiều …….………….….…….……… 11
1.2.1 Quá trình quy tâm dừng ……………..…………….………….…. 13
1.2.2 Định nghĩa quá trình tự hồi quy nhiều chiều …………………….. 13
1.2.3 Hàm tự hiệp phương sai của một quá trình dừng …….………….. 15
1.2.4 Hệ phương trình Yule-Walker cho trường hợp nhiều chiều ..…… 16
2 Ước lượng tham số trong mô hình tự hồi quy nhiều chiều ………… 20
2.1 Hàm tự hiệp phương sai riêng của một quá trình dừng …….……. 21
2.2 Phương pháp Durbin-Levinson ước lượng tham số trong mô hình tự
hồi quy nhiều chiều …………………………………………..….. 23
Website: Email : Tel : 0918.775.368
2.2.1 Phương pháp Durbin-Levinson cho trường hợp một chiều .…..… 23
2.2.2 Phương pháp Durbin-Levinson cho trường hợp nhiều chiều ……. 24
2.2.3 Nhận xét và kết luận …...………………………………………… 29
2.3 Các phương pháp khác ước lượng tham số trong mô hình tự hồi quy
nhiều chiều ………………………………….………………...… 30
2.3.1 Phương pháp bình phương tối thiểu …..…………………………. 30
2.3.2 Phương pháp R. H. Jones …...…………………………………… 31
2.3.3 Giới thiệu một số phương pháp khác …………………….……… 33
3 Phương pháp Bradley W. Dickinson ước lượng tham số của mô hình
tự hồi quy nhiều chiều …………………………………………...…… 40

3.1 Giới thiệu ……………………………………………………...…. 40
3.2 Xây dựng thuật toán ……..……………………………….……… 40
3.3 Ước lượng tự tương quan riêng sử dụng ước lượng bình phương cực
tiểu và phân tích Cholesky ………………………………………. 40
3.4 Kết quả của thuật toán …………………………………………… 40
3.5 Nhận xét và kết luận …...………………………………………… 40
Kết luận ……………...………………………………………………… 40
Phụ lục ……………………...………………………………………….. 40
Tài liệu tham khảo ……….……..……..….….……………….………. 40
Website: Email : Tel : 0918.775.368
CHƯƠNG 1
QUÁ TRÌNH TỰ HỒI QUY NHIỀU CHIỀU
Chương này nhằm mục đích trình bày về quá trình tự hồi quy nhiều
chiều và các khái niệm liên quan làm cơ sở cho việc ước lượng tham số trong
mô hình tự hồi quy nhiều chiều. Để dễ dàng thể tiếp cận các khái niệm của
quá trình này, trong phần đầu tiên chúng ta sẽ nhìn lại một cách khái quát về
chuỗi thời gian một chiều, quá trình tự hồi quy một chiều cũng như việc ước
lượng tham số trong mô hình tự hồi quy một chiều. Nắm bắt được phương
pháp và ý tưởng khi nghiên cứu chuỗi thời gian một chiều là hết sức cần thiết
để có được hiểu biết toàn diện và sâu sắc khi tìm hiểu về quá trình tự hồi quy
nhiều chiều. Cách tiếp cận này sẽ cho chúng ta có một cái nhìn liền mạch và
rõ ràng hơn trong khi nghiên cứu chuỗi thời gian.
1.1 CHUỖI THỜI GIAN VÀ QUÁ TRÌNH TỰ HỒI QUY MỘT CHIỀU
1.1.1 Khái niệm chuỗi thời gian
Trong thực tế, có một số lượng rất lớn những dữ liệu về nhiều lĩnh vực
như kinh tế, xã hội và khoa học kỹ thuật được tập hợp lại dưới dạng chuỗi
thời gian, nghĩa là tạo thành một dãy các giá trị quan sát
{ }
)(..., ),1(: N
ΧΧ=

Χ
được sắp xếp theo thứ tự thời gian.
)1(
Χ
là giá trị
quan sát ở thời điểm đầu tiên,
)2(
Χ
là giá trị quan sát ở thời điểm thứ hai,
còn
)(N
Χ
là giá trị quan sát ở thời điểm thứ
N
(và cũng là thời điểm cuối
cùng). Trong khi phương pháp thống kê cổ điển thường sử dụng các số liệu
quan sát được giả thiết là độc lập thì trong chuỗi thời gian các chuỗi quan sát
Website: Email : Tel : 0918.775.368
thường mất tính độc lập. Ở đây giá trị quan sát
)(t
Χ
tại thời điểm
t
phụ
thuộc ít nhiều vào giá trị quan sát
)1(
−Χ
t
tại thời điểm
1

−
t
trước đó còn
giá trị quan sát
)1(
−Χ
t
lại phụ thuộc vào giá trị quan sát
)2(
−Χ
t
tại thời
điểm
2
−
t
,…
Một trong những vấn đề quan trọng nhất của xử lý thống kê chuỗi thời
gian là việc mô hình hoá, nghĩa là đặt tương ứng chuỗi thời gian quan sát
được trong một mô hình toán học với hy vọng nó phản ánh tương đối trung
thực cơ chế đã sinh ra dữ liệu của chuỗi quan sát đó. Các mô hình chuỗi thời
gian quen thuộc là các mô hình tuyến tính, trong đó lớp mô hình tự hồi quy
AR là lớp mô hình có vai trò hết sức quan trọng và được ứng dụng rất rộng rãi
hiện nay. Trong những phần sau chúng ta sẽ tập trung tìm hiểu, nghiên cứu về
mô hình tự hồi quy, nhưng trước hết là những khái niệm cơ bản nhất liên quan
đến chuỗi thời gian.
1.1.2 Quá trình ngẫu nhiên dừng
Định nghĩa 1.1.1 ( Hàm tự hiệp phương sai ) [1, tr.40]
Nếu
{ }

Ζ∈Χ
tt ),(
là một quá trình ngẫu nhiên có phương sai hữu hạn thì
hàm tự hiệp phương sai của
{ }
)(t
Χ
được định nghĩa bởi
( ) ( )( )
[ ]
)()()()()(),(Cov:),(γ ssrrsrsr
ΕΧ−ΧΕΧ−ΧΕ=ΧΧ=
với
Ζ∈
sr,
.
Định nghĩa 1.1.2 ( Quá trình dừng ) [1, tr.40]
Chuỗi thời gian
{ }
Ζ∈Χ
tt ),(
được gọi là một quá trình dừng nếu nó thoả
mãn các điều kiện

Ζ∈∀∞<ΧΕ
tt ,)(
2
,

Ζ∈∀=ΧΕ

tmt ,)(
,
Website: Email : Tel : 0918.775.368

Ζ∈∀++=
srttstrsr ,, ),,(γ),(γ
.
Chú ý
• Cũng có tài liệu gọi dừng theo nghĩa trên là dừng yếu hay dừng bậc
hai. Tuy nhiên trong báo cáo này, nếu không nói gì thêm, ta hiểu dừng theo
nghĩa của định nghĩa ở trên.
• Nếu
{ }
Ζ∈Χ
tt ),(
là quá trình dừng thì
Ζ∈∀−=
srsrsr , ),0,(γ),(γ
.
Khi đó, ta có thể định nghĩa lại hàm tự hiệp phương sai mà chỉ thông qua một
biến theo hệ thức
( )
Ζ∈∀Χ+Χ=≡
kttktkk , ,)(),(Cov)0,(γ)(γ
.
Định nghĩa 1.1.3 ( Hàm tự tương quan ) [1, tr.40]
Nếu
{ }
Ζ∈Χ
tt ),(

là một quá trình dừng với hàm tự hiệp phương sai
(.)γ

thì hàm tự tương quan của
{ }
)(t
Χ
được định nghĩa là
( )
Ζ∈∀Χ+Χ==
kttktkk , ,)(),(Corr:)0(γ/)(γ:)(ρ
.
Định lý 1.1.1 [1, tr.45]
Nếu
{ }
Ζ∈Χ
tt ),(
là một quá trình dừng, và nếu
Ζ∈∈
ia
i
R,
thoả mãn điều
kiện
∞<
∑
∞
−∞=
i
i

a
thì hệ thức
Ζ∈−Χ=Υ
∑
∞
−∞=
i
i
titat ),(:)(
định nghĩa một quá
trình dừng.
1.2.3 Định nghĩa quá trình tự hồi quy một chiều
Định nghĩa 1.1.4 ( Quá trình tự hồi quy ) [1, tr.70]
Quá trình
{ }
Ζ∈Χ
tt ),(
được gọi là quá trình tự hồi quy cấp
p
, kí hiệu là
AR
)( p
, nếu nó là một quá trình dừng thoả mãn
)(ε)(...)1()(
1
tptatat
p
=−Χ++−Χ−Χ
với
0

≠
p
a
. (1.1)
Website: Email : Tel : 0918.775.368
Ta cũng có thể viết biểu thức trên dưới dạng
)(ε)()( tta
=ΧΒ
,
với
Β
là toán tử lùi được định nghĩa theo hệ thức
)1(:)(
−Χ=ΒΧ
tt
, còn
)(
Β
a
là đa thức toán tử định nghĩa bởi
0 ,...1:)(
2
21
≠−−−−=
p
p
p
azazazaza
.
Ở đây

pja
j
,...,1,
=
là các số thực, còn
{ }
Ζ∈
tt ),(ε
thoả mãn

, ,0)(ε)(ε tsts
≠∀=Ε

,σ)(ε
22
=Ε
t

Ζ∈∀=Ε
tt ,0)(ε
.
được gọi là quá trình ồn trắng.
Chú ý
Nếu đa thức
)(za
ở trên có nghiệm nằm ngoài đĩa tròn đơn vị
)1|| (
>
z

thì khi đó
{ }
Ζ∈Χ
tt ),(
được gọi là quá trình nhân quả tự hồi qui cấp
p
, đảm
bảo tính khả đảo của đa thức toán tử
)(
Β
a
và từ nay về sau nếu không nói gì
thêm thì chúng ta chỉ xét các quá trình nhân quả này.
1.1.4 Các đặc trưng của quá trình tự hồi quy một chiều
Từ định nghĩa của một quá trình tự hồi quy ta có thể chứng minh được
các tính chất sau:
i.
0)(
=ΕΧ
t
ii.
∑
=
+=
p
j
j
ja
1
2

σ)(γ)0(γ
Website: Email : Tel : 0918.775.368
iii.
0 ,0)(ρ)(ρ
1
>∀=−−
∑
=
hjkak
p
j
j
.
Trong tính chất thứ ba, lần lượt cho
ph ..., ,1
=
ta có

















−−
−−
−−
−−
1)1(ρ...)2(ρ)1(ρ
)1(ρ1...)3(ρ)2(ρ
...............
)2(ρ)3(ρ...1)1(ρ
)1(ρ)2(ρ...)1(ρ1
pp
pp
pp
pp

















−
=
















−
)(ρ
)1(ρ
...
)2(ρ
)1(ρ
...
1
2
1

p
p
a
a
a
a
p
p
. (1.2)
Hệ phương trình này gọi là hệ phương trình Yule-Walker, song tuyến đối
với
a
và
ρ
, nghĩa là nếu cho
ρ
sẽ tính được
a
và ngược lại. Một chú ý là
hệ phương trình này đóng vai trò rất quan trọng trong việc ước lượng các
tham số của mô hình tự hồi quy một chiều.

1.1.5 Về nhận dạng mô hình ARIMA tổng quát và ước lượng tham số
của mô hình tự hồi quy một chiều
Giả sử thực tế cho ta một chuỗi quan sát
)(..., ),2(),1( N
ΧΧΧ
, đó cũng
là dữ liệu duy nhất mà chúng ta có, khi đó ta cần xây dựng các công thức, thủ
tục để nhận dạng mô hình ARIMA

),,( qdp
tổng quát
)(ε)()()1)(( tbta
d
Β=ΧΒ−Β
,
với
0 ,...1:)(
1
≠+++=
q
q
q
bzbzbzb
.
Tức là ta phải ước lượng bậc lấy sai phân
d
, bậc
qp ,
của các đa thức hồi
qui
)(za
và đa thức trung bình trượt
)(zb
và cuối cùng là ước lượng các hệ
số
ba ,
của các đa thức đó. Khi đã nhận dạng được mô hình, bước tiếp theo
Website: Email : Tel : 0918.775.368
sẽ là ước lượng các tham số cho mô hình. Dễ dàng thấy rằng mô hình AR

)( p

chính là mô hình ARIMA
),,( qdp
khi
0 ,0
==
qd
.
Với mục đích tìm hiểu và nghiên cứu về mô hình tự hồi quy nên khi có
một chuỗi quan sát
)(..., ),2(),1( N
ΧΧΧ
, ta giả sử rằng chúng được cảm
sinh bởi một quá trình tự hồi quy AR
)( p
nào đó với
p
đã biết. Công việc
còn lại là phải tìm cách ước lượng được các tham số của mô hình đó. Có rất
nhiều phương pháp ước lượng đã tỏ ra hiệu quả đối với mô hình tự hồi quy
một chiều như thuật toán Durbin-Levinson [3], thuật toán J. P. Burg [3], thuật
toán B. W. Dickinson [4] và đặc biệt là ước lượng hợp lý cực đại của S. T.
Kay [5]
1.2 QUÁ TRÌNH TỰ HỒI QUY NHIỀU CHIỀU
Trong phần trước chúng ta đã nhắc lại những khái niệm cơ bản nhất liên
quan đến chuỗi thời gian một chiều và hiểu thế nào là một quá trình tự hồi
quy cũng như việc ước lượng tham số trong mô hình tự hồi quy một chiều.
Tuy nhiên, trong thực tế, để có những đánh giá toàn diện và chính xác về một
đối tượng quan sát nào đó, nhiều khi chúng ta không thể dùng một chỉ số mà

phải dùng nhiều chỉ số kết hợp lại. Khi đó quan sát có được sẽ xuất hiện dưới
dạng một chuỗi thời gian nhiều chiều, tức là mỗi quan sát
)(Χ t
tại thời điểm
Ζ∈
t
là một véc tơ có
d
thành phần
( )
Τ
ΧΧ=
)(),...,()(Χ
1
ttt
d
(
""
Τ
là toán tử chuyển vị). Ở đây, ngoài sự phụ thuộc vốn có
giữa các
)..., ,1( )( Ntt
k
=Χ
còn có sự phụ thuộc lẫn nhau giữa các thành phần
)(t
i
Χ
và
)(t

j
Χ
)( ji
≠
của quan sát
)(Χ t
nên việc nghiên cứu một cách riêng
rẽ
d
chuỗi thời gian
{ }
)(t
k
Χ

) ..., 1,( dk =
sẽ cho kết quả không chính xác.
Website: Email : Tel : 0918.775.368
Do đó các mô hình toán học mô tả thích hợp các chuỗi thời gian trong trường
hợp nhiều chiều sẽ phức tạp hơn nhiều so với trường hợp một chiều.
Cũng như trong trường hợp một chiều, mô hình tự hồi quy nhiều chiều
đóng một vai trò rất quan trọng trong việc mô hình hoá và xấp xỉ một chuỗi
thời gian nhiều chiều. Mô hình này cũng được ứng dụng rộng rãi hiện nay,
đặc biệt trong lĩnh vực kinh tế khi phân tích và dự báo các chỉ số kinh tế phụ
thuộc vào nhiều nhân tố khác nhau.
Đối với quá trình ngẫu nhiên nhiều chiều, khi nói đến chuỗi các véc tơ
ngẫu nhiên
( )
Τ
ΧΧ=

)(..., ),()(X
1
ttt
d
ta định nghĩa kỳ vọng của véc tơ là










ΕΧ
ΕΧ
=Ε=
)(
)(
)(X:)(m
1
t
t
tt
d

.
Một quá trình ngẫu nhiên được gọi là quy tâm nếu nó có kỳ vọng là véc tơ
không (trong trường hợp một chiều là không). Trong thống kê chuỗi thời gian

chúng ta thường chỉ hay quan tâm đến quá trình quy tâm và trong báo cáo này
chúng ta cũng chỉ xét các quá trình quy tâm.
Như đã nói ở trên, chúng ta sẽ tìm cách tiếp cận quá trình tự hồi quy
nhiều chiều như là một sự mở rộng của quá trình tự hồi quy một chiều. Nhưng
trước khi có định nghĩa chính xác quá trình này chúng ta sẽ tìm hiểu những
khái niệm cơ bản nhất liên quan đến một quá trình ngẫu nhiên nhiều chiều.
1.2.1 Quá trình quy tâm dừng
Định nghĩa 1.2.1 ( Quá trình quy tâm dừng ) [9, tr.15]
Quá trình
{ }
Ζ∈Χ
tt ),(
, với
)(t
Χ
là véc tơ ngẫu nhiên trong không gian
d
R
, được gọi là một quá trình quy tâm dừng bậc hai nếu nó thoả mãn
Website: Email : Tel : 0918.775.368

{ }
0)(X
=Ε
t
,

{ }
2
),( ),R()(Χ)(Χ

Ζ∈−=Ε
Τ
ststst
.
Ở đây,
Ε
là toán tử kỳ vọng,
""
Τ
là toán tử chuyển vị còn
(.)R
là hàm tự hiệp phương sai trong không gian ma trận cấp
d
.
Chú ý
Trong một số tài liệu khái niệm dừng bậc hai còn có tên gọi là dừng yếu
hoặc dừng nhưng để thuận tiện, từ nay về sau ta chỉ gọi nó là quá trình dừng
và hiểu theo nghĩa mà ta đã định nghĩa ở trên.
1.2.2 Định nghĩa quá trình tự hồi quy nhiều chiều
Phần lớn các mô hình chuỗi thời gian được xây dựng xuất phát từ một
chuỗi véc tơ ngẫu nhiên quy tâm, độc lập, cùng phân phối
Ζ∈
tt ),(ε
có ma
trận hiệp phương sai ký hiệu là
U
. Các thành phần của các véc tơ
)(ε t

không tương quan tại các thời điểm khác nhau nhưng tương quan tại cùng

thời điểm, khi đó ma trận hiệp phương sai
U
không phải là ma trận chéo.
Quá trình tự hồi quy nhiều chiều được định nghĩa thông qua
)(ε t
và các quan
sát trước đó.
Định nghĩa 1.2.2 ( Quá trình tự hồi quy ) [9, tr.16]
Quá trình quy tâm dừng
Ζ∈
tt ),(Χ
được gọi là quá trình tự hồi quy cấp
p
, kí hiệu là AR
)( p
, nếu nó có thể được biểu diễn dưới dạng
∑
=
=−
p
j
tjtj
0
)(ε)(Χ)(Α
. (1.3)
Ở đây
pjj ,...,1),(Α
=
là các ma trận vuông cấp
d

,
Ι)0(Α
=
là ma trận đơn
vị cấp
d
và
)(ε t
là các véc tơ ngẫu nhiên độc lập cùng phân phối và độc lập
Website: Email : Tel : 0918.775.368
với
stt
<
),(Χ
. Ma trận
)(Α j
ở đây được gọi là ma trận hệ số tự hồi quy và
Ζ∈
tt ),(ε
được gọi là quá trình nhiễu.
Ký hiệu

∑
=
=
p
j
j
zjz
0

)(Α)(Α
gọi là ma trận đa thức đặc trưng (tương ứng với toán tử AR).
Định lý 1.2.1 [9, tr.16-17]
Cho
)(Α..., ),1(Α p
là các ma trận sao cho đa thức đặc trưng
)(Α z

không có nghiệm có mô đun nhỏ hơn hoặc bằng
1
và
Ζ∈
tt ),(ε
là chuỗi véc
tơ ngẫu nhiên độc lập cùng phân phối. Khi đó tồn tại một quá trình tự hồi quy
dừng duy nhất có các ma trận hệ số tự hồi quy là
)(Α..., ),1(Α p
cùng với
Ζ∈
tt ),(ε
là quá trình nhiễu sao cho
∑
∞
=
−=
0
)(ε)(C)(Χ
j
jtjt
,

ở đây
)Ι)0(C( ... ,1 ,0),(C
==
jj
là ma trận hệ số trong khai triển Taylor
∑
∞
=
−
=
0
1
)(C)(Α
j
j
zjz
.
Ngược lại, nếu tồn tại một quá trình tự hồi quy dừng với các ma trận hệ
số
)(Α..., ),1(Α p
và quá trình nhiễu
Ζ∈
tt ),(ε
đồng thời có sự tồn tại nghịch đảo
của ma trận hiệp phương sai
U
thì tất yếu đa thức đặc trưng
)(Α z
không có
nghiệm có mô đun nhỏ hơn hoặc bằng

1
.
Nhận xét
Ma trận
)(C j
trong khai triển Taylor
∑
∞
=
−=
0
)(ε)(C)(Χ
j
jtjt
có thể tính
được xuất phát từ các ma trận
)(Α..., ),1(Α p
theo công thức
Website: Email : Tel : 0918.775.368
∑
=
=≥−−=
),min(
1
Ι)0(C ,1 ),(C)(Α)(C
pk
j
kjkjk
.
Chú ý

Từ nay về sau, khi nói đến quá trình tự hồi quy chúng ta ngầm hiểu là
quá trình tự hồi quy dừng. Ta cũng chú ý
∑
=
=
p
j
j
zjz
0
)(Α)(Α
là đa thức bậc
pd

tương ứng với quá trình tự hồi quy dừng AR
)( pd
.
1.2.3 Hàm tự hiệp phương sai của một quá trình dừng
Đối với một quá trình ngẫu nhiên quy tâm dừng bậc hai
Ζ∈
tt ),(Χ
, hàm
{ }
)(Χ)(Χ)R( sttss
−Ε=→
Τ
được gọi là hàm tự hiệp phương sai của quá trình
đó, trong trường hợp này nó là ma trận. Hàm tự hiệp phương sai đặc trưng
cho cấu trúc bậc hai của quá trình và được xác định dưới dạng ma trận như
sau

... ,1 ,0 ,1..., ,
)(R)(R
)(R)(R
)R(
1
111
−=










=
s
ss
ss
s
ddd
d



Số hạng
{ }
)()()(R stts

jiij
−ΧΧΕ=
đôi khi được gọi là tự hiệp phương sai chéo,
tương ứng với thành phần thứ
i
và thứ
j
lần lượt tại các thời điểm
t
và
st
−
.
Tính chất
Hàm hiệp phương sai có một tính chất hết sức quan trọng sử dụng nhiều
trong ước lượng tham số là
)(R)(R ss
Τ
=−
. (1.4)
Website: Email : Tel : 0918.775.368
Chứng minh ( Kết quả của bản thân )
Ta có
{ }
)()()(R stts
jiij
+ΧΧΕ=−
{ }
)()( tst
ij

Χ+ΧΕ=
{ }
)(R)()( sstt
jiij
=−ΧΧΕ=
,
suy ra
)(R)(R ss
Τ
=−
.
1.2.4 Hệ phương trình Yule-Walker cho trường hợp nhiều chiều
Khi tìm hiểu về ước lượng tham số trong mô hình tự hồi quy một chiều,
chúng ta đã biết vai trò hết sức quan trọng của hệ phương trình Yule-Walker.
Để làm cơ sở cho việc ước lượng tham số trong mô hình tự hồi quy nhiều
chiều, trong phần này ta sẽ tìm cách xây dựng hệ phương trình Yule-Walker
cho trường hợp nhiều chiều.
Định lý 1.2.2 [9, tr.21]
Hàm tự hiệp phương sai của một quá trình tự hồi quy cấp
p
với các ma
trận hệ số tự hồi quy
)(Α..., ),1(Α p
và quá trình nhiễu
Ζ∈
tt ),(ε
có ma trận
hiệp phương sai
U
được xác định theo hệ phương trình Yule-Walker như sau

∑
=
=−
p
j
jj
0
U)(R)(Α
(1.5a)
∑
=
==−
p
j
kjkj
0
... ,2 ,1 ,)(R)(Α 0
(1.5b)
Với
Ι)0(Α
=
là ma trận đơn vị cấp
d
, còn
0
là ma trận không.
Chứng minh ( Kết quả của bản thân )