Tài liệu CHUONG2-mo hinh hoi quy hai bien pptx

CHƯƠNG 2
MÔ HÌNH HỒI QUI HAI BIẾN
ƯỚC LƯỢNG VÀ KIỂM ĐỊNH

(Ordinary Least Square)


Giả sử có một mẫu gồm n quan
Giả sử có một mẫu gồm n quan
sát (Y
sát (Y
i
i
, X
, X
i
i
), (i = 1, 2, . . . , n)
), (i = 1, 2, . . . , n)
Theo pp OLS, ta phải tìm
Theo pp OLS, ta phải tìm
sao cho nó càng gần với giá trò
sao cho nó càng gần với giá trò
thực (Y
thực (Y
i
i
) càng tốt, tức phần dư:
) càng tốt, tức phần dư:
i

Y
ˆ

e
e
i
i
= Y
= Y
i
i


−
−








=
=
Y
Y
i
i

−
−






−
−






X
X
i
i

i
Y
ˆ
caøng nhoû caøng toát
caøng nhoû caøng toát
1
ˆ
β

2
ˆ
β

Y
Y
.
.
.
.
.
.
.
.
.
.
.
e
e
i
i
X
X
X
X
i
i
Y
Y
i

i
Y
Y
^
^
i
i
.
.
.
.
.
0
0
SRF
SRF

Do e
Do e
i
i
có thể dương, âm,
có thể dương, âm,
nên ta cần tìm SRF sao
nên ta cần tìm SRF sao
cho tổng bình phương của
cho tổng bình phương của
các phần dư đạt cực tiểu.
các phần dư đạt cực tiểu.
Tức , phải thoả

Tức , phải thoả
mãn điều kiện:
mãn điều kiện:
1
ˆ
β
2
ˆ
β

có nghóa là tổng bình phương
có nghóa là tổng bình phương
các sai lệch giữa giá trò thực
các sai lệch giữa giá trò thực
tế q.sát được (Y
tế q.sát được (Y
i
i
) và giá trò
) và giá trò
tính theo h.hồi qui mẫu ( )
tính theo h.hồi qui mẫu ( )
là nhỏ nhất.
là nhỏ nhất.
i
Y
ˆ
min
min
( )

∑∑
==
⇒β−β−=
n
1i
2
i21i
n
1i
2
i
X
ˆˆ
Ye

Y
Y
Y
Y
X
X
X
X
•
•
•
•
•
•
•

•
•
•
•
•
•
•
•
•
•
• •
•
•
•
•
•
•
•
•
H. 1a
H. 1a
H. 1b
H. 1b









=−β−β−=
β∂
ββ∂
=−β−β−=
β∂
ββ∂
∑
∑
=
=
n
1i
ii21i
2
21
n
1i
i21i
1
21
0)X)(X
ˆˆ
Y(2
ˆ
)
ˆ
,
ˆ
(f

0)1)(X
ˆˆ
Y(2
ˆ
)
ˆ
,
ˆ
(f
Hay:
Hay:









=β+β
=β+β
∑ ∑ ∑
∑ ∑
= = =
= =
n
1i
n
1i

n
1i
ii
2
i2i1
n
1i
n
1i
ii21
Y.XX
ˆ
X
ˆ
YX
ˆˆ
n

Giaỷi heọ p.tr naứy ta ủửụùc:
Giaỷi heọ p.tr naứy ta ủửụùc:
( )


=
=


=
n
1i

2
2
i
n
1i
ii
2
XnX
Y.XnYX


Coù theå tính theo coâng
Coù theå tính theo coâng
thöùc:
thöùc:
Trong ñoù: x
Trong ñoù: x
i
i
= X
= X
i
i


−
−
; y
; y
i

i
= Y
= Y
i
i


−
−


X
ˆ
Y
ˆ
21
β−=β
2
ˆ
β
∑
∑
=
2
2
ˆ
i
ii
x
yx

β
X
Y


Xét điều kiện đủ:
Xét điều kiện đủ:
Ta có ma trận Hessian như sau:
Ta có ma trận Hessian như sau:








=








=
∑∑
∑
ββββ

ββββ
2
i
i
i
''
ˆˆ
''
ˆˆ
''
ˆˆ
''
ˆˆ
X2X2
X2n2
ff
ff
H
2212
2111
Với:
Với:
( )
[ ]
(
)
0xn4
XnXn4
XXn4H
2

i
2
2
i
2
i
2
i
>=
−=
−=
∑
∑
∑ ∑

Vậy ma trận H xác đònh dương
Vậy ma trận H xác đònh dương
nên xác đònh bằng các công
nên xác đònh bằng các công
thức trên là điểm cực tiểu của
thức trên là điểm cực tiểu của
hàm f( ).
hàm f( ).
21
ˆ
,
ˆ
ββ
21
ˆ

,
ˆ
ββ

Thí dụ 2
Thí dụ 2
:
:
Giả sử Y, X có q.hệ t.quan t.t. Hãy
Giả sử Y, X có q.hệ t.quan t.t. Hãy
ước lượng hàm h.qui của Y theo X.
ước lượng hàm h.qui của Y theo X.
Bảng sau cho số liệu về lượng bán
Bảng sau cho số liệu về lượng bán
được (Y- tấn/tháng) và đơn giá
được (Y- tấn/tháng) và đơn giá
của hàng A (X- ngàn đồng/kg)
của hàng A (X- ngàn đồng/kg)

Giải
Giải
:
:
Từ số liệu q.sát của X và Y
Từ số liệu q.sát của X và Y
cho ở bảng trên ta tính được:
cho ở bảng trên ta tính được:

∑
∑
Y
Y
i
i
= 36
= 36


Y=6
Y=6
∑
∑
X
X
i
i
= 24 > X=4
= 24 > X=4
∑
∑
X
X
i
i
2
2
= 120

= 120




∑
∑
x
x
i
i
2
2
=24
=24
∑
∑
X
X
i
i
Y
Y
i
i
= 111;
= 111;
375,1
24
33

ˆ
2
−=
−
=
β
∑
∑
x
x
i
i
y
y
i
i
= - 33
= - 33

Haøm hoài qui tt maãu laø:
Haøm hoài qui tt maãu laø:
5,114)375,1(6
ˆ
1
=×−−=
β
ii
XY 375,15,11
ˆ
−=



B
B
iến giải thích là phi ng.n
iến giải thích là phi ng.n


Kỳ vọng toán của U
Kỳ vọng toán của U
i
i
bằng 0,
bằng 0,


tức:
tức:


E(U
E(U
i
i
/X
/X
i
i
) = 0

) = 0


Các U
Các U
i
i
có p.sai bằng nhau
có p.sai bằng nhau



Không có t.quan giữa
Không có t.quan giữa
các U
các U
i
i
, tức
, tức



cov(U
cov(U
i
i
, U
, U
j

j
) = 0
) = 0
(i
(i
≠
≠
j)
j)

U
U
i
i
và X
và X
i
i
không t.quan
không t.quan
với nhau, tức
với nhau, tức



cov(U
cov(U
i
i
, X

, X
i
i
) = 0
) = 0



ĐỊNH LÝ GAUSS-MARKOV
ĐỊNH LÝ GAUSS-MARKOV
Với các g.t 1-5 của PP
Với các g.t 1-5 của PP
OLS, các ước lượng của PP
OLS, các ước lượng của PP
OLS sẽ là các ước lượng
OLS sẽ là các ước lượng


tuyến tính
tuyến tính
,
,
không chệch
không chệch
và
và
có p.sai nhỏ nhất
có p.sai nhỏ nhất
.
.

Đối với hàm hai biến,
Đối với hàm hai biến,


, tương ứng là các
, tương ứng là các
ước lượng t.tính, không
ước lượng t.tính, không
chệch, có p.sai nhỏ
chệch, có p.sai nhỏ
nhất của
nhất của
β
β
1
1
,
,
β
β
2
2
.
.
1
ˆ
β
2
ˆ

β

2- Phương sai và sai số
2- Phương sai và sai số


chuẩn của các ước lượng
chuẩn của các ước lượng
2
1
2
1
2
1
)
ˆ
var(
σβ
∑
∑
=
=
=
n
i
i
n
i
i
xn

X
)
ˆ
var()
ˆ
(se
11
β=β

∑
=
=
n
i
i
x
1
2
2
2
)
ˆ
var(
σ
β
)
ˆ
var()
ˆ
(se

22
β=β

Trong đó:
Trong đó:
σ
σ
2
2
= var(U
= var(U
i
i
)
)
σ
σ
2
2




được ước lượng bằng
được ước lượng bằng
ước lượng không chệch
ước lượng không chệch


là sai số chuẩn

là sai số chuẩn
2
ˆ
σ
2
ˆ
1
2
2
−
=
∑
=
n
e
n
i
i
σ
se:
se:


sai số chuẩn
sai số chuẩn


(Standard Erorr)
(Standard Erorr)
2

ˆˆ
σ=σ

TSS =
TSS =
ESS
ESS
(
(
Explained Sum of Squares
Explained Sum of Squares
)
)
ESS =
TSS (
TSS (
Total Sum of Squares
Total Sum of Squares
)
)
( ) ( )
∑ ∑
=
−=−
n
1i
2
2
i
2

i
Y.nYYY
( )
∑ ∑
= =
β=−
n
1i
n
1i
2
i
2
2
2
i
x)
ˆ
(YY
ˆ

RSS =
RSS =

TSS = ESS + RSS
TSS = ESS + RSS
RSS (
RSS (
Residual Sum of Squares
Residual Sum of Squares

)
)
( )
∑ ∑
= =
−=
n
1i
n
1i
2
ii
2
i
Y
ˆ
Ye
Nếu hàm hồi qui mẫu phù hợp
Nếu hàm hồi qui mẫu phù hợp
tốt với các số liệu quan sát thì
tốt với các số liệu quan sát thì
ESS sẽ càng lớn hơn RSS.
ESS sẽ càng lớn hơn RSS.

Nếu tất cả các giá trò q.sát
Nếu tất cả các giá trò q.sát
của Y đều nằm trên SRF thì
của Y đều nằm trên SRF thì
ESS sẽ bằng TSS và do đó
ESS sẽ bằng TSS và do đó

RSS = 0.
RSS = 0.


Ngược lại, nếu hàm hồi qui
Ngược lại, nếu hàm hồi qui
mẫu kém phù hợp với các giá
mẫu kém phù hợp với các giá
trò quan sát thì RSS sẽ càng
trò quan sát thì RSS sẽ càng
lớn hơn ESS.
lớn hơn ESS.