Phương sai sai số thay đổi

Bài 7: Phương sai sai số thay đổi
1.
2.
3.
4.

Vấn đề phương sai sai số thay đổi
Bình phương tối thiểu tổng quát & trọng số
Kiểm định phát hiện phương sai thay đổi
Ví dụ minh họa


Bài 7: Phương sai sai số thay đổi
1.
2.
3.
4.

Vấn đề phương sai sai số thay đổi
Bình phương tối thiểu tổng quát & trọng số
Kiểm định phát hiện phương sai thay đổi
Ví dụ minh họa


1.Vấn đề phương sai sai số thay đổi

Yi = β1 + β 2 X 2i + β 3 X 3i + ... + β k X ki + ui
Heteroskedasticity

Homoscedasticity

var(ui ) ≠ var(uj ), i ≠ j
cov(ui , uj ) = 0
σ12

0

cov(u) =Ω= 
0

0

var(ui ) = var(u j ) = σ 2 , ∀i ≠ j
cov(ui , u j ) = 0

0 0 
σ 2


2
σ2 0 0 
0

2
cov(u) = σ I =

0
0 . 0


0

0 0 σN2 
0

0

σ2
0
0

0 

0 0 
. 0 

2
0 σ 
0


1.Vấn đề phương sai sai số thay đổi
Homoskedasticity: Ω = σ 2 I
OLS : β = ( X ' X ) X ' Y
−1

&

−1
2



c ov β = σ ( X ' X )
 

Homoskedasticity: Ω = σ I
2

−1
−1
−1
2
2


c ov β = σ ( X ' X ) X ' IX ( X ' X ) = σ ( X ' X )
 

Heteroskedasticity :
−1
−1


c ov β = ( X ' X ) X ' ΩX ( X ' X )
 
E β  = β
 

p lim β = β


1.Vấn đề phương sai sai số thay đổi

Homoskedasticity: Ω = σ 2 I
OLS : β = ( X ' X ) X ' Y
−1

&

−1
2


c ov β = σ ( X ' X )
 

Homoskedasticity: Ω = σ 2 I
c ov  β  = σ
 

2

(X 'X )

−1

X ' IX ( X ' X ) = σ
−1

Heteroskedasticity :
c ov  β  = ( X ' X ) X ' ΩX ( X ' X )
 
−1

Student − test ? t =
F − test ?

β − β test
sβ

−1

2

(X 'X )

−1


1.Vấn đề phương sai sai số thay đổi

-1000

0

Residuals

1000

2000

Đồ thị minh họa

0

5000

10000

15000
density

20000

25000


1.Vấn đề phương sai sai số thay đổi
Ví dụ: Qij :Kết quả học tập của học sinh thứ j trường I
Xij : Thu nhập của phụ huynh

Qij = β 1 + β 2 X ij + u ij
Q

*
j

Q
∑
=
nj

ij

&X

*
j

X
∑
=

ij

nj

Q * j = β 0 + β1 X * j + u * j
 ∑ u ij 
u j
→ v ar( u j ) = v ar 


nj
 nj 
nj
nj
nj
2
n
1
1
σ

j
= 2 ∑ v ar( u ij ) = 2 ∑ σ 2 = 2 ∑ σ 2 =
nj i
nj i
nj i
nj
*

u
∑
=

ij

*


Bài 7: Phương sai sai số thay đổi
1.
2.
3.
4.

Vấn đề phương sai sai số thay đổi
Bình phương tối thiểu tổng quát & trọng số
Kiểm định phát hiện phương sai thay đổi
Ví dụ minh họa


2. Bình phương tối thiểu tổng quát & trọng số

Y = Xβ +u

→

Ω −1/ 2Y = Ω −1/ 2 X β + Ω −1/ 2u

GLS : Y = X β + u

⇔

OLS : Ω −1/ 2Y = Ω −1/ 2 X β + Ω −1/ 2u

β GLS = ( Ω
 1
σ 2
 1

0

−1
Ω =
0

0


−1/ 2

X ) '(Ω
0

1

σ 22
0
0

−1/ 2

X ) 

−1

(Ω

−1/ 2

X )'Ω


 1

σ

 1


0 0 
0

−1/ 2

=
→Ω
0
.
0 


1 
0
0

σ N2 
0

0

Y = ( X ' Ω X ) X ' Ω −1Y

−1/ 2

−1

−1

0
1

σ2
0
0





0 0 

.
0 

1 
0
σ N 
0

0


2. Bình phương tối thiểu tổng quát & trọng số
Quan sát thứ i

Ω −1/2Y = Ω −1/ 2 X β + Ω −1/2u
Yi

σi

=

Xi

σi

β+

ui

σi

2

 ui 
 ui   1
σ i2
Cov   = E    = 2 E [ui ] = 2 = 1∀i
σi
 σ i   σ i
 σi 

Sự chuyển đổi sẽ thỏa mãn mọi điều kiện lý tưởng của mô hình

Vấn đề:

Ω −1/2 :unknow

σi :

estimates of σ i


2. Bình phương tối thiểu tổng quát & trọng số

Ví dụ: Phương phápbình phương tối thiểu có trọng số
ln w a g e i = β 1 + β 2 A G E i + β 3 A G E i2 + u i

σ

2
i

= σ

2

A G E i2

 a g e 12

0
σ 2 Ω = σ 2 
0

 0
ln w a g e i
Ω −1/ 2 :
=
AG Ei
v a r (u i ) = σ
v a r (u i /

2
i

= σ

AGE

2

2

0
a g e 22

0

0

0

0

0

.

0

0

0

a g e N2

β1
AG Ei
AGE








+ β2 + β3AG Ei +

2

) = A G E iσ

2
i

/ AG Ei = σ

2

ui
AG Ei

2. Bình phương tối thiểu tổng quát & trọng số
Vấn đề: Phải lựa chọn đúng trọng số
ln w agei = β1 + β 2 AGEi + β 3 AGEi2 + ui
ln w agei
ui
β1
=
+ β 2 + β 3 AGEi +
AGEi
AGEi
AGEi

β1 →

β1
AGEi

AGEi → 1

&
&

ln w agei →

ln w agei
=Y*
AGEi

AGEi 2 → AGEi

OLS : Y * = γ 1 + γ 2 INT1 + γ 3 AGEi

γ 1 = β 2 , γ 2 = β1 , γ 3 = β 3

Nếu AGE không phải là trọng số thích hợp
lượng chệch và không vững

Ước


Bài 7: Phương sai sai số thay đổi
1.
2.
3.
4.

Vấn đề phương sai sai số thay đổi
Bình phương tối thiểu tổng quát & trọng số
Kiểm định phát hiện phương sai thay đổi
Ví dụ minh họa


3. Kiểm định phát hiện phương sai thay đổi
a. Kiểm định Park:

v ar( u i ) = σ 2 Z i ?
H0:Homoskedasticity

& H1:Heteroskedasticity
2

i

(

1. OLS : Y = X β + u → e = uɵ = Yi − X i β
2
i

2. OLS : ln e = δ 1 + δ 2 ln Z i + ε i
2
i

3. Student tes t : δ 2

)

2


3. Kiểm định phát hiện phương sai thay đổi
b. Kiểm định Goldfeld- Quantz : với 1 biến số
Giá sử : Phương sai là 1 hàm đơn điệu của biến số Z
v ar(u i ) = σ 2 Z i ?
1. Sort by Z i

&

2. N : N 1 + N * + N 2

3. N 1 obs : OLS : Y = X β + u → SSE1 ( N 1 > k )

4. N 2 obs : OLS : Y = X β + u → SSE 2 ( N 2 > k )
SSE1
SSE 2
S12
2
5. S =
& S2 =
& 6. 2 ∼ F ( N 1 − k , N 2 − k )
N1 − k
N2 − k
S2
2
1

H 0 : No Het eroskedasticity : S12 = S 22
H 1 : Het eroskedasticity : S12 ≠ S 22 (by Z )

Lưu ý: Tử số> Mẫu số để F>1
Không thể loại bỏ H0?


3. Kiểm định phát hiện phương sai thay đổi
Kiểm định Breusch- Pagan : với nhiều biến số

σ i2 = g ( Z i ; α ) ?
σ i2 = Z iα + ε i = α 1 + α 2 Z i 2 + ... + α n Z ij + ε i = Z α ?
H 0 :α = 0

H1:α ≠ 0

&

1.OLS : Y = X β + u → uɵ
2
2
ɵ
2.OLS : u i = Z iα + ε i ( R ɵ 2 )
u

2
ɵ
F t es t : u i = Z iα + ε i

LM t es t : LM = nR ɵ22 ∼ X 2j −1
u

STATA: hettest z1 z2


3. Kiểm định phát hiện phương sai thay đổi
Kiểm định White : Tổng quát
2
ɵ
O L S : u i → e v e ry e le m e n t s o f X ⊗ X '

K ro e n e c k e r p r o d u c t
 X 11 X '
.
X ⊗ X '= 
.


 X N1X '
F t e s t & L M = N R 22
u

.
.
.
.
∼



.
.


.
.

. X 1N X '

X p2 − 1 ( p n u m b e r o f e le m e n ts )

E x a m p le : Y = β 1 + β 2 X

.

2

X 1N X '

+ β3X

3

+u

2
ɵ
u i → 1, X 2 , X 3 , X 4 , X 22 , X 32 , X 42 , X 2 . X 3 , X 3 . X 4 , X 2 . X

STATA: whitetst

4


Bài 7: Phương sai sai số thay đổi
1.
2.
3.
4.

Vấn đề phương sai sai số thay đổi
Bình phương tối thiểu tổng quát & trọng số
Kiểm định phát hiện phương sai thay đổi
Ví dụ minh họa


4. Ví dụ

State

VT
MA
WI
KS
DE
FL
AZ
UT
NV
CA
AK

Exp75
/người

270
261
342
337
344
243
332
315
291
332
546

Inc73

/người

4011
5233
4634
5057
5540
4647
4504
4005
5560
5438
5613

Res74
/

328
305
328
304
328
287
340
378
330
307
386

Urban70

/
region

322
846
659
661
722
805
796
804
809
909
484

c

1
1
2
2
3
3
4
4
4
4
4

1.177

1.177
1.503
1.503
0.475
0.475
0.938
0.938
0.938
0.938
0.938


4. Ví dụ
State

VT
MA
WI
KS
DE
FL
AZ
UT
NV
CA
AK

Exp75
/người

270
261
342
337
344
243
332
315
291
332
546

Inc73
/người

4011
5233
4634
5057
5540
4647
4504
4005
5560
5438
5613

Res74
/

328
305
328
304
328
287
340
378
330
307
386

Urban70
/
region

322
846
659
661
722
805
796
804
809
909
484

c

1
1
2
2
3
3
4
4
4
4
4

1.177
1.177
1.503
1.503
0.475
0.475
0.938
0.938
0.938
0.938
0.938


4. Ví dụ


4. Ví dụ
exp 73 = β1 + β 2inc73 + β 3 res74 + β 4 urb70 + u

N = 50
reg

exp75 income73 residen74 urban70

Source |
SS
df
MS
-------------+-----------------------------Model | 109020.418
3 36340.1394
Residual | 75347.5819
46 1637.99091
-------------+-----------------------------Total |
184368
49 3762.61224

Number of obs
F( 3,
46)
Prob > F
R-squared
Adj R-squared
Root MSE

=
=
=
=
=

=

50
22.19
0.0000
0.5913
0.5647
40.472

-----------------------------------------------------------------------------exp75 |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------income73 |
.0723853
.0116024
6.24
0.000
.0490308
.0957398
residen74 |
1.552054
.3146716
4.93
0.000
.9186534
2.185456
urban70 |

-.004269
.0513929
-0.08
0.934
-.1077175
.0991794
_cons |
-556.568
123.1953
-4.52
0.000
-804.5472
-308.5889
------------------------------------------------------------------------------


-100

-50

Residuals
0

50

100

4. Ví dụ

280

300

320

340
residen74

360

380


4. Ví dụ
exp 73 = β1 + β 2inc73 + β 3 res74 + β 4 urb70 + u
N = 49
reg

exp75

income73 residen74 urban70

Source |
SS
df
MS
-------------+-----------------------------Model | 56943.7919
3
18981.264
Residual | 57699.7591

45 1282.21687
-------------+-----------------------------Total | 114643.551
48 2388.40731

Number of obs
F( 3,
45)
Prob > F
R-squared
Adj R-squared
Root MSE

=
=
=
=
=
=

49
14.80
0.0000
0.4967
0.4631
35.808

-----------------------------------------------------------------------------exp75 |
Coef.
Std. Err.
t

P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------income73 |
.0482933
.012147
3.98
0.000
.0238281
.0727586
residen74 |
.8869283
.33114
2.68
0.010
.219978
1.553879
urban70 |
.0667917
.04934
1.35
0.183
-.0325841
.1661675
_cons | -277.5773
132.4229
-2.10
0.042
-544.2906
-10.86399
------------------------------------------------------------------------------

4. Ví dụ
exp 73 = β1 + β 2inc73 + β 3 res74 + β 4 urb70 + u
N = 49
reg

exp75

income73 residen74 urban70

Source |
SS
df
MS
-------------+-----------------------------Model | 56943.7919
3
18981.264
Residual | 57699.7591
45 1282.21687
-------------+-----------------------------Total | 114643.551
48 2388.40731

Number of obs
F( 3,
45)
Prob > F
R-squared
Adj R-squared
Root MSE

=
=
=
=
=
=

49
14.80
0.0000
0.4967
0.4631
35.808

-----------------------------------------------------------------------------exp75 |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------income73 |
.0482933
.012147
3.98
0.000
.0238281
.0727586
residen74 |
.8869283

.33114
2.68
0.010
.219978
1.553879
urban70 |
.0667917
.04934
1.35
0.183
-.0325841
.1661675
_cons | -277.5773
132.4229
-2.10
0.042
-544.2906
-10.86399
------------------------------------------------------------------------------