Bài giảng Kinh tế lượng - Chương 3: Hồi quy đa biến

09/09/2014

HỒI QUY ĐA BIẾN

CHƯƠNG 3
HỒI QUY ĐA B
BIẾN

MỤ C
TIÊU

1. Biết đư ợc phương phá p ước
lượng bình phương nhỏ nhất để
ước lượng hàm hồi quy đa biến
tổng thể dựa trên số liệu mẫu
2. Hiểu các cách kiểm định những
giả thiết

2

NỘI DUNG
1

Mô hình hồi quy 3 biến

2

Mô hình hồi quy k biến

3

Dự báo

3.1 Mô hình hồi quy 3 biến
�Mô hình hồi quy tổng thể PRF

E (Y / X 2 , X 3 ) = β1 + β 2 X 2 + β3
X3
kiện của Y với điều kiện đã biết các giá trị
Ý nghĩa: PRF cho biết trung bình có điều
cố định của biến X2 và X3.
�Y:
biến phụ thuộc
biến độc lập
�X2 và X3:
�β1 :
hệ số tự do
hệ số hồi quy riêng
�β2 , β3 :

5

3

4

3.1 Mô hình hồi quy 3 biến
Ýnghĩahệsốhồiquyriêng:chobiếtảnh
hưởngcủatừngbiếnđộclậplêngiátrịtrung
bìnhcủabiếnphụthuộckhicácbiếncònlại
đượcgiữkhôngđổi.

�Mô hình hồi quy tổng thể ngẫu nhiên:

Yi = β 1 + 2 X2i +β 3 X3i + u i
β
u : sai số ngẫu
nhiên của tổng thể
i

5

Các giả thiết của mô hình
1. Giá
của
g bình
ng 0
á ttrị ttrung
b
c a Ui bằng
X3i3 )=0
E(U
/ 2i,
E Ui /X
=0
2
P
2. Phương
đổi
củ các
ng sai
sa của

hôn đ
ổ
c á Ui là
à không
) 2
Var(Ui)=σ
Var(U
K ông có
3. Khôn
gi
c hiện
h ệ tượng
ợng ttự tươn
ư ơng quan
g
quan giữa
á
các
c c Ui
i≠j
0 i≠
Cov(U
≠
Cov Ui ,Uj ))=0;
ng có
ợn
c
4. Khôn
hiện
tượng

cộng
ệ
g
ữa X2
ô
ng tuyến
c
uy giữa
h
K
àX
và
v X3
p ố chuẩn:
5.UUi có
ch ẩn Ui N (0,
â phối
0 σ2 )
ó phân
6

1


09/09/2014

3.1.1 Ước lượng các tham số

3.1.1 Ước lượng các tham số

­ 1βˆ ­2 βˆ2iX
Q= ∑ei 2 = ∑ (Y
i
­ βˆ

Hàm hồi quy mẫu:

dQ
=­2∑ (Yi βˆ1 ­ βˆ
dβˆ1
X 2
­

Yˆi = βˆ1 + ˆβ2 X 2i + βˆ3 X 3i + ei
sai số của mẫu ứng với quan sát thứ i

Sử dụng phương pháp bình phương
nhỏ nhất để ước lượng các tham số
βˆ , βˆ , βˆ
2

X 3i )2 → min

­βˆ3 X 3i) =
0

dQ
= 2∑ (Yi ­βˆ1 ­βˆ2 X 2i ­βˆ3 X 3i )(­ X2i ) =
dβˆ 2
0

ei = Yi ­ˆYi

1

2i

3

dQ 2 (Y ˆ
= ∑ i ­β 1 ­βˆ2 X 2i ­ βˆ X )(­ X ) =
dβˆ 3
0 3 3i
3i

3

7

8

Năm

Sản lượng
QD(Y)

Giá bán (X2)

Chi phí quảng
cáo (X3)

2002
2003

100

80

40

80

100

30

2004

70

120

25

2005

69

140

20

2006

58

160

19

2007
2008

49
43

180
200

15
14

2009

41

220

10

2010

38

240

11

2011

36

260

10

3.1.1 Ước lượng các tham số

x 3 2­
y x 3i ∑
x 2 x3 i
∑y xi 2 ∑
i
i ∑
i
βˆ2 =
2
2
∑ x 2i ∑ x3i ­ ∑ x 2ix 3i ) 2
(

βˆ3 =

i

∑yix3i∑ x22i ­ ∑ yi x2i∑ x2i x3i
∑x ∑x

­ ∑x2i x3i )2
(
βˆ1 = Y βˆ2 X 2i ­βˆ3 X 3i
2
2i

xi = X i
­

­
X

2
3i

y i = Yi ­ Y
9

3.1.2 Phương sai của các ước lượng

Hệ số xác định

X22∑ x32i + X 32 ∑ x22i ­2 X2 X 3 ∑ x2i x3i

1
Var (βˆ1 ) = (
∑x22i∑ x32i ­ ∑x2i x3i )2
+
n
(
∑x3 2i
Var (βˆ2 )
σ2
∑ x 22i ∑ x32i ­ ∑ x 2ix 3i ) 2
=
( 2

)σ 2

n

ESS
RSS
=1
=1
R =
TSS ­ TSS ­
2

∑e

2

i

i=1
n

∑y

2
i

i
=1

∑ x2i
σ2
Var (βˆ3 )
2
2
2
x
∑
2i ∑ x3i ­ (∑x 2i x3i )
=
σ2 là phương sai của ui chưa biết nên dùng ước
lượng không chệch:
∑ ei 2 = (1 R2 )∑ i y2
σˆ 2 =
n­ 3 ­ n­ 3

Hệ số xác định R2

11

βˆ2 ∑yi x2i + ˆβ3 ∑yi
x3i
∑yi2

Mô hình hồi quy 3 biến R2 =
Hệ số xác định hiệu chỉnh
Với k là tham số của mô hình,
kể cả hệ số tự do

2

∑ e (n ­ k)
i

R

2

=

∑y

2
i

( n ­ 1)
12

2


09/09/2014

3.1.4 Khoảng tin cậy

Hệ số xác định hiệu chỉnh

n­ 1
R2 = 1 ­ (1 ­ 2R
­k
n
)
Dùng R 2 để xét việc đưa thêm 1 biến vào mô
hình. Biến mới đưa vào mô hình phải thỏa 2
điều kiện:

Với mức ý nghĩa α hay độ tin cậy 1- α

β i ∈ ( βˆ i ­ ε i ; βˆ i + ε i )
Với

ε

2

- Làm R tăng
- Hệ số hồi quy biến mới thêm vào mô hình

khác 0 có ý nghĩa

i

= SE ( βˆ i ) t( n ­ 3 ,α

/2)

13

14

3.1.5 Kiểm định giả thiết

1. Kiểm định giả thiết H0: β i = β i
B1. Tính

ti =

3.1.5 Kiểm định giả thiết
*

2. Kiểm định giả thiết đồng thời bằng không:
H0: β2 = β3 = 0;
(H1: ít nhất 1 tham số khác 0)
B1. Tính
2

βiˆ ­βi *
SE (βˆi )

R (n ­ 3)
(1 R 2 ) 2
­
B2. Nguyên tắc quyết
định
F =

B2. Nguyên tắc quyết định
�Nếu |ti | > t(n-3,α/2): bác bỏ H0
�Nếu |ti | ≤ t(n-3,α/2) : chấp nhận H0

�F > Fα(2, n-3): Bác bỏ H0: Mô hình phù hợp
�F ≤ Fα(2, n-3): Chấp nhận H0: Mô hình không
phù hợp
15

16

3.2 Mô hình hồi quy k biến

3.2.1 Ước lượng các tham số

∑e =∑(Y ­βˆ ­βˆ X ­βˆ X ­...­βˆ )→min
n

Mô hình hồi quy tổng thể

E (Y / X2 ,... Xk ) = β 1 + β2 X2i + ... β k Xki
+

Mô hình hồi quy mẫu ngẫu nhiên:

Yˆi = βˆ1 +βˆ2 X 2i + ... + βˆ
X
k

2

n

2
i

ki

+ ei

sai số của mẫu ứng với quan sát thứ i

ˆ β1 ˆ­β2X2iˆ­β3X3i
ei =Yi ­ˆYi =Yi ­
­...­βk X ki

i

i =1
n

∂ ∑ ei

1

2

2i

3

3i

k

ki

i =1

X

2

=
∂β 1
­2
n
∂ ∑ ei 2
i=1
=
∂β 2 ­2
...
i=1

(Yi ­βˆ ­βˆ X i ­βˆ X i ­
∑
i
n

1

=1

2

2

3

...­

∑(Y ­βˆ ­βˆ X
n

i=1

3

i

1

2

2i

βˆk X ki

)0
=

)

­βˆ3 X 3i ­ βˆk X ki, X 2 i =0
...­

n

∂ ∑ ei 2

ˆ

i=1

∂β k
17

=
­2

(Yi ­βˆ ­βˆ X i ­βˆ X i ­
∑
i

n

=
1

1

2

2

3

3

)

βˆk X ki X ki =0

...­
18

3


09/09/2014

Hệ số xác định

3.2.2 Khoảng tin cậy

Với mức ý nghĩa α hay độ tin cậy 1- α

R2 =

β i ∈ (βˆi ­ εi ; βˆi + εi )
Với

ˆ
βˆ2 ∑ yx
βˆ i kiyx
... k ∑
3i + +
i 2i + 3β∑ i yx

∑y

2
i

Hệ số xác định hiệu chỉnh

ε i = SE i).t (n ­k ,α/ 2)
(βˆ

n
R 2 =1­ (1­ R ­1
n ­k
2
)

Với k là tham số của mô hình, kể cả hệ số
tự do
19

Hệ số xác định hiệu chỉnh

20

3.2.3 Kiểm định các giả thiết hồi quy

n­ 1
R2 = 1 (1 ­ R2
n­ k
­ )
Dùng R 2 để xem xét việc đưa thêm biến vào
mô hình. Biến mới đưa vào mô hình phải
thỏa 2 điều kiện:
- Làm R 2 tăng
- Biến mới có ý nghĩa thống kê trong mô
hình mới

1. Kiểm định giả thiết về hệ số hồi quy

KiểmđịnhgiảthiếtH0:
B1.Tính

ti =

β i = β i*

βˆi ­i *
SEβ(βˆi )

B2. Nguyên tắc quyết định
�Nếu |ti | > t(n-k,α/2) : bác bỏ H0
�Nếu |ti | ≤ t(n-k,α/2) : chấp nhận H0

21

3.2.4 Kiểm định các giả thiết hồi quy

22

3.3 DỰ BÁO

2. Kiểm định sự phù hợp của mô hình: kiểm
định giả thiết đồng thời bằng không:
H0: β2 = β3 =…= βk = 0;
(H1: ít nhất 1 trong k tham số khác 0)
R 2 ( n ­ k)
F=
B1. Tính
(1 R 2 )( k ­ 1)
B2. Nguyên tắc quyết­định:
�Nếu F > Fα(k-1, n-k): Bác bỏ H0: Mô hình phù
hợp
�Nếu F ≤ Fα(k-1, n-k): Chấp nhận H0: Mô hình
không phù hợp
23

Mô hình hồi quy
Yˆi = βˆ1 + βˆ 2 X 2 + ....
+

βˆk X k

⎡ ⎤
1⎥ 0 ⎥
⎥X 2 ⎥
0
Cho trước giá trị X = ⎥ ⎥
..
.. 0 ⎥
⎥ k
⎥ giá trị cá biệt của
Dự báo giá trị trung bình và
Y với mức ý nghĩa α hay⎣độ tin cậy 1 - α.
X
24

4


09/09/2014

3.3 DỰ BÁO

3.3 DỰ BÁO

* Ước lượng điểm

* Dự báo giá trị cá biệt của Y

Yˆ0 = βˆ1 + ˆ X 20 + ... βˆk X k
β2 bình của+Y
* Dự báo giá trị trung
) ∈ (Yˆ0 ­ ε0
;Yˆ
ε0 = SE (Yˆ0 )t ( n­ k ,α / 2 )

E(Y / X

Với:

0

0

+ ε0 )

0T

T

( X .X )

Với:

ε0' = SE(Y 0 ­ Yˆ0 )t ( n­ k,α / 2 )
SE (Y 0­ Yˆ0 )

=

SE (Yˆ0 ) = Var (Yˆ 0)
Var (Y ˆ0 ) =σˆ 2 X

ˆ
Y 0 ∈ ( Y 0 ­ ε 0' ;Yˆ 0 + ε 0' )

0

­
1

.X

Var (Y 0­ Yˆ0 )

Var(Y0 ­Yˆ 0 ) =Varˆ(Y0 )
+σˆ

0

25

2

26

5