MÔ HÌNH HỒI QUY BỘI 1

BÀI GIẢNG
KINH TẾ LƯỢNG
ECONOMETRICS
Lê Anh Đức
Khoa Toán kinh tế
ĐH Kinh tế Quốc dân
1
CHƯƠNG III: MÔ HÌNH HỒI QUY BỘI
3.1. Mô hình hồi quy ba biến
3.2. Các giả thiết của mô hình
3.3. Ước lượng các tham số của mô hình hồi quy ba biến
3.4. Phương sai và độ lệch chuẩn của các ước lượng OLS
3.5. Mô hình hồi quy tuyến tính k biến - phương pháp ma
trận
3.6. Ước lượng của các tham số OLS
3.7. Ma trận hiệp phương sai của
2
ˆ
β
3.8. Các tính chất của ước lượng OLS
3.9. Ước lượng hợp lý tối đa
3.10. Hệ số xác định bội R
2
và hệ số xác định bội đã hiệu
chỉnh
3.11. Ma trận tương quan
3.12. Hệ số tương quan riêng phần
3.13. Kiểm định giả thiết và khoảng tin cậy của các hệ số
hồi quy riêng – kiểm định T
3.14. Kiểm định giả thiết R
2

= 0
3.15. Kiểm định có điều kiện ràng buộc – Kiểm định F
3.16. Dự báo
3.17. Thí dụ
3.18. Một số dạng của hàm hồi quy
3
2
R
3.1. Mô hình hồi quy ba biến
•
Xét mô hình:
•
Trong đó
Y là biến phụ thuộc
X
2i
X
3i
là hai biến độc lập
β
1
là hệ số chặn
β
2
, β
3
là các hệ số góc riêng phần (hệ số hồi quy riêng)
4
2 3 1 2 2 3 3
1 2 2 3 3

: ( / , )
: ( 1 )
i i i i
i i i i
PRF E Y X X X X
PRM Y X X U i N
β β β
β β β
= + +
= + + + = ÷
•
Ý nghĩa
Hệ số β
1
= E(Y/X
2i
= X
3i
= 0) là giá trị trung bình của Y
khi X
2i
= X
3i
= 0.
β
2
cho biết khi X
2
tăng một đơn vị thì trung bình của Y
thay đổi như thế nào trong điều kiện X

3
không thay đổi.
β
3
cho biết khi X
3
tăng một đơn vị thì trung bình của Y
thay đổi như thế nào trong điều kiện X
2
không thay đổi.
5
2 3
2
2
( / , )E Y X X
X
β
∂
=
∂
2 3
3
3
( / , )E Y X X
X
β
∂
=
∂
3.2. Các giả thiết của mô hình

•
GT1: Biến độc lập là phi ngẫu nhiên
•
GT2: Kỳ vọng của các SSNN bằng 0
E(U
i
) = 0 ∀ i
•
GT3: Phương sai của các SSNN bằng nhau
Var(U
i
) = Var(U
j
) = σ
2
∀ i ≠ j
•
GT4: Các SSNN không tuơng quan với nhau
Cov(U
i
,U
j
) = 0 ∀ i ≠ j
•
GT5: Các SSNN và các biến độc lập không tương quan với nhau
Cov(U
i
, X
2i
) = 0, Cov(U

i
, X
3i
) = 0 ∀ i
•
GT6: Các sai số ngẫu nhiên có phân phối chuẩn
•
GT7: Các biến giải thích không có quan hệ tuyến tính
6
2
(0, )
i
U N
σ
:
3.3. Ước lượng các tham số của mô hình
hồi quy ba biến
•
Trong tổng thể
•
Trong mẫu
là các ước lượng điểm của β
1
,β
2
,β
3

là ước lượng điểm của E(Y/X
2i

,X
3i
)
e
i
là ước lượng điểm của U
i
7
2 3 1 2 2 3 3
1 2 2 3 3
: ( / , )
: ( 1 )
i i i i
i i i i
PRF E Y X X X X
PRM Y X X U i N
β β β
β β β
= + +
= + + + = ÷
{ }
2 3
( , , ): 1
i i i
W Y X X i n
= = ÷
1 2 2 3 3
1 2 2 3 3
ˆ ˆ ˆ
ˆ

:
ˆ ˆ ˆ
: ( 1 )
i i i
i i i i
SRF Y X X
SRM Y X X e i n
β β β
β β β
= + +
= + + + = ÷
1 2 3
ˆ ˆ ˆ
, ,
β β β
ˆ
i
Y
•
Phương pháp ước lượng OLS
Tìm sao cho:
•
Các hệ số là nghiệm của hệ
8
2 2 2
1 2 2 3 3 1 2 3
1 1 1
ˆ ˆ ˆ ˆ ˆ ˆ
ˆ
( ) ( ) ( , , )

n n n
i i i i i i
i i i
RSS e Y Y Y X X f Min
β β β β β β
= = =
= = − = − − − = →
∑ ∑ ∑
1 2 3
ˆ ˆ ˆ
, ,
β β β
1 2 3
ˆ ˆ ˆ
, ,
β β β
1 2 3
1 2 2 3 3
1
1
1 2 3
2 1 2 2 3 3
1
2
1 2 3
3 1 2 2 3 3
1
3
ˆ ˆ ˆ
( , , )

ˆ ˆ ˆ
2 ( ) 0
ˆ
ˆ ˆ ˆ
( , , )
ˆ ˆ ˆ
2 ( ) 0
ˆ
ˆ ˆ ˆ
( , , )
ˆ ˆ ˆ
2 ( ) 0
ˆ
n
i i i
i
n
i i i i
i
n
i i i i
i
f
Y X X
f
X Y X X
f
X Y X X
β β β
β β β

β
β β β
β β β
β
β β β
β β β
β
=
=
=

∂
= − − − − =

∂


∂

= − − − − =

∂


∂

= − − − − =

∂


∑
∑
∑
•
Ký hiệu
9
1 2 2 3 3
1 1 1
2
1 2 2 2 3 2 3 2
1 1 1 1
2
1 3 2 2 3 3 3 3
1 1 1 1
ˆ ˆ ˆ
ˆ ˆ ˆ
ˆ ˆ ˆ
n n n
i i i
i i i
n n n n
i i i i i i
i i i i
n n n n
i i i i i i
i i i i
n X X Y
X X X X X Y
X X X X X Y
β β β

β β β
β β β
= = =
= = = =
= = = =

+ + =



⇔ + + =



+ + =


∑ ∑ ∑
∑ ∑ ∑ ∑
∑ ∑ ∑ ∑
1
2 2 2 2 2
1
3 3 3 3 3
1
1
;
1
;
1

;
n
i i i
i
n
i i i
i
n
i i i
i
Y Y y Y Y
n
X X x X X
n
X X x X X
n
=
=
=
= = −
= = −
= = −
∑
∑
∑
•
Ta có
10
1 2 2 3 3
2

2 3 3 3 2
1 1 1 1
2
2 2 2
2 3 3 2
1 1 1
2
3 2 2 3 2
1 1 1 1
3
2 2 2
2 3 3 2
1 1 1
ˆ ˆ ˆ
( )( ) ( )( )
ˆ
( )( ) ( )
( )( ) ( )( )
ˆ
( )( ) ( )
n n n n
i i i i i i i
i i i i
n n n
i i i i
i i i
n n n n
i i i i i i i
i i i i
n n n

i i i i
i i i
Y X X
x y x x y x x
x x x x
x y x x y x x
x x x x
β β β
β
β
= = = =
= = =
= = = =
= = =
= − −
−
=
−
−
=
−
∑ ∑ ∑ ∑
∑ ∑ ∑
∑ ∑ ∑ ∑
∑ ∑ ∑
3.4. Phương sai và độ lệch chuẩn của các
ước lượng OLS
11
2 2 2 2
2 3 3 2 2 3 3 2

2
1 1 1
1 1 1
2 2 2
2 3 3 2
1 1 1
2
2
3
2
1
2
2 2 2 2
2 3 3 2 2
1 1 1 1
( ) ( ) (2 )
1
ˆ ˆ ˆ
( ) ( ) ( )
( )( ) ( )
ˆ
( )
( )( ) ( ) (1
n n n
i i i i
i i i
n n n
i i i i
i i i
n

i
i
n n n n
i i i i i
i i i i
X x X x X X x x
Var Se Var
n
x x x x
x
Var
x x x x x
β σ β β
σ
β σ
= = =
= = =
=
= = = =
 
+ −
 
 
= + ⇒ =
 
−
 
 
= =
− −

∑ ∑ ∑
∑ ∑ ∑
∑
∑ ∑ ∑ ∑
2 2
2
23
2
22
2
1
3 3 3
2 2 2 2 2
2 3 3 2 3 23
1 1 1 1
ˆ ˆ
( ) ( )
)
ˆ ˆ ˆ
( ) ( ) ( )
( )( ) ( ) (1 )
n
i
i
n n n n
i i i i i
i i i i
Se Var
r
x

Var Se Var
x x x x x r
β β
σ
β σ β β
=
= = = =
⇒ =
= = ⇒ =
− −
∑
∑ ∑ ∑ ∑
•
Ma trận hiệp phương sai của các ước lượng OLS
•
Ta có
12
1 1 1 2 1 3
2 1 2 2 2 3
3 1 3 2 3 3
ˆ ˆ ˆ ˆ ˆ ˆ
( , ) ( , ) ( , )
ˆ ˆ ˆ ˆ ˆ ˆ ˆ
( ) ( , ) ( , ) ( , )
ˆ ˆ ˆ ˆ ˆ ˆ
( , ) ( , ) ( , )
ˆ ˆ ˆ ˆ
( , ) ( , )( )
ˆ ˆ ˆ
( , ) ( )( )

i j j i
i i i
Cov Cov Cov
Cov Cov Cov C ov
Cov Cov Cov
Cov Cov i j
Cov Var i
β β β β β β
β β β β β β β
β β β β β β
β β β β
β β β
 
 ÷
=
 ÷
 ÷
 ÷
 
= ∀ ≠
= ∀
2
23
2 3
2 2
23 2 3
1 1
ˆ ˆ
( , )
(1 )

n n
i i
i i
r
Cov
r x x
σ
β β
= =
−
=
−
∑ ∑
•
Trong đó
Sai số tiêu chuẩn của đường hồi quy
r
23
là hệ số tương quan của biến X
2
,X
3
13
2
2
1
ˆ
3
n
i

i
e
n
σ
=
=
−
∑
2
2 3
2
1
23
2 2
2 3
1 1
( )
n
i i
i
n n
i i
i i
x x
r
x x
=
= =
=
∑

∑ ∑
•
Hệ số xác định bội của mô hình
Hệ số xác định bội cho biết tỷ lệ % sự biến thiên
của Y được giải thích thông qua hai biến độc lập
X
2
và X
3
của mô hình.
14
2 2 3 3
2
1 1
2
1
ˆ ˆ
1
n n
i i i i
i i
n
i
i
x y x y
ESS RSS
R
TSS TSS
y
β β

= =
=
+
= = − =
∑ ∑
∑
•
Hệ số tương quan
- Hệ số tương quan bội
đo mức độ tương quan tuyến tính chung giữa Y, X
2
và X
3
- Hệ số tương quan cặp(Simple correlation coefficent)
+ Hệ số r
12
đo mức độ tương quan tuyến tính giữa Y và X
2
+ Hệ số r
13
đo mức độ tương quan tuyến tính giữa Y và X
3
+ Hệ số r
23
đo mức độ tương quan tuyến tính giữa X
2
và X
3
15
2

R R
=
2 2 2
2 3 2 3
2 2 2
1 1 1
12 13 23
2 2 2 2 2 2
2 3 2 3
1 1 1 1 1 1
( ) ( ) ( )
; ;
n n n
i i i i i i
i i i
n n n n n n
i i i i i i
i i i i i i
x y x y x x
r r r
x y x y x x
= = =
= = = = = =
= = =
∑ ∑ ∑
∑ ∑ ∑ ∑ ∑ ∑
- Ma trận hệ số tương quan
16
11 12 13 12 13
21 22 23 21 23

31 32 33 31 32
1
1 ( )
1
ij ji
r r r r r
r r r r r r r r i j
r r r r r
   
 ÷  ÷
= = = ∀ ≠
 ÷  ÷
 ÷  ÷
   
- Hệ số tương quan riêng phần (Partical correlation
coefficient)
+ Hệ số r
12,3
đo mức độ tương quan tuyến tính giữa Y và
X
2
khi X
3
không đổi.
+ Hệ số r
13,2
đo mức độ tương quan tuyến tính giữa Y và
X
3
khi X

2
không đổi.
+ Hệ số r
23,1
đo mức độ tương quan tuyến tính giữa X
2
và
X
3
khi Y không đổi.
17
12 13 23 13 12 23 23 12 13
12,3 13,2 23,1
2 2 2 2 2 2
13 23 12 23 12 13
(1 )(1 ) (1 )(1 ) (1 )(1 )
r r r r r r r r r
r r r
r r r r r r
− − −
= = =
− − − − − −
3.5. Mô hình hồi quy tuyến tính k biến –
phương pháp ma trận
•
Xét mô hình:
•
Trong đó
Y là biến phụ thuộc
X

2i
X
3i
, …,X
ki
là các biến độc lập
β
1
là hệ số chặn
β
2
,β
3
, …, β
k
là các hệ số góc riêng phần (hệ số hồi quy riêng)
•
Giá trị của k cho biết: Số biến và số tham số cần ước
lượng của mô hình
18
2 3 1 2 2 3 3
1 2 2 3 3
: ( / , , , )
: ( 1 )
i i ki i i k ki
i i i k ki i
PRF E Y X X X X X X
PRM Y X X X U i N
β β β β
β β β β

= + + + +
= + + + + + = ÷
•
Ý nghĩa
Hệ số β
1
= E(Y/X
2i
= X
3i
= …= X
ki
= 0) là giá trị trung
bình của Y khi X
2i
= X
3i
= …= X
ki
= 0.
β
m
cho biết khi X
m
tăng một đơn vị thì trung bình của Y
thay đổi như thế nào trong điều kiện các biến X
j

không thay đổi.
19

2 3
( / , , , )
( 2 )
k
m
m
E Y X X X
m k
X
β
∂
= = ÷
∂
( )j m
∀ ≠
•
Giả sử có n quan sát, mỗi quan sát có k giá trị
(Y
i
, X
2i
, …, X
ki
)
•
Ký hiệu
•
Khi đó
20
1 21 1 1 1

2 22 2 2 2
2
1 1 1
1
1

1
k
k
n n kn k n
n n k k n
Y X X U
Y X X U
Y X U
Y X X U
β
β
β
β
× × × ×
       
 ÷  ÷  ÷  ÷
 ÷  ÷  ÷  ÷
= = = =
 ÷  ÷  ÷  ÷
 ÷  ÷  ÷  ÷
       
: ( )
:
PRF E Y X

PRM Y X U
β
β
=
= +
•
Các giả thiết của mô hình
GT1: Biến độc lập là phi ngẫu nhiên
GT2: Kỳ vọng của các SSNN bằng 0
E(U
i
) = 0 ∀ i
GT3: Phương sai của các SSNN bằng nhau
Var(U
i
) = Var(U
j
) = σ
2
∀ i ≠ j
GT4: Các SSNN không tuơng quan với nhau
Cov(U
i
,U
j
) = 0 ∀ i ≠ j
GT5: Các SSNN và biến độc lập không tương quan với nhau
Cov(U
i
, X

mi
) = 0 ∀ i,m
GT6: Các sai số ngẫu nhiên có phân phối chuẩn
GT7: Các biến giải thích không có quan hệ tuyến tính – Ma trận
X là không suy biến.
21
2
(0, )
i
U N
σ
:
3.6. Ước lượng các tham số OLS
•
Trong tổng thể
•
Trong mẫu
là các ước lượng điểm của β
1
,β
2
,…,β
k

là ước lượng điểm của E(Y/X
2i
, X
3i
,…,X
ki

)
e
i
là ước lượng điểm của U
i
22
{ }
2 3
( , , ): 1
i i i
W Y X X i n
= = ÷
1 2 2 3 3
1 2 2 3 3
ˆ ˆ ˆ ˆ
ˆ
:
ˆ ˆ ˆ ˆ
ˆ
: ( 1 )
i i i k ki
i i i k ki i
SRF Y X X X
SRM Y X X X e i n
β β β β
β β β β
= + + + +
= + + + + + = ÷
1 2
ˆ ˆ ˆ

, , ,
k
β β β
ˆ
i
Y
2 3 1 2 2 3 3
1 2 2 3 3
: ( / , , , )
: ( 1 )
i i ki i i k ki
i i i k ki i
PRF E Y X X X X X X
PRM Y X X X U i N
β β β β
β β β β
= + + + +
= + + + + + = ÷
•
Ký hiệu
•
Khi đó
23
1
1
1
2
2
2
1

1
1
ˆ
ˆ
ˆ
ˆ
ˆ
ˆ



ˆ
ˆ
n
n
n
k
n
k
Y
e
e
Y
Y e
e
Y
β
β
β
β

×
×
×
 
 
 
 ÷
 ÷
 ÷
 ÷
 ÷
 ÷
= = =
 ÷
 ÷
 ÷
 ÷
 ÷
 ÷
 ÷
 ÷
 
 
 
ˆ
ˆ
:
ˆ
:
SRF Y X

SRM Y X e
β
β
=
= +
•
Phương pháp ước lượng OLS
Tìm véc tơ sao cho:
•
Véc tơ là nghiệm của hệ
24
ˆ ˆ ˆ ˆ ˆ ˆ
( )( ) 2 ( )
T T T T T T T
RSS e e Y X Y X Y Y X Y X X f Min
β β β β β β
= = − − = − + = →
ˆ
β
ˆ
β
1
ˆ
( )
0
ˆ
ˆ
( )
T T
f

X X X Y
β
β
β
−
∂
=
∂
⇒ =
3.7. Ma trận hiệp phương sai của
•
Ta có
•
Sai số tiêu chuẩn của đường hồi quy
25
1 1 2 1
2
2 1 2 2
1 2
ˆ ˆ ˆ ˆ ˆ
( ) ( , ) ( , )
ˆ ˆ ˆ ˆ ˆ
( , ) ( ) ( , )
ˆ
( ) ( )

ˆ ˆ ˆ ˆ ˆ
( , ) ( , ) ( )
k
T

k
k k k
Var Cov Cov
Cov Var Cov
Cov X X
Cov Cov Var
β β β β β
β β β β β
β σ
β β β β β
 
 ÷
 ÷
= =
 ÷
 ÷
 ÷
 
ˆ
β
2
ˆ
( )
T
e e
n k
σ
=
−