Chương 3: Mô hình hồi quy bội pot

CHƯƠNG 3.
MÔ HÌNH HỒI QUI BỘI
1
MÔ HÌNH HỒI QUI BỘI
Hồi qui bội Nguyễn Thị Minh Hiếu
I. MÔ HÌNH HI QUI 3 BIN
I.1. Dạng mô hình
Hàm hồi qui tổng thể (PRF):
E(Y|X
2i
,X
3i
) = β
1
+ β
2
X
2i
+ β
3
X
3i
Y
i
= E(Y|X
2i
,X
3i
) + u
i
=

β
1
+
β
2
X
2i
+
β
3
X
3i
+ u
i
2
Y
i
= E(Y|X
2i
,X
3i
) + u
i
=
β
1
+
β
2
X

2i
+
β
3
X
3i
+ u
i
Y: biến phụ thuộc
X
2
, X
3
: biến giải thích
u: sai số ngẫu nhiên
i thứ tự của quan sát
Hồi qui bội Nguyễn Thị Minh Hiếu
I.1. Dạng mô hình
β
1
: hệ số chặn
β
1
= E(Y|X
2
=X
3
=0): cho biết tác ñộng trung bình
của các biến không có trong mô hình lên biến
phụ thuộc và ñược thể hiện bằng giá trị trung

bình của Y khi X
2
= X
3
=0
β
,
β
: gọi là hệ số hồi qui riêng.
3
β
2
,
β
3
: gọi là hệ số hồi qui riêng.
cho biết sự thay ñổi trung bình của biến phụ
thuộc Y khi X
2
thay ñổi 1 ñơn vị với ñiều kiện X
3
không ñổi.
2
2
( ¦ )
E Y X
X
β
∂
=

∂
Hồi qui bội Nguyễn Thị Minh Hiếu
2. Các giả thiết OLS
1. Các biến giải thích là phi ngẫu nhiên
2. Kỳ vọng của sai số ngẫu nhiên u bằng 0,
E(u|X
i
) = 0
3. Phương sai của u thuần nhất (bằng nhau)
var(u|X
i
) =
σ
2
(với
∀
i)
4
var(u|X
i
) =
σ
(với
∀
i)
4. Không có tự tương quan giữa các yếu tố
ngẫu nhiên Cov(u
i
,u
j

|X
i
,X
j
) = 0 (với ∀i ≠ j)
5. u và X không tương quan với nhau
Cov (u
i
, X
i
) = 0
6. Giữa các biến X
2
, X
3
không có quan hệ tuyến
tính chính xác (ña công tuyến hoàn hảo)
7. u có phân bố chuẩn, u~N (0,σ
2
)
Hồi qui bội Nguyễn Thị Minh Hiếu
3. Ước lượng các tham số của mô hình
hồi qui 3 biến bằng phương pháp OLS
ii33i221i
eX
ˆ
X
ˆ
ˆ
Y +β+β+β=

i
3
3
i
2
2
1
i
i
X
ˆ
X
ˆ
ˆ
Ye β−β−β−=
5
i
3
3
i
2
2
1
i
i
( )
2
2
1 2 2 3 3
1 1

ˆ ˆ ˆ
min
n n
i i i i
i i
e Y X X
β β β
= =
= − − − ⇒
∑ ∑
Hồi qui bội Nguyễn Thị Minh Hiếu
( )
( )
(
)
(
)
2
1 2 2 3 3
1
1
2
ˆ ˆ ˆ
2 1 0
ˆ
n
i
i i i
i
n

e
Y X X
e
β β β
β
=
∂
= − − − − =
∂
∂
∑
∑
∑
∑
3. Ước lượng các tham số của mô hình
hồi qui 3 biến bằng phương pháp OLS
6
(
)
(
)
( )
( )
2
1 2 2 3 3 2
1
2
2
1 2 2 3 3 3
1

3
ˆ ˆ ˆ
2 0
ˆ
ˆ ˆ ˆ
2 0
ˆ
n
i
i i i i
i
n
i
i i i i
i
e
Y X X X
e
Y X X X
β β β
β
β β β
β
=
=
∂
= − − − − =
∂
∂
= − − − − =

∂
∑
∑
∑
∑
Hồi qui bội Nguyễn Thị Minh Hiếu
3. Ước lượng các tham số của mô hình
hồi qui 3 biến bằng phương pháp OLS




=
β
+
β
+
β
=β+β+β
∑
∑
∑
∑
∑∑∑
===
n
n
n
2
n

n
1i
i
n
1i
i33
n
1i
i221
ˆ
ˆ
ˆ
YX
ˆ
X
ˆˆ
n
7






=β+β+β
=
β
+
β
+

β
∑∑∑∑
∑
∑
∑
∑
====
====
n
1i
i3i
n
1i
2
i33
n
1i
i3i22
n
1i
i31
n
1i
i2i
n
1i
i3i23
n
1i
2

i22
n
1i
i21
XYX
ˆ
XX
ˆ
X
ˆ
XYXX
ˆ
X
ˆ
X
ˆ
Hồi qui bội Nguyễn Thị Minh Hiếu
3. Ước lượng các tham số của mô hình
hồi qui 3 biến bằng phương pháp OLS
33221
ˆ
ˆ
ˆ
XXY
βββ
−−=
2
1
32
1

3
1
2
3
1
2
2
ˆ














−













=
∑∑∑∑
====
n
i
ii
n
i
ii
n
i
i
n
i
ii
xxxyxxy
β
8
2
1
32
1
2
3
1

2
2
2






−
=
∑∑∑
===
n
i
ii
n
i
i
n
i
i
xxxx
β
2
1
33
1
2
3

1
2
2
1
32
1
2
1
2
2
1
3
3
ˆ






−













−












=
∑∑∑
∑∑∑∑
===
====
n
i
ii
n
i
i
n
i
i

n
i
ii
n
i
ii
n
i
i
n
i
ii
xxxx
xxxyxxy
β
Hồi qui bội
3. Ước lượng các tham số của mô hình
hồi qui 3 biến bằng phương pháp OLS
YYy
ii
−=
2i2i2
XXx −=
3i3i3
XXx −=
9
• ñược gọi là các ước lượng bình phương
nhỏ nhất
1 2 3
ˆ ˆ ˆ

, ,
β β β
∑
=
=
n
1i
i
X
n
1
X
∑
=
=
n
1i
i
Y
n
1
Y
Nguyễn Thị Minh Hiếu
4. Phương sai và ñộ lệch chuẩn của
các ước lượng bình phương nhỏ nhất
( )
2
2
n
i

3
i
2
n
2
i
3
n
2
i
2
n
1i
2
i3
2
x
x
x
x
x
ˆ
var σ




−
=β
∑

∑
∑
∑
=
10
1i
i
3
i
2
1i
i
3
1i
i
2
x
x
x
x




−
∑
∑
∑
===
2

2 2
2 23
(1 )
i
x r
σ
=
−
∑
Hồi qui bội Nguyễn Thị Minh Hiếu
Không có σ
2
nên sử dụng thay thế
3. Uớc lượng các tham số của mô hình
hồi qui 3 biến bằng phương pháp OLS
2
ˆ
σ
2
i
e
σ
=
∑
11
2
ˆ
3
i
e

n
σ
=
−
∑
Hồi qui bội Nguyễn Thị Minh Hiếu
II. Mô hình hồi qui k biến tổng quát
1. Mô hình hồi qui k biến
• PRF:E(Y|X
2
,X
3
, ,X
k
) = β
1
+β
2
X
2i
+β
3
X
3i
+ +β
k
X
ki
• Giá trị cá biệt: Y
i

= β
1
+β
2
X
2i
+ β
3
X
3i
+ + β
k
X
ki
+ u
i
u
i
: yêú tố ngẫu nhiên
β
: Hệ số chặn
12
β
1
: Hệ số chặn
β
2
, β3 , , βk: các hệ số hồi qui (hệ số góc)
β
k

cho biết sự thay ñổi trung bình của biến phụ
thuộc, Y, khi X
k
thay ñổi 1 ñơn vị, các biến ñộc
lập khác không ñổi.
Hồi qui bội Nguyễn Thị Minh Hiếu
Mô hình hồi qui k biến








=
2
1
Y
Y
Y
⋮









β
β
=
β
2
1
⋮








=
2
1
U
U
U
⋮









=
2k3222
1k3121
XXX1
XXX1
X
⋮
⋯
⋯
Biểu diễn hàm hồi qui dưới dạng ma trận
13






=
n
Y
Y
⋮






β
=

β
k
⋮






=
n
U
U
⋮






knn3n2
XXX1 ⋯
⋮
⇒ Y = Xβ + u
Hồi qui bội Nguyễn Thị Minh Hiếu
2. Ước lượng các tham số bằng
phương pháp OLS
• e = Y – X
• Phương pháp OLS ước lượng giá trị của
các tham số

sao cho:
β
ˆ
ˆ ˆ ˆ
, , ,
β β β
14
các tham số
sao cho:
1 2
ˆ ˆ ˆ
, , ,
k
β β β
2
1
min
n
i
i
RSS e e e
=
′
= = ⇒
∑
Hồi qui bội Nguyễn Thị Minh Hiếu
2. Ước lượng các tham số bằng
phương pháp OLS
( ) ( )
ˆ ˆ

RSS Y X Y X
β β
′
= − −
β
′
β
′
+β
′
−
′
β
′
−
′
=
ˆ
XX
ˆ
ˆ
XYYX
ˆ
YY
β
′
β
′
+
′

β
′
−
′
=
ˆ
ˆ
ˆ
15
β
′
β
′
+
′
β
′
−
′
=
ˆ
XX
ˆ
YX
ˆ
2YY
ˆ
2 2 0
ˆ
RSS

X Y X X
β
β
∂
′ ′
= − + =
∂
(
)
0XX
1
≠
′
−
(
)
YXXX
ˆ
1
′′
=β
−
⇒
là ma trận hệ số ước lượng OLS
ˆ
β
3. Giả thiết OLS trong mô hình k
biến tổng quát
1. X
2

,X
3
, ,X
k
là các biến xác ñịnh, hay ma
trận X xác ñịnh
(
)
1
1
0
E u
u
 
 
 
 
16
2.
(
)
( )
( )
1
1
2 2
0
0
( )
0

u
u
E u
u
u E u
E u E
u
E u
 
 
 
 
 
 
 
 
 
= = =
 
 
 
 
 
 
 
 
 
 
⋮
⋮

⋮
Hồi qui bội Nguyễn Thị Minh Hiếu
3.
4.
5. cov (X, u) = 0
3. Giả thiết OLS trong mô hình k
biến tổng quát
(
)
cov , 0
i j
u u
=
ji
≠
∀
var(u) = E(u’u) =σ
2
I
17
5. cov (X, u) = 0
6. Không có ña cộng tuyến giữa các biến
ñộc lập hay hạng của ma trận X bằng k
7. u
i
phân bố chuẩn. u∼N(0, σ
2
I)
Hồi qui bội Nguyễn Thị Minh Hiếu
4. Ma trận hiệp phương sai của

ˆ
β
( )
(
)
(
)
(
)
( ) ( ) ( )
(
)
(
)
(
)










βββββ
βββββ
=β
k2212

k1211
ˆ
,
ˆ
cov
ˆ
var
ˆ
,
ˆ
cov
ˆ
,
ˆ
cov
ˆ
,
ˆ
cov
ˆ
var
ˆ
cov
⋮
⋯
⋯
18
(
)
(

)
(
)






βββββ
k2k1k
ˆ
var
ˆ
,
ˆ
cov
ˆ
,
ˆ
cov
⋯
⋮
cov( ) = [X’X]
-1
σ
2
ˆ
β
Hồi qui bội Nguyễn Thị Minh Hiếu

4. Ma trận hiệp phương sai của
• σ
2
không quan sát ñược nên ñược sử
dụng thay thế
ˆ
β
RSS
e
ˆ
n
1
i
2
i
2
=
=
σ
∑
=
2
ˆ
σ
19
với k là số hệ số có trong hàm hồi qui
kn
RSS
kn
ˆ

1
i
2
−
=
−
=
σ
∑
=
Hồi qui bội Nguyễn Thị Minh Hiếu
III. Phân tích các hệ số của mô hình
1. Khoảng tin cậy và kiểm ñịnh giả thiết các
hệ số hồi qui - Kiểm ñịnh T
Y
i
= β
1
+ β
2
X
2i
+ β
3
X
3i
+ + β
k
X
ki

+ u
i
phân phối chuẩn với kì vọng
β
i
, ñộ lệch
ˆ
i
β
20
phân phối chuẩn với kì vọng
β
i
, ñộ lệch
chuẩn
i
β
ˆ
i
β
σ
( )
ˆ
~ ( )
ˆ
i i
i
i
t T n k
se

β β
β
−
⇒ = −
Hồi qui bội Nguyễn Thị Minh Hiếu
a. Khoảng tin cậy
• Khoảng tin cậy ñối xứng:
•
Khoảng tin cậy tối ña (phía trái):
(
)
( )
(
)
( )
(
)
/2 /2
ˆ ˆ ˆ ˆ
. .
n k n k
i i i i i
se t se t
α α
β β β β β
− −
− < < +
21
•
Khoảng tin cậy tối ña (phía trái):

• Khoảng tin cậy tối thiểu (phía phải):
(
)
( )
ˆ ˆ
.
n k
i i i
se t
α
β β β
−
< +
(
)
( )
ˆ ˆ
n k
i i i
se t
α
β β β
−
> −
Hồi qui bội Nguyễn Thị Minh Hiếu
b. Kiểm ñịnh giả thiết
• H
0
: β
i

= β
i
* (với i=1,2, ,k)
Loại kiểm ñịnh Giả thiết H
1
Miền bác bỏ
Hai phía β
i
≠ β
i
*
β
β
|ti| > t
α/2
(n-k)
22
Phía phải
Phía trái
β
i
>
β
i
*
β
i
< β
i
*

t
i
> t
α
(n-k)
t
i
<- t
α
(n-k)
Hồi qui bội Nguyễn Thị Minh Hiếu
2. Kiểm ñịnh sự phù hợp của hàm
hồi qui
• Hệ số xác ñinh bội, R
2
2
ESS
R
TSS
=
23
TSS
2
1
TSS RSS RSS
R
TSS TSS
−
= = −
2 2 3 3

2
1 1 1
2
1
ˆ ˆ ˆ
n n n
i i i i k i ki
i i i
n
i
i
y x y x y x
R
y
β β β
= = =
=
+ + +
=
∑ ∑ ∑
∑
⋯
Hồi qui bội
Nguyễn Thị Minh Hiếu
• Hệ số xác ñinh bội, R
2
2. Kiểm ñịnh sự phù hợp của hàm
hồi qui (tiếp)
2
ˆ

'
i
RSS e e e Y Y X Y
β
′ ′ ′
= = = −
∑
2 2 2 2
2 '
TSS y Y YY nY Y Y nY
= = + + = −
∑ ∑ ∑
24
2 2 2 2
2 '
i i i
TSS y Y YY nY Y Y nY
= = + + = −
∑ ∑ ∑
2
ˆ
ESS TSS RSS X Y nY
β
′ ′
= − = −
2
2
2
ˆ
X Y nY

R
Y Y nY
β
′ ′
−
=
′
−
Hồi qui bội Nguyễn Thị Minh Hiếu
• R = ñược gọi là hệ số tương quan bội, ño
sự kết hợp tuyến tính ñồng thời của biến phụ
thuộc Y với tất cả các biến giải thích X
•
R
2
ñược gọi là hệ số xác ñịnh bội, cho ta biết %
2. Kiểm ñịnh sự phù hợp của hàm
hồi qui (tiếp)
2
R
25
•
R
2
ñược gọi là hệ số xác ñịnh bội, cho ta biết %
sự thay ñổi của biến phụ thuộc ñược giải thích
bởi các biến ñộc lập trong mô hình
• R
2
tăng theo số biến ñộc lập ñược ñưa vào mô

hình, ngay cả khi biến ñộc lập ñược ñưa thêm
vào không giải thích sự biến ñộng của Y
Hồi qui bội Nguyễn Thị Minh Hiếu