Chương 4: Mô hình hồi qui đa biến

Chương 4

Mơ hình hồi qui đa biến


Mơ hình hồi qui đa với 2 biến giải thích

Yi = β 1 + β 2 X 2 i + β 3 X 3 i + ui
Yˆi = b1 + b2 X 2 i + b3 X 3 i

Hệ số hồi qui cũng được ước lượng thông qua sử dụng phương pháp bình phương bé
nhất như trong phân tích hồi qui đơn. Giá trị ước lượng phù hợp của Y trong quan sát thứ i
phụ thuộc vào giá trị ước lượng b1, b2, và b3.
11


Mơ hình hồi qui đa với 2 biến giải thích

Yi = β 1 + β 2 X 2 i + β 3 X 3 i + ui
Yˆi = b1 + b2 X 2 i + b3 X 3 i
ei = Yi − Yˆi = Yi − b1 − b2 X 2 i − b3 X 3 i

Sai số ei trong quan sát thứ i là sự khác biệt giữa giá trị thực tế và giá trị ước lượng phù
hợp của Y.
12


Mơ hình hồi qui đa với 2 biến giải thích

RSS = ∑ ei2 = ∑ (Yi − b1 − b2 X 2 i − b3 X 3 i ) 2

Chúng ta cũng xác định tổng bình phương của các sai số RSS và lựa chọn b1, b2, và b3 làm
sao để tối thiểu hóa giá trị này.
13


Mơ hình hồi qui đa với 2 biến giải thích

RSS = ∑ ei2 = ∑ (Yi − b1 − b2 X 2 i − b3 X 3 i ) 2

= ∑ (Yi 2 + b12 + b22 X 22i + b32 X 32i − 2b1Yi − 2b2 X 2 iYi

− 2b3 X 3 iYi + 2b1b2 X 2 i + 2b1b3 X 3 i + 2b2 b3 X 2 i X 3 i )

= ∑ Yi 2 + nb12 + b22 ∑ X 22i + b32 ∑ X 32i − 2b1 ∑ Yi
− 2b2 ∑ X 2 iYi − 2b3 ∑ X 3 iYi + 2b1b2 ∑ X 2 i
+ 2b1b3 ∑ X 3 i + 2b2 b3 ∑ X 2 i X 3 i

∂RSS
=0
∂b1

∂RSS
=0
∂b2

∂RSS
=0
∂b3

Đầu tiên, chúng ta triển khai biểu thức RSS và sau đó chung ta sử dụng điều kiện đạo hàm

hay vi phân bậc một của biểu thức để tìm cực tiểu.
14


Mơ hình hồi qui đa với 2 biến giải thích

b1 = Y − b2 X 2 − b3 X 3

b2 =

∑( X
− ∑( X

2i
3i

− X 2 )( Yi − Y ) ∑ ( X 3 i − X 3 )

2

− X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 )

2
2
2
(
)
(
)
(

)
(
)(
)
X
−
X
X
−
X
−
X
−
X
X
−
X
∑ 2i 2 ∑ 3i 3 ∑ 2i 2 3i 3

Chúng ta có 3 phương trình cho 3 tham số chưa biết. Giải phương trình để tìm b1, b2, và b3,
Chúng ta có thể có các giá trị của các tham số được tìm như trên. Giá trị của b3 giống với
giá trị của b2, với các giá trị của chỉ số 2 và 3 được thay thế lẫn nhau.)

15


Mơ hình hồi qui đa với 2 biến giải thích

b1 = Y − b2 X 2 − b3 X 3

b2 =

∑( X
− ∑( X

2i
3i

− X 2 )( Yi − Y ) ∑ ( X 3 i − X 3 )

2

− X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 )

2
2
2
(
)
(
)
(
)
(
)(
)
X
−
X
X

−
X
−
X
−
X
X
−
X
∑ 2i 2 ∑ 3i 3 ∑ 2i 2 3i 3

Biểu thức của b1 được mở rộng một cách trực tiếp từ mơ hình hồi qui đơn.

16


Mơ hình hồi qui đa với 2 biến giải thích

b1 = Y − b2 X 2 − b3 X 3

b2 =

∑( X
− ∑( X

2i
3i

− X 2 )( Yi − Y ) ∑ ( X 3 i − X 3 )

2

− X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 )

2
2
2
(
)
(
)
(
)
(
)(
)
X
−
X
X
−
X
−
X
−
X
X
−
X
∑ 2i 2 ∑ 3i 3 ∑ 2i 2 3i 3

Tuy nhiên, biểu thức cho các hệ số hồi qui tương đối phức tạp hơn so với hệ số hồi qui
trong mơ hình hồi qui đơn.
17


Mơ hình hồi qui đa với 2 biến giải thích

b1 = Y − b2 X 2 − b3 X 3

b2 =

∑( X
− ∑( X

2i
3i

− X 2 )( Yi − Y ) ∑ ( X 3 i − X 3 )

2

− X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 )

2
2
2
(
)
(

)
(
)
(
)(
)
X
−
X
X
−
X
−
X
−
X
X
−
X
∑ 2i 2 ∑ 3i 3 ∑ 2i 2 3i 3

Nhìn chung sẽ rất nhiều biến thì dùng biều biểu thức đại số thông thường là không đủ. Vì
thế, cần phải sử dụng biểu thức dạng ma trận.
18


Mơ hình hồi qui đa với 2 biến giải thích
. reg EARNINGS S EXP
Source |
SS

df
MS
-------------+-----------------------------Model | 22513.6473
2 11256.8237
Residual | 89496.5838
537 166.660305
-------------+-----------------------------Total | 112010.231
539 207.811189

Number of obs
F( 2,
537)
Prob > F
R-squared
Adj R-squared
Root MSE

=
=
=
=
=
=

540
67.54
0.0000
0.2010
0.1980
12.91

-----------------------------------------------------------------------------EARNINGS |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------S |
2.678125
.2336497
11.46
0.000
2.219146
3.137105
EXP |
.5624326
.1285136
4.38
0.000
.3099816
.8148837
_cons | -26.48501
4.27251
-6.20
0.000
-34.87789
-18.09213
------------------------------------------------------------------------------

EARNˆ INGS = −26.49 + 2.68 S + 0.56 EXP

Đây là kết quả hồi qui đối với 540 quan sát từ số liệu thực tế.

19


Mơ hình hồi qui đa với 2 biến giải thích
. reg EARNINGS S EXP
Source |
SS
df
MS
-------------+-----------------------------Model | 22513.6473
2 11256.8237
Residual | 89496.5838
537 166.660305
-------------+-----------------------------Total | 112010.231
539 207.811189

Number of obs
F( 2,
537)
Prob > F
R-squared
Adj R-squared
Root MSE

=
=
=

=
=
=

540
67.54
0.0000
0.2010
0.1980
12.91

-----------------------------------------------------------------------------EARNINGS |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------S |
2.678125
.2336497
11.46
0.000
2.219146
3.137105
EXP |
.5624326
.1285136
4.38
0.000
.3099816

.8148837
_cons | -26.48501
4.27251
-6.20
0.000
-34.87789
-18.09213
------------------------------------------------------------------------------

EARNˆ INGS = −26.49 + 2.68 S + 0.56 EXP

Kết quả chỉ ra rằng thu nhập tăng lên bởi 2,68 đồng cho một năm đến trường và 0,56 đồng
cho mỗi năm kinh nghiệm.
20


Mơ hình hồi qui đa với 2 biến giải thích
. reg EARNINGS S EXP
Source |
SS
df
MS
-------------+-----------------------------Model | 22513.6473
2 11256.8237
Residual | 89496.5838
537 166.660305
-------------+-----------------------------Total | 112010.231
539 207.811189

Number of obs

F( 2,
537)
Prob > F
R-squared
Adj R-squared
Root MSE

=
=
=
=
=
=

540
67.54
0.0000
0.2010
0.1980
12.91

-----------------------------------------------------------------------------EARNINGS |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------S |
2.678125
.2336497

11.46
0.000
2.219146
3.137105
EXP |
.5624326
.1285136
4.38
0.000
.3099816
.8148837
_cons | -26.48501
4.27251
-6.20
0.000
-34.87789
-18.09213
------------------------------------------------------------------------------

EARNˆ INGS = −26.49 + 2.68 S + 0.56 EXP

Theo lý thuyết, hệ số chặn chỉ ra rằng cá nhân không đến trường và khơng có kinh nghiệm
làm việc sẽ có thu nhập trên giờ –$26.49.
21


Mơ hình hồi qui đa với 2 biến giải thích
. reg EARNINGS S EXP
Source |
SS

df
MS
-------------+-----------------------------Model | 22513.6473
2 11256.8237
Residual | 89496.5838
537 166.660305
-------------+-----------------------------Total | 112010.231
539 207.811189

Number of obs
F( 2,
537)
Prob > F
R-squared
Adj R-squared
Root MSE

=
=
=
=
=
=

540
67.54
0.0000
0.2010
0.1980
12.91

-----------------------------------------------------------------------------EARNINGS |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------S |
2.678125
.2336497
11.46
0.000
2.219146
3.137105
EXP |
.5624326
.1285136
4.38
0.000
.3099816
.8148837
_cons | -26.48501
4.27251
-6.20
0.000
-34.87789
-18.09213
------------------------------------------------------------------------------

EARNˆ INGS = −26.49 + 2.68 S + 0.56 EXP

Rõ ràng, đây là điều không thể. Giá trị thấp nhất của S trong mẫu là 6. Chúng ta đã có một
ước tính khơng có ý nghĩa bởi vì chúng ta có ước tính quá xa từ số liệu thực tế.
22


Đặc điểm của hệ số hồi qui đa


Đặc điểm của hệ số hồi qui đa

A.1: Mơ hình là tuyến tính trong các tham số và được xác định
rõ.
Y = β + β X + ... + β X + u
1

2

2

k

k

A.2: Khơng có mối quan hệ tương quan chính xác giữa các biến
độc lập ở trong mẫu.
A.3 Yếu tố ngẫu nhiên có kỳ vọng bằng 0
A.4 Yếu tố ngẫu nhiên có phương sai đồng nhất
A.5 Giá trị của yếu tố ngẫu nhiên có phân bố độc lập
A.6 Yếu tố ngẫu nhiên có phân phối chuẩn

Từ mơ hình hồi qui đơn đến mơ hình hồi qui đa, chúng bắt đầu bằng nhắc lại các giả định
của mơ hình hồi qui đơn.
1


Đặc điểm của hệ số hồi qui đa

A.1: Mơ hình là tuyến tính trong các tham số và được xác định
rõ.
Y = β + β X + ... + β X + u
1

2

2

k

k

A.2: Khơng có mối quan hệ tương quan chính xác giữa các biến
độc lập ở trong mẫu.
A.3 Yếu tố ngẫu nhiên có kỳ vọng bằng 0
A.4 Yếu tố ngẫu nhiên có phương sai đồng nhất
A.5 Giá trị của yếu tố ngẫu nhiên có phân bố độc lập
A.6 Yếu tố ngẫu nhiên có phân phối chuẩn

Chỉ có giả thiết A.2 là khác. Trước đây, giả thiết phát biểu rằng cần có sự thay đổi trong
biến X. Chúng ta sẽ giải thích sự khác nhau qua các slide sau.

2


Đặc điểm của hệ số hồi qui đa

A.1: Mơ hình là tuyến tính trong các tham số và được xác định
rõ.
Y = β + β X + ... + β X + u
1

2

2

k

k

A.2: Khơng có mối quan hệ tương quan chính xác giữa các biến
độc lập ở trong mẫu.
A.3 Yếu tố ngẫu nhiên có kỳ vọng bằng 0
A.4 Yếu tố ngẫu nhiên có phương sai đồng nhất
A.5 Giá trị của yếu tố ngẫu nhiên có phân bố độc lập
A.6 Yếu tố ngẫu nhiên có phân phối chuẩn

Trong trường hợp các giả định của mơ hình có hiệu lực, các ước lượng theo phương pháp
bình phương bé nhất trong mơ hình hồi qui tổng thể là ước lượng không chệch và hiệu
quả giống như mơ hình hồi qui đơn.
3

Đặc điểm của hệ số hồi qui đa

Y = β1 + β 2 X 2 + β 3 X 3 + u

Yˆ = b1 + b2 X 2 + b3 X 3

2
(
)(
)
(
)
X
−
X
Y
−
Y
X
−
X
∑ 2i 2 i ∑ 3i 3
− ∑ ( X 3 i − X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 )
b2 =
2
2
2
∑ ( X 2i − X 2 ) ∑ ( X 3i − X 3 ) − ( ∑ ( X 2 i − X 2 )( X 3i − X 3 ) )

Chúng ta cũng khơng chúng minh tính hiệu quả của các ước lượng, tuy nhiên chúng ta chỉ
ra một cách cơ bản tính khơng chệch của chúng
4


Đặc điểm của hệ số hồi qui đa

Y = β1 + β 2 X 2 + β 3 X 3 + u

Yˆ = b1 + b2 X 2 + b3 X 3

2
(
)(
)
(
)
X
−
X
Y
−
Y
X
−
X
∑ 2i 2 i ∑ 3i 3
− ∑ ( X 3 i − X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 )
b2 =
2

2
2
∑ ( X 2i − X 2 ) ∑ ( X 3i − X 3 ) − ( ∑ ( X 2 i − X 2 )( X 3i − X 3 ) )

Yi − Y = ( β 1 + β 2 X 2 i + β 3 X 3 i + ui ) − ( β 1 + β 2 X 2 + β 3 X 3 + u )
= β 2 ( X 2 i − X 2 ) + β 3 ( X 3 i − X 3 ) + ui − u

Bước đầu tiên là thay thế cho giá trị của Y từ mối quan hệ thực. Thành phần của Y trong
b2 thực tế là Yi trừ đi giá trị trung binh của nó. Vì thế, để cho thuân tiện chúng ta nên có
biểu thức cho thành phần này.
5


Đặc điểm của hệ số hồi qui đa

Y = β1 + β 2 X 2 + β 3 X 3 + u

Yˆ = b1 + b2 X 2 + b3 X 3

2
(
)(
)
(
)
X
−
X
Y
−

Y
X
−
X
∑ 2i 2 i ∑ 3i 3
− ∑ ( X 3 i − X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 )
b2 =
2
2
2
∑ ( X 2i − X 2 ) ∑ ( X 3i − X 3 ) − ( ∑ ( X 2 i − X 2 )( X 3i − X 3 ) )

Yi − Y = ( β 1 + β 2 X 2 i + β 3 X 3 i + ui ) − ( β 1 + β 2 X 2 + β 3 X 3 + u )
= β 2 ( X 2 i − X 2 ) + β 3 ( X 3 i − X 3 ) + ui − u
b2 = β 2 + ∑ a i*2 ui

Sau khi thay thếy, chúng ta có thể dễ dàng tách b2 thành 2 thành phần đó là giá trị thực β 2
cộng với biểu thức kết hợp giữa các giá trị của yếu tố ngẫu nhiên trong mẫu.
6


Đặc điểm của hệ số hồi qui đa

Y = β1 + β 2 X 2 + β 3 X 3 + u

Yˆ = b1 + b2 X 2 + b3 X 3

2
(
)(

)
(
)
X
−
X
Y
−
Y
X
−
X
∑ 2i 2 i ∑ 3i 3
− ∑ ( X 3 i − X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 )
b2 =
2
2
2
∑ ( X 2i − X 2 ) ∑ ( X 3i − X 3 ) − ( ∑ ( X 2 i − X 2 )( X 3i − X 3 ) )

Yi − Y = ( β 1 + β 2 X 2 i + β 3 X 3 i + ui ) − ( β 1 + β 2 X 2 + β 3 X 3 + u )
= β 2 ( X 2 i − X 2 ) + β 3 ( X 3 i − X 3 ) + ui − u
b2 = β 2 + ∑ a i*2 ui

Giá trị này cũng đồng nhất với kết quả trong mơ hình hồi qui đơn. Sự khác nhau thể hiện ở
biểu thức kết hợp của các yếu tố ngẫu nhiên trong mẫu và điều này phụ thuộc vào giá trị
của X2 và X3 trong mẫu. Và yếu tố này tương đối phức tạp
7

Đặc điểm của hệ số hồi qui đa

Y = β1 + β 2 X 2 + β 3 X 3 + u

Yˆ = b1 + b2 X 2 + b3 X 3

2
(
)(
)
(
)
X
−
X
Y
−
Y
X
−
X
∑ 2i 2 i ∑ 3i 3
− ∑ ( X 3 i − X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 )
b2 =
2
2
2
∑ ( X 2i − X 2 ) ∑ ( X 3i − X 3 ) − ( ∑ ( X 2 i − X 2 )( X 3i − X 3 ) )

Yi − Y = ( β 1 + β 2 X 2 i + β 3 X 3 i + ui ) − ( β 1 + β 2 X 2 + β 3 X 3 + u )

= β 2 ( X 2 i − X 2 ) + β 3 ( X 3 i − X 3 ) + ui − u
b2 = β 2 + ∑ a i*2 ui
E ( b2 ) = β 2 + E ( ∑ a i*2 ui ) = β 2 + ∑ E ( ai*2 ui ) = β 2 + ∑ a i*2 E ( ui ) = β 2
Khi chung ta có điều này thì rõ ràng có thể dể dàng chứng minh ước lượng b2 là không
chệch.
8


Đặc điểm của hệ số hồi qui đa

Y = β1 + β 2 X 2 + β 3 X 3 + u

Yˆ = b1 + b2 X 2 + b3 X 3

2
(
)(
)
(
)
X
−
X
Y
−
Y
X
−
X
∑ 2i 2 i ∑ 3i 3

− ∑ ( X 3 i − X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 )
b2 =
2
2
2
∑ ( X 2i − X 2 ) ∑ ( X 3i − X 3 ) − ( ∑ ( X 2 i − X 2 )( X 3i − X 3 ) )

Yi − Y = ( β 1 + β 2 X 2 i + β 3 X 3 i + ui ) − ( β 1 + β 2 X 2 + β 3 X 3 + u )
= β 2 ( X 2 i − X 2 ) + β 3 ( X 3 i − X 3 ) + ui − u
b2 = β 2 + ∑ a i*2 ui
E ( b2 ) = β 2 + E ( ∑ a i*2 ui ) = β 2 + ∑ E ( ai*2 ui ) = β 2 + ∑ a i*2 E ( ui ) = β 2
Yếu tố a* là yếu tố khơng ngẫu nhiên vì nó chỉ phụ thuộc vào giá trị của X2 và X3, và
những giá trị này được giả định cũng là yếu tố khơng ngẫu nhiên. Vì thế yếu tố a* có thể
đưa ra người của biểu thức kỳ vọng.
9


Đặc điểm của hệ số hồi qui đa

Y = β1 + β 2 X 2 + β 3 X 3 + u

Yˆ = b1 + b2 X 2 + b3 X 3

2
(
)(
)
(
)
X

−
X
Y
−
Y
X
−
X
∑ 2i 2 i ∑ 3i 3
− ∑ ( X 3 i − X 3 )( Yi − Y ) ∑ ( X 2 i − X 2 )( X 3 i − X 3 )
b2 =
2
2
2
∑ ( X 2i − X 2 ) ∑ ( X 3i − X 3 ) − ( ∑ ( X 2 i − X 2 )( X 3i − X 3 ) )

Yi − Y = ( β 1 + β 2 X 2 i + β 3 X 3 i + ui ) − ( β 1 + β 2 X 2 + β 3 X 3 + u )
= β 2 ( X 2 i − X 2 ) + β 3 ( X 3 i − X 3 ) + ui − u
b2 = β 2 + ∑ a i*2 ui
E ( b2 ) = β 2 + E ( ∑ a i*2 ui ) = β 2 + ∑ E ( ai*2 ui ) = β 2 + ∑ a i*2 E ( ui ) = β 2
Bởi giả định A.3, E(ui) = 0 cho tất cả các i. Vì thế E(b2) bằng β 2 và b2 là ước lượng không
chệch. Tương tự, b3 là ước lượng không chệch của β 3.
10


Đặc điểm của hệ số hồi qui đa

Y = β1 + β 2 X 2 + β 3 X 3 + u

Yˆ = b1 + b2 X 2 + b3 X 3

b1 = Y − b2 X 2 − b3 X 3
= ( β 1 + β 2 X 2 + β 3 X 3 + u ) − b2 X 2 − b3 X 3

Cuối cùng, chúng ta sẽ chỉ ra răng b1 là ước lượng không chệch của β 1.

11