Tài liệu Chương 4: Mô hình hồi qui đa biến pptx

Chương 4
Mô hình hồi qui đa biến
iiii
uXXY +++=
33221
βββ
iii
XbXbbY
33221
ˆ
++=
Mô hình hồi qui đa với 2 biến giải thích
Hệ số hồi qui cũng được ước lượng thông qua sử dụng phương pháp bình phương bé
nhất như trong phân tích hồi qui đơn. Giá trị ước lượng phù hợp của Y trong quan sát thứ i
phụ thuộc vào giá trị ước lượng b
1
, b
2
, và b
3
.
11
iiii
uXXY +++=
33221
βββ
iii
XbXbbY
33221
ˆ
++=

iiiiii
XbXbbYYYe
33221
ˆ
−−−=−=
Mô hình hồi qui đa với 2 biến giải thích
Sai số e
i
trong quan sát thứ i là sự khác biệt giữa giá trị thực tế và giá trị ước lượng phù
hợp của Y.
12
∑∑
−−−==
2
33221
2
)(
iiii
XbXbbYeRSS
Mô hình hồi qui đa với 2 biến giải thích
Chúng ta cũng xác định tổng bình phương của các sai số RSS và lựa chọn b
1
, b
2
, và b
3
làm
sao để tối thiểu hóa giá trị này.
13
∑∑

−−−==
2
33221
2
)(
iiii
XbXbbYeRSS
)2222
22(
323233122133
221
2
3
2
3
2
2
2
2
2
1
2
iiiiii
iiiiii
XXbbXbbXbbYXb
YXbYbXbXbbY
+++−
−−+++=
∑
∑∑

∑∑∑
∑∑∑∑
++
+−−
−+++=
iii
iiiii
iiii
XXbbXbb
XbbYXbYXb
YbXbXbnbY
3232331
2213322
1
2
3
2
3
2
2
2
2
2
1
2
22
222
2
0
1

=
b
RSS
∂
∂
0
2
=
b
RSS
∂
∂
0
3
=
b
RSS
∂
∂
Mô hình hồi qui đa với 2 biến giải thích
Đầu tiên, chúng ta triển khai biểu thức RSS và sau đó chung ta sử dụng điều kiện đạo hàm
hay vi phân bậc một của biểu thức để tìm cực tiểu.
14
33221
XbXbYb −−=
Mô hình hồi qui đa với 2 biến giải thích
Chúng ta có 3 phương trình cho 3 tham số chưa biết. Giải phương trình để tìm b
1
, b
2

, và b
3
,
Chúng ta có thể có các giá trị của các tham số được tìm như trên. Giá trị của b
3
giống với
giá trị của b
2
, với các giá trị của chỉ số 2 và 3 được thay thế lẫn nhau.)
15
( )( ) ( )
∑∑
−−−
2
3322
XXYYXX
iii
( )( ) ( )( )
( ) ( ) ( )( )
( )
2
3322
2
33
2
22
332233
2
∑∑∑
∑∑

−−−−−
−−−−−
=
XXXXXXXX
XXXXYYXX
b
iiii
iiii
33221
XbXbYb −−=
Mô hình hồi qui đa với 2 biến giải thích
16
( )( ) ( )
∑∑
−−−
2
3322
XXYYXX
iii
( )( ) ( )( )
( ) ( ) ( )( )
( )
2
3322
2
33
2
22
332233
2

∑∑∑
∑∑
−−−−−
−−−−−
=
XXXXXXXX
XXXXYYXX
b
iiii
iiii
Biểu thức của b
1
được mở rộng một cách trực tiếp từ mô hình hồi qui đơn.
33221
XbXbYb −−=
Mô hình hồi qui đa với 2 biến giải thích
17
( )( ) ( )
∑∑
−−−
2
3322
XXYYXX
iii
( )( ) ( )( )
( ) ( ) ( )( )
( )
2
3322
2

33
2
22
332233
2
∑∑∑
∑∑
−−−−−
−−−−−
=
XXXXXXXX
XXXXYYXX
b
iiii
iiii
Tuy nhiên, biểu thức cho các hệ số hồi qui tương đối phức tạp hơn so với hệ số hồi qui
trong mô hình hồi qui đơn.
33221
XbXbYb −−=
Mô hình hồi qui đa với 2 biến giải thích
18
( )( ) ( )
∑∑
−−−
2
3322
XXYYXX
iii
( )( ) ( )( )
( ) ( ) ( )( )

( )
2
3322
2
33
2
22
332233
2
∑∑∑
∑∑
−−−−−
−−−−−
=
XXXXXXXX
XXXXYYXX
b
iiii
iiii
Nhìn chung sẽ rất nhiều biến thì dùng biều biểu thức đại số thông thường là không đủ. Vì
thế, cần phải sử dụng biểu thức dạng ma trận.
. reg EARNINGS S EXP
Source | SS df MS Number of obs = 540
+ F( 2, 537) = 67.54
Model | 22513.6473 2 11256.8237 Prob > F = 0.0000
Residual | 89496.5838 537 166.660305 R-squared = 0.2010
+ Adj R-squared = 0.1980
Total | 112010.231 539 207.811189 Root MSE = 12.91

EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval]

+
S | 2.678125 .2336497 11.46 0.000 2.219146 3.137105
EXP | .5624326 .1285136 4.38 0.000 .3099816 .8148837
_cons | -26.48501 4.27251 -6.20 0.000 -34.87789 -18.09213

Mô hình hồi qui đa với 2 biến giải thích
Đây là kết quả hồi qui đối với 540 quan sát từ số liệu thực tế.
19
EXPSINGSNEAR 56.068.249.26
ˆ
++−=
. reg EARNINGS S EXP
Source | SS df MS Number of obs = 540
+ F( 2, 537) = 67.54
Model | 22513.6473 2 11256.8237 Prob > F = 0.0000
Residual | 89496.5838 537 166.660305 R-squared = 0.2010
+ Adj R-squared = 0.1980
Total | 112010.231 539 207.811189 Root MSE = 12.91

EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval]
+
S | 2.678125 .2336497 11.46 0.000 2.219146 3.137105
EXP | .5624326 .1285136 4.38 0.000 .3099816 .8148837
_cons | -26.48501 4.27251 -6.20 0.000 -34.87789 -18.09213

Mô hình hồi qui đa với 2 biến giải thích
20
EXPSINGSNEAR 56.068.249.26
ˆ
++−=

Kết quả chỉ ra rằng thu nhập tăng lên bởi 2,68 đồng cho một năm đến trường và 0,56 đồng
cho mỗi năm kinh nghiệm.
. reg EARNINGS S EXP
Source | SS df MS Number of obs = 540
+ F( 2, 537) = 67.54
Model | 22513.6473 2 11256.8237 Prob > F = 0.0000
Residual | 89496.5838 537 166.660305 R-squared = 0.2010
+ Adj R-squared = 0.1980
Total | 112010.231 539 207.811189 Root MSE = 12.91

EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval]
+
S | 2.678125 .2336497 11.46 0.000 2.219146 3.137105
EXP | .5624326 .1285136 4.38 0.000 .3099816 .8148837
_cons | -26.48501 4.27251 -6.20 0.000 -34.87789 -18.09213

Mô hình hồi qui đa với 2 biến giải thích
21
EXPSINGSNEAR 56.068.249.26
ˆ
++−=
Theo lý thuyết, hệ số chặn chỉ ra rằng cá nhân không đến trường và không có kinh nghiệm
làm việc sẽ có thu nhập trên giờ –$26.49.
. reg EARNINGS S EXP
Source | SS df MS Number of obs = 540
+ F( 2, 537) = 67.54
Model | 22513.6473 2 11256.8237 Prob > F = 0.0000
Residual | 89496.5838 537 166.660305 R-squared = 0.2010
+ Adj R-squared = 0.1980
Total | 112010.231 539 207.811189 Root MSE = 12.91

EARNINGS | Coef. Std. Err. t P>|t| [95% Conf. Interval]
+
S | 2.678125 .2336497 11.46 0.000 2.219146 3.137105
EXP | .5624326 .1285136 4.38 0.000 .3099816 .8148837
_cons | -26.48501 4.27251 -6.20 0.000 -34.87789 -18.09213

Mô hình hồi qui đa với 2 biến giải thích
22
EXPSINGSNEAR 56.068.249.26
ˆ
++−=
Rõ ràng, đây là điều không thể. Giá trị thấp nhất của S trong mẫu là 6. Chúng ta đã có một
ước tính không có ý nghĩa bởi vì chúng ta có ước tính quá xa từ số liệu thực tế.
Đặc điểm của hệ số hồi qui đa
A.1: Mô hình là tuyến tính trong các tham số và được xác định
rõ.
A.2: Không có mối quan hệ tương quan chính xác giữa các biến
độc lập ở trong mẫu.
A.3 Yếu tố ngẫu nhiên có kỳ vọng bằng 0
A.4 Yếu tố ngẫu nhiên có phương sai đồng nhất
A.5 Giá trị của yếu tố ngẫu nhiên có phân bố độc lập
A.6 Yếu tố ngẫu nhiên có phân phối chuẩn
Đặc điểm của hệ số hồi qui đa
uXXY
kk
++++=
βββ

221

1
Từ mô hình hồi qui đơn đến mô hình hồi qui đa, chúng bắt đầu bằng nhắc lại các giả định
của mô hình hồi qui đơn.
A.1: Mô hình là tuyến tính trong các tham số và được xác định
rõ.
A.2: Không có mối quan hệ tương quan chính xác giữa các biến
độc lập ở trong mẫu.
A.3 Yếu tố ngẫu nhiên có kỳ vọng bằng 0
A.4 Yếu tố ngẫu nhiên có phương sai đồng nhất
A.5 Giá trị của yếu tố ngẫu nhiên có phân bố độc lập
A.6 Yếu tố ngẫu nhiên có phân phối chuẩn
Đặc điểm của hệ số hồi qui đa
uXXY
kk
++++=
βββ

221
2
Chỉ có giả thiết A.2 là khác. Trước đây, giả thiết phát biểu rằng cần có sự thay đổi trong
biến X. Chúng ta sẽ giải thích sự khác nhau qua các slide sau.
A.1: Mô hình là tuyến tính trong các tham số và được xác định
rõ.
A.2: Không có mối quan hệ tương quan chính xác giữa các biến
độc lập ở trong mẫu.
A.3 Yếu tố ngẫu nhiên có kỳ vọng bằng 0
A.4 Yếu tố ngẫu nhiên có phương sai đồng nhất
A.5 Giá trị của yếu tố ngẫu nhiên có phân bố độc lập
A.6 Yếu tố ngẫu nhiên có phân phối chuẩn
Đặc điểm của hệ số hồi qui đa

uXXY
kk
++++=
βββ

221
3
Trong trường hợp các giả định của mô hình có hiệu lực, các ước lượng theo phương pháp
bình phương bé nhất trong mô hình hồi qui tổng thể là ước lượng không chệch và hiệu quả
giống như mô hình hồi qui đơn.
Đặc điểm của hệ số hồi qui đa
uXXY +++=
33221
βββ
33221
ˆ
XbXbbY ++=
4
( )( ) ( )
∑∑
−−−
2
3322
XXYYXX
iii
( )( ) ( )( )
( ) ( ) ( )( )
( )
2
3322

2
33
2
22
332233
2
∑∑∑
∑∑
−−−−−
−−−−−
=
XXXXXXXX
XXXXYYXX
b
iiii
iiii
Chúng ta cũng không chúng minh tính hiệu quả của các ước lượng, tuy nhiên chúng ta chỉ
ra một cách cơ bản tính không chệch của chúng
Đặc điểm của hệ số hồi qui đa
uXXY +++=
33221
βββ
33221
ˆ
XbXbbY ++=
5
( )( ) ( )
∑∑
−−−
2

3322
XXYYXX
iii
( )( ) ( )( )
( ) ( ) ( )( )
( )
2
3322
2
33
2
22
332233
2
∑∑∑
∑∑
−−−−−
−−−−−
=
XXXXXXXX
XXXXYYXX
b
iiii
iiii
( ) ( )
( ) ( )
uuXXXX
uXXuXXYY
iii
iiii

−+−+−=
+++−+++=−
333222
3322133221
ββ
ββββββ
Bước đầu tiên là thay thế cho giá trị của Y từ mối quan hệ thực. Thành phần của Y trong
b
2
thực tế là Y
i
trừ đi giá trị trung binh của nó. Vì thế, để cho thuân tiện chúng ta nên có
biểu thức cho thành phần này.
Đặc điểm của hệ số hồi qui đa
uXXY +++=
33221
βββ
33221
ˆ
XbXbbY ++=
6
( )( ) ( )
∑∑
−−−
2
3322
XXYYXX
iii
( )( ) ( )( )
( ) ( ) ( )( )

( )
2
3322
2
33
2
22
332233
2
∑∑∑
∑∑
−−−−−
−−−−−
=
XXXXXXXX
XXXXYYXX
b
iiii
iiii
( ) ( )
( ) ( )
uuXXXX
uXXuXXYY
iii
iiii
−+−+−=
+++−+++=−
333222
3322133221
ββ

ββββββ
∑
+=
ii
uab
*
222
β
Sau khi thay thếy, chúng ta có thể dễ dàng tách b
2
thành 2 thành phần đó là giá trị thực
β
2

cộng với biểu thức kết hợp giữa các giá trị của yếu tố ngẫu nhiên trong mẫu.
Đặc điểm của hệ số hồi qui đa
uXXY +++=
33221
βββ
33221
ˆ
XbXbbY ++=
7
( )( ) ( )
∑∑
−−−
2
3322
XXYYXX
iii

( )( ) ( )( )
( ) ( ) ( )( )
( )
2
3322
2
33
2
22
332233
2
∑∑∑
∑∑
−−−−−
−−−−−
=
XXXXXXXX
XXXXYYXX
b
iiii
iiii
( ) ( )
( ) ( )
uuXXXX
uXXuXXYY
iii
iiii
−+−+−=
+++−+++=−
333222

3322133221
ββ
ββββββ
∑
+=
ii
uab
*
222
β
Giá trị này cũng đồng nhất với kết quả trong mô hình hồi qui đơn. Sự khác nhau thể hiện ở
biểu thức kết hợp của các yếu tố ngẫu nhiên trong mẫu và điều này phụ thuộc vào giá trị
của X
2
và X
3
trong mẫu. Và yếu tố này tương đối phức tạp
Đặc điểm của hệ số hồi qui đa
uXXY +++=
33221
βββ
33221
ˆ
XbXbbY ++=
8
( )( ) ( )
∑∑
−−−
2
3322

XXYYXX
iii
( )( ) ( )( )
( ) ( ) ( )( )
( )
2
3322
2
33
2
22
332233
2
∑∑∑
∑∑
−−−−−
−−−−−
=
XXXXXXXX
XXXXYYXX
b
iiii
iiii
( ) ( )
( ) ( )
uuXXXX
uXXuXXYY
iii
iiii
−+−+−=

+++−+++=−
333222
3322133221
ββ
ββββββ
∑
+=
ii
uab
*
222
β
( )
( ) ( )
( )
2
*
22
*
22
*
222
ββββ
=+=+=+=
∑∑∑
iiiiii
uEauaEuaEbE
Khi chung ta có điều này thì rõ ràng có thể dể dàng chứng minh ước lượng b2 là không
chệch.
Đặc điểm của hệ số hồi qui đa

uXXY +++=
33221
βββ
33221
ˆ
XbXbbY ++=
9
( )( ) ( )
∑∑
−−−
2
3322
XXYYXX
iii
( )( ) ( )( )
( ) ( ) ( )( )
( )
2
3322
2
33
2
22
332233
2
∑∑∑
∑∑
−−−−−
−−−−−
=

XXXXXXXX
XXXXYYXX
b
iiii
iiii
( ) ( )
( ) ( )
uuXXXX
uXXuXXYY
iii
iiii
−+−+−=
+++−+++=−
333222
3322133221
ββ
ββββββ
∑
+=
ii
uab
*
222
β
( )
( ) ( )
( )
2
*
22

*
22
*
222
ββββ
=+=+=+=
∑∑∑
iiiiii
uEauaEuaEbE
Yếu tố a* là yếu tố không ngẫu nhiên vì nó chỉ phụ thuộc vào giá trị của X
2
và X
3
, và
những giá trị này được giả định cũng là yếu tố không ngẫu nhiên. Vì thế yếu tố a* có thể
đưa ra người của biểu thức kỳ vọng.
Đặc điểm của hệ số hồi qui đa
uXXY +++=
33221
βββ
33221
ˆ
XbXbbY ++=
10
( )( ) ( )
∑∑
−−−
2
3322
XXYYXX

iii
( )( ) ( )( )
( ) ( ) ( )( )
( )
2
3322
2
33
2
22
332233
2
∑∑∑
∑∑
−−−−−
−−−−−
=
XXXXXXXX
XXXXYYXX
b
iiii
iiii
( ) ( )
( ) ( )
uuXXXX
uXXuXXYY
iii
iiii
−+−+−=
+++−+++=−

333222
3322133221
ββ
ββββββ
∑
+=
ii
uab
*
222
β
( )
( ) ( )
( )
2
*
22
*
22
*
222
ββββ
=+=+=+=
∑∑∑
iiiiii
uEauaEuaEbE
Bởi giả định A.3, E(u
i
) = 0 cho tất cả các i. Vì thế E(b
2

) bằng
β
2
và b
2
là ước lượng không
chệch. Tương tự, b
3
là ước lượng không chệch của
β
3
.
Đặc điểm của hệ số hồi qui đa
uXXY +++=
33221
βββ
33221
ˆ
XbXbbY ++=
11
Cuối cùng, chúng ta sẽ chỉ ra răng b
1
là ước lượng không chệch của
β
1
.
332233221
33221
)( XbXbuXX
XbXbYb

−−+++=
−−=
βββ