Chuong IV-Mo hinh hoi qui boi pptx

Nguyễn Đình Thông
CHƯƠNG IV:
MÔ HÌNH HỒI QUI BỘI
Nguyễn Đình Thơng
I. MƠ HÌNH HỒI QUI 3 BIẾN
Trong đó: Y là biến phụ thuộc, X
2
và X
3
là các biến
giải thích (hay biến độc lập), U là số hạng nhiễu ngẫu
nhiên, và i là quan sát thứ i.
Hay: Y
i
=
β
1
+
β
2
X
2i
+
β
3
X
3i
+ U
i

E(Y/ X

2
,X
3
)=
β
1
+
β
2
X
2
+
β
3
X
3

Khái quát hóa hàm hồi qui tổng thể (PFR) hai biến,
chúng ta có thể viết PRF ba biến như sau:
1. Hàm hồi qui tổng thể (PRF)
Nguyễn Đình Thơng
I. MƠ HÌNH HỒI QUI 3 BIẾN

β
3
đo lường thay đổi trong giá trò trung bình của Y khi
X
3
thay đổi một đơn vò, giữ X
2

không đổi.


β
2
đo lường sự thay đổi trong giá trò trung bình Y, E(Y

X
2
, X
3
) khi X
2
thay đổi một đơn vò, giữ X
3
không đổi.

β
1
là số hạng tung độ gốc. Nó cho biết ảnh hưởng trung
bình của tất cả các biến bò loại ra khỏi mô hình đối với Y,
mặc dù giải thích nó một cách máy móc là giá trò trung bình
của Y khi X
2
và X
3
đồng thời bằng zero.

Ý nghóa của các hệ số hồi qui:
Nguyễn Đình Thơng

I. MƠ HÌNH HỒI QUI 3 BIẾN
(2) Không có tự tương quan giữa các U
i
, hay:
cov(U
i
,U
j
) = 0  i
≠
j
(3) Phương sai c a các Uủ
i
không đổi, hay:
var(U
i
) =
σ

2

(4) Không có hiện tượng cộng tuyến giữa X
2
và X
3,
tức
là không có quan hệ tuyến tính rõ ràng giữa 2 biến
giải thích (độc lập).
2. Các giả thiết của mô hình
(1) Giá trò trung bình của đlnn U

i
bằng 0
E(U
i
 X
2i
, X
3i
)

= 0 , i
:
2
σ
(5) Ui có phân phối chuẩn: Ui N(0, )
:
Nguyễn Đình Thơng
I. MƠ HÌNH HỒI QUI 3 BIẾN
3.Ước lượng các tham số – PP bình phương nhỏ nhất
Để tìm các hàm ước lượng OLS, đầu tiên viết hàm
hồi qui mẫu (SRF) tương ứng với PRF ba biến như sau:
trong đó e
i
là số hạng phần dư, tương ứng với quan sát
thứ i.
Y
i
=
β
Â

1
+
β
Â
2
X
2i
+
β
Â
3
X
3i
+ e
i
1 2 2 3 3
ˆ ˆ ˆ
i i i i
e Y X X
β β β
= − − −
Nguyễn Đình Thơng
I. MƠ HÌNH HỒI QUI 3 BIẾN
3.Ước lượng các tham số – PP bình phương nhỏ nhất
Theo nguyên lý của phương pháp bình phương nhỏ
nhất, các giá trò sao cho:
( )
2
2
1 2 2 3 3

ˆ ˆ ˆ
min
i i i i
e Y X X
β β β
= − − − →
∑ ∑
Phương pháp đơn giản nhất để thu được các hàm ước lượng
có khả năng sẽ tối thiểu hóa hàm trên là đạo hàm nó theo các
đại lượng chưa biết, cho biểu thức thu được bằng không, và
giải các biểu thức này cùng một lúc. Phương pháp này cho ta
những phương trình chuẩn sau:
1 2 3
ˆ ˆ ˆ
, va
β β β
Nguyễn Đình Thơng
I. MƠ HÌNH HỒI QUI 3 BIẾN
3.Ước lượng các tham số – PP bình phương nhỏ nhất
1 2 2 3 3
ˆ ˆ ˆ
X X
β β β
Υ = + +
2
2 1 2 2 2 3 2 3
ˆ ˆ ˆ
i i i i i i
Y X X X X X
β β β

= + +
∑ ∑ ∑ ∑
2
3 1 3 2 2 3 3 3
ˆ ˆ ˆ
i i i i i i
Y X X X X X
β β β
= + +
∑ ∑ ∑ ∑
(1)
(2)
(3)
Từ phương trình (1) ta có thể suy ra rằng:
1 2 2 3 3
ˆ ˆ ˆ
Y X X
β β β
= − −
Chính là hàm ước lượng OLS của tung độ gốc tổng
thể β
1
.
Nguyễn Đình Thơng
I. MƠ HÌNH HỒI QUI 3 BIẾN
3.Ước lượng các tham số – PP bình phương nhỏ nhất
Từ các phương trình chuẩn (2) và (3), ta rút ra các các
công thức sau:
( )
( ) ( )

( ) ( )
( )
2
2 3 3 2 3
2
2
2 2
2 3 2 3
ˆ
i i i i i i i
i i i i
y x x y x x x
x x x x
β
−
=
−
∑ ∑ ∑ ∑
∑ ∑ ∑
( )
( ) ( )
( ) ( )
( )
2
3 2 2 2 3
3
2
2 2
2 3 2 3
ˆ

i i i i i i i
i i i i
y x x y x x x
x x x x
β
−
=
−
∑ ∑ ∑ ∑
∑ ∑ ∑
Trong đó:
2 2 2 3 3 3
; ;
i i i i i i
y Y Y x X X x X X= − = − = −
Nguyễn Đình Thơng
I. MƠ HÌNH HỒI QUI 3 BIẾN
3.Ước lượng các tham số – PP bình phương nhỏ nhất
Người ta chứng minh được:
2 2 2
2 2 2
2 2 2
3 3 3
2 2 2
2 3 2 3 2 3
2 2 2
3 3 3
( )
( )
( )

i i
i i
i i
i i i i
i i i i
i i i i
x X n X
x X n X
y Y n Y
x x X X nX X
y x Y X nYX
y x Y X nYX
= −
= −
= −
= −
= −
= −
∑ ∑
∑ ∑
∑ ∑
∑ ∑
∑ ∑
∑ ∑
Nguyễn Đình Thông
I. MÔ HÌNH HỒI QUI 3 BIẾN
Ví dụ: Ước lượng các tham số
Nguyễn Đình Thông

Bảng dưới đây cho các số liệu về doanh số bán (Y), chi

phí chào hàng (X
2
) và chi phí quảng cáo trong năm
2001 ở 12 khu vực bán hàng của một công ty. Hãy ước
lượng hàm hồi qui tuyến tính của doanh số bán theo
chi phí chào hàng và chi phí quảng cáo.
Nguyễn Đình Thông
Doanh thu
Yi (triệu đ)
CP quảng cáo
X
2i
(triệu đ)
CP tiền lương
NV tiếp thị X
3i
126 17 11
148 23 14
105 18 9
162 22 16
101 14 9
175 24 17
160 23 15
127 15 11
138 16 12
143 21 14
158 22 15
137 13 13
Nguyễn Đình Thông
Doanh số bán

Yi (triệu đ)
CP chào hàng
X
2i
(triệu đ)
CP quảng cáo
X
3i
(triệu đ)
127 10 18
149 10 25
106 60 19
163 16 24
102 70 15
180 17 26
161 14 25
128 12 16
139 12 17
144 12 23
159 14 22
138 15 15
Nguyễn Đình Thông
I. MÔ HÌNH HỒI QUI 3 BIẾN
Từ bảng số liệu trên ta tính tổng:
2 3
2 2 2
2 3
2 3 2 3
16.956; 1.452; 2.448
24.549.576; 188.192; 518.504

2.128.740; 3.542.360; 303.608;
i i i
i i i
i i i i i i
Y X X
Y X X
Y X Y X X X
= = =
= = =
= = =
∑ ∑ ∑
∑ ∑ ∑
∑ ∑ ∑
2 3
16.956 1.452 2.448
1.413; 121; 204
12 12 12
Y X X= = = = = =
Nguyễn Đình Thông
2 2 2 2
2 2 2
2 2 2 2
3 3 3
2 2 2 2
2 3 2 3 2 3
2 2 2
( ) 188.192 12*(121) 12.500
( ) 518.504 12*(204) 19.112
( ) 24.549.576 12*(1.413) 590.748
303.608 12*121*204 7.400

2.1
i i
i i
i i
i i i i
i i i i
x X n X
x X n X
y Y n Y
x x X X nX X
y x Y X nYX
= − = − =
= − = − =
= − = − =
= − = − =
= − =
∑ ∑
∑ ∑
∑ ∑
∑ ∑
∑ ∑
3 3 3
28.740 12*121*1.413 77.064
3.542.236 12*204*1.413 83.336
i i i i
y x Y X nYX
− =
= − = − =
∑ ∑
I. MÔ HÌNH HỒI QUI 3 BIẾN

Nguyễn Đình Thông
I. MÔ HÌNH HỒI QUI 3 BIẾN
Thay vào công thức, ta được:
( )
( ) ( )
( ) ( )
( )
2
2 3 3 2 3
2
2
2
2 2
2 3 2 3
77.064*19.112 83.336*7.400
ˆ
4,64951
12.500*19.112 (7.400)
i i i i i i i
i i i i
y x x y x x x
x x x x
β
−
−
= = =
−
−
∑ ∑ ∑ ∑
∑ ∑ ∑

( )
( ) ( )
( ) ( )
( )
2
3 2 2 2 3
3
2
2
2 2
2 3 2 3
83.336*12.500 77.064*7.400
ˆ
2,560152
12.500*19112 (7.400)
i i i i i i i
i i i i
y x x y x x x
x x x x
β
−
−
= = =
−
−
∑ ∑ ∑ ∑
∑ ∑ ∑
1 2 2 3 3
ˆ ˆ ˆ
(1.413 4,64951*121 2,560152*204) 328,1383Y X X

β β β
= − − = − − =
Vậy hàm hồi qui tuyến tính mẫu của doanh số bán theo
chi phí chào hàng và chi phí quảng cáo là:
2 3
ˆ
328,1383 4,64951 2,560152
i i i
Y X X= + +
I. MÔ HÌNH HỒI QUI 3 BIẾN
Thay vào công thức, ta được:
Nguyễn Đình Thông

Khi chi phí chào hàng và chi phí quảng cáo đều bằng
không thì doanh số bán trung bình của một khu vực bán
hàng là 328,183 triệu đồng/năm.
I. MÔ HÌNH HỒI QUI 3 BIẾN
Ý nghĩa:

Nếu giữ chi phí quảng cáo không đổi, khi chi phí chào
hàng tăng lên 1 triệu đồng/năm sẽ làm cho doanh thu
trung bình của một khu vực bán hàng tăng lên 4,6495
triệu đồng/năm.

Nếu giữ chi phí chào hàng không đổi, khi chi phí quảng
cáo tăng lên 1 triệu đồng/năm sẽ làm cho doanh thu trung
bình của một khu vực bán hàng tăng lên 2,56 triệu
đồng/năm.
I. MÔ HÌNH HỒI QUI 3 BIẾN
Ý nghĩa:

Nguyễn Đình Thơng
Sau khi đã có được các hàm ước lượng OLS
của các hệ số hồi qui, chúng ta có thể tính được
các phương sai và sai số chuẩn của các hàm ước
lượng này.
Tương tự như trong trường hợp hai biến,
chúng ta cần tính những sai số chuẩn để thiết lập
khoảng tin cậy và kiểm đònh các giả thiết thống
kê.
I. MƠ HÌNH HỒI QUI 3 BIẾN
4. Phương sai và sai số chuẩn của các hệ số hồi qui:
Nguyễn Đình Thông
( )
( )
2 2 2 2
2 3 3 2 2 3 2 3
2
1
2
2 2
2 3 2 3
2
1
ˆ
var
i i i i
i i i i
X x X x X X x x
n
x x x x

β σ
 
+ −
 
= + ×
 
−
 
∑ ∑ ∑
∑ ∑ ∑
I. MÔ HÌNH HỒI QUI 3 BIẾN
4. Phương sai và sai số chuẩn của các hệ số hồi qui:
( ) ( )
1 1
ˆ ˆ
varse
β β
=
Nguyễn Đình Thông
I. MÔ HÌNH HỒI QUI 3 BIẾN
4. Phương sai và sai số chuẩn của các hệ số hồi qui:
( )
( ) ( )
( )
2
3
2
2
2
2 2

2 3 2 3
ˆ
var
i
i i i i
x
x x x x
β σ
=
−
∑
∑ ∑ ∑
( ) ( )
2 2
ˆ ˆ
varse
β β
=
Nguyễn Đình Thông
I. MÔ HÌNH HỒI QUI 3 BIẾN
4. Phương sai và sai số chuẩn của các hệ số hồi qui:
( )
( ) ( )
( )
2
2
2
3
2
2 2

2 3 2 3
ˆ
var
i
i i i i
x
x x x x
β σ
=
−
∑
∑ ∑ ∑
( ) ( )
3 3
ˆ ˆ
varse
β β
=
Nguyễn Đình Thơng
2
2
ˆ
3 3
i
e
RSS
n n
σ
= =
− −

∑
2 2
( )
i
TSS Y n Y
= −
∑
I. MƠ HÌNH HỒI QUI 3 BIẾN
4. Phương sai và sai số chuẩn của các hệ số hồi qui:
Trong đó σ
2
là phương sai của Ui nhưng chưa biết. Trong
thực hành người ta thường dùng
Trong đó σ
2
là phương sai của Ui nhưng chưa biết. Trong
thực hành người ta thường dùng để
ước lượng cho σ
2
.
RSS = TSS – ESS
2 2 3 3
ˆ ˆ
i i i i
ESS y x y x
β β
= +
∑ ∑
Nguyễn Đình Thơng
Tiếp tục số liệu ví dụ trước, ta có:

2 2 2
2 2 3 3
( ) 24.549.576 12*(1.413) 590.748
ˆ ˆ
4,64951*77.064 2,560152*83.336 571.662,67
i
i i i i
TSS Y n Y
ESS y x y x
β β
= − = − =
= + = + =
∑
∑ ∑
2
590.748 571.662,67 19.085,33
19.085,33
ˆ
2.120,592
12 3
RSS TS S ESS
σ
= − = − =
=> = =
−
( )
( ) ( )
( )
( )
( )

( ) ( )
( )
( )
2
3
2
2
2
2
2 2
2 3 2 3
2
2
2
2
3
2
2
2 2
2 3 2 3
3
19.112
ˆ
var *2.120,592 0,220097
12.500*19.112 (7.400)
ˆ
0,220097 0,46915
12.500
ˆ
var *2.120,592 0,143952

12.500*19.112 (7.400)
ˆ
0,1439
i
i i i i
i
i i i i
x
x x x x
se
x
x x x x
se
β σ
β
β σ
β
= = =
−
−
=> = =
= = =
−
−
=> =
∑
∑ ∑ ∑
∑
∑ ∑ ∑
52 0,379407.=

Nguyễn Đình Thơng
I. MƠ HÌNH HỒI QUI 3 BIẾN
5. Hệ số xác đònh mô hình:
2 2 2
2 2 3 3
2
( )
ˆ ˆ
i i
i i i i
TSS Y Y Y nY
ESS y x y x
RSS TSS ESS
ESS
R
TSS
β β
= − = −
= +
= −
=
∑ ∑
∑ ∑
Nếu tăng số biến giải thích (độc lập) của mô hình thì R
2

cũng tăng. Vì vậy, khi so sánh 2 mô hình hồi qui có cùng
biến phụ thuộc nhưng số biến độc lập khác nhau, ta cần cẩn
thận trong việc lựa chọn mô hình với R
2

cao nhất.
Nguyễn Đình Thơng
I. MƠ HÌNH HỒI QUI 3 BIẾN
5. Hệ số xác đònh mô hình:
2
Y
2 2
1
1 (1 )
n
R R
n k
−
= − −
−
Để so sánh 2 số hạng R
2
, ta cần tính đến số lượng biến độc lập
có trong mô hình. Ta tính R
2
có hiệu chỉnh ( )
k là số các tham số trong mô hình bao gồm cả hệ số tự do.
có các tính chất sau:

Khi k>1 thì : tức số biến giải thích càng lớn thì
hệ số xác đònh hồi qui bội đã điều chỉnh càng nhỏ hơn hệ số
xác đònh chưa điều chỉnh. Mặc dù R
2
luôn dương nhưng R
2

hiệu chỉnh có thể âm, trong trường hợp R
2
điều chỉnh âm ta coi
giá trò của nó bằng 0.
2 2
1R R≤ ≤
2
R
2
R