mô hình quy hồi tuyến tính đa biến

CHƯƠNG V.
MÔ HÌNH HỒI QUY TUYẾN TÍNH
ĐA BIẾN


MÔ HÌNH HỒI QUY
TUYẾN TÍNH ĐA BIẾN

MỤC
TIÊU

1. Biết dạng hàm hồi quy tuyến tính
đa biến tổng thể, hàm hồi quy mẫu
2. Sử dụng phương pháp OLS ước
lượng các tham số của mô hình
3. Thực hiện các bài toán ước lượng
khoảng, kiểm định
4. Thực hiện bài toán dự báo
5. Hiểu được ý nghĩa của R^2 và R^2
hiệu chỉnh

2


MÔ HÌNH HỒI QUY
TUYẾN TÍNH ĐA BIẾN
NỘI DUNG

1

Mô hình hồi quy 3 biến

2

Mô hình hồi quy k biến

3

Dự báo

5

3


5.1. MÔ HÌNH HỒI QUY 3 BIẾN

Mô hình hồi quy tổng thể PRF

E (Y / X 2 , X 3 ) = β1 + β 2 X 2 + β 3 X 3
Ý nghĩa: PRF cho biết trung bình có điều
kiện của Y với điều kiện đã biết các giá trị
cố định của biến X2 và X3.
Y:
biến phụ thuộc
biến độc lập
X2 và X3:
hệ số tự do
β1 :
hệ số hồi quy riêng
β2 , β3 :

4


5.2. MÔ HÌNH HỒI QUY 3 BIẾN

Ý nghĩa hệ số hồi quy riêng: cho biết ảnh
hưởng của từng biến độc lập lên giá trị trung
bình của biến phụ thuộc khi các biến còn lại
được giữ không đổi.
Mô hình hồi quy tổng thể ngẫu nhiên:
Yi = β1 + β 2 X 2i + β 3 X 3i + ε i
εi: sai số ngẫu nhiên của tổng thể

5


5.1. MÔ HÌNH HỒI QUY k BIẾN
Các giả thiết của mô hình

1. Giá trị trung bình của εi bằng 0
E(εi /X2i, X3i)=0
2. Phương sai của các Ui là không đổi
Var(εi)=σ2
3. Không có hiện tượng tự tương quan giữa các εi
Cov(εi ,εj )=0; i≠j
4. Không có hiện tượng cộng tuyến giữa X2 và X3
5.εi có phân phối chuẩn: εi N(0, σ2 )

6

5.1. MÔ HÌNH HỒI QUY 3 BIẾN
Ước lượng mô hình

Hàm hồi quy mẫu:
Yi = βˆ1 + βˆ2 X 2 i + βˆ3 X 3i + ε$i
sai số của mẫu ứng với quan sát thứ i

ε$i = Yi − Yˆi
Sử dụng phương pháp bình phương
nhỏ nhất để ước lượng các tham số
βˆ1 , βˆ2 , βˆ3
7


5.1. MÔ HÌNH HỒI QUY 3 BIẾN
Ước lượng mô hình
2
i

2
$
ˆ
ˆ
ˆ
Q = ∑ ε = ∑ (Yi − β1 − β 2 X 2i − β 3 X 3i ) → min

dQ
= −2∑ (Yi − βˆ1 − βˆ2 X 2 i − βˆ3 X 3i ) = 0
dβˆ1

dQ
= 2∑ (Yi − βˆ1 − βˆ2 X 2 i − βˆ3 X 3i )(− X 2 i ) = 0
dβˆ2

dQ
= 2∑ (Yi − βˆ1 − βˆ2 X 2i − βˆ3 X 3i )(− X 3i ) = 0
dβˆ3
8


5.1. MÔ HÌNH HỒI QUY 3 BIẾN
Ước lượng mô hình

βˆ2 =

βˆ3

2
y
x
x
∑ i 2i ∑ 3i − ∑ yi x3i ∑ x2i x3i
2
2
2
x
x
−
(
x

x
)
∑ 2 i ∑ 3 i ∑ 2 i 3i

y x ∑x −∑ y x ∑x
∑
=
∑ x ∑ x − (∑ x x )
2
2i

i 3i

2
2i

i

2
3i

2i

x

2 i 3i
2

2 i 3i

βˆ1 = Y − βˆ2 X 2i − βˆ3 X 3i
xi = X i − X

yi = Yi − Y
9


5.1. MÔ HÌNH HỒI QUY 3 BIẾN

Ví dụ áp dụng:
Bảng dưới đây cho các số liệu về doanh số bán
(Y), chi phí chào hàng (X2) và chi phí quảng cáo
(X3) của một công ty
? Hãy ước lượng hàm hồi quy tuyến tính của
doanh số bán theo chi phí chào hàng và chi phí
quảng cáo

10


5.1. MÔ HÌNH HỒI QUY 3 BIẾN
Doanh số bán Yi
(trđ)

Chi phí chào hàng
X2

Chi phí quảng cáo
X3

1270

100

180

1490

106

248

1060

60

190

1626

160

240

1020

70

150

1800

170

260

1610

140

250

1280

120

160

1390

116

170

1440

120

230

1590

140

220

1380

150

150

11


5.1. MÔ HÌNH HỒI QUY 3 BIẾN
Phương sai các ước lượng
2
2
2
2
X
x
+
X
x
1
2 ∑ 3i
3 ∑ 2 i − 2 X 2 X 3 ∑ x2 i x3i
2

ˆ
Var ( β1 ) = ( +
)
σ
2
2
2
n
x
x
−
(
x
x
)
∑ 2 i ∑ 3 i ∑ 2 i 3i

Var ( βˆ2 ) =

Var ( βˆ3 ) =

2
x
∑ 3i

2
2
x
x
∑ 2i ∑ 3i − (∑ x2i x3i )

2
x
∑ 2i

2
σ
2

2
2
x
x
∑ 2i ∑ 3i − (∑ x2i x3i )

2
σ
2

σ2 là phương sai của ui chưa biết nên dùng ước lượng
không chệch:
σˆ 2 =

∑

2
$
εi

n−3

=

(1 − R 2 )∑ yi2
n−3

12


5.1. MÔ HÌNH HỒI QUY 3 BIẾN
Ước lượng khoảng tin cậy và kiểm định
Với mức ý nghĩa α hay độ tin cậy 1- α
+ Ước lượng khoảng và kiểm định cho tham số của mô hình

βˆi − β i
ti =
¶ ( βˆ )
Sd
i

+ Ước lượng khoảng và kiểm định cho phương sai sai số mô hình

µ
(
n
−
3)
σ
2
χ =

2
σ

2

13


5.2. MÔ HÌNH HỒI QUY k BIẾN

Mô hình hồi quy tổng thể
E (Y / X 2 ,... X k ) = β1 + β 2 X 2i + ... + β k X ki
Mô hình hồi quy mẫu ngẫu nhiên:

Yi = βˆ1 + βˆ2 X 2i + ... + βˆk X ki + ε$i
sai số của mẫu ứng với quan sát thứ i

ε$i = Yi − Yˆi = Yi − βˆ1 − βˆ2 X 2i − βˆ3 X 3i − ... − βˆk X ki
14


5.2. MÔ HÌNH HỒI QUY k BIẾN
Hệ số xác định R^2

ˆ
ˆ
ˆ
β
y
x

+
β
y
x
+
...
+
β
2 ∑ i 2i
3 ∑ i 3i
k ∑ yi xki
2
R =
2
∑ yi

µε
∑i

2

RSS
R = 1−
= 1−
2
TSS
∑ yi
2

Với k là tham số của mô hình, kể cả hệ số

tự do
15


5.2. MÔ HÌNH HỒI QUY k BIẾN
Hệ số xác định điều chỉnh R

2

n −1
R = 1 − (1 − R )
n−k
2

2

Dùng R 2 để xem xét việc đưa thêm biến vào mô
hình. Biến mới đưa vào mô hình phải thỏa 2 điều
kiện:
- Làm R 2 tăng
- Biến mới có ý nghĩa thống kê trong mô hình
mới
16


5.2. MÔ HÌNH HỒI QUY k BIẾN
Kiểm định các giả thiết

Kiểm định sự phù hợp của mô hình: kiểm định giả
thiết đồng thời bằng không:

H0: β2 = β3 =…= βk = 0;
(H1: ít nhất 1 trong k tham số khác 0)
R 2 (n − k )
F =
(1 − R 2 )( k − 1)

B1. Tính
B2. Nguyên tắc quyết định:
Nếu F > Fα(k-1, n-k): Bác bỏ H0: Mô hình phù hợp
Nếu F ≤ Fα(k-1, n-k): Chấp nhận H0: Mô hình không
phù hợp
17


5.3. DỰ BÁO
Mô hình hồi quy
Yˆi = βˆ1 + βˆ2 X 2 + .... + βˆk X k

1 
 0
X2 
0

Cho trước giá trị X = 
.... 
 0
 X k 
Dự báo giá trị trung bình và giá trị cá biệt của
Y với mức ý nghĩa α hay độ tin cậy 1 - α.
18

5.3. DỰ BÁO
 Ước lượng điểm

Yˆ0 = βˆ1 + βˆ2 X 20 + ... + βˆk X k0
 Dự báo giá trị trung bình của Y

E (Y / X 0 ) ∈ (Yˆ0 − u0 ; Yˆ 0 +u0 )

Với:

u0 = SE (Yˆ0 )t( n − k ,α / 2)
SE (Yˆ0 ) = Var (Yˆ0 )
Var (Yˆ0 ) = σˆ 2 X 0T ( X T . X ) −1. X 0
19


5.3. DỰ BÁO
 Dự báo giá trị cá biệt của Y
'
'
ˆ
ˆ
Y0 ∈ (Y0 − u0 ; Y 0 +u0 )

Với:

u = SE (Y0 − Yˆ0 )t( n − k ,α / 2)
'

0

SE (Y0 − Yˆ0 ) = Var (Y0 − Yˆ0 )
2
ˆ
ˆ
ˆ
Var (Y0 − Y0 ) = Var (Y0 ) + σ

20