CHƯƠNG 3 HỒI QUY ĐA BIẾN pot

CHƯƠNG 3
CHƯƠNG 3
HỒI QUY ĐA BIẾN
HỒI QUY ĐA BIẾN
2
1. Bi t đ c ph ng pháp c ế ượ ươ ướ
l ng bình ph ng nh nh t ượ ươ ỏ ấ
đ c l ng hàm h i quy đa ể ướ ượ ồ
bi n t ng th d a trên s li u ế ổ ể ự ố ệ
m uẫ
2. Hi u các cách ki m đ nh ể ể ị
nh ng gi thi tữ ả ế
M C Ụ
TIÊU
HỒI QUY Đ
HỒI QUY Đ
A
A
BIẾN
BIẾN
NỘI DUNG
Mô hình hồi quy 3 biến
1
Mô hình hồi quy k biến
2
5
3
3
Dự báo
4


Mô hình hồi quy tổng thể PRF
Ý nghĩa: PRF cho biết trung bình có điều
kiện của Y với điều kiện đã biết các giá trị
cố định của biến X
2
và X
3.

Y: biến phụ thuộc

X
2
và X
3
: biến độc lập

β
1
: hệ số tự do

β
2 ,
β
3
: hệ số hồi quy riêng
3322132
),/( XXXXYE
βββ
++=
3.1 Mô hình hồi quy 3 biến

5
Ý nghĩa hệ số hồi quy riêng: cho biết ảnh
hưởng của từng biến độc lập lên giá trị trung
bình của biến phụ thuộc khi các biến còn lại
được giữ không đổi.

Mô hình hồi quy tổng thể ngẫu nhiên:
u
i
: sai số ngẫu nhiên của tổng thể
iiii
uXXY +++=
33221
βββ
3.1 Mô hình hồi quy 3 biến
6
Các giả thiết của mô hình
1. Giá trị trung bình của U
i
bằng 0
E(U
i
/X
2i,
X
3i
)=0
2. Phương sai của các U
i
là không đổi

Var(U
i
)=σ
2

3. Không có hiện tượng tự tương quan giữa
các U
i

Cov(U
i
,U
j
)=0; i≠j
4. Không có hiện tượng cộng tuyến giữa X
2

và X
3

5.U
i
có phân phối chuẩn: U
i
N(0, σ
2
)
1. Giá trị trung bình của U
i
bằng 0

E(U
i
/X
2i,
X
3i
)=0
2. Phương sai của các U
i
là không đổi
Var(U
i
)=σ
2

3. Không có hiện tượng tự tương quan giữa
các U
i

Cov(U
i
,U
j
)=0; i≠j
4. Không có hiện tượng cộng tuyến giữa X
2

và X
3

5.U
i
có phân phối chuẩn: U
i
N(0, σ
2
)
7
Hàm hồi quy mẫu:
iii
YYe
ˆ
−=
sai số của mẫu ứng với quan sát thứ i
3.1.1 Ước lượng các tham số
Sử dụng phương pháp bình phương
nhỏ nhất để ước lượng các tham số
321
ˆ
,
ˆ
,
ˆ
βββ
iiii
eXXY +++=
33221
ˆˆˆ
ˆ
βββ

8
∑∑
→−−−== min)
ˆˆˆ
(
2
33221
2
iiii
XXYeQ
βββ
∑
=−−−−= 0)
ˆˆˆ
(2
ˆ
33221
1
iii
XXY
d
dQ
βββ
β
∑
=−−−−= 0))(
ˆˆˆ
(2
ˆ
233221

2
iiii
XXXY
d
dQ
βββ
β
∑
=−−−−= 0))(
ˆˆˆ
(2
ˆ
333221
3
iiii
XXXY
d
dQ
βββ
β
3.1.1 Ước lượng các tham số
9
2
32
2
3
2
2
323
2

32
2
)(
ˆ
∑∑ ∑
∑ ∑ ∑ ∑
−
−
=
iiii
iiiiiii
xxxx
xxxyxxy
β
2
32
2
3
2
2
322
2
23
3
)(
ˆ
∑∑ ∑
∑ ∑ ∑ ∑
−
−

=
iiii
iiiiiii
xxxx
xxxyxxy
β
ii
XXY
33221
ˆˆˆ
βββ
−−=
YYy
ii
−=
XXx
ii
−=
3.1.1 Ước lượng các tham số
10
2
2
32
2
3
2
2
2
3
2

)(
)
ˆ
(
σβ
∑∑ ∑
∑
−
=
iiii
i
xxxx
x
Var
2
2
32
2
3
2
2
2
2
3
)(
)
ˆ
(
σβ
∑∑ ∑

∑
−
=
iiii
i
xxxx
x
Var
3
)1(
3
ˆ
222
2
−
−
=
−
=
∑∑
n
yR
n
e
ii
σ
3.1.2 Phương sai của các ước lượng
σ
2
là phương sai của u

i
chưa biết nên dùng ước
lượng không chệch:
2
2
32
2
3
2
2
3232
2
2
2
3
2
3
2
2
1
)
)(
2
1
()
ˆ
(
σβ
∑∑ ∑
∑ ∑ ∑

−
−+
+=
iiii
iiii
xxxx
xxXXxXxX
n
Var
11
Hệ số xác định R
2
∑
∑
=
=
−=−==
n
i
i
n
i
i
y
e
TSS
RSS
TSS
ESS
R

1
2
1
2
2
11
∑
∑∑
+
=
2
3322
2
ˆˆ
i
iiii
y
xyxy
R
ββ
Mô hình hồi quy 3 biến
∑
∑
−
−
=
)1(
)(
2
2

2
n
y
kn
e
R
i
i
Hệ số xác định hiệu chỉnh
Với k là tham số của mô hình,
kể cả hệ số tự do
Hệ số xác định
12
kn
n
RR
−
−
−−=
1
)1(1
22
Dùng để xét việc đưa thêm 1 biến vào mô
hình. Biến mới đưa vào mô hình phải thỏa 2
điều kiện:
- Làm tăng
- Hệ số hồi quy biến mới thêm vào mô hình
khác 0 có ý nghĩa
2
R

2
R
Hệ số xác định hiệu chỉnh
13
Với mức ý nghĩa α hay độ tin cậy 1- α
)
ˆ
;
ˆ
(
iiiii
εβεββ
+−∈
)2/,3(
)
ˆ
(
α
βε
−
=
nii
tSE
3.1.4 Khoảng tin cậy
Với
14
1. Kiểm định giả thiết H
0
:
B1. Tính

B2. Nguyên tắc quyết định

Nếu |t
i
| > t
(n-3,α/2)
: bác bỏ H
0

Nếu |t
i
| ≤ t
(n-3,α/2)
: chấp nhận H
0
*
ii
ββ
=
)
ˆ
(
ˆ
*
i
ii
i
SE
t
β

ββ
−
=
3.1.5 Kiểm định giả thiết
15
2. Kiểm định giả thiết đồng thời bằng không:
H
0
: β
2
= β
3
= 0;
(H
1
: ít nhất 1 tham số khác 0)
B1. Tính
B2. Nguyên tắc quyết định

F > F
α
(2, n-3): Bác bỏ H
0
: Mô hình phù hợp

F ≤ F
α
(2, n-3): Chấp nhận H
0
: Mô hình không

phù hợp
2)1(
)3(
2
2
R
nR
F
−
−
=
3.1.5 Kiểm định giả thiết
16
Mô hình hồi quy tổng thể
Mô hình hồi quy mẫu ngẫu nhiên:

kikik
XXXXYE
βββ
+++= ), /(
2212
ikikii
eXXY ++++=
βββ
ˆ

ˆˆ
ˆ
221
kikiiiiii

XXXYYYe
ββββ
ˆ

ˆˆˆ
ˆ
33221
−−−−−=−=
3.2 Mô hình hồi quy k biến
sai số của mẫu ứng với quan sát thứ i
17
3.2.1 Ước lượng các tham số
( )
min
ˆ

ˆˆˆ
2
1
33221
1
2
→−−−−−=
∑∑
==
n
i
kikiii
n
i

i
XXXYe
ββββ
( )
( )
( )
0
ˆ

ˆˆˆ
2

0
ˆ

ˆˆˆ
2
0
ˆ

ˆˆˆ
2
1
33221
1
2
2
1
,33221
2

1
2
1
33221
1
1
2
=−−−−−−=
∂
∂
=−−−−−−=
∂
∂
=−−−−−−=
∂
∂
∑
∑
∑
∑
∑
∑
=
=
=
=
=
=
ki
n

i
kikiii
k
n
i
i
i
n
i
ikkiii
n
i
i
n
i
kikiii
n
i
i
XXXXY
e
XXXXY
e
XXXY
e
ββββ
β
ββββ
β
ββββ

β
18
)
ˆ
;
ˆ
(
iiiii
εβεββ
+−∈
)2/,(
).
ˆ
(
α
βε
knii
tSE
−
=
3.2.2 Khoảng tin cậy
Với mức ý nghĩa α hay độ tin cậy 1- α
Với
19
∑
∑∑∑
+++
=
2
3322

2
ˆ

ˆˆ
i
kiikiiii
y
xyxyxy
R
βββ
kn
n
RR
−
−
−−=
1
)1(1
22
Hệ số xác định
Hệ số xác định hiệu chỉnh
Với k là tham số của mô hình, kể cả hệ số
tự do
20
2
R
kn
n
RR
−

−
−−=
1
)1(1
22
Dùng để xem xét việc đưa thêm biến
vào mô hình. Biến mới đưa vào mô hình
phải thỏa 2 điều kiện:
- Làm tăng
- Biến mới có ý nghĩa thống kê trong mô
hình mới
2
R
Hệ số xác định hiệu chỉnh
21
1. Kiểm định giả thiết về hệ số hồi quy
Kiểm định giả thiết H
0
:
B1.Tính
B2. Nguyên tắc quyết định

Nếu |t
i
| > t
(n-k,α/2)
: bác bỏ H
0

Nếu |t

i
| ≤ t
(n-k,α/2)
: chấp nhận H
0
*
ii
ββ
=
)
ˆ
(
ˆ
*
i
ii
i
SE
t
β
ββ
−
=
3.2.3 Kiểm định các giả thiết hồi quy
22
2. Kiểm định sự phù hợp của mô hình: kiểm
định giả thiết đồng thời bằng không:
H
0
: β

2
= β
3
=…= β
k
= 0;
(H
1
: ít nhất 1 trong k tham số khác 0)
B1. Tính
B2. Nguyên tắc quyết định:

Nếu F > F
α
(k-1, n-k): Bác bỏ H
0
: Mô hình phù
hợp

Nếu F ≤ F
α
(k-1, n-k): Chấp nhận H
0
: Mô hình
không phù hợp
)1)(1(
)(
2
2
−−

−
=
kR
knR
F
3.2.4 Kiểm định các giả thiết hồi quy
23
Mô hình hồi quy

Cho trước giá trị
Dự báo giá trị trung bình và giá trị cá biệt của
Y với mức ý nghĩa α hay độ tin cậy 1 - α.
3.3 DỰ BÁO
kki
XXY
βββ
ˆ

ˆˆ
ˆ
221
+++=















=
0
0
2
0

1
k
X
X
X
24
* Ước lượng điểm
* Dự báo giá trị trung bình của Y
)
ˆ
;
ˆ
()/(
00000
εε
+−∈ YYXYE
)2/,(00
)

ˆ
(
α
ε
kn
tYSE
−
=
)
ˆ
()
ˆ
(
00
YVarYSE =
0102
0
.).(
ˆ
)
ˆ
( XXXXYVar
TT −
=
σ
Với:
3.3 DỰ BÁO
00
2210
ˆ

ˆˆ
ˆ
kk
XXY
βββ
+++=
25
* Dự báo giá trị cá biệt của Y
Với:
)
ˆ
;
ˆ
(
'
00
'
000
εε
+−∈ YYY
)2/,(00
'
0
)
ˆ
(
α
ε
kn

tYYSE
−
−=
)
ˆ
()
ˆ
(
0000
YYVarYYSE −=−
2
000
ˆ
)
ˆ
()
ˆ
(
σ
+=− YVarYYVar
3.3 DỰ BÁO