Lý thuyết hàm hồi qui đa biến

1
Hàm hồi quy đa biến
TS Nguyễn Minh Đức 2009
n
Ý nghĩa của hệ số hồi quy
n
Giả định
1.
Mô hình hồi qui tuyến tính
2.
Giá trị kì vọng của biến số ngẫu nhiên=0
3.
Phương sai của biến số ngẫu nhiên không đổi
(Homoscedasticity
)
4.
Không có hiện tượng tự tương quan giữa các biến số ngẫu nhiên
5.
Không có tương quan giữa ui và Xi
6.
Số quan sát phải lớn hơn số lượng tham số
7.
Mô hình hồi qui được giả định là chính xác
8.
Không có tương quan tuyến tính chính xác giữa các biến độc lập
9.
Biến độc lập Xi phải có sự biến thiên
iiii
uXXY
+
+

+
=
33221
β
β
β
2
TS Nguyễn Minh Đức 2009
n
Phương pháp bình phương tối thiểu
ikik
i
ii
eXXXY +++++=
ββββ
ˆ

ˆ
ˆ
ˆ
33221
( )
2
1
33221
1
2
ˆ

ˆˆˆ

∑∑
==
−−−−−=
n
i
kikiii
n
i
i
XXXYe
ββββ
( )
( )
( )
0
ˆ

ˆˆˆ
2

0
ˆ

ˆˆˆ
2
0
ˆ

ˆˆˆ
2

1
,,33,221
1
2
,2
1
,,33,221
2
1
2
1
,,33,221
1
1
2
=−−−−−−=
∂
∂
=−−−−−−=
∂
∂
=−−−−−−=
∂
∂
∑
∑
∑
∑
∑
∑

=
=
=
=
=
=
ki
n
i
iKKiii
k
n
i
i
i
n
i
iKKiii
n
i
i
n
i
iKKiii
n
i
i
XXXXY
e
XXXXY

e
XXXY
e
ββββ
β
ββββ
β
ββββ
β
TS Nguyễn Minh Đức 2009
n
Kết quả:
33221
X
ˆ
X
ˆ
Y
ˆ
β−β−=β
2
n
1i
i,3i,2
n
1i
2
n
1i
2

n
1i
i,3i,2
n
1i
i,3i
n
1i
2
n
1i
i,2i
2
xxxx
xxxyxxy
ˆ
i,3i,2
i,3






−

























−













=β
∑∑∑
∑∑∑∑
===
====
2
n
1i
i,3i,2
n
1i
2
n
1i
2
n
1i
i,3i,2
n
1i
i,2i
n
1i
2
n
1i
i,3i
3

xxxx
xxxyxxy
ˆ
i,3i,2
i,2






−

























−












=β
∑∑∑
∑∑∑∑
===
====
3
TS Nguyễn Minh Đức 2009
TSS
RSS
1
TSS

ESS
R
2
−==
k
n
1n
)R1(1R
22
−
−
−−=
v
Phân phối của ước lượng tham số
)var()(
^^
kk
se
ββ
=













=
∑∑
∑
==
=
n
1i
2
i,3
n
1i
2
i,2
n
1i
i,3i,2
XX
xx
xx
r
32
( )
2
2
n
1i
i,3i,2
n

1i
2
i,3
n
1i
2
i,2
n
1i
2
i,3
2
xxxx
x
ˆ
var σ






−













=β
∑∑∑
∑
===
=
Quan hệ giữa R
2
và F
)(
)1(
)1(
)1)(1(
)(
)(
)1(
SS
2
2
2
2
kn
R
k
R
Rk

Rkn
kn
RSS
k
E
F
−
−
−
=
−−
−
=
−
−
=
TS Nguyễn Minh Đức 2009
(
)
( )
2
2
23
n
1i
2
i,2
2
r1x
1

ˆ
var σ
−
=β
∑
=
Nếu r
2
23
= 0, phương sai của hệ số ước lượng β2 của hàm hồi
quy đa biến và hồi quy đơn là giống nhau
Nếu X
2
và X
3
có tương quan tuyến tính hoàn hảo thì r
2
23
=1, phương sai của
hệ số ước lượng β
2
vô cùng lớn
Nếu X
2
và X
3
tương quan tuyến tính cao, nhưng không hoàn hảo
thì hệ số ước lượng β
2
là không chệch nhưng không hiệu quả

2
1
32
1
2
3
1
2
2
1
32
1
3
1
2
3
1
2
22
ˆ






−

























−













+=
∑∑∑
∑∑∑∑
===
====
n
i
ii
n
i
i
n
i
i
n
i
ii
n
i
ii
n
i
i
n
i
ii

xxxx
xxxxx
εε
ββ
4
TS Nguyễn Minh Đức 2009
Không chệch
2
^
2
)(
ββ
=E
Khi thay đổi của giá trị biến hồi qui càng lớn so với giá trị
trung bình của nó thì phương sai hệ số ước lượng càng nhỏ,
tham số ước lượng càng chính xác.
Thông thường biến đổi của biến hồi qui càng lớn khi cỡ mẫu
(số quan sát) của chuỗi dữ liệu càng lớn.
Cóthể giải thích điều này bằng đồ thị hàm mật độ xác xuất.
Như vậy số quan sát nào là đủ lớn cho một bộ dữ liệu?
TS Nguyễn Minh Đức 2009
Kiểm định mức ý nghĩa chung của mô hình
H
0
: β
2
= β
3
= β
4

… = β
k
= 0 hay R
2
=0
H
1
: Không phải tất cả các hệ số đồng thời =0
F* > F (k-1,n-k,α) thì bác bỏ H
0
F* ≤ F (k-1,n-k,α) thì không thể bác bỏ H
0
),1(
2
2
~
)1)(1(
)(
k)-(n
SS
1)-(k
SS
knk
F
kR
knR
R
E
F
−−

−−
−
==
5
TS Nguyễn Minh Đức 2009
Kiểm định giả thuyết về hệ số hồi quy
)(~
)(
^^
^
*
knt
se
t
k
kk
−
−
=
β
ββ
Kiểm định giả thuyết về phương sai của sai số
)
ˆ
(e.st
ˆ
)
ˆ
(e.st
ˆ

m)2/1,kn(mmm)2/1,kn(m
β+β≤β≤β−β
α−−α−−
Ước lượng phương sai của sai số
k
n
e
s
n
1i
2
i
2
−
=
∑
=
ε
2
s
ε
là ước lượng không chệch của σ
2
, hay
(
)
22
sE σ=
ε
TS Nguyễn Minh Đức 2009

2
0
2
δδ
≠
H
0
:
H
1
:
2
0
^
2
2
)(
δ
δ
χ
kn
o
−
=
)()(
2
2/1
2
2
2/

knkn
o
−−
−
αα
χχχ
pp
2
0
2
δδ
=
Kiểm định Wald
(U)
(R)
H
0
: β
m
=…= β
k-1
=0
H
1
: có ít nhất một β
j
≠0
uXXXXXY
kkmmmm
++++++++=

−−−− 111122110

ββββββ
vXXXY
mm
+++++=
−− 1122110

ββββ
6
TS Nguyễn Minh Đức 2009
n
Hồi quy mô hình không bị ràng buộc (U), k tham số, RSS(U) có (n-k) bậc
tự do
n
Hồi quy mô hình (R), m tham số, RSS(R) có (n-m) bậc tự do
n
Nếu F
W
> F
α
(k-m, n-k): bác bỏ H
0
n
Kiểm định Wald thường được sử dụng khi kiểm định tổ hợp tuyến tính,
kiểm định thừa biến…
n
Kiểm định tổ hợp tuyến tính về hệ số hồi quy
),(
2

2
2
~
))(1(
)(
)/(
)/()(
knmk
U
RU
U
UR
W
F
knR
mkRR
knRSS
mkRSSRSS
F
−−
−−
−−
=
−
−−
=
(U)
uXXY
+
+

+
=
22110
β
β
β
H
0
: β
1
= β
2
H
1
: β
1
≠ β
2
TS Nguyễn Minh Đức 2009
n
Cách 1: Kiểm định Wald
uZuXXY ++=+++=
102110
)(
ββββ
)3,1(
2
2
2
~

)3)(1(
)23(
−
−−
−−
=
n
U
RU
W
F
nR
RR
F
Cách 2: Kiểm định t gián tiếp
đặt δ=β
1
- β
2
; H
0
: β
1
= β
2
; H
0
: δ=0
uXXXuXXY
+

−
+
+
=
+
−
+
+
=
2211021110
)()(
δ
β
β
δ
β
β
β
uXZY +−+=
210
δββ
3
^^
^
*
~
)(
0
−
−

=
n
t
se
t
δ
δ
7
TS Nguyễn Minh Đức 2009
n
Cách 3: Kiểm định t trực tiếp
)()(
0
^
2
^
1
^
^
2
^
1
^^
^
*
ββ
ββ
δ
δ
−

−
=
−
=
sese
t
)(var)(
^
2
^
1
^^
2
^
1
^
ββββ
−=−se
),cov(2)(var)(var)(var
^
2
^
1
^
2
^^
1
^^
2
^

1
^
ββββββ
−+=−
TS Nguyễn Minh Đức 2009
Hàm hồi qui với biến giả
n
Trong phân tích hồi qui biến giả thường được sử dụng cho những
biến định tính: nam, nữ, việc thích hay không thích, tôn giáo, tốt
nghiệp đại học hay chưa, sống ở thành thị hay nông thôn, màu da,
quốc tịch
n
Những biến định tính này có thể được lượng hóa là 0, 1hoặc trong
khoảng 1-9
n
Y
i
= b
1
+ b
2
X
i
+ b
3
D
i
+ e
i
Cách xây dựng biến giả:

Ví dụ: xem ảnh hưởng của trình độ đối với lương của giáo viên
n
Cách 1: D = 0: nếu là cử nhân, thuộc tính cơ sở
D=1: nếu là thạc sĩ
Y = b
1
+ b
2
D + u
n
b
1
lương trung bình của giáo viên có trình độ cử nhân
n
(b
1
+ b
2
) lương trung bình của giáo viên có trình độ thạc sĩ
8
TS Nguyễn Minh Đức 2009
n
Nếu biến giả có n thuộc tính, có (n-1) biến giả
n
Giả sử: có 3 mức độ về trình độ giáo viên (cử nhân, thạc sĩ, tiến sĩ)
Y = b
1
+ b
2
D

1
+ b
3
D
2
+ u
n
b
1
lương trung bình của giáo viên có trình độ cử nhân
n
(b
1
+ b
2
) lương trung bình của giáo viên có trình độ thạc sĩ
n
(b
1
+ b
3
) lương trung bình của giáo viên có trình độ tiến sĩ
n
b
2
chênh lệch giữa mức lương của giáo viên có trình độ cử nhân và
thạc sĩ
n
b
3

chênh lệch giữa mức lương của giáo viên có trình độ cử nhân và
tiến sĩ
TS Nguyễn Minh Đức 2009
kỹ thuật sử dụng biến giả
n
Y = b
1
+ b
2
X+ b
3
D + u
Y: lương của giáo viên
X: số năm giảng dạy
D: giới tính (nam=1, nữ=0)
Dịch chuyển số hạng tung độ gốc: lương khởi điểm của giáo viên nam và nữ
khác nhau nhưng tốc độ tăng lương theo số năm giảng dạy là như nhau
n
PRF: Y = b
1
+ b
2
X+ b
3
D + u
n
SRF: nữ: Y = β
1
+ β
2

X
n
nam: Y = β
1
+ β
2
X+ β
3
n
Kiểm định giả thuyết H
0
: β
3
=0
Dịch chuyển số hạng độ dốc: lương khởi điểm là như nhau nhưng tốc độ
tăng khác nhau
PRF: Y = b
1
+ b
2
X+ b3(D.X) + u
(D.X): bi
ến tương tác
SRF: nữ: Y = β
1
+ β
2
X
n
nam: Y = β

1
+ β
2
X+ β
3
X= β
1
+ (β
2
+ β
3
)X
n
Kiểm định giả thuyết H
0
: β
3
=0
9
TS Nguyễn Minh Đức 2009
Dịch chuyển số hạng độ dốc và số hạng tung độ gốc: lương khởi
điểm khác nhau và tốc độ tăng lương khác nhau
n
PRF: Y = b
1
+ b
2
X+ b
3
D + b

4
(D.X) + u
n
SRF: nữ: Y = β
1
+ β
2
X
n
nam: Y = (β
1
+ β
3
) + (β
2
+ β
4
) X
n
Kiểm định giả thuyết H
0
: β
3
= β
4
=0