Chương 2: Hồi qui đơn biến doc

CHƯƠNG 2
CHƯƠNG 2
HỒI QUY ĐƠN BIẾN
HỒI QUY ĐƠN BIẾN
2
1. Bi t đ c ph ng pháp c ế ượ ươ ướ
l ng bình ph ng nh nh t ượ ươ ỏ ấ
đ c l ng hàm h i quy ể ướ ượ ồ
t ng th d a trên s li u m uổ ể ự ố ệ ẫ
2. Hi u các cách ki m đ nh ể ể ị
nh ng gi thi tữ ả ế
3. S d ng mô hình h i quy đ ử ụ ồ ể
d báoự
M C Ụ
TIÊU
HỒI QUY ĐƠN BIẾN
HỒI QUY ĐƠN BIẾN
NỘI DUNG
Mô hình
1
Phương pháp bình phương nhỏ nhất (OLS)
2
3
Kiểm định giả thiết4
Dự báo
5
Khoảng tin cậy
3
Mô hình hồi quy tuyến tính hai biến
PRF dạng xác định


E(Y/X
i
) = f(X
i
)= β
1
+ β
2
X
i
dạng ngẫu nhiên

Y
i
= E(Y/X
i
) + U
i
= β
1
+ β
2
X
i
+ U
i

SRF dạng xác định

dạng ngẫu nhiên

4
ii
XY
21
ˆˆ
ˆ
ββ
+=
iiiii
eXeYY
++=+=
21
ˆˆ
ˆ
ββ
2.1 MÔ HÌNH
2.1 MÔ HÌNH
Trong đó

: Ước lượng cho β
1

: Ước lượng cho β
2

: Ước lượng cho E(Y/Xi)

Sử dụng phương pháp bình phương nhỏ
nhất thông thường (OLS) để tìm ,
2

ˆ
β
1
ˆ
β
2
ˆ
β
1
ˆ
β
5
i
Y
ˆ
2.1 MÔ HÌNH
Y
X
1
β
2
ˆ
β
1
ˆ
β
PRF
2
β
SRF

Hình 2.1: Hệ số hồi quy trong hàm hồi quy PRF và SRF
6
2.2 PHƯƠNG PHÁP OLS
Giả sử có n cặp quan sát (X
i
, Y
i
). Tìm giá trị Ŷ
i

sao cho Ŷ
i
gần giá trị Y
i
nhất, tức e
i
= |Y
i

-
Ŷ
i
|
càng nhỏ càng tốt.

Hay, với n cặp quan sát, muốn
7
( )
min
ˆˆ

2
1
21
1
2
⇒−−=
∑∑
==
n
i
ii
n
i
i
XYe
ββ

Bài toán thành tìm , sao cho f  min
Điều kiện để đạt cực trị là:
2.2 PHƯƠNG PHÁP OLS
2
ˆ
β
1
ˆ
β
8
( )
0X
ˆˆ

Y2
ˆ
e
n
1i
i21i
1
n
1i
2
i
=β−β−−=
β∂






∂
∑
∑
=
=
( )
XX
ˆˆ
Y2
ˆ
e

i
n
1i
i21i
2
n
1i
2
i
=β−β−−=
β∂






∂
∑
∑
=
=
0
9
∑ ∑∑
∑ ∑
= ==
= =
=+
=+

n
i
i
n
i
i
n
i
ii
n
i
n
i
ii
YXXX
YXn
1 11
2
21
1 1
21
ˆˆ
ˆˆ
ββ
ββ
Hay
2.2 PHƯƠNG PHÁP OLS

Giải hệ, được
10

XY
21
ˆˆ
ββ
−=
∑
∑
=
=
−
−
=
n
i
i
n
i
ii
XnX
YXnXY
1
22
1
2
).(

ˆ
β
XXx
ii

−=
YYy
ii
−=
∑
∑
=
=
=β
n
1i
2
i
n
1i
ii
2
x
xy
ˆ
2.2 PHƯƠNG PHÁP OLS
2.2 PHƯƠNG PHÁP OLS

Với
n
Yi
Y
∑
=
−

là trung bình mẫu (theo biến)
n
Xi
X
∑
=
−
gọi là độ lệch giá trị của biến so với giá trị
trung bình mẫu
11
−
−=
XXx
ii
−
−=
YYy
ii
12

TSS (Total Sum of Squares - Tổng bình
phương sai số tổng cộng)

ESS: (Explained Sum of Squares - Bình
phương sai số được giải thích)

RSS: (Residual Sum of Squares - Tổng bình
phương sai số)
CÁC TỔNG BÌNH PHƯƠNG ĐỘ LỆCH
∑∑∑

=−=−=
2222
).()(
iii
yYnYYYTSS
∑∑
=−=
222
)
ˆ
()
ˆ
(
ii
xYYESS
β
∑∑ ∑∑
−=−==
22
2
222
ˆ
)
ˆ
(
iiiii
xyYYeRSS
β
ESS
RSS

SRF
TSS
Y
X
Y
i
X
i
i
Y
ˆ
Hình 2.3: Ý nghĩa hình học của TSS, RSS và ESS
CÁC TỔNG BÌNH PHƯƠNG ĐỘ LỆCH
13
HỆ SỐ XÁC ĐỊNH R
2
TSS
RSS
TSS
ESS
+=1

Hàm SRF phù hợp tốt với các số liệu quan
sát (mẫu) khi gần Y
i
. Khi đó ESS lớn
hơn RSS.

Hệ số xác định R
2

: đo mức độ phù hợp
của hàm hồi quy mẫu.
i
Y
ˆ
14
Ta chứng minh được: TSS = ESS + RSS
hay
15
Trong mô hình 2 biến
∑
∑
=
=
=
n
i
i
n
i
i
y
x
R
1
2
1
22
2
2

ˆ
β
HỆ SỐ XÁC ĐỊNH R
2
∑
∑
=
=
−=−==
n
i
i
n
i
i
y
e
TSS
RSS
TSS
ESS
R
1
2
1
2
2
11
Nhược điểm: R
2

tăng khi số biến X đưa vào mô
hình tăng, dù biến đưa vào không có ý nghĩa.
=>Sử dụng R
2
điều chỉnh (adjusted R
2
-R
2
) để
quyết định đưa thêm biến vào mô hình.
TÍNH CHẤT CỦA HỆ SỐ XÁC ĐỊNH R
2
16
0≤ R
2
≤1
Cho biết % sự biến động của Y được giải thích
bởi các biến số X trong mô hình.
R
2
=1: đường hồi quy phù hợp hoàn hảo
R
2
=0: X và Y không có quan hệ
HỆ SỐ XÁC ĐỊNH ĐIỀU CHỈNHR2
kn
n
)R(R
−
−

−−=
1
11
2
2
17
•
Khi đưa thêm biến vào mô hình
màR
2
tăng thì nên đưa biến vào và
ngược lại.
18
Hệ số tương quan r: đo mức độ chặt chẽ
của quan hệ tuyến tính giữa 2 đại lượng X
và Y.
∑∑
∑
==
=
=
n
i
i
n
i
i
n
i
ii

xy
xy
r
1
2
1
2
1
HỆ SỐTƯƠNG QUAN r
19
r đo sự kết hợp tuyến tính hay phụ thuộc tuyến
tính, không có ý nghĩa để mô tả quan hệ phi
tuyến.
TÍNH CHẤT HỆ SỐTƯƠNG QUAN r
-1≤ r ≤1
Có tính chất đối xứng: r
XY
= r
YX
Nếu X, Y độc lập theo quan điểm thống kê
thì hệ số tương quan giữa chúng bằng 0.
20
HỆ SỐTƯƠNG QUAN r
và r cùng dấu với
VD:
Với R
2
= 0,81 => r = 0,9
ii
XY 75,025,6

ˆ
+=
2
ˆ
β
Có thể chứng minh được
2
Rr
±=
2.3 Các giả thiết của phương pháp OLS

Giả thiết 1: Các giá trị X
i
được xác định
trước và không phải là đại lượng ngẫu
nhiên

Giả thiết 2: Kỳ vọng hoặc trung bình số
học của các sai số là bằng 0 (zero
conditional mean), nghĩa là E(U/X
i
) = 0
21

Giả thiết 3: Các sai số U có phương sai
bằng nhau (homoscedasticity)
Var(U/X
i
) = σ
2


Giả thiết 4: Các sai số U không có sự
tương quan, nghĩa là
Cov(U
i
, U
i’
) = E(U
i
U
i’
) = 0, nếu i ≠ i’
22
2.3 Các giả thiết của phương pháp OLS

Giả thiết 5: Các sai số U độc lập với biến
giải thích
Cov(U
i
, X
i
) = 0

Giả thiết 6: Đại lượng sai số ngẫu nhiên
có phân phối chuẩn U
i

~
N(0, δ
2

)
23
2.3 Các giả thiết của phương pháp OLS
24
Định lý Gauss-Markov
Định lý: Với những giả thiết (từ 1 đến 5) của
mô hình hồi quy tuyến tính cổ điển, mô hình
hồi quy tuyến tính theo phương pháp bình
phương nhỏ nhất là ước lượng tuyến tính
không chệch tốt nhất.
2.4 TÍNH CHẤT CÁC ƯỚC LƯỢNG OLS
, được xác định một cách duy nhất
với n cặp giá trị quan sát (X
i
, Y
i
)
2
ˆ
β
1
ˆ
β
25
Đo lường độ chính xác các ước lượng
bằng sai số chuẩn (standard error –
se).
Đo lường độ chính xác các ước lượng
bằng sai số chuẩn (standard error –
se).

, là các đại lượng ngẫu nhiên, với
các mẫu khác nhau, giá trị của chúng
sẽ khác nhau
, là các đại lượng ngẫu nhiên, với
các mẫu khác nhau, giá trị của chúng
sẽ khác nhau
2
ˆ
β
1
ˆ
β