tính toán ước lượng bằng phương pháp bình phương tối thiểu (ols)

1
Tính toán ước lượng bằng phương
pháp Bình phương tối thiểu (OLS)
2
Ordinary Least Square (OLS) Phương pháp
bình phương tối thiểu
[Ví dụ trước]
Xem xét 5 quan sát
X Y
2 3
3 6
4.5 8
5.5 10
7 11

Mục đích là tìm kiếm đường thẳng “tốt nhất” của mô hình
tuyến tính : tìm kiếm β
1
_hat, β
2
_hat
Y
i
= β
1
+ β
2
X
2i
+ e
i

3
Ví dụ
[Ví dụ trước]
Xem xét 5 quan sát
X Y
2 3
3 6
4.5 8
5.5 10
7 11
xác định β
1
_hat and β
2
_hat.
4
Định nghĩa
hàm hồi quy ngẫu nhiên
sai số
giá trị dự báo, hồi quy mẫu
hệ số ước lượng e
i
số dư
giá trị quan sát
β
ˆ
ii
xy
221
ˆˆ

ˆ
ββ
+=
iii
xy
εββ
++=
221
iii
exy
++=
221
ˆˆ
ββ
i
ε
iiiii
eyexy +=++=
ˆ
ˆˆ
221
ββ
5

ý tưởng cơ bản tối thiểu tổng của bình phương độ lệch.
∑
=
=
n
i

i
eRSS
1
2
[ ]
( )
2
1
221
ˆˆ
∑
=
+−=
n
i
ii
xyRSS
ββ
iiiii
eyexy
+=++=
ˆ
ˆˆ
221
ββ
6
Bài toán tối thiểu*

Vi phân của hàm mục tiêu
F.O.C

w.r.t. β
1
→
w.r.t. β
2
→

7

Giải hệ ta được:

Ta được hệ phương trình chuẩn:
8
Ước lượng OLS

Công thức ước lượng OLS của β
1
and β
2


β
2
_hat = Cov(X,Y) / Var(X)
β
1
_hat = Y_mean - β
2
_hat * X_mean
( )( )

( )
2
1
2
1
1
2
1
2
ˆ
xnx
yxnyx
xx
yyxx
n
i
n
i
ii
n
i
i
i
n
i
i
i
−
−
=

−
−−
=
∑
∑
∑
∑
=
=
=
=
β
xy
21
ˆˆ
ββ
−=
9
Hệ quả

Trong hồi quy đơn, dấu của β
2
_hat = dấu của hệ số tương
quan giữa X và Y.

Mọi đường thẳng hồi quy đều đi qua giá trị trung bình
(X_mean, Y_mean), nếu hằng số được đưa vào.

Mọi tổng của số dư luôn luôn là zero, nếu hằng số được đưa
vào.


Ước lượng OLS của β
1
and β
2
là ƯL tốt nhất (không
chệch và hội tụ)

Khác
10
Đặc điểm
1
ˆ
11
ˆ
ˆ
β
σ
ββ
−
( )
( )
∑
−
=
n
i
i
xx
Var

2
2
2
ˆ
ε
σ
β
( )
( )












−
+=
∑
n
i
i
xx
x
n

Var
2
2
2
1
1
ˆ
ε
σβ
11
Đặc điểm
( )
∑
=
−
=
n
i
i
xx
1
2
2
2
ˆ
ˆ
ˆ
2
ε
β

σ
σ
( )
( )
∑
=
−
=
n
i
i
xx
Var
1
2
2
2
ˆ
ε
σ
β
2
ˆ
1
2
−
=
∑
=
n

e
n
i
i
ε
σ
2
ˆ
1
2
2
−
=
∑
=
n
e
n
i
i
ε
σ
( )
( )













−
+=
∑
n
i
i
xx
x
n
Var
2
2
2
1
1
ˆ
ε
σβ
( )













−
+=
∑
n
i
i
xx
x
n
2
2
2
2
ˆ
1
ˆˆ
1
ε
β
σσ
12
Ví dụ
[Ví dụ trước]

Xem xét 5 quan sát
X Y
2 3
3 6
4.5 8
5.5 10
7 11
xác định β
1
_hat and β
2
_hat.
13
Đo lường đánh giá mô hình
( )
( )
( )
∑∑∑
−+−=−
i
ii
t
ti
i
ii
yyyyyy
2
2
2
ˆˆˆ

TSS = ESS + RSS
1000 = 800 + 200 (M1)
10000 = 9000 + 1000 (M2)
TSS
ESS RSS
14
Đánh giá kết quả hồi quy (i)

R
2
(Hệ số xác định)

R
2
= ESS / TSS = 1 - RSS / TSS

Đo lường sự phù hợp của dữ liệu với mô hình.

R
2
cho biết tỷ lệ mà mô hình được giải thích bởi ước
lượng đường thẳng hồi quy; 0 <= R
2
<= 1

trong trường hợp hồi quy đơn, nó là bình phương
của hệ số tương quan (r
2
).
( )

( )
∑
∑
−
−
=
i
ii
t
i
yy
yy
R
2
2
2
ˆ
( )
TSS
R
yy
e
R
n
i
ii
n
i
i
SS

11
1
2
1
2
2
−=
−
−=
∑
∑
=
=
15
( )
( )
y y y y e
TSS ESS RSS
i i
i
i t
t
i
i
− = − +
= +
∑ ∑ ∑
2
2
2

 
( )
TSS
R
yy
e
R
n
i
ii
n
i
i
SS
11
1
2
1
2
2
−=
−
−=
∑
∑
=
=
( )
( )
( )

∑∑∑
−+−=−
i
ii
t
ti
i
ii
yyyyyy
2
2
2
ˆˆˆ
16
*
*
*
*
*
y
*
*
*
Mô hình hồi quy
giải thích tốt dữ liệu
R
2
= 0.89
*
*

*
*
*
y
*
*
*
*
*
*
Mô hình hồi quy giải
thích không tốt dữ liệu
R
2
= 0.25
11/23/14 17
Định nghĩa
0 ≤ R
2
≤ 1
R
2
≈ 1 : phương sai của biến x được giải thích hoàn toàn bởi mô hình
R
2
≈ 0 : phương sai của biến x không được giải thích hoàn toàn bởi mô hình
Kiểm định độ phù hợp của mô hình
Kiểm định độ phù hợp của mô hình
( )
( )

∑
∑
−
−
=
i
i
t
i
yy
yy
R
2
2
2
ˆ
( )
( )
( )
∑∑∑
−+−=−
i
ii
t
ti
i
ii
yyyyyy
2
2

2
ˆˆ
Mô hình hồi quy đơn
Xuất phát từ đẳng thức
( )
TSS
R
yy
e
R
n
i
ii
n
i
i
SS
11
1
2
1
2
2
−=
−
−=
∑
∑
=
=

18
Bảng phân tích phương sai
19

Đặc điểm của R-bình phương

R
2
luôn luôn tăng khi thêm biến giải thích.
F-test* được xây dựng trên cơ sở của đặc điểm này.

Như thế, RSS luôn luôn giảm khi thêm biến giải
thích.
20
Kiểm định giả thiết mô hình
tuân theo luật Student với n-2 bậc tự do
- so sánh các hệ số hồi quy với một giá trị đã cho trước.
- so sánh hai hệ số hồi quy từ hai mẫu khác nhau
- xác định khoảng tin cậy của một hệ số.
α
β
σ
ββ
*
ˆ
ˆ
ˆ
t
i
i

=
−
21
Đánh giá kết quả hồi quy (ii)

σ_hat (standard error của hồi quy)
σ_hat = RSS / (n-2)
(n = # của obs., k = # của hồi quy có hằng số, n-2 là bậc tự
do)
Nó được sử dụng để tìm kiếm độ lệch chuẩn của
β
2
_hat, và từ đó có thể tìm kiếm t-stat.
t
*
= (β
2
_hat - 0) / std. error của β_hat
11/23/14 22
Mô hình hồi quy đơn
kiểm định giả thiết - 1
Kiểm định giả thiết về a
Kiểm định giả thiết về a
Tính
Kiểm định (H
0
) β
i
= 0 đối nghịch với (H
1

) β
i
≠ 0
Đặt bằng t*
Đọc trong bảng phân phối Student của tα
/2
tương ứng với một mức α cho trước.
So sánh |t*| và ta
/2
|t*| < t
α/2
(H
0
) được chấp nhận
|t*| ≥ t
α/2

(H
0
) bị bác bỏ
i
i
t
β
β
σ
β
*
ˆ
ˆ

ˆ
=
23
Ví dụ

Xem xét 5 quan sát
X Y
2 3
3 6
4.5 8
5.5 10
7 11
(a) tìm kiếm β
0
_hat and β
1
_hat.
(b) tìm kiếm R
2
, std. error của β
1
_hat, and thống kê t.
24
Using EXCEL, SPSS

Nhập dữ liệu, và đạt được kết quả hồi quy.

Quảng cáo và Doanh thu

tạo file, và chạy hồi quy.

25
Dependent var : Doanh thu
Method: Least squareds
Sample: 1907 1960
Included quan sát: 54
var Coefficient Std. Error t-Statistic Prob.
C 488.8327 127.4390 3.835818 0.0003
ADVER 1.434588 0.126866 11.30792 0.0000
R-squared 0.710901 Mean dependent var 1829.481
Adj. R- squared 0.705341 S.D. dependent var 632.7382
S.E. của hồi quy 343.4660 Akaike info criterion 14.55239
Sum squared resid 6134381. Schwarz criterion 14.62605
Log likelihood -390.914 F-statistic 127.8691
Durbin-Watson stat0.581593 Prob(F-statistic) 0.000000