Tài liệu MÔ HÌNH HỒI QUY HAI BIẾN, ƯỚC LƯỢNG VÀ KIỂM ĐỊNH GIẢ THIẾT docx

BÀI GIẢNG
KINH TẾ LƯỢNG
ECONOMETRICS
Lê Anh Đức
Khoa Toán kinh tế
ĐH Kinh tế Quốc dân
1
CHƯƠNG II: MÔ HÌNH HỒI QUY HAI BIẾN,
ƯỚC LƯỢNG VÀ KIỂM ĐỊNH GIẢ THIẾT
2.1. Phương pháp bình phương nhỏ nhất (OLS)
2.2. Các giả thiết cơ bản của phương pháp OLS
2.3. Độ chính xác của các ước lượng OLS
2.4. Hệ số r
2
đo độ phù hợp của hàm hồi quy mẫu
2.5. Phân bố xác suất của U
i
2.6. Khoảng tin cậy và kiểm định giả thiết về các hệ số hồi quy
2.7. Kiểm định sự phù hợp của hàm hồi quy, phân tích hồi quy và
phân tích phương sai
2.8. Phân tích hồi quy và dự báo
2.9. Trình bày kết quả phân tích hồi quy
2.10. Thí dụ
2
2.1. Phương pháp bình phương nhỏ nhất - OLS
1. Nội dung của phương pháp OLS
•
Xét mô hình hồi quy đơn dạng tuyến tính
PRF: E(Y/X
i
) =

β
1
+
β
2
X
i
PRM: Y
i
=
β
1
+
β
2
X
i
+ U
i
•
Với mẫu W = {(X
i
, Y
i
), i = 1÷ n} tìm được một ước lượng
điểm của PRF
SRF:
SRM:
1 2
ˆ ˆ

ˆ
i i
Yβ β X
= +
1 2
ˆ ˆ
i i i
Yβ β X e
= + +
3
•
Đồ thị
X
1
X
2
X
3
X
4
e
4
e
3
e
2
e
1
SRF
Y

X
4
•
Nội dung của phương pháp OLS là tìm các
ước lượng điểm sao cho tổng bình
phương các phần dư là nhỏ nhất. Tức là sao
cho càng gần với giá trị thực của Y
i
có
thể được.
•
Tìm sao cho:
1 2
ˆ ˆ
,β β
ˆ
i
Y
( )
2
2
1 1
ˆ
min
n n
i i i
i i
e Y Y
= =
= − →

∑ ∑
1 2
ˆ ˆ
,β β
5
•
Ta có
•
Ta cần tìm sao cho
•
Các hệ số là nghiệm của hệ phương trình sau
1 2
2 2 2
1 2 1 2
1 1 1
ˆ ˆ
ˆ
ˆ ˆ ˆ ˆ
ˆ
( ) ( ) ( , )
i i i i i
n n n
i i i i i
i i i
e Y Y Y X
e Y Y Y X f
β β
β β β β
= = =
= − = − −

= − = − − =
∑ ∑ ∑
1 2
ˆ ˆ
,β β
1 2
ˆ ˆ
( , )f Min
β β
→
1 2
1 2 1 2
1 1 1
1
2
1 2
1 2 1 2
1 1 1 1
2
ˆ ˆ
( , )
ˆ ˆ ˆ ˆ
0
2 ( ) 0
ˆ
( )
ˆ ˆ
( , )
ˆ ˆ ˆ ˆ
2 ( ) 0

0
ˆ
n n n
i i i i
i i i
n n n n
i i i i i i i
i i i i
f
Y X n X Y
I
f
X Y X X X Y X
β β
β β β β
β
β β
β β β β
β
= = =
= = = =

∂
 
=
− − − = + =

 
∂
  

⇔ ⇔
  
∂
  
− − − = + =
=
  
 
∂

∑ ∑ ∑
∑ ∑ ∑ ∑
1 2
ˆ ˆ
,β β
6
•
Ký hiệu
•
Khi đó
1
1
1
1
n
i
i
n
i
i

X X
n
Y Y
n
=
=
=
=
∑
∑
1 2
1 1 1
2
2 2
1 1
ˆ ˆ
.
( )
ˆ
(?)
( )
n n n
i i i i
i i i
n n
i i
i i
Y X
n Y X X Y
I

n X X
β β
β
= = =
= =

= −



−
⇔

=


−


∑ ∑ ∑
∑ ∑
7
•
Ký hiệu
•
Khi đó
•
Các hệ số là các ước lượng của được tính
bằng phương pháp OLS - gọi là các ước lượng OLS
i i

i i
x X X
y Y Y
= −
= −
1 1 1 1
2
2 2 2
1 1 1
.
ˆ
(?)
( )
n n n n
i i i i i i
i i i i
n n n
i i i
i i i
n X Y X Y x y
n X X x
β
= = = =
= = =
−
= =
−
∑ ∑ ∑ ∑
∑ ∑ ∑
1 2

ˆ ˆ
,
β β
21
,
ββ
8
2. Các tính chất của các ước lượng OLS
•
Đối với
Tính chất 1: với mỗi tệp số liệu mẫu thì xác
định một duy nhất (?).
Tính chất 2: là các ước lượng của và
là các đại lượng ngẫu nhiên, với mỗi mẫu khác
nhau thì chúng có giá trị khác nhau.
1 2
ˆ ˆ
,
β β
1 2
ˆ ˆ
,
β β
1 2
ˆ ˆ
,
β β
21
,
ββ

9
•
Đối với SRF
Tính chất 1: SRF đi qua điểm trung bình mẫu
Tính chất 2: Trung bình số học của các giá trị ước lượng bằng
trung bình mẫu
Tính chất 3: Tổng các phần dư bằng không
Tính chất 4: Các phần dư không tương quan với các giá trị ước
lượng được
Tính chất 5: Các phần dư không tương quan với các giá trị của biến
giải thích
( , )X Y
1 2
ˆ ˆ
(?)Y X
β β
= +
1
1
ˆ ˆ
(?)
n
i i
i
Y Y Y
n
=
= =
∑
1

0(?)
n
i
i
e
=
=
∑
1
ˆ ˆ
( , ) 0(?)
n
i i i i
i
Cov e Y Y e
=
= =
∑
1
( , ) 0(?)
n
i i i i
i
Cov e X X e
=
= =
∑
10
•
Các hệ số là các ước lượng điểm của

được tìm bằng phương
pháp OLS. Chất lượng của chúng phụ thuộc
vào các yếu tố sau:
- Dạng hàm của mô hình lựa chọn
- Kích thước mẫu
- Biến độc lập X
i
và sai số ngẫu nhiên U
i
1 2
ˆ ˆ
,
β β
21
,
ββ
11
2.2. Các giả thiết cơ bản của phương pháp OLS
•
GT 1: Biến độc lập là phi ngẫu nhiên
•
GT 2: Kỳ vọng của các sai số ngẫu (SSNN) nhiên bằng 0
E(U
i
) = 0 ∀ i
•
GT 3: Phương sai của các SSNN bằng nhau
Var(U
i
) = Var(U

j
) = σ
2
∀ i ≠ j
•
GT 4: Các SSNN không tuơng quan với nhau
Cov(U
i
,U
j
) = 0 ∀ i ≠ j
•
GT 5: Các SSNN và biến độc lập không tương quan với
nhau
Cov(U
i
, X
i
) = 0 ∀ i
12
2.3. Độ chính xác của các ước lượng OLS
•
Đối với
-
Kỳ vọng toán
-
Phương sai
-
Độ lệch chuẩn (Standard Deviation)
1

ˆ
β
1 1
ˆ
( )E
β β
=
2
2 2
1
1
2
1
ˆ
( ) ; ( ) ( )
n
i
i
i
n
i
i
X
Var Var U i
n x
β σ σ
=
=
= = ∀
∑

∑
2
1
1
2
1
ˆ
( )
n
i
i
n
i
i
X
SD
n x
β σ
=
=
=
∑
∑
13
- Do không xác định được nên nó được thay thế bằng
một ước lượng điểm:
gọi là sai số chuẩn của đường hồi quy (Standard Error of Regression)
- Khi đó
gọi là sai số chuẩn (Standard error)
2

σ
2 2
2
1 1
ˆ ˆ
( 2) ( 2)
n n
i i
i i
e e
n n
σ σ
= =
= ⇒ =
− −
∑ ∑
ˆ
σ
2
1
1 1
2
1
ˆ ˆ
ˆ
( ) ( )
n
i
i
n

i
i
X
SD Se
n x
β β σ
=
=
→ =
∑
∑
1
ˆ
( )Se
β
14
•
Đối với
-
Kỳ vọng toán
-
Phương sai
-
Độ lệch chuẩn (Standard Deviation)
-
Sai số tiêu chuẩn (Standard error)
2
ˆ
β
2 2

ˆ
( )E
β β
=
2
2
2
1
ˆ
( )
n
i
i
Var
x
σ
β
=
=
∑
2
2
1
ˆ
( )
n
i
i
SD
x

σ
β
=
=
∑
2
2
1
ˆ
ˆ
( )
n
i
i
Se
x
σ
β
=
=
∑
15
Định lý Gauss – Markov
Với các giả thiết 1-5 của phương pháp OLS, các
ước lượng OLS là các ước lượng tuyến tính,
không chệch và có phương sai nhỏ nhất trong lớp
các ước lượng tuyến tính không chệch.
là BLUE của
β
1

,
β
2

(Best Linear Unbiased Estimates)
1 2
ˆ ˆ
,β β
16
2.4. Hệ số r
2
đo độ phù hợp của SRF
•
Ta có
2 2 2
2 2 2
1 1 1 1
2 2 2
1 1 1 1
ˆ ˆ ˆ
ˆ
; ( 1 )
ˆ
ˆ ˆ
2
ˆ ˆ
2
ˆ ˆ
0 (?)
i i i i i i i i

i i i
i i i i i
n n n n
i i i i i
i i i i
n n n n
i i i i i
i i i i
Y Y e Y Y Y Y e Y Y y i n
y y e
y y e e y
y y e e y
e y y y e
= = = =
= = = =
= + ⇔ − = − + − = = ÷
⇔ = +
⇔ = + +
⇔ = + +
= ⇒ = +
∑ ∑ ∑ ∑
∑ ∑ ∑ ∑
17
•
Ký hiệu
TSS = ESS + RSS
TSS = Total Sum of Squares
ESS = Explained Sum of Squares
RSS = Residual sum of squares
2 2

1 1
2 2 2 2 2
2
1 1 1 1
2 2
1 1
( )
ˆ
ˆ ˆ ˆ
ˆ
( ) ( )
ˆ
( )
n n
i i
i i
n n n n
i i i i
i i i i
n n
i i i
i i
TSS y Y Y
ESS y Y Y Y Y x
RSS e Y Y
β
= =
= = = =
= =
= = −

= = − = − =
= = −
∑ ∑
∑ ∑ ∑ ∑
∑ ∑
18
•
Ta có
•
Đây là hệ thức cơ bản của phương pháp phân tích phương sai
(Analys of variance – ANOVA).
•
ANOVA là phân tích toàn bộ sự biến thiên của biến ngẫu nhiên
thành các bộ phận khác nhau mà có thể giải thích được và khảo sát
từng bộ phận đó.
•
Toàn bộ sự biến thiên của biến phụ thuộc Y xung quanh giá trị
trung bình của nó (TSS) có thể tách thành hai bộ phận:
- Các biến thiên của Y được giải thích thông qua hàm hồi quy
(ESS), tức là thông qua các biến giải thích có mặt trong hàm hồi
quy.
- Các biến thiên của Y được giải thích bên ngoài mô hình (RSS),
tức là không thông qua các biến giải thích có mặt trong hàm hồi
quy.
1
ESS RSS
TSS ESS RSS
TSS TSS
= + ⇔ = +
19

•
Ký hiệu
gọi là hệ số xác định của mô hình (Determination coeffcient - r-Squares)
•
Ý nghĩa
r
2
đo tỷ lệ % sự biến thiên của Y được giải thích thông qua
hàm hồi quy, tức là được giải thích thông qua biến độc lập
của mô hình. Nó được sử dụng để đặc trưng cho mức độ
thích hợp của hàm hồi quy
2
1
ESS RSS
r
TSS TSS
= = −
20
•
Ta có
- Nếu r
2
= 0: Hàm hồi quy hoàn toàn không giải thích sự
biến thiên của Y.
- Nếu r
2
= 1: Hàm hồi quy giải thích 100% sự biến thiên
của Y.
- Nếu r
2

= 0,9: Hàm hồi quy giải thích 90% sự biến động
của Y, tức là sự biến động của biến giải thích trong hàm
hồi quy chi phối 90% sự biến động của Y.
2
2
2 2 2 2
1
2 2
2
2
1
ˆ ˆ
(0 1)
n
i
i
X
n
Y
i
i
x
S
r r
S
y
β β
=
=
= = ≤ ≤

∑
∑
21
•
Ta có
Gọi là hệ số tương quan của biến X và Y
•
Ý nghĩa: hệ số tương quan đo mức độ phụ thuộc tuyến tính
giữa biến X và Y.
•
Tính chất của hệ số tương quan:
- Nếu r > 0 tức là X và Y quan hệ cùng chiều;
- Nếu r < 0 tức là X và Y quan hệ ngược chiều;
- Nếu r = 0 tức là X và Y không phụ thuộc tương quan tuyến
tính;
- Nếu tức là X và Y có quan hệ phụ thuộc hàm số tuyến
tính.
2
r r
=
1 1r
− ≤ ≤
1r
= ±
22
2.5. Phân phố xác suất của U
i
•
Để có thể phân tích về mặt thống kê đối với mô
hình ta cần phải biết phân phối xác suất của các

ước lượng thu được, các phân phối này tuỳ
thuộc vào phân phối xác suất của các sai số
ngẫu nhiên.
•
Giả thiết 6: Các sai số ngẫu nhiên có phân phối
chuẩn
i
2
( ( ), ar(U ))( )
(0, )
i i
i
U N E U v i
U N
σ
∀
⇒
:
:
23
•
Các căn cứ để đưa ra giả thiết này:
- U
i
thường là tổng hợp của một số lớn các yếu tố ngẫu
nhiên độc lập cùng tuân theo quy luật phân phối xác
suất nào đó và mức độ ảnh hưởng đến Y là bé đều như
nhau do đó U
i
có phân phối chuẩn (định lý giới hạn

trung tâm);
- Quy luật phân phối chuẩn chỉ có hai tham số là kỳ
vọng toán và phương sai nên dễ tính toán;
- Quy luật phân phối chuẩn có tính chất là nếu U
i
phân
phối chuẩn thì một hàm tuyến tính của nó cũng có phân
phối chuẩn.
- Quy luật phân phối chuẩn có tính chất là tính độc lập
và không tương quan là đồng nhất.
24
•
Với các giả thiết 1-6
( 2)
1 1 1 1
1 1 1 1 1
1 1
ˆ ˆ
ˆ ˆ
( , ( )) (0,1)
ˆ ˆ
( ) ( )
n
N Var Z N T T
SD Se
β β β β
β β β
β β
−
− −

⇒ = ⇒ =
: : :
( 2)
2 2 2 2
2 2 2 2
2 2
2
2 2
2
2
1 2
ˆ ˆ
ˆ ˆ
( , ( )) (0,1)
ˆ ˆ
( ) ( )
ˆ
( 2)
( 2)
( , )( )
n
i i
N Var Z N T T
SD Se
n
n
Y N X i
β β β β
β β β
β β

σ
χ χ
σ
β β σ
−
− −
⇒ = ⇒ =
−
= −
+ ∀
: : :
:
:
25