Tài liệu Kinh tế lượng_ Chương 3: Hồi quy đơn biến docx

Khoa Kinh tế Kinh tế lượng ©2007
ĐHQG TP.HCM

Lê Hồng Nhật 1
CHƯƠNG 3: HỒI QUI ĐƠN BIẾN


3.1 Bản chất thống kê của mô hình hồi quy đơn biến


Phương pháp ước lượng LS, về thực chất, chỉ là vẽ một đường hồi quy đi xuyên qua “đám
bụi” dữ liệu, sao cho tổng bình phương các phần dư [hay sai số] ESS là nhỏ nhất. Nhưng
việc đo lường mang tính thuần túy đại số đó chưa có gì bảo đảm chắc chắn rằng nó sẽ cho
ra những ước lượng tốt nhất của các tham số tổng thể
^^
,
βα
βα
,
theo những tiêu chuẩn xác
định về mặt thống kê. Để có thể những đánh giá cụ thể hơn về độ tốt của ước lượng, chúng
ta cần xem xét sâu hơn bản chất thống kê của mô hình hồi quy.

Để dễ hình dung, chúng ta bắt đầu bằng sự giả định phi thực rằng, quan hệ giữa biến
X
và
[chẳng hạn như giữa thu nhập và tiêu dùng] chỉ tuân theo quy luật xác định, và hoàn toàn
không bị chi phối bởi các yếu tố ngẫu nhiên. Khi đó, các quan sát sẽ nằm gọn
trên một đường thẳng mô tả xu thế thực của tổng thể:
Y
N

nnn
yx
1
},{
=



XY ⋅+=
βα

Không có yếu tố
ngẫu nhiên tác động
1
2
=R

x
x
x
x
x
x
x
x
0
ββ
≡
ˆ

n
x
n
y



Đồ thị 3.1a: quy luật xác định giữa X và Y.

Khi đó, việc ước lượng trở nên tầm thường, vì ta luôn có , và
ββαα
==
^^
, 1
2
=R .
Trần Thiện Trúc Phượng




Khoa Kinh tế Kinh tế lượng ©2007
ĐHQG TP.HCM

Lê Hồng Nhật 2

Bây giờ, chúng ta cho phép các yếu tố ngẫu nhiên tác động lên quan hệ giữa
. Như đã
nêu, các nhân tố này khiến cho các quan sát
bị lệch một cách ngẫu nhiên khỏi

đường xu thế tổng thể. Vì vậy, thay vì nhìn thấy một đường xu thẳng tuyến tính như trên
hình 3.1a, ta chỉ nhìn thấy một đám bụi dữ liệu bám xung quanh một xu thế nào đó mà ta
muốn ước lượng.
YX ,
N
nnn
yx
1
},{
=





x
x
x
x
x
x
x
x
0

Đồ thị 3.1b:
Quan hệ giữa X và Y bị nhiễu bởi các yếu tố ngẫu nhiên



Trên Đồ thị 3.1b, ta thấy các điểm quan sát , trước đây nằm trên cùng một
đường thẳng trên hình 3.1a, nay bị “thổi bay” lên thành một “đám bụi” dữ liệu, mà việc
“chụp ảnh” chúng [tức là đi thu thập dữ liệu], rồi vẽ một đường hồi quy chạy xuyên qua
chúng sẽ không nhất thiết là trùng với quy luật tổng thể (mô tả bởi gạch chấm). Điều này
gợi ý rằng mỗi ước lượng chịu sự quy định bởi tham số tổng thể
N
nnn
yx
1
},{
=
^
β
β
, nhưng bị lái đi bởi
các biến ngẫu nhiên. [Tương tự, ta có thể nói như vậy về ]. Vì vậy, cũng là một biến
ngẫu nhiên. Vấn đề đặt ra là, về trung bình mà nói [tức là sau rất nhiều lần chụp ảnh các
đám bụi dữ liệu], liệu ước lượng có thể hiện đúng
^
α
^
β
^
β β
hay không? Và liệu phương pháp

ước lượng bình phương cực tiểu có là hiệu quả nhất hay không?

Về mặt toán học, phương pháp bình phương cực tiểu cho ta ước lượng sau:
Trần Thiện Trúc Phượng





Khoa Kinh tế Kinh tế lượng ©2007
ĐHQG TP.HCM

Lê Hồng Nhật
3

( )( )
XX
nn
XX
XY
S
yyxx
S
S
∑
−−
==
β
ˆ
(3.1)

ay cũng vậy,
H
()
XX
nn
S
yxx
∑
−
=
β
ˆ
(3.2)

iều này là do
0)( =−
−
∑
yxx
n
n
[đ
, như đã chỉ ra ở chương 1, phần ôn tập].
Trong (3.2), ta đặt

XX
n
n
S

xx
c
)(
−
−
=
, và nhận xét rằng, tham số đó chỉ phụ thuộc vào các quan
1
=
nó không ch
) có th

=
∑

sát
N
x }{ . Do vậy, ịu ảnh hưởng bởi các yếu tố ngẫu nhiên. Khi đó, công thức
(3.2 ể viết lại như sau:

nn
∑
=
n
nn
yc
^
β

+ ][

n
n
nn
xc
εβα
+

∑ ∑ ∑
++=
nnnnn
cxcc
εβα

Chúng ta có th ễ dàng chỉ ra rằng,

∑
=
n
n
c 0 và
∑
=
n
nn
xc 1.ể d Và do vậy:
(3.3)
hương trình (3.3) khẳng định nhận định trước đây về là đúng: Ước lượng bị ảnh

∑
+=

nn
c
εββ
ˆ

P
β
ˆ
β
ˆ
hưởng bởi các yếu tố ngẫu nhiên
n
ε
, làm giá trị của nó không trùng khít với
β
tổ
húng ta gọi là
ước lượng không chệch
, nếu . Và gọi nó là
ước lượng hiệu
quả nhất
, nếu sai số ước lượng là nhỏ nhất trong lớp tất cả các ước
lượng tuyến tính, không chệch.
ng thể.
Và vì vậy,
β
ˆ
cũng là một biến ngẫ hiên.

u n

β
ˆ
ββ
=
ˆ
E
2
^
)(
ˆ
βββ
−=
EVar
C
Trần Thiện Trúc Phượng




Khoa Kinh tế Kinh tế lượng ©2007
ĐHQG TP.HCM

Lê Hồng Nhật
4

Trần Thiện Trúc Phượng

ng không chệch
ình ngẫu nhiên [mà ta đã ví chúng như những “cơn
ió”, ngẫu nhiên “thổi bay” các quan sát khỏi đường xu thế xác định của tổng thể].
.2 Các yếu tố ngẫu nhiên
húng ta hãy nêu lên giả định về các quá trình ngẫu nhiên. Hãy nhìn vào đồ thị sau:

Để trả lời xem
β
ˆ
có phải là ước lượ và hiệu quả hay không, ta phải xét đến
bản chất thống kê của các quá tr
N
nn 1
}{
=
ε
g



3

C



Đồ thị 3.2
: Quy luật phân phối xác suất của các nhiễu

Như đã nhận xét từ các Đồ thị 3.1a và 3.1b, khi không có các tác động ngẫu nhiên, hay
N
nn 1
}{
=
ε

0
=
n
ε
, các quan sát
N
nnn
yx
1
},{
=
nằm ngay trên đường xu thế của tổng thể. D c ưới tá động
u tố ngẫ nằm rải ra, nhưng “bám” xung quanh đường
ế. Rất hiếm khi có quan sát bị “thổi” mạnh tới nỗi “bay” quá xa so với đường xu thế.

c
xu th
ủa yế u nhiên, các quan sát
N
nnn
yx
1
},{

=
Điều đó dẫn đến hai giả thiết sau:
Khoa Kinh tế Kinh tế lượng ©2007
ĐHQG TP.HCM

Lê Hồng Nhật
5

A1
,0
=
n
E
ε
với mọi n. [Bụi giữ liệu không thể bay quá xa, mà bám xung quanh đường
tổng thể]
Trần Thiện Trúc Phượng




A2
với mọi n. [Độ tán xạ của đám bụi dữ liệu được thể hiện bởi độ lớn của
ng ta cũng c
ngẫ n iên
,
2
σε
=
n

Var
2
σ
].


Chú oi rằng quy luật tác động của “cơn gió”, tức là phân bố xác suất của yếu tố
u h

n
ε
là như nhau (identical), và theo phân bố chuẩn. Hơn nữa, các yếu tố ngẫu
iên đó là độc lập (independent). Vì vậy, kết hợp với các giả thiết A1 và A2, ta có:
i cùng, ta coi ta coi là xác định trước. Từ giả thiết A1 và dạng mô hình
nh
A3

),0(~
2
σε
N
iid
n
với mọi n.

Cuố
y
n
x
nnn

x
α β ε
++
o hàm rằng:
=
, điều đó ba

A4

nnn
xxyE
βα
+=
)|(, với mọi n.

Hai gi ng nhất. A3
nhiê ế c tổng thể, m
ả thiết cuối là quan trọ tóm tắt mọi đặc trưng thống kê của nhiễu ngẫu
n, và A4 mô tả xu th ủa à ta ước lượng nó theo phương pháp bình phương
ực tiểu.
ờ ta có thể nói đến tính tốt của các ước lượng theo các tiêu chuẩn thống kê .
c

3.3 Những đặc trưng thống kê của ước lượng bình phương cực tiểu

Bây gi

Từ phương trình (3.3), ta đã có:
∑
+=

nn
c
εββ
. Bây giờ, hãy áp dụng toán tử
vào hai vế của (3.3):
ˆ
kỳ vọng

+=
(
ˆ
EE
ββ
∑

)
nn
c
ε


∑
+=
nn
Ec
εβ



β

=


0
=
n
E
ε
[ở ụ thiết A : đây, ta sử d ng giả 1
].Ta đi đến kết luận rằng, ước lượng là không
ệch:
β
ˆ
ch
Khoa Kinh tế Kinh tế lượng ©2007
ĐHQG TP.HCM

Lê Hồng Nhật
6


Trần Thiện Trúc Phượng





iếp theo, sử dụng công thứ

ββ

=
ˆ
E (3.4)

c: )()( ExxVarxVar
−=
T
[xem chương 1, phần ôn tập], và lưu ý
)
^
ββ
−


(3.3), (3.4), ta có:


ˆ
β
=
VarVar
(
=
∑
)(
nn
cVar
ε

tín c lập của các yếu tố ngẫu nhiên, cuối cùng ta nhận được:

Sử dụng giả thiết A3 về h độ

∑
=
nn
VarcVar
εβ
2
ˆ


=
∑
22
σ
, hay
n
c
XX
S
Var
2
^
σ
β
=

(3.5)
(ở đây, ta sử dụng cái điều là

XX
XX
XX
n
S
xx
1
)(
2
⎥
⎤
⎢
⎡
−
−
XX
n
S
S
S
c
2
2
==
⎥
⎦
⎢

⎣
=
∑∑
)

Định Lý Gauss - Markov
: Phương pháp bình phương cực tiểu có sai số ước lượng, đo
lường bởi , là nhỏ nhất trong lớp tất cả các ước lượng tuyến tính và không chệch.
ư ng
c là
iả thiết A3.
ố của ước lượng sẽ nhỏ đi, hay hiệu quả ước lượng sẽ tăng lên, nếu độ
a dạng của thông tin quan sát, đo bởi , tăng lên. Điều đó bao hàm rằng, khi làm nghiên
cứu, ta không cứ nhất thiết phải tăng r n số quan sát (sample size) N. Nếu giả thiết về
tính tuyến tính của đường hồi quy là đúng, thì việc tăng độ đa dạng của thông tin quan sát,
^
β
Var

Định lý Gauss-Markov là hết sức quan trọng. Nó nêu lên rằng, chúng ta có được những tính
chất rất tốt cho ớc lượng theo phương pháp bình phương cực tiểu, mà chỉ đòi hỏi có tru
bình bằng zero, tính độc lập, và phương sai giống nhau của các yếu tố ngẫu nhiên – tứ
g

Chúng ta cũng nên nói thêm là, phương trình (3.5) có một ý nghĩa thực tiễn đáng lưu ý. Nó
nói rằng sai s
^
β
Var
XX

S
ất lớ
đ