Bài giảng Kinh tế lượng Chương 2: Mô hình hồi quy tuyến tính bội

7/22/2014 1
tham số giải thích của mô hình
biến nội suy
biến ngoại suy
biến ngẫu nhiên
E()
Var()
tham số ẩn
của mô hình
ikikiii
xxxy
bbbb

ˆ

ˆˆˆ
33221
Mô hình hồi quy tuyến tính bội
7/22/2014 2
Mô hình hồi qui tổng thể
Mô hình hồi qui mẫu
Theo dạng thông thường
Theo dạng ma trận
Dạng kỳ vọng
Dạng ngẫu nhiên
Mô hình hồi qui bội
Thế nào là mô hình hồi qui bội?
Mô hình hồi qui bội là mô hình trong đó
biến phụ thuộc phụ thuộc vào ít nhất hai
biến giải thích.
Dạng mô hình

7/22/2014 3
Mô hình hồi quy tuyến tính bội
Dạng biểu thức đầu tiên của mô hình :
y : biến mà giá trị quan sát là y
i
i, i = 1, ,n,
x
ki
: biến mà giá trị quan sát là x
it
b
1
, b
2
, . . .,b
k
là những tham số chưa biết

i
: sai số
Mục tiêu : ước lượng những tham số b
1
, b
2
, . . .,b
k
với i = 1, ,n
ikikiii
xxxy
bbbb


ˆ

ˆˆˆ
33221
7/22/2014 4
Hay
Hay được biểu diễn một cách tường minh như sau
Giả sử ta có n quan sát và mỗi quan sát gồm k trị số (Y
i
,X
2i
X
ki
)
Mô hình hồi qui tổng thể theo dạng
thông thường
niXXXYE
kikii
,1)(
221

bbb

niXXY
ikikii
,1
221

bbb












nknknn
kk
kk
XXY
XXY
XXY
bbb
bbb
bbb




221
2222212
1121211

7/22/2014 5
Mô hình hồi qui bội đối với tổng thể

Mô hình hai
biến
Đáp số
b
1
Y
i
=b
1
+ b
2
X
2i
+ b
3
X
3i
+ 
i
Y
X
2
X
3

i
E(Y)=b
1
+ b
2

X
2
+ b
3
X
3
7/22/2014 6
Mô hình hồi qui bội đối với một
mẫu
iiii
exxy 
33221
ˆˆˆ
bbb
Mô hình hai
biến
Y
Đáp số
X
2
X
3
e
i
1
ˆ
b
7/22/2014 7
Ví dụ :
Investment = b

1
+ b
2
.GNP + b
3
. CPI + b
4
Rate+ 
7/22/2014 8
Mô hình hồi quy tuyến tính bội
Dạng biểu thức thứ hai của mô hình :
Biểu thức ma trận























































































n
i
k
i
knnn
kiii
k
k
n
i
xxx
xxx
xxx
xxx
X
y
y
y
y
Y






b
b
b
b
b


;


;
1

1

1
1
;


2
1
2
1
32
32
23222
13121
2

1
      
1,1,,1, nkkn
X
n
Y

b


7/22/2014 9
Ví dụ :
Y =
X =
b =
b
1
b
2
b
3
b
4
1
1
1
1
1
1
1

1
1
1
1
1
1
1
1
7/22/2014 10
!
Có thể nói những vec tơ và ma trận của mô hình là
những biến.
Về nguyên tắc chung, X
pt
= 1, t, t=1, ,T. biến X
k
là hằng số.
ước lượng tham số b
1
, b
2
,…b
k
có thể được thực hiện bằng phương pháp BPBN
Mô hình hồi quy tuyến tính bội
7/22/2014 11
Nguyên tắc hình học của phương pháp bình phương tối thiểu
x
1
x

2
y
y
i
b
1
x
1i
+ b
2
x
2i
Sum e
2
Nhỏ nhất
có thể
PYTHAGORE
Mô hình hồi quy tuyến tính bội
7/22/2014 12
giả thiết của mô hình
[H1] : X
1
,…X
k
là những biến được đo chính xác, có nghiã là quan sát không sai số.
[H2] : t, t=1, ,T, 
t
là một biến ngẫu nhiên là kỳ vọng toán học E() = 0 và
phương sai Var() = 
2

()
[H3] : i, i ’, i¹i ’, 
i
và 
i’
là những biến ngẫu nhiên độc lập về xác suất
[H4] : i, 
i
tuân theo quy luật phân phối chuẩn, Sai số tuân theo N(0, 
2
)
[H6] : đầu tiên ta không có tý thông tin nào về những tham số b
1
, b
2
,…, b
k
Mô hình hồi quy tuyến tính bội
[H5]1/n(X’X)->M ở đây M là ma trận không suy biến
7/22/2014 13
STT Theo dạng thông thường Theo dạng ma trận
1 E()=0 I E() = 0
2 E(
i

j
) = 0 i j
= 
2
i=j

E(
T
) = 
2
I
3 X
1
,X
2
X
k
không ngẫu
nhiên
Ma trận X không ngẫu
nhiên
4 Không có hiện tượng đa
cộng tuyến
Không có đa cộng tuyến,
tức hạng của ma trận X
bằng khác nhau
5 
i
~ N(0,
2
)  ~ N(0,
2
I)
Các giả thiết cho mô hình hồi
qui tuyến tính cổ điển
7/22/2014 14

Giả thiết 1
0
0
0
0
)(

)(
)(

)(
2
1
2
1










































nn
E
E
E

EE







7/22/2014 15
Phương sai
của các
sai sô
Hiệp phương
sai của các sai
s
ố
Ma trận hiệp phương sai của sai số
I
VarCovCov
CovVarCov
CovCovVar
nnn
n
n
2
2
21
2
2
221

121
2
1
)()()(

)()()(
)()()(


























7/22/2014 16
Hiệp
phương
sai
Phương
sai
Giả thiết 2















)()()(

)()()(
)()()(
)(
2

21
2
2
221
121
2
1
'
nnn
n
n
EEE
EEE
EEE
E








7/22/2014 17
Giả thiết 2
 





























2
21
2
2
221
121

2
1
21
2
1
'




)

()(
nnn
n
n
n
n
EuuuEE


























)()()(

)()()(
)()()(
)(
2
21
2
2
221
121
2
1
'
nnn
n

n
EEE
EEE
EEE
E








IE
22
2
2
2
'
100
010
001
00
00
00
)(












































7/22/2014 18















)()()(

)()()(
)()()(
)(
2

21
2
2
221
121
2
1
'
nnn
n
n
EEE
EEE
EEE
E








7/22/2014 19
Hậu quả của những giả thiết
Vecteur kỳ vọng
toán hoặc trung b
ình
Vecteur ngẫu nhiên  là một vecteur tuân theo phân phối chuẩn, và :
ma trận

hiệp phương sai
Y là một vecteur ngẫu nhiên tuân theo
quy luật phân phối chuẩn, và :


b
XYE 
Mô hình hồi quy tuyến tính bội
I
Y
2



7/22/2014 20
ước lượng những tham số
x
1
x
2
y
y
i
b
1
x
1i
+ b
2
x

2i

i
Phương pháp bình phương tối thiểu
Tìm giá trị những tham số
để có S nhỏ nhất:
   
MinSXYXYMineMineeMin
n
t
t



bb
'
1
2
'
Mô hình hồi quy tuyến tính bội
7/22/2014 21
ước lượng những tham số - 2
Kết quả của phương pháp bình phương tối thiểu
Ước lượng bằng phương pháp bình phương tối thiểu :
Người ta chứng minh :
có phương sai nhỏ nhât : đó là ước lượng BLUE (Best Linear Unbiased Estimator)
là một đó là ước lượng hội tụ của b
nhưng 
2
() là chưa biết



YXXX ''
ˆ
1

b


12
ˆ
'

 XX

b

Mô hình hồi quy tuyến tính bội
7/22/2014 22
Ví dụ :
Model fitting results for: EXECO.Investment

Independent variable coefficient std. error t-value sig.level

CONSTANT 357.188693 42.733747 8.3585 0.0000
EXECO.GNP 0.689021 0.064034 10.7602 0.0000
EXECO.CPI -9.548226 1.137803 -8.3918 0.0000
EXECO.Rate -4.211399 2.296132 -1.8341 0.0938

R-SQ. (ADJ.) = 0.9908 SE= 11.289098 MAE= 8.200200 DurbWat= 1.917

ước lượng những tham số
Mô hình hồi quy tuyến tính bội
7/22/2014 23
ước lượng những tham số - 3
ước lượng 
2
()
Từ ước lượng a, ta có thể tính được ước lượng Y :
Sai số có thể được ước lượng bởi :
Từ đó có thể ước lượng được:
XbY 
ˆ





''
1
XXXXIe


bb
XeXYYe 
ˆ
   
ineeE
i
n
i












'
2
2
1

 
 
eXXXXIee
i
n
i
'''
1
2
1





 
2
1
2
1
ˆ
i
n
i
e
kn





Mô hình hồi quy tuyến tính bội
7/22/2014 24
ước lượng những tham số - 4
ước lượng có thể bởi ước lượng 2() và bởi công thức
ước lượng không chệch của ma trận hiệp phương sai




1
2
ˆ
'


 XX

b
b
ˆ
ˆ
 læåüng Æåïc


12
ˆ
'
ˆ
ˆ

 XX

b

Mô hình hồi quy tuyến tính bội
7/22/2014 25
ước lượng những tham số - 5
Quy luật phân phối xác suất
Theo giả thiết [H4], ta có :
Neu
Ơí đây Mii là thành phần ở vị trí thứ I ở đường chéo chính của ma trận






















k
i
b
b
b
b
b


2
1
i
i

t
i
b
b

bb
*
ˆ
ˆ
ˆ


Mô hình hồi quy tuyến tính bội


i
ii
N
b
bb
ˆ
,~
ˆ


i
ii
N
b
bb

ˆ
,~
ˆ

ii
M
i
2
ˆ

b


i
b
ˆ
