Bài giảng Kinh tế lượng - Chương 3: Mô hình hồi quy nhiều biến

Chương 3

MƠ HÌNH HỒI QUY NHIỀU BIẾN


Chương 3

MƠ HÌNH HỒI QUY NHIỀU BIẾN
3.1 Mơ hình hồi quy nhiều biến
3.2 Phương pháp bình phương nhỏ nhất
3.3 Ước lượng và kiểm định giả thiết
3.4 Phân tích hồi quy và dự báo


Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất
3.1.1 Mơ hình hồi quy nhiều biến

Yi  1  2 X 2i  3 X 3i  ...  k X ki  Ui

(3.1)

Trong đó:
Yi: giá trị của biến phụ thuộc Y ( i  1, n )
1
hệ số chặn (hệ số tự do)
j
hệ số góc (hệ số hồi quy riêng) của biến
giải thích ( j = 2, k )

Ui: sai số ngẫu nhiên


Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất
Mơ hình hồi quy mẫu xây dựng dựa trên mẫu
ngẫu nhiên kích thước n (Yi , X 2i , X 3i ,..., X ki ), i  1, n

Yˆi  ˆ1  ˆ2 X 2i  ˆ3 X 3i  ...  ˆk X ki
Trong đó:
Yˆi
ước lượng của Yi ( i  1, n )
ước lượng của hệ số hồi quy tổng thể
ˆj
( j = 1, k )

(3.2)


Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất
Ta ký hiệu
 Y1 
 
 Y2 
Y  

...
 
 Yn 

 1 
 
 2 
  
...
 
 k 

 U1 
 
U 2 
U  
...
 
U n 

 1 X 21

 1 X 22
X 
... ...

 1 X 2n

X 31
X 32

...
X 3n

... X k 1 

... X k 2 
... ... 

... X kn 

Thì mơ hình hồi quy tổng thể (3.1) có thể biểu
diễn dưới dạng ma trận:

Y  X  U

(3.3)


Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất
Tương tự, nếu ta ký hiệu
 Yˆ1 
 
ˆ2 
Y

Yˆ   
 ... 

 Yˆ 
 n

 ˆ1 
 
 ˆ2 
ˆ
  
 ... 
 ˆ 
 k

Thì mơ hình hồi quy mẫu (3.2) có thể biểu diễn
dưới dạng ma trận như sau:

ˆ  Xˆ
Y

(3.4)


Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất
3.1.2 Các giả thiết cơ bản của MHHQ nhiều biến

Giả thiết 1. Các biến giải thích Xj (j = 2, k ) không
phải biến ngẫu nhiên, giá trị của chúng là xác
định

Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất
Giả thiết 2. Kỳ vọng tốn của các sai số ngẫu
nghiên Ui bằng không

E (Ui )  E (U / X i )  0

(i )

Giả thiết 3.
 2
cov(U i ,U j )  E (U i .U j )  
0

(i  j )
(i  j )


Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất
Giả thiết 4. Hạng ma trận X bằng k
rg(X) = k

Giả thiết này có nghĩa giữa các biến Xj khơng có

hiện tượng cộng tuyến hay các cột của ma trận
X độc lập tuyến tính
Giả thiết 5.

U i ~ N (0,  )
2

(i )


Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất
3.1.3 Phương pháp bình phương nhỏ nhất
Xét hàm hồi quy tổng thể và hàm hồi quy mẫu
Yi  1  2 X 2i  3 X 3i  ...  k X ki  Ui
Yˆi  ˆ1  ˆ2 X 2i  ˆ3 X 3i  ...  ˆk X ki
hoặc ở dạng ma trận
Y  X  U
ˆ  Xˆ
Y

(3.1)
(3.2)
(3.3)
(3.4)


Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất
Ta ký hiệu các phần dư ei:
ei  Yi  Yˆi
Các phần dư này cũng có thể biểu diễn dưới
dạng ma trận như sau:
 e1   Y1   Yˆ1 
     
 e 2   Y2   Yˆ2 
ˆ  Y  Xˆ
e         Y Y
...
...
     ... 
 e   Y   Yˆ 
 n  n  n


Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất
Theo phương pháp bình phương nhỏ nhất, khi
xây dựng hàm hồi quy mẫu, các hệ số hồi quy
mẫu ˆj phải được xác định sao cho tổng bình
phương các phần dư đạt giá trị nhỏ nhất, tức là:
2
e
 i  min

Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất
Ta có

2
T
e

e
i e

e

2
i

 min



(eT e)
0
ˆ


Giải phương trình trên ta được:

1
T
ˆ
  X X  . X T Y

(3.5)


Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất
1
T
ˆ
  X X  . X T Y

(3.5)

Công thức (3.5) là công thức xác định hệ số hồi
quy mẫu ˆj theo phương pháp bình phương nhỏ
nhất và các ước lượng ˆj được xác định theo
công thức (3.5) được gọi là các ước lượng bình
phương nhỏ nhất.


Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất

Ma trận XTX được xác định như sau:

XTX

 1

 X 21

...

X
 k1
 n

  X 2i

...

X
ki


1
X 22
...
X k2

... 1  1 X 21

... X 2 n  1 X 22

... ...  ... ...

... X kn  1 X 2 n

X
X

2i
2
2i

...
 X ki X 2i

X
X X
3i

2i

3i

...
 X ki X 3i

...
...
...
...

... X k1 

... X k 2 
... ... 

... X kn 

X
X X



2 i ki 

...

2
 X ki 
ki


Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất
Ma trận XTY cũng được xác định tương tự:

XTY

 1


 X 21

...

X
 k1

1
X 22
...
X k2

... 1  Y1    Yi 

  
... X 2 n  Y2    Yi X 2i 





...
... ... ...

  
... X kn  Yn    Yi X ki 


VÍ DỤ 3.1

Nghiên cứu mối quan hệ phụ thuộc giữa doanh
số bán ra với chi phí dành cho quảng cáo và
giá bán, người ta thu thập được các số liệu sau
đây tại 10 cửa hàng cùng kinh doanh một loại
mặt hàng:
Yi 84 90 92 96 100 108 120 126 130 136

Xi 8

9

10 9

10

12

13

14

14

15

Zi 9

8

8

7

8

7

7

6

6

7


Trong đó:
Yi: doanh số bán ra trong một tháng của cửa
hàng thứ i (triệu đồng)
Xi: chi phí dành cho quảng cáo trong một tháng
của cửa hàng thứ i (triệu đồng)
Zi: giá bán của cửa hàng thứ i
(ngàn đồng/1 đv sp)
Bằng phương pháp bình phương nhỏ nhất và dựa
vào số liệu trên, hãy xây dựng hàm hồi quy mẫu
dưới dạng sau:

Yˆ i ˆ1 ˆ 2Xi ˆ 3Zi

Đáp số:
  Yi   1082 

 

T
X Y    YX

12746
i i 

  YZ   7766 
i i 


 n

XT X    Xi
 Z
i


 X  Z   10
 X  X Z   114
 Z X  Z   73
i
2
i

i

i

i

i i
2
i

114 73 

1356 816 
816 541 

 A11 A 21 A 31   67740 2106 5964 

 

XT X   A12 A 22 A 32    2106
81
162 
 A A A   5964 162

564
23
33 
 13



XT X  1944




 67740 2106 5964 
1
1
1 

T
T
X X  T X X
2106 81
162 

1944 
XX


5964
162
564





 67740 2106 5964  1082   69, 53704 
1


 

ˆ  XT X .XT Y  1  2106 81
162 12746    6, 08333 

1944 
 7766   4, 20370 

5964
162
564


 






ˆ  69, 53704  6, 08333X  4, 20370Z
Y
i
i
i


Ý nghĩa của các hệ số hồi quy
2  6.08333 :

Khi giá bán khơng đổi, chi phí
dành cho quảng cáo tăng lên 1 triệu đồng, thì
doanh số bán ra trung bình của cửa hàng tăng
lên 6.08333 triệu đồng.
3  4.2037 : Khi chi phí dành cho quảng cáo
khơng đổi, giá bán tăng lên 1ngàn đồng/ 1 đv
sản phẩm, thì doanh số bán ra trung bình của
cửa hàng giảm xuống 4.2037 triệu đồng.


Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất
3.1.4 Các tính chất của ước lượng BPNN
1. Đường hồi quy mẫu đi qua điểm trung bình
mẫu (Y , X 2 ,... X k ) , tức là:

Y  ˆ1  ˆ 2 X 2  ...  ˆ k X k
trong đó:
1
Y   Yi
n

Xj

1
X ji

n

( j  2, k )


Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất
2. Giá trị trung bình của các giá trị Yˆi được xác định
theo hàm hồi quy mẫu bằng giá trị trung bình của
biến phụ thuộc, tức là:
1
ˆ
Y   Yˆi  Y
n

3. Tổng các phần dư của hàm hồi quy mẫu bằng 0:

e

i

0


Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất

4. Các phần dư ei khơng tương quan với Yˆi :
ˆ0
e
Y
ii

5. Các phần dư ei không tương quan với X ji :

e X
i

ji

0

( j  2, k )


Chương 3

§3.1 Mơ hình hồi quy nhiều biến và
phương pháp bình phương nhỏ nhất

6. Với các giả thiết của mơ hình hồi quy tuyến
tính cổ điển thì các ước lượng bình phương nhỏ
nhất ˆj là các ước lượng hiệu quả của  j ( j  1, k ).