Chuong 5-Hoi Quy (1).Pdf

CHƯƠNG 5: HỒI QUY TUYẾN TÍNH
(ĐƠN BIẾN)
Khái niệm
Phân tích hồi quy là nghiên cứu sự phụ thuộc
của một biến (biến phụ thuộc) vào một hay nhiều
biến khác (biến độc lập), nhằm mục đích ước
lượng (hay dự đốn) giá trị trung bình của biến
phụ thuộc trên cơ sở các giá trị biết trước của các
biến độc lập.
Phân tích tương quan là đo mức độ quan hệ
tuyến tính giữa hai biến; khơng có sự phân biệt
giữa các biến; các biến có tính chất đối xứng.


1. Mơ hình hồi quy
Mơ hình hồi quy tổng thể (PRF)
Yi = 1 + 2Xi + Ui
•
•
•

1 : là hệ số chặn – tung độ gốc
2 : hệ số góc - hệ số đo độ dốc đường hồi quy
Ui:sai số ngẫu nhiên của tổng thể ứng với quan sát
thứ i

Với một mẫu n quan sát (Yi, Xi). Cần ước lượng (PRF).


Mơ hình hồi quy mẫu (SRF)
Mơ hình hồi quy mẫu:

Yˆi  ˆ1  ˆ2 X i
Trong đó

ˆ1 : ước lượng cho 1.

ˆ2

: Ước lượng cho 2.

Yˆi

: Ước lượng cho E(Y/Xi) = Yi

Mơ hình hồi quy mẫu ngẫu nhiên

Yi  ˆ1  ˆ2 X i  ei


Theo phương pháp OLS, để
ˆ
ˆ
ˆ
càng
gần
với
Y
thì
β
,

β
Yi
i
1
2 cần thỏa mãn :
n

n

2
ˆ
ˆ
 e   ( Yi  β1  β 2Xi )  min
2
i

i 1

i 1

Suy ra βˆ1 , βˆ2 cần thỏa mãn :
 n 2
   ei
 i1

 βˆ1
 n
  e2
i
 

i 1
 ˆ 
 β 2

n

 2( Y  βˆ
i

1

 βˆ2 X i )( 1)  0

i 1

n

 2( Y  βˆ
i

i 1

1

 βˆ2 X i )(  X i )  0


giải hệ, ta có :
n

βˆ2 

 X Y  nX Y
i 1
n

i i

2
2
X

n
(
X
)
 i

βˆ1  Y  βˆ2 X

i 1

Ví dụ : có số liệu về thời gian quảng cáo
trên truyền hình và lïng sản phẩm
tiêu thụ ở một công ty sản xuất đồ
như44sau:
Thờ
i gianchơi
quả
ngtrẻ

cá
o em
28 37
36 47 35 26 29 33 32 31 28
trong tuầ
n (phú
t)
Lượng tiê
u thụ
trong tuầ
n (1000 sp)

41 32 49 42 38 33 27 24 35 30 34 25


2. Các giả thiết cổ điển của mơ hình
hồi qui tuyến tính

• Giả thiết 1 : Biến độc lập Xi là phi
ngẫu nhiên, các giá trị của chúng phải
được xác định trước.
• Giả thiết 2 : Kỳ vọng có điều kiện của
sai số ngẫu nhiên bằng 0 :
E (Ui / Xi) = 0 i


• Giả thiết 3 : (Phương sai thuần nhất )
Các sai số ngẫu nhiên có phương sai
bằng nhau :
Var (Ui / Xi) = 2 i

• Giả thiết 4 : Khơng có hiện tượng tương
quan giữa các sai số ngẫu nhiên :
Cov (Ui , Uj ) = 0  i  j
• Giả thiết 5 : Khơng có hiện tượng tương
quan giữa biến độc lập Xi và sai số ngẫu
nhiên Ui : Cov (Xi , Ui ) = 0  i


• Định lý Gauss – Markov : Với các giả
thiết từ 1 đến 5 của mơ hình hồi qui
tuyến tính cổ điển, các ước lượng OLS
là các ước lượng tuyến tính, khơng
chệch và có phương sai bé nhất trong
lớp các ước lượng tuyến tính, khơng
chệch.


3. Phương sai và sai số chuẩn của các
ước lượng
Phương sai
s 
2
ˆ1

s 
2
ˆ2

n





2
X


 X  n(X)
2

1
2
2
X

n(X)


Trong đó :
s

Sai số chuẩn

2
e

e



2
i

n2

2





s

 s ˆ  s

2
e

1

2
ˆ1

 s ˆ  s 2ˆ

se2

2

^

(Y  Y )


i

n2

i

2

2

RSS

n2


4. Hệ số xác định và hệ số tương quan
a. Hệ số xác định
 Mô hình hồi qui tuyến tính được xây
dựng nhằm để giải thích sự biến thiên
của biến phụ thuộc Y vào biến độc
lập X nhưng liệu mô hình này đã thể
hiện một cách tốt nhất mối liên hệ
giữa X và Y chưa?
 Bao nhiêu phần trăm biến thiên của Y
có thể giải thích bởi sự phụ thuộc

tuyến tính của Y vào X?
 Hệ số xác định R2 sẽ giúp trả lời
điều này


Hệ số xác định
ESS
RSS
R 
1
TSS
TSS
2

dn

Trong đó : TSS = ESS + RSS
n

TSS   (Yi  Y)

2

i 1
n

2
ˆ
ESS   (Yi  Y)
i 1

n

ˆ )2
RSS   (Yi  Y
i
i 1


y



yi



y
















ySRF
 a  bx



yi  yˆi

yi  y

( xi , yi )





yˆi  y






x


Miền xác định của R2 :
0  R2  1

R2  1 : hàm hồi qui càng phù hợp.
R2  0 : hàm hồi qui càng ít phù hợp
Ví dụ : …


b. Hệ số tương quan (Pearson): Là số đo
mức độ chặt chẽ của quan hệ tuyến tính
giữa X và Y.
(X  X)(Y  Y)

r
 (X  X)  (Y  Y)
XY  nXY


  X  nX   Y  nY
i

i

2

i

2

2

i

2

2

2

2



Chứng minh được : r  R
Và dấu của r trùng với dấu của hệ số của
X trong hàm hồi qui ( βˆ2 ).


r > 0,8 :
tương quan mạnh
r = 0,4 - 0,8 :
tương quan trung bình
r < 0,4 :
tương quan yếu
r càng lớn thì tương quan giữa X và Y càng
chặt
0 < r  1 gọi là tương quan tuyến tính thuận (X,
Y)
-1  r < 0 gọi là tương quan tuyến tính nghịch
(X, Y)
r = 0 : giữa X và Y không có liên hệ tuyến
tính

Tính chất của hệ số tương quan :

1. Miền giá trị của r : -1  r  1
| r|  1 : quan hệ tuyến tính giữa X và
Y càng chặt chẽ.
2. r có tính đối xứng :

rXY = rYX

3. Nếu X, Y độc lập thì r = 0. Điều
ngược lại không đúng.


Hệ số tương quan hạng Spearman
• Được tính dựa trên hạng của dữ liệu
chứ không dựa vào giá trị thực của
quan sát
• Trước tiên, ta xếp hạng RX , RY các giá
trị quan sát xi , yi theo thứ tự tăng dần
từ 1 trở đi, (nếu có các giá trị quan
sát bằng nhau, thì được xếp đồng hạng
và hạng sẽ là hạng trung bình).
• Hệ số tương quan hạng Spearman rs chính
là hệ số tương quan r giữa các hạng
của xi và yi, tức là vẫn dùng công
thức tính r để tính rs, trong đó, thay xi, yi
bằng các hạng của chúng.

lưu ý : nếu không xảy ra trường hợp các
giá trị xi hay yi bằng nhau, tức là
không xảy ra trường hợp đồng hạng, rs
có thể được tính bằng công thức đơn
giản hơn: n

rs  1 

6 d i2
i 1
2

n (n  1)

n làsốlượng các cặp (xi , yi )
di  Rxi  Ryi : chênh lệch giữa từ
ng cặp thứhạng của xi vàyi


5. Phân phối xác suất của các ước lượng

Giả thiết 6 : Ui có phân phối N (0, 2),
Với giả thiết 6, các ước lượng có thêm
các tính chất sau :
1. Khi số quan sát đủ lớn thì các ước
lượng xấp xỉ với giá trị thực của phân
phối :
n 
n 
ˆ

ˆ
β1  β1 , β 2  β 2


ˆ
β
2
1  β1
ˆ
2. β1 ~ N( β1 , σ βˆ )  Z 
~ N(0,1)
σ βˆ
1

1

βˆ2  β 2
Z
~ N(0,1)
σ βˆ

βˆ2 ~ N( β 2 , σ )
2
βˆ2

2

3.

4.

2
ˆ
(n  2)σ

σ

2

~ χ (n  2)
2

Yi ~ N (1+ 2Xi, 2)


6. Khoảng tin cậy của các hệ số hồi qui
• Sử dụng phân phối của thống kê t :
ˆ j   j
t

s ˆ

~ t(n  2)

j  1, 2

j

Ta có khoảng tin cậy của 1 :
(n 2)

(n 2)
ˆ
ˆ
 s ˆ t     s ˆ t
1

1  / 2

1

1

1  / 2

Ta có khoảng tin cậy của 2 :
(n 2)
(n 2)
ˆ
ˆ
 s ˆ t     s ˆ t
2

2

 /2

2

2

2

 /2


7. Kiểm định giả thiết về các hệ số hồi qui
• Giả thuyết H0 : 2 = a ( a = const)
H1 : 2  a
• Giá trị kiểm định t : ˆ
t

2  a
s ˆ

~ t(n  2)

2

•Nếu | t| > t1-/2 (n-2)  bác bỏ H0.
Hoặc nếu sig <   bác bỏ H0.


8. Kiểm định sự phù hợp của hàm hồi
qui. Phân tích hồi qui và phân tích
phương sai
• Giả thiết H0 : 2 = 0 ( hàm hồi qui
không phù hợp)
H1 : 2  0 (hàm hồi qui phù hợp)
2

R /1
2
(1  R ) /(n  2)
• Nếu F > F1- (1, n-2)  bác bỏ H0

• Giá trị kiểm định: F 

 hàm hồi qui phù hợp.


9. Dự báo
a. Dự báo giá trị trung bình :
Cho X =X0 , tìm E(Y/X0).
- Dự báo điểm của E(Y/X0) là :
ˆ0  βˆ1  βˆ2 X 0
Y

- Dự báo khoảng của E(Y/X0) là :
(X0  X)
(n  2) 1
ˆ
E(Y / X0 )  Y0  ,   se t1 /2

2
2
n  X  nX
2


b. Dự báo giá trị cá biệt :

Cho X =X0 , tìm Y0.

(X0  X)
1
(n  2)
ˆ
Y0  Y0  ,   se t1 /2 1  
2
2
n  X  nX
2