Lý thuyết hồi quy tuyến tính

Đặng Thanh Phong

CLB Hỗ Trợ Học Tập
CHƯƠNG 3
HỒI QUY TUYẾN TÍNH
PHẦN 1: HỒI QUY TUYẾN TÍNH ĐƠN

I.
PHƯƠNG TRÌNH HỒI QUY TUYẾN TÍNH
1. Mô hình hồi quy tuyến tính đơn giản
Y = β0 + β1X + ui
β0 là tung độ gốc của đường hồi quy tổng thể
β1 là độ dốc của đường hồi quy tổng thể
ui là biến ngẫu nhiên là số hạng sai số
2. Phương trình hồi quy tuyến tính đơn ước lượng
Y  b0  b1 X
b0 là tung độ gốc của đường hồi quy ước lượng
b1 là độ dốc / hệ số góc của đường hồi quy ước lượng
Y là giá trị ước lượng của Y đối với giá trị X cho trước
3. Phương pháp bình phương tối thiểu (OLS)



a) Tiêu chí: min  Yi  Y i



2

Yi là giá trị quan sát của biến phụ thuộc đối với quan sát thứ i
Y i là giá trị ước lượng của biến phụ thuộc đối với quan sát thứ i

b) Độ dốc của phương trình hồi quy ước lượng
 X i  X Yi  Y   X iYi  n.X .Y
b1 
2
2
2
X

n
.
X
X

X
i

 i











Xi là giá trị của biến độc lập với quan sát thứ i
Yi là giá trị của biến phụ thuộc đối với quan sát thứ i

Y là giá trị trung bình của biến độc lập
X là giá trị trung bình của biến phụ thuộc
n là tổng số quan sát
c) Tung độ gốc của phương trình hồi quy ước lượng
b0  Y  b1.X
II.
ĐÁNH GIÁ PHƯƠNG TRÌNH HỒI QUY
1. Mối liên hệ giữa SST, SSR và SSE

SST = SSR + SSE
SST: tổng các độ lệch bình phương toàn bộ (tổng bình phương toàn phần)
1


Đặng Thanh Phong

SST =

CLB Hỗ Trợ Học Tập

 Yi  Y   Y 2
2

 Y 


2

n
SSR: tổng các độ lệch bình phương do hồi quy (tổng bình phương hồi quy)


2
X Y
SSR =  Yi  Y  b1   XY    


n







SSE: tổng các độ lệch bình phương do phần dư (tổng bình phương sai số)

 Yi  Yi   Y 2  b1 XY  b0 Y
2

SSE =

2. Hệ số xác định r2
Tính chất: 0 ≤ r2 ≤ 1
SSR
SSE
r2 
 1
SST
SST
Ý nghĩa: sự thay đổi của biến X giải thích được 100r2 % sự biến động của

biến Y
3. Hệ số tương quan mẫu r
Tính chất: – 1 ≤ r ≤ + 1
𝑟 = (𝑑ấ𝑢 𝑐ủ𝑎 𝑏1 )√𝐻ệ 𝑠ố 𝑥á𝑐 đị𝑛ℎ
𝑟 = (𝑑ấ𝑢 𝑐ủ𝑎 𝑏1 )√𝑟 2
r dùng để xác định hướng và độ mạnh của mối quan hệ giữa biến X và Y
tương quan mạnh
r  0,8:

r  0,4  0,8: tương quan trung bình
r  0,4:

tương quan yếu

III. ĐÁNH GIÁ CÁC KẾT QUẢ CỦA PHÂN TÍCH HỒI QUY
1. Kiểm định hệ số tương quan ρ của tổng thể
Giả thuyết kiểm
định H0

Giả thuyết đối Ha
Ha: ρ ≠ 0

H0: ρ = 0

Ha: ρ > 0
Ha: ρ < 0
Hoặc bác bỏ H0 nếu p – value ≤ α
2. Kiểm định ý nghĩa: Kiểm định t

2

Trị thống kê kiểm
định

Bác bỏ H0 nếu

r n2
t
1 r 2

t  tn2, /2
t  tn2,
t  tn2,


Đặng Thanh Phong

CLB Hỗ Trợ Học Tập

Sai số bình phương trung bình (MSE), kí hiệu là: se2 hay s2
SSE
se2  MSE 
n2
se: sai số chuẩn của ước lượng
SSE
se  MSE 
n2
1
Sai số chuẩn của hệ số góc: sb1  se
2

X

X
 i
Sai số chuẩn của tung độ góc: sb0  se
Giả thuyết kiểm
định H0
H0: βi = 0

Giả thuyết đối Ha





1

n

X

2

 Xi  X 

2

Trị thống kê kiểm
định

Bác bỏ H0 nếu

b 0
t i
sbi

t  tn2, /2
t  tn2,
t  tn2,

Ha: βi ≠ 0

H0: βi ≤ 0
Ha: βi > 0
H0: βi ≥ 0
Ha: βi < 0
Hoặc: bác bỏ H0 nếu p – value ≤ α
Lưu ý: kiểm định t dùng để kiểm định ý nghĩa thống kê của biến X (hay kiểm
định định phương trình hồi quy có ý nghĩa thống kê hay không?)
3. Kiểm định ý nghĩa: Kiểm định F
H :   0
Giả thuyết:  0 1
 H a : 1  0

MSR R  n  2 

Trị thống kê kiểm định: F 
MSE
1 R2
Quy tắc bác bỏ: Bác bỏ H0 nếu p – value ≤ α hay F > Fα;1;n – 2

Trong đó: Fα;1;n – 2 – phân phối Fisher với 1 bậc tự do ở tử số và n – 2 bậc tự
do ở mẫu số
Lưu ý: kiểm định F dùng để kiểm định ý nghĩa thống kê của biến X (hay kiểm
định định phương trình hồi quy có ý nghĩa thống kê hay không?) và kiểm
định sự phù hợp của mô hình
4. Ước lượng và dự báo
a) Khoảng dự báo cho giá trị trung bình của Y
2

3


Đặng Thanh Phong

CLB Hỗ Trợ Học Tập

Giá trị trung bình của Y với một giá trị riêng biệt Xp
Y p  t /2,n2  se 

1

n



Xp X





Xi  X

2



2

b) Khoảng dự báo cho giá trị cá biệt của Y
Giá trị cá biệt của Y với một giá trị riêng biệt Xp
1 X  X 
1 
n
 X  X 
2

Y p  t /2,n2  se 

p

2

i

Lưu ý: sai số của khoảng tin cậy cho giá trị trung bình của Y lớn hơn sai số
của khoảng tin cậy cho giá trị cá biệt của Y
PHẦN 2: HỒI QUY TUYẾN TÍNH BỘI
I.
MÔ HÌNH HỒI QUY BỘI

1. Phương trình hồi quy bội ước lượng
Mô hình hồi quy bội của tổng thể:
Y  0  1 X1  2 X 2  ...   p X p  
Phương trình hồi quy bội của tổng thể:
E Y   0  1 X1   2 X 2  ...   p X p
Phương trình hồi quy ước lượng:
Y  b0  b1 X1  b2 X 2  ...  bp X p
2. Phương pháp bình phương bé nhất (OLS)



Tiêu chuẩn: min  Yi  Yi



2

II.
ĐÁNH GIÁ PHƯƠNG TRÌNH HỒI QUY BỘI
1. Mối quan hệ giữa SST, SSR và SSE

SST = SSR + SSE
2. Hệ số xác định bội
SSR
SSE
r2 
 1
SST
SST
Ý nghĩa: sự thay đổi của biến X1, X2, … , Xp giải thích được 100r2 % sự biến

động của biến Y
III. ĐÁNH GIÁ CÁC KẾT QUẢ CỦA PHÂN TÍCH HỒI QUY

4


Đặng Thanh Phong

CLB Hỗ Trợ Học Tập

1. Kiểm định ý nghĩa: Kiểm định t
H :   0
Giả thuyết:  0 i
 H a : i  0
Trị thống kê kiểm định: t 

bi  0
sbi

Quy tắc bác bỏ: bác bỏ H0 nếu t  tn2, /2 hoặc p – value < α
Lưu ý: kiểm định t dùng để kiểm định ý nghĩa thống kê của từng hệ số hồi
quy trong mô hình
2. Kiểm định ý nghĩa: Kiểm định F
Giả thuyết: H0: 1  2  ...   p  0
H1: không phải tất cả  j  0 (có ít nhất một  j  0)
Trị thống kê kiểm định: F 

MSR
R2  p


MSE 1  R 2   n  p  1





Quy tắc bác bỏ: bác bỏ H0 nếu F > Fα hoặc p – value < α, trong đó Fα dựa
trên phân phối Fisher với p bậc tự do ở tử và n – p – 1 bậc tự do ở mẫu số
Lưu ý: kiểm định F dùng để kiểm định sự phù hợp của mô hình hồi quy hoặc
kiểm định phương trình hồi quy có ý nghĩa thống kê hay không?

5