BÀI 3: MÔ HÌNH HỒI QUY TUYẾN TÍNH pdf

Bài 3: Mơ hình hồi quy tuyến tính đơn

BÀI 3. MƠ HÌNH HỒI QUY TUYẾN TÍNH ĐƠN
Mục tiêu

Sau khi kết thúc bài, học viên sẽ hiểu
được những vấn đề sau đây:
• Ý tưởng của phương pháp bình phương

•
•
•
•
•
•

tối thiểu (OLS) và cách sử dụng OLS để
ước lượng các hệ số hồi quy.
Ý nghĩa của các hệ số hồi quy ước lượng.
Các giả thiết cơ bản của phương pháp OLS.
Hệ số xác định r2 đo độ phù hợp của
hàm hồi quy.
Khoảng tin cậy và kiểm định giả
thuyết cho các hệ số hồi quy.
Phân tích phương sai – kiểm định về
sự phù hợp của mơ hình.
Dự báo.

Nội dung

Hướng dẫn học

• Phương pháp OLS.

• Đề nghị học viên ơn lại phần ước lượng

• Các giả thiết cơ bản của phương pháp bình
phương tối thiểu.

và kiểm định giả thiết trong môn lý
thiết xác suất và thống kê tốn.
• Theo dõi kỹ bài giảng.
• Xem các ví dụ cho mỗi phần bài giảng.
• Làm các ví dụ và trả lời câu hỏi trắc nghiệm.

• Hệ số xác định r2 đo độ phù hợp của hàm
hồi quy mẫu.
• Ước lượng khoảng cho hệ số hồi quy.
• Kiểm định giả thuyết về các hệ số hồi quy.
• Phân tích phương sai trong mơ hình hồi quy.
• Dự báo.

Thời lượng

• 12 tiết

23


Bài 3: Mơ hình hồi quy tuyến tính đơn

TÌNH HUỐNG DẪN NHẬP
Tình huống
Cơng ty dầu ăn Tường An đang xem xét việc giảm giá bán sản
phẩm (loại bình 5 lít) để tăng lượng hàng bán ra, đồng thời quảng
bá sản phẩm của mình đến khách hàng. Người quản lí của cơng ty
muốn tính tốn xem nếu sản phẩm này được giảm giá đi 1000
đồng/lít thì lượng hàng trung bình bán ra sẽ thay đổi thế nào. Đồng
thời, nếu như giảm giá 1000 đồng cho 1 lít mà lượng hàng bán
thêm được là nhiều hơn 50000 sản phẩm thì cơng ty sẽ tiến hành 1
chiến dịch khuyến mại trong 1 tháng với giá giảm đi là 10000/lít.
Để tiến hành nghiên cứu này, phịng marketing của cơng ty đã dựa vào các số liệu bán
hàng của cơng ty trong vịng 15 tháng qua (n =15 quan sát) để thu thập số liệu về giá bán
(P) và lượng bán (Q) cho loại dầu ăn này. Nghiên cứu viên sau khi tiến hành các thống
kê mô tả đã quyết định dùng hàm cầu dạng tuyến tính để xem xét ảnh hưởng của giá đến
lượng bán: Qi = β1 + β2 Pi + u i .
Dùng số liệu của mẫu, ước lượng được hàm hồi quy mẫu có dạng
ˆ
Qi = 6227 − 30.43Pi .

Câu hỏi
• Theo kết quả của mơ hình, khi giá giảm 1 đơn vị, lượng hàng bán ra thay đổi thế nào?
• Liệu khi giá giảm đi 1000 đồng 1 lít thì lượng hàng bán thêm lớn hơn được 50000 sản phẩm

như các nhà nghiên cứu muốn kiểm tra khơng?
• Giá bán quyết định bao nhiêu % trong sự thay đổi của lượng bán?
• Nếu giá bán là 150000 đồng 1 bình thì lượng bán dự báo là bao nhiêu?

24

Bài 3: Mơ hình hồi quy tuyến tính đơn

Nội dung bài này giới thiệu một mơ hình hồi quy đơn giản nhất và đưa ra các phương pháp ước
lượng, kiểm định giả thiết và dự báo. Đó là mơ hình hồi quy tuyến tính đơn hay cịn được gọi là
mơ hình hồi quy 2 biến, mơ hình đề cập đến một biến độc lập X và một biến phụ thuộc Y.
Trong bài này chúng ta sẽ ước lượng hàm hồi quy tổng thể PRF dựa trên thông tin mẫu. Mặc dù
có rất nhiều phương pháp ước lượng hàm hồi quy tổng thể nhưng chúng ta sẽ sử dụng phương
pháp thường dùng là phương pháp bình phương tối thiểu (OLS) (Ordinary Least Square).
3.1.

Ước lượng tham số hồi quy bằng phương pháp bình phương tối thiểu
BÀI TỐN
Cho biến độc lập X và biến phụ thuộc Y, giả sử ta có hàm
hồi quy tổng thể (PRF) có dạng tuyến tính:

Yi = E(Y | X i ) + u i = β1 + β2 X i + u i

(3.1)

Với một mẫu quan sát (X1 , Y1 ),(X 2 , Y2 ),...,(X n , Yn )
Ta có: hàm hồi quy mẫu (SRF)

ˆ ˆ ˆ
Yi = β1 + β2 X i

(3.2)

ˆ ˆ
ˆ ˆ
ˆ

và: Yi = β1 + β2 X i + u i = Yi + u i

(3.3)

⎧x = Xi − x
ˆ ˆ
ˆ
, u i là ước lượng
β1 , β2 là các ước lượng của ⎨ i

⎩ yi = Yi − y
ˆ
của u i , u i được coi là phần dư.

ˆ
ˆ
Từ (3.3) ta có: u i = Yi − Yi .

Vấn đề đặt ra là sử dụng các dữ liệu của X và Y để tìm ước lượng tốt nhất cho β1 , β2
thỏa mãn tổng bình phương các phần dư đạt giá trị nhỏ nhất.
ˆ ˆ
Tức là ta cần phải xác định β1 , β2 sao cho:
n

n

i =1

i =1

ˆ ˆ
ˆ ˆ
ˆ
f (β1 , β2 ) = ∑ u i 2 = ∑ (Yi − β1 − β2 X i ) 2 đạt min.
Trong các bài giảng về giải tích nhiều biến ta đã được
trang bị phương pháp tìm giá trị cực tiểu, cực đại của
ˆ ˆ
hàm f (X, Y) . Vậy để hàm f (β , β ) đạt giá trị nhỏ nhất
1

2

ˆ ˆ
thì β1 , β2 phải là nghiệm của hệ phương trình

ˆ ˆ
⎧ ∂f (β1 , β2 ) n
ˆ ˆ
= ∑ 2(Yi − β1 − β2 X i ) = 0
⎪
ˆ
i =1
⎪ ∂β1
⎨
n
ˆ ˆ
⎪ ∂f (β1 , β2 ) = −2X (Y − β − β X ) = 0
∑ i i ˆ1 ˆ 2 i
⎪ ∂β
ˆ

i =1
⎩
2

Suy ra:

(3.4)

n
⎧ ˆ ˆ n
nβ1 + β2 ∑ X i =∑ Yi
⎪
⎪
i =1
i =1
⎨ n
n
n
⎪β
ˆ
ˆ
∑ Xi + β2 ∑ Xi2 = ∑ Xi Yi
⎪ 1 i =1
⎩
i =1
i =1

(3.5)

25

Bài 3: Mơ hình hồi quy tuyến tính đơn

Ta có:

1 n
1 n
1 n
X i ; Y = ∑ Yi ; XY = ∑ X i Yi
∑
n i =1
n i =1
n i =1
n
n
1
1
X 2 = ∑ X i2 ; Y 2 = ∑ Yi2 .
n i =1
n i =1

X=

Phương trình (3.5) dẫn đến:
⎧β1 + β2 X = Y
⎪ˆ ˆ
⎨
ˆ
ˆ 2

⎪β1X + β2 X = XY
⎩

(3.6)

Giải hệ phương trình (3.6) ta thu được nghiệm
⎧ˆ
XY − (X)(Y)
⎪β2 =
X 2 − (X) 2
⎨
⎪ˆ
ˆ
⎩β1 = Y − β2 X

(3.7)

n

n

i =1

i =1

n

n

i =1

Ta đặt

i =1

SYY = ∑ (Yi − Y) 2 = ∑ Yi2 − n(Y) 2 = nY 2 − n(Y) 2
SXX = ∑ (X i − X) 2 = ∑ X i2 − n(X) 2 = nX 2 − n(X) 2
n

n

i =1

i =1

SXY = ∑ (X i − X)(Yi − Y) = ∑ X i Yi − n(X)(Y) = nXY − n(X)(Y)
Khi đó (3.7) có thể viết lại là
SXY
⎧ˆ
⎪β2 = S
XX
⎨
⎪β = Y − β X
ˆ
ˆ
2
⎩ 1
ˆ ˆ
Phương pháp tìm các ước lượng β1 , β2 như trên được gọi là phương pháp bình phương

tối thiểu.
3.1.1.

Tính chất của tham số hồi quy mẫu ước lượng bằng phương pháp bình
phương tối thiểu.

Phương pháp bình phương tối thiểu đem lại các ước lượng với các tính chất như sau:
ˆ ˆ
• Ứng với một mẫu ((X , Y ), (X , Y ),...(X , Y )) cho trước, hệ số β , β được xác
1

1

2

2

n

n

1

2

định duy nhất.
ˆ ˆ ˆ
• Đường thẳng của phương trình hồi quy mẫu (SRF) Yi = β1 + β2 X i đi qua điểm có

toạ độ giá trị trung bình (X, Y).

ˆ
• Giá trị trung bình của các ước lượng của Yi bằng giá trị trung bình của các quan sát

ˆ
Yi tức là: Yi = Y hay
1 n ˆ 1 n
∑ Yi = n ∑ Yi .
n i =1
i =1
26


Bài 3: Mơ hình hồi quy tuyến tính đơn

ˆ
• Giá trị trung bình các phần dư u i bằng 0
n

ˆ
∑u
i =1

i

= 0.

ˆ
ˆ
• Các phần dư u i và Yi khơng tương quan, tức là:
n

ˆ ˆ
∑ u Y = 0.
i

i =1

i

ˆ
• Các phần dư u i và X i không tương quan, tức là:
n

ˆ
∑u X
i

i =1

i

= 0.

Bây giờ ta sẽ chứng minh một số tính chất trên:

o

Hiển nhiên vì hệ phương trình (3.6) có nghiệm duy nhất.
ˆ ˆ
Hiển nhiên vì giá trị của β , β là một hàm của mẫu.

o

Thay điểm (X, Y) vào phương trình hồi quy mẫu, ta có:

o

1

2

ˆ ˆ
Y = β1 + β2 X
ˆ
ˆ
⇒ β1 = Y − β2 X .
o

(

n
n
ˆ ˆ
ˆ 1
ˆ 1
Ta có: Y = ∑ Yi = ∑ β1 + β2 X i
n i =1
n i =1

)

ˆ ˆ
= β1 + β2 X
= Y.
o

ˆ
ˆ
Ta có: u i = Yi − Yi . Suy ra ngay
n

n

n

n

i =1

i =1

i =1

i =1

ˆ
ˆ
ˆ
ˆ
∑ u i = ∑ (Yi − Yi ) = ∑ Yi − ∑ Yi = nY − nY = 0.

o

Rõ ràng từ:
n

n

n

n

i =1

i =1

i =1

i =1

ˆ ˆ
ˆ
ˆ
ˆ ˆ
∑ u i Yi = ∑ (Yi − Yi )Yi = ∑ Yi Yi − ∑ Yi2
n

n

i =1

i =1

ˆ ˆ
ˆ ˆ
= ∑ Yi (β1 + β2 X i ) − ∑ (β1 + β2 X i ) 2
ˆ
ˆ
ˆ2 ˆ ˆ
ˆ
= nβ1Y + nβ2 XY − n(β1 + 2β1β2 X + β2 X 2 )
2

⇒

Vậy

1 n
ˆ ˆ
ˆ
ˆ
ˆ ˆ
ˆ
ˆ ˆ ˆ ˆ ˆ
∑ u i Yi = β1 (β1 + β2 X) + β2 (β1X + β2 X 2 ) − (β12 + 2β1β2X + β22 X 2 ) = 0.
n i =1

n

ˆ ˆ
∑ u Y = 0.

i =1

i

i

(3.8)

27


Bài 3: Mơ hình hồi quy tuyến tính đơn
n

Dễ dàng thấy

n

i =1

o

i =1

ˆ ˆ
ˆ ˆ ˆ
∑ u i Yi = ∑ u i (β1 + β2 Xi )
n

n

i =1

i =1

ˆ
ˆ ˆ
ˆ
= β1 ∑ u i + β2 ∑ u i X i .
Từ tính chất 4 và 5 ta có
n

n

ˆ
ˆ ˆ
∑u = ∑u Y = 0 .
i =1

i

i

i =1

n

ˆ
∑u X

Vậy ta có:

i =1

i

i

i

= 0.

VÍ DỤ 3.1

Thu thập số liệu về điểm học tập của học sinh và mức thu nhập hàng năm của bố mẹ ta
có bảng số liệu sau:
Thu nhập (x) (triệu/năm)

45

60

30

90

75

45

105

60

Điểm trung bình (y)

8.75

7.5

6.25

8.75

7.5

5.0

9.5

6.5

Hãy tìm hàm hồi quy mẫu và tính các đặc trưng của nó
3.1.2.

Các giả thiết cơ bản của phương pháp bình phương tối thiểu

Khi phân tích hồi quy, mục đích của chúng ta là tìm phương trình hồi quy mẫu thơng
qua việc ước lượng các hệ số β1 , β2 . Dựa vào dữ liệu mẫu ta thu được các ước lượng
ˆ ˆ

ˆ ˆ
tương ứng là β1 , β2 . Nhưng β1 , β2 là các ước lượng điểm của β1 , β2 . Vì thế ta chưa biết

được chất lượng của các ước lượng này thế nào. Ta cần đưa ra một số các giả thiết của
phương trình bình phương tối thiểu để thu được các
ước lượng tốt nhất cho β1 , β2 . Từ đó ta cũng sẽ thu
ˆ
được giá trị Yi là ước lượng tốt nhất cho E(Y | X i ) .

Chất lượng của các ước lượng sẽ phụ thuộc vào các
yếu tố sau:
• Dạng hàm của mơ hình được chọn.
• Phụ thuộc vào các X i và u i .
• Phụ thuộc vào cỡ của mẫu.
Vấn đề về dạng hàm của mơ hình được lựa chọn chúng ta sẽ xem xét ở bài 7. Ta sẽ
đưa ra các giả thiết cho X i và u i để các ước lượng thu được khơng chệch và có
phương sai nhỏ nhất.
• Giả thiết 1: Biến giải thích X có giá trị quan sát Xi khác với ít nhất 1 giá trị cịn
lại, tức là phương sai mẫu hiệu chỉnh không suy biến:
S'2 =
X

28

1 n
∑ (Xi − X)2 ≠ 0.
n − 1 i =1


Bài 3: Mơ hình hồi quy tuyến tính đơn

• Giả thiết 2: Giá trị trung bình của sai số có thể mang dấu âm hoặc dương đối với
mỗi giá trị quan sát nhưng về mặt trung bình thì bằng 0.
• Giả thiết 3: Các giá trị của X được cho trước và không ngẫu nhiên, tức là mỗi X i
được cho trước và không phải là biến ngẫu nhiên. Điều đó có nghĩa là X i và u i
là khơng tương quan với nhau.
CoV(Xi , u i ) = E(X i u i ) − E(X i ) × E(u i )
= X i E(u i ) − X i E(u i ) = 0.
Giả thiết này có một ý nghĩa rất quan trọng là nếu X và u có được tương quan thì
khi X thay đổi, u cũng sẽ thay đổi. Vì thế giá trị kỳ vọng của Y sẽ khác β1 + β2 X.
• Giả thiết 4: Phương sai sai số thuần nhất (không đổi)
Var(u i ) = Var(u j ) = σ2

∀i ≠ j .

• Giả thiết 5: Khơng có tương quan giữa các u i , tức là:
CoV(u i , u j ) = 0

∀i ≠ j .

Với các giả thiết đã nêu, khi đó ta có tính chất của các ước lượng theo phương pháp
bình phương tối thiểu như sau:
Định lý Gauss-Markov

Giả sử ta có mơ hình hồi quy tuyến tính, khi đó với
các giả thiết 1-5 ta có ước lượng bình phương tối
thiểu là các ước lượng tuyến tính khơng chệch và có
phương sai nhỏ nhất trong lớp các ước lượng tuyến
tính khơng chệch.
Định lý Gauss-Markov cho một khẳng định là các

ˆ ˆ
ước lượng β1 , β2 của β1 , β2 có được bằng phương pháp bình phương tối thiểu là các
ước lượng khơng chệch và có phương sai tối thiểu trong các ước lượng không chệch
của β1 , β2 .
3.1.3.

Sai số của phương pháp bình phương tối thiểu

ˆ ˆ
Trong phần 3.1 ta có các ước lượng β1 , β2 của β1 , β2 theo phương pháp bình phương tối

thiểu là
XY − (X)(Y)
ˆ
β2 =
X 2 − (X) 2
ˆ
ˆ
β = Y −β X .
1

Đặt:

2

⎧ x i = Xi − X
⎪
⎨
⎪ yi = Yi − Y
⎩

29


Bài 3: Mơ hình hồi quy tuyến tính đơn

Khi đó ta có:
ˆ
ˆ
β1 = Y − β2 X
n

n

ˆ
β2 = ∑ x i yi

∑x

i =1

i =1

2
i

.

Với các giả thiết 1-5 của phương pháp bình phương nhỏ nhất, ta có phương sai và độ
lệch chuẩn của các ước lượng là

σ2
ˆ
;
Var(β2 ) = n
2
∑ xi

ˆ
se(β2 ) =

i =1

n∑ x
i =1

∑x
n

∑ Xi2
i =1
n

n

i =1

n

ˆ
Var(β1 ) =

σ

2
i

ˆ
σ 2 ; se(β1 ) =

;
2
i

∑X
i =1
n

2
i

n∑ x
i =1

σ,

2
i

với σ = Var(u i ) , se: sai số tiêu chuẩn (standard error).
Do σ2 chưa biết nên dựa vào dữ liệu mẫu đã cho ta

ˆ
thu được ước lượng của σ2 là σ2 được xác định
bằng công thức sau:
n

ˆ
σ2 =

ˆ
∑u
i =1

n

2
i

ˆ
∑u

ˆ
⇒σ=

n−2

i =1

2
i

n−2

ˆ
σ là sai số tiêu chuẩn của ước lượng (standard error of the estimate).
3.2.

Hệ số xác định r 2 đo độ phù hợp của hàm hồi quy mẫu:

Cho hai biến X và Y, để xác định mối quan hệ của X và Y có dạng tuyến tính hay
khơng ta đưa ra một đại lượng để đo mức độ phụ thuộc tuyến tính giữa X và Y.
ˆ ˆ
Ta có:
Y =Y +u
i

i

i

ˆ
ˆ ˆ ˆ
ˆ
⇒ Yi − Y = Yi − Y + u i = Yi − Y + u i
ˆ ˆ
⇒ yi = yi + u i

(3.9)

Bình phương hai vế của (3.9) ta có:
n

n

n

n

i =1

i =1

i =1

i =1

n

n

i =1

i =1

ˆ
ˆ
ˆ ˆ
∑ yi2 = ∑ yi2 + ∑ u i2 + 2∑ yi u i
ˆ
ˆ
= ∑ yi2 + ∑ u i2

n

n

i =1

i =1

ˆ
ˆ
= β2 ∑ x i2 + ∑ u i2
2

30

(3.10)


Bài 3: Mơ hình hồi quy tuyến tính đơn
n

n

i =1

Đặt:

i =1

TSS = ∑ yi2 = ∑ (Yi − Y) 2

(3.11)

TSS (Total sum of squares) gọi là tổng bình phương các sai lệch giữa Yi với giá trị
trung bình Y .
n

n

n

i =1

i =1

i =1

ˆ
ˆ ˆ
ˆ
ESS = ∑ (Yi − Yi ) 2 = ∑ yi2 = β2 ∑ x i2
2

(3.12)

ESS (Explained sum of squares) là tổng bình phương các
ˆ
sai lệch giữa giá trị Y và trung bình của nó.
i

n

ˆ
RSS = ∑ u i2 .

(3.13)

(3.12)

i =1

RSS (Residual sum of squares) là tổng tất cả các bình
ˆ
phương sai lệch giữa giá trị quan sát Yi và giá trị Yi nhận
được từ hàm hồi quy hay gọi là tổng các phần dư.
Từ (3.10), (3.11), ( 3.12), (3.13) ta có:
TSS = ESS + RSS

(3.14)

Chia hai vế cho TSS ta có:

1=

ESS RSS
+
TSS TSS
n

=

ˆ
∑ (Yi − Y)2
i =1
n

n

ˆ
∑u

+

i =1

n

∑ (Y − Y) ∑ (Y − Y)
2

i

i =1
n

ESS ∑
Đặt: r 2 =
= i =1
TSS n

ˆ
(Yi − Y) 2

i =1

.
2

i

Từ (3.14) và (3.15) ta có: r 2 = 1 −
n

Ta có:

r =

ˆ
∑ yi 2
i =1
n

∑y
i =1

trong đó:

S2 =
X

(3.15)
2

i

i =1

∑ (Y − Y)

2

2
i

2
i

RSS
TSS

n

=

ˆ
β2 ∑ x i2
2
i =1
n

∑y
i =1

2
i

(3.16)
n

=

ˆ
β2 ∑ (X i − X) 2
2
i =1
n

∑ (Y − Y)
i =1

i

2

ˆ
= β2

S2
X
2

SY

(3.17)

1 n
1 n
∑ (Xi − X)2 ; S2Y = n − 1 ∑ (Yi − Y)2
n − 1 i =1
i =1

31


Bài 3: Mơ hình hồi quy tuyến tính đơn
n

ˆ
là phương sai mẫu của X và Y. Ngồi ra vì β2 =

∑x y
i =1
n

i

∑x
i =1

i

nên (3.17) có thể được viết

2
i

lại như sau:
2

⎛ n
⎞
⎜ ∑ x i yi ⎟
r 2 = ⎝n i =1 n ⎠
∑ x i2 ∑ yi2
i =1

(3.18)

i =1

Từ (3.18) ta có:
n

r=

n

∑ x i yi

=

i =1

n

∑x
i =1

2
i

n

∑y
i =1

n
1 n
X i Yi − (∑ X i )(∑ Yi )
∑
n i =1
i =1
i =1
n

n

i =1

i =1

∑ (Xi − X)2 ∑ (Yi − Y)2

2
i

n

=

n

n

n ∑ X i Yi − (∑ X i )(∑ Yi )
i =1

i =1

i =1

n
⎡
⎤⎡
⎤
n ∑ X i2 − (∑ X i ) 2 ⎥ ⎢ n ∑ Yi2 − (∑ Yi ) 2 ⎥
⎢
i =1
i =1
⎣ i =1
⎦ ⎣ i =1

⎦
n

n

n

Ta thấy rằng r chính là hệ số tương quan mẫu của X và Y.
Các tính chất của hệ số tương quan:
• r có thể âm hoặc dương.
•

−1 ≤ r ≤ 1.

• r có tính chất đối xứng r(X, Y) = r(Y, X).
• Nếu X′ = aX + c và Y′ = bY + d, a, b > 0, c, d là
hằng số ta có r(X′, Y′) = r(Y, X) .
• Nếu X,Y độc lập thì r = 0.
• r đo độ phụ thuộc tuyến tính giữa X và Y.
3.3.

Phân bố xác suất của các tham số hồi quy mẫu

Trong phần trước ta đã thu được các ước lượng
điểm của β1 và β2 theo phương pháp bình phương
nhỏ nhất (OLS) dựa trên các giả thiết cơ bản về sai
số ngẫu nhiên u i là:
•
•

Var(u i ) = σ2 .

•
32

E(u i ) = 0.

Cov(u i , u j ) = 0 , ∀i ≠ j .


Bài 3: Mơ hình hồi quy tuyến tính đơn

ˆ ˆ
Khi đó các ước lượng điểm thu được tương ứng là β1 , β2 có tính chất khơng chệch và

có phương sai nhỏ nhất. Tuy nhiên, các ước lượng điểm không cho ta biết được độ sai
lệch của chúng so với giá trị thực, vì vậy ước lượng khoảng cho ta nhiều thơng tin hơn
so với ước lượng điểm. Để có thể tìm được ước lượng khoảng cho các tham số β1 , β2
ˆ
ˆ
chúng ta cần xác định được phân phối xác suất của β1 và β2 . Các phân phối xác suất

này phụ thuộc vào phân phối xác suất của u i . Vậy ta đưa thêm giả thiết về phân phối
xác suất của u i như sau:
Giả thiết: u i có phân phối chuẩn N(0; σ2 ) ,
ˆ ˆ
Với giả thiết thêm vào đó, β1 , β2 cịn có các tính chất sau:

•

ˆ ˆ
β1 , β2 là các ước lượng vững, tức là khi cỡ mẫu đủ lớn thì chúng hội tụ đến giá trị

β1 , β2 .
•

ˆ
β1 có phân phối chuẩn với
n

2
ˆ
ˆ
E(β1 ) = β1 , Var(β1 ) = σ1 =

∑X
i =1
n

2
i

n∑ x
i =1

σ2

(3.19)

2

i

2
ˆ
tức là β1 ≈ N(β1 ; σ1 ) . Từ đó biến ngẫu nhiên

Z=

ˆ
β1 − β1
σ1

có phân phối chuẩn tắc N(0;1).
•

β2 có phân phối chuẩn với:
ˆ
ˆ
E(β2 ) = β2 , Var(β2 ) = σ 2 =
2

σ2
n

∑x
i =1

(3.20)
2
i

ˆ
β − β2
2
ˆ
tức là β2 ≈ N(β2 ; σ2 ) . Do đó biến ngẫu nhiên Z = 2
có phân phối chuẩn tắc
σ2
N(0;1).
ˆ
(n − 2)σ 2
có phân phối khi-bình phương với n − 2 bậc tự do.
2
σ
ˆ ˆ
• Các ước lượng β1 , β2 có phương sai nhỏ nhất trong số các ước lượng khơng chệch

• Thống kê χ 2 =

của β1 , β2 .
Ta có Yi = β1 + β2 X i + u i . Từ giả thiết của u i ta thu được các thống kê Z và χ 2 có
quy luật phân phối chuẩn tắc và khi bình phương với (n − 2) bậc tự do. Vậy ta có
thể tìm được khoảng ước lượng cho các tham số β1 , β2 và σ 2 .
33


Bài 3: Mơ hình hồi quy tuyến tính đơn

3.4.

Ước lượng khoảng cho hệ số hồi quy

Trong mục 3.3 với giả thiết về phân phối chuẩn
N(0; σ 2 ) của u i ta có:
2
ˆ
β1 ≈ N(β1 ; σ1 )
2
ˆ
β2 ≈ N(β2 ; σ2 )

2
2
với các phương sai σ1 , σ2 được xác định trong
2
(3.19) và (3.20). Tuy nhiên vì phương sai σ 2 chưa biết, nên các phương sai σ1 , σ 2 cũng
2

chưa biết, vì vậy ta dùng ước lượng khơng chệch của σ 2 là:
n

ˆ
σ2 =

ˆ
∑u
i =1

2
i

n−2

=

RSS
.
n−2

Khi đó các thống kê:
T1 =

ˆ
ˆ
β1 − β1
β − β2
và T2 = 2
ˆ
ˆ
Se(β1 )
Se(β2 )

ˆ
ˆ
ˆ
ˆ
với: Se(β1 ) = Var(β1 ) ; se(β2 ) = Var(β2 ) .
Các thống kê này có phân phối student với (n – 2) bậc tự do. Đồng thời, thống kê
ˆ
σ2

χ = (n − 2) 2
σ
2

có phân phối khi bình phương với (n – 2) bậc tự do.
3.4.1.

Khoảng ước lượng cho β1

Với độ tin cậy 1− α cho trước, ta có:

{

}

(n
P − t α − 2) < T1 < t (n − 2) = 1 − α ,
α
2

2

với t (n2 − 2) là phân vị mức
α

α

2

của phân phối Student

T1 , tức là:
P{− t (n2 − 2) <
α

ˆ
β1 − β1 (n − 2)
< tα2 } = 1− α .
ˆ
se(β1 )

Từ đó dẫn đến
ˆ
ˆ
ˆ
ˆ
P{β1 − t (n2 − 2)se(β1 ) < β1 < β1 + t (n2 − 2)se(β1 )} = 1 − α .
α
α
Vậy với mẫu cụ thể ta có khoảng ước lượng cho β1 là:
ˆ
ˆ ˆ
ˆ
β1 ∈ (β1 − t (n2 − 2)se(β1 ); β1 + t (n2 − 2)se(β1 )) .
α
α

34

Bài 3: Mơ hình hồi quy tuyến tính đơn

3.4.2.

Khoảng ước lượng cho β 2

Tương tự như trên ta có, với độ tin cậy 1− α cho
trước thì:

ˆ
⎧ (n
⎫
β − β2
⎪
⎪
< t (n − 2) ⎬ = 1 − α .
P ⎨− t α − 2) < T2 = 2
α
ˆ
2 ⎪
Se(β2 )
⎪ 2
⎩
⎭
Từ đó,

{

}

(n
ˆ
ˆ
ˆ
ˆ
P β2 − t α − 2)Se(β2 ) < β2 < β2 + t (n − 2)Se(β2 ) = 1 − α .
α
2

2

Vậy với mỗi mẫu cụ thể ta có khoảng ước lượng cho β2 là:

(

(n
ˆ
ˆ ˆ
ˆ
β2 ∈ β2 − t α − 2)Se(β2 ); β2 + t (n − 2)Se(β2 )
α

3.4.3.

2

2

)

Khoảng ước lượng cho σ 2

Ta thấy thống kê
ˆ
(n − 2)σ 2
χ =
2
σ
2

có phân phối khi-bình phương với (n-2) bậc tự do.
Do đó:
P{χ

2
1−α / 2;n − 2

ˆ
(n − 2)σ2
2
<χ =
< χα / 2;n − 2 } = 1 − α
2
σ
2

2
2
với χ1−α / 2;n − 2 và χ α / 2;n − 2 là các giá trị phân vị mức 1 − α / 2 và α / 2 của phân phối

χ 2 (n − 2) .
Từ đó ta có:
⎧
ˆ
ˆ
(n − 2)σ2 ⎫
⎪ (n − 2)σ2
P⎨ 2
< σ2 < 2
⎬ = 1− α .
χ1−α / 2;n − 2 ⎭
⎪ χα / 2;n − 2
⎩
Vậy với mẫu cụ thể và độ tin cậy 1− α , ta có khoảng ước lượng cho σ 2 là:
σ2 ∈ (
3.5.

ˆ
ˆ
(n − 2)σ2 (n − 2)σ 2
; 2
).
2
χα / 2;n − 2 χ1−α / 2;n − 2

Kiểm định giả thuyết về các hệ số hồi quy

Kiểm định giả thuyết thống kê là một trong những nhiệm vụ quan trọng của nhà kinh
tế lượng. Chẳng hạn, trong mơ hình hồi quy (3.1) ta thấy nếu β2 = 0 thì Y sẽ độc lập
với X, tức là X không ảnh hưởng tới sự thay đổi của Y . Tuy nhiên, ta lại chưa biết β2

có bằng 0 hay khơng vì vậy ta cần kiểm định giả thuyết này.
Trong các mục trước, chúng ta đã đưa ra các ước lượng điểm và ước lượng khoảng
cho hệ số hồi quy β1 , β2 . Các ước lượng khoảng này sẽ giúp ta giải quyết bài toán
kiểm định giả thuyết về β1 , β2 .
35


Bài 3: Mơ hình hồi quy tuyến tính đơn

Ta đã biết bài toán kiểm định giả thuyết gồm các bước cơ bản sau:
• Bước 1: Thiết lập giả thuyết H 0 và đối thuyết H1 .
• Bước 2: Xây dựng tiêu chuẩn thống kê để kiểm định, xác định quy luật phân phối
xác suất của tiêu chuẩn thống kê khi giả thuyết H 0 được cho là đúng.
• Bước 3: Xây dựng miền bác bỏ giả thiết W ứng với mức ý nghĩa α cho trước.
• Bước 4: So sánh giá trị mẫu (quan sát được) của tiêu chuẩn thống kê ở bước thứ 2
với miền bác bỏ giả thuyết W ở bước 3 để đưa ra kết luận bác bỏ hay chấp nhận
giả thuyết H 0 .
3.5.1.

Kiểm định giả thuyết cho β1
*
*
*
Ta đưa giả thuyết H 0 : β1 = β1 và đối thuyết H1 : β1 ≠ β1 hoặc H1 : β1 > β1 hoặc H1 :
*
β1 < β1 .

Chú ý rằng nếu giả thiết H0 là đúng thì: thống kê
ˆ
β −β

T1 = 1 1 có phân phối Student với n – 2 bậc
ˆ
Se(β1 )
tự do. Ta sẽ dựa vào thống kê này để tiến hành kiểm
định giả thuyết cho β1 . Ta có các bài tốn kiểm định
giả thuyết sau:
Bài tốn 1: Kiểm định hai phía
*
⎧H 0 : β1 = β1
⎪
⎨
*
⎪H1 : β1 ≠ β1
⎩

Miền bác bỏ: W = (−∞; − t (n-2) ) ∪ (t (n-2) ; +∞) với t (n-2) là phân vị mức p (p = α /2) của
p
α/2
α/2
phân phối Student T1 .
Bài toán 2: Kiểm định một phía (phải)
*
⎧H 0 : β1 = β1
⎪
⎨
*
⎪H1 : β1 > β1
⎩

Miền bác bỏ: W= ( t (n-2) ; +∞ ) , với t (n-2) là phân vị

α
α
mức α của phân phối Student T1 .
Bài toán 3: Kiểm định một phía (trái)
*
⎧H 0 : β1 = β1
⎪
⎨
*
⎪H1 : β1 < β1
⎩

Miền bác bỏ: W = (−∞; − t (n-2) ) .
α
3.5.2.

Kiểm định giả thuyết cho β 2

Ta có giả thuyết H 0 : β2 = β* với đối thuyết H1 : β2 ≠ β* hoặc H1 : β2 > β* hoặc
2
2
2
H1 : β2 < β* .
2
36


Bài 3: Mơ hình hồi quy tuyến tính đơn

Trong mục 3.4 ta cũng thấy nếu giả thuyết H 0 đúng

thì thống kê
T2 =

ˆ
β2 − β2
ˆ
Se(β2 )

có phân phối Student với n – 2 bậc tự do. Do đó, ta có
thể tiến hành các bài toán kiểm định giả thuyết sau
cho β2 :
Bài tốn 1: Kiểm định hai phía

⎧H 0 : β2 = β*
⎪
2
⎨
*
⎪H1 : β2 ≠ β2
⎩
Miền bác bỏ: W = (−∞; − t (n-2) ) ∪ (t (n-2) ; +∞)
α/2
α/2
t (n-2) là phân vị mức p của phân phối Student T2 .
p

Bài tốn 2: Kiểm định một phía (phải)

⎧H 0 : β2 = β*
⎪

2
⎨
*
⎪H1 : β2 > β2
⎩
Miền bác bỏ: W = (t (n-2) ; +∞) , với t (n-2) là phân vị mức α của phân phối Student T2 .
α
α
Bài tốn 3: Kiểm định một phía (trái)

⎧H 0 : β2 = β*
⎪
2
⎨
*
⎪H1 : β2 < β2
⎩
Miền bác bỏ: W = (−∞; − t (n-2) ).
α
3.5.3.

Kiểm định giả thuyết cho phương sai σ 2
2
Giả thuyết H 0 : σ 2 = σ0 , với một trong các đối thuyết
2
2
2
H1 : σ 2 ≠ σ0 , H1 : σ2 > σ0 , H1 : σ 2 < σ0 .

Ta có nếu H 0 đúng thì thống kê

χ2 =

ˆ
(n − 2)σ 2
2
σ

có phân phối khi bình phương với n – 2 bậc tự do. Áp dụng kết quả đó, ta có thể giải
quyết các bài toán kiểm định đối với σ 2 như sau:
Bài tốn 1: Kiểm định hai phía
2
⎧ H 0 : σ 2 = σ0
⎪
⎨
2
2
⎪H1 : σ ≠ σ0
⎩

37


Bài 3: Mơ hình hồi quy tuyến tính đơn
2
2
Miền bác bỏ: W = (0; χ1-α / 2;n − 2 ) ∪ (χ α / 2;n − 2 ; +∞)

trong đó χ 2 − 2 là phân vị mức p của phân phối χ 2 .
p;n

Bài toán 2: Kiểm định một phía (phải)
2
⎧ H 0 : σ 2 = σ0
⎪
⎨
2
2
⎪H1 : σ > σ0
⎩

Miền bác bỏ

2
W= ( χα;n − 2 ;+∞ ) .

Bài tốn 3: Kiểm định một phía (trái)
2
⎧H 0 : σ 2 = σ0
⎪
⎨
2
2
⎪H1 : σ < σ0
⎩

2
Miền bác bỏ: W= ( 0; χ1- α ;n − 2 ) .

CHÚ Ý

Phương pháp kiểm định trên được gọi là phương pháp kiểm định theo miền tiêu chuẩn mà
ta đã biết trong giáo trình xác suất thống kê. Ngồi phương pháp trên ta cịn có phương
pháp kiểm định giả thuyết theo p-value xác suất ý nghĩa, phương pháp này cũng đã được giới
thiệu trong giáo trình xác suất-thống kê.
3.5.4.

Phương pháp xác suất ý nghĩa (p-value)

Với một mẫu cụ thể ta có giá trị quan sát của thống kê Ti (i = 1, 2) là: t iqs =
Ta có: p-value = P {Ti > t iqs }

ˆ
βi − β*
i
ˆ)
Se(βi

i = 1, 2

Xác suất này gọi là xác suất ý nghĩa, đây chính là
xác suất mắc sai lầm loại 1 (tức là xác suất để bác bỏ
H 0 khi H 0 đúng).
Ta thấy rằng nếu xác suất ý nghĩa càng cao thì hậu quả
việc bác bỏ H 0 khi H 0 đúng càng nghiêm trọng, nếu
xác suất ý nghĩa càng nhỏ thì hậu quả của việc bác bỏ
sai H 0 càng ít nghiêm trọng. Vậy khi đã cho trước mức
ý nghĩa α (đây là xác suất giới hạn để được bác bỏ H 0 ), nếu xác suất ý nghĩa không
vượt quá α thì ta có thể bác bỏ H 0 mà khơng sợ phạm sai lầm nghiêm trọng, còn nếu
xác suất ý nghĩa lớn hơn α thì chưa có cơ sở để bác bỏ H 0 .
Bây giờ ta có thể sử dụng xác suất ý nghĩa để tiến hành các bài toán kiểm định đối

với các tham số β1 , β2 .

• Kiểm định hai phía
⎧H 0 : βi = β*
⎪
i
⎨
*
⎪H1 : βi ≠ βi
⎩

38

i = 1, 2


Bài 3: Mơ hình hồi quy tuyến tính đơn

Bước 1: Tính t iqs =

ˆ
βi − β*
i
;
ˆ
Se(β )
i

Bước 2: Tính p-value

p-value = P {Ti > t iqs hoặc Ti < − t iqs }

{

}

= 2P Ti > t iqs .
Bước 3: So sánh xác suất ý nghĩa đó với mức ý nghĩa α đã xác định từ trước, nếu
p-value ≤ α thì bác bỏ H 0 , cịn nếu p-value > α thì chấp nhận giả thuyết H 0 .

• Kiểm định một phía (phải)
⎧H 0 : βi = β*
⎪
i
⎨
*
⎪H1 : βi > βi
⎩

i =1, 2

Bước 1: Từ mẫu số liệu có được, thành lập thống kê
t iqs =

ˆ
βi − β*
i
;
ˆ)
Se(βi

Bước 2: Từ thống kê đó, tính xác suất ý nghĩa p-value = P {Ti > t iqs } .
Bước 3: So sánh xác suất ý nghĩa đó với mức ý nghĩa α đã xác định từ trước, nếu
p-value ≤ α thì bác bỏ giả thuyết H 0 , cịn nếu p-value > α thì chấp nhận giả

thuyết H 0 .
• Kiểm định một phía (trái)
⎧ H 0 : βi = β*
⎪
i
⎨
*
⎪ H1 : βi < βi
⎩
Bước 1: Tính t iqs =

i = 1, 2

ˆ
βi − β*
i
;
*
Se(βi )

Bước 2: Tính p-value = 1 − P {T > t iqs } .
Bước 3: So sánh xác suất ý nghĩa đó với mức ý nghĩa α đã xác định từ trước, nếu
p-value ≤ α thì bác bỏ giả thuyết H 0 , cịn nếu p-value > α thì chấp nhận giả

thuyết H 0 .

VÍ DỤ 3.2

Từ ví dụ 3.1 hãy:
a) Tìm khoảng ước lượng cho các hệ số hồi quy với độ tin cậy 95%.
b) Với mức ý nghĩa 5% có thể kết luận thu nhập của bố, mẹ có ảnh hưởng tới kết quả học
tập của con cái hay khơng?
c) Tính ESS, TSS.

39


Bài 3: Mơ hình hồi quy tuyến tính đơn

Giải: Theo báo cáo của Eviews cho ví dụ 3.1 ta có:

ˆ
a) Ta có các giá trị ước lượng của β1 , β2 là β1 = 4.785256,

ˆ
β2 = 0.042094 và sai số

ˆ
ˆ
chuẩn là: Se(β1 ) = 1.195385, Se(β2 ) = 0.017601. Vì cỡ mẫu n = 8, với mức tin

cậy α = 0.05 , tra bảng phân phối student ta có: t (7) = 2.364624 . Vậy ta có các
0.025
khoảng ước lượng cho β1 , β2 là:
β1 ∈ ( 4.785265 − 2.364624x1.195385; 4.786265 + 2.36462x1.195385 )
⇒ β1 ∈ (1.958629; 7.611901) .

Tương tự ta có: β2 ∈ ( −2.78634; 2.86693 ) .
b) Ta cần kiểm định bài toán sau:
⎧H 0 : β2 = 0
⎨
⎩H1 : β2 ≠ 0

Cách 1: Ta có giá trị tiêu chuẩn thống kê của bài
toán trên là:
t2 =

ˆ
β2
0.042094
=
= 0.0539 .
ˆ
Se(β2 ) 0.017601

Với mức ý nghĩa 5%, tra bảng phân phối student ta có: t (7) = 2.364624 .
0.025
Vậy miền bác bỏ của bài toán là: W = ( −∞; − 2.364624 ) ∪ ( 2.364624; + ∞ ) .
Ta thấy giá trị tiêu chuẩn thống kê t 2 ∉ W , do đó chưa bác bỏ được H0. Như vậy
có thể kết luận thu nhập của bố mẹ khơng ảnh hưởng đến kết quả học tập của con
cái một cách có ý nghĩa.
Cách 2: Ta thấy giá trị p- value = 0.0539 > 0.05 vì vậy chưa thể bác bỏ được H0.
40


Bài 3: Mơ hình hồi quy tuyến tính đơn

c) Từ kết quả trong bảng ta có r2 = 0.488035, RSS = 8.155499, do đó theo cơng thức
r2 = 1−

RSS
TSS

ta có : TSS = RSS/(1– r2) = 8.155499/ (1– 0.488035) = 15.9288.
Đồng thời ta lại có cơng thức: TSS = ESS + RSS,
do đó ta có: ESS = TSS – RSS = 15.9288 – 8.155499 = 7.774301.
3.6.

Phân tích phương sai trong phương trình hồi quy

Trong phần này chúng ta xét bài toán kiểm định giả
thuyết về hệ số hồi quy β2 theo một phương pháp
khác, đó là phương pháp phân tích phương sai.
⎧H : β = 0
Ta xét bài toán kiểm định ⎨ 0 2
⎩H1 : β2 ≠ 0

(*)

Giả thuyết H 0 nói lên rằng biến X khơng ảnh
hưởng tới Y, khi đó ta bác bỏ giả thuyết H 0 cũng có nghĩa là ta bác bỏ giả thuyết cho
rằng biến X khơng có ảnh hưởng tới biến Y.
Trong các phần trước ta thấy nếu như giả thuyết H 0 là đúng, tức là: β2 = 0 , thì thống kê
ˆ
(n − 2)σ2 RSS
= 2
2

σ
σ
có phân phối khi - bình phương với n – 2 bậc tự do, còn thống kê

ESS
σ2

cũng có có phân phối khi-bình phương với 1 bậc tự do. Mặt khác hai thống kê đó độc
lập với nhau, vậy thống kê
F=

ESS
TSSr 2
r2
n−2
1 =
=
×
2
2 TSS
RSS
1− r
1
(1 − r )
n−2
n−2

có phân phối Fisher với số bậc tự do là: (1; n − 2 ) . Từ đó, với mức ý nghĩa α cho
trước, miền bác bỏ cho bài toán kiểm định đang xét là W= ( f α (1; n − 2 ) ; +∞ ) .

Ý nghĩa: Cách tiếp cận theo hướng phân tích phương sai như trên cho phép ta đưa ra
các phán đoán về độ phù hợp của mơ hình hồi quy đang xét. Cụ thể, nếu thống kê F có
giá trị rất lớn (ứng với xác suất ý nghĩa rất nhỏ) thì ta có thể kết luận mơ hình được lập
phù hợp với số liệu quan sát. Cịn nếu thống kê F có giá trị nhỏ đến mức xác suất ý
nghĩa tương ứng của nó lớn hơn mức ý nghĩa đã định (bằng 5% chẳng hạn) thì rõ ràng
mơ hình là khơng phù hợp với số liệu, lúc đó cần tìm mơ hình khác.
Ta có bảng phân tích phương sai ngắn gọn như sau:

41


Bài 3: Mơ hình hồi quy tuyến tính đơn
Nguồn biến thiên

Tổng bình phương

X

Bậc tự do

ˆ
ESS = β2 ∑ x i2

Phương sai

n

ESS

1

i =1

RSS =

Phần dư

n

i =1

Tổng

3.7.

n−2

∑u

2
i

TSS

RSS

1

n−2

n −1

Ứng dụng của phân tích hồi quy, bài toán dự báo

Một trong các ứng dụng của phân tích hồi quy là dự báo
cho biết giá trị của X là X 0 , ta cần dự báo giá trị của Y là
Y0 , khi đó thay giá trị X 0 vào phương trình hồi quy mẫu
ˆ
ta nhận được giá trị ước lượng của Y là Y0 thỏa mãn
ˆ ˆ
ˆ
phương trình: Y0 = β1 + β2 X 0 .

Giá trị thực Y0 thỏa mãn phương trình Y0 = β1 + β2 X 0 + u 0 , với u 0 là sai số.
ˆ
ˆ
ˆ
Ta có : Y0 − Y0 = (β1 − β1 ) + (β2 − β2 )X 0 − u 0 .

Đồng thời
ˆ
ˆ
E(β1 ) = β1 ; E(β2 ) = β2 và E(u 0 ) = 0.
ˆ
ˆ
Do đó: E(Y0 − Y0 ) = 0 ⇒ E(Y0 ) = Y0 .
ˆ
Vậy ước lượng Y0 là một ước lượng khơng chệch của Y0 .
ˆ
Ngồi ra, phương sai của Y0 − Y0 được tính theo

ˆ
ˆ
ˆ
Var(Y0 − Y0 ) = Var[(β1 − β1 ) + (β2 − β2 )X 0 − u 0 ]
ˆ
ˆ
ˆ
ˆ
= Var(β1 − β1 ) + (X 0 ) 2 Var(β2 − β2 ) + 2X 0 Cov(β1 − β1 ; β2 − β2 ) + Var(u 0 )
⎛ 1 X2
= σ2 ⎜ +
⎝ n Sxx

⎞
x2
X
+ σ2 0 − 2x 0 σ 2
+ σ2
⎟
Sxx
Sxx
⎠

⎡ 1 (X 0 − X) 2 ⎤ 2
= σ ⎢1 + +
⎥X
Sxx
⎣ n
⎦
2

n

n

n

i =1

i =1

i =1

trong đó: Sxx = ∑ X i2 = ∑ (X i − X) 2 = ∑ X i2 − n(X) 2 .

ˆ
Do phương sai σ2 chưa biết, ta thay σ2 bằng ước lượng khơng chệch σ2 .
Khi đó ta có thống kê t =

ˆ
Y0 − Y0
có phân phối Student với n – 2 bậc tự do.
ˆ
Se(Y0 − Y0 )

Vậy với mức ý nghĩa α cho trước ta có khoảng ước lượng Y0 là:
42


Bài 3: Mơ hình hồi quy tuyến tính đơn

ỨNG DỤNG
n
n
ˆ
ˆ
ˆ
ˆ
Y0 − t α− 2Se(Y0 − Y0 ) < Y0 < Y0 + t α− 2Se(Y0 − Y0 )
2

(3.21)

2

Công thức (3.21) cho ta khoảng ước lượng về giá trị Y0 của Y khi cho biết trước giá
trị X 0 của X.
Bài tốn trên có thể phát biểu dưới một dạng tương đương khác như sau (Bài toán dự
báo giá trị trung bình): Cho trước giá trị X 0 của X, cần ước lượng giá trị trung bình
của Y khi X = X 0 , tức là ước lượng giá trị E(Y | X = X 0 ) .
Ta có:

E(Y | X 0 ) = β1 + β2 X 0 ,
ˆ ˆ
ˆ
Y0 = β1 + β2 X 0 .

Từ đó, kết hợp với (3.19) và (3.20), ta thấy
ˆ
ˆ

ˆ
Y0 − E(Y | X 0 ) = (β1 − β1 ) + (β2 − β2 )X 0
2
ˆ − E(Y | X )) = σ 2 ⎡ 1 + (X 0 − X) ⎤ .
Var(Y0
0
⎢
⎥
Sxx
⎣n
⎦

ˆ
Do σ 2 chưa biết, ta dùng ước lượng σ 2 , dẫn đến:
2

⎡ 1 (X − X) 2 ⎤
ˆ
ˆ
Var(Y0 − E(Y | X 0 )) = σ 2 ⎢ + 0
⎥ .
Sxx
⎣n
⎦
Ký hiệu:

ˆ
S2ˆ = Var(Y0 − E(Y | X 0 )) ,
Y
0

khi ấy thống kê
t=

ˆ
Y0 − E(Y | X 0 )
.
SY
ˆ
0

có phân phối Student với n – 2 bậc tự do.
Áp dụng kết quả trên, ta có thể ước lượng giá trị trung bình có điều kiện
E(Y | X 0 ) bằng biểu thức sau:
ỨNG DỤNG
n
n
ˆ
ˆ
Y0 − t α− 2SY < E(Y | X 0 ) < Y0 + t α− 2SY
ˆ
ˆ
2

0

2

0

(3.22)

43


Bài 3: Mơ hình hồi quy tuyến tính đơn

TĨM LƯỢC CUỐI BÀI

• Phương pháp OLS
Giả sử có 1 mẫu về 2 biến X và Y.
Ta cần ước lượng các tham số trong mơ hình PRF: Yi = E ( Y | X i ) + u i = β1 + β2 X i + u i
ˆ ˆ
ˆ ˆ
ˆ
tức là đi tìm các hệ số trong mơ hình: Yi = βi + βi X i + u i = Yi + u i .
ˆ
Ý tưởng của phương pháp OLS là tìm 1 đường SRF sao cho các giá trị ước lượng Yi càng

gần với các giá trị quan sát Yi càng tốt. Vì vậy, ta đi tìm min cho hàm sau:

(

)

n

n

i =1

i =1

ˆ ˆ
ˆ ˆ
f β1 , β2 = ∑ u i2 = ∑ (Yi − β1 − β2 X i ) 2 .
Như vậy phương pháp OLS sẽ tối thiểu hóa tổng bình phương các phần dư:
n

ˆ
RSS = ∑ u i2 ⇒ min .
i =1

n

ˆ
ˆ
ˆ
Ta có cơng thức cho các hệ số ước lượng là: β1 = Y − β2 X ; β2 =

∑x y
i =1
n

i

∑x
i =1

i

2
i

với x i = X i − X, yi = Yi − Y.
• Các hệ số ước lượng trong mơ hình
ˆ ˆ
Hệ số β1 , β2 được xác định duy nhất ứng với một mẫu ( Xi , Yi )
ˆ ˆ
β1 , β2 là các ước lượng điểm của β1 , β2 .

• Các giả thiết cơ bản của phương pháp OLS và các khuyết tật tương ứng của mơ hình
Dưới đây là các giả thiết cần lưu ý:
Giả thiết 1: Mơ hình hồi quy phải có dạng tuyến tính.
Giả thiết 2: Các giá trị của X được giả thiết là phi ngẫu nhiên và không tương quan với các
sai số ngẫu nhiên, tức là :
CoV ( X i , u i ) = E ( X i u i ) − E ( X i ) × E ( u i )
= X i E ( u i ) − X i E ( u i ) = 0.
Giả thiết 3: Trung bình của các nhiễu ngẫu nhiên bằng 0: E( u i /Xi) = 0.
Giả thiết 4: Phương sai của các nhiễu ngẫu nhiên là không đổi: Var ( u i ) = Var ( u j ) = σ 2 .

Chú ý: Giả thiết 4 khơng thoả mãn, ta nói có hiện tương phương sai của sai số thay đổi.
Giả thiết 5: Khơng có tương quan giữa các nhiễu ngẫu nhiên: CoV ( u i , u j ) = 0 .

Chú ý: Giả thiết 5 khơng thoả mãn, ta nói có hiện tương tự tương quan.
Giả thiết 6: Số quan sát n phải lớn hơn tổng số tham số trong mơ hình.
44


Bài 3: Mơ hình hồi quy tuyến tính đơn

• Định lí Gaus-Markov: Với các giả thiết đã cho của phương pháp bình phương tối thiểu thoả
mãn, ước lượng bình phương tối thiểu là các ước lượng tuyến tính khơng chệch và có phương
sai nhỏ nhất trong lớp các ước lượng tuyến tính khơng chệch.
• r2 đo độ phù hợp của hàm hồi quy, giá trị của r2 cho biết bao nhiêu phần trăm sự biến thiên
của biến Y được giải thích bởi biến X hoặc bởi hàm hồi quy mẫu.
• Ý nghĩa khoảng tin cậy:
KTC cho β1:

(

( )

( ))

ˆ
ˆ ˆ
ˆ
β1 ∈ β1 − t n − 2Se β1 ; β1 + t n − 2 Se β1
a
a
2

2

KTC cho β1 cho biết trung bình của Y thay đổi thế nào khi X = 0.
KTC cho β2:

(

( )

( ))

ˆ
ˆ ˆ
ˆ
β2 ∈ β2 − t n2− 2Se β2 ; β2 + t n2− 2 Se β2
a
a

KTC cho β2 cho biết trung bình của Y thay đổi thế nào khi biến X thay đổi 1 đơn vị.
• Kiểm định giả thiết: Trong mơ hình E(Y/Xi) = β1 + β2Xi: Ta muốn kiểm tra H0: βj = βj*
(j = 1,2).
Kiểm định Gt cho β1 = β1* cho biết trung bình của Y có bằng β1* khi X = 0 hay không.
Kiểm định Gt cho β2 = β2* cho biết tốc độ thay đổi của trung bình của Y khi biến X thay đổi
1 đơn vị có bằng β2* hay khơng.
• Phân tích phương sai – kiểm định về sự phù hợp của mơ hình.
Để kiểm định sự phù hợp của mơ hình hồi quy tuyến tính so với số liệu, ta có thể tính các
tổng bình phương sai số ESS, RSS và TSS, từ đó xác định thống kê F có phân phối Fisher rồi
tiến hành kiểm định giả thuyết đối với thống kê đó.
• Dự báo.
Từ số liệu mẫu, ta ước lượng được mô hình hồi quy thực nghiệm, từ đó có thể dự báo được
giá trị của biến phụ thuộc mỗi khi có một giá trị mới của biến độc lập.

45


Bài 3: Mơ hình hồi quy tuyến tính đơn

CÂU HỎI THƯỜNG GẶP

1. Ngồi phương pháp OLS thì có phương pháp nào khác để ước lượng mơ hình hồi quy
mẫu khơng?
2. Trong phương pháp OLS, trong mọi trường hợp, ta đều phải giải hệ phương trình để tìm các
ước lượng đúng khơng?
3. Nếu một mơ hình hồi quy bội với nhiều biến thì việc dùng phương pháp OLS có thuận
tiện khơng?
4. Khi ước lượng các hệ số bằng OLS, làm thế nào để đánh giá được chất lượng của chúng?
5. Tại sao phải xem xét các giả thiết của phương pháp OLS?
6. Để đánh giá độ phù hợp của mơ hình hồi quy với các số liệu của mẫu, ta dùng tiêu chí nào?
7. Có nhất thiết phải xây dựng được mơ hình hồi quy mẫu với r2 phải lớn?
8. Trong kiểm định giả thiết, việc dùng phương pháp xác suất ý nghĩa (p-value) có thể thay cho
phương pháp kiểm định thông thường hay không?
CÂU HỎI TRẮC NGHIỆM

1. Công thức nào sau đây thể hiện phương pháp bình phương tối thiểu (OLS)?
n

n

i =1

i =1

n

n

i =1

i =1

(

)

ˆ
ˆ
A. ∑ u i = ∑ Yi − Yi → min

(

ˆ
ˆ
C. ∑ u i2 = ∑ Yi − Yi

)

2

→ min

n

n

i =1

i =1

n

n

i =1

i =1

(

)

ˆ
ˆ
B. ∑ u i = ∑ Yi − Yi → min

(

ˆ
ˆ
D. ∑ u i2 = ∑ Yi − Yi

)

2

→ max

ˆ

2. Cho mơ hình hồi quy: Y = 20 + 0.75X. Tính giá trị phần dư tại điểm X = 100, Y = 90
A. 5

B–5

C. 0

D. 15.

3. Bậc tự do trong kiểm định t với mơ hình 2 biến và có 20 quan sát là:
A. 20

B. 22

C. 18

D. 2

4. R2 cho biết:
A. Tương quan giữa X và Y.

B. Sự biến thiên của Y.

C. Hiệp phương sai giữa X và Y.

D. Phần biến thiên của Y được giả thích bởi X

5. Cho mơ hình với TSS = 0.9243, RSS = 0.2137. Tìm r2
A. 0.7688
C. 0.3007

46

B. 0.2312
D. 0