Bài giảng Xác suất thông kêĐại học Bách Khoa Tp. Hồ Chí MinhChương 8: Hồi quy tuyến tính đơn

CHƯƠNG 8
HỒI QUI
TUYẾN TÍNH ĐƠN

HỒI QUI TUYẾN TÍNH ĐƠN
z
z
z
z
z
z

Mô hồi qui tuyến tính đơn
Phương pháp bình phương tối thiểu
Hệ số xác định
Các giả định của mô hình
Kiểm định mức ý nghĩa
Sử dụng mô hình hồi qui ước lượng để
ước lượng và dự đoán

1


Khái niệm chung
X

x1 x2

x3

…

xi

…

Y

y1 y2

y3

…

yi

…

X: Biến độc lập
Y: Biến phụ thuộc

Tương quan, hồi qui
Y
Y

X
X
Y

X

2


Hiệp tương quan (Covarian)
z
z

X, Y là hai biến
X
σxy = Cov(X,Y) = E [(X-μx)(Y-μy)]
N

σ xy =

∑ (x − μ
i

i =1
i=

X

)(yi − μ Y )

N

Hệ số tương quan của tập hợp chính

ρ = Corr ( x, y ) =

Cov( x, y )

σ xσ y

z

z

Với

σ y2 =

i =1

N

σ xy
σ xσ y

N

N

∑ ( yi − μ y ) 2

=

σ x2 =

∑ (x − μ

i =1

i

x

)2

N

Trong đó σxy là hiệp ttương
ơng quan
q an (covariance)
(co ariance)
của 2 biến

3


Hệ số tương quan của tập hợp chính
ρ=

E[( X − μ x )(Y − μ y )]
E[( X − μ x ) 2 ] * E[(Y − μ y ) 2 ]
N

ρ=

∑ ( x1 − μ x )( y i − μ y )
i −1

N

N

i =1

i =1

∑ (xi − μ x ) 2 *∑ (yi − μ y ) 2
Tính chất
chất: - 1 ≤ ρ ≤ 1
z ρ = + 1 : X, Y tương quan tuyến tính dương tuyệt đối
z ρ = - 1 : X, Y tương quan tuyến tính âm tuyệt đối
z ρ = 0 : X, Y không tương quan tuyến tính.

Hệ số tương quan mẫu
z

Hiệp tương quan của mẫu (Sample
Covariance))
n

S X ,Y = Cov ( X , Y ) =

∑ ( x − x)( y
i =1

i

i

− y)

n −1

4


Hệ số tương quan mẫu
n

r=

S xy
SxS y

=

∑ ( x − x)( y
i =1

n

i

i

− y)

n

∑ ( x − x) * ∑ ( y
i =1

2

i

i =1

i

− y )2

n

r=

∑ x i y i − nx. y
i =1

2
2
⎛ n
⎞⎛ n
⎞
2
2
⎜ ∑ x i − nx ⎟ ⎜ ∑ y i − ny ⎟

⎜
⎟⎜
⎟
⎝ i =1
⎠ ⎝ i =1
⎠

Hệ số tương quan mẫu
-1 ≤ r ≤ 1
r được dùng để ước lượng hướng và độ mạnh
của mối quan hệ giữa X,Y.
z ⏐r⏐ > 0,8 tương quan mạnh
z ⏐r⏐ = 0,4 - 0,8 tương quan trung bình
z ⏐r⏐ < 0,4 tương quan yếu
z ⏐r⏐
⏐ ⏐ càng lớn thì tương quan giữa X và Y
càng chặt
z

5


Ví dụ

z

Tính hệ số tương quan giữa 2 biến X
X, Y
cho bởi tương quan sau:
X

0

1

2

3

4

Y

6

5

7

8

4

Kiểm định giả thuyết về ρ
Trường hợp 1

z

H0 : ρ = 0
H1 : ρ ≠ 0

R : bác bỏ H0
nếu tn-2 < - tn-2,α/2
hay tn-2 > tn-2, α/2

Với

t n −2 =

r
(1 − r 2 ) /(n − 2)

r: hệ số tương quan của mẫu
n: cỡ mẫu
tn-2 : tuân theo phân phối Student t với độ tự do n-2

6


Kiểm định giả thuyết về ρ
Trường hợp 2

z

H0 : ρ = 0
H1 : ρ > 0
R : bác bỏ H0 nếu tn-2 > tn-2, α

Với

t n −2 =

r
(1 − r 2 ) /((n − 2)

r: hệ số tương quan của mẫu
n: cỡ mẫu
tn-2 : tuân theo phân phối Student t với độ tự do n-2

Kiểm định giả thuyết về ρ
Trường hợp 3

z

H0 : ρ = 0
H1 : ρ < 0
R : bác bỏ H0 nếu tn-2 < tn-2, α

Với

t n −2 =

r
(1 − r 2 ) /((n − 2)

r: hệ số tương quan của mẫu
n: cỡ mẫu
tn-2 : tuân theo phân phối Student t với độ tự do n-2

7

Ví dụ
Lấy mẫu ngẫu nhiên 2 biến X, Y. các giá trị
(Xi ,Yi ) cho bởi

1.
2.

X

13

18

9

25

36

19

Y

70

55

100

30

15

20

Tìm hệ số tương quan giữa 2 biến X, Y
Kiểm
ể định giả thuyết
ế cho rằng
ằ giữa 2 biến
ế X, Y
không tương quan, với α = 0,05

MÔ HÌNH HỒI QUI TUYẾN TÍNH
„ Phương trình mô tả y liên hệ với x như thế nào và một
số hạng sai số được gọi là mô hình hồi qui.
qui.
„ Mô hình hồi qui tuyến tính đơn là
là::
y = β0 + β1x +ε

Với:
b0 và b1 được gọi là các tham số của mô hình,
hình,
ε là biến ngẫu
g nhiên được
ợ gọ
gọi là số hạng
ạ g sai số.

số.

8


PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN
■

Phương trình hồi qui tuyến tính đơn là:

E(y) = β0 + β1x

• Đồ thị của phương trình hồi qui là đường thẳng.
• β0 là tung độ gốc của đường hồi qui
• β1 là độ dốc của đường hồi qui
• E(y) là giá trị kỳ vọng của y đối với giá trị x cho trước.

PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN
■

Quan hệ tuyến tính đồng biến
E(y)
Đường hồi qui
Tung độ gốc

β0

Độ dốc β1
dương

x

9


PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN
■

Quan hệ tuyến tính nghịch biến
E(y)
Tung độ gốc

β0

Đường hồi qui

Độ dốc β1
âm

x

PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN
■

Không quan hệ
E(y)
Đường hồi qui
Tung độ gốc

β0

Độ dốc β1
Bằng 0

x

10


PHƯƠNG TRÌNH HỒI QUI TUYẾN TÍNH ĐƠN ƯỚC LƯỢNG
■

Phương trình hồi qui tuyến tính đơn ước lượng

yˆ = b0 + b1 x

• Đồ thị được gọi là đường hồi qui ước lượng.
• b0 là tung độ gốc của đường.
• b1 là độ dốc của đường
• yˆ là giá trị ước lượng của y đối với giá trị x cho trước.

QUÁ TRÌNH ƯỚC LƯỢNG
Mô hình hồi qui

y = β0 + β1x +ε

Phương trình hồi qui

E(y) = β0 + β1x

Tham số chưa biết

β0, β1

Dữ liệu mẫu

x
x1
.
.
xn

y
y1
.
.
yn

b0 và b1

Phương trình
hồi quii ước
ớ lượng
l

β0 và β1

Trị thống kê mẫu

Ước lượng của

yˆ = b0 + b1 x
b 0, b 1

11


PHƯƠNG PHÁP BÌNH PHƯƠNG
TỐI THIỂU
z

Tiêu chí bình phương tối thiểu
min
i ∑ (y
( i − y$ i ) 2

Với:
yi = giá trị quan sát của biến phụ thuộc
đối với quan sát thứ i
yi ^ = giá trị ước lương của biến phụ thuộc
đối với quan sát thứ I

PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI
THIỂU
z

Độ dốc của phương trình hồi qui ước lượng

b1 =

∑ (x − x )( y − y )
∑ (x − x )
i

i

2

i

n

b1 =

∑x y
i −1
n

i

i

− nx y

∑ xi2 − n x

2

i =1

12


PHƯƠNG PHÁP BÌNH PHƯƠNG TỐI THIỂU
■

Tung độ gốc của phương trình hồi qui ước lượng

b0 = y − b1 x
Với:
xi = giá trị của biến độc lập đối với quan sát thứ i
yi = giá trị của biến phụ thuộc đối với quan sát thứ i
_
x = giá trị trung bình của biến
ế độc lập
_
y = giá trị trung bình của biến phụ thược
n = tổng số quan sát

HỒI QUI TUYẾN TÍNH ĐƠN
■

Ví dụ: Doanh số xe hơi
Quảng cáo
TV

Doanh số
xe hơi
h i

1
3
2
1
3

14
24
18
17
27

13


PHƯƠNG TRÌNH HỒI QUI ƯỚC
LƯỢNG
z

Độ dốc của phương trình hồi qui ước
lượng
b1 =

∑ ( x − x )( y − y ) = 20 = 5
4
∑ (x − x )
i

i

2

i

z

Tung độ gốc của phương trình hồi qui ước
lượng
b0 = y − b1 x = 20 − 5(2) = 10

z

Phương trình hồi qui ước lượng
yˆ = 10 + 5x

ĐỒ THỊ PHÂN TÁN ĐIỂM VÀ ĐƯỜNG
XU HƯỚNG
Doanh số xe hơ
ơi

30
25
20

y = 5x + 10

15
10
5
0

0

1

2
Quảng cáo TV

3

4

14