Một số mô hình hồi qui

Khoá luận tốt nghiệp

GV Nguyễn Trung Dũng

Trường đại học sư phạm hà nội 2
Khoa toán
****o0o****

Lưu thị phượng

Một số mô hình hồi quy
Khoá luận tốt nghiệp đại học
Chuyên ngành : Toán ứng dụng

Người hướng dẫn khoa học
GV. Nguyễn Trung Dũng

Hà nội - 2008

SV Lưu Thị Phượng-K30B CN

1


Lời cảm ơn
Qua đây em xin bày tỏ lòng biết ơn sâu sắc tới thầy giáo
Th.S. Nguyễn Trung Dũng
đã dành thời gian, tâm huyết giúp đỡ em hoàn thành luạn văn này. Em xin
gửi lười cảm ơn chân thành, lời chúc sức khoẻ hạnh phúc và thành đạt tới đến
các thầy cô trong khoa đã tạo đièu kiện giúp đỡ em trong suột thười gian hoàn
thành khoá luận.

Em xin chân thành cảm ơn!
Tác giả
Lưu Thị Phượng


Lời cam đoan
Tôi xin cam đoan khoá luận này là công trình nghiên cứu của riêng tôi.
Trong khi nghiên cứu, tôi đã kế thừa những thành quả nghiên cứu của các nhà
khoa học, nhà nghiên cứu với sự trân trọng biết ơn.
Những kết quả nêu trong khoá luận chưa được công bố trên bất kì công
trình nào khác.
Xuân Hoà, tháng 05 năm 2008
Tác giả
Lưu Thị Phượng


Lời nói đầu
Trong nhiều bài toán thực tế người ta quan tâm đến quan hệ của hai hay
nhiều biến ngẫu nhiên X,Y được khảo sát đồng thời trên cùng một tổng thể.
Điều này có nghĩa là khi ta lấy ngẫu nhiên một cá thể của tổng thể ra xen xét
thì phải cân đo, phân tích, thử nghiệm ,…đồng thời hai đặc tính sinh học định
lượng X và Y.
Thí cân và đo chiều cao của một em học sinh lớp 4, cân trọng lượng và
đo chiều dài của cá, đo chiều cao của con trai và con gái trong cùng một gia
đình…
Tuy nhiên ta không thể nghiên cứu đầy đủ mọi đặc trưng của quan hệ
đó. Mà thông thường ta chỉ có thể khảo sát một mẫu gồm n cá thể, ta thu được
dãy n cặp số ( xi, yi

i=

1, n

được xem như là cặp quan sát của hai biến ngẫu

), nhiên X,Y.
Một câu hỏi rất tự nhiên được đặt ra là hai biến X, Y có quan hệ với
nhau như thế nào? Và câu trả lời biến Y thay đổi theo sự thay đổi của biến X
như thế nào là phần trình bày của đề tài “Các mô hình hồi quy”.
Cụ thể, ở đây tôi nghiên cứu hai vấn đề:
1) Nghiên cứu mô hình hồi quy tuyến tính.
2) Nghiên cứu mô hình hồi quy phi tuyến.
Do thời gian và năng lực có hạn nên khoá luận của tôi chắc chắn không
tránh khỏi những thiếu sót, vì vậy tôi rất mong nhận được ý kiến đóng góp
của các thầy giáo, cô giáo và các bạn sinh viên.


Mục lục

Trang

Lời nói đầu……………………………………………………………..1
Chương 1. Hồi quy tuyến tính…………………………………………..2
1.1. Mô hình hồi quy…………………………………………………. 2
1.1.1. Các giả thuyết cho mô hình……………………………………. 2
1.1.2. Phương trình hồi quy……………………………………………..2
1.2. Mô hình hồi quy tuyến tính đơn……………………………………3
1.3. Ước lượng các tham số hồi quy…………………………………. 4
1.3.1. Phương pháp bình phương bé nhất……………………………….4
1.3.2. Ước lượng điểm cho trung bình đáp ứng…………………………7
1.3.3.

Ước

lượng

sai

σ

số

2

……………………………………………..9
1.4. Mô hình hồi quy tuyến tính đơn với sai số chuẩn……………….. .11
1.5. Phân tích cho mô hình hồi quy tuyến tính đơn…………………. 14
1.5.1. Kiểm định β1 ……………………………………………………
14

1.5.2.

Khoảng

tin

cậy

cho

β1

………………………………………….. .15 1.5.3. Khoảng tin cậy
cho β0 …………………………………………...16
1.6. Dạng ma trận của hồi quy tuyến tính……………………………. ..17
1.6.1. Dạng ma trận của hồi quy tuyến tính đơn………………………..17
1.6.2. Ước lượng bình phương bé nhất của tham số hồi quy……………19 1.7.
Hồi quy tuyến tính bội……………………………………………...21
Chương 2. Hồi quy phi tuyến……………………………………………27
2.1. Mô hình hồi quy phi tuyến…………………………………….. ….27
2.2. Ước lượng tham số hồi quy……………………………………. ….30 2.3.
Hồi quy logistic……………………………………………………31
2.3.1. Hồi quy với một biến đáp ứng nhị phân………………………. ..31


2.3.2. Hồi quy logistic đơn……………………………………………..32
2.3.3. Hồi quy logistic bội……………………………………………..34
2.4. Hồi quy Poatxông…………………………………………………35
Kết luận………………………………………………………………..37
Tài liệu tham khảo…………………………………………………….38


Lời nói đầu
Trong nhiều bài toán thực tế người ta quan tâm đến quan hệ của hai hay
nhiều biến ngẫu nhiên X,Y được khảo sát đồng thời trên cùng một tổng thể.
Một câu hỏi rất tự nhiên được đặt ra là hai biến X, Y có quan hệ với nhau như
thế nào? Và câu trả lời biến Y thay đổi theo sự thay đổi của biến X như thế
nào là phần trình bày của đề tài khoá luận “Một số mô hình hồi quy”.
Khoá luận gồm hai chương:
Chương 1. Mô hình hồi quy tuyến tính. Trong chương này trình bày
các mô hình hồi qui tuyến tính đơn, mô hình hồi qui tuyến tính bội và dạng

ma trận của các mô hình đó.
Chương 2. Mô hình hồi quy phi tuyến. Trong chương này giới thiệu
một số mô hình hồi qui phi tuyến như: hồi qui logistic và hồi qui Poatxông.
Khoá luận được thực hiện tại trường Đại học Sư phạm Hà Nội 2.
Qua đây, tôi xin bày tỏ lòng biết ơn sâu sắc đến thầy giáo
GV Nguyễn Trung Dũng đã dành nhiều thời gian, tâm huyết giúp đỡ tôi
hoàn thnàh luận văn này. Tôi xin gửi lời cảm ơn chân thành, lời chúc sức
khoẻ hạnh phúc và thành đạt đến các thầy cô trong khoa đã tạo điều kiện giúp
đỡ tôi trong suốt thời gian hoàn thành khóa luận.
Hà Nội, tháng 5 năm 2008.
Sinh viên
Lưu Thị Phượng


Chương 1: Hồi qui tuyến tính
1.1. Mô hình hồi qui
1.1.1. Các giả thuyết cho mô hình
Xét mô hình hồi qui nghiên cứu mối liên hệ giữa các biến X và Y. Trong
đó X là biến độc lập (independent variable ) và được kiểm soát bởi người
nghiên cứu, do đó các giá trị của X được người nghiên cứu chọn lựa và dựa
trên các giá trị được chọn của X thì các giá trị của Y sẽ được xác định, biến Y
được gọi là biến phụ thuộc ( independent variable ) hay biến đáp ứng.
Mô hình hồi qui dựa trên các giả thuyết sau :
1. Giá trị của biến X là cố định và có một số lượng giới hạn
2. Biến X được thu thập không có sai số hoặc sai số rất bé và có thể bỏ qua
được.
3. Với mỗi giá trị của biến X sẽ xác định được một tập hợp các giá trị của
biến Y.
4. Tất cả các phương sai của tập hợp giá trị Y là bằng nhau.
5. Tất cả các trung bình của tập hợp giá trị Y đều nằm trên một đường thẳng,

giả thuyết này gọi là giả thuyết tuyến tính và nó được thể hiện
rằng: µ y|x = α + β x
. ở đây

µ là giá trị trung bình của tập hợp các giá trị
y|x

Y ứng với một giá trị của X, tức là E{Y| X = x } = β

0

+ β 1x .

6. Các giá trị của Y là độc lập với nhau
E{Y | X = x} = β 0 + β 1x _ được gọi là hàm hồi qui
β 0 , β 1 là các hệ số hồi qui
1.1.2. Phương trình hồi qui
Mục tiêu của phương trình hồi qui là xây dung một phương trình tham
số mô tả mối liên hệ thực giữa biến độc lập X và biến phụ thuộc Y.
Các bước tiến hành một phân tích hồi qui :


1. Đánh giá xem các giả thuyết và mối liên hệ tương quan tuyến tính có đúng
không?
2. Xác định phương trình hồi qui mô tả hệ số liệu đó một cách chính xác nhất.
3. Đánh giá phương trình hồi qui để xác định mức độ của mối tương quan.
4. Nếu số liệu được thể hiện tốt trong mô hình tuyến tính vừa xây dựng, sử
dụng phương trình hồi qui để dự đoán và ước lượng các giá trị.
1.2. Mô hình hồi qui tuyến tính đơn
Xét mô hình có dạng :

Yi = β

0

+ β 1Xi + ε i (1.1)

Trong đó :
Yi là giá trị quan sát của biến đáp ứng Y trong lần quan sát thứ i.
Xi là giá trị quan sát của biến dự báo X trong lần quan sát thứ i .

β 0 , β 1 là các tham số hồi qui.
ε i là các biến ngẫu nhiên độc lập ( không tương quan ) với E{
ε i} = 0 , var(ε i) = σ

2

, i = 1, n .

• Mô hình (1.1) thoả mãn các giả thuyết của mô hình hồi qui. Thật vậy, ta có:
1. Vì với mỗi i (1 ≤ i ≤ n) thì ε i là biến ngẫu nhiên nên Yi cũng là biến
ngẫu nhiên.
2. Biến ngẫu nhiên ε I có kỳ vọng E{ ε i} = 0 nên suy ra :
E{Yi} = E{ β

0

+ β 1xi + ε i}

Suy ra
E{Yi} = β

0

+ β 1Xi

, i = 1, n .

3. Biến ngẫu nhiên ε I có phương sai là σ

2

phương sai như vậy :
Var{Yi} = σ
Từ đó ta có :

2

. Biến đáp ứng Yi cũng có


Var{ β

0

+

β 1Xi + ε i} = σ 2{ε i} = σ

2

Do đó, độ phân tán của Yi là như nhau đối với các mức của X.
4. Vì ε i, ε j là không tương quan nên suy ra Yi, Yj cũng không tương quan.

• ý nghĩa của hệ số hồi qui

β 0 , β 1 được gọi là các hệ số hồi qui.
β 1 là hệ số góc của đường hồi qui ( f(X) = β 0 + β 1X )
Hệ số góc chỉ sự thay đổi của trung bình đáp ứng khi thay đổi một đơn vị
của biến dự báo X .

β 0 là trung bình của đáp ứng khi dự báo X bằng 0 .
• Một số phiên bản khác của mô hình (1.1)
Giả sử X0 là một biến giả, khi đó (1.1) được viết
lại là : Yi =

β 0X0 + β 1Xi + ε i (1.2) , trong đó

Xi ≡ 1 .
Từ (1.1) ta có :
Yi = β

0

+ β 1(Xi - X ) + β

1X

Yi = β

1

⇔

0

+β

+ε

i

X + β 1(Xi - X ) + ε

Yi = β 0* + β 1(Xi - X )

⇔
+ ε i (1.3)
Trong đó β 0* = β

i

0

+β

1X

X =

và

1
n

n

∑

X

i

i=1

Tuỳ từng trường hợp thuận tiện ta sử dụng một trong các mô hình (1.1) ,
(1.2) và (1.3) .
1.3. Ước lượng các tham số hồi qui
Giả sử ta có n quan sát (X1,Y1) , (X2,Y2) , …, (Xn,Yn) về (X,Y) .
Vấn đề đặt ra dựa trên n quan sát này hãy ước lượng các β
mô hình (1.1)

0

,β

1

trong

.
1.3.1. Phương pháp bình phương bé nhất
Với mỗi i thì đại lượng Yi - ( β 0 + β 1)Xi là độ lệch của Yi với giá
trị lý thuyết.


Đặt Q( β

0

n

,

∑(Y

β 1) =

i=1

Các ước lượng

i

- β

0

- β 1Xi)

2

βˆ βˆ 1 của β 0 , β 1 sao cho Q( β 0 , β 1) bé
0,

nhất thì được

gọi là ước lượng bình phương bé nhất của β 0 , β 1 .
Xét hệ phương trình :
 ∂Q( β ,β )
0 1 = 0

∂β0


Q(0 β1 ,β )
∂
= 0
 ∂β
1

 n
−2∑ (Yi − β0 − β1 X i ) = 0

 i=1
⇔
 n
−2
∑ X i (Yi − β0 − β1 Xi ) = 0



i=1
n
n

∑ Xi =(1.4)
∑Yi
nβ0 + β1 i=1
⇔

i=1
 n
n
n
β
2
0
X iYi
+ Xi ∑

i=
∑ β1 = 1
Xi
 i=1 ∑
i=1

βˆ = Y − βˆ X
0

1

n
n

 ∑ X iYi − Y
⇔
ˆ i =1
i =1
β1=∑
n
n
∑ i
i
2

X
−
X
X
i=1

i=1


Hay

∑

Xi

βˆ
ˆ
 0= Y− β X




βˆ

n

1

n

∑(

X i − X ∑( X i − X
)(Yi − Y )
)(Yi − Y )
i =1
= i =n1
1 =
n
2

Xi 2 − n( 2
− X)
∑


X)
(X

∑

i=1

i=1

i

(1.5)


(1.4) được gọi là phương trình chuẩn.
Ví dụ 1.1. Cho bảng thống kê số liệu dưới đây của 25 lô sản phẩm của
một công ty Z.
Bảng1.1. Sơ đồ tán xạ và đường hồi qui thích hợp
(1)
SốTT
Y)

(2)

Số sản

(3)

Giờ sản

(4)

Xi- X

(5)

(6)

(7)
2

Yi-Y

(Xi- X )(Yi-Y ) (Xi- X ) (Yi-

2

phẩm(Xi)

suất (Yi)

1

80

399

10

86,72

867,2

110

7520,4

2

30

121

-40

-191,28

7651,2

1600

36558,0

3

50

221

-20

-91,28

1825,6

400

8332,0

…

…

….

….

….

….

…

…

23

40

244

-30

-68,28

2048,4

900

4662,2

24

80

342

10

29,72

297,2

100

883,3

25

70

323

0

10,72

0,0

0

114,9

Tổng 1750

7807

Trung 70,0

312,28

0

0

70690

19800

bình
Vậy ta có :

∑(
∑(

X i − X )(Yi − Y ) = 70690
2
X i − X ) = 19800

X = 70,0

áp dụng (1.5) ta được :
βˆ =

∑(

Y = 312,28

X i − X )(Yi −Y )

=

70690

= 3, 5702

307203

1
i

∑(

X

−
2
X)

19800


βˆ = Y = 312, 28 − 3,5702(70,0) = 62,37
− βˆ X
0

1

Như vậy sự phụ thuộc của thời gian sản xuất vào số sản phẩm có thể
được mô tả bằng ( hồi qui mẫu ) :
y= 0.0436x + 0,0857
Hình1.1. Sơ đồ tán xạ và đường hồi qui thích hợp _ Ví dụ1.1
Hình a: Sơ đồ tán xạ

G
i

Hình b: Đường hồi quy thích

hợp

G
i

Lô sản phẩm

• Tính chất

Lô sản phẩm

của ước lượng bình phương bé nhất

Định nghĩa 1.1

θˆ

Cho Y1,Y2,…,Yn là các quan sát về tham số θ . Ước lượng

của θ

được gọi là ước lượng tuyến tính không chệch tốt nhất cho

θ nếu : i/ θˆ là tổ hợp tuyến tính của các quan sát
Y1, Y2 , …, Yn
ii/ θˆ có phân phối nhỏ nhất trong các ước lượng tuyến tính của
θ.
Định lý Gauss-Markov
Đối với mô hình (1.1) thì các ước lượng bình phương bé nhất

βˆ 0 ,

βˆ
1

cho các tham số β 0 , β
tuyến tính tốt nhất

1 tương

ứng là các ước lượng không chệch


Định lý Gauss-Markov khẳng định rằng dưới giả thuyết của mô hình
(1.1) thì

βˆ βˆ 1 là các ước lượng không chệch và có phương sai nhỏ
0

,

nhất

trong các ước lượng không chệch tuyến tính.
1.3.2. Ước lượng điểm cho trung bình đáp ứng
Giả sử

βˆ βˆ 1 là các ước lượng của các tham số trong hàm hồi qui
0,

E{Y}= β0 + β x
1
Khi đó chúng ta có ước lượng cho hàm hồi qui là :
Yˆ =

βˆ βˆ 1X ,
0+

Trong đó
Yˆ

là giá trị của ước lượng của hàm hồi qui tại mức X của biến dự
báo.

Từ định lý Gauss-Markov và
do
cho các tham số β
nên Yˆ

0

,β

1

βˆ βˆ 1 là các ước lượng không
0,

chệch

là ước lượng không chệch cho E{Y}.

Ví dụ 1.2.
Trong Ví dụ 1.1 ở trên , nếu cho các ước lượng hệ số hồi qui
, βˆ 1 = 3,5702 thì ước lượng của hàm hồi qui là :

βˆ 0=
62,37

Yˆ = 62,37 + 3,5702X
Cụ thể , với X = 65 , ước lượng điểm

Yˆ = 62,37 + 3,5702(65) = 294,4

Như vậy, chúng ta ước lượng trung bình thời gian sản xuất cho 65 sản
phẩm là 294,4 giờ .


Tương tự, với X1=80 thì ta có
Yˆ

1

= 62,37 + 3,5702(80) = 348,0.

• Khi mô hình hồi qui có dạng (1.3) Yi = β 0* + β 1(Xi - X ) + ε i .
Bằng phương pháp bình phương bé nhất ta ước lượng
được cho β

0

, β

1

.

Từ β 0* = β

0,
0

+β

1

X

suy ra

βˆ * = + X = (Y X)
β β − βˆ +
ˆ ˆ
βˆ
0

0

βˆ βˆ

1

1

X= Y

1

1


Do đó ước lượng hồi qui cho hàm (1.3) là :
Yˆ = Y
1
+ βˆ ( X

(1.6)

− X)

Trong ví dụ 1.1 , = 312,28 và = 70. Do đó :
Yˆ = 312,28 + 3,5702(X - 70)
Với X1 = 80 , = 312,28 + 3,5702( 80 – 70) = 348,0 .

• Phần dư
Kí hiệu ei là độ chênh lệch của giá trị Yi và trong lần quan sát thứ i :
ei = Yi - Yˆ

i

(1.7)

Đối với mô hình hồi qui (1.1) ta có :
ˆ
ˆ ˆ
ei = Yi – ( + β1 Xi ) β - β Xi (1.7a)
=Yi βˆ
o

0

1

Ví dụ 1.3. Cho bảng số liệu như ở ví dụ 1.1
Bảng 1.2. Giá trị thích hợp, phần dư, và phần dư bình phương_Ví dụ 1.1
(1)
SốTT Số sản
phẩm(Xi)
Yˆ

(2)

(3)

(4)

(5)

Giờ sản

Ước lượng

Phần dư

suất (Yi)

TB đáp ứng

Yi i

= ei
Yˆ

Bp phần dư
(Yi -

i

2

) = ei

1

80

399

347,98

51,02

2603,0

2

30

121

169,47

-48,47

2349,3

3

50

221

240,88

-19,88

395,2

…

…

….

….

….

….

23

40

244

205,17

38,83

1507,8

24

80

342

347,98

-5,98

35,8

25

70

323

312,28

10,72

114,9

Tổng 1750

7807

0

54825

7807

2

Nhìn vào bảng số liệu trên ta thấy ở trường hợp thứ nhất X1 = 80 thì
ˆ
e1 = Y1 – Y1 = 399 – 347,98 = 51,02 .


1.3.3. Ước lượng sai số σ

2

Ước lượng điểm của σ
Ta có :
1
2
s
n(Y
= −1

n

− Y)

∑

2

i

i=1

Là ước lượng chệch choσ

n

∑−

2

Es = E(
1

2

(Yi

2

1

2

Y) )=

n

∑−

2

Y ) ) = ES

2

(Yi

E(
n

n −1

n −1 n

i=1

i=1

Ta đi tìm ES 2
1
2
S = n
2
(Y n ∑− Yi )
i=1

Yi − µ = Yi − Y + Y − µ, µ = EX
(Y − µ) 2 − Y ) 2
= (Y
+ 2(Y
i

+

i

(Y
∑
=
n(Y−
−µ
µ)) (Y
∑
n

2i
2

i=1

n

− Y )(Y − µ) + (Y − µ) 2
i

n

2

− Y)
+ 2(Y

i
i=1

)
i=1

−
Y)

Mà
n

( X − µ )∑ (Yi − Y ) = (Y − µ)(nY − nY ) = 0
i=1

n

⇒( −
Yi µ ) 2
∑
i=1
=

∑
n

n

( −
∑
i=
1

Yi

i n

Y ) + n(Y − µ)
2

∑

i

2


⇒ − µ) =
E(
E(
2

(Y

(Y
i=1

⇒ nσ

i=1

2

− Y ) ) + nE(Y
2
− µ)

σ

2

= nES 2 + nvar(Y ) = nES 2 + n
n
n −1
⇒ ES 2 =
σ 2
n
Vậy

2


n n −1
Es2 =n −1 n
σ

2

⇒
là ước lượng không chệch cho σ
2
s

2

Ta có :

ˆ
ei = Yi − Yi

Đặt
2
(Y − Yˆ ) n =
e

n 2

SSE
=

∑
i=1

(1.8)

∑

ii

i

i=1

Trong đó SSE là tổng bình phương của các phần dư.
Đặt
n

SSE
MSE =
=
n− 2

2
2
(Y − Yˆ n) e

∑
i
=
1

i

i
i=1

∑

i

n− 2

n
−
2

Có thể chỉ ra rằng MSE là một ước lượng không chệch
2
của σ

trong mô

hình hồi qui (1.1) :
E{MSE} = σ
Vậy

2

MSE là ước lượng điểm cho σ

2

Ví dụ 1.4.
Trong Ví dụ 1.1 về công ty Z , tra bảng 1.2 , cột 4, bình phương thặng dư
được chỉ ra ở cột 5, ta được :
SSE = 54825
54825
=
Với n= 25 , MSE =
2384

− 2

2
5

Vậy ước lượng điểm của σ , phân phối xác suất của Y cho mỗi X là
2384 = 48,8
1.4.Mô hình hồi qui tuyến tính đơn với sai số chuẩn
Mô hình