Tài liệu Đề án môn học: Nguyên Lý Thống Kê docx

Đề án môn học: Nguyên Lý Thống Kê GVHD: TS. LÊ DÂN
MỤC LỤC
CHƯƠNG 1 KHÁI NIỆM CƠ SỞ PHÂN TÍCH PHẦN DƯ HÀM HỒI QUI
1.1. Khái niệm ,cơ sở phân tích hàm hồi qui ............................................................3
1.2. bản chất của phần dư trong hàm hồi quy .......................................................... 4
1.3. sự cần yhieets phải phân tích phần dư trong hàm hồi quy.................................. 4
1.4. Ý nghĩa của việc phân tích phần dư tỏng hàm hôi quy ...................................... 4
CHƯƠNG 2 : NỘI DUNG PHÂN TÍCH PHẦN DƯ TRONG
HÀM HỒI QUY
2.1. Mô hình hồi qui đơn biến ( Hai biến )................................................................. 5
2.1.1. Khái niệm về hồi quy................................................................................... 5
2.1.2.Nội dung phân tích phần dư ei theo phương pháp bình phương nhỏ
nhất OLS............................................................6-7
2.1.3.Nội dung phân tích phần dư theo phương pháp bình phương nhỏ nhất....
tổng quát .........................................................8-9
2.1.4. phân tích phần dư trong hệ số đo sự phù hợp của hàm hồi quy mẫu... 10-11
2.1.5. Một số dạng hàm thường được sử dụng............................................... 12-15
2.2. Mô hình hồi quy tuyến tính bộ........................................................................... 16
2.2..1 .Xây dựng mô hình .................................................................................... 16
2..2.2. Mô hình hồi quy 3 biến ....................................................................... 16-17
2.2..3. Mô hình hồi quy K biến........................................................................... 18
CHƯƠNG 3 ỨNG DỤNG CỦA PHẦN DƯ TRONG PHÂN TÍCH HÀM
HỒI QUY
3.1. Phát hiện phương sai của sai số thay đổi......................................................... 19
3.1.1 Xem xét đồ thị............................................................................................ 20
3.1.2 Kiểm đinh Glejser ................................................................................... 20
3.1.3 Kiểm đinh While............................................................................. 20-21
SVTH: Lê Cao Nhuần
1
Đề án môn học: Nguyên Lý Thống Kê GVHD: TS. LÊ DÂN
. 3.1.4 Kiểm định Breusch-Paga................................................................. 21-22

3.2 .Phát hiện có sự tương quan............................................................................... 22
3.2.1. Phương pháp đồ thị....................................................................... 22-23
3.2.2. Phương phá kiểm định số lượng........................................................ 24
3.3. Phân tích phần dư để kiểm tra các giả định trong...................................... 24-26
phân tích hồi qui tuyến tính.

SVTH: Lê Cao Nhuần
2
Đề án môn học: Nguyên Lý Thống Kê GVHD: TS. LÊ DÂN
CHƯƠNG 1 KHÁI NIỆM CƠ SỞ PHÂN TÍCH PHẦN DƯ HÀM HỒI QUI
1.1. Khái niệm ,cơ sở phân tích hàm hồi qui
Gỉa sử chúng ta có mô hình hồi qui tổng thể PRF : E(Y/X=Xi) =
2
ˆ
β
+
2
ˆ
β
X
nếu như E tuyến tính với X
i
thì
Y
i
=
++
i
X
21

ββ
Ui
khi đó ta có mô hình hồi quy mẫu SRF:
ii
XY
21
ˆˆ
ˆ
ββ
+=
từ trên : Y
i
=
1
ˆ
β
+
2
ˆ
β
X
i
+ e
i

trong đó
β1 : là hệ số tự do ( hệ số góc )
β2 : là hệ số góc
1
ˆ

β
và
2
ˆ
β
là ước lượng của β1và β2
ei :được gọi là phần dư hay chính là ước lượng của Ui
Giá trị ước lượng của Y
i


i21i
XY
ˆ
β+β=
Yi

i
e
}
i
Y
ˆ
SRF:
ii
XY
21
ˆˆ
ˆ
ββ

+=
Hình biểu diễn phần dư ei
vậy phần dư hàm hồi quy là ước lượng của Ui hay là giá trị chênh lệch giữa biến
phụ thuộc (Yi) với biến tiêu thức phụ thuộc (
i
Y
ˆ
)
ei = Yi -
i
Y
ˆ
SVTH: Lê Cao Nhuần
3
Đề án môn học: Nguyên Lý Thống Kê GVHD: TS. LÊ DÂN
phần dư hàm hồi quy có thể âm có thể dương
1.2. bản chất của phần dư trong hàm hồi quy
-Chúng ta có thế xây dựng được mô hình hồi quy bội dù chúng ta có đưa vào bao
nhiêu biến đi chăng nữa thì yếu tố phần dư vẫn tồn tại vì yếu tố hiễn nhiên của chúng
,ngaycả khi các biến bị loại bỏ khỏi mô hình
- ei được sử dụng như một yếu tố đại diienj cho tất cả các biến không có trong mô
hình ngay cả khi các biến bị loại bỏ khỏi mô hình là biến nào đi chăng nữa khi đó quá
trình chuyển đổi mô hình hồi quy tổng thể PRF sang mô hình hồi quy mẫu SRF luôn
luôn tồn tại phần dư ei như một yếu tố ngẫu nhiên
- Ngoài các biến giải thích đã có trong mô hình còn có một số biến khác nhưng ảnh
hưởng của chúng đến Y rất nhỏ .Trong trường hợp này chúng ta có thể sử dụng yếu
tố ngẫu nhiên Ui để đại diện cho chúng .Tức phàn dư ei đại diện cho quá trình
chuyển đổi mô hình PRF sang SRF , với ei là ước lượng của Ui
1.3. sự cần yhieets phải phân tích phần dư trong hàm hồi quy

i
e
là ước lượng của Ui hay là giá trị chênh lệch giữa biến phụ thuộc
i
Y
với ước
lượng của biến tiêu thức phụ thuộc
i
Y
ˆ
vì vậy quá trình phân tích phần dư
i
e
trong
hàm hồi quy chúng ta xác định được các tham số
1
ˆ
β
và
2
ˆ
β
của mô hình hồi quy
cũng như các yếu tố khác có trong mô hình hồi quy
1.4. Ý nghĩa của việc phân tích phần dư tỏng hàm hôi quy
Việc phân tích phần dư trong hàm hồi quy là cơ sở là tiền đề trong tất cả các phân
tích của hàm hồi quy với cỏ sở ban đầu là tổng phần dư nhỏ nhất theo OLS ta xác
đinh được các biến có trong mô hình

( )

2
11
2
ˆ
∑∑
==
−=
n
i
ii
n
i
i
YYe
=> min

CHƯƠNG 2 : NỘI DUNG PHÂN TÍCH PHẦN DƯ TRONG
HÀM HỒI QUY
2.1. Mô hình hồi qui đơn biến ( Hai biến )
SVTH: Lê Cao Nhuần
4
Đề án môn học: Nguyên Lý Thống Kê GVHD: TS. LÊ DÂN
2.1.1. Khái niệm về hồi quy
Phân tích hồi quy là tìm quan hệ phụ thuộc của một biến, được gọi là biến phụ
thuộc vào một hoặc nhiều biến khác, được gọi là biến độc lập nhằm mục đích ước
lượng hoặc tiên đoán giá trị kỳ vọng của biến phụ thuộc khi biết trước giá trị của biến
độc lập.
1
Một số tên gọi khác của biến phụ thuộc và biến độc lập như sau:
-Biến phụ thuộc: biến được giải thích, biến được dự báo, biến được hồi quy, biến

phản ứng, biến nội sinh.
-Biến độc lập: biến giải thích, biến dự báo, biến hồi quy, biến tác nhân hay biến
kiểm soát, biến ngoại sinh.
-Hàm hồi quy tổng thể và hồi quy mẫu
giả sử chúng ta có n cặp quan sát của Y và X khi đó xây dựng được mô hình hồi
quy
PRF : E(Y/X=Xi) =
2
ˆ
β
+
2
ˆ
β
X
SRF
ii
XY
21
ˆˆ
ˆ
ββ
+=
Yi = Y
i
=
1
ˆ
β
+

2
ˆ
β
X
i
+ e
i

1
Theo Damodar N.Gujarati, Basic Econometrics-Third Edition, McGraw-Hill-1995, p16.
SVTH: Lê Cao Nhuần
5
Đề án môn học: Nguyên Lý Thống Kê GVHD: TS. LÊ DÂN
cặp quan sát thứ i có giá trị tương ứng ( Xi , Yi ) ; i= 1,n .Ta phải tìm Y sao cho nó
càng gần giá trị (Yi) có thể được tức phần dư

iiiii
XYYYe
21
ˆˆ
ˆ
ββ
−−=−=
càng nhỏ càng tốt
2.1.2.Nội dung phân tích phần dư ei theo phương pháp bình phương nhỏ
nhất OLS
Từ trên ta có do ei; i= 1,n có thể dương ,có thể âm do vậy cần phải tìm Yi sao cho
tổng bình phương của các phần dư đạt cực tiểu
SVTH: Lê Cao Nhuần
6

Đề án môn học: Nguyên Lý Thống Kê GVHD: TS. LÊ DÂN

( )
2
1
21
1
2
ˆˆ
∑∑
==
−−=
n
i
ii
n
i
i
XYe
ββ
=> min
Điều kiện để () đạt cực trị là:
(1)
( )
0e2X
ˆˆ
Y2
ˆ
e
n

1i
i
n
1i
i21i
1
n
1i
2
i
=−=β−β−−=
β∂






∂
∑∑
∑
==
=
(2)
( )
0Xe2XX
ˆˆ
Y2
ˆ
e

n
1i
iii
n
1i
i21i
2
n
1i
2
i
=−=β−β−−=
β∂






∂
∑∑
∑
==
=
Từ (3.7) và (3.8) chúng ta rút ra
∑∑
β+β=
i21i
X
ˆˆ

nY
∑∑∑
β+β=
2
i2i1ii
X
ˆ
X
ˆ
XY
Các phương trình ta được gọi là các phương trình chuẩn. Giải hệ phương trình
chuẩn ta được
X
ˆ
Y
ˆ
21
β−=β
(3.11)
Thay (3.9) vào (3.8) và biến đổi đại số chúng ta có
( )( )
( )
∑
∑
=
=
−
−−
=β
n

1i
2
i
n
1i
ii
2
XX
XXYY
ˆ
Đặt
XXx
ii
−=
và
YYy
ii
−=
ta nhận được
∑
∑
=
=
=β
n
1i
2
i
n
1i

ii
2
x
xy
ˆ
(3.13)
a. Các tính chất của phần dư e
i
(1) Giá trị trung bình của phần dư bằng 0:
( )
0eE
i
=
SVTH: Lê Cao Nhuần
7
Đề án môn học: Nguyên Lý Thống Kê GVHD: TS. LÊ DÂN
(2) Các phần dư e
i
và Y
i
không tương quan với nhau:
∑
=
=
n
1i
ii
0Ye
(3) Các phần dư e
i

và X
i
không tương quan với nhau:
∑
=
=
n
1i
ii
0Xe
(4) Phần dư ei là yếu tố quan trọng ,trong quá trình đo sự phù hợp của hàm hồi
quy
Từ RSS ( Residual sum of Squarses ) tổng bình phương của tất cả các sai lệch
giữa các giá trị quan sát Y và giá trị nhận được từ hàm hồi quy


∑
=
=
n
1i
2
i
eRSS
=
2
1
)
ˆ
(

∑
=
−
n
i
ii
YY
b. Phương sai của phần dư có thể được ước tính như sau
s
2
Chính là ước số σ
2
.
2.1.3.Nội dung phân tích phần dư theo phương pháp bình phương nhỏ nhất
tổng quát
Để giải đáp cho câu hỏi khi phương sai của sai số thay đổi ,thì phương pháp bình
phương nhỏ nhất tổng quát là cần thiết .Trước khi đi vào nội dung cụ thể chúng ta
trình bày phương pháp bình phương nhỏ nhất có trọng số
a. phương pháp bình phương nhỏ nhất có trọng số
Từ mô hình hai biến
Y
i
=
1
ˆ
β
+
2
ˆ
β

X
i
+ e
i
Như ta đã biết phương pháp bình phương nhỏ nhất không có trọng số cực tiểu tổng
bình phương phần dư
SVTH: Lê Cao Nhuần
8
Đề án môn học: Nguyên Lý Thống Kê GVHD: TS. LÊ DÂN

( )
2
1
21
1
2
ˆˆ
∑∑
==
−−=
n
i
ii
n
i
i
XYe
ββ
=> min
để thu được ước lượng

Còn phương pháp bình phương nhỏ nhất có trọng số cực tiểu tổng bình phương các
phần dư có trọng số

( )
2
1
21
1
2
*
ˆ
*
ˆ
∑∑
==
−−=
n
i
ii
n
i
i
XYWiWie
ββ
=> min
Trong đó β1* , β1* là các ước lượng bình phương nhỏ nhất có trọng số ở đây
các trọng số Wi là tính như sau
Wi = 1/
σ
2

i
(
i
∀
) ,
σ
2
i
> 0
b..Phương pháp bình phương nhỏ nhất tổng quát
Từ mô hình 2 biến
Y
i
=
1
ˆ
β
+
2
ˆ
β
X
i
+ U
i
Đặt
22
i
2
i

w σ=σ
, chia hai vế của (5,12) cho w
i
chúng ta có mô hình hồi quy

i
i
i
i
2
i
1
i
i
ww
X
w
1
w
Y
ε
+β+β=
Ta viết lại mô hình như sau

**
22
*
11
*
iiii

XXY
εββ
++=
Trong đó

X
i1
= 1 (
i
∀
)

X
i2
* =
X
i1
/
σ
i
e
i
* = e
i /
σ
i
Để thu đươc ước lượng bình phương nhỏ nhất tổng quát , ta cực tiểu hàm
SVTH: Lê Cao Nhuần
9
Đề án môn học: Nguyên Lý Thống Kê GVHD: TS. LÊ DÂN

( )
2
1
21
1
2*
*
ˆ
*
ˆ
∑∑
==
−−=
n
i
ii
n
i
i
XYe
ββ
ta sẽ thu được các ước lượng
Lưu ý Trong quá trình phân tích phần dư đối với giá trị biến độc lập X hoặc giá
trị dự đoán
Y

sẽ cho ta biết liệu phương sai của sai số có thay đổi hay không
.Phương sai của phần dư được chỉ da bằng đọ rộng của biểu đồ phân giải của phần
dư khi giảm hoặc tăng .Nếu độ rộng của biểu đồ rãi của phần dư tăng hoặc giảm .Khi

X tăng thì giá trị giả thiết về phương sai hắng số có thể không thõa mãn
2.1.4. phân tích phần dư trong hệ số đo sự phù hợp của hàm hồi quy mẫu
Làm thế nào chúng ta đo lường mức độ phù hợp của hàm hồi quy tìm được cho
dữ liệu mẫu. Thước đo độ phù hợp của mô hình đối với dữ liệu là R
2
. Để có cái nhìn
trực quan về R
2
, chúng ta xem xét đồ thị sau
Hình 3.5. Phân tích độ thích hợp của hồi quy
YY
i
−
: biến thiên của biến phụ thuộc Y, đo lường độ lệch của giá trị Yi so với giá
trị trung bình
.Y
YY
ˆ
i
−
: biến thiên của Y được giải thích bởi hàm hồi quy
SVTH: Lê Cao Nhuần
Y
Y
i
Y
i
X
i
Yi

- Y
Yi - Yi
Yi - Y
X
Y
SRF
10
Đề án môn học: Nguyên Lý Thống Kê GVHD: TS. LÊ DÂN
iii
Y
ˆ
Ye
−=
: biến thiên của Y không giải thích được bởi hàm hồi quy hay sai số hồi
quy.
Trên mỗi Xi chúng ta kỳ vọng e
i
nhỏ nhất, hay phần lớn biến thiên của biến phụ
thuộc được giải thích bởi biến độc lập. Nhưng một hàm hồi quy tốt phải có tính chất
mang tính tổng quát hơn. Trong hồi quy tuyến tính cổ điển, người ta chọn tính chất
tổng bình phương biến thiên không giải thích được là nhỏ nhất.
Ta có
iii
ii
ii
ey
ˆ
y
eYY
ˆ

YY
eY
ˆ
Y
+=
+−=−
+=
Với
YYy
ii
−=
và
YY
ˆ
y
ˆ
i
−=
Vậy
∑∑∑∑
====
++=
n
1i
ii
n
1i
2
i
n

1i
2
i
n
1i
2
i
ey
ˆ
2ey
ˆ
y
(3.21)
Số hạng cuối cùng của (3.21) bằng 0.
Vậy
∑∑∑
===
+=
n
1i
2
i
n
1i
2
i
n
1i
2
i

ey
ˆ
y
Đặt
∑
=
=
n
1i
2
i
yTSS
,
∑
=
=
n
1i
2
i
y
ˆ
ESS
và
∑
=
=
n
1i
2

i
eRSS
TSS(Total Sum of Squares): Tổng bình phương biến thiên của Y.
ESS(Explained Sum of Squares): Tổng bình phương phần biến thiên giải thích
được bằng hàm hồi quy của Y.
RSS(Residual Sum of Squares) : Tổng bình phương phần biến thiên không giải
thích được bằng hàm hồi quy của Y hay tổng bình phương phần dư.Ta có:
TSS = ESS + RSS
Đặt
TSS
RSS
1
TSS
ESS
R
2
−==
SVTH: Lê Cao Nhuần
11