HỒI QUY BỘI TUYẾN TÍNH HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
-----------------------

PHẠM THỊ HƯƠNG

HỒI QUY BỘI TUYẾN TÍNH
HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG
Chuyên ngành: Lý thuyết Xác suất và Thống kê toán học
Mã số:
60406106

TÓM TẮT LUẬN VĂN THẠC SĨ KHOA HỌC

Hà Nội - Năm 2015


1
Công trình được hoàn thành tại: Trường Đại học Khoa hoc Tự nhiên - Đại học
Quốc gia Hà Nội

Người hướng dẫn khoa học: GS.TSKH Đặng Hùng Thắng

Hội đồng chấm luận văn:
• Chủ tịch: PGS.TS Phan Viết Thư - Đại học Khoa học Tự Nhiên - ĐHQGHN
• Phản biện 1: TS. Nguyễn Mạnh Thế - Đại học Kinh Tế Quốc Dân
• Phản biện 2: TS. Trịnh Quốc Anh - Đại học Khoa học Tự Nhiên - ĐHQGHN
• Thư ký: TS. Trần Mạnh Cường - Đại học Khoa học Tự Nhiên - ĐHQGHN
• Ủy viên: TS. Nguyễn Hồng Hải - Học Viện Kỹ Thuật Quân Sự

Luận văn đã được bảo vệ trước Hội đồng chấm luận văn thạc sĩ họp tại: Khoa

Toán-Cơ-Tin học Trường Đại học Khoa học Tự nhiên (ĐHQGHN) vào 9h giờ 00 ngày
1 tháng 2 năm 2016
Có thể tìm đọc luận văn tại: - Trung tâm thư viện Đại học Quốc gia Hà Nội


Mục lục
1 HỒI QUY BỘI TUYẾN TÍNH
1.1 Nhắc lại hồi quy đơn tuyến tính . . . . . . . . . . . . . .
1.2 Các mô hình hồi quy bội . . . . . . . . . . . . . . . . . . .
1.2.1 Sự cần thiết phải đưa ra nhiều biến dự báo . . .
1.2.2 Mô hình bậc nhất với hai biến dự báo . . . . . . .
1.2.3 Mô hình bậc nhất với nhiều hơn hai biến dự báo .
1.2.4 Mô hình hồi quy tuyến tính tổng quát . . . . . . .
1.3 Dạng ma trận của mô hình hồi quy tuyến tính tổng quát
1.4 Ước lượng các hệ số hồi quy . . . . . . . . . . . . . . . . .
1.5 Ước lượng mẫu và phần dư . . . . . . . . . . . . . . . . . .
1.6 Các kết quả phân tích phương sai . . . . . . . . . . . . . .
1.7 Các kết luận về các tham số hồi quy . . . . . . . . . . . .
1.8 Ước lượng trung bình đáp ứng và dự báo quan sát mới .
1.9 Chẩn đoán và biện pháp khắc phục . . . . . . . . . . . . .

.
.
.
.
.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.

2 HỒI QUY PHI TUYẾN VÀ MÔ HÌNH MẠNG NƠ RON
2.1 Mô hình hồi quy tuyến tính và phi tuyến . . . . . . . . . . . .
2.2 Ước lượng các tham số hồi quy . . . . . . . . . . . . . . . . . .
2.3 Ước lượng bình phương cực tiểu trong hồi quy phi tuyến . . .
2.3.1 Nghiệm của phương trình chuẩn . . . . . . . . . . . . .
2.3.2 Tìm kiếm số trực tiếp - Phương pháp Gauss-Newton .
2.3.3 Các thủ tục tìm kiếm trực tiếp khác . . . . . . . . . . .
2.4 Xây dựng và chẩn đoán mô hình . . . . . . . . . . . . . . . . .
2.5 Các kết luận về tham số hồi quy phi tuyến . . . . . . . . . . .
2.5.1 Ước lượng phương sai sai số . . . . . . . . . . . . . . . .
2.5.2 Định lí mẫu lớn . . . . . . . . . . . . . . . . . . . . . . .
2.5.3 Khi nào định lý mẫu lớn dùng được? . . . . . . . . . . .
1

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

3
3
5

5
5
6
6
10
10
11
12
14
15
17

.
.
.
.
.
.
.
.
.
.
.

21
21
23
24
24
25

26
27
27
27
27
27


Luận văn tốt nghiệp

2.6

Phạm Thị Hương

2.5.4 Biện pháp khắc phục hậu quả. . . . . . . . . . . . . . .
2.5.5 Khoảng ước lượng của γk . . . . . . . . . . . . . . . . .
2.5.6 Khoảng tin cậy đồng thời cho một số γk . . . . . . . . .
2.5.7 Kiểm tra tính liên quan của một tham số γk . . . . . .
2.5.8 Kiểm định đồng thời một số γk . . . . . . . . . . . . . .
Giới thiệu về mô hình mạng Nơ ron . . . . . . . . . . . . . . .
2.6.1 Mô hình mạng Nơ ron . . . . . . . . . . . . . . . . . . .
2.6.2 Mạng đại diện . . . . . . . . . . . . . . . . . . . . . . . .
2.6.3 Mạng Nơ ron như sự tổng quát của hồi quy tuyến tính.
2.6.4 Ước lượng tham số: Bình phương cực tiểu penalized . .
2.6.5 Một số bình luận cuối về mô hình mạng Nơ ron . . . .

3 Ứng dụng
3.1 Ứng dụng 1: Dự báo doanh số bán hàng . . .
3.1.1 Đặt bài toán . . . . . . . . . . . . . . .
3.1.2 Các tính toán cơ bản . . . . . . . . . .

3.1.3 Ước lượng hàm hồi quy . . . . . . . .
3.1.4 Các ước lượng mẫu và phần dư . . . .
3.1.5 Phân tích sự phù hợp của mô hình . .
3.1.6 Phân tích phương sai . . . . . . . . . .
3.1.7 Ước lượng các tham số hồi quy . . . .
3.1.8 Ước lượng trung bình đáp ứng . . . .
3.1.9 Giới hạn dự báo cho các quan sát mới
3.2 Ứng dụng 2: Dự báo mức độ phục hồi sau khi
3.3 Ứng dụng 3: Đường cong học tập . . . . . . .
3.4 Ứng dụng 4: Bệnh thiếu máu cơ tim . . . . .
Tài liệu tham khảo

. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
xuất viện
. . . . . .
. . . . . .

.
.
.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.

.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

28
28
28
29
29
29
29
30
31
32
33

.
.
.
.
.
.
.
.
.
.
.
.
.

34
34
34
35

36
37
37
39
40
41
42
43
49
52
55

2


MỞ ĐẦU
Phân tích hồi quy là phương pháp có ứng dụng rộng rãi nhất trong
các phương pháp thống kê. Hiện nay, các mô hình hồi quy được sử
dụng nhiều trong quản trị kinh doanh, kinh tế, kỹ thuật và xã hội,
y tế, khoa học và sinh học. . . ..Các mô hình hồi quy rất đa dạng bao
gồm: hồi quy tuyến tính, hồi quy phi tuyến. Các loại mô hình gồm
nhiều dạng nhỏ khá phức tạp.
Mục đích của luận văn này là đưa ra các dạng cơ bản của hồi quy
tuyến tính bội, hồi quy phi tuyến, các kết quả phân tích để ứng dụng
vào các mô hình hữu ích trong thực tế.
Bản luận văn được chia làm 3 chương:
Chương 1: Hồi quy bội tuyến tính
Trình bày các mô hình hồi quy bội tuyến tính, các ước lượng hồi
quy bội và các phân tích về các ước lượng hồi quy đó.
Chương 2: Hồi quy phi tuyến và mô hình mạng Nơ ron

Chương này trình bày một số mô hình hồi quy phi tuyến thường
gặp, các ước lượng của mô hình và việc phân tích, xây dựng chẩn
đoán mô hình.
Chương 3: Ứng Dụng
Đề cập đến các ứng dụng của mô hình hồi quy bội tuyến tính và
hồi quy phi tuyến ngoài thực tế. Trong mỗi ứng dụng có nhấn mạnh
đến việc xây dựng mô hình, ước lượng tham số và đánh giá mô hình.
Mặc dù có nhiều cố gắng, xong do nhiều yếu tố khách quan và chủ
quan, nên trong quá trình chọn lọc tư liệu và trình bày nội dung khó
tránh khỏi những thiếu sót. Vì vậy tôi rất mong nhận được những ý
kiến chỉ bảo của thầy cô, sự góp ý chân thành của các bạn học viên
để luận văn được hoàn thiện hơn.

3


Chương 1
HỒI QUY BỘI TUYẾN TÍNH
1.1

Nhắc lại hồi quy đơn tuyến tính

1.1.1 Mô hình dạng chuẩn
Mô hình được xây dựng như sau:
Y i = β0 + β1 X i + εi

(1.1)

1.1.2 Các đặc trưng quan trọng của mô hình
1. Yi là biến ngẫu nhiên.

2. Hàm hồi quy cho mô hình (1.1) là:
E{Y } = β0 + β1 X

(1.2)

3. Giá trị đáp ứng Yi trong thử nghiệm thứ i sai khác với giá trị hàm hồi
quy một lượng là sai số εi .
4. Đáp ứng Yi cũng có phương sai không đổi:
σ 2 {Yi } = σ 2

(1.3)

5. Đáp ứng Yi và Yj cũng không tương quan.
6. Tóm lại, mô hình (1.1) chỉ ra rằng đáp ứng Yi có phân phối xác suất mà
trung bình của nó là E{Yi } = β0 + β1 Xi và phương sai của nó là σ 2 và là như
4


Luận văn tốt nghiệp

Phạm Thị Hương

nhau với mọi giá trị của X. Hơn nữa, hai giá trị đáp ứng Yi và Yj là không
tương quan.
1.1.3 Dạng biến đổi của mô hình hồi quy
Đặt X0 là hằng số có giá trị bằng 1. Khi đó mô hình (1.1) có thể được viết
như sau:
Yi = β0 X0 + β1 Xi + εi

X0 ≡ 1

(1.4)

Do vậy dạng mô hình biến đổi là:
¯ + εi
Yi = β0∗ + β1 (Xi − X)

(1.5)

1.1.4 Ước lượng hàm hồi quy
Phương pháp bình phương cực tiểu
Hàm tiêu chuẩn Q:
n

(Yi − β0 − β1 Xi )2

Q=

(1.6)

i=1

Các ước lượng của β0 và β1 tương ứng là b0 và b1 làm cực tiểu hóa hàm tiêu
chuẩn Q đối với các mẫu quan sát (X1 , Y1 ), (X2 , Y2 ), . . . , (Xn , Yn ) đưa ra.
Tính chất của các ước lượng bình phương cực tiểu:

Định lí 1.1.1. (Gauss-Markov): Với các điều kiện của mô hình hồi quy
(1.1), các ước lượng bình phương cực tiểu b0 và b1 trong (1.10) là không chệch
và có phương sai nhỏ nhất trong tất cả các ước lượng tuyến tính không chệch khác.
1.1.5 Ước lượng phương sai sai số σ 2

Tổng bình phương phần dư:
n

n

(Yi − Y¯ )2 =

SSE =
i=1

e2i
i=1

5

(1.7)


Luận văn tốt nghiệp

Phạm Thị Hương

s2 = M SE =

n
i=1 (Yi

n

2

− Y¯ )2
i=1 ei
=
n−2
n−2

SSE
=
n−2

(1.8)

MSE là ước lượng không chệch của σ 2 :
E{M SE} = σ 2

Và ước lượng của độ lệch chuẩn đơn giản là s =

1.2
1.2.1

(1.9)
√
M SE .

Các mô hình hồi quy bội
Sự cần thiết phải đưa ra nhiều biến dự báo

Các mô hình hồi quy bao gồm một biến đáp ứng hay biến phản hồi và một
số lượng các biến dự báo. Một biến dự báo đơn lẻ trong mô hình không cung
cấp sự mô tả đầy đủ vì một số lượng các biến dự báo chìa khóa tác động đến

biến đáp ứng theo các cách đặc biệt và quan trọng. Vì vậy cần đưa ra mô hình
nhiều hơn một biến dự báo.

1.2.2

Mô hình bậc nhất với hai biến dự báo

Khi có hai biến dự báo X1 và X2 mô hình hồi quy:
Yi = β0 + β1 Xi1 + β2 Xi2 + εi

(1.10)

được gọi là mô hình bậc nhất với hai biến dự báo.
Hàm hồi quy cho mô hình (1.23) là:
E{Y } = β0 + β1 X1 + β2 X2

(1.11)

Hàm hồi quy (1.24) là một mặt phẳng. Hình (1.1) đưa ra một phần mặt
phẳng đáp ứng:
E{Y } = 10 + 2X1 + 5X2

6

(1.12)


Luận văn tốt nghiệp

Phạm Thị Hương

Hình 1.1: Hàm đáp ứng là một mặt phẳng

1.2.3

Mô hình bậc nhất với nhiều hơn hai biến dự báo

Mô hình hồi quy:
Yi = β0 + β1 Xi1 + β2 Xi2 + ... + βp−1 Xip−1 + εi

(1.13)

được gọi là mô hình bậc nhất với p − 1 biến dự báo. Hàm đáp ứng cho mô hình
(1.27) là:
E{Y } = β0 + β1 X1 + β2 X2 + ... + βp−1 Xp−1

1.2.4

(1.14)

Mô hình hồi quy tuyến tính tổng quát

Tổng quát, định nghĩa mô hình tuyến tính tổng quát với điều kiện các sai số
chuẩn như sau:
Yi = β0 + β1 Xi1 + β2 Xi2 + ... + βp−1 Xip−1 + εi

(1.15)

Hàm đáp ứng cho mô hình hồi quy (1.29) là :
E{Y } = β0 + β1 X1 + β2 X2 + ... + βp−1 Xp−1

(1.16)

Mô hình tuyến tính tổng quát bao gồm một loạt các tình huống rất đa dạng
:

7


Luận văn tốt nghiệp

Phạm Thị Hương

p-1 biến dự báo
Khi X1 , . . . , Xp−1 biểu diễn p − 1 biến dự báo khác nhau, mô hình tuyến tính
tổng quát (1.29) là mô hình bậc nhất không có các ảnh hưởng tương tác giữa
các biến dự báo.
Các biến dự báo định tính
Mô hình hồi quy tuyến tính tổng quát (1.29) bao gồm không chỉ các biến dự
báo định lượng mà còn bao gồm các biến dự báo định tính. Chúng ta sử dụng
các biến chỉ số nhận giá trị 0 và 1 để định nghĩa các lớp giá trị của biến định tính.
Hồi quy đa thức
Đây là mô hình hồi quy đa thức với một biến dự báo:
Yi = β0 + β1 Xi + β2 Xi2 + εi

(1.17)

Nếu chúng ta cho Xi1 = Xi và Xi2 = Xi2 thì có thể viết (1.34) như sau:
Yi = β0 + β1 Xi1 + β2 Xi2 + εi

Đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29).
Biến biến đổi
Các mô hình với biến biến đổi liên quan đến hàm đáp ứng là các đường cong
phức tạp vẫn là trường hợp đặc biệt của mô hình hồi quy tuyến tính tổng quát.
Xét mô hình sau với biến biến đổi Y:
logYi = β0 + β1 Xi1 + β2 Xi2 + β3 Xi3 + εi

(1.18)

Nếu đặt Yi = logYi ta có:
Yi = β0 + β1 Xi1 + β2 Xi2 + β3 Xi3 + εi

đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29) mà biến đáp ứng
là hàm logarit của Y.

8


Luận văn tốt nghiệp

Phạm Thị Hương

Nhiều mô hình khác có thể biến đổi được thành mô hình hồi quy tuyến tính
tổng quát. Ví dụ mô hình:
Yi =

1
β0 + β1 Xi1 + β2 Xi2 + εi

(1.19)

có thể đưa về mô hình hồi quy tuyến tính tổng quát bằng cách đặt Yi = 1/Yi ta
có:
Yi = β0 + β1 Xi1 + β2 Xi2 + εi

Ảnh hưởng tương tác.
Ví dụ một mô hình hồi quy không cộng tính với hai biến dự báo X1 , X2 là:
(1.20)

Yi = β0 + β1 Xi1 + β2 Xi2 + β3 Xi1 Xi2 + εi

Đặt Xi3 = Xi1 Xi2 và viết lại (1.37) như sau:
Yi = β0 + β1 Xi1 + β2 Xi2 + β3 Xi3 + εi

đây chính là dạng của mô hình hồi quy tuyến tính tổng quát (1.29).
Sự kết hợp của các trường hợp.
Một mô hình hồi quy có thể có sự kết hợp của một số trường hợp ở trên và
ta vẫn có thể đưa được về mô hình hồi quy tuyến tính tổng quát. Xét mô hình
hồi quy với hai biến dự báo sau có chứa các điều kiện tuyến tính và bình phương
cho mỗi biến và một điều kiện tương tác:
2
2
Yi = β0 + β1 Xi1 + β2 Xi1
+ β3 Xi2 + β4 Xi2
+ β5 Xi1 Xi2 + εi

(1.21)

Định nghĩa:
Zi1 = Xi1

2
Zi2 = Xi1

Zi3 = Xi2

2
Zi4 = Xi2

Zi5 = Xi1 Xi2

Khi đó mô hình hồi quy (1.38) như sau:
Yi = β0 + β1 Zi1 + β2 Zi2 + β3 Zi3 + β4 Zi4 + β5 Zi5 + εi

đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29).

9


Luận văn tốt nghiệp

Phạm Thị Hương

Hình 1.2: Ví dụ cộng tính của hàm đáp ứng

Ý nghĩa tuyến tính trong mô hình hồi quy tuyến tính tổng quát.
Điều kiện mô hình tuyến tính đề cập đến một thực tế là mô hình (1.29)
là tuyến tính với các tham số, không phải đề cập đến hình dáng của mặt đáp ứng.
Nói một mô hình hồi quy là tuyến tính với các tham số khi nó có thể được
viết dưới dạng:

Yi = ci0 β0 + ci1 β1 + ci2 β2 + ... + cip−1 βp−1 + εi

trong đó các giá trị ci0 , ci1 ,... là các hệ số liên quan đến biến dự báo.

10

(1.22)


Luận văn tốt nghiệp

1.3

Phạm Thị Hương

Dạng ma trận của mô hình hồi quy tuyến tính
tổng quát

Định nghĩa cho các ma trận sau:



1 X11 X12 . . . X1,p−1
1
X21 X22 . . . X2,p−1 

X =  ..
..
..
..

 (1.40b)
.
.
.
...
.
n×p
1 Xn1 Xn2 . . . Xn,p−1


ε1
 ε2 
ε =  ..  (1.40d)
(1.23)

Y1
 Y2 

=  ..  (1.40a)

Y
n×1

.

Yn


β0
 β1 

=  ..  (1.40c)

β
p×1

.

.

n×1

βp





εn

Dạng ma trận của mô hình hồi quy tuyến tính tổng quát (1.29) là:
Y

= X

β + ε

n×p p×1

n×1

(1.24)

n×1

Do đó, véc tơ ngẫu nhiên Y có kỳ vọng:
E{Y } = Xβ

(1.25)

n×1

và ma trận hiệp phương sai của Y là giống với ε
σ 2 {Y } = σ 2 I

(1.26)

n×n

1.4

Ước lượng các hệ số hồi quy

Tiêu chuẩn bình phương cực tiểu:
n

n

ε2i

Q=
i=1

(Yi − β0 − · · · − βp−1 Xi,p−1 )2

=

(1.27)

i=1

Biểu diễn véc tơ ước lượng các hệ số hồi quy b0 , b1 , . . . , bp−1 là b:


b

b0
 b1 

=

p×1

..
.

bp−1
11



(1.28)


Luận văn tốt nghiệp

Phạm Thị Hương

Các phương trình chuẩn:
(X X) b
p×p

= X

(1.29)

Y

p×n n×1

p×1

và các ước lượng bình phương cực tiểu là:
= (X X)−1 X Y

b
p×1

p×p

(1.30)

p×1

Hàm hợp lý cho hồi quy bội như sau:
n

1
−1
L(β, σ ) =
exp
n/2
2
2σ 2
(2πσ )
2

1.5

(Yi − β0 − β1 Xi1 − · · · − βp−1 Xi,p−1 )2

(1.31)

i=1

Ước lượng mẫu và phần dư

Gọi Yˆ là véc tơ ước lượng mẫu Yˆi và e là véc tơ phần dư ei = Yi − Yˆi , ta có:





Yˆ1
e1
 Yˆ2 
 e2 

(1.49a)
Yˆ = 
(1.49b)
e =  .. 
(1.32)
 ... 
.
n×1

n×1

Yˆn

en

Khi đó, các ước lượng mẫu được xác định bởi:
Yˆ

= Xb

(1.33)

= Y − Yˆ = Y − Xb

(1.34)

n×1

và phần dư
e
n×1

Véc tơ ước lượng mẫu có thể được biểu diễn dưới dạng ma trận mũ H như sau:
Yˆ

= HY

(1.35)

n×1

trong đó
H = X(X X)−1 X
n×n

12

(1.52a)


Luận văn tốt nghiệp

Phạm Thị Hương

Tương tự vậy, véc tơ phần dư có thể được biểu diễn như sau:
= (I − H)Y

e

(1.36)

n×1

Ma trận hiệp phương sai của phần dư là:
σ 2 {e} = σ 2 (I − H)

(1.37)

n×n

được ước lượng bởi:
s2 {e} = M SE(I − H)

(1.38)

n×n

1.6

Các kết quả phân tích phương sai

1.6.1 Tổng bình phương và trung bình bình phương
Tổng bình phương cho phân tích phương sai dạng ma trận là:

1
1
Y JY = Y I −
J Y
n
n
SSE = e e = (Y − Xb) (Y − Xb) = Y Y − b X Y = Y (I − H)Y
1
1
SSR = b X Y −
Y JY = Y H −
J Y
n
n
SST O = Y Y −

(1.39)
(1.40)
(1.41)

Bảng 1.1 chỉ ra các kết quả phân tích phương sai, cũng như trung bình bình
phương M SR và M SE :
SSR
p−1
SSE
M SE =
n−p

(1.42)

M SR =

(1.43)

Kỳ vọng của M SR là σ 2 cộng thêm một lượng không âm. Ví dụ, khi p − 1 = 2,
ta có:
E(M SR) = σ 2 + [β12

¯ 1 )2 + β 2
(Xi1 − X
2
2β1 β2

¯ 2 )2 +
(Xi2 − X

¯ 1 )(Xi2 − X
¯ 2 )]/2
(Xi1 − X

Nguồn biến đổi
SS
Hồi quy
SSR = b X Y − n1 Y JY
Sai số
SSE = Y Y − b X Y
Tổng số
SST O = Y Y − n1 Y JY

df

p−1
n−p
n−1

(1.44)

MS
M SR =
M SE =

SSR
p−1
SSE
n−p

Bảng 1.1: Bảng Anova cho mô hình hồi quy tuyến tính tổng quát (1.41)
13


Luận văn tốt nghiệp

Phạm Thị Hương

1.6.2. Kiểm định F cho quan hệ hồi quy
Để kiểm định liệu có hay không quan hệ hồi quy giữa biến đáp ứng và các
biến X : X1 , . . . , Xp−1 , tức là lựa chọn giữa các giả thiết:
H0 : β1 = β2 = . . . = βp−1 = 0
Ha : không phải tất cả βk (k=1,. . . ,p-1) bằng 0

(1.61a)

ta dùng một thống kê kiểm định:
F∗ =

M SR
M SE

(1.61b)

Quy tắc để kiểm tra sai lầm loại I tại mức α là:
Nếu F ∗ ≤ F (1 − α; p − 1; n − p) chấp nhận H0
Nếu F ∗ > F (1 − α; p − 1; n − p) chấp nhận Ha

(1.61c)

1.6.3. Hệ số xác định bội
Hệ số xác định bội, ký hiệu R2 , được định nghĩa như sau:
R2 =

SSR
SSE
=1−
SST O
SST O

(1.45)

Theo trên ta có:

0 ≤ R2 ≤ 1

(1.46)

Hệ số xác định bội hiệu chỉnh, ký hiệu Ra2 :
Ra2

=1−

SSE
n−p
SST O
n−1

=1−

n−1
n−p

SSE
SST O

(1.47)

1.6.4. Hệ số tương quan bội
Hệ số tương quan bội R là căn bậc hai của R2 :

R=

√
R2

14

(1.48)


Luận văn tốt nghiệp

1.7

Phạm Thị Hương

Các kết luận về các tham số hồi quy

Các ước lượng bình phương cực tiểu và hợp lý cực đại b là không chệch:
(1.49)

E(b) = β

Ma trận hiệp phương sai σ 2 (b):

2

σ (b0 )
 σ(b1 , b0 )

σ 2 (b) = 

p×p

..
.

σ(b0 , b1 )
σ 2 (b1 )

..
.



. . . σ(b0 , bp−1 )
. . . σ(b1 , bp−1 ) 

..
.

σ(bp−1 , b0 ) σ(bp−1 , b1 ) . . .




(1.50)

σ 2 (bp−1 )

được xác định bởi:
σ 2 (b) = σ 2 (X X)−1

(1.51)

p×p

Ma trận hiệp phương sai ước lượng s2 (b):

2
s (b0 )
 s(b1 , b0 )

s2 (b) = 

p×p

..
.

s(b0 , b1 )
s2 (b1 )

..
.



. . . s(b0 , bp−1 )
. . . s(b1 , bp−1 ) 

s(bp−1 , b0 ) s(bp−1 , b1 ) . . .

..

.




(1.52)

s2 (bp−1 )

được xác định bởi:
s2 (b) = M SE(X X)−1

(1.53)

p×p

1.7.1 Ước lượng khoảng tin cậy cho βk
Đối với mô hình hồi quy sai số chuẩn (1.41), ta có:
bk − β k
∼ t(n − p)
s(bk )

k = 0, 1, . . . , p − 1

(1.54)

nên khoảng tin cậy cho βk với độ tin cậy 1 − α là:
bk ± t(1 − α/2; n − p)s{bk }

1.7.2 Kiểm định cho βk

15

(1.55)


Luận văn tốt nghiệp

Phạm Thị Hương

Để kiểm định:
H0 : βk = 0
Ha : βk = 0

(1.72a)

bk
s{bk }

(1.72b)

ta dùng thống kê t:
t∗ =

và kết luận theo quy tắc:
nếu |t∗ | ≤ t(1 − α/2; n − p) chấp nhận H0
Ngược lại chấp nhận Ha

(1.72c)

Kết luận chung
Nếu g tham số cùng được ước lượng (g ≤ p), khoảng tin cậy với cùng độ tin
cậy 1 − α là:
bk ± Bs{bk }

(1.56)

B = t(1 − α/2; n − p)

(1.73a)

trong đó:

1.8

Ước lượng trung bình đáp ứng và dự báo quan
sát mới

1.8.1 Ước lượng khoảng tin cậy của E{Yh }
Định nghĩa véc tơ Xh như sau:
1
Xh1


Xh = 

..
.



p×1





(1.57)

Xh,p−1

Khi đó, trung bình đáp ứng được ước lượng là:
E{Yh } = Xh b
16

(1.58)


Luận văn tốt nghiệp

Phạm Thị Hương

Ước lượng trung bình đáp ứng theo Xh kí hiệu là Yˆh :
Yˆh = Xh b

(1.59)

E{Yˆh } = Xh b = E{Yh }

(1.60)

σ 2 {Yˆh } = Xh (X X)−1 Xh

(1.61)

đây là ước lượng không chệch:

và phương sai:

Các ước lượng phương sai s2 {Yˆh } được tính như sau:
s2 {Yˆh } = M SE(Xh (X X)−1 Xh )) = Xh s2 {b}Xh

(1.62)

Giới hạn tin cậy 1 − α cho E{Yh } là:
Yˆh ± t(1 − α/2; n − p)s{Yˆh }

(1.63)

1.8.2 Miền tin cậy cho mặt hồi quy
Các điểm giới hạn của miền tin cậy tại Xh có được từ:
Yˆh ± W s{Yˆh }

(1.64)

1.8.3 Khoảng tin cậy đồng thời cho một số trung bình đáp ứng
1. Sử dụng miền giới hạn tin cậy Working-Hotelling (1.81) cho các véc tơ Xh
khác nhau:
Yˆh ± W s{Yˆh }

(1.65)

2. Khi thực hiện g ước lượng khoảng, khoảng tin cậy Boferroni là:
Yˆh ± Bs{Yˆh }

(1.66)

B = t(1 − α/2g; n − p)

(1.83a)

trong đó:

1.8.4 Dự báo quan sát mới Yh(new)

17


Luận văn tốt nghiệp

Phạm Thị Hương

Giới hạn dự báo 1 − α cho quan sát mới Yh(new) ứng với Xh là:
Yˆh ± t(1 − α/2; n − p)s{pred}

(1.67)

1.8.5 Dự báo trung bình của m quan sát mới tại Xh
Khi m quan sát mới được lựa chọn với cùng mức Xh và trung bình của chúng
Y¯h(new) được dự báo, khoảng dự báo 1 − α là:

Yˆh ± t(1 − α/2; n − p)s{predmean}

(1.68)

trong đó:
M SE
M SE
+ s2 (Yˆh ) =
+ Xh s2 (b)Xh
m
m
1
= M SE
+ Xh (X X)−1 Xh
m

s2 {predmean} =

(1.85a)

1.8.6 Các dự đoán của g quan sát mới
Khoảng dự báo đồng thời cho g quan sát mới tại g mức khác nhau của Xh
với độ tin cậy 1 − α được đưa ra bởi:
Yˆh ± Ss(pred)

(1.69)

Có thể dùng khoảng dự báo đồng thời Bonferroni để đưa ra khoảng tin cậy
đồng thời 1 − α cho g dự báo mới:
Yˆh ± Bs{pred}

(1.70)

1.8.7 Thận trọng về phép ngoại suy ẩn
Khi ước lượng trung bình đáp ứng hoặc dự đoán quan sát mới trong hồi quy
bội, cần đặc biệt cẩn thận khi ước lượng hoặc dự báo không nằm ngoài phạm
vi của mô hình.

1.9

Chẩn đoán và biện pháp khắc phục

1.9.1 Ma trận đồ phân tán
Phân tích được dễ dàng hơn nếu các biểu đồ phân tán được lắp ráp trong
một ma trận đồ phân tán, ví dụ hình 1.4:
18


Luận văn tốt nghiệp

Phạm Thị Hương

Hình 1.3: miền quan sát X1 , X2 và so sánh với phạm vi của X1 , X2

Hơn nữa, ma trận đồ phân tán rất hữu ích trong trường hợp ma trận tương
quan. Định dạng của ma trận tương quan sau là của ma trận đồ phân tán:


1
r

Y
1




..
.

rY 1
1

..
.

rY 2
r12

..
.

. . . rY,p−1
. . . r1,p−1 

rY,p−1 r1,p−1 r2,p−1 . . .

..
.



(1.71)

1

1.9.2 Biểu đồ phân tán ba chiều
Một số gói thống kê tương tác đưa ra biểu đồ phân tán ba chiều hay đám
mây điểm, và cho phép quay các biểu đồ này để người xem thấy đám mây điểm
từ các quan điểm khác nhau.

1.9.3 Biểu đồ phần dư
Biểu đồ phần dư ứng với các ước lượng mẫu rất hữu ích cho việc đánh giá
sự phù hợp của hàm hồi quy bội và tính không đổi của phương sai các sai số,
cũng như là việc cung cấp thông tin về các giá trị ngoại lai, giống như hồi quy
19


Luận văn tốt nghiệp

Phạm Thị Hương

Hình 1.4: Ma trận đồ phân tán & ma trận tương quan

Hình 1.5: Biểu đồ phân tán ba chiều

đơn. Tương tự như vậy, một biểu đồ phần dư đối với thời gian hoặc với một số
trình tự khác cung cấp các thông tin chẩn đoán về sự tương quan giữa các sai
số trong hồi quy bội. Biểu đồ hộp và các biểu đồ phân phối chuẩn của các phần
dư rất có ý nghĩa cho việc kiểm tra xem các sai số có phân phối chuẩn hay không.
1.9.3 Kiểm định tương quan cho tính chuẩn

Kiểm định tương quan cho tính chuẩn của hồi quy bội áp dụng tương tự từ
hồi quy đơn.
1.9.4 Kiểm định Brown-Forsythe cho phương sai sai số không đổi
20


Luận văn tốt nghiệp

Phạm Thị Hương

Thống kê kiểm định Brown-Forsythe của hồi quy đơn cho giả định phương
sai sai số không đổi có thể được sử dụng một cách dễ dàng cho hồi quy bội khi
phương sai sai số tăng hoặc giảm với một trong các biến dự báo.
1.9.5 Kiểm định Breusch-Pagan cho phương sai sai số không đổi
Kiểm định Breusch-Pagan cho phương sai sai số không đổi trong hồi quy
bội được áp dụng từ hồi quy đơn khi phương sai sai số tăng hoặc giảm với một
trong các biến dự báo. Các phần dư bình phương đơn giản là hồi quy đối với
các biến dự báo được chứa trong tổng bình phương hồi quy SSR∗ , và kiểm định
tiến hành như trong hồi quy đơn, sử dụng tổng bình phương sai số SSE cho
toàn bộ mô hình hồi quy bội.
1.9.4 Kiểm định F cho sự không phù hợp
Kiểm định xem liệu hàm đáp ứng hồi quy bội:
E{Y } = β0 + β1 X1 + . . . + βp−1 Xp−1

có mặt đáp ứng thích hợp hay không. Do vậy, với việc kiểm định:
H0 : E{Y } = β0 + β1 X1 + . . . + βp−1 Xp−1
Ha : E{Y } = β0 + β1 X1 + . . . + βp−1 Xp−1

(1.89a)

thống kê kiểm định thích hợp là:
F∗ =

SSLF
SSP E
M SLF
÷
=
c−p
n−c
M SP E

(1.89b)

và kết luận:
nếu F ∗ ≤ F (1 − α; c − p, n − c) chấp nhận H0
nếu F ∗ ≥ F (1 − α; c − p, n − c) chấp nhận Ha

(1.89c)

1.9.7 Biện pháp khắc phục
Biện pháp khắc phục của hồi quy đơn tuyến tính đơn cũng có thể áp dụng
cho hồi quy bội.
21


Chương 2
HỒI QUY PHI TUYẾN VÀ MÔ
HÌNH MẠNG NƠ RON
2.1

Mô hình hồi quy tuyến tính và phi tuyến

2.1.1 Mô hình hồi quy tuyến tính
Các mô hình tuyến tính với các tham số biểu diễn bởi mô hình hồi quy tuyến
tính tổng quát (1.29):

Yi = β0 + β1 Xi1 + β2 Xi2 + ... + βp−1 Xip−1 + εi

(2.1)

Các mô hình hồi quy tuyến tính, bao gồm không chỉ mô hình bậc nhất của
p − 1 biến dự báo mà có thể phức tạp hơn:
2
2
Yi = β0 + β1 Xi1 + β2 Xi1
+ β3 Xi2 + β4 Xi2
+ β5 X1 Xi2 + εi

(2.2)

Các mô hình với các biến thay đổi:
log10 Yi = β0 + β1

Xi1 + β2 exp(Xi2 ) + εi

(2.3)

Trường hợp tổng quát, ta có thể phát biểu một mô hình tuyến tính có dạng:

Yi = f (Xi , β) + εi

2.1.2 Mô hình hồi quy phi tuyến

22

(2.4)


Luận văn tốt nghiệp

Phạm Thị Hương

Mô hình hồi quy phi tuyến:

Yi = f (Xi , γ) + εi

(2.5)

Mỗi quan sát Yi vẫn là tổng của trung bình đáp ứng f (Xi , γ) xác định bởi
hàm đáp ứng phi tuyến f (X, γ) và sai số εi .
2.1.3 Mô hình hồi quy dạng mũ.

Yi = γ0 exp(γ1 Xi ) + εi

(2.6)

Hàm đáp ứng cho mô hình là:
f (X, γ) = γ0 exp(γ1 X)

(2.7)

Mô hình này không tuyến tính với các tham số γ0 và γ1 .
Một dạng hồi quy phi tuyến dạng mũ tổng quát hơn là:
Yi = γ0 + γ1 exp(γ2 Xi ) + εi

(2.8)

Hàm đáp ứng cho mô hình này là:
f (X, γ) = γ0 + γ1 exp(γ2 X)

(2.9)

2.1.4 Mô hình hồi quy logistic.

Yi =

γ0
+ εi
1 + γ1 exp(γ2 Xi )

(2.10)

γ0
1 + γ1 exp(γ2 Xi )

(2.11)

Hàm đáp ứng là:
f (X, γ) =

trong mô hình này, hàm đáp ứng là hàm không tuyến tính với các tham số γ0 ,
γ1 , γ2 .

23