HƯƠNG HỒI QUY BỘI TUYẾN TÍNHHỒI QUY PHI TUYẾN VÀ ỨNG DỤNG

ĐẠI HỌC KHOA HỌC TỰ NHIÊN
TRƯỜNG ĐẠI HỌC QUỐC GIA HÀ NỘI

PHẠM THỊ HƯƠNG

HỒI QUY BỘI TUYẾN TÍNH
HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG

LUẬN VĂN THẠC SĨ KHOA HỌC

HÀ NỘI - NĂM 2015


ĐẠI HỌC KHOA HỌC TỰ NHIÊN
TRƯỜNG ĐẠI HỌC QUỐC GIA HÀ NỘI

PHẠM THỊ HƯƠNG

HỒI QUY BỘI TUYẾN TÍNH
HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG

Chuyên ngành:

LTXS & TKT

Mã số: 60460106

LUẬN VĂN THẠC SĨ KHOA HỌC

Người hướng dẫn khoa học:
GS. TSKH. ĐẶNG HÙNG THẮNG

HÀ NỘI - NĂM 2015


MỞ ĐẦU
Phân tích hồi quy là phương pháp có ứng dụng rộng rãi nhất
trong các phương pháp thống kê. Hiện nay, các mô hình hồi quy
được sử dụng nhiều trong quản trị kinh doanh, kinh tế, kỹ thuật
và xã hội, y tế, khoa học và sinh học. . . ..Các mô hình hồi quy rất
đa dạng bao gồm: hồi quy tuyến tính, hồi quy phi tuyến. Các loại
mô hình gồm nhiều dạng nhỏ khá phức tạp. Ứng dụng thành công
của các mô hình đòi hỏi một sự hiểu biết sâu về cả lý thuyết cơ
bản và những vấn đề thiết thực mà đang gặp phải trong việc sử
dụng các mô hình trong các tình huống thực tế cuộc sống. Anon
từng viết "Cho con người 3 vũ khí: hệ số tương quan, hồi quy
tuyến tính và một cây bút, con người sẽ sử dụng cả 3". Là một
giảng viên trường cao đẳng, tôi muốn nghiên cứu sâu hơn về hồi
quy tuyến tính và hồi quy phi tuyến nhằm nâng cao chuyên môn
phục vụ cho quá trình giảng dạy, vậy nên tôi đã chọn đề tài làm
luận văn thạc sĩ của mình là:
"Hồi quy bội tuyến tính
Hồi quy phi tuyến và ứng dụng"
Mục đích của luận văn này là đưa ra các dạng cơ bản của hồi quy
tuyến tính bội, hồi quy phi tuyến, các kết quả phân tích để ứng
dụng vào các mô hình hữu ích trong thực tế.
Bản luận văn được chia làm 3 chương:
Chương 1: Hồi quy bội tuyến tính
Trình bày các mô hình hồi quy bội tuyến tính, các ước lượng
hồi quy bội và các phân tích về các ước lượng hồi quy đó.
1

2

Chương 2: Hồi quy phi tuyến và mô hình mạng Nơ ron
Chương này trình bày một số mô hình hồi quy phi tuyến
thường gặp, các ước lượng của mô hình và việc phân tích, xây
dựng chẩn đoán mô hình.
Chương 3: Ứng Dụng
Đề cập đến các ứng dụng của mô hình hồi quy bội tuyến tính
và hồi quy phi tuyến ngoài thực tế. Trong mỗi ứng dụng có nhấn
mạnh đến việc xây dựng mô hình, ước lượng tham số và đánh giá
mô hình.
Mặc dù có nhiều cố gắng, xong do nhiều yếu tố khách quan và
chủ quan, nên trong quá trình chọn lọc tư liệu và trình bày nội
dung khó tránh khỏi những thiếu sót. Vì vậy tôi rất mong nhận
được những ý kiến chỉ bảo của thầy cô, sự góp ý chân thành của
các bạn học viên để luận văn được hoàn thiện hơn.


Lời cảm ơn
Tôi xin được bày tỏ lòng kính trọng và lòng biết ơn sâu sắc đến GS.
TSKH Đặng Hùng Thắng, người thầy đã tận tình giảng dạy, truyền
thụ những kiến thức bổ ích và tạo điều kiện để tôi hoàn thành luận
văn này. Thầy đã dành nhiều thời gian hướng dẫn cũng như giải đáp
các thắc mắc của tôi trong suốt quá trình tôi thực hiện đề tài.
Tôi xin gửi lời cảm ơn chân thành tới các thầy cô Khoa Toán - Cơ
- Tin học, Phòng sau đại học Trường Đại học Khoa học Tự nhiên, Đại
học Quốc gia Hà Nội; các thầy cô đã tham gia giảng dạy khóa cao học
2013 -2015; Ban giám hiệu và các đồng nghiệp trường Cao Đẳng Kinh

Tế Kỹ Thuật Thương Mại Hà Nội đã tạo điều kiện thuận lợi cho tôi
hoàn thành luận văn của mình.
Cuối cùng, tôi xin chân thành cảm ơn gia đình đã luôn động viên
tôi trong suốt quá trình học tập và nghiên cứu khoa học.

Hà Nội, tháng 12 năm 2015
Học viên
Phạm Thị Hương

3


Mục lục
1 HỒI QUY BỘI TUYẾN TÍNH
1.1 Nhắc lại hồi quy đơn tuyến tính . . . . . . . . . . . . . .
1.2 Các mô hình hồi quy bội . . . . . . . . . . . . . . . . . . .
1.2.1 Sự cần thiết phải đưa ra nhiều biến dự báo . . .
1.2.2 Mô hình bậc nhất với hai biến dự báo . . . . . . .
1.2.3 Mô hình bậc nhất với nhiều hơn hai biến dự báo .
1.2.4 Mô hình hồi quy tuyến tính tổng quát . . . . . . .
1.3 Dạng ma trận của mô hình hồi quy tuyến tính tổng quát
1.4 Ước lượng các hệ số hồi quy . . . . . . . . . . . . . . . . .
1.5 Ước lượng mẫu và phần dư . . . . . . . . . . . . . . . . . .
1.6 Các kết quả phân tích phương sai . . . . . . . . . . . . . .
1.7 Các kết luận về các tham số hồi quy . . . . . . . . . . . .
1.8 Ước lượng trung bình đáp ứng và dự báo quan sát mới .
1.9 Chẩn đoán và biện pháp khắc phục . . . . . . . . . . . . .

.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.
.
.

2 HỒI QUY PHI TUYẾN VÀ MÔ HÌNH MẠNG NƠ RON
2.1 Mô hình hồi quy tuyến tính và phi tuyến . . . . . . . . . . . .
2.2 Ước lượng các tham số hồi quy . . . . . . . . . . . . . . . . . .
2.3 Ước lượng bình phương cực tiểu trong hồi quy phi tuyến . . .
2.3.1 Nghiệm của phương trình chuẩn . . . . . . . . . . . . .
2.3.2 Tìm kiếm số trực tiếp - Phương pháp Gauss-Newton .
2.3.3 Các thủ tục tìm kiếm trực tiếp khác . . . . . . . . . . .
2.4 Xây dựng và chẩn đoán mô hình . . . . . . . . . . . . . . . . .
2.5 Các kết luận về tham số hồi quy phi tuyến . . . . . . . . . . .
2.5.1 Ước lượng phương sai sai số . . . . . . . . . . . . . . . .
2.5.2 Định lí mẫu lớn . . . . . . . . . . . . . . . . . . . . . . .
2.5.3 Khi nào định lý mẫu lớn dùng được? . . . . . . . . . . .
4

.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.

6
6
13
13
14
17
17
23
25
26
26
30
31
35

.
.
.
.
.
.
.
.
.
.
.

42
42
47
48
49
50
55
56
57
57
57
58


Phạm Thị Hương

Luận văn thạc sỹ khoa học

2.6

2.5.4 Biện pháp khắc phục hậu quả. . . . . . . . . . . . . . .
2.5.5 Khoảng ước lượng của γk . . . . . . . . . . . . . . . . .
2.5.6 Khoảng tin cậy đồng thời cho một số γk . . . . . . . . .
2.5.7 Kiểm tra tính liên quan của một tham số γk . . . . . .
2.5.8 Kiểm định đồng thời một số γk . . . . . . . . . . . . . .
Giới thiệu về mô hình mạng Nơ ron . . . . . . . . . . . . . . .
2.6.1 Mô hình mạng Nơ ron . . . . . . . . . . . . . . . . . . .
2.6.2 Mạng đại diện . . . . . . . . . . . . . . . . . . . . . . . .
2.6.3 Mạng Nơ ron như sự tổng quát của hồi quy tuyến tính.

2.6.4 Ước lượng tham số: Bình phương cực tiểu penalized . .
2.6.5 Một số bình luận cuối về mô hình mạng Nơ ron . . . .

3 Ứng dụng
3.1 Ứng dụng 1: Dự báo doanh số bán hàng . . .
3.1.1 Đặt bài toán . . . . . . . . . . . . . . .
3.1.2 Các tính toán cơ bản . . . . . . . . . .
3.1.3 Ước lượng hàm hồi quy . . . . . . . .
3.1.4 Các ước lượng mẫu và phần dư . . . .
3.1.5 Phân tích sự phù hợp của mô hình . .
3.1.6 Phân tích phương sai . . . . . . . . . .
3.1.7 Ước lượng các tham số hồi quy . . . .
3.1.8 Ước lượng trung bình đáp ứng . . . .
3.1.9 Giới hạn dự báo cho các quan sát mới
3.2 Ứng dụng 2: Dự báo mức độ phục hồi sau khi
3.3 Ứng dụng 3: Đường cong học tập . . . . . . .
3.4 Ứng dụng 4: Bệnh thiếu máu cơ tim . . . . .

. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
xuất viện
. . . . . .

. . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.

60
60
61
61
61
62
62
65
67
68
69

.
.
.
.
.
.
.
.
.
.
.
.

.

71
71
71
73
75
76
77
79
81
82
83
84
95
99

KẾT LUẬN

105

Tài liệu tham khảo

106

5


Chương 1

HỒI QUY BỘI TUYẾN TÍNH
1.1

Nhắc lại hồi quy đơn tuyến tính

1.1.1 Mô hình dạng chuẩn
Xét mô hình hồi quy đơn tuyến tính (còn gọi là hồi quy tuyến tính đơn hay
gọi tắt là hồi quy đơn) với một biến dự báo và hàm hồi quy là tuyến tính. Mô
hình được xây dựng như sau:
Y i = β0 + β1 X i + εi

Trong
Yi :
β0 , β1 :
Xi :
εi :

(1.1)

đó:
Giá trị biến đáp ứng trong thử nghiệm thứ i
Tham số
Hằng số, giá trị biến dự báo trong thử nghiệm thứ i
Sai số ngẫu nhiên với trung bình E{εi } = 0; phương sai σ 2 {εi } = σ 2 ;
εi và εj không tương quan.

Mô hình hồi quy (1.1) được gọi là đơn, tuyến tính với các tham số và tuyến
tính với biến dự báo. "Đơn" ở đây là chỉ một biến dự báo.
1.1.2 Các đặc trưng quan trọng của mô hình
1. Giá trị đáp ứng Yi trong thử nghiệm thứ i là tổng của hai thành phần: (1)

điều kiện hằng số β0 + β1 Xi và (2) là điều kiện ngẫu nhiên εi . Do đó, Yi là biến
ngẫu nhiên.
2. Do E{εi } = 0 nên
E{Yi } = β0 + β1 Xi
6

(1.2)


Phạm Thị Hương

Luận văn thạc sỹ khoa học

Vậy hàm hồi quy cho mô hình (1.1) là:
E{Y } = β0 + β1 X

(1.3)

3. Giá trị đáp ứng Yi trong thử nghiệm thứ i sai khác với giá trị hàm hồi quy
một lượng là sai số εi .
4. Sai số εi được giả định là có phương sai không đổi σ 2 nên đáp ứng Yi cũng
có phương sai không đổi:
σ 2 {Yi } = σ 2

(1.4)

Do vậy, mô hình hồi quy (1.1) được giả định rằng phân phối xác suất của Y có
cùng phương sai σ 2 .
5. Các sai số được giả định là không tương quan. Do εi và εj là không tương
quan nên đáp ứng Yi và Yj cũng không tương quan.

6. Tóm lại, mô hình (1.1) chỉ ra rằng đáp ứng Yi có phân phối xác suất mà
trung bình của nó là E{Yi } = β0 + β1 Xi và phương sai của nó là σ 2 và là như
nhau với mọi giá trị của X. Hơn nữa, hai giá trị đáp ứng Yi và Yj là không
tương quan.
1.1.3 Dạng biến đổi của mô hình hồi quy
Đôi khi mô hình hồi quy (1.1) được viết dưới dạng khác. Đặt X0 là hằng số
có giá trị bằng 1. Khi đó mô hình (1.1) có thể được viết như sau:
Yi = β0 X0 + β1 Xi + εi

X0 ≡ 1

(1.5)

ở dạng này ứng với mỗi giá trị biến X đều có một hệ số hồi quy.
Phép biến đổi sau được dùng cho độ lệch của biến dự báo Xi − X¯ thay cho
Xi . Từ (1.1) chúng ta có thể viết:
¯ + β1 X
¯ + εi
Yi = β0 + β1 (Xi − X)
¯ + β1 (Xi − X)
¯ + εi
= (β0 + β1 X)
¯ + εi
= β0∗ + β1 (Xi − X)
7


Phạm Thị Hương

Luận văn thạc sỹ khoa học

Do vậy dạng mô hình biến đổi là:
¯ + εi
Yi = β0∗ + β1 (Xi − X)

(1.6)

¯
β0∗ = β1 X

(1.6a)

trong đó:

1.1.4 Ước lượng hàm hồi quy
Các dữ liệu quan sát hoặc thí nghiệm được sử dụng cho việc ước lượng các
tham số của hàm hồi quy bao gồm các quan sát của biến dự báo X và biến đáp
ứng Y. Với mỗi thử nghiệm, có một giá trị của quan sát X tương ứng một giá
trị quan sát Y. Chúng ta biểu diễn các quan sát (X, Y ) cho thử nghiệm thứ nhất
là (X1 , Y1 ), cho thử nghiệm thứ hai là (X2 , Y2 ) và tổng quát cho thử nghiệm thứ
i là (Xi , Yi ) trong đó i = 1, 2, . . . , n.
Phương pháp bình phương cực tiểu
Để tìm các ước lượng "tốt" cho các tham số hồi quy β0 và β1 thường dùng
phương pháp bình phương cực tiểu. Đối với các quan sát (Xi , Yi ), phương pháp
bình phương cực tiểu xem xét độ lệch của Yi với kì vọng của nó:
Yi − (β0 + β1 Xi )

(1.7)

Phương pháp này đòi hỏi xem xét tổng của n độ lệch bình phương. Tổng này

được gọi là hàm tiêu chuẩn Q:
n

(Yi − β0 − β1 Xi )2

Q=

(1.8)

i=1

Theo phương pháp bình phương cực tiểu, các ước lượng của β0 và β1 tương
ứng là b0 và b1 làm cực tiểu hóa hàm tiêu chuẩn Q đối với các mẫu quan sát
(X1 , Y1 ), (X2 , Y2 ), . . . , (Xn , Yn ) đưa ra.
Các ước lượng b0 và b1 thỏa mãn hàm tiêu chuẩn bình phương cực tiểu có
thể được xác định bằng hai cách:
1. Các thủ tục tìm kiếm số có thể được sử dụng ước lượng một cách có hệ
thống các ước lượng b0 và b1 khác nhau cho tới khi tìm được giá trị cực tiểu
8


Phạm Thị Hương

Luận văn thạc sỹ khoa học

hàm tiêu chuẩn Q.
2. Các thủ tục phân tích thường được sử dụng để tìm các giá trị b0 và b1 mà
cực tiểu hóa hàm Q. Phép phân tích gần đúng được thực hiện khi mô hình hồi
quy không quá phức tạp.
Khi áp dụng phân tích gần đúng đối với mô hình (1.1), các giá trị ước lượng

b0 và b1 cực tiểu hóa hàm Q thỏa mãn các phương trình sau:
Yi =nb0 + b1
Xi Yi =b0

Xi

X i + b1

Xi2

(1.9)

Các phương trình (1.9) được gọi là phương trình chuẩn; b0 và b1 được gọi là các
ước lượng điểm của β0 và β1 .
Từ các phương trình chuẩn (1.9) ta có:
¯ i − Y¯ )
(Xi − X)(Y
¯ 2
(Xi − X)

b1 =
1
b0 =
n

(1.10)

¯
Xi = Y¯ − b1 X

Y i − b1

Trong đó, X¯ và Y¯ là các giá trị trung bình của các quan sát Xi và Yi .
Tính chất của các ước lượng bình phương cực tiểu:

Định lí 1.1.1. (Gauss-Markov): Với các điều kiện của mô hình hồi quy (1.1),
các ước lượng bình phương cực tiểu b0 và b1 trong (1.10) là không chệch và có
phương sai nhỏ nhất trong tất cả các ước lượng tuyến tính không chệch khác.
Theo định lí ta thấy:
E{b0 } = β0

E{b1 } = β1

Hơn nữa, định lí cũng chỉ ra rằng các ước lượng b0 và b1 là chính xác hơn bất kì
ước lượng nào khác trong lớp các ước lượng không chệch mà là hàm tuyến tính
của các quan sát Y1 , . . . , Yn . Ví dụ, từ (1.10) ta có:
b1 =

¯ i − Y¯ )
(Xi − X)(Y
¯ 2
(Xi − X)
9


Phạm Thị Hương

Luận văn thạc sỹ khoa học

là hàm tuyến tính đối với Yi .

Ước lượng điểm của trung bình đáp ứng
Từ các ước lượng b0 và b1 của các tham số trong hàm hồi quy (1.3):
E{Y } = β0 + β1 X

ta ước lượng hàm hồi quy như sau:
Yˆ = b0 + b1 X

(1.11)

với Yˆ là giá trị ước lượng của hàm hồi quy ứng với giá trị X của biến dự báo.
Gọi giá trị của biến đáp ứng là đáp ứng và E{Y } là trung bình đáp ứng nên
trung bình đáp ứng là trung bình phân phối xác suất của Y ứng với giá trị
biến dự báo X. Yˆ là ước lượng điểm của trung bình đáp ứng khi giá trị biến dự
báo là X. Định lí Gauss-Markov chỉ ra rằng Yˆ là ước lượng không chệch của
E{Y } và có phương sai nhỏ nhất trong lớp các ước lượng tuyến tính không chệch.
Ta gọi Yˆi :
Yˆi = b0 + b1 Xi

i = 1, . . . , n

(1.12)

là ước lượng mẫu cho thử nghiệm thứ i.
Từ mô hình biến đổi (1.6) :
¯ +ε
Yi = β0∗ + β1 (Xi − X)
b1 là ước lượng bình phương cực tiểu của β1 . Khi đó, b∗0 là ước lượng bình phương

cực tiểu của β0∗ được xác định như sau:
¯ = (Y¯ − b1 X)

¯ + b1 X
¯ = Y¯
b∗0 = b0 + b1 X

(1.13)

Do đó, ước lượng mẫu cho mô hình hồi quy biến đổi (1.6) là:
¯
Yˆ = Y¯ + b1 (X − X)

(1.14)

Khi đó, phần dư thứ i là sự khác biệt giữa giá trị quan sát Yi và ước lượng
mẫu Yˆi , được kí hiệu là ei và được định nghĩa một cách tổng quát như sau:
ei = Yi − Yˆi
10

(1.15)


Phạm Thị Hương

Luận văn thạc sỹ khoa học

Tính chất của đường hồi quy mẫu
Đường hồi quy ước lượng (1.11) có một số tính chất quan trọng sau:
1. Tổng phần dư bằng 0:
n

(1.16)

ei = 0
i=1

e2i , là nhỏ nhất.

2. Tổng bình phương phần dư,

3. Tổng các giá trị quan sát Yi bằng tổng ước lượng mẫu Yˆi :
Yi =

Yˆi

(1.17)

4. Tổng các phần dư có trọng số bằng 0 khi trọng số của nó trong thử nghiệm
thứ i là giá trị biến dự báo:

Xi ei = 0

(1.18)

5. Tổng phần dư có trọng số bằng 0 khi trọng số của nó trong thử nghiệm
thứ i là ước lượng mẫu của biến đáp ứng:
Yˆi ei = 0

(1.19)

¯ Y¯ ).
6. Đường hồi quy luôn luôn đi qua điểm (X,

1.1.5 Ước lượng phương sai sai số σ 2
Đám đông duy nhất: Single population.
Như chúng ta biết, phương sai σ 2 của đám đông duy nhất được ước lượng bởi
phương sai mẫu s2 . Để có được phương sai mẫu s2 , ta xem xét độ lệch giữa Yi
và trung bình ước lượng Y¯ , bình phương độ lệch đó, và lấy tổng bình phương
các độ lệch:
n

(Yi − Y¯ )2
i=1

Tổng này được gọi là tổng bình phương. Sau đó lấy tổng bình phương chia
cho bậc tự do ứng với nó. Ở đây bậc tự do đó là n − 1 vì một bậc tự do bị mất
11


Phạm Thị Hương

Luận văn thạc sỹ khoa học

do việc sử dụng Y¯ như là một ước lượng của trung bình đám đông µ. Khi đó,
ta có:
n
− Y¯ )2
n−1

i=1 (Yi

s2 =

là ước lượng không chệch của phương sai σ 2 .
Mô hình hồi quy.
Một cách logic để phát triển ước lượng σ 2 cho mô hình hồi quy là tương tự
như cho đám đông duy nhất. Phương sai của mỗi quan sát Yi là σ 2 và giống với
phương sai sai số εi . Cần tính lại tổng các độ lệch bình phương, nhưng lúc này
Yi có phân phối xác suất khác nhau với các trung bình khác nhau phụ thuộc
vào giá trị của Xi . Do vậy, độ lệch của quan sát Yi phải được tính toán quanh
trung bình ước lượng Yˆ . Do đó, độ lệch chính là phần dư:
Yi − Yˆi = ei

và tổng bình phương, kí hiệu là SSE như sau:
n

n

(Yi − Y¯ )2 =

SSE =
i=1

e2i

(1.20)

i=1

trong đó, SSE là tổng bình phương sai số hay tổng bình phương phần dư.
Tổng bình phương SSE có n − 2 bậc tự do. Hai bậc tự do bị mất vì cả β0
và β1 có ước lượng trong ước lượng trung bình Yˆi . Vì vậy, trung bình tổng bình

phương, kí hiệu là MSE hay s2 là:
SSE
s = M SE =
=
n−2
2

n
i=1 (Yi

n
2
− Y¯ )2
i=1 ei
=
n−2
n−2

(1.21)

ở đây, MSE là trung bình bình phương sai số hay trung bình bình phương phần
dư.
MSE là ước lượng không chệch của σ 2 đối với mô hình hồi quy (1.1)
E{M SE} = σ 2

Và ước lượng của độ lệch chuẩn đơn giản là s =

12

(1.22)

√
M SE .


Phạm Thị Hương

Luận văn thạc sỹ khoa học

1.2
1.2.1

Các mô hình hồi quy bội
Sự cần thiết phải đưa ra nhiều biến dự báo

Các mô hình hồi quy bao gồm một biến đáp ứng hay biến phản hồi và một
số lượng các biến dự báo. Ta xét một mô hình mà biến đáp ứng là doanh thu
của một công ty và biến dự báo được quan tâm bao gồm chi phí cho quảng
cảo và lương trả cho nhân viên tiếp thị. Một mô hình khác mà biến đáp ứng là
lương thu nhập của mỗi cá nhân và các biến dự báo liên quan là giới tính, Tuổi,
số con phải nuôi, trình độ học vấn. Mặt khác, khi chúng ta nghiên cứu những
đứa trẻ thấp lùn thì biến đáp ứng là mức hormon lớn dần trong huyết tương,
và các biến dự báo gồm giới tính, tuổi, và các thông số cơ thể khác. Trong tất
cả các ví dụ này, một biến dự báo đơn lẻ trong mô hình không cung cấp sự mô
tả đầy đủ vì một số lượng các biến dự báo chìa khóa tác động đến biến đáp ứng
theo các cách đặc biệt và quan trọng. Hơn nữa, trong những tình huống này,
chúng ta thường thấy rằng các dự báo của biến đáp ứng dựa vào mô hình chỉ
có một biến dự báo riêng lẻ là việc sử dụng không chính xác. Vì vậy các mô
hình hồi quy bội tuyến tính (còn gọi là hồi quy tuyến tính bội hay gọi tắt là
hồi quy bội) được đưa ra.
Trong mỗi ví dụ vừa đề cập, sự phân tích đều dựa trên dữ liệu quan sát vì

các biến dự báo không được điều chỉnh, thường thì vì chúng không dễ để điều
chỉnh trực tiếp. Phân tích hồi quy bội cũng rất hữu ích trong các trường hợp
thí nghiệm mà người làm thí nghiệm có thể điều chỉnh các biến dự báo. Một
người làm thí nghiệm sẽ muốn điều tra một số lượng các biến dự báo cùng một
lúc vì hầu hết luôn luôn nhiều hơn một biến dự báo chìa khóa ảnh hưởng đến
biến đáp ứng. Ví dụ, trong nghiên cứu về năng suất của các đội làm việc, một
người làm thí nghiệm có thể muốn điều chỉnh trực tiếp cả quy mô của đội và
mức tiền thưởng. Tương tự như vậy, khi nghiên cứu về phản ứng của một loại
thuốc, người thử nghiệm có thể điều chỉnh cả liều lượng của thuốc và phương
pháp quản lý.
Các mô hình hồi quy bội tuyến tính mà chúng ta mô tả bây giờ có thể được
sử dụng cho mỗi dữ liệu quan sát hoặc cho dữ liệu thí nghiệm từ các thiết kế
hoàn toàn ngẫu nhiên.

13


Phạm Thị Hương

Luận văn thạc sỹ khoa học

1.2.2

Mô hình bậc nhất với hai biến dự báo

Khi có hai biến dự báo X1 và X2 mô hình hồi quy:
Yi = β0 + β1 Xi1 + β2 Xi2 + εi

(1.23)

được gọi là mô hình bậc nhất với hai biến dự báo. Yi biểu thị giá trị đáp
ứng trong thử nghiệm thứ i, Xi1 và Xi2 là các giá trị của hai biến dự báo
trong thử nghiệm thứ i. Các tham số trong mô hình là β0 , β1 , β2 và các sai số là εi .
Giả định rằng E{εi } = 0, hàm hồi quy cho mô hình (1.23) là:
E{Y } = β0 + β1 X1 + β2 X2

(1.24)

Với mô hình hồi quy đơn tuyến tính, hàm hồi quy E{Y } = β0 + β1 X1 là một
đường thẳng. Ở đây, hàm hồi quy (1.24) là một mặt phẳng. Hình (1.1) đưa ra
một phần mặt phẳng đáp ứng:
E{Y } = 10 + 2X1 + 5X2

(1.25)

Chú ý rằng điểm bất kỳ trên mặt phẳng đáp ứng (1.25) tương ứng với giá trị
trung bình E{Y } ứng với X1 và X2 .

Hình (1.1) chỉ ra một quan sát Yi tương ứng với giá trị (Xi1 , Xi2 ) của các
biến dự báo. Đoạn thẳng dọc giữa Yi và mặt phẳng đáp ứng biểu thị cho sự
khác biệt giữa Yi và giá trị trung bình E{Y }. Do đó, khoảng cách từ Yi tới mặt
phẳng đáp ứng biểu thị cho sai số εi = Yi − E{Yi }.
Thông thường, trong hồi quy bội, hàm hồi quy được gọi là mặt hồi quy hay
mặt đáp ứng. Trong hình (1.1), mặt đáp ứng là một mặt phẳng nhưng trong
các trường hợp khác mặt đáp ứng có thể phức tạp hơn.
Ý nghĩa của các tham số hồi quy.
Với mặt đáp ứng (1.25), tham số β0 = 10 là giá trị chặn của Y. Nếu xét tại
X1 = 0, X2 = 0 thì β0 = 20 biểu thị cho giá trị trung bình tương ứng của E{Y }
tại X1 = 0, X2 = 0. Ngoài ra, β0 không có một ý nghĩa đặc biệt nào trong mô
14

Phạm Thị Hương

Luận văn thạc sỹ khoa học

Hình 1.1: Hàm đáp ứng là một mặt phẳng

hình hồi quy.
Tham số β1 chỉ ra sự biến đổi của giá trị trung bình đáp ứng E{Y } khi X1
thay đổi và X2 được giữ cố định. Giống như vậy, β2 chỉ ra sự biến đổi của giá trị
trung bình E{Y } khi X2 biến đổi và X1 được giữ cố định. Để thấy rõ điều này,
trong ví dụ ta cố định X2 = 2. Hàm hồi quy (1.25) bây giờ là:
E{Y } = 10 + 2X1 + 5(2) = 20 + 2X1

X2 = 2

(1.26)

Chú ý rằng, hàm đáp ứng là một đường thẳng với hệ số dốc β1 = 2. Điều này
vẫn đúng với bất kỳ giá trị khác của X2 ; chỉ giá trị chặn của hàm đáp ứng là
khác nhau. Do đó, β1 = 2 chỉ ra rằng trung bình đáp ứng tăng lên 2 lần đơn vị
tăng của X1 khi X2 được cố định, không phụ thuộc vào giá trị của X2 . Vì vậy
chúng ta thừa nhận rằng β1 chỉ sự biến đổi của E{Y } khi X1 thay đổi và X2
được cố định.
Tương tự, β2 = 5 trong hàm hồi quy (1.25) chỉ ra rằng trung bình đáp ứng
E{Y } tăng 5 lần đơn vị tăng của X2 khi X1 được cố định.
Khi ảnh hưởng của X1 trong trung bình đáp ứng không phụ thuộc vào giá trị
15

Phạm Thị Hương

Luận văn thạc sỹ khoa học

của X2 và ảnh hưởng của X2 không phụ thuộc vào giá trị của X1 thì hai biến dự
báo được nói là có ảnh hưởng cộng tính (additive effects) hay không tương tác
(not to interact). Vậy nên mô hình hồi quy bậc nhất (1.23) được thiết kế cho
các biến dự báo không có ảnh hưởng tương tác của chúng lên trung bình đáp ứng.
Tham số β1 , β2 đôi khi được gọi là hệ số hồi quy cục bộ vì chúng chỉ phản
ánh ảnh hưởng cục bộ của một biến dự báo khi biến kia trong mô hình được
coi như là hằng số.
Ví dụ: Mặt đáp ứng (1.25) được chỉ ra trong hình (1.1) là cho mô hình
hồi quy liên quan đến việc kiểm tra doanh thu bán hàng (Y, đơn vị 10 nghìn
đô la) tại các điểm bán hàng trực tiếp (X1 , đơn vị nghìn đô la) và bán hàng
qua TV (X2 , đơn vị nghìn đô la). Vì β1 = 2 nên nếu cố định điểm bán hàng
TV, điểm bán hàng trực tiếp tại một địa phương tăng 1 đơn vị là 1 nghìn
đô la thì kỳ vọng doanh thu sẽ tăng 2 đơn vị là 20 nghìn đô la. Tương
tự, vì β2 = 5 nếu cố định điểm bán hàng trực tiếp, điểm bán hàng TV tăng
1 đơn vị là 1 nghìn đô la thì kỳ vọng bán hàng sẽ tăng 5 đơn vị là 50 nghìn đô la.
Bình luận:
1. Một mô hình hồi quy với mặt đáp ứng là một mặt phẳng có thể được sử
dụng trong trường hợp riêng khi nó là phù hợp hoặc xấp xỉ đến một mặt đáp
ứng phức tạp hơn. Nhiều mặt đáp ứng phức tạp có thể được xấp xỉ tốt bởi một
mặt phẳng với các hạn chế của X1 và X2 .
2. Dễ dàng chứng minh ý nghĩa của β1 và β2 bằng tính toán. Lấy đạo hàm
riêng của mặt đáp ứng (1.24) theo X1 , X2 ta có:
∂E{Y }
= β1
∂X1

∂E{Y }
= β2
∂X2

Các đạo hàm riêng đo tỷ lệ thay đổi trong E{Y } đối với mỗi biến dự báo khi
biến kia được cố định.

16


Phạm Thị Hương

Luận văn thạc sỹ khoa học

1.2.3

Mô hình bậc nhất với nhiều hơn hai biến dự báo

Bây giờ chúng ta xem xét trường hợp có p − 1 biến dự báo X1 , ...,Xp−1 . Mô
hình hồi quy:
Yi = β0 + β1 Xi1 + β2 Xi2 + ... + βp−1 Xip−1 + εi

(1.27)

được gọi là mô hình bậc nhất với p − 1 biến dự báo. Cũng có thể viết:
p−1

βk Xik + εi

Yi = β0 +

(1.27a)

k=1

hoặc nếu lấy Xi0 ≡ 1 mô hình tương ứng là:
p−1

Yi =

βk Xik + εi

(1.27b)

k=0

Giả sử rằng E{εi } = 0, hàm đáp ứng cho mô hình (1.27) là:
E{Y } = β0 + β1 X1 + β2 X2 + ... + βp−1 Xp−1

(1.28)

Hàm đáp ứng này là một siêu phẳng, là mặt có nhiều hơn hai kích thước
và có hình dáng không giống với mặt đáp ứng trong trường hợp mô hình có
hai biến dự báo (hình 1.1). Tuy nhiên, ý nghĩa của các tham số là giống nhau.
Tham số βk chỉ sự thay đổi của trung bình đáp ứng E{Y } với 1 đơn vị tăng
trong biến dự báo Xk khi tất cả các biến dự báo còn lại được coi là hằng số.
Chú ý rằng, với mô hình (1.27), ảnh hưởng của biến dự báo bất kỳ trong trung
bình đáp ứng là như nhau khi các biến dự báo khác được cố định. Do đó, mô
hình hồi quy bậc nhất (1.27) được thiết kế cho các biến dự báo mà ảnh hưởng

của nó trên trung bình đáp ứng là cộng tính hay không có tương tác.
Bình luận:
Khi p − 1 = 1, mô hình hồi quy (1.27) là:
Yi = β0 + β1 Xi1 + εi

đây là mô hình hồi quy đơn tuyến tính.
1.2.4

Mô hình hồi quy tuyến tính tổng quát

Tổng quát, định nghĩa mô hình tuyến tính tổng quát với điều kiện các sai số
chuẩn như sau:
Yi = β0 + β1 Xi1 + β2 Xi2 + ... + βp−1 Xip−1 + εi
17

(1.29)


Phạm Thị Hương

Luận văn thạc sỹ khoa học

Trong đó:
β0 , β1 ,. . . , βp−1 : là các tham số
Xi1 ,...,Xip−1 : là các hằng số đã biết
εi ∼ N (0, σ 2 )
i = 1, ..., n

Nếu Xi0 ≡ 1 mô hình hồi quy (1.29) có thể được viết như sau:
Yi = β0 Xi0 + β1 Xi1 + β2 Xi2 + ... + βp−1 Xip−1 + εi

(1.29a)

Hoặc
p−1

Yi =

βk Xik + εi

(1.29b)

k=0

Vì E{εi } = 0 nên hàm đáp ứng cho mô hình hồi quy (1.29) là :
E{Y } = β0 + β1 X1 + β2 X2 + ... + βp−1 Xp−1

(1.30)

Do vậy, mô hình hồi quy tuyến tính tổng quát với điều kiện sai số chuẩn có
các quan sát Yi là các biến chuẩn độc lập, với trung bình E{Y } như (1.30) và
phương sai không đổi σ 2 .
Mô hình tuyến tính tổng quát bao gồm một loạt các tình huống rất đa dạng.
Bây giờ chúng ta xem xét một số vấn đề trong số những tình huống đó:
p-1 biến dự báo
Khi X1 , . . . , Xp−1 biểu diễn p − 1 biến dự báo khác nhau, mô hình tuyến tính
tổng quát (1.29) là mô hình bậc nhất không có các ảnh hưởng tương tác giữa
các biến dự báo. Ví dụ trong hình (1.1) liên quan đến mô hình bậc nhất với hai
biến dự báo.
Các biến dự báo định tính

Mô hình hồi quy tuyến tính tổng quát (1.29) bao gồm không chỉ các biến
dự báo định lượng mà còn bao gồm các biến dự báo định tính, ví dụ giới tính
(nam, nữ) hay trạng thái khuyết tật (không khuyết tật, khuyết tật một phần,
khuyết tật toàn phần). Chúng ta sử dụng các biến chỉ số nhận giá trị 0 và 1 để
18


Phạm Thị Hương

Luận văn thạc sỹ khoa học

định nghĩa các lớp giá trị của biến định tính.
Xét một phân tích hồi quy dự đoán thời gian nằm viện (Y) dựa vào tuổi (X1 )
và giới tính (X2 ) của bệnh nhân. Chúng ta định nghĩa X2 như sau:
X2 =

1
0

Nếu bệnh nhân là nữ
Nếu bệnh nhân là nam

Mô hình hồi quy bậc nhất là:
Yi = β0 + β1 Xi1 + β2 Xi2 + εi

(1.31)

Trong đó:
Xi1 : tuổi của bệnh nhân
1

Nếu bệnh nhân là nữ
Xi2 =
0
Nếu bệnh nhân là nam
Hàm đáp ứng cho mô hình hồi quy (1.31) là:
E{Y } = β0 + β1 X1 + β2 X2

(1.32)

Đối với bệnh nhân nam, X2 = 0, ta có:
E{Y } = β0 + β1 X1

(1.32a)

Đối với bệnh nhân nữ, X2 = 1, ta có:
E{Y } = (β0 + β2 ) + β1 X1

(1.32b)

Cả hai hàm đáp ứng này đều là các đường thẳng song song với các giá trị chặn
khác nhau.
Tổng quát, chúng ta biểu diễn một biến định tính với c lớp là c − 1 biến chỉ
số. Ví dụ, nếu trong ví dụ về thời gian nằm viện, biến định tính chỉ tình trạng
khuyết tật được thêm vào như một biến dự báo khác, nó có thể được biểu diễn
bởi hai biến chỉ số X3 , X4 như sau:
X3 =
X4 =

1 Nếu bệnh nhân không khuyết tật
0

Nếu ngược lại
1 Nếu bệnh nhân khuyết tật một phần
0
Nếu ngược lại

Mô hình bậc nhất với các biến dự báo: tuổi, giới tính và tình trạng khuyết tật
như sau:
Yi = β0 + β1 Xi1 + β2 Xi2 + β3 Xi3 + β4 Xi4 + εi
19

(1.33)


Phạm Thị Hương

Luận văn thạc sỹ khoa học

Trong đó:
Xi1 : tuổi của bệnh nhân
1
Nếu bệnh nhân là nữ
Xi2 =
0
Nếu bệnh nhân là nam
1 Nếu bệnh nhân không khuyết tật
Xi3 =
0
Nếu ngược lại
1 Nếu bệnh nhân khuyết tật một phần
Xi4 =

0
Nếu ngược lại
Hồi quy đa thức
Các mô hình hồi quy đa thức là trường hợp đặt biệt của mô hình hồi quy
tuyến tính tổng quát. Nó chứa các điều kiện bình phương hoặc mũ cao hơn của
các biến dự báo, khi đó hàm đáp ứng là một đường cong. Đây là mô hình hồi
quy đa thức với một biến dự báo:
Yi = β0 + β1 Xi + β2 Xi2 + εi

(1.34)

Mặc dù hàm đáp ứng của mô hình hồi quy (1.34) là đường cong nhưng nó chỉ
là trường hợp đặc biệt của mô hình hồi quy tuyến tính tổng quát (1.29). Nếu
chúng ta cho Xi1 = Xi và Xi2 = Xi2 thì có thể viết (1.34) như sau:
Yi = β0 + β1 Xi1 + β2 Xi2 + εi

Đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29).(1.34) minh
họa một mô hình hồi quy tuyến tính mà hàm đáp ứng là phương trình bậc hai,
các mô hình với hàm đáp ứng đa thức bậc cao hơn cũng là trường hợp đặc biệt
của mô hình hồi quy tuyến tính tổng quát.
Biến biến đổi
Các mô hình với biến biến đổi liên quan đến hàm đáp ứng là các đường cong
phức tạp vẫn là trường hợp đặc biệt của mô hình hồi quy tuyến tính tổng quát.
Xét mô hình sau với biến biến đổi Y:
logYi = β0 + β1 Xi1 + β2 Xi2 + β3 Xi3 + εi

(1.35)

Ở đây mặt đáp ứng khá phức tạp, mô hình (1.35) vẫn có thể đưa về mô hình
hồi quy tuyến tính tổng quát. Nếu đặt Yi = logYi ta có:

Yi = β0 + β1 Xi1 + β2 Xi2 + β3 Xi3 + εi
20


Phạm Thị Hương

Luận văn thạc sỹ khoa học

đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29) mà biến đáp ứng
là hàm logarit của Y.
Nhiều mô hình khác có thể biến đổi được thành mô hình hồi quy tuyến tính
tổng quát. Ví dụ mô hình:
Yi =

1
β0 + β1 Xi1 + β2 Xi2 + εi

(1.36)

có thể đưa về mô hình hồi quy tuyến tính tổng quát bằng cách đặt Yi = 1/Yi ta
có:
Yi = β0 + β1 Xi1 + β2 Xi2 + εi

Ảnh hưởng tương tác.
Khi các ảnh hưởng của các biến dự báo lên biến đáp ứng là không cộng tính,
ảnh hưởng của một biến dự báo phụ thuộc vào biến dự báo khác. Mô hình hồi
quy tuyến tính tổng quát (1.29) bao gồm các mô hình hồi quy với các ảnh hưởng
không cộng tính hay các ảnh hưởng tương tác. Ví dụ một mô hình hồi quy không
cộng tính với hai biến dự báo X1 , X2 là:
Yi = β0 + β1 Xi1 + β2 Xi2 + β3 Xi1 Xi2 + εi

(1.37)

Với trường hợp này, hàm đáp ứng khá phức tạp do điều kiện tương tác β3 Xi1 Xi2 .
Mô hình (1.37) vẫn là một trường hợp đặc biệt của mô hình hồi quy tuyến tính
(1.29). Đặt Xi3 = Xi1 Xi2 và viết lại (1.37) như sau:
Yi = β0 + β1 Xi1 + β2 Xi2 + β3 Xi3 + εi

đây chính là dạng của mô hình hồi quy tuyến tính tổng quát (1.29).
Sự kết hợp của các trường hợp.
Một mô hình hồi quy có thể có sự kết hợp của một số trường hợp ở trên và ta
vẫn có thể đưa được về mô hình hồi quy tuyến tính tổng quát. Xét mô hình hồi
quy với hai biến dự báo sau có chứa các điều kiện tuyến tính và bình phương
cho mỗi biến và một điều kiện tương tác:
2
2
Yi = β0 + β1 Xi1 + β2 Xi1
+ β3 Xi2 + β4 Xi2
+ β5 Xi1 Xi2 + εi

21

(1.38)


Phạm Thị Hương

Luận văn thạc sỹ khoa học

Hình 1.2: Ví dụ cộng tính của hàm đáp ứng

Định nghĩa:
Zi1 = Xi1

2
Zi2 = Xi1

Zi3 = Xi2

2
Zi4 = Xi2

Zi5 = Xi1 Xi2

Khi đó mô hình hồi quy (1.38) như sau:
Yi = β0 + β1 Zi1 + β2 Zi2 + β3 Zi3 + β4 Zi4 + β5 Zi5 + εi

đây là dạng của mô hình hồi quy tuyến tính tổng quát (1.29).
Mô hình hồi quy tuyến tính tổng quát (1.29) bao gồm nhiều mô hình phức
tạp, một số mô hình có thể rất phức tạp. Hình 1.2 minh họa cho hai mặt đáp
ứng phức tạp có hai biến dự báo, đó có thể được biểu diễn bởi mô hình hồi quy
tuyến tính tổng quát (1.29).
Ý nghĩa tuyến tính trong mô hình hồi quy tuyến tính tổng quát.
Ý nghĩa này cần thể hiện rõ ràng từ các ví dụ khác nhau của mô hình tuyến
tính tổng quát (1.29) không giới hạn đến mặt đáp ứng tuyến tính. Điều kiện
mô hình tuyến tính đề cập đến một thực tế là mô hình (1.29) là tuyến tính với
các tham số, không phải đề cập đến hình dáng của mặt đáp ứng.

22

Phạm Thị Hương

Luận văn thạc sỹ khoa học

Nói một mô hình hồi quy là tuyến tính với các tham số khi nó có thể được
viết dưới dạng:
Yi = ci0 β0 + ci1 β1 + ci2 β2 + ... + cip−1 βp−1 + εi

(1.39)

trong đó các giá trị ci0 , ci1 ,... là các hệ số liên quan đến biến dự báo. Ví dụ trong
mô hình bậc nhất (1.1) với hai biến dự báo:
Yi = β0 + β1 Xi1 + β2 Xi2 + εi

là tuyến tính với các tham số, trong đó ci0 = 1, ci1 = Xi1 , ci2 = Xi2
Mô hình:
Yi = β0 exp(β1 Xi ) + εi

là mô hình hồi quy phi tuyến vì nó không thể đưa về dạng (1.29).

1.3

Dạng ma trận của mô hình hồi quy tuyến tính tổng quát

Mô hình hồi quy tuyến tính tổng quát (1.29) có thể được biểu diễn dưới
dạng ma trận. Mô hình này gồm nhiều trường hợp khác nhau, các kết quả dưới
dạng ma trận phải thể hiện được hết các trường hợp đó.
Một tính chất đáng chú ý của ma trận đại số là các kết quả cho mô hình hồi
quy tuyến tính tổng quát (1.29) ở dạng ma trận cũng giống như mô hình hồi

quy đơn tuyến tính. Chỉ bậc tự do, các hằng số liên quan đến số lượng các biến
X và kích thước của ma trận là khác. Do đó, chúng ta có thể biểu diễn các kết
quả này rất chính xác.
Để đơn giản, các ký hiệu ma trận có thể ẩn lượng lớn các tính toán phức tạp.
Ví dụ, tìm nghịch đảo của một ma trận cấp 10 × 10 đòi hỏi một lượng lớn các
tính toán, để đơn giản biểu diễn là A−1 . Lý do cho việc nhấn mạnh ma trận đại
số là để chỉ ra các bước định nghĩa trong lời giải. Trong tất cả các trường hợp
đơn giản nhất, các tính toán thực tế được làm bởi máy tính. Do đó, không quan
trọng khi tìm ma trận nghịch đảo của các ma trận cấp 2 × 2 hay cấp 10 × 10.
Điều quan trọng là biết ma trận nghịch đảo đại diện cho cái gì.

23