Hồi quy bội tuyến tính, hồi quy phi tuyến và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

PHẠM THỊ HƯƠNG

HỒI QUY BỘI TUYẾN TÍNH
HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG

LUẬN VĂN THẠC SĨ KHOA HỌC

HÀ NỘI - NĂM 2015


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

PHẠM THỊ HƯƠNG

HỒI QUY BỘI TUYẾN TÍNH
HỒI QUY PHI TUYẾN VÀ ỨNG DỤNG

Chuyên ngành:

LTXS & TKT

Mã số: 60460106

LUẬN VĂN THẠC SĨ KHOA HỌC

Người hướng dẫn khoa học:
GS. TSKH. ĐẶNG HÙNG THẮNG

HÀ NỘI - NĂM 2015


MỞ ĐẦU
Phân tích hồi quy là phương pháp có ứng dụng rộng rãi nhất
trong các phương pháp thống kê. Hiện nay, các mô hình hồi quy
được sử dụng nhiều trong quản trị kinh doanh, kinh tế, kỹ thuật
và xã hội, y tế, khoa học và sinh học. . . ..Các mô hình hồi quy rất
đa dạng bao gồm: hồi quy tuyến tính, hồi quy phi tuyến. Các loại
mô hình gồm nhiều dạng nhỏ khá phức tạp. Ứng dụng thành công
của các mô hình đòi hỏi một sự hiểu biết sâu về cả lý thuyết cơ
bản và những vấn đề thiết thực mà đang gặp phải trong việc sử
dụng các mô hình trong các tình huống thực tế cuộc sống. Anon
từng viết "Cho con người 3 vũ khí: hệ số tương quan, hồi quy
tuyến tính và một cây bút, con người sẽ sử dụng cả 3". Là một
giảng viên trường cao đẳng, tôi muốn nghiên cứu sâu hơn về hồi
quy tuyến tính và hồi quy phi tuyến nhằm nâng cao chuyên môn
phục vụ cho quá trình giảng dạy, vậy nên tôi đã chọn đề tài làm
luận văn thạc sĩ của mình là:
"Hồi quy bội tuyến tính
Hồi quy phi tuyến và ứng dụng"
Mục đích của luận văn này là đưa ra các dạng cơ bản của hồi quy
tuyến tính bội, hồi quy phi tuyến, các kết quả phân tích để ứng
dụng vào các mô hình hữu ích trong thực tế.
Bản luận văn được chia làm 3 chương:
Chương 1: Hồi quy bội tuyến tính
Trình bày các mô hình hồi quy bội tuyến tính, các ước lượng
hồi quy bội và các phân tích về các ước lượng hồi quy đó.
1

2

Chương 2: Hồi quy phi tuyến và mô hình mạng Nơ ron
Chương này trình bày một số mô hình hồi quy phi tuyến
thường gặp, các ước lượng của mô hình và việc phân tích, xây
dựng chẩn đoán mô hình.
Chương 3: Ứng Dụng
Đề cập đến các ứng dụng của mô hình hồi quy bội tuyến tính
và hồi quy phi tuyến ngoài thực tế. Trong mỗi ứng dụng có nhấn
mạnh đến việc xây dựng mô hình, ước lượng tham số và đánh giá
mô hình.
Mặc dù có nhiều cố gắng, xong do nhiều yếu tố khách quan và
chủ quan, nên trong quá trình chọn lọc tư liệu và trình bày nội
dung khó tránh khỏi những thiếu sót. Vì vậy tôi rất mong nhận
được những ý kiến chỉ bảo của thầy cô, sự góp ý chân thành của
các bạn học viên để luận văn được hoàn thiện hơn.


Lời cảm ơn
Tôi xin được bày tỏ lòng kính trọng và lòng biết ơn sâu sắc đến GS.
TSKH Đặng Hùng Thắng, người thầy đã tận tình giảng dạy, truyền
thụ những kiến thức bổ ích và tạo điều kiện để tôi hoàn thành luận
văn này. Thầy đã dành nhiều thời gian hướng dẫn cũng như giải đáp
các thắc mắc của tôi trong suốt quá trình tôi thực hiện đề tài.
Tôi xin gửi lời cảm ơn chân thành tới các thầy cô Khoa Toán - Cơ
- Tin học, Phòng sau đại học Trường Đại học Khoa học Tự nhiên, Đại
học Quốc gia Hà Nội; các thầy cô đã tham gia giảng dạy khóa cao học
2013 -2015; Ban giám hiệu và các đồng nghiệp trường Cao Đẳng Kinh

Tế Kỹ Thuật Thương Mại Hà Nội đã tạo điều kiện thuận lợi cho tôi
hoàn thành luận văn của mình.
Cuối cùng, tôi xin chân thành cảm ơn gia đình đã luôn động viên
tôi trong suốt quá trình học tập và nghiên cứu khoa học.

Hà Nội, tháng 12 năm 2015
Học viên
Phạm Thị Hương

3


Mục lục
1 HỒI QUY BỘI TUYẾN TÍNH
1.1 Nhắc lại hồi quy đơn tuyến tính . . . . . . . . . . . . . .
1.2 Các mô hình hồi quy bội . . . . . . . . . . . . . . . . . . .
1.2.1 Sự cần thiết phải đưa ra nhiều biến dự báo . . .
1.2.2 Mô hình bậc nhất với hai biến dự báo . . . . . . .
1.2.3 Mô hình bậc nhất với nhiều hơn hai biến dự báo .
1.2.4 Mô hình hồi quy tuyến tính tổng quát . . . . . . .
1.3 Dạng ma trận của mô hình hồi quy tuyến tính tổng quát
1.4 Ước lượng các hệ số hồi quy . . . . . . . . . . . . . . . . .
1.5 Ước lượng mẫu và phần dư . . . . . . . . . . . . . . . . . .
1.6 Các kết quả phân tích phương sai . . . . . . . . . . . . . .
1.7 Các kết luận về các tham số hồi quy . . . . . . . . . . . .
1.8 Ước lượng trung bình đáp ứng và dự báo quan sát mới .
1.9 Chẩn đoán và biện pháp khắc phục . . . . . . . . . . . . .

.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.

.
.
.
.
.
.
.
.
.

2 HỒI QUY PHI TUYẾN VÀ MÔ HÌNH MẠNG NƠ RON
2.1 Mô hình hồi quy tuyến tính và phi tuyến . . . . . . . . . . . .
2.2 Ước lượng các tham số hồi quy . . . . . . . . . . . . . . . . . .
2.3 Ước lượng bình phương cực tiểu trong hồi quy phi tuyến . . .
2.3.1 Nghiệm của phương trình chuẩn . . . . . . . . . . . . .
2.3.2 Tìm kiếm số trực tiếp - Phương pháp Gauss-Newton .
2.3.3 Các thủ tục tìm kiếm trực tiếp khác . . . . . . . . . . .
2.4 Xây dựng và chẩn đoán mô hình . . . . . . . . . . . . . . . . .
2.5 Các kết luận về tham số hồi quy phi tuyến . . . . . . . . . . .
2.5.1 Ước lượng phương sai sai số . . . . . . . . . . . . . . . .
2.5.2 Định lí mẫu lớn . . . . . . . . . . . . . . . . . . . . . . .
2.5.3 Khi nào định lý mẫu lớn dùng được? . . . . . . . . . . .
4

.
.
.
.
.
.

.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.

.
.
.

6
6
13
13
14
17
17
23
25
26
26
30
31
35

.
.
.
.
.
.
.
.
.
.
.

42
42
47
48
49
50
55
56
57
57
57
58


Phạm Thị Hương

Luận văn thạc sỹ khoa học

2.6

2.5.4 Biện pháp khắc phục hậu quả. . . . . . . . . . . . . . .
2.5.5 Khoảng ước lượng của γk . . . . . . . . . . . . . . . . .
2.5.6 Khoảng tin cậy đồng thời cho một số γk . . . . . . . . .
2.5.7 Kiểm tra tính liên quan của một tham số γk . . . . . .
2.5.8 Kiểm định đồng thời một số γk . . . . . . . . . . . . . .
Giới thiệu về mô hình mạng Nơ ron . . . . . . . . . . . . . . .
2.6.1 Mô hình mạng Nơ ron . . . . . . . . . . . . . . . . . . .
2.6.2 Mạng đại diện . . . . . . . . . . . . . . . . . . . . . . . .
2.6.3 Mạng Nơ ron như sự tổng quát của hồi quy tuyến tính.

2.6.4 Ước lượng tham số: Bình phương cực tiểu penalized . .
2.6.5 Một số bình luận cuối về mô hình mạng Nơ ron . . . .

3 Ứng dụng
3.1 Ứng dụng 1: Dự báo doanh số bán hàng . . .
3.1.1 Đặt bài toán . . . . . . . . . . . . . . .
3.1.2 Các tính toán cơ bản . . . . . . . . . .
3.1.3 Ước lượng hàm hồi quy . . . . . . . .
3.1.4 Các ước lượng mẫu và phần dư . . . .
3.1.5 Phân tích sự phù hợp của mô hình . .
3.1.6 Phân tích phương sai . . . . . . . . . .
3.1.7 Ước lượng các tham số hồi quy . . . .
3.1.8 Ước lượng trung bình đáp ứng . . . .
3.1.9 Giới hạn dự báo cho các quan sát mới
3.2 Ứng dụng 2: Dự báo mức độ phục hồi sau khi
3.3 Ứng dụng 3: Đường cong học tập . . . . . . .
3.4 Ứng dụng 4: Bệnh thiếu máu cơ tim . . . . .

. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
. . . . . .
xuất viện
. . . . . .

. . . . . .

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.

.
.
.
.
.
.
.
.
.

.
.
.
.
.
.
.
.
.
.
.
.
.

.
.
.
.
.
.

.
.
.
.
.

60
60
61
61
61
62
62
65
67
68
69

.
.
.
.
.
.
.
.
.
.
.
.

.

71
71
71
73
75
76
77
79
81
82
83
84
95
99

KẾT LUẬN

105

Tài liệu tham khảo

106

5


Chương 1

HỒI QUY BỘI TUYẾN TÍNH
1.1

Nhắc lại hồi quy đơn tuyến tính

1.1.1 Mô hình dạng chuẩn
Xét mô hình hồi quy đơn tuyến tính (còn gọi là hồi quy tuyến tính đơn hay
gọi tắt là hồi quy đơn) với một biến dự báo và hàm hồi quy là tuyến tính. Mô
hình được xây dựng như sau:
Y i = β0 + β1 X i + εi

Trong
Yi :
β0 , β1 :
Xi :
εi :

(1.1)

đó:
Giá trị biến đáp ứng trong thử nghiệm thứ i
Tham số
Hằng số, giá trị biến dự báo trong thử nghiệm thứ i
Sai số ngẫu nhiên với trung bình E{εi } = 0; phương sai σ 2 {εi } = σ 2 ;
εi và εj không tương quan.

Mô hình hồi quy (1.1) được gọi là đơn, tuyến tính với các tham số và tuyến
tính với biến dự báo. "Đơn" ở đây là chỉ một biến dự báo.
1.1.2 Các đặc trưng quan trọng của mô hình
1. Giá trị đáp ứng Yi trong thử nghiệm thứ i là tổng của hai thành phần: (1)

điều kiện hằng số β0 + β1 Xi và (2) là điều kiện ngẫu nhiên εi . Do đó, Yi là biến
ngẫu nhiên.
2. Do E{εi } = 0 nên
E{Yi } = β0 + β1 Xi
6

(1.2)


Phạm Thị Hương

Luận văn thạc sỹ khoa học

Vậy hàm hồi quy cho mô hình (1.1) là:
E{Y } = β0 + β1 X

(1.3)

3. Giá trị đáp ứng Yi trong thử nghiệm thứ i sai khác với giá trị hàm hồi quy
một lượng là sai số εi .
4. Sai số εi được giả định là có phương sai không đổi σ 2 nên đáp ứng Yi cũng
có phương sai không đổi:
σ 2 {Yi } = σ 2

(1.4)

Do vậy, mô hình hồi quy (1.1) được giả định rằng phân phối xác suất của Y có
cùng phương sai σ 2 .
5. Các sai số được giả định là không tương quan. Do εi và εj là không tương
quan nên đáp ứng Yi và Yj cũng không tương quan.

6. Tóm lại, mô hình (1.1) chỉ ra rằng đáp ứng Yi có phân phối xác suất mà
trung bình của nó là E{Yi } = β0 + β1 Xi và phương sai của nó là σ 2 và là như
nhau với mọi giá trị của X. Hơn nữa, hai giá trị đáp ứng Yi và Yj là không
tương quan.
1.1.3 Dạng biến đổi của mô hình hồi quy
Đôi khi mô hình hồi quy (1.1) được viết dưới dạng khác. Đặt X0 là hằng số
có giá trị bằng 1. Khi đó mô hình (1.1) có thể được viết như sau:
Yi = β0 X0 + β1 Xi + εi

X0 ≡ 1

(1.5)

ở dạng này ứng với mỗi giá trị biến X đều có một hệ số hồi quy.
Phép biến đổi sau được dùng cho độ lệch của biến dự báo Xi − X¯ thay cho
Xi . Từ (1.1) chúng ta có thể viết:
¯ + β1 X
¯ + εi
Yi = β0 + β1 (Xi − X)
¯ + β1 (Xi − X)
¯ + εi
= (β0 + β1 X)
¯ + εi
= β0∗ + β1 (Xi − X)
7


Phạm Thị Hương

Luận văn thạc sỹ khoa học

Do vậy dạng mô hình biến đổi là:
¯ + εi
Yi = β0∗ + β1 (Xi − X)

(1.6)

¯
β0∗ = β1 X

(1.6a)

trong đó:

1.1.4 Ước lượng hàm hồi quy
Các dữ liệu quan sát hoặc thí nghiệm được sử dụng cho việc ước lượng các
tham số của hàm hồi quy bao gồm các quan sát của biến dự báo X và biến đáp
ứng Y. Với mỗi thử nghiệm, có một giá trị của quan sát X tương ứng một giá
trị quan sát Y. Chúng ta biểu diễn các quan sát (X, Y ) cho thử nghiệm thứ nhất
là (X1 , Y1 ), cho thử nghiệm thứ hai là (X2 , Y2 ) và tổng quát cho thử nghiệm thứ
i là (Xi , Yi ) trong đó i = 1, 2, . . . , n.
Phương pháp bình phương cực tiểu
Để tìm các ước lượng "tốt" cho các tham số hồi quy β0 và β1 thường dùng
phương pháp bình phương cực tiểu. Đối với các quan sát (Xi , Yi ), phương pháp
bình phương cực tiểu xem xét độ lệch của Yi với kì vọng của nó:
Yi − (β0 + β1 Xi )

(1.7)

Phương pháp này đòi hỏi xem xét tổng của n độ lệch bình phương. Tổng này

được gọi là hàm tiêu chuẩn Q:
n

(Yi − β0 − β1 Xi )2

Q=

(1.8)

i=1

Theo phương pháp bình phương cực tiểu, các ước lượng của β0 và β1 tương
ứng là b0 và b1 làm cực tiểu hóa hàm tiêu chuẩn Q đối với các mẫu quan sát
(X1 , Y1 ), (X2 , Y2 ), . . . , (Xn , Yn ) đưa ra.
Các ước lượng b0 và b1 thỏa mãn hàm tiêu chuẩn bình phương cực tiểu có
thể được xác định bằng hai cách:
1. Các thủ tục tìm kiếm số có thể được sử dụng ước lượng một cách có hệ
thống các ước lượng b0 và b1 khác nhau cho tới khi tìm được giá trị cực tiểu
8


Tài liệu tham khảo
[1] Phạm Hữu Đức Dục (2009),Mạng Nơ ron và ứng dụng trong điều khiển tự
động, Nhà xuất bản khoa học kỹ thuật.
[2] Đào Hữu Hồ - Nguyễn Văn Hữu - Hoàng Hữu Như, Thống kê toán học, Nhà
xuất bản Đại Học Quốc Gia.
[3] Đặng Hùng Thắng (2005),Thống kê và Ứng dụng, Nhà xuất bản Giáo dục.
[4] John Neter - William Wasserman - Michael H.Kutner (1983), Applied linear
regression models, Richard D.Irwin,INC.
[5] Kutner- Nachtsheim - Neter (2004), Applied linear regression models.

106