Bài giảng mô hình hồi quy tuyến tính
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (2.5 MB, 43 trang )
Seminar ngày 5/10/09
MÔ HÌNH HỒIQUI TUYẾNTÍNH
VÕ
ĐÌNH
BẢY
VÕ
ĐÌNH
BẢY
H
ồ
i qui tuy
ế
n tính
H
ồ
i
qui
tuy
ế
n
tính
Mục
tiêu
của
hồi
qui
là
tiên
đoán
giá
trị
của
Mục
tiêu
của
hồi
qui
là
tiên
đoán
giá
trị
của
một hay nhiềubiến(liêntục) mục tiêu t khi
cho
trước
giá
trị
của
vector
D
-
chiều
x
cho
trước
giá
trị
của
vector
D
-
chiều
x
.
Đơngiảnnhấtlàsử dụng công thứcdạng
y
=
ax
+
b
y
=
ax
+
b
.
Công th
ứ
c h
ồ
i qui đ
ơ
n gi
ả
n (1)
Công
th
ứ
c
h
ồ
i
qui
đ
ơ
n
gi
ả
n
(1)
Công
thức
:
y
=
ax
+
b
Công
thức
:
y
ax
+
b
.
Khi ấy, vớiX={x
1
,x
2
,…x
N
}vàT={t
1
,t
2
,
t
}
Ta
có
thể
tìm
công
thức
hồi
qui
như
…,
t
N
}
.
Ta
có
thể
tìm
công
thức
hồi
qui
như
sau:
Xé
hà
lỗi
SE
∑
∑
+
NN
b
ax
t
y
t
)]
(
[
)
(
Xé
t
hà
m
lỗi
SE
=
Cựctiểuhàmlỗi để nhận được các hệ số a, b.
∑
∑
==
+
−
=
−
i
ii
i
ii
b
ax
t
y
t
11
)]
(
[
)
(
Công th
ứ
c h
ồ
i qui đ
ơ
n gi
ả
n (2)
Công
th
ứ
c
h
ồ
i
qui
đ
ơ
n
gi
ả
n
(2)
Cựctiểuhàmlỗi để nhận được các hệ số ab
Cực
tiểu
hàm
lỗi
để
nhận
được
các
hệ
số
a
,
b
.
Ta có:
∑
+
−
−
=
∂
N
i
i
i
x
baxt
d
SE
)]
(
[
2
∑
=i
i
i
i
d
a
1
)]
(
[
∑
∂
N
SE
∑
=
+
−
−
=
∂
i
ii
bax
t
db
SE
1
)]([2
Công th
ứ
c h
ồ
i qui đ
ơ
n gi
ả
n (3)
Công
th
ứ
c
h
ồ
i
qui
đ
ơ
n
gi
ả
n
(3)
Giải
hệ
trên
với
biến
là
a
b
:
Giải
hệ
trên
với
biến
là
a
,
b
:
⎧
N
⎪
⎪
⎧
−−
∑
N
TiXi
meantmeanx ))((
⎪
⎪
⎪
⎨
⎧
=+−
∑
∑
=
0)]([
1
N
N
i
iii
xbaxt
⎪
⎪
⎪
⎪
⎪
⎨
−
=
⇒
∑
∑
=
=
N
i
Xi
i
meanx
a
)(
1
2
1
⎪
⎪
⎩
=
+−
∑
=
0)]([
1i
ii
bax
t
⎪
⎪
⎪
⎪
⎩
−
=
−
=
∑∑
==
X
T
N
i
i
N
i
i
i
meanamean
N
x
a
N
t
b *
11
1
Trong đó mean
X
,mean
T
là giá trị trung bình
của
X
và
T
⎪
⎩
X
T
N
N
của
X
và
T
.
Công th
ứ
c h
ồ
i qui đ
ơ
n gi
ả
n (4)
Công
th
ứ
c
h
ồ
i
qui
đ
ơ
n
gi
ả
n
(4)
Ví dụ:
XT
⎪
⎪
⎧
−−
∑
=
295
0
))((
1
N
i
TiXi
meantmeanx
00.3
0.2 0.8
05
1
⎪
⎪
⎪
⎪
⎨
−
=
−
=
⇒
∑
=
=
295
.
0
)(
1
2
1
N
N
N
i
Xi
i
meanx
a
0
.
5
1
0.6 0.9
1
001
⎪
⎪
⎪
⎪
⎩
=−=−=
∑
∑
==
738.0*
11
XT
N
i
i
N
i
i
meanamean
N
x
a
N
t
b
1
0
.
01
⎩
N
N
Ha
y
p
hươn
g
trình là:
y
= -0.295x+0.738!
yp gy
Công th
ứ
c h
ồ
i qui đ
ơ
n gi
ả
n (4)
Công
th
ứ
c
h
ồ
i
qui
đ
ơ
n
gi
ả
n
(4)
Hàm dự đoán: y = -0.295x+0.738
X
T
’
⎧
XT
00.3
X
T
0.1 0.71
0.8
0.5
⎩
⎨
⎧
=
−
=
⇐
738.0
295.0
b
a
0.2 0.8
0.5 1
0.8
0.5
0.6 0.9
10.01
Dạng đơn giản – Đa thức
H
ồ
i qui tuy
ế
n tính c
ơ
s
ở
(1)
H
ồ
i
qui
tuy
ế
n
tính
c
ơ
s
ở
(1)
Một cách khác là sử dụng đường cong đathức:
Một
cách
khác
là
sử
dụng
đường
cong
đa
thức:
Tùy theo giá trị M, chúng ta có hàm xấp xỉ với
các
g
iá tr
ị
(
x
i
,
t
i
)
đư
ợ
c cho.
g ị (
i
,
i
) ợ
Hàm h
ồ
i qui tuy
ế
n tính c
ơ
s
ở
(2)
Hàm
h
ồ
i
qui
tuy
ế
n
tính
c
ơ
s
ở
(2)
Cá điể dữ
Cá
c
điể
m
dữ
liệu (x
i
, t
i
)
Hàm cần dự
đoán
⇒
Cần
đoán
⇒
Cần
xác định w
0
,
…, w
M
.
Hàm
l
ỗ
i
(Sum
‐
of
‐
Squares Error Function)
Hàm
l
ỗ
i
(Sum
of
Squares
Error
Function)
t thực tế
Giá trị ướclượng
Giá
trị
ước
lượng
Lỗi:
y(
x
,
w
)
-t
y( , )
Hàm l
ỗ
i (2)
Hàm
l
ỗ
i
(2)
Tìm w sao cho E(w) đạt min
⇒ Giải bài toán cực trị hàm nhiều biến
Hàm x
ấ
p x
ỉ
v
ớ
i M
=
0
Hàm
x
ấ
p
x
ỉ
v
ớ
i
M
0
Hàm x
ấ
p x
ỉ
v
ớ
i M
=
1
Hàm
x
ấ
p
x
ỉ
v
ớ
i
M
1
Hàm x
ấ
p x
ỉ
v
ớ
i M
=
3
Hàm
x
ấ
p
x
ỉ
v
ớ
i
M
3
Hàm x
ấ
p x
ỉ
v
ớ
i M
=
9
Hàm
x
ấ
p
x
ỉ
v
ớ
i
M
9
Over
‐
fitting
Over
fitting
Root‐Mean‐Square(RMS)Error:
Các h
ệ
s
ố
t
ươ
ng
ứ
ng v
ớ
i M
Các
h
ệ
s
ố
t
ươ
ng
ứ
ng
v
ớ
i
M
Kích th
ướ
c d
ữ
li
ệ
u:
Kích
th
ướ
c
d
ữ
li
ệ
u:
Hàm xấp xỉ với M = 9
Kích th
ướ
c d
ữ
li
ệ
u:
Kích
th
ướ
c
d
ữ
li
ệ
u:
Hàm xấp xỉ với M = 9
M
ở
r
ộ
ng công th
ứ
c hàm l
ỗ
i
M
ở
r
ộ
ng
công
th
ứ
c
hàm
l
ỗ
i
Thêm hàm phạt (theo
λ
và w)
Ngoài w, cầnchọn
λ
phù hợp để lỗi đạt được là min.
Ngoài
w,
cần
chọn
λ
phù
hợp
để
lỗi
đạt
được
là
min.
H
ệ
s
ố
λ
:
H
ệ
s
ố
λ
:
H
ệ
s
ố
λ
:
H
ệ
s
ố
λ
:
L
ỗ
i v
ớ
i h
ệ
s
ố
λ
: v
ớ
i
L
ỗ
i
v
ớ
i
h
ệ
s
ố
λ
:
v
ớ
i
Các h
ệ
s
ố
t
ươ
ng
ứ
ng v
ớ
i
λ
Các
h
ệ
s
ố
t
ươ
ng
ứ
ng
v
ớ
i
λ
