CHƯƠNG 2 PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN
VÀ HỒI QUI
2.1. Phân tích tương quan
Xét một đại lượng ngẫu nhiên biến thiên X tương
ứng với sự biến thiên của đại lượng Y, ta có:
Y = X + Ngẫu nhiên có điều kiện
Như vậy: Y = f(x)
Y = X + Ngẫu nhiên (không có điều kiện) Độc
lập
Nếu:
Y = X + Ngẫu nhiên có điều kiện + Ngẫu nhiên
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
Vậy phải ước lượng dưới dạng tổng quát
thống kê và hệ số tương quan là tiêu chí quan
trọng. Hệ số tương quan là đại lượng không
thứ nguyên:
- Đại lượng ngẫu nhiên độc lập r = 0
- Đại lượng ngẫu nhiên có điều kiện càng có
thể r = 0 gọi đó là đại lượng không tương
quan.
YX
yx
mYmXM
r
δδ
))([( −−
=
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI

•
Hệ số tương quan đặc trưng cho sự phụ
thuộc tuyến tính
•
Tổng quát hệ số tương quan có giá trị trong
giới hạn:
- 1 < r
x,y
< 1
•
Khi r
x,y
> 0 quan hệ X, Y tồn tại tương quan
dương
•
Khi r
x,y
< 0 quan hệ X, Y tồn tại tương quan
âm
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
2.2. Phân tích hồi qui:
2.2.1. Khái niệm cơ bản:
- Sự phụ thuộc các đại lượng ngẫu nhiên được
xác định bằng một hàm phân phối có điều kiện.
- Phân tích hồi qui là tính các thông số của mô
hình trên cơ sở các số liệu thực nghiệm.
- Mô hình mục tiêu nghiên cứu phải xác định rõ
ràng, hàm mục tiêu được gọi là hàm đáp ứng.
CHƯƠNG II

PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
- Có thể hiểu diễn hàm mục tiêu dưới dạng.
η = f (x
1
, x
2
, …, x
n
)
Trong đó:
x
1
(i = 1, 2…, n) là yếu tố biến thiên độc lập
- Hàm mục tiêu được biểu diễn dưới dạng đa
thức:
η = β
o
+ β
1
x
1
+ … + β
12
x
1
x
2
+ … + β
11
+ …

Trong đó β
0
, β
1
… là hệ số hồi qui được xác
định bằng các ước lượng b
0
, b
1
, b
2
… qua các
số liệu thí nghiệm.
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
Phương trình hồi qui trên cơ sở thực
nghiệm là ước lượng của hàm mục tiêu η.
Y
*
= b
o
+ b
1
x
1
+ … + b
11
x
2
+ …

- Mặt mô tả bởi phương trình hồi qui gọi là
mặt đáp ứng.
- Không gian tọa độ trên các trục đặt giá trị
các yếu tố gọi là không gian yếu tố
- Hiệu giữa giá trị thực nghiệm và giá trị tìm
được theo phương trình hồi qui của các
thông số tối ưu gọi là độ dư.
- Nếu phương sai dư không đáng kể so với
phương sai tái hiện thì phương trình hồi qui
tương thức với các số liệu thực nghiệm.
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
2.2.2. Phương pháp bình phương nhỏ nhất.
- Phương trình hồi qui gần đúng phụ thuộc
vào phương pháp tính dùng để tính các hệ
số hồi qui.
- Phương pháp bình phương nhỏ nhất xác
định hệ số phương trình hồi qui sao cho gần
đúng với kỳ vọng toán học của thực nghiệm.
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
- Bài toán xác định hệ số hồi qui là xác
định cực tiểu của hàm nhiều biến b
o
, b
1
,
- Trong đó: y
i
– giá trị thực nghiệm

Y
*
= f (x
o
, b
o
, b
1
, …) giá trị tìm được
theo phương trình
hồi qui.
- Nếu Y
*
= f (x, b
o
, b
1
,…) là hàm khả vi thì
điều kiện cực tiểu của φ là.
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
min, )]b,b,x(fy[
2
i
1oii
→−=φ
∑
, 0,0
1
=

∂
∂
=
∂
∂
bb
o
φφ
Hoặc khai triển ra:
…………………
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
∑
=
∂
∂
−
i
o
x
oii
b
f
bbxfy 0, )],,([2
)(
1
∑
=
∂
∂

−
i
x
oii
b
f
bbxfy 0, )],,([2
1
)(
1
Sau khi biến đổi ta có hệ phương trình:
………………………
Hệ phương trình trên có bao nhiêu phương trình thì
phương trình hồi qui có bấy nhiêu hệ số được gọi là
hệ phương trình chuẩn.
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
∑
∑
=
∂
−
∂
∂
0
, ),,(
, )(
1
1
b

bbxf
b
xf
y
oi
o
i
i
∑
∑
=
∂
−
∂
∂
0
, ),,(
, )(
1
1
1
b
bbxf
b
xf
y
oi
i
i
2.2.3. Một số dạng phương trình hồi qui:

- Tối ưu hóa phụ thuộc 1 biến số theo
dạng hồi qui thực nghiệm
- Phương trình hồi qui tuyến tính:
- Phương trình hồi qui Parabon:
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
)(
^
xfY =
xbbY
10
^
+=
2
210
^
xbxbbY ++=
- Phương trình hồi qui biểu diễn qua đa thức:
- Trong đó: P
o(x)
, P
1(x)
, P
K(x)
là đa thức trực giao
trên các tập điểm X
1
, …, X
n
;

- Phương trình hồi qui mũ và lũy thừa.
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
)( )()(
1100
^
xPbxPbxPbY
KK
+++=
x
bbY
10
^
=
1
0
^
b
xbY =
2.2.4. Phân tích hồi qui tuyến tính bội k.
- Nếu thông số tối ưu phụ thuộc vào k biến
độc lập ta gọi là hồi qui tuyến tính k.
Ví dụ:
Giả sử có n thí nghiệm với k biến độc lập.
(x
1
, x
2
, …, x
K

)
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
Ta có bảng sau:
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
STT
X
1
X
2
- - -
X
K
Y
1
X
11
X
21
X
K1
Y
1
2
X
12
X
K2
Y

2
- - - - - - - -
n
X
1n
- - - -
X
Kn
Y
n
Giả thiết:
1. Mỗi kết hợp x
1
, …, x
k
đại lượng y có phân
phối chuẩn
2. Phương sai không đổi
3. Sai số các phép đo biến độc lập không
đáng kể.
4. Các biến x
1
, …, x
k
độc lập tuyến tính.
Ước lượng kết quả được tính bằng
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
ξ++++=
KK1100

^
xb xbxbY
Trong đó : ξ - nhiễu
Dạng ma trận của x thu được là:
Bố trí thí nghiệm sao cho
Trong đó: m, j = o,k ; m ≠ j
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
n
Kn
K
K
xX
Xx
xx
X
1
2
1
1
1
1
21
11

=
∑
= 0.
ijim
xx

Ý nghĩa:
- Tích vô hướng của 2 cột khác nhau của ma
trận X = 0
- Tích vô hướng của cột 1 x
io
= 1, i = 1-n Từ
đó:
- Tổng các phần tử của cột bất kỳ trừ cột đầu
bằng 0
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
∑
== 0
ijiji
xxx
o
Ma trận cột của các thông số tối ưu hóa
Ma trận của các hệ số hồi qui
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
n
y
y
y 
1
=
K
o
b
b

b
B

1
=
Ma trận X
T
là ma trận chuyển vị của ma trận X
Dạng ma trận hệ phương trình chuẩn ta có.
X
T
X B = X
T
Y
Từ đó ta suy ra
B = (X
T
.X)
-1
X
T
.Y
(X
T
.X)
-1
là ma trận nghịch c\đảo của X
T
.X
CHƯƠNG II

PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
KnK
ono
T
xx
xx
X



1
1
=
Sau khi xác định được các hệ số của
phương trình hồi qui cần tiến hành kiểm
định:
- Ý nghĩa của hệ số hồi qui
- Sự tương tích của phương trình hồi qui
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
* Kiểm định của các hệ số qui
Việc kiểm định ý nghĩa của các hệ số hồi qui
được thực hiện theo tiêu chuẩn Student.
Trong đó:
b
j
– Hệ số thứ J trong phương trình hồi qui
S
bj
– sai số trong việc xác định của hệ số thứ

j.
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
j
b
j
j
S
b
t
||
=
* Nếu t
j
> t
p
(f) ảnh hưởng của yếu tố
thứ j có ý nghĩa với thông số tối
ưu hóa y
i
, hệ số b
j
được giữ lại.
* Nếu t
j
< t
p
(f) hệ số b
j
bị loại khỏi

phương trình hồi qui (p – mức ý
nghĩa, f – bậc tự do tái hiện)
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
* Kiểm định sự tương thích của phương trình
hồi qui:
Sự tương thích của phương trình hồi qui
được kiểm định theo tiêu chuẩn Fisher
Trong đó:
- phương sai tương thích
- phương sai tái hiện
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
2
2
th
tt
s
s
F =
2
tt
s
2
th
s
f
tt
= f
dư

– f
th
= n - l
l – số hệ số có nghĩa trong phương trình hồi
qui.
Nếu F tính được nhỏ hơn giá trị tra trong bảng
F
1-p
(f
1
, f
2
) với mức ý nghĩa p, f
1
= f
tt
, f
2
= f
th
thì
phương trình tương thích với thực nghiệm.
CHƯƠNG II
PHÂN TÍCH TƯƠNG QUAN VÀ HỒI QUI
tt
tt
tt
f
S
s =

2
∑






−=






−






−=
2
^^^
i
i
T
tt
yyYYYYs