Bài giảng lý thuyết xác suất và thống kê toán học chương 8 phan văn tân

LÝ THUYẾT
XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC
Phan Văn Tân
Bộ mơ Khí tượng


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.1 Tính độc lập và quan hệ phụ thuộc ngẫu nhiên
• 
• 
• 
• 

Xét hai đại lượng ngẫu nhiên X, Y
Giả sử f(x,y) là phân bố đồng thời của hệ (X,Y)
Khi đó có thể biểu diễn: f(x,y)=f(y/x).f1(x)=f(x/y).f2(y)
Trong đó f(y/x), f(x/y) là các phân bố có điều kiện còn f1(x), f2(y)
là các phân bố riêng

∂ 2 F ( x, y )
f ( x, y ) =
, F ( x, y ) = P ( X < x, Y < y )
∂x∂y
+∞
+∞
f1 ( x ) = ∫ f ( x, y )dy , f 2 ( y ) = ∫ f ( x, y )dx
−∞

f ( y / x) =

f ( x, y )

+∞

∫ f ( x, y )dy

−∞

−∞

, f ( x / y) =

f ( x, y )

+∞

∫ f ( x, y )dx

−∞


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.1 Tính độc lập và quan hệ phụ thuộc ngẫu nhiên
•  Nếu X và Y độc lập với nhau:
•  f(y/x)=f2(y), f(x/y)=f1(x) è f(x,y)=f1(x).f2(y)
•  Tức là sự biến thiên của đại lượng này không ảnh hưởng đến sự
biến thiên của đại lượng kia và ngược lại
•  Nói chính xác hơn, xác suất để Y nhận giá trị nào đó khơng bị ảnh
hưởng bởi việc cho trước giá trị x của X, và ngược lại
•  Nếu X và Y khơng độc lập với nhau, khi đó ta nói X và Y phụ
thuộc lẫn nhau

•  Có hai khái niệm phụ thuộc giữa X và Y:
–  Phụ thuộc hàm
–  Phụ thuộc tương quan


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.1 Tính độc lập và quan hệ phụ thuộc ngẫu nhiên
•  Nếu X và Y phụ thuộc hàm với nhau, khi đó có thể biểu diễn:
Y = f(X) hoặc X = g(Y)
•  Điều đó có nghĩa là nếu X nhận giá trị x nào đó thì tương ứng Y
nhận giá trị y=f(x), hoặc khi Y nhận giá trị y nào đó thì X nhận giá
trị tương ứng x=g(y)
•  Tuy nhiên, trong thực tế các đại lượng ngẫu nhiên thường phụ
thuộc lẫn nhau phức tạp hơn nhiều
•  Ví dụ:
–  Quan hệ giữa nhiệt độ và độ ẩm tương đối khơng khí trong
ngày: Qui luật chung là nhiệt độ tăng thì độ ẩm giảm, nhưng đó
là mối quan hệ khơng đơn trị và khơng phải là quan hệ hàm
–  Quan hệ giữa chiều cao và cân nặng của cơ thể người
–  …


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.1 Tính độc lập và quan hệ phụ thuộc ngẫu nhiên
Minh họa sự phụ thuộc
giữa Y và X: Ứng với một
giá trị x∈X có thể có
nhiều giá trị của Y, và
ngược lại – Không phải là
quan hệ hàm

Tập giá trị Y/X=x (hoặc
X/Y=y) sẽ tuân theo luật
phân bố nào đó mà ta gọi
là phân bố có điều kiện:
f(y/x) (hoặc f(x/y)

Y

X

Sự phụ thuộc giữa Y và X trong trường hợp này được gọi là phụ thuộc
ngẫu nhiên. Quan hệ giữa Y và X được gọi là quan hệ tương quan


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.2 Hệ số tương quan
•  Một trong những đặc trưng quan trọng để nghiên cứu mối quan hệ
tương quan giữa hai biến ngẫu nhiên là hệ số tương quan
•  Theo định nghĩa, hệ số tương quan giữa hai đại lượng ngẫu nhiên
X, Y là số vô thứ nguyên được xác định bởi:
M [( X − M [ X ])(Y − M [Y ])]
ρ xy ≡ ρ =
=
2
2
M [( X − M [ X ]) ].M [(Y − M [Y ]) ]
=

M [( X − mx )(Y − m y )]
M [( X − mx )2 ].M [(Y − m y ) 2 ]

=

à xy
Dx D y



cov( X , Y )
Dx D y

ã Một số ký hiệu thường gặp ρ xy ≡ ρ ≡ ρ ( X , Y ) = ρ (Y , X )

µ xy ≡ cov( X , Y ) = cov(Y , X )

Dx ≡ σ 2 ≡ σ x2 ≡ var( X )


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.2 Hệ số tương quan
Một số tính chất của hệ số tương quan
1)  Nếu Z1=aX+b, Z2=cY+d (a,b,c,d là các hằng số, a>0, c>0) thì
ρ(Z1,Z2) = ρ(X,Y)
2)  Trị số của hệ số tương quan nằm trong khoảng [–1,1]: |ρ| ≤ 1
3)  Điều kiện cần và đủ để |ρxy| = 1 là Y và X thực sự có quan hệ hàm
tuyến tính, tức Y=aX+b, hoặc X=cY+d.
ρxy = 1 khi và chỉ khi a>0, hoặc c>0, ρxy=–1 khi a<0 (c<0)
4)  Nếu X và Y độc lập với nhau thì ρxy=0. Điều ngược lại khơng đúng

CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.2 Hệ số tương quan
Ý nghĩa của hệ số tương quan
• 

Từ các tính chất của hệ số tương quan suy ra rằng
–  Hệ số tương quan là đại lượng đặc trưng cho mối quan hệ
tuyến tính giữa hai biến ngẫu nhiên X và Y
–  Hệ số tương quan bằng 0 thì hai biến khơng có quan hệ tương
quan tuyến tính nhưng chưa chắc chúng độc lập với nhau (trừ
chúng có phân bố chuẩn)
–  Hệ số tương quan dương thì hai biến quan hệ đồng biến với
nhau, hệ số tương quan âm hai biến quan hệ nghịch biến với
nhau


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.3 Hệ số tương quan mẫu
•  Hệ số tương quan ρ đã xét trên đây là hệ số tương quan lý thuyết
giữa hai biến ngẫu nhiên. Nó là một hằng số chưa biết
•  Xét hai biến ngẫu nhiên (X,Y) và mẫu (X1,Y1),…,(Xn,Yn)
•  Hệ số tương quan mẫu giữa hai đại lượng ngẫu nhiên X, Y là đại
lượng được xác định bởi:
rxy ≡ r =

1 n
( X i − X )(Yi − Y )
∑
n i =1
=

n
n
1
1
2
2
(
X
−
X
)
(
Y
−
Y
)
∑ i
∑ i
n i =1
n i =1

µ~xy

Rxy

~ ~ ≡ss
Dx D y
x y

•  Khác với hệ số tương quan lý thuyết ρ, hệ số tương quan mẫu

r là một đại lượng thống kê nên nó là một biến ngẫu nhiên


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
Ví dụ: Tính hệ số tương quan
TT

x

y

x-xtb

y-ytb

(x-xtb)^2

(y-ytb)^2

(x-xtb)(y-ytb)

1

26

0

1.4

-4.6

1.96

21.16

-6.44

2

25

3

0.4

-1.6

0.16

2.56

-0.64

3

19

9

-5.6

4.4

31.36

19.36

-24.64

4

24

10

-0.6

5.4

0.36

29.16

-3.24

5

24

4

-0.6

-0.6

0.36

0.36

0.36

6

28

2

3.4

-2.6

11.56

6.76

-8.84

7

20

9

-4.6

4.4

21.16

19.36

-20.24

8

29

0

4.4

-4.6

19.36

21.16

-20.24

9

22

4

-2.6

-0.6

6.76

0.36

1.56

10

29

5

4.4

0.4

19.36

0.16

1.76

24.6

4.6

112.4

120.4

-80.6

S2x=11.24; S2y=12.04; Rxy=-8.06; rxy=Rxy/(S2x*S2y)1/2 =-0.6929


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.3 Hệ số tương quan mẫu
•  Mật độ phân bố của r có dạng:
n −1
n−4 ∞
n −3
i
2
n
+
i
−
1
(
2
ρ

r
)
f n (r ) =
(1 − ρ 2 ) 2 (1 − r 2 ) 2 ∑ (Γ (
))2
πΓ (n − 2)
2
i!
i =0
hoặc dạng khác
n −1
n −4 1
n−2

f n (r ) =

n−2

π

2

(1 − ρ )

2

2

(1 − r )

2

x

∫ (1 − ρrx)n−1
0

dx

1 − x2

•  Phân bố của r chỉ phụ thuộc vào dung lượng mẫu n và hệ số tương
quan tổng thể ρ
•  Khi n = 2 thì fn(r) = 0, phù hợp với sự kiện hệ số tương quan được
tính từ tập mẫu chỉ có 2 quan trắc phải bằng ±1
•  Kỳ vọng của hệ số tương quan mẫu r: M[r]=ρ
•  Phương sai của hệ số tương quan mẫu r:
ρ 2 µ40 µ04 2µ22 4µ22 4µ31
4µ13
D[r ] =
( 2 + 2 +
+ 2 −
−
)
4n µ20 µ02 µ20 µ20 µ11 µ11µ20 µ11µ02


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.3 Hệ số tương quan mẫu

•  Ước lượng khoảng của hệ số tương quan:
1
1+ r
1
1+ ρ
Sử dụng phép biến đổi của Fisher: z = log
ζ = log
2
1− ρ
2
1− r
Khi đó biến z có phân bố xấp xỉ chuẩn với trung bình và phương sai:
1
ρ
D[ z ] =
M [ z] = ζ +
2(n − 1)

n−3

Và khoảng tin cậy của ζ với độ tin cậy 1-α là:
⎛
r
1
r
1 ⎞
(ζˆ1 , ζˆ2 ) = ⎜⎜ z −
− uα
,z −
+ uα

⎟⎟
2(n − 1)
2(n − 1)
n−3
n − 3 ⎠
⎝
trong đó uα nhận được từ phân bố chuẩn N(0,1): P( u ≥ uα ) = α
•  Cách xác định:
–  Cho α tính được uα; từ r tính được z;
–  Từ uα, r, z tính được (ζˆ1 , ζˆ2 ) ⇒ (ρˆ1, ρˆ2 ) ⇒ (ρˆ1 < ρ < ρˆ2 )


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.3 Hệ số tương quan mẫu

•  Kiểm nghiệm độ rõ rệt của hệ số tương quan:
–  Trong thực tế, do độ lớn của mẫu (dung lượng mẫu) bị hạn chế
nên có thể xảy ra tình huống mặc dù ρ=0 nhưng r≠0, và ngược lại
–  Nói cách khác, trong tính tốn thực hành nếu nhận được r = 0 thì
điều đó khơng có nghĩa là ρ bằng 0.
–  Ngược lại, nếu r≠0 thì cũng không hẳn là ρ khác 0
–  Khi dung lượng mẫu nhỏ thì mặc dù ρ=0 nhưng giá trị của r lại
có thể có ý nghĩa (lớn đáng kể)
–  Để xác minh xem ρ=0 hay ρ≠0 cần phải kiệm nghiệm độ rõ rệt
của r (là ước lượng của ρ)


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.3 Hệ số tương quan mẫu

•  Kiểm nghiệm độ rõ rệt của hệ số tương quan:
–  Để kiểm nghiệm, ta đặt giả thiết H0: ρ = 0
–  Thay ρ ≈ r, với giới hạn tin cậy ban đầu d thì khi H0 đúng, xác
suất phạm sai lầm loại 1 là P( r ≥ d ) = α
Đặt

t=

r
1− r2 / n − 2

tα =

d
1− r2 / n − 2

Khi H0 đúng, t có phân bố Student với n–2 bậc tự do: t∈St(n–2)

⇒ P( r ≥ d ) = P( t ≥ tα ) = α
Từ đó, với α được chọn ta tính được tα từ St(n–2)
Và kết luận:
•  Nếu |t| ≥ tα thì bác bỏ H0 và đưa ra kết luật r lớn rõ rệt
•  Nếu |t| < tα thì chấp nhận H0 và kết luận r không lớn rõ rệt


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.3 Hệ số tương quan mẫu

•  Kiểm nghiệm độ rõ rệt của hệ số tương quan:
–  Ví dụ: Từ tập mẫu {(xt, yt), t=1..11} ta tính được hệ số tương

quan rxy=0.76. Hãy cho biết với giá trị nhận được như vậy thì hệ
số tương quan có lớn rõ rệt khơng nếu chọn xác suất phạm sai
lầm loại 1 là α=0.01?
rxy
0.76
= 3.51
t
=
=
Giải: Ta có
2
2
1 − 0.76 / 11 − 2
1− r / n − 2
•  Với α=0.01, từ St(11-2) xác định được tα=3.25 < t nên bác bỏ giả
thiết Ho và kết luận rxy lớn rõ rệt


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.4 Khái niệm về hồi qui
• Xét hai biến ngẫu nhiên (X,Y)
• Quan hệ giữa X và Y có thể là:
–  Quan hệ hàm
–  Quan hệ tương quan
•  Khi X và Y có quan hệ tương quan:
–  Mỗi giá trị x ∈ X tương ứng với một hàm phân bố (hoặc hàm
mật độ) có điều kiện F(y/x) (hoặc f(y/x)) của Y, và ngược lại
–  Nghiên cứu mối phụ thuộc tương quan cần xác định được các
phân bố có điều kiện
 Rất khó, phức

f ( x, y )
f ( x, y ) tạp, và hầu như
f ( y / x) =
f ( x / y) =
f1 ( x)
f 2 ( y ) không thể thực hiện
được


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.4 Khái niệm về hồi qui
• Một cách làm khác: Chỉ giới hạn xét mối quan hệ phụ thuộc giữa
X với một số đặc trưng có điều kiện của Y, như kỳ vọng, trung vị,
mốt,..
• Phổ biến hơn cả là xét mối quan hệ giữa X và kỳ vọng có điều kiện
của Y: my(x) = M[Y/X=x]
+∞
m y ( x) = M [Y / X = x] = ∫ yf ( y / x)dy
−∞

•  Người ta gọi đây là sự phụ thuộc hồi qui: Hồi qui của Y lên X
Y=my(X) hay y = my(x)
•  Hồi qui này được gọi là hồi qui I: y = my(x) có thể là hàm tuyến
tính hoặc phi tuyến
•  Nói chung, y = my(x) là một hàm bất kỳ, phức tạp, và hầu như
khơng biết được dạng giải tích


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.4 Khái niệm về hồi qui

(xt,yt)
y=my(x)


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.5 Hồi qui bình phương trung bình tuyến tính một biến
• Trong thực tế, để nghiên cứu mối quan hệ tương quan giữa Y và X,
người ta thường xấp xỉ my(x) bởi một lớp hàm f(x) nào đó đã biết
trước dạng giải tích (Chú ý: f(x) là một hàm nào đó, khơng phải là
hàm mật độ của X) m y ( x ) ≈ f ( x ) ⇒ y ≈ ~
y = f ( x)

~
Hay Y ≈ Y = f ( X )

• Trong trường hợp này hàm hồi qui được gọi là hồi qui II
• Nguyên tắc xác định hàm f(x) là cực tiểu hóa hệ thức: M [(Y − f ( X ))2 ]
• Điều đó có nghĩa là tìm trong các hàm φ(X) thuộc lớp hàm Φ một
hàm f(X) nào đó thỏa mãn

M [(Y − f ( X ))2 ] = min M [(Y − ϕ ( X ))2 ]
ϕ (X)∈φ

•  Hàm hồi qui II được xác định bằng phương pháp này gọi là hồi qui
bình phương trung bình


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.5 Hồi qui bình phương trung bình tuyến tính một biến
(xt,yt)

y=my(x)

~
y =f(x)


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.5 Hồi qui bình phương trung bình tuyến tính một biến
(xt,yt)
y=my(x)

~
y=f(x)=α+βx


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.5 Hồi qui bình phương trung bình tuyến tính một biến
•  Trường hợp đơn giản nhất của hồi qui bình phương trung bình là hồi
qui bình phương trung bình tuyến tính - f(x) là hàm bậc nhất:
Y = f(X) = α + βX
α, β là các hằng số. (Để đơn giản ta bỏ
ký hiệu dấu “ngã” phía trên Y và y)
Hay y = f(x) = α + βx
•  Các hằng số α, β được gọi là các hệ số hồi qui
•  Từ phương pháp bình phương tối thiểu ta có:
R 2 = M [(Y − f ( X ))2 ] = M [(Y − α − βX )2 ] =
= M [(Y − M [Y ] + M [Y ] − α − βX + βM [ X ] − βM [ X ])2 ]

[

2

= M ((Y − M [Y ]) − β ( X − M [ X ]) + ( M [Y ] − α − βM [ X ]) )

[

]

= M (Y − M [Y ])2 + β 2 ( X − M [ X ])2 + ( M [Y ] − α − βM [ X ])2 −
− 2 β (Y − M [Y ])( X − M [ X ]) + 2(Y − M [Y ])( M [Y ] − α − βM [ X ]) −
− 2 β ( X − M [ X ])( M [Y ] − α − βM [ X ])]


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.5 Hồi qui bình phương trung bình tuyến tính một biến

[

R 2 = M (Y − M [Y ])2 + β 2 ( X − M [ X ])2 + ( M [Y ] − α − βM [ X ])2 −
− 2 β (Y − M [Y ])( X − M [ X ]) + 2(Y − M [Y ])( M [Y ] − α − βM [ X ]) −
− 2 β ( X − M [ X ])( M [Y ] − α − βM [ X ])]
R 2 = D[Y ] + β 2 D[ X ] + ( M [Y ] − α − βM [ X ])2 − 2 β cov( X , Y ) +
+ 2 M [[Y .M [Y ] − αY − βY .M [ X ] − M [Y ]M [Y ] + αM [Y ] +
+ βM [ X ]M [Y ] − βX .M [Y ] + βαX + β 2 X .M [ X ] +

]

+ βM [ X ]M [Y ] − βαM [ X ] − β 2 M [ X ]M [ X ]
R 2 = D y + β 2 Dx + (m y − α − βmx )2 − 2 β cov( X , Y ) +

+ 2(m 2y − αm y − βmx m y − m 2y + αm y + βmx m y −
− βmx m y + αβmx + β 2mx2 + βmx m y − αβmx − β 2mx2

R2 = Dy + β 2 Dx + (my − α − βmx )2 − 2βµ xy


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.5 Hồi qui bình phương trung bình tuyến tính một biến
R2 = Dy + β 2 Dx + (my − α − βmx )2 − 2βµ xy
∂R 2
− 2( m y − α − β m x ) = 0
= −2 ( m y − α − β m x ) = 0
∂α
⇒ α = m y − βmx
2
∂R
= −2( m y − α − βmx )mx + 2 Dx β − 2 µ xy = 0
∂β
− 2(m y − α − βmx )mx + 2 Dx β − 2µ xy = 0
µxy
Dx β − µ xy = 0 ⇒ β =
Dx
⇒ (m y − (m y − βmx ) − βmx )mx + Dx β − µ xy = 0

β=

µxy
Dx

, α = m y − β mx

Y = f ( X ) = ( m y − mx

µxy
Dx

)+

cov( X , Y )
β=
, α = M [Y ] − βM [ X ]
var( X )

µxy
Dx

X

hay

y = ( m y − mx

µxy
Dx

)+

µxy
Dx

x


CHƯƠNG 8. LÝ THUYẾT TƯƠNG QUAN VÀ HỒI QUI
8.5 Hồi qui bình phương trung bình tuyến tính một biến
µxy µxy
µxy µxy
Y = f ( X ) = (my − mx

β=

µxy
Dx

Dx

, α = m y − β mx

)+

Dx

X,

y = (my − mx

Dx

)+

Dx

x

Đây là phương trình đường thẳng
hồi qui với hệ số góc β

µ xy

µ xy µ xy σ y
µ xy σ y
σy
σy
β=
= 2 = 2
=
= ρ xy
≡ρ
Dx σ x σ x σ y σ xσ y σ x
σx
σx
• Hệ số góc của đường thẳng hồi qui cùng dấu với hệ số tương quan
–  Hệ số tương quan dương: Đường thẳng hồi qui có hướng “đi
lên” từ trái sang phải
–  Hệ số tương quan âm: Đường thẳng hồi qui có hướng “đi
xuống” từ trái sang phải