Phân tích số liệu bằng phần mềm r phần 5

1

Give a man three weapons – correlation, regression and a
pen – and he will use all three (Anon, 1978)

2

Ví dụ
Tuổi và hàm lượng
cholesterol
Trong 18 cá nhân
nghiên cứu

ID
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17

18

Age Chol (mg/ml)
46
3.5
20
1.9
52
4.0
30
2.6
57
4.5
25
3.0
28
2.9
36
3.8
22
2.1
43
3.8
57
4.1
33
3.0
22
2.5
63

4.6
40
3.2
48
4.2
28
2.3
49
4.0
3

1


Nhập dữ liệu trong R
id <- seq(1:18)
age <- c(46, 20, 52, 30,
43, 57, 33, 22,
chol <- c(3.5, 1.9, 4.0,
3.8, 4.1, 3.0,
plot(chol ~ age, pch=16)

57, 25, 28, 36, 22,
63, 40, 48, 28, 49)
2.6, 4.5, 3.0, 2.9, 3.8, 2.1,
2.5, 4.6, 3.2, 4.2, 2.3, 4.0)

2.0

2.5

3.0

chol

3.5

4.0

4.5

4

20

30

40

50

60

a ge

5

Câu hỏi quan tâm
 Mối liên hệ giữa tuổi và hàm lượng cholesterol
 Độ mạnh của mối liên hệ

 Tiên đoán về hàm lượng cholesterol dựa vào tuổi

Phân tích tương quan và hồi quy

6

2


Phương sai và đồng phương sai: đại số
 Gọi x và y là 2 biến ngẫu nhiên lấy ra từ mẫu n quan sát.
 Đo lường Measure sự sai khác của x và y: phương sai
n

 xi  x 2

i 1

n 1

var  x   

n

 yi  y 2

i 1

n 1

var  y   

• Đo mức độ đồng phương sai giữa x và y?
• Quan điểm đại số:
var(x + y) = var(x) + var(y)
var(x + y) = var(x) + var(y) + 2cov(x,y)
Trong đó: cov x, y   1 n  x  x  y  y 
n  1 i 1

i

i

7

Phương sai và đồng phương sai: hình học
 Sự độc lập hoặc phụ thuộc giữa x và y có thể biểu diễn như
sau:

h

y

y

h

H
x
h 2 = x2 + y2

x
h2 = x2 + y2 – 2xycos(H)

8

Ý nghĩa của phương sai và đồng phương sai
 Phương sai luôn luôn dương
 Nếu đồng phương sai= 0, x và y độc lập.
 Đồng phương sai là tổng của các sản phẩm: có thể
âm hoặc dương.
 Đồng phương sai âm= độ lệch trong 2 phân phối
theo hai hướng ngược nhau, ví dụ sai khác về gen.
 Đồng phương sai dương = độ lệch trong 2 phân
phối cùng hướng.
 Đồng phương sai= đo độ mạnh của sự liên hệ

9

3


Đồng phương sai và tương quan
 Đông phương sai là đơn vị độc lập.
 Hệ số tương quan (r) giữa x và y là đồng phương sai chuẩn.
 r được xác định như sau:

cov x, y 
cov x, y 


var  x   var  y  SDx  SD y

r

10

-15

Hệ số tương quan dương và âm
r = -0.9

y

15

-30

20

-25

y

25

-20

30

r = 0.9

8

10

12

14

16

8

10

x

12

14

16

x

11

Kiểm định về giả thiết tương quan
 Giả thiết: Ho: r = 0 đối giả thiết Ho: r không bằng 0.
 Sai số chuẩn của r là:

 Kiểm định t:
1 r 2

SE r  

n 2

n 2
t r
1 r 2

• Kiểm định này có phân phối t với bậc tự do, df=n-2.
• Chuyển sang số z:

1 1 r 
z  ln 

2 1 r 

• Sai số chuẩn của z:

SE z  

1
n3

• 95% mức độ tin cậy của z có thể được xây dựng

z

1
n3
12

4


Ví dụ về phân tích hệ số tương quan
ID

Age Cholesterol
(x) (y; mg/100ml)
46
3.5
20
1.9
52
4.0
30
2.6
57
4.5
25
3.0
28
2.9
36
3.8
22
2.1

43
3.8
57
4.1
33
3.0
22
2.5
63
4.6
40
3.2
48
4.2
28
2.3
49
4.0
Mean 38.83
3.33
SD
13.60
0.84
1
2
3
4
5
6
7

8
9
10
11
12
13
14
15
16
17
18

Cov(x, y) = 10.68
cov x, y 
10.68
r

SDx  SDy



13.60  0.84

 0.94

1  1  0.94 
z  ln 
  0.56
2  1  0.94 
SE z  

1
1

 0.26
n3
15

t-statistic = 0.56 / 0.26 = 2.17
Giá trị với n-2=16, alpha = 5% ta có 2.11
Kết luận: Có sự liên hệ có ý nghĩa giữa tuổi cà
hàm lượng cholesterol.
13

Phân tích hồi quy đơn giản
• Chỉ có 2 biến quan tâm: một biến trả lời, 2 là biến dự đoán
• Không cần điều chỉnh những biến khó (No adjustment is
needed for confounding or covariate)

 Đánh giá:
 Định tính mối quan hệ giữa 2 biến

 Dự đoán
 Dự đoán và đánh giá kiểm định

 Kiểm soát
 Điều chỉnh vì hiệu ứng phức tạp (trong trường hợp nhiều biến)

14

Mối quan hệ giữa độ tuổi và hàm lượng cholesterol

15

5


Hồi quy tuyến tính: Mô hình
 Y : biến ngẫu nhiên đại diện cho biến trả lời
 X : biến ngẫu nhiên đại diện cho biến dự đoán (dự

đoán, yếu tố rủi ro)

 Cả Y và X có thể là biến gián đoạn (ví dụ, có/không) hoặc biến

liên tục( trứng, tuổi).

 Nếu Y là biến gián đoạn thì mô hình là hồi quy logistic; nếu Y là

biến liên tục thì mô hình hồi quy tuyến tính đơn giản

 Mô hình
Y = a + bX + e
a : intercept
b : slope / gradient
 : random error (variation between subjects in y even if x is constant,
e.g., variation in cholesterol for patients of the same age.)

16

Hồi quy tuyến tính: giả thiết
 Mối liên hệ là tuyến tính đối với những tham số khảo sát;
 X được đo lường không có sai số;
 Giá trị của Y độc lập với nhau (e.g., Y1 không tương quan với Y2)
;
 Kí hiệu sai số ngẫu nhiên (e) là phân bố chuẩn với giá trị TB là
không và phương sai là hằng số.

17

Giá trị kỳ vọng và phương sai
 Nếu giả thiết là hợp lý:
 Giá trị kỳ vọng của Y là: E(Y | x) = a + bx
 Phương sai Y is: var(Y) = var(e) = s2

18

6


Ước lượng mô hình tham số
Cho 2 điểm A(x1, y1) và B(x2, y2) trong không gian 2 chiều, chúng
ta có thể đưa ra một phương trình nối các điểm.
dy

y y

Gradient: m  dx  x2  x1
2
1

y
B(x2,y2)

Equation: y = mx + a
dy
A(x1,y1)

Điều gì xẩy ra nếu có
nhiều hơn 3 điểm

dx

a
0

x
19

Ước lượng a and b
 Cho n cặp số: (x1, y1), (x2, y2), (x3, y3), …, (xn, yn)
 Đặt a và b là ước lượng mẫu cho tham số a và b,
 Phương trình mẫu: Y* = a + bx

 Mục tiêu: Tìm giá trị a và b sao cho (Y – Y*) là

nhỏ nhất.

 Đặt SSE = (Yi – a – bxi)2.
 Giá trị a và b tìm được mà SSE nhỏ nhất gọi là

ước lượng bình phương cực tiểu.

20

Tiêu chuẩn ước lượng
yˆ i  a  bxi
d i  yi  yˆ i

yi

Chol

Age
Mục tiêu của ước lượng bình phương cực tiểu là tìm giá trị a và b để d2 là nhỏ nhất.
21

7


Ước lượng giá trị của a và b
 Sau một số công thức tính toán, kết quả thu được như

sau:

a  y  bx

n

Trong đó:

b

S xy
S xx

2

S xx    xi  x 
i 1
n

S xy    xi  x  yi  y 
i 1

• When the regression assumptions are valid, the estimators of a and b
have the following properties:
– Unbiased
– Uniformly minimal variance (eg efficient)
22

Goodness-of-fit
 Bây giờ, ta có phương trình Y = a + bX + e
 Câu hỏi:: Làm cách nào biết phương trình hồi quy mô

tả đúng số liệu?
 Trả lời: Hệ số xác định (R2): tổng số sự khác biệt ở Y

được giải thích do sự khác biệt ở X.

23

Mô tả sự sai khác: các khái niệm
 SST = Sum of squared difference between yi and the mean

of y.

 SSR = sum of squared difference between the predicted

value of y and the mean of y.

 SSE = sum of squared difference between the observed

and predicted value of y.
SST = SSR + SSE

Hệ số xác định R2 là:
R2 = SSR / SST
24

8


Mô tả sự sai khác: Hình học
SSE
SST
Chol (Y)

SSR
mean

Age (X)
25

Mô tả sự sai khác: Đại số
• Một số đại lương thống kê:
• Tổng bình phương phương sai:

n

2

SST    yi  y 
i 1

• Tổng bình phương phương sai: SSR
của mô hình
• Tổng bình phương sai số:

n

2

   yˆ i  y 
i 1
n

SSE    yi  yˆ i 

• Trong đó

2

i 1

• SST = SSR + SSE
• SSR = SST – SSE
26

Phân tích phương sai
 SS tăng theo tỉ lệ đối với kích thước mẫu (n)
 Bình phương trung bình (MS): chuẩn hóa theo bậc tự do (df )
 MSR = SSR / p ( với p = số bậc tự do)
 MSE = SSE / (n – p – 1)
 MST = SST / (n – 1)

• Bảng phân tích phương sai (ANOVA) :
Nguồn gốc
phương sai

Bậc tụ
do
(d.f)

Sum of
squares
(SS)

Mean
squares

(MS)

F-test

Hồi quy
Phần dư
Tổng

p
N–p –1
n–1

SSR
SSE
SST

MSR
MSE

MSR/MSE

27

9


Lưu ý: Báo cáo kết quả
 Các kết quả nên báo cáo đầy đủ các chi tiết: bản chấn của

biến trả lời, biến dự đoán, bất cứ sự chuyển thể nào, kiểm

tra giả thiết, etc.
 Hệ số hồi quy (a, b), sai số chuẩn và R2 là những tóm tắt

hữu dụng.

28

Lưu ý
 Các phương trình là nền tảng cho mối liên hệ về kết
quả trả lời (Equations are the cornerstone on which
the edifice of science rests)
 Phương trình giống như bài thơ, đôi khi là củ hành
 Vì thế cẩn thận khi xây dựng phương trình!

29

Kiểm định giả thiết trong phân tích hồi quy
 Ta có

Mẫu:
Tập hợp:

Y = a + bX + e
Y = a + bX + e

 Ho: b = 0. Không có sự liên hệ giữa biến kết quả X và

biến dự đoán (Y).

 Nói theo ngôn ngữ bình dân: “what is the chance, given

the sample data that we observed, of observing a
sample of data that is less consistent with the null
hypothesis of no association?”

30

10


Suy diễn về độ dốc (tham số b)
 Nhắc lại eđể khẳng định đó là phân phối chuẩn

với giá trị trung bình =0 và phương sai = s2.

 Ước lượng của s2 là MSE ( hoặc s2)
 Có thể cho thấy:
 Kỳ vọng của giá trị b là b, ví dụ. E(b) = b,
 Sai số chuẩn của b là:

SE b   s / S xx
 Sau đó giả sử b = 0 thì: t = b / SE(b) tuân theo

phân phối t với bậc tự do là n-1

31

Khoảng tin cậy quanh giá trị dự đoán
 Giá trị quan sát là Yi.
 Giá trị dự đoán là

Yˆi  a  bxi

 Sai số chuẩn của giá trị tiên đoán là:
2

1 x  x 
SE Yˆi   s 1   i
n
S xx
Khoảng ước lượng của giá trị Yi

Yˆi  SE Yˆi  t n  p 1,1 / 2 
32

Kiểm tra giả thiết





Kiểm tra sự ổn định phương sai
Kiểm tra phân phối chuẩn
Tính chính xác của hàm số
Sự ổn định của mô hình

 Tất cả có thể tiến hành bởi phân tích đồ thị. Giá trị

phần dư từ mô hình hoặc đồ thị phần dư đóng vai trò
quan trọng trong tất cả các quy trình phân tích

33

11


Kiểm tra giả thiết
 Kiểm tra về phương sai (constant)
 Plot the studentized residuals versus their predicted values.

Examine whether the variability between residuals remains
relatively constant across the range of fitted values.

 Assumption of normality
 Plot the residuals versus their expected values under normality

(Normal probability plot). If the residuals are normally distributed,
it should fall along a 45o line.

 Correct functional form?
 Plot the residuals versus fitted values. Examine whether the

residual plot for evidence of a non-linear trend in the value of the
residual across the range of fitted values.

 Model stability
 Check whether one or more observations are influential. Use

Cook’s distance.

34

Checking assumptions (Cont)
 Cook’s distance (D) is a measure of the magnitude

by which the fitted values of the regression model
change if the ith observation is removed from the data
set.
 Leverage is a measure of how extreme the value of xi
is relative to the remaining value of x.
 The Studentized residual provides a measure of
how extreme the value of yi is relative to the
remaining value of y.

35

Đo lường sự chính xác
 Non-constant variance
 Transform the response variable (y) to a new scale (e.g.

logarithm) is often helpful.
 If no transformation can achieve the non-constant variance

problem, use a more robust estimator such as iterative weighted
least squares.

 Non-normality
 Non-normality and non-constant variance go hand-in-hand.

 Outliers

 Check for accuracy
 Use robust estimator

36

12


Regression analysis using R
id <- seq(1:18)
age <- c(46, 20, 52, 30,
43, 57, 33, 22,
chol <- c(3.5, 1.9, 4.0,
3.8, 4.1, 3.0,

57, 25, 28, 36, 22,
63, 40, 48, 28, 49)
2.6, 4.5, 3.0, 2.9, 3.8, 2.1,
2.5, 4.6, 3.2, 4.2, 2.3, 4.0)

#Fit linear regression model
reg <- lm(chol ~ age)
summary(reg)

37

ANOVA result
> anova(reg)
Analysis of Variance Table
Response: chol

Df Sum Sq Mean Sq F value
Pr(>F)
age
1 10.4944 10.4944 114.57 1.058e-08 ***
Residuals 16 1.4656 0.0916
--Signif. codes:

0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

38

Results of R analysis
> summary(reg)
Call:
lm(formula = chol ~ age)
Residuals:
Min
1Q
Median
-0.40729 -0.24133 -0.04522

3Q
0.17939

Max
0.63040

Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 1.089218

0.221466
4.918 0.000154 ***
age
0.057788
0.005399 10.704 1.06e-08 ***
--Signif. codes:

0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 0.3027 on 16 degrees of freedom
Multiple R-Squared: 0.8775,
Adjusted R-squared: 0.8698
F-statistic: 114.6 on 1 and 16 DF, p-value: 1.058e-08
39

13


Diagnostics: influential data
par(mfrow=c(2,2))
plot(reg)

No rmal Q-Q
8

1

0.2

-1

0.0

6

0

Standardized residuals

2

8

-0.4

Residuals

0.4

0.6

Residua ls vs F itte d

6

17
17

3.0

3.5

4.0

4.5

-2

-1

0

1

Fitted values

Theoretic al Quantiles

Scale-Loca tion

Re sid uals vs Levera ge

2

8

1

2

8
0. 5

1

6

0

Standardized residuals

1.0

17

-1

6

0.5

Standardized residuals

1.5

2.5

2

0.0

Cook's distance
2.5

3.0

3.5

4.0

4.5

0.00

0.05

Fitted values

0.10

0. 5

0.15

0.20

Leverage

0.25

40

A non-linear illustration: BMI and sexual attractiveness
 Study on 44 university students
 Measure body mass index (BMI)
 Sexual attractiveness (SA) score
id <- seq(1:44)
bmi <- c(11.00, 12.00,
14.00, 14.00,
16.50, 17.00,
20.00, 20.00,
24.00, 24.50,
28.00, 29.00,
36.00, 36.00)
sa <- c(2.0, 2.8, 1.8,
3.2, 3.7, 5.5,
6.5, 4.9, 5.0,
3.5, 4.0, 3.7,
2.1, 2.0, 1.8,

12.50,
14.80,
17.00,
20.00,
25.00,
31.00,
1.8,
5.2,
5.3,
3.6,

1.7)

14.00,
15.00,
18.00,
20.50,
25.00,
32.00,

2.0,
5.1,
5.0,
3.4,

14.00,
15.00,
18.00,
22.00,
26.00,
33.00,

2.8,
5.7,
4.2,
3.3,

3.2,
5.6,
4.1,
2.9,

14.00,
15.50,
19.00,
23.00,
26.00,
34.00,

3.1,
4.8,
4.7,
2.1,

14.00,
16.00,
19.00,
23.00,
26.50,
35.50,

4.0,
5.4,
3.5,
2.0,

1.5,
6.3,
3.7,
2.1,
41

Linear regression analysis of BMI and SA
reg <- lm (sa ~ bmi)
summary(reg)
Residuals:
Min
1Q
-2.54204 -0.97584

Median
0.05082

3Q
1.16160

Max
2.70856

Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 4.92512
0.64489
7.637 1.81e-09 ***
bmi
-0.05967
0.02862 -2.084
0.0432 *
--Signif. codes:

0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

Residual standard error: 1.354 on 42 degrees of freedom
Multiple R-Squared: 0.09376,
Adjusted R-squared: 0.07218
F-statistic: 4.345 on 1 and 42 DF, p-value: 0.04323
42

14


BMI and SA: analysis of residuals
plot(reg)

No rmal Q-Q

3

Residua ls vs F itte d

0
10

-2

-3

10

3.0

3.5

4.0

-2

-1

Fitted values

1

2

Re sid uals vs Levera ge

0
-1

Standardized residuals

0.8

3

0.0

-2

0.4

1

2

10

1.2

21
20

Standardized residuals

0

Theoretic al Quantiles

Scale-Loca tion

3.0

21

1

20

-1

1
0
-1
-2

Residuals

2

Standardized residuals

2

21
20

3.5

4.0

10
Cook's distance

0.00

0.02

0.04

Fitted values

1

0.06

0.08

0.10

0.12

43

Leverage

BMI and SA: a simple plot

4
2

3

sa

5

6

par(mfrow=c(1,1))
reg <- lm(sa ~ bmi)

plot(sa ~ bmi, pch=16)
abline(reg)

10

15

20

25

30

35

bmi

44

Re-analysis of sexual attractiveness data
# Fit 3 regression models
linear <- lm(sa ~ bmi)
quad <- lm(sa ~ poly(bmi, 2))
cubic <- lm(sa ~ poly(bmi, 3))
# Make new BMI axis
bmi.new <- 10:40
# Get predicted values
quad.pred <- predict(quad,data.frame(bmi=bmi.new))
cubic.pred <- predict(cubic,data.frame(bmi=bmi.new))
# Plot predicted values

abline(reg)
lines(bmi.new, quad.pred, col="blue",lwd=3)
lines(bmi.new, cubic.pred, col="red",lwd=3)

45

15


6
5
4

sa

3
2

10

15

20

25

30

35

b mi

46

Some comments:
Interpretation of correlation
 Correlation lies between –1 and +1. A very small correlation
does not mean that no linear association between the two
variables. The relationship may be non-linear.
 For curlinearity, a rank correlation is better than the
Pearson’s correlation.
 A small correlation (eg 0.1) may be statistically significant,
but clinically unimportant.
 R2 is another measure of strength of association. An r = 0.7
may sound impressive, but R2 is 0.49!
 Correlation does not mean causation.
47

Some comments:
Interpretation of correlation
 Be careful with multiple correlations. For p variables, there are
p(p – 1)/2 possible pairs of correlation, and false positive is a
problem.
 Correlation can not be inferred directly from association.
 r(age, weight) = 0.05; r(weight, fat) = 0.03; it does not mean that
r(age, fat) is near zero.
 In fact, r(age, fat) = 0.79.

48

16


Some comments: Interpretation of regression
 The fitted line (regression) is only an estimated of the
relation between these variables in the population.
 Uncertainty associated with estimated parameters.
 Regression line should not be used to make prediction
of x values outside the range of values in the observed
data.
 A statistical model is an approximation; the “true”
relation may be nonlinear, but a linear is a reasonable
approximation.
49

Lưu ý: Báo cáo kết quả
 Các kết quả nên báo cáo đầy đủ các chi tiết: bản chấn của

biến trả lời, biến dự đoán, bất cứ sự chuyển thể nào, kiểm
tra giả thiết, etc.
 Hệ số hồi quy (a, b), sai số chuẩn và R2 là những tóm tắt

hữu dụng.

50

Lưu ý
 Các phương trình là nền tảng cho mối liên hệ về kết
quả trả lời (Equations are the cornerstone on which
the edifice of science rests)

 Phương trình giống như bài thơ, đôi khi là củ hành
 Vì thế cẩn thận khi xây dựng phương trình!

51

17