Hướng dẫn phân tích hồi quy tuyến tính với Stata

HỒI QUY TUYẾN TÍNH VỚI 01 BIẾN ĐỘC LẬP ĐỊNH LƯỢNG......................2
HỒI QUY TUYẾN TÍNH VỚI 01 BIẾN ĐỊNH TÍNH...........................................10
HỒI QUY TUYẾN TÍNH ĐA BIẾN VỚI NHIỀU BIẾN ĐỘC LẬP ĐỊNH
LƯỢNG...................................................................................................................12
HỒI QUY TUYẾN TÍNH VỚI BIẾN ĐỘC LẬP CÓ BIẾN ĐỊNH TÍNH HAI GIÁ
TRỊ (MÔ HÌNH ANCOVA)....................................................................................19
HỒI QUY TUYẾN TÍNH VỚI BIẾN ĐỘC LẬP CÓ BIẾN ĐỊNH TÍNH TRÊN
HAI GIÁ TRỊ (MÔ HÌNH ANCOVA)....................................................................27
CHỌN COVARIATE ĐƯA VÀO MÔ HÌNH.........................................................34


HỒI QUY TUYẾN TÍNH VỚI 01 BIẾN ĐỘC LẬP
ĐỊNH LƯỢNG

Kết quả mô hình tuyến tính cho thấy chi phí (expense) càng nhiều thì điểm
SAT càng thấp.
F test ở trên cùng dùng để đánh giá giả thuyết H0 rằng hệ số của tất cả các
biến tiên đoán trong mô hình (ở đây là biến expense) đều bằng 0. Giá trị F = 13,61
với với 1 và 49 độ tự do, và p < 0,001 đã bác bỏ giả thuyết này. Prob > F nghĩa là
“xác suất F lớn hơn” nếu chúng ta rút ra một mẫu ngẫu nhiên từ dân số mà giả
thuyết H0 là đúng.
Ở góc trên phải, chúng ta có R2 = 0,2174. Chi phí giải thích cho 22% sự thay
đổi trong chỉ số SAT của bang. Adjusted R2 = 0,205 liên quan đến độ phức tạp của
mô hình.
Bảng dưới cho phương trình dự đoán SAT:
csat = 1060.732 – 0.0222758 x expense
Cột thứ hai liệt kê sai số chuẩn ước lượng của hệ số. Các số này dùng để tính
t test (cột 3-4) và khoảng tin cậy (cột 5-6) cho từng hệ số hồi quy. Giá trị t (hệ


số/sai số chuẩn) test giả thuyết H0 tương ứng hệ số của dân số bằng 0. Với alpha =

0,05 thì cả hai giả thuyết cho hệ số và điểm chặn đều bị bác.
. predict yhat, xb

Sau khi chạy lệnh regress chúng ta có thể tạo giá trị tiên đoán bằng lệnh predict.
Otion xb có nghĩa là “x’s times betas” và tượng trưng cho β1 + β2xi
. twoway (scatter salary market) (line yhat market, sort), ytitle(Academic salary)

20000

Academic salary
40000
60000
80000

100000

xtitle(Marketability)

.6

.8

1
Marketability
salary

1.2

1.4

Linear prediction

Đồ thị giữa các giá trị quan sát (yi, xi) và đường thẳng nối các điểm tiên đoán từ mô
hình.
Đồ thị cho thấy đường thẳng có vẻ phù hợp tốt và giả định phương sai hằng định
không bị vi phạm.
Có sự phân tán đáng kể xung quanh đường hồi quy với chỉ có 16.6% (R-squared
trong kết quả hồi quy) sự biến thiên trong salaries là được giải thích bởi
marketbility.


Chúng ta cũng có thể tạo biến mới là hệ số dư của mô hình bằng lệnh predict
với option resid.
. graph twoway mspline yhat percent,band(50) || scatter csat percent ||, ytitle(mean

800

900

mean of sat

1000

1100

of sat) legend(off)

0

20

40
% HS graduates taking SAT

60

80

Vừa vẽ đồ thị phân tán đồ giữa biến csat và percent và đường hồi quy tuyến
tính giữa giá trị tiên đoán và biến percent.
mspline: là vẽ đường cong bậc ba ứng với 50 trung vị cắt ngang. Trong
trường hợp tuyến tính thì chỉ vẽ một đường thẳng còn trong trường hợp giá trị
tiên đoán không tuyến tính thì sẽ là một đường cong.
. rvfplot, yline(0)


100
50
Residuals
0
-50
850

900

950
Fitted values

1000

1050

Vẽ biểu đồ giá trị tiên đoán và hệ số dư (residual-versus-predicted-values
plots). Biểu đồ cho thấy mô hình hiện tại nhìn ra được kiểu hiển nhiên trong dữ
liệu. Hệ số dư hoặc sai số trong dự đoán dường như hầu hết dương tính lúc ban
đầu (do tiên đoán quá cao), sau đó hầu như âm tính và sau đó là dương tính trở
lại. Điều này cho thấy mối quan hệ giữa điểm SAT và percent là quan hệ U-shape
chứ không phải tuyến tính.


. graph twoway lfitci csat percent,stdp || scatter csat percent,msymbol(0) ||,
ytitle(mean of sat) legend(off)
named style 0 not found in class symbol, default attributes used)

800

900

mean of sat

1000

1100

(note:

0

20

40
% HS graduates taking SAT

60

80

Vẽ khoảng tin cậy 95% cho trung bình có điều kiện (nghĩa là giá trị trung
bình với một giá trị x ước lượng trước). Khoảng tin cậy 95% trong trường hợp này
diễn tả sự không chắc chắn trong ước lượng trung bình có điều kiện của y tại một
giá x cho trước (hay là kết hợp nhiều x trong hồi quy tuyến tính). Khoảng tin cậy có
hình thu nhỏ lại ở trung tâm chính là trung bình của x.


. gen percent2 = percent^2
. regress csat percent percent2
Source |

SS

df

MS

-------------+----------------------------------

Number of obs

=

51

F(2, 48)

=

153.48

Model |

193721.829

2

96860.9146

Prob > F

=

0.0000

Residual |

30292.6806

48

631.097513

R-squared

=

0.8648

Adj R-squared

=

0.8591

Root MSE

=

25.122

-------------+---------------------------------Total |

224014.51

50

4480.2902

-----------------------------------------------------------------------------csat |

Coef.

Std. Err.

t

P>|t|

[95% Conf. Interval]

-------------+---------------------------------------------------------------percent |

-6.111993

.6715406

-9.10

0.000

-7.462216

-4.76177

percent2 |

.0495819

.0084179

5.89

0.000

.0326566

.0665072

_cons |

1065.921

9.285379

114.80

0.000

1047.252

1084.591

-----------------------------------------------------------------------------. predict yhat2
(option xb assumed; fitted values)
. graph twoway mspline yhat2 percent, bands(50)|| scatter csat percent||, legend (off)
ytitle(mean sat)


1100
1000
mean sat
900

800
0

20

40
% HS graduates taking SAT

. quietly regress csat percent percent2
. rvfplot, yline(0)

60

80


50
Residuals
0
-50
850

900

950
Fitted values

1000

1050

Vì mối liên quan giữa csat và percent có dạng U-shaped nên chúng ta phải
chạy mô hình hồi quy lũy thừa bằng các thêm biến bình phương percent vào mô
hình.
Mô hình lũy thừa có R2 tốt hơn mô hình tuyến tính (0,86 so với 0,83). Đồ thị
hệ số dư cũng cho thấy mối quan hệ đã hầu như trở thành đường thẳng.


HỒI QUY TUYẾN TÍNH VỚI 01 BIẾN ĐỊNH TÍNH
. regress salary male
Source |

SS

df

MS

-------------+----------------------------------

Number of obs

=

514

F(1, 512)

=

76.96

Model |

1.0765e+10

1

1.0765e+10

Prob > F

=

0.0000

Residual |

7.1622e+10

512

139887048

R-squared

=

0.1307

Adj R-squared

=

0.1290

Root MSE

=

11827

-------------+---------------------------------Total |

8.2387e+10

513

160599133

-----------------------------------------------------------------------------salary |

Coef.

Std. Err.

t

P>|t|

[95% Conf. Interval]

-------------+---------------------------------------------------------------male |

10582.63

1206.345

8.77

0.000

8212.636

12952.63

_cons |

42916.6

1045.403

41.05

0.000

40862.8

44970.41

Chạy mô hình hồi quy cho biến định tính. Mô hình này tương tự như chạy phép
kiểm t-test hai mẫu độc lập chỉ khác là biến hiệu hai trung bình có dấu khác nhau.


. regress salary male, vce(robust)
Linear regression

Number of obs

=

514

F(1, 512)

=

105.26

Prob > F

=

0.0000

R-squared

=

0.1307

Root MSE

=

11827

-----------------------------------------------------------------------------|
salary |

Robust
Coef.

Std. Err.

t

P>|t|

[95% Conf. Interval]

-------------+---------------------------------------------------------------male |

10582.63

1031.462

10.26

0.000

8556.213

12609.05

_cons |

42916.6

808.184

53.10

0.000

41328.84

44504.37

Chúng ta có thể giải phóng giả định homoskedasticity (and normality) trong hồi
quy tuyến tính bằng cách thay model-based estimator truyền thống đối với sai số
chuẩn bằng sandwich estimator.
Option vce(robust) (vce là “variance–covariance matrix of estimates) sẽ chạy mô
hình với sandwich estimator.
Số t hầu như giống với t trong phép kiểm t-test với phương sai không bằng nhau.


HỒI QUY TUYẾN TÍNH ĐA BIẾN VỚI NHIỀU
BIẾN ĐỘC LẬP ĐỊNH LƯỢNG

Chạy mô hình hồi quy tuyến tính ước lượng expense tiên đoán cho csat,
hiệu chỉnh theo các biến percent, income, high và college.
Phương trình hồi quy có dạng

Chỉ có hệ số của percent là có ý nghĩa thống kê. Phương trình này gọi là “ hệ
số hồi quy từng phần bậc 4” vì hiệu chỉnh theo 4 biến (percent, income, high và
college).
Phương trình giải thích như sau: chỉ có điểm SAT sẽ giảm -2,618 điểm cho
mỗi phần trăm số người tốt nghiệp trung học thi SAT tăng lên, nếu high, expense,
income, high và college không thay đổi.
Cả 5 biến trong mô hình này giải thích cho 80% các thay đổi trong điểm
SAT trung bình (R2 = 0,8048). Ngược lại mô hình ban đầu chỉ giải thích cho 20%
sự thay đổi mà thôi.


Sau khi chạy lệnh regress chúng ta có thể tạo giá trị tiên đoán bằng lệnh
predict.

Chúng ta cũng có thể tạo biến mới là hệ số dư của mô hình bằng lệnh predict
với option resid. Hệ số dư tính bằng cách lấy giá trị quan sát được trừ cho giá trị
tiên đoán từ mô hình. Nếu hệ số dư âm nghĩa là mô hình đã tiên đoán quá lố các
giá trị quan sát. Nghĩa là tại các bang này, điểm trung bình SAT thấp hơn so với
chúng ta mong đợi. Nếu hệ số dư dương thì có nghĩa giá trị quan sát lớn hơn giá trị
tiên đoán.
. histogram res, normal

Vẽ phân phố của hệ số dư tiên đoán từ mô hình. Phân phối hệ số dư có vẽ bị lệch
do đó biến phụ thuộc là salary cần phải log tranform.

. graph matrix

percent percent2 high csat, half msymbol(+)

% HS
graduates
taking
SAT
6000
4000

percent2

2000
0
90

%
adults
HS
diploma

80
70
60
1100

Mean
composite

SAT
score

1000
900
800
0

50

1000

2000 4000 600060

70

80

90

Ma trận phân tán đồ cho thấy tương quan giữa 4 biến trong mô hình. Biến
percent2 cho phép mô hình sữa chữa được mối quan hệ đường cong giữa csat và
percent.
. ovtest
Ramsey RESET test using powers of the fitted values of csat
Ho:

model has no omitted variables
F(3, 44) =

1.48

Prob > F =

0.2319

Phép kiểm biến loại bỏ (omitted-variable test) chủ yếu hồi quy y theo các
biến x, và cũng là sức mạnh hai, ba và 4 của biến tiên đoán y (sau khi chuẩn hóa
giá trị tiên đoán với trung bình 0 và phương sai 1). Phép kiểm thực hiện F test với
giả thuyết H0 rằng tất cả 3 hệ số trên sức mạnh của giá trị tiên đoán = 0. Nếu
chúng ta bác bỏ H0 các bậc lũy thữa cao hơn sẽ cải thiện mô hình. Với mô hình
này, chúng ta không cần bác bỏ giả thuyết H0.


. hettest
Breusch-Pagan / Cook-Weisberg test for heteroskedasticity
Ho: Constant variance
Variables: fitted values of csat
chi2(1)

=

4.86

Prob > chi2

=

0.0274

Phép kiểm đồng nhất lệch (heeroskedasticity test) kiểm tra giả định phương
sai sai lệch hằng định bằng cách kiểm tra hệ số dư chuẩn bình phương có tuyến
tính với giá trị tiên đoán hay không. Kết quả mô hình cho thấy rằng chúng ta bác
bỏ giả thuyết H0 về phương sai hằng định.


-40

-20

Residuals
0

20

40

. rvfplot, yline(0)

850

900

950
Fitted values

1000

1050

Đồ thị giữa giá trị tiên đoán và hệ số dư của mô hình bao gồm một đường
ngang tại giá trị 0 chính là trung bình hệ số dư. Đồ thị cho thấy hệ số dư phân bố
đều xung quanh giá trị 0 (phân bố đều chính là đặc điểm của giả định sai số bình
thường), và không có giá trị ngoại lai hoặc đường cong. Tuy nhiên, sự phân tán
của hệ số dư dường như lớn hơn cho các giá trị tiên đoán trên trung bình của y, là
lý do mà phép kiểm hettest trước đó bác bỏ giả thuyết phương sai hằng định.


100

-100

-50

e( csat | X )
0
50

e( csat | X )
-50
0
50

100

. avplots

-10

-5

0
e( percent | X )

5

10

0
500
e( percent2 | X )

1000

coef = .05365555, se = .00636777, t = 8.43

-50

e( csat | X )
0

50

coef = -6.5203116, se = .50958046, t = -12.8

-500

-10

-5

0
e( high | X )

5

10

coef = 2.9865088, se = .48575023, t = 6.15

Đồ thị giữa biến y và các biến predictor x gọi là đồ thị hệ số dư hiệu chỉnh
từng phần hoặc đồ thị biến số hiệu chỉnh, mô tả mối quan hệ giữa biến y và x hiệu
chỉnh ảnh hưởng của các biến số x khác.
Đồ thị giúp khám phá các quan sát gây ra ảnh hưởng bất đồng lên mô hình
hồi quy. Đồ thị cho thấy giữa biến high và csat có một số số ngoại lai.


. regress salary i.male c.marketc##c.yearsdg i.rank
Source |

SS

df

MS

=

514

F(6, 507)

=

247.16

Prob > F

=

0.0000

R-squared

=

0.7452

Adj R-squared

=

0.7422

Root MSE

=

6434.4

-------------+----------------------------------

Number of obs

Model |

6.1397e+10

6

1.0233e+10

Residual |

2.0990e+10

507

41401072

-------------+---------------------------------Total |

8.2387e+10

513

160599133

------------------------------------------------------------------------------------salary |

Coef.

Std. Err.

t

P>|t|

[95% Conf. Interval]

--------------------+---------------------------------------------------------------male |
Men

|

926.1298

712.2859

1.30

0.194

-473.2657

2325.525

marketc |

46905.65

3455.747

13.57

0.000

40116.31

53695

yearsdg |

540.73

51.40369

10.52

0.000

439.7395

641.7205

-750.415

214.1251

-3.50

0.000

-1171.097

-329.7334

|
c.marketc#c.yearsdg |
|
rank |
Associate

|

3303.134

859.6452

3.84

0.000

1614.229

4992.04

Full

|

11573.46

1165.936

9.93

0.000

9282.799

13864.12

36044.19

711.6195

50.65

0.000

34646.1

37442.28

|
_cons |

Chạy mô hình hồi quy với tương tác giữa hai biến liên tục là marketc và yearsdg.

HỒI QUY TUYẾN TÍNH VỚI BIẾN ĐỘC LẬP CÓ
BIẾN ĐỊNH TÍNH HAI GIÁ TRỊ (MÔ HÌNH
ANCOVA)
. regress salary i.male marketc yearsdg

Source |

SS

df

MS

-------------+----------------------------------

Number of obs

=

514

F(3, 510)

=

367.56

Model |

5.6333e+10

3

1.8778e+10

Prob > F

=

0.0000

Residual |

2.6054e+10

510

51087083.4

R-squared

=

0.6838

Adj R-squared

=

0.6819

Root MSE

=

7147.5

-------------+---------------------------------Total |

8.2387e+10

513

160599133

-----------------------------------------------------------------------------salary |

Coef.

Std. Err.

t

P>|t|

[95% Conf. Interval]

-------------+---------------------------------------------------------------male |
Men

|

2040.211

783.122

2.61

0.009

501.6684

3578.753

marketc |

38402.39

2171.689

17.68

0.000

34135.83

42668.95

yearsdg |

949.2583

35.94867

26.41

0.000

878.6326

1019.884

_cons |

34834.3

733.7898

47.47

0.000

33392.68

36275.93

------------------------------------------------------------------------------.
Lệnh regress đơn thuần cũng chạy mô hình ANCOVA như lệnh xi: tuy nhiên đối
với lệnh regress chỉ dành cho biến định tính có hai giá trị (male có giá trị male = 1

và female=0). Còn lệnh xi: giúp lập mô hình cho biến định tính nhiều giá trị.


margins male, at(marketc=0 yearsdg=10)
Adjusted predictions

Number of obs

Model VCE

: OLS

Expression

: Linear prediction, predict()

at

: marketc

=

0

yearsdg

=

10

=

514

-----------------------------------------------------------------------------|
|

Delta-method
Margin

Std. Err.

t

P>|t|

[95% Conf. Interval]

-------------+---------------------------------------------------------------male |
Women

|

44326.89

639.7602

69.29

0.000

43070

45583.78

Men

|

46367.1

444.0554

104.42

0.000

45494.7

47239.5

Chúng ta có thể đạt được ước lượng trung bình tiên đoán cho cả hai giới tính với
một giá trị nhất định của các covariate khác trong mô hình. Ở đây chúng ta chọn
marketc==0 và year==10.
Sự khác biệt trong trung bình hiệu chỉnh tương đương hệ số ước lượng của biến giả
giới tính.


.

margins male

Predictive margins

Number of obs

Model VCE

: OLS

Expression

: Linear prediction, predict()

=

514

-----------------------------------------------------------------------------|
|

Delta-method
Margin

Std. Err.

t

P>|t|

[95% Conf. Interval]

-------------+---------------------------------------------------------------male |
Women

|

49331.73

667.2756

73.93

0.000

48020.78

50642.68

Men

|

51371.94

370.7068

138.58

0.000

50643.64

52100.24

Chúng ta cũng có thể ước lượng trung bình lương mà male và female sẽ có nếu cả
hai giới đều có cùng phân phối covariate marketc và yearsdg, cụ thể là phân phối
của mẫu kết hợp nam và nữ


. generate male_years = male*yearsdg
. regress salary male marketc yearsdg male_years
Source |

SS

df

MS

-------------+----------------------------------

Number of obs

=

514

F(4, 509)

=

279.95

Model |

5.6641e+10

4

1.4160e+10

Prob > F

=

0.0000

Residual |

2.5746e+10

509

50581607.4

R-squared

=

0.6875

Adj R-squared

=

0.6850

Root MSE

=

7112.1

-------------+---------------------------------Total |

8.2387e+10

513

160599133

-----------------------------------------------------------------------------salary |

Coef.

Std. Err.

t

P>|t|

[95% Conf. Interval]

-------------+---------------------------------------------------------------male |

-593.3088

1320.911

-0.45

0.654

-3188.418

2001.8

marketc |

38436.65

2160.963

17.79

0.000

34191.14

42682.15

yearsdg |

763.1896

83.4169

9.15

0.000

599.3057

927.0734

male_years |

227.1532

91.99749

2.47

0.014

46.41164

407.8947

_cons |

36773.64

1072.395

34.29

0.000

34666.78

38880.51

Chạy mô hình hồi quy tuyến tính với biến tương tác giữa male và yearsdg. Kết quả
cho thấy khi thời gian từ khi tốt nghiệp là 0 năm (yearsdg=0) thì lương trung bình
dân số của nam thấp hơn lương trung bình dân số của nữ (sau khi hiệu chỉnh cho
marketc) là 593$. Khi mỗi năm kinh nghiệm tăng lên, thì chúng ta thêm vào lương
trung bình của nam là 227$. Đến trên 2 năm kinh nghiệm một chút thì sự khác biệt
về lương của hai giới gần như bằng 0. Sau 10 năm kinh nghiệm thì mức lương của
nam cao hơn nữ là -$593.31+$227.15×10 = $1,678. Sau 20 năm thì mức lương của
nam cao hơn nữ là -$593.31+$227.15×20 = $3,949. Sau 30 năm thì mức lương của
nam cao hơn nữ là -$593.31 + $227.15×30 = $6,221.


Mặc dù khoảng cách lương giới tính ước lượng khi mức kinh nghiệm sau tốt
nghiệp bằng 0 không có ý nghĩa thống kê ở mức 5% (t=-0,45, df=509, p=0,65), sự
thay đổi về lương theo giới tính khi số năm kinh nghiệm tăng lên lại có ý nghĩa
thống kê (t=2,47, df=509, p=0,01).
. lincom male + male_years*10

( 1)

male + 10*male_years = 0

-----------------------------------------------------------------------------salary |

Coef.

Std. Err.

t

P>|t|

[95% Conf. Interval]

-------------+---------------------------------------------------------------(1) |

1678.223

792.9094

2.12

0.035

120.4449

3236.001

------------------------------------------------------------------------------

Nếu chúng ta muốn biết rằng một nhân viên có 10 năm kinh nghiệm thì khoảng
cách lương theo giới tính là bao nhiêu và có ý nghĩa thống kê hay không chúng ta
sử dụng lệnh lincom (linear combination) để chạy test thống kê H0: β2 + β5 × 10 =
0. Kết quả cho thấy sự khác biệt có ý nghĩa thống kê (p=0,035).
. twoway (function Women =_b[_cons] + _b[yearsdg]*x, range(0 41) lpatt(dash))(function
Men =_b[_cons] + _b[male] + (_b[yearsdg] +_b[male_years])*x,range(0 41) lpatt(solid)),

M e a n s a la ry
40000 50000 60000 70000 80000

xtitle(Time since degree (years)) ytitle(Mean salary)

0

10

20
Time since degree (years)
Women

30

Men

40


Sau khi chạy mô hình chúng ta cũng có thể vẽ đường tiên đoán lương của hai giới

nam và nữ theo thời gian kinh nghiệm. Để vẽ được đồ thị này chúng ta phải giả
định trong mô hình các covariate khác có giá trị =0. ở đây có biến marketc thì biến
marketc sẽ có giá trị = 0. Khi đó đồ thị sẽ biểu diễn hàm tuyến tính lương của hai
giới theo số năm có kinh nghiệm.
. regress salary male marketc yearsdg i.male#c.yearsdg
Source |

SS

df

MS

-------------+----------------------------------

Number of obs

=

514

F(4, 509)

=

279.95

Model |

5.6641e+10

4

1.4160e+10

Prob > F

=

0.0000

Residual |

2.5746e+10

509

50581607.4

R-squared

=

0.6875

Adj R-squared

=

0.6850

Root MSE

=

7112.1

-------------+---------------------------------Total |

8.2387e+10

513

160599133

-------------------------------------------------------------------------------salary |

Coef.

Std. Err.

t

P>|t|

[95% Conf. Interval]

---------------+---------------------------------------------------------------male |

-593.3088

1320.911

-0.45

0.654

-3188.418

2001.8

marketc |

38436.65

2160.963

17.79

0.000

34191.14

42682.15

yearsdg |

763.1896

83.4169

9.15

0.000

599.3057

927.0734

227.1532

91.99749

2.47

0.014

46.41164

407.8947

36773.64

1072.395

34.29

0.000

34666.78

38880.51

|
male#c.yearsdg |
Men

|
|

_cons |

Thay vì tạo biến tương tác male_years, chúng ta chỉ cần đưa vào mô hình một biến
tương tác với cấu trúc cách nhau bởi dấu #. Phần i trước biến male chỉ rằng đây là
biến phân loại (indicator) còn phần c trước biến yearsdg chỉ rằng đây là biến định
lượng (continuous)