A. LÍ THUYẾT:
I.GIỚI THIỆU VỀ ĐA CỘNG TUYẾN:
Thông thường các biến độc lập không có mối quan hệ tuyến tính, nếu
quy tắc này bị vi phạm sẽ có hiện tượng đa cộng tuyến. Như vậy, đa cộng tuyến
là hiện tượng các biến độc lập trong mô hình phụ thuộc lẫn nhau và thể hiện
được dưới dạng hàm số
II.
CÁC CÁCH PHÁT HIỆN HIỆN TƯỢNG ĐA CỘNG TUYẾN:
1.
R 2 cao nhưng tỉ số t thấp
Trong trường hợp R 2 cao (thường R 2 > 0,8) mà tỉ số t thấp thì đó chính là dấu
hiệu của hiện tượng đa cộng tuyến .
2.
Tương quan cặp giữa các biến giải thích cao
Nếu hệ số tương quan cặp giữa các biến giải thích cao (vượt 0,8) thì có khả
năng có tồn tại đa cộng tuyến. Tuy nhiên tiêu chuẩn này thường không chính xác.
Có những trường hợp tương quan cặp không cao nhưng vẫn có đa cộng tuyến. Thí
dụ, ta có 3 biến giải thích X 1 , X 2 , X 3 như sau
X 1 = (1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0, 0,0,0,0,0)
X 2 = (0,0,0,0,0, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0)
X 3 = (1,1,1,1,1, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0)
Rõ ràng X 3 = X 2 + X 1 nghĩa là ta có đa cộng tuyến hoàn hảo, tuy nhiên
tương quan cặp là:
r 12 = -1/3 ; r 13 = r 23 =0,59
1
Như vậy đa cộng tuyến xảy ra mà không có sự bảo trước cuả tương quan cặp
những dẫu sao nó cũng cung cấp cho ta những kiểm tra tiên nghiệm có ích.
3.
Xem xét tương quan riêng
Vì vấn đề được đề cập đến dựa vào tương quan bậc không. Farrar và Glauber
đã đề nghị sử dụng hệ số tương quan riêng. Trong hồi quy của Y đối với các biến
2
2
2
2
X 2 , X 3 ,X 4 . Nếu ta nhận thấy rằng r 1, 234 cao trong khi đó r 12,34 ; r 13, 24 ; r 14, 23 tương
đối thấp thì điều đó có thể gợi ý rằng các biến X 2 , X 3 và X 4 có tương quan cao và
ít nhất một trong các biến này là thừa.
Dù tương quan riêng rất có ích nhưng nó cũng không đảm bảo rằng sẽ cung
cấp cho ta hướng dẫn chính xác trong việc phát hiện ra hiện tượng đa cộng tuyến.
4.
Hồi quy phụ
Một cách có thể tin cậy được để đánh giá mức độ của đa cộng tuyến là hồi quy
phụ. Hồi quy phụ là hồi quy mỗi một biến giải thích X i theo các biến giải thích
còn lại. R 2 được tính từ hồi quy này ta ký hiện R i2
Mối liên hệ giữa F i và R i2 :
Ri2 /(k − 2)
F=
(1 − Ri2 ) /( n − k + 1)
F i tuân theo phân phối F với k – 2 và n-k +1 bậc tự do. Trong đó n là cỡ mẫu ,
k là số biến giải thích kể cả hệ số chặn trong mô hình. R i2 là hệ số xác định trong
hồi quy của biến X i theo các biến X khác. Nếu F i tính được vượt điểm tới hạn F i
(k-2,n-k+1) ở mức ý nghĩa đã cho thì có nghĩa là X i có liên hệ tuyến tính với các
biến X khác. Nếu F i có ý nghĩa về mặt thống kê chúng ta vẫn phải quyến định
liệu biến X i nào sẽ bị loại khỏi mô hình. Một trở ngại của kỹ thuật hồi quy phụ là
gánh nặng tính toán. Nhưng ngày nay nhiều chương trình máy tính đã có thể đảm
đương được công việc tính toán này.
2
5.
Nhân tử phóng đại phương sai
Một thước đo khác của hiện tượng đa cộng tuyến là nhân tử phóng đại phương
sai gắn với biến X i , ký hiệu là VIF(X i ).
VIF(X i ) được thiết lập trên cơ sở của hệ số xác định R i2 trong hồi quy của biến
X i với các biến khác nhau như sau:
1
VIF(X i ) = 1 − R 2
i
(5.15)
Nhìn vào công thức (5.15) có thể giải thích VIF(X i ) bằng tỷ số chung của
phương sai thực của β 1 trong hồi quy gốc của Y đối với các biến X và phương sai
của ước lượng β 1 trong hồi quy mà ở đó X i trực giao với các biến khác. Ta coi tình
huống lý tưởng là tình huống mà trong đó các biến độc lập không tương quan với
nhau, và VIF so sánh tình huông thực và tình huống lý tưởng. Sự so sánh này
không có ích nhiều và nó không cung cấp cho ta biết phải làm gì với tình huống
đó. Nó chỉ cho biết rằng các tình huống là không lý tưởng.
Đồ thị của mối liên hệ của R i2 và VIF:
là:
VIF
100
50
R
10
1
0.9
1
1
0
Như hình vẽ chỉ ra khi R i2 tăng từ 0,9 đến 1 thì VIF tăng rất mạnh. Khi
R i2 =1 thì VIF là vô hạn.
3
Có nhiều chương trình máy tính có thể cho biết VIF đối với các biến độc lập
trong hồi quy.
6. Độ đo Theil
Khía cạnh chủ yếu của VIF chỉ xem xét đến tương quan qua lại giữa các
biến giải thích. Một độ đo mà xem xét tương quan của biến giải thích với biến
được giải thích là độ đo Theil. Độ đo Theil được định nghĩa như sau:
k
m = R 2 - ∑ ( R 2 - R 2−i )
i=2
Trong đó: R 2 là hệ số xác định bội trong hồi quy của Y đối với các biến X 2 , X 3
… X k trong mô hình hồi quy:
Y = β 1 + β 2 X 2i + β 3 X 3i + ……. + β k X ki + U i
R 2−i là hệ số xác định bội trong mô hình hồi quy của biến Y đối với các
biên X 2 , X 3 , … ,X i −1 , X i +1 , … ,X k
Đại lượng R 2 - R 2−i được gọi là “đóng góp tăng thêm vào” vào hệ số xác định
bội. Nếu X 2 , X 3 … X k không tương quan với nhau thì m = 0 vì những đóng góp
tăng thêm đó cộng lại bằng R 2 . Trong các trường hợp khác m có thể nhận giá trị
âm hoặc dương lớn.
Để thấy được độ đo này có ý nghĩa, chúng ta xét trường hợp mô hình có 2 biến
giải thích X 2 và X 3 . Theo ký hiệu đã sử dụng ở chương trước ta có:
m = R 2 - ( R 2 - r 122 ) – (R 2 – r 132 )
2
2
Tỷ số t liên hệ với tương quan riêng r 12,3 , r 13, 2
Trong phần hồi quy bội ta đã biết:
2
R 2 = r 122 + (1- r 122 ) r 13, 2
2
R 2 = r 132 + (1- r 132 ) r 12,3
Thay 2 công thức này vào biểu thức xác định m ta được:
4
2
2
m = R 2 - (r 122 + (1- r 122 ) r 13, 2 - r 122 ) - ( r 132 + (1- r 132 ) r 12,3 - r 132 )
2
2
= R 2 - ((1- r 122 ) r 13, 2 + (1- r 132 ) r 12,3 )
Đặt 1- r 122 = w 2 ; 1- r 132 = w 3 và gọi là các trọng số. Công thức (5.16) được viết
lại dưới dạng:
2
2
m = R 2 - (w 2 r 13, 2 + w 3 r 12,3 )
Như vây độ đo Theil bằng hiệu giữa hệ số xác định bội và tổng có trọng số của
các hệ số tương quan riêng.
III.
BIỆN PHÁP KHẮC PHỤC:
1. Sử dụng thông tin tiên nghiệm
Một trong các cách tiếp cận để giải quyết vấn đề đa cộng tuyến là phải tận dụng
thông tin tiên nghiệm hoặc thông tin từ nguồn khác để ước lượng các hệ số riêng.
Thí dụ : ta muốn ước lượng hàm sản xuất của 1 quá trình sản xuất nào đó có
dạng :
Qt =AL
(5.17)
Trong đó Qt là lượng sản phẩm được sản xuất thời kỳ t ; Lt lao động thời kỳ t ;
Kt vốn thời kỳ t ; Ut là nhiễu ; A , α, β là các tham số mà chúng ta cần ước
lượng .Lấy ln cả 2 vế (5.17) ta được :
LnQt = LnA + αlnLt + βKt Ut
Đặt LnQt = Q*t ;
Ta được
Q*t
LnA = A* ;
LnLt = L*t
= A* + αL*t + βK*t + Ut (5.18)
5
Giả sử K và L có tương quan rất cao dĩ nhiên điều này sẽ dẫn đến phương
sai của các ước lượng của các hệ số co giãn của hàm sản xuất lớn .
Giả sử từ 1 nguồn thông tin khác nào đó mà ta biết được rằng ngành công
nghiệp này thuộc ngành có lợi tức theo quy mô không đổi nghĩa là α + β =1 .Với
thông tin này ,cách xử lý của chúng ta sẽ là thay β = 1 - α vào (5.18) và thu được :
Q*t
Từ đó ta được:
Đặt
= A* + αL*t + ( 1 - α )K*t + Ut (5.19)
Q*t – K*t = A* + α(L*t – K*t ) + Ut
Q*t – K*t = Y*t
và
L*t – K*t = Z*t
ta được:
Y*t = A* + α Z*t + Ut
Thông tin tiên nghiệm đã giúp chúng ta giảm số biến độc lập trong mô hình
xuống còn 1 biến Z*t
Sau khi thu được ước lượng αˆ của α thì βˆ tính được từ điều kiện βˆ = 1 – αˆ
2. Thu thập số liệu hoặc lấy thêm mẫu mới
Vì đa cộng tuyến là đặc trưng của mẫu nên có thể có mẫu khác liên quan đến
cùng các biến trong mẫu ban đầu mà đa cộng tuyến có thể không nghiêm trọng
nữa. Điều này có thể làm được khi chi phí cho việc lấy mẫu khác có thể chấp nhận
được trong thực tế .
Đôi khi chỉ cần thu thập thêm số liệu, tăng cỡ mẫu có thể làm giảm tính nghiêm
trọng của đa cộng tuyến .
3. Bỏ biến
6
Khi có hiện tượng đa cộng tuyến nghiêm trọng thì cách “ đơn giản nhất “là bỏ
biến cộng tuyến ra khỏi phương trình. Khi phải sử dụng biện pháp này thì cách
thức tiến hành như sau :
Giả sử trong mô hình hồi quy của ta có Y là biến được giải thích còn X 2, X3 …
Xk là các biến giải thích. Chúng ta thấy rằng X 2 tương quan chặt chẽ với X3 .Khi
đó nhiều thông tin về Y chứa ở X2 thì cũng chứa ở X3 .Vậy nếu ta bỏ 1 trong 2
biến X2 hoặc X3 khỏi mô hình hồi quy, ta sẽ giải quyết được vấn đề đa cộng tuyến
nhưng sẽ mất đi 1 phần thông tin về Y .
Bằng phép so sánh R 2 và R 2 trong các phép hồi quy khác nhau mà có và không
có 1 trong 2 biến chúng ta có thể quyết định nên bỏ biến nào trong biến X 2 và X3
khỏi mô hình .
Thí dụ R2 đối với hồi quy của Y đối với tất cả các biến X 1, X2, X3 …Xk là 0.94;
R2 khi loại biến X2 là 0.87 và R2 khi loại biến X3 là 0.92 ; như vậy trong trường hợp
này ta loại X3
Chúng ta lưu ý 1 hạn chế của biện pháp này là trong các mô hình kinh tế có
những trường hợp đòi hỏi nhất định phải có biến này hoặc biến khác ở trong mô
hình .Trong trường hợp như vậy việc loại bỏ 1 biến phải được cân nhắc cẩn thận
giữa sai lệch khi bỏ 1 biến cộng tuyến với việc tăng phương sai của các ước lượng
hệ số khi biến đó ở trong mô hình .
4. Sử dụng sai phân cấp 1
Chúng ta có số liệu chuỗi thời gian biểu thị liên hệ giữa các biến Y và các biến
phụ thuộc X2 và X3 theo mô hình sau :
Yt = β 1 + β2 X 2t + β 3 X 3t+ U t (5.20)
7
Trong đó t là thời gian . Phương trình trên đúng với t thì cũng đúng với t-1 nghĩa
là :
Yt-1 = β 2 + β 2 X 2t-1 + β 3X 3t-1 + U t-1 (5.21)
Từ (5.20) và (5.21) ta được :
Yt – Yt-1 = β 2 (X 2t - X 2t-1 ) + β 3 (X 3t - X 3t-1) + U t - U t-1
(5.22)
Đặt yt = Yt – Yt-1
x2t = X 2t - X 2t-1
x3t = X 3t - X 3t-1
Vt = U t - U t-1
Ta được :
yt = β 2 x2t + β 3 x3t + Vt
(5.23)
Mô hình hồi quy dạng (5.23) thường làm giảm tính nghiêm trọng của đa cộng
tuyến vì dù X2 và X3 có thể tương quan cao nhưng không có lý do tiên nghiệm nào
chắc chắn rằng sai phân của chúng cũng tương quan cao.
Tuy nhiên biến đổi sai phân bậc nhất sinh ra 1 số bấn đề chẳng hạn như số hạng
sai số Vt trong (5.23) có thể không thỏa mãn giả thiết của mô hình hồi quy tuyến
tính cổ điển là các nhiễu không tương quan .Vậy thì biện pháp sửa chữa này có thể
lại còn tồi tệ hơn căn bệnh .
5.Giảm tương quan trong hồi quy đa thức
Nét đặc biệt của hồi quy đa thức là các biến giải thích xuất hiện với lũy thừa
khác nhau trong mô hình hồi quy. Trong thực hành để giảm tương quan trong hồi
quy đa thức người ta thường sử dụng dạng độ lệch .Nếu việc sử dụng dạng độ lệch
8
mà vẫn không giảm đa cộng tuyến thù người ta có thể phải xem xét đến kỹ thuật “
đa thức trực giao “.
6. Một số biện pháp khác
Ngoài các biện pháp đã kể trên người ta còn sử dụng 1 số biện pháp khác
-
Hồi quy thành phần chính
- Sử dụng các ước lượng từ bên ngoài
Nhưng tất cả các biên pháp đã trình bày ở trên có thể làm giải pháp cho vấn
đề đa cộng tuyến như thế nào còn phụ thuộc vào bản chất của tập số liệu và tính
nghiêm trọng của vấn đề đa cộng tuyến.
9
B. VÍ DỤ MINH HỌA
Bảng dưới đây cho số liệu về dân số các nước trên thế giới Y ( người), diện
tích các nước X1 ( km2), trình độ phát triển dân số X2 ( GDP- USD/ người/ năm),
mật độ dân số X3 ( người/ km2), tỷ lệ dân thành thị X4 ( %) như bảng sau.
Yêu cầu: Hãy phát hiện hiện tượng đa cộng tuyến và tìm biện pháp khắc
phục. Cho α = 5%.
Y
X1
X2
X3
X4
1335700000
9598086
7240
139
46
300066281
9629091
47702
32
79
127417244
33783
33487
338
86
241973879
1904569
4380
128
43
162419946
769095
2713
227
35
186112794
8514877
11066
22
84
85789573
336836
3104
226
30
27676547
147181
1238
187
17
21029853
238533
1591
100
48
16380005
475442
2163
40
57
6217141
236800
2401
27
27
1080264388
3287263
3176
356
29
58103033
301318
29347
200
68
15185844
2724900
12044
6
53
Tiến hành ước lượng hàm hồi quy mẫu ta được:
10
I- Phát hiện hiện tượng đa cộng tuyến:
Ta có hàm hồi quy mẫu:
Yˆ = −79833393 +108.4344 X1 − 7253.113 X 2 + 2199837 X 3 − 3773129 X 4
9
Tαn−k = T0.025
= 2.262
2
1.Cách 1: Hệ số xác định bội R2 cao nhưng t thấp.
Nhận xét:
R2= 0.8.2128 > 0.8
Thống kê t của hệ số ứng với biến
:
T = -1.081213 < 2.262
Thống kê t của hệ số ứng với biến
:
T = -0.845124 < 2.262
Vậy R2 cao nhưng t thấp. Suy ra có hiện tượng đa cộng tuyến.
11
2.Cách 2: Hệ số tương quan cặp giữa các biến giải thích cao
Ta có:
X1
X2
X3
X4
X1
1.00000
0.356119
-0.338161
0.405645
X2
0.356119
1.00000
0.007764
0.756450
X3
-0.338161
0.007764
1.00000
-0.190955
X4
0.405645
0.756450
-0.190955
1.00000
=> Như vậy ta càng có cơ sở kết luận có hiện tượng đa cộng tuyến trong mô
hình trên
3.Cách 3: Hồi quy phụ
Ta hồi quy biến
theo biến
được kết quả như sau:
12
Ta có α = 0.05 ta đi kiểm định giả thiết:
H0: X2 không có hiện tượng đa cộng tuyến với X4
H1: X2 có hiện tượng đa cộng tuyến với X4
Nhận xét:
Ta thấy giá trị P-value của thống kê F là 0.001741 < α =0.05
=> bác bỏ giả thiết H0 chấp nhận giả thiết H1
Vậy càng có cơ sở khẳng định mô hình trên có hiện tượng đa cộng tuyến
4.Cách 4: Độ đo Theil
Ta có các hệ số tương quan giữa các biến Y v à X1 , X2 , X3 , X4 như sau:
Y
X1
X2
X3
X4
Y
1.00000
0.582417
-0.060994
0.325911
-0.122551
X1
0.582417
1.00000
0.356119
-0.338161
0.405645
X2
-0.060994
0.356119
1.00000
0.007764
0.756450
X3
0.325911
-0.338161
0.007764
1.00000
-0.190955
X4
-0.122551
0.405645
0.756450
-0.190955
1.00000
2
2
Để tính được độ đo Theil ta phải tính được R 2 , r12,3và r13,2 . Theo công thức
đã biết ở chương hai ta có:
………………….
……………………
13
II/ Khắc phục hiện tượng đa cộng tuyến:
1.Cách 1: Bỏ biến
+ Bước 1: hồi quy Y theo X1 , X2 , X3 => R12 , R12
+ Bước 2: hồi quy Y theo X1 , X3 , X4 => R22 , R22
+ Bước 3: so sánh R 2 và R 2 trong các hồi quy trên
+ Bước 4: kết luận.
* Bước 1 : Hồi quy Y theo X1 , X2 , X3
14
* Bước 2: Hồi quy Y theo X1 , X3 , X4
* Bước
3 : So
sánh:
Từ
kết quả
hồi quy
ở trên ta có:
R 2 = 0.802128
R = 0.714185
R12 = 0.786425
R12 = 0.722353
R22 = 0.776427
R22 = 0.709355
* Bước 4:
Ta tiến hành so sánh. Và kết luận trong trường hợp này loại biến X2
2.Cách 2: Sử dụng sai phân cấp 1
Chúng ta có số liệu chuỗi thời gian biểu thị liên hệ giữa biến Y và các biến
phụ thuộc X,Z theo mô hình sau
Y =β X +β X
t
2
1
3
2
+β
4
X +β X
3
5
4
(*)
15
Với t là thời gian. Phương trình trên đúng với t thì cũng đúng với t-1 nghĩa là :
Y
t −1
=β
2
X
1t −1
+β
3
X
2 t −1
+β
4
X
3t −1
+β
5
X
(**)
4 t −1
Trừ (* ) cho (** ). Và đặt:
y = Y −Y
t
t
x
(1) t
=
X
(1) t
x
t −1
−
X
x
(1) t −1
x =X
( 4)t
( 4)t
−
X
=
X
=
X
( 2)t
( 3) t
−
X
−
X
( 2)t
( 3) t
( 2)t
( 3) t −1
( 4 ) t −1
Ta thu được bảng số liệu mới:
y
x1
x2
x3
x4
-1035633719
31005
40462
-107
33
-172649037
-9595308
-14215
306
7
114556635
1870786
-29107
-210
-43
-79553933
-1135474
-1667
99
-8
23692848
7745782
8353
-205
49
-100323221
-8178041
-7962
204
-54
-58113026
-189655
-1866
-39
-13
-6646694
91352
353
-87
31
-4649848
236909
572
-60
9
-10162864
-238642
238
-13
-30
1074047247
3050463
775
329
2
-1022161355
-2985945
26171
-156
39
-42917189
2423582
-17303
-194
-15
-15185844
-2724900
-12044
-6
-53
16
Hồi quy sai phân cấp 1
Ta có hệ số tương quan giữa các biến giải thích:
X1
X2
X3
X4
X1
1.00000
-0.588904
0.440706
-0.299961
X2
-0.588904
1.00000
-0.133625
0.669454
X3
0.440706
-0.133625
1.00000
-0.160034
X4
-0.299961
0.669454
-0.160034
1.00000
17
Hồi quy phụ của biến sai phân
Nhận xét:
x (4)t
theo
x (2)t ta được:
R 2 = 0.448169< 0.8
r 24 =
0.669454<0.8
Khi ta tiến hành hồi quy phụ
x
2
theo x 4 , mặc dù vẫn còn hiện tượng đa cộng
tuyến nhưng mức độ cộng tuyến giảm vì Pvalue =0.008825 đã gần với α =0.05 hơn.
Tuy nhiên ta thấy, khi sử dụng sai phân cấp 1 mức độ phù hợp của mô hình đã bị
suy giảm.
Bỏ biến sai phân
18
Hồi quy Y theo biến x1 , x2 , x3
Hồi quy Y theo biến x1 , x3 , x4:
19
Từ kết quả hồi quy của yt theo
biến
x
2
xxx
1
2
3
và yt theo
xxx
1
3
4
ta sẽ chọn loại bỏ
khỏi mô hình
Mặt khác ta lại có t là số quan sát. Phương trình cũng đúng với t quan sát thì
cũng đúng với t-1 quan sát
* Ta có mô hình hồi quy gốc ban đầu là:
Yˆ = −79833393 +108.4344 X1 − 7253.113 X 2 + 2199837 X 3 − 3773129 X 4 (1)
* Xây dựng hàm hồi quy thứ 2 mà khi ta đã bỏ đi quan sát đâu tiên:
20
Ta có hàm hồi quy mới sau khi bỏ đi quan sát đầu tiên:
Yˆ = −1.65*10−8 + X1 − 7.4*10−12 X 2 + 4.67*10−10 X 3 − 2.57*10−9 X 4 (2)
Lấy hiệu của (1) trừ đi (2) ta được môi hình sai phân cấp 1:
Yˆ = −79833393 + 107.4344 X1 − 7253.113 X 2 + 2199837 X 3 − 3773129 X 4
Mô hình này cũng cũng có thể làm giảm đa cộng tuyến của các biến dộc lập
Kết luận:
Có nhiều cách phát hiện và khắc phục hiện tượng đa cộng tuyến khác
nhau. Mỗi phương pháp có những hạn chế nhất định. Vì vậy, khi áp dụng một
phương pháp nào ta cần cân nhắc kĩ lượng để mang lại kết quả tin cậy nhất.
21
22