Hiện tượng đa cộng tuyến

LỜI MỞ ĐẦU
Trong mô hình phân tích hồi quy bội, chúng ta giả thiết giữa các biến
giải thích X
i
của mô hình độc lập tuyến tính với nhau, tức là các hệ số hồi
quy đối với một biến cụ thể là số đo tác động riêng phần của biến tương ứng
khi tất cả các biến khác trong mô hình được giữ cố định. Tuy nhiên khi giả
thiết đó bị vi phạm tức là các biến giải thích có tương quan thì chúng ta
không thể tách biệt sự ảnh hưởng riêng biệt của một biến nào đó.
Hiện tượng trên được gọi là đa công tuyến.Vậy để đa cộng tuyến là gì,
hậu quả của hiện tượng này như thế nào, làm thế nào để phát hiện và biện
pháp khắc phục nó. Để trả lời được những câu hỏi trên, sau đây chúng ta cùng
đi thảo luận về đề tài “ Hiện tượng đa cộng tuyến”.
1
Chương 1. Lý luận cơ bản về hiện tượng đa cộng tuyến
1.1. Khái niệm đa cộng tuyến và nguyên nhân
1.1.1. Khái niệm
Khi xây dựng mô hình hồi quy bội, trường hợp lý tưởng là các biến X
i
trong mô hình không có tương quan với nhau; mỗi biến X
i
chứa một thông
tin riêng về Y, thông tin không chứa trong bất kì biến X
i
khác. Trong thực
hành, khi điều này xảy ra ta không gặp hiện tượng đa cộng tuyến.
Trong những trường hợp còn lại, ta gặp hiện tượng đa cộng tuyến.Giả
sử ta phải ước lượng hàm hồi quy Y gồm k biến giải thích X
1
, X
2

, X
3
,…..,X
k
Y
1
= β
1
+ β
2
X
2i
+ β
3
X
3i
+ U
i
,
),1( ni
=
Các biến X
2
, X
3
,..., X
k
gọi là các đa cộng tuyến hoàn hảo hay còn gọi
là đa cộng tuyến chính xác nếu tồn tại λ
2

,..., λ
k
không đồng thời bằng không
sao cho:
λ
2
X
2
+ λ
3
X
3
+ ... + λ
k
X
k
= 0
Các biến X
2
, X
3
,..., X
k
gọi là các đa cộng tuyến không hoàn hảo nếu
tồn tại λ
2
,..., λ
k
không đồng thời bằng không sao cho:
λ

2
X
2
+ λ
3
X
3
+ ... + λ
k
X
k
+ V
i
= 0 (1.1)
trong đó V
i
là sai số ngẫu nhiên.
Trong (1.1) giả sử
∃
λ
i
≠ 0 khi đó ta biểu diễn:
X
i
=
3
2 2
2 3
...
i i i i

V
X X
λ
λ λ
λ λ λ λ
− − − − −
2
Từ (1.2) ta thấy hiện tượng đa cộng tuyến xảy ra khi một biến là tổ
hợp tuyến tính của các biến còn lại và một sai số ngẫu nhiên, hay nói cách
khác là có một biến biểu diễn xấp xỉ tuyến tính qua các biến còn lại.
1.1.2. Nguyên nhân
• Do phương pháp thu thập dữ liệu: Các giá trị của các biến độc lập phụ
thuộc lẫn nhau trong mẫu nhưng không phụ thuộc lẫn nhau trong tổng
thể.
Ví dụ: Người thu nhập cao sẽ có khuynh hướng nhiều của cải hơn. Điều
này có thể đúng với mẫu mà không đúng với tổng thể. Trong tổng thể sẽ có
các quan sát về các cá nhân có thu nhập cao nhưng không có nhiều của cải
và ngược lại.
• Các dạng mô hình dễ xảy ra đa cộng tuyến:
- Hồi quy dạng các biến độc lập được bình phương sẽ xảy ra đa cộng
tuyến, đặc biệt khi phạm vi giá trị ban đầu của biến độc lập là nhỏ.
- Các biến độc lập vĩ mô được quan sát theo chuỗi thời gian.
1.2. Ước lượng khi có đa cộng tuyến
1.2.1. Ước lượng khi có hiện tượng đa cộng tuyến hoàn hảo
Sau đây chúng ta sẽ chỉ ra rằng khi có đa cộng tuyến hoàn hảo thì các hệ
số hồi quy là không xác định còn các sai số tiêu chuẩn là vô hạn. Để đơn
giản về mặt trình bày chúng ta sẽ xét mô hình hồi quy 3 biến và chúng ta sẽ
sử dụng dạng độ lệch trong đó:
3
YYy

ii
−=
;
XXx
ii
−=
;
),1( ni =
(1.3)
∑
=
=
n
i
i
Y
n
Y
1
1
;
∑
=
=
n
i
i
X
n
X

1
1
(1.4)
thì mô hình hồi quy 3 biến có thể viết lại dưới dạng:
iiii
exy
++=
∧∧
322
ββ
(1.5)
Theo tính toán trong chương hồi quy bội ta thu được các ước lượng:
( )
( ) ( )
( )( ) ( )
2
2
2
2
2
2
2
2
2
2
22
2
∑∑∑
∑∑∑
−

−
=
∧
iii
iiiii
xxx
xyxxy
β
(1.6)
( )
( )
( )( )
( )( )
( )
2
32
2
2
2
3
322
2
23
3
∑∑∑
∑∑∑∑
−
−
=
∧

iiii
iiiiiii
xxxx
xxxyxxy
β
(1.7)
Giả sử:
ii
XX
23
λ
=
trong đó
λ
là hằng số khác không, thay điều kiện
này vào (1.6) ta được:
( )
( )
( )
( )
( )( ) ( )
2
2
2
22
2
2
2
2
22

2
22
2
∑∑∑
∑∑∑∑
−
−
=
∧
iii
iiiiii
xxx
xxyxxy
λλ
λλλ
β
(1.8)
là biểu thức không xác định. Tương tự như vậy ta cũng có thể chỉ ra
∧
3
β

không xác định.
4
Vì sao chúng ta lại thu được kết quả như ở (1.8)? Lưu ý đến ý nghĩa của
∧
2
β
có thể giải thích điều đó.
∧

2
β
cho ta tốc độ thay đổi trung bình của
Y

khi
2
X

thay đổi 1 đơn vị còn
3
X
không đổi. Nhưng khi
ii
XX
23
λ
=
thì điều
đó có nghĩa là không thể tách ảnh hưởng của
2
X
và
3
X
khỏi mẫu đã cho.
Trong kinh tế lượng thì điều này phá hủy toàn bộ ý định tách ảnh hưởng
riêng của từng biến lên biến phụ thuộc.
Thí dụ:
ii

XX
23
λ
=
thay điều kiện này vào (1.5) ta được:
iiiiiiii
exexexxy +=++=++=
∧∧∧∧∧
22322322
()(
αβλβλββ
Trong đó:
)(
32
∧∧∧
+=
βλβα
Áp dụng công thức tính ước lượng của phương pháp bình phương nhỏ
nhất thông thường ta được:
Như vậy dù
α
được ước lượng một cách duy nhất thì cũng không thể
xác định được
∧
2
β
và
3
∧
β

từ một phương trình 2 ẩn.
Như vậy trong trường hợp đa cộng tuyến hoàn hảo, chúng ta không thể
nhận được lời giải duy nhất cho các hệ số hồi quy riêng, nhưng trong khi đó
ta lại có thể nhận được lời giải duy nhất cho tổ hợp tuyến tính của các hệ số
này. Chú ý rằng trong trường hợp đa cộng tuyến hoàn hảo thì phương sai và
các sai số tiêu chuẩn của các ước lượng
∧
2
β
và
3
∧
β
là vô hạn.
5
∑
∑
=+=
∧∧∧
i
ii
x
yx
2
2
32
)(
βλβα
1.2.2. Ước lượng trong trường hợp có đa cộng tuyến không hoàn hảo
Đa cộng tuyến hoàn hảo chỉ là 1 trương hợp đặc biệt hiếm xảy ra. Trong

các số liệu liên quan đến chuỗi thời gian, thường xảy ra đa cộng tuyến không
hoàn hảo.
Xét mô hình (1.5). Bây giờ chúng ta giả thiết giữa
2
X
và
3
X
có cộng
tuyến không hoàn hảo theo nghĩa:
iii
Vxx
+=
23
λ
Trong đó
0
≠
λ
,
i
V
là nhiễu ngẫu nhiên sao cho
0
2
=
∑
ii
Vx
Trong trường hợp này theo phương pháp bình phương nhỏ nhất ta dễ dàng

thu được các ước lượng
∧
2
β
và
3
∧
β
.
Chẳng hạn:
( )
( )
( )
( )
( )( ) ( )
2
2
2
2
2
222
2
2
2
i2
22
2
2
2
2

V
∑∑ ∑∑
∑∑ ∑∑ ∑∑
−+
+−+
=
ii
i
i
i
iiiiiii
xVxx
xyxyVxxy
λλ
λλλ
β
(1.9)
Trong trường hợp này không có lý do gì để nói rằng (1.9) là không ước
lượng được.
1.3. Hậu quả của hiện tượng đa cộng tuyến
Ta xét trường hợp mô hình có hiện tượng đa cộng tuyến không hoàn
hảo, tức là biến độc lập X
i
có thể xấp xỉ tuyến tính theo các biến X
2
, X
3
,...,
X
k

. Có một số trường hợp xảy ra như sau:
1.3.1. Phương sai và hiệp phương sai của các ước lượng bình quân bé nhất
lớn
6
Trong chương mô hình hồi quy bội ta đã có biểu thức:
Var( ) = (1.10)
Var( (1.11)
Và: cov( ) = (1.12)
Trong đó là hệ số tương quan giữa
Từ 1.10 và 1.11 ta thấy tăng dần tới 1 (nghĩa là cộng tuyến tăng)
thì phương sai của hai ước lượng này tăng dần tới vô hạn 1.12 chỉ ra rằng
khi tăng dần tới 1 thì cov( ) tăng về giá trị tuyệt đối.
1.3.2. Khoảng tin cậy rộng hơn
Giả sử khi thực hành ta có khoảng tin cậy 95% cho khi đã
biết là:
)
Trong đó:
Se(
Se(
Cho nên ta có thể viết lại các khoảng tin cậy 95% cho là
7
(1.13)
Và cho là:
(1.14)
(1.13) và (1.14) chứng tỏ càng gần tới 1 thì khoảng tin cậy cho
các tham số càng rộng.
Do đó trong trường hợp có đa cộng tuyến gần hoàn hảo thì số liệu của
mẫu có thể thích hợp với tập các giả thiết khác nhau. Vì thế xác suất chấp
nhận giả thiết sai tăng lên (tức là tăng sai lầm loại II).
1.3.3. Tỷ số t mất ý nghĩa

Như đã biết, khi kiểm định giả thiết : chúng ta đã sử dụng tỷ số
và đem so sánh giá trị t đã được ước lượng với giá trị tới hạn t.
thong khi có đa cộn tuyến gần hoàn hảo thì sai số tiêu chuẩn ước lượng được
sẽ rất cao vì vậy làm cho chỉ số t nhỏ đi. Kết quả là sẽ làm tăng khả năng
chấp nhận giả thiết H
0
.
1.3.4. cao nhưng tỉ số ít ý nghĩa
Để giải thích điều này. Ta hãy xét mô hình hồi quy k biến như sau:
Trong trường hợp có đa cộng tuyến gần hoàn hảo, như đã chỉ ra ở
trên, ta có thể tìm được một hoặc một số hệ số góc riêng là không có ý nghĩa
8
là không có ý nghĩa thống kê trên cơ sở kiểm định t. nhưng trong khi đó
lại có thể rất cao, nên bằng kiểm định F chúng ta có thể bác bỏ giả thiết:
. Mâu thuẫn này cũng là tín hiệu của đa cộng
tuyến.
1.3.5. Các ước lượng bình phương bé nhất và các sai số tiêu chuẩn của
chúng trở lên rất nhạy đối với những thay đổi nhỏ trong số liệu
1.3.6. Dấu của các ước lượng của các hệ số hồi quy có thể sai
Khi có đa cộng tuyến gần hoàn hảo thì có thể thu được các ước lượng
của các hệ số hồi quy trái với điều chúng ta mong đợi. Chẳng hạn lý thuyết
kinh tế cho rằng đối với hàng hoá thong thường thu nhập tăng thì cầu hàng
hoá tăng, nghĩa là khi hồi quy thu nhập là một trong các biến giải thích, biến
phụ thuộc là lượng cầu hàng hoá, nếu xảy ra hiện tượng đa cộng tuyến gần
hoàn hảo thì ước lượng của hệ số của biến thu nhập có thể mang dấu âm –
mâu thuẫn với điều ta mong đợi.
1.3.7. Thêm vào hay bớt đi các biến cộng tuyến với các biến khác, mô hình sẽ
thay đổi về độ lớn trong các ước lượng hoặc dấu của chúng
1.4. Phát hiện sự tồn tại của đa cộng tuyến
1.4.1. R

2
cao nhưng tỉ số t thấp
Trong trường hợp R
2
cao (thường R
2
> 0,8) mà tỉ số t thấp thì đó chính
là dấu hiệu của hiện tượng đa cộng tuyến .
1.4.2. Tương quan cặp giữa các biến giải thích cao
9
Nếu hệ số tương quan cặp giữa các biến giải thích cao (vượt 0,8) thì
có khả năng có tồn tại đa cộng tuyến. Tuy nhiên tiêu chuẩn này thường
không chính xác.
Có những trường hợp tương quan cặp không cao nhưng vẫn có đa
cộng tuyến. Thí dụ, ta có 3 biến giải thích X
1
, X
2
, X
3
như sau:
X
1
= (1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0, 0,0,0,0,0)
X
2
= (0,0,0,0,0, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0)
X
3
= (1,1,1,1,1, 1,1,1,1,1, 0,0,0,0,0, 0,0,0,0,0)

Rõ ràng X
3
= X
2
+ X
1
nghĩa là ta có đa cộng tuyến hoàn hảo, tuy
nhiên tương quan cặp là:
r
12
= -1/3 ; r
13
= r
23
= 0,59
Như vậy đa cộng tuyến xảy ra mà không có sự bảo trước cuả tương
quan cặp những dẫu sao nó cũng cung cấp cho ta những kiểm tra tiên
nghiệm có ích.
1.4.3. Xem xét tương quan riêng
Vì vấn đề được đề cập đến dựa vào tương quan bậc không. Farrar và
Glauber đã đề nghị sử dụng hệ số tương quan riêng. Trong hồi quy của Y
đối với các biến X
2
, X
3
,X
4
. Nếu ta nhận thấy răng r
2
234,1

cao trong khi đó r
2
34,12
; r
2
24,13
; r
2
23,14
tương đối thấp thì điều đó có thể gợi ý rằng các biến X
2
, X
3

và X
4
có tương quan cao và ít nhất một trong các biến này là thừa.
Dù tương quan riêng rất có ích nhưng nó cũng không đảm bảo rằng
sẽ cung cấp cho ta hướng dẫn chính xác trong việc phát hiện ra hiện tượng
đa cộng tuyến.
1.4.4. Hồi quy phụ
10
Một cách có thể tin cậy được để đánh giá mức độ của đa cộng tuyến là
hồi quy phụ. Hồi quy phụ là hồi quy mỗi một biến giải thích X
i
theo các
biến giải thích còn lại. R
2
được tính từ hồi quy này ta ký hiện R
2

i
Mối liên hệ giữa F
i
và R
2
i
:
F=
)1/()1(
)2/(
2
2
+−−
−
knR
kR
i
i
F
i
tuân theo phân phối F với k – 2 và n - k +1 bậc tự do. Trong đó n là ,
k là số biến giải thích kể cả hệ số chặn trong mô hình. R
2
i
là hệ số xác định
trong hồi quy của biến X
i
theo các biến X khác. Nếu F
i
tính được vượt

điểm tới hạn F
i
(k-2, n-k+1) ở mức ý nghĩa đã cho thì có nghĩa là X
i
có liên
hệ tuyến tính với các biến X khác. Nếu F
i
có ý nghĩa về mặt thống kê
chúng ta vẫn phải quyến định liệu biến X
i
nào sẽ bị loại khỏi mô hình. Một
trở ngại của kỹ thuật hồi quy phụ là gánh nặng tính toán. Nhưng ngày nay
nhiều chương trình máy tính đã có thể đảm đương được công việc tính toán
này.
1.4.5. Nhân tử phóng đại phương sai
Một thước đo khác của hiện tượng đa cộng tuyến là nhân tử phóng đại
phương sai gắn với biến X
i
, ký hiệu là VIF(X
i
).
VIF(X
i
) được thiết lập trên cơ sở của hệ số xác định R
2
i
trong hồi quy
của biến X
i
với các biến khác nhau như sau:

VIF(X
i
) =
R1
1
2
i
−
(1.15)
Nhìn vào công thức (1.15) có thể giải thích VIF(X
i
) bằng tỷ số chung
của phương sai thực của β
1
trong hồi quy gốc của Y đối với các biến X và
11