Sự hội tụ của tổng các biến ngẫu nhiên và áp dụng cho mô hình hồi quy tuyến tính đơn
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (442.18 KB, 70 trang )
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
TĂNG THỊ NGỌC QUỲNH
SỰ HỘI TỤ CỦA TỔNG CÁC BIẾN NGẪU
NHIÊN VÀ ÁP DỤNG CHO MÔ HÌNH HỒI QUY
TUYẾN TÍNH ĐƠN
LUẬN VĂN THẠC SĨ KHOA HỌC
Hà Nội - Năm 2017
ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
TĂNG THỊ NGỌC QUỲNH
SỰ HỘI TỤ CỦA TỔNG CÁC BIẾN NGẪU
NHIÊN VÀ ÁP DỤNG CHO MÔ HÌNH HỒI
QUY TUYẾN TÍNH ĐƠN
Chuyên ngành: Lý thuyết xác suất và thống kê toán học
Mã số:
60460106
LUẬN VĂN THẠC SĨ KHOA HỌC
NGƯỜI HƯỚNG DẪN KHOA HỌC
TS. Tạ Công Sơn
Hà Nội - Năm 2017
LỜI CẢM ƠN
Em xin chân thành bày tỏ lòng biết ơn sâu sắc đối với các Thầy Cô đã giảng
dạy cho em trong suốt quá trình em học tập tại trường. Những kiến thức quý
báu mà Thầy Cô trang bị cho em sẽ là hành trang giúp em vững bước trên con
đường sau này.
Đặc biệt em xin gửi lời cảm ơn sâu sắc nhất tới Thầy giáo, Tiến sĩ Tạ Công
Sơn, Thầy đã trực tiếp hướng dẫn em hoàn thành luận văn tốt nghiệp này.
Em cũng muốn gửi lời cảm ơn sâu sắc tới các anh chị, bạn bè và đặc biệt
tới gia đình, những người đã luôn kịp thời hỗ trợ và động viên em trong những
lúc khó khăn nhất.
1
Mục lục
Chương 1. Kiến thức chuẩn bị
5
1.1
Một số khái niệm . . . . . . . . . . . . . . . . . . . . . . . . . .
5
1.2
Một số bổ đề quan trọng . . . . . . . . . . . . . . . . . . . . . .
7
1.3
Mô hình hồi quy tuyến tính đơn . . . . . . . . . . . . . . . . . .
11
1.4
Mô hình hồi quy EV tuyến tính đơn
. . . . . . . . . . . . . . .
13
Ước lượng bình phương cực tiểu của θ và β . . . . . . . .
Hiệu giữa βˆn và β, θˆn và θ . . . . . . . . . . . . . . . . .
14
1.4.1
1.4.2
Chương 2. Định lý giới hạn
16
19
2.1
Sự hội tụ hoàn toàn của tổng các biến ngẫu nhiên NSD . . . . .
19
2.2
Sự hội tụ hầu chắc chắn của tổng các biến ngẫu nhiên NSD
31
. .
Chương 3. Áp dụng sự hội tụ của tổng các biến ngẫu nhiên cho
mô hình hồi quy EV tuyến tính đơn
3.1
Áp dụng định lí hội tụ hoàn toàn cho dãy NSD vào mô hình hồi
quy EV tuyến tính đơn . . . . . . . . . . . . . . . . . . . . . . .
3.2
43
43
Áp dụng định lí hội tụ hầu chắc chắn cho dãy NSD vào mô hình
hồi quy EV tuyến tính đơn . . . . . . . . . . . . . . . . . . . . .
Tài liệu tham khảo
53
68
2
LỜI MỞ ĐẦU
Phân tích hồi quy là một phương pháp phân tích thống kê để dự đoán các
giá trị của một hoặc một số biến phụ thuộc (biến đáp ứng) theo một tập hợp
các biến độc lập (các biến dùng để dự báo). Mô hình hồi quy EV (sai số trong
biến) đã được Deaton (1985) đưa ra để sửa lại những ảnh hưởng của lỗi lấy
mẫu và thực tế hơn mô hình hồi quy bình thường. Ý chính của luận văn là tính
vững hoàn toàn và tính vững mạnh của ước lượng βˆn và θˆn cho tham số chưa
biết β và θ dưới giả định hai dãy sai số {δi , i ≥ 1}, {εi , i ≥ 1} là hai dãy biến
ngẫu nhiên NSD.
Luận văn trình bày về sự hội tụ của tổng các biến ngẫu nhiên và áp dụng
cho mô hình hồi quy tuyến tính đơn. Luận văn gồm 3 chương:
❼ Chương 1. Kiến thức chuẩn bị
Nội dung chương này bao gồm các kiến thức cơ bản liên quan tới đề tài :
– Một số định nghĩa: Dãy NSD, dãy bị chặn ngẫu nhiên, định nghĩa
hội tụ hoàn toàn và hội tụ hầu chắc chắn . . .
– Một số bổ đề quan trọng: Các tính chất của dãy NSD, dãy bị chặn
ngẫu nhiên . . .
– Mô hình hồi quy tuyến tính đơn cổ điển.
– Mô hình hồi quy EV tuyến tính đơn.
❼ Chương 2. Định lý giới hạn
Tiếp theo nội dung Chương 2 sẽ trình bày hai phần chính:
– Định lý về sự hội tụ hoàn toàn của tổng các biến ngẫu nhiên NSD.
– Định lý về sự hội tụ hầu chắc chắn của tổng các biến ngẫu nhiên
NSD.
❼ Chương 3. Áp dụng sự hội tụ của tổng các biến ngẫu nhiên cho
mô hình hồi quy đơn
Chương cuối cùng sẽ trình bày các định lý áp dụng sự hội tụ của tổng các
biến ngẫu nhiên NSD cho mô hình hồi quy EV tuyến tính đơn. Cụ thể:
3
– Chứng minh tính vững hoàn toàn của ước lượng bình phương tối
thiểu cho tham số chưa biết β và θ.
– Chứng minh tính vững mạnh của ước lượng bình phương tối thiểu
cho tham số chưa biết β và θ.
Mục đích của học viên là tìm hiểu và trình bày lại những kiến thức về sự hội tụ
từ những tài liệu trong các bài báo khoa học được trích dẫn trong trang cuối
luận văn.
Vì hiểu biết và thời gian còn hạn chế, luận văn của em không thể tránh khỏi
những thiếu sót. Em rất mong nhận được những chỉ dẫn tận tình của Thầy
Cô, những ý kiến đóng góp của các bạn để cho luận văn của em được hoàn
thiện hơn.
Hà Nội, ngày 31 tháng 10 năm 2017
Học viên
Tăng Thị Ngọc Quỳnh
4
Chương 1
Kiến thức chuẩn bị
1.1
Một số khái niệm
Cho (Ω, F, P) là không gian xác suất và {Xn , n ≥ 1} là dãy các biến ngẫu
nhiên được định nghĩa trên không gian xác suất đó. Ta sẽ bắt đầu với một số
khái niệm.
Định nghĩa 1.1.1 ([9, trang 167]). Hàm φ : Rn → R được gọi là siêu cộng
tính (superadditive) nếu
φ(x ∨ y) + φ(x ∧ y) ≥ φ(x) + φ(y)
∀x, y ∈ Rn ,
trong đó ∨ là kí hiệu lấy giá trị lớn nhất từng thành phần, ∧ là kí hiệu lấy giá
trị nhỏ nhất từng thành phần.
Ví dụ 1.1.2. Các hàm đơn điệu (tăng, giảm) đều là hàm siêu cộng tính. Xét
φ : R2 → R được xác định như sau: φ(x1 , x2 ) = x1 + x2 .
Khi đó với x = (x1 , x2 ) ∈ R2 , y = (y1 , y2 ) ∈ R2 sao cho x1 < y1 , x2 < y2 thì
hàm φ là hàm siêu cộng tính.
Định nghĩa 1.1.3 ([9, trang 167]). Véc-tơ ngẫu nhiên X = (X1 , X2 , ..., Xn )
được gọi là NSD (negatively superadditive dependent) nếu
Eφ(X1 , X2 , ..., Xn ) ≤ Eφ(X1∗ , X2∗ , ..., Xn∗ ) ,
(1.1)
trong đó X1∗ , X2∗ , ..., Xn∗ là độc lập sao cho Xi∗ và Xi có cùng phân bố với mỗi
i và φ là hàm siêu cộng tính sao cho kì vọng trong (1.1) tồn tại.
5
Qua định nghĩa của biến ngẫu nhiên NSD ta thấy dãy biến ngẫu nhiên độc
lập là dãy NSD.
Ví dụ 1.1.4. Cho {Zn , n ≥ 1} là dãy biến ngẫu nhiên độc lập cùng phân bố
N (0, 1). Đặt Xn = Zn − Zn+1 với n ≥ 1. Khi đó {Xn , n ≥ 1} là dãy biến ngẫu
nhiên cùng phân bố N (0, 2).
Ta thấy
Cov(Zn − Zn+1 , Zn+1 − Zn+2 )
= E((Zn − Zn+1 )(Zn+1 − Zn+2 )) − E(Zn − Zn+1 )E(Zn+1 − Zn+2 )
2
= − EZn+1
= − (DZn+1 + (EZn+1 )2 ) = −1 < 0 ,
suy ra {Xn , n ≥ 1} là dãy biến ngẫu nhiên liên kết âm. Do đó {Xn , n ≥ 1} là
dãy NSD.
Định nghĩa 1.1.5 ([9, trang 168]). Một dãy biến ngẫu nhiên {Xn , n ≥ 1} được
gọi là NSD nếu với mọi n ≥ 1, (X1 , X2 , ..., Xn ) là NSD.
Một mảng biến ngẫu nhiên {Xni , i ≥ 1, n ≥ 1} được gọi là NSD theo từng
hàng nếu với mọi n ≥ 1, {Xni , i ≥ 1} là NSD.
Định nghĩa 1.1.6 ([9, trang 170]). Dãy biến ngẫu nhiên {Xn , n ≥ 1} được gọi
là bị chặn ngẫu nhiên bởi biến ngẫu nhiên X nếu tồn tại C > 0 sao cho
P (|Xn | > x) ≤ CP (|X| > x) .
Định nghĩa 1.1.7 ([9, trang 167]). Một dãy biến ngẫu nhiên {Xn , n ≥ 1} được
gọi là hội tụ hoàn toàn tới hằng số θ nếu
∞
P (|Xn − θ| > ε) < ∞,
∀ε > 0.
n=1
Định nghĩa 1.1.8 ([2, trang 81]). Cho dãy {Xn , n ≥ 1} các biến ngẫu nhiên.
(i) Nếu P {ω : ∃ lim Xn (ω)} = 1 thì ta nói dãy {Xn , n ≥ 1} hội tụ hầu chắc
n→∞
chắn.
(ii) Nếu X là một biến ngẫu nhiên và P {ω : lim Xn (ω) = X(ω)} = 1 thì ta
n→∞
nói dãy {Xn , n ≥ 1} hội tụ hầu chắc chắn tới X.
6
1.2
Một số bổ đề quan trọng
Bổ đề 1.2.1 ([2, trang 82]). (i) Điều kiện cần và đủ để dãy {Xn , n ≥ 1} hội
tụ hầu chắc chắn là với mọi ε > 0
lim P ( sup |Xm − Xk | > ε) = 0.
n→∞
(1.2)
m,k≥n
Điều kiện (1.2) tương đương với
lim P ( sup |Xm − Xn | > ε) = 0.
n→∞
(1.3)
m≥n
(ii) Điều kiện cần và đủ để dãy {Xn , n ≥ 1} hội tụ hầu chắc chắn tới Xlà với
mọi ε > 0
lim P ( sup |Xn − X| > ε) = 0.
n→∞
(1.4)
m≥n
Bổ đề 1.2.2. [Bổ đề Borel - Cantelli] Cho A1 , A2 , ..., An , ... là dãy các biến
cố trong không gian xác suất. Nếu tổng các xác suất của (An ) hữu hạn, tức là
∞
P (An ) < ∞ thì xác suất để chúng xảy ra vô hạn là bằng không, nghĩa là
n=1
∞
P ( lim supAi ) = 0 (hay P (
n→∞ i≥n
Nhận xét 1.2.3.
Ai ) = 0).
n=1 i≥n
❼ Theo Định nghĩa 1.1.7, (ii) Bổ đề 1.2.1 và Bổ đề Borel
C
- Cantelli ta suy ra nếu Xn −
→ θ thì Xn → θ h.c.c. Điều ngược lại là đúng
nếu Xn là dãy biến ngẫu nhiên độc lập.
p
C
❼ Qua định nghĩa của dãy hội tụ hoàn toàn, suy ra nếu Xn −
→ θ thì Xn →
− θ.
C
Bổ đề 1.2.4. Cho dãy {Xn , n ≥ 1} các biến ngẫu nhiên. Nếu Xn −
→ 0 và
an → 0 thì
C
Xn + an −
→ 0.
Chứng minh. Với mọi ε > 0 bất kỳ, ta cần chứng minh
∞
P (|Xn + an | > ε).
n=1
Do an → 0 nên ∃n0 , ∀n > n0 thì |an | < 2ε .
7
Từ đó, ta thấy
|Xn + an | ≤ |Xn | + |an |
ε
< |Xn | + .
2
Vậy
|Xn + an | > ε ⇒ |Xn | >
ε
.
2
Ta có
∞
∞
n0
P (|Xn + an | > ε) =
n=1
P (|Xn + an | > ε) +
n=1
P (|Xn + an | > ε)
n=n0 +1
∞
≤n0 +
n=1
ε
P (|Xn | > ) < ∞.
2
Bổ đề 1.2.5 ([5, trang 134-135]). Giả sử (X1 , X2 , ..., Xn ) là NSD. Ta có
(i) (−X1 , −X2 , ..., −Xn ) là NSD.
(ii) Nếu g1 , g2 , ..., gn là các hàm không giảm, khi đó (g1 (X1 ), g2 (X2 ), ..., gn (Xn ))
là NSD.
Bổ đề 1.2.6 ([5, trang 134-135]). Giả sử X = (X1 , X2 , ..., Xn ) và Z = (Z1 , Z2 , ..., Zn )
là vectơ ngẫu nhiên độc lập. Nếu cả X và Z đều là NSD thì (X1 + Z1 , X2 +
Z2 , ..., Xn + Zn ) là NSD.
Bổ đề 1.2.7 ([9, trang 169]). Giả sử X = (X1 , X2 , ..., Xn ) và Z = (Z1 , Z2 , ..., Zn )
là vectơ ngẫu nhiên độc lập. Nếu cả X và Z đều là NSD thì khi đó: ∀β ∈ R :
(X1 + βZ1 , X2 + βZ2 , ..., Xn + βZn ) là NSD.
Chứng minh. Ta xét ba trường hợp.
❼ β = 0 suy ra (X1 , X2 , ..., Xn ) là NSD.
❼ β > 0 suy ra g(x) = βx là hàm không giảm;
từ (ii) Bổ đề 1.2.5 suy ra (βZ1 , βZ2 , ..., βZn ) là NSD,
từ Bổ đề 1.2.6 suy ra (X1 + βZ1 , X2 + βZ2 , ..., Xn + βZn )) là NSD.
8
❼ β < 0 suy ra −β > 0 và g(x) = −βx là hàm không giảm.
Theo (i) Bổ đề 1.2.5 (−Z1 , −Z2 , ..., −Zn ) là NSD, suy ra (X1 +(−β)(−Z1 ), X2 +
(−β)(−Z2 ), ..., Xn + (−β)(−Zn )) là NSD.
Mà
(X1 + βZ1 , X2 + βZ2 , ..., Xn + βZn )
=(X1 + (−β)(−Z1 ), X2 + (−β)(−Z2 ), ..., Xn + (−β)(−Zn ))
Vậy ta cũng suy ra được (X1 + βZ1 , X2 + βZ2 , ..., Xn + βZn ) là NSD.
Bổ đề 1.2.8 ([5, trang 134-135]). Giả sử (X1 , X2 , ..., Xn ) là NSD. Ta có
∀x1 , x2 , ..., xn ∈ R , ta có bất đẳng thức
n
P (X1 ≤ x1 , X2 ≤ x2 , ..., Xn ≤ xn ) ≤
P (Xi ≤ xi )
(1.5)
P (Xi > xi ).
(1.6)
i=1
và
n
P (X1 > x1 , X2 > x2 , ..., Xn > xn ) ≤
i=1
Bổ đề 1.2.9 ([8, trang 345]). Cho {Xi , 1 ≤ i ≤ n} là dãy ngẫu nhiên NSD với
n
mômen cấp hai hữu hạn. Cho
Bn2
EXi2 . Khi đó, với mọi x > 0, α > 0 và
=
i=1
0 < β < 1,
n
P
Xi ≥ x
max
1≤k≤n
n
≤ 2P
i=1
+
max
1≤k≤n
Xk > α
i=1
x2 β
2
exp −
1−β
2(αx + Bn2 )
.
Bổ đề 1.2.10. Cho {Xn , n ≥ 1} là một mảng các biến ngẫu nhiên bị chặn bởi
biến ngẫu nhiên X. Với α > 0 và b > 0 bất kì, ta có phát biểu sau:
E|Xn |α I(|Xn | ≤ b) ≤ C1 [E|X|α I(|X| ≤ b) + bα P (|X| > b)],
E|Xn |α I(|Xn | > b) ≤ C2 E|X|α I(|X| > b),
trong đó C1 và C2 là hằng số dương. Do vậy, E|Xn |α ≤ CE|X|α , trong đó C
là hằng số dương.
9
Chứng minh. Ta chứng minh bất đẳng thức thứ nhất. Đầu tiên ta sẽ chỉ ra
b
E|X|α I(|X| ≤ b) = −bα P (|X| > b) + α
xα−1 P (|X| > x)dx.
0
Ta có
+∞
α
xα I(x < b)dP (|Xn | ≤ x)
E|Xn | I(|Xn | ≤ b) =
0
b
xα dP (|Xn | ≤ x)
=
0
b
xα d(1 − P (|Xn | > x))
=
0
b
xα dP (|Xn | > x)
=−
0
Đặt
u
du = αxα−1 dx
=
→
dv = dP (|X | > x)
v = P (|X | > x)
n
n
xα
Suy ra
α
b
b
0
α
xα−1 P (|Xn | > x)dx
E|Xn | I(|Xn | ≤ b) = −x P (|Xn | > x) + α
0
b
xα−1 P (|Xn | > x)dx
= −bα P (|Xn | > b) + α
0
b
≤ bα P (|Xn | > b) + αC
xα−1 P (|X| > x)dx
0
b
α
xα−1 P (|X| > x)dx
≤ Cb P (|X| > b) + αC
0
α
α
≤ C[b P (|X| > b) + E|X| I(|X| ≤ b)],
trong đó C ≥ 2 là hằng số dương (có thể khác nhau).
Tiếp theo ta chứng minh bất đẳng thức thứ hai, ta đã biết
+∞
α
xα−1 P (|X| > x)dx.
E|X| = α
0
Xét hai trường hợp sau
10
❼ Nếu x ∈ (0, b) thì
P (|X| > b) ≤ P (|X|I(|X| > b) > x).
❼ Nếu x > b thì
P (|X| > b) ≤ P (|X|I(|X| > b) > x).
Hơn nữa, do {Xn , n ≥ 1} là một dãy các biến ngẫu nhiên bị chặn bởi biến ngẫu
nhiên X nên
+∞
E|Xn |α I(|Xn | > b) = α
xα−1 P (|Xn |I(|Xn | > b) > x)dx
0
b
xα−1 P (|Xn |I(|Xn | > b) > x)dx
=α
0
+∞
xα−1 P (|Xn |I(|Xn | > b) > x)dx
+α
b
b
xα−1 P (|Xn | > b)dx
=α
0
+∞
xα−1 P (|Xn | > x)dx
+α
b
b
xα−1 P (|X| > b)dx
= αC
0
+∞
xα−1 P (|X| > x)dx
+ αC
b
+∞
xα−1 P (|X|I(|X| > b) > x)dx
≤ αC
0
= CE|X|α I(|X| > b) .
Từ hai bất đẳng thức trên ta dễ dàng suy ra E|Xn |α ≤ CE|X|α , trong đó C
là hằng số dương.
1.3
Mô hình hồi quy tuyến tính đơn
Một mô hình hồi quy tuyến tính cổ điển cho một chuỗi các kết quả thực
nghiệm là một mô hình mà mỗi kết quả là giá trị quan sát được của một biến
ngẫu nhiên H(x), mô hình là
H(x) = θ + βx + ε ,
11
trong đó các tham số (θ, β) được cố định nhưng chưa biết, giá trị x được cho
hoặc được chọn bởi thí nghiệm và trong đó ε ∼ N (0, σ 2 ) và cho các quan sát
khác nhau của ε là độc lập cùng phân bố.
Đây là một mô hình hồi quy tuyến tính, nó được gọi như vậy vì nó tuyến tính
theo θ, β và ε không phụ thuộc vào x. Biến x được gọi là biến giải thích và biến
ngẫu nhiên H được gọi là biến phụ thuộc.
Cho (η1 , η2 , ..., ηn ) là n quan sát độc lập, với giá trị hồi quy (x1 , x2 , ..., xn ). Khi
đó
ηi = θ + βxi + εi ,
i = 1, ..., n
trong đó εi là các biến ngẫu nhiên độc lập cùng phân bố N (0, σ 2 ).
Bây giờ ta sẽ xét phương pháp bình phương cực tiểu cho ước lượng tham số
θ và β. Phương pháp ước lượng bình phương tối thiểu là xác định giá trị của
θ, β sao cho
n
(ηi − θ − βxi )2 → min.
L(θ, β) =
i=1
Cụ thể
n
(ηi − θ − βxi )2
L(θ, β) =
i=1
n
n
ηi2
=
+
i=1
n
n
n
2
β 2 x2i
θ +
i=1
−2
i=1
n
ηi2 + nθ2 + β 2
=
i=1
n
θηi − 2
i=1
n
x2i − 2θ
i=1
n
θxi ηi + 2
i=1
n
ηi − 2β
i=1
θβxi
i=1
n
xi ηi + 2θβ
i=1
xi .
i=1
Đặt
1
η¯n =
n
1
x¯n =
n
n
ηi ,
η2
n
i=1
n
xi ,
i=1
x2
n
1
=
n
1
=
n
n
ηi2
i=1
n
x2i ,
i=1
1
xn ηn =
n
n
xi ηi .
i=1
Khi đó
L(θ, β) = nηn2 + nθ2 + nβ 2 x2n − 2nθ¯
ηn − 2nβxn ηn + 2nθβ x¯n .
12
(1.7)
Ta đạo hàm riêng từng phần (1.7) :
❼
∂L(θ, β)
= 2nθn − 2n¯
ηn + 2nβn x¯n
∂θ
❼
∂L(θˆn , βˆn )
=0
∂θ
suy ra
θˆn − η¯n + βˆn x¯n = 0 .
❼
∂L(θ, β)
= 2nβn x2n − 2nηn xn + 2nθn x¯n
∂β
❼
∂L(θˆn , βˆn )
=0
∂β
(1.8)
suy ra
βˆn x2n − ηn xn + θˆn x¯n = 0 .
(1.9)
Từ (1.8) ta nhân hai vế phương trình với x¯n
x¯n θˆn − x¯n η¯n + βˆn x¯2n = 0 .
(1.10)
Lấy (1.9) trừ (1.10) ta được
βˆn x2n − ηn xn + θˆn x¯n − x¯n θˆn + x¯n η¯n − βˆn x¯2n = 0
⇔ βˆn (x2n − x¯2n ) =
ηn xn − x¯n η¯n
⇔
βˆn
ηn xn − x¯n η¯n
⇔
βˆn
=
=
x2n − x¯2n
n
i=1 (xi − x¯n )(ηi − η¯n )
n
2
i=1 (xi − x¯n )
.
Từ (1.8) suy ra
θˆn = η¯n − βˆn x¯n .
1.4
Mô hình hồi quy EV tuyến tính đơn
Phân tích hồi quy thường được dùng trong tất cả các lĩnh vực ứng dụng của
thống kê để giải thích một biến phụ thuộc liên quan đến các biến độc lập như
13
thế nào. Tuy nhiên, trong nhiều ứng dụng, thường có các sai số khi lấy mẫu.
Mô hình hồi quy EV (errors variables) đã được Deaton (1985) đưa ra để sửa lại
những ảnh hưởng của lỗi lấy mẫu và thực tế hơn mô hình hồi quy bình thường.
Một nghiên cứu cẩn thận về các mô hình như vậy thường là cần thiết. Để biết
thêm chi tiết về mô hình hồi quy EV, ta có thể tham khảo Fuller và cộng sự
(1987), Fusek và Fusková (1989), Mittag (1989), Carrolletal (1995), Hslao và
cộng sự (1997), . . .
Mô hình hồi quy tuyến tính đơn
ηi = θ + βxi + εi ,
ξi = xi + δi , 1 ≤ i ≤ n,
(1.11)
trong đó
❼ θ, β, x1 , x2 , ... là các hằng số chưa biết (tham số)
❼ ( 1 , δ1 ), ( 2 , δ2 ), ... là các véctơ ngẫu nhiên hai chiều
❼ ξi , ηi , i = 1, 2, ... là biến quan sát.
Từ (1.11) ta có:
ηi = θ + βξi + νi , νi = εi − βδi , 1 ≤ i ≤ n.
(1.12)
Dạng (1.12) là mô hình của ηi theo ξi , mô hình (1.11) được viết lại như sau
η = θ + βx + , ξ = x + δ , 1 ≤ i ≤ n;
i
i
i
i
i
i
E = Eδ = 0, 1 ≤ i ≤ n.
i
i
(1.13)
(ξi , ηi ), 1 ≤ i ≤ n là quan sát được, trong khi đó xi , 1 ≤ i ≤ n, θ, β là tham số
chưa biết. Giả định rằng hai dãy {εi , i ≥ 1}, {δi , i ≥ 1} là hai dãy biến ngẫu
nhiên NSD cùng phân bố và độc lập với nhau.
n
(xi − x¯n )2 với n ≥ 1.
Kí hiệu Sn =
i=1
1.4.1
Ước lượng bình phương cực tiểu của θ và β
Áp dụng phương pháp bình phương cực tiểu ta có ước lượng của θ và β là
βˆn =
n
¯
i=1 (ξi − ξn )(ηi − η¯n )
,
n
¯ 2
i=1 (ξi − ξn )
14
θˆn = η¯n − βˆn ξ¯n ,
(1.14)
trong đó ξ¯n =
n
i=1 ξi ,
1
n
n
i=1 ηi ,
1
n
η¯n =
δ¯n =
1
n
n
i=1 δi ,
x¯n =
1
n
n
i=1 xi .
Thật vậy,
n
(ηi − θ − βξi )2
L(θ, β) =
i=1
n
n
ηi2
=
+
i=1
n
n
n
2
β 2 ξi2
θ +
i=1
−2
i=1
n
ηi2 + nθ2 + β 2
=
i=1
n
θηi − 2
i=1
n
ξi2 − 2θ
i=1
n
θξi ηi + 2
i=1
n
ηi − 2β
i=1
θβξi
i=1
n
ξi ηi + 2θβ
i=1
ξi .
i=1
Đặt
1
η¯n =
n
1
ξ¯n =
n
n
ηi ,
η2
n
i=1
n
ξi ,
i=1
ξ2
n
1
=
n
1
=
n
n
ηi2
i=1
n
ξi2 ,
i=1
1
ξn ηn =
n
n
ξi ηi .
i=1
Khi đó
ηn − 2nβξn ηn + 2nθβ ξ¯n .
L(θ, β) = nηn2 + nθ2 + nβ 2 ξn2 − 2nθ¯
(1.15)
Ta đạo hàm riêng từng phần (1.15) :
❼
∂L(θ, β)
= 2nθn − 2n¯
ηn + 2nβn ξ¯n
∂θ
❼
∂L(θˆn , βˆn )
=0
∂θ
suy ra
θˆn − η¯n + βˆn ξ¯n = 0 .
❼
∂L(θ, β)
= 2nβn ξn2 − 2nηn ξn + 2nθn ξ¯n
∂β
❼
∂L(θˆn , βˆn )
=0
∂β
15
(1.16)
suy ra
βˆn ξn2 − ηn ξn + θˆn ξ¯n = 0 .
(1.17)
Từ (1.16) ta nhân hai vế phương trình với ξ¯n
ξ¯n θˆn − ξ¯n η¯n + βˆn ξ¯n2 = 0 .
(1.18)
Lấy (1.17) trừ (1.18) ta được
βˆn ξn2 − ηn ξn + θˆn ξ¯n − ξ¯n θˆn + ξ¯n η¯n − βˆn ξ¯n2 = 0
⇔ βˆn (ξn2 − ξ¯n2 ) =
ηn ξn − ξ¯n η¯n
βˆn
ηn ξn − ξ¯n η¯n
ξ 2 − ξ¯2
⇔
=
n
βˆn
⇔
n
n
¯
i=1 (ξi − ξn )(ηi − η¯n )
n
¯ 2
i=1 (ξi − ξn )
=
.
Từ (1.16) suy ra
θˆn = η¯n − βˆn ξ¯n .
1.4.2
Hiệu giữa βˆn và β, θˆn và θ
Mệnh đề 1.4.1. Cho βˆn là ước lượng của β. Khi đó,
βˆn − β =
n
i=1 (xi
n
i=1 (δi
− δ¯n )εi − β
n
¯ 2
i=1 (ξi − ξn )
− x¯n )(εi − βδi ) +
n
i=1 (δi
Chứng minh. Ta có:
βˆn − β =
n
i=1 (ξi
− ξ¯n )(ηi − η¯n ) − β
n
¯ 2
i=1 (ξi − ξn )
n
i=1 (ξi
− ξ¯n )2
Phân tích tử số:
n
n
(ξi − ξ¯n )(ηi − η¯n ) − β
i=1
n
(ξi − ξ¯n )2
i=1
(xi + δi − x¯n − δ¯n )(θ + βxi +
=
i=1
16
i
− θ − β x¯n − ¯n )
− δ¯n )2
.
(1.19)
n
(xi + δi − x¯n − δ¯n )2
−β
i=1
n
[(xi − x¯n ) + (δi − δ¯n )][β(xi − x¯n ) + ( i − ¯n )]
=
i=1
n
[(xi − x¯n ) + (δi − δ¯n )]2
−β
i=1
n
[β(xi − x¯n )2 + (xi − x¯n )( i − ¯n ) + β(δi − δ¯n )(xi − x¯n )
=
i=1
+ (δi − δ¯n )( i − ¯n ) − β(xi − x¯n )2 − 2β(xi − x¯n )(δi − δ¯n )
− β(δi − δ¯n )2 ]
n
[(xi − x¯n )( i − ¯n ) − β(xi − x¯n )(δi − δ¯n ) + (δi − δ¯n )( i − ¯n )
=
i=1
− β(δi − δ¯n )2 ]
n
[(xi − x¯n )( i − ¯n − βδi + β δ¯n ) + (δi − δ¯n ) i − ¯n (δi − δ¯n )
=
i=1
− β(δi − δ¯n )2 ]
n
n
(xi − x¯n )( i − βδi ) +
=
i=1
n
(δi − δ¯n ) i − β
i=1
i=1
n
+ (β δ¯n − ¯n )
n
i=1
i=1
n
n
(δi − δ¯n )εi − β
(xi − x¯n )(εi − βδi ) +
i=1
i=1
n
(δi − δ¯n )2 .
i=1
n
(xi − x¯n ) =
(do
(δi − δ¯n )
(xi − x¯n ) − ¯n
n
=
(δi − δ¯n )2
i=1
n
(δi − δ¯n ) = 0)
xi − nx¯n = nx¯n − nx¯n = 0, tương tự
i=1
i=1
Vậy ta có:
βˆn − β =
n
i=1 (xi
n
i=1 (δi
− δ¯n )εi − β
n
¯ 2
i=1 (ξi − ξn )
− x¯n )(εi − βδi ) +
17
n
i=1 (δi
− δ¯n )2
.
Mệnh đề 1.4.2. Cho θˆn là ước lượng của θ. Khi đó,
θˆn − θ = (β − βˆn )¯
xn + (β − βˆn )δ¯n + ε¯n − β δ¯n .
(1.20)
Chứng minh. Ta có:
θˆn − θ = η¯n − βˆn ξ¯n − θ
= θ + β x¯n + ε¯n − βˆn (x¯n + δ¯n ) − θ
= β x¯n + ε¯n − βˆn x¯n − βˆn δ¯n + β δ¯n − β δ¯n
= (β − βˆn )x¯n + (β − βˆn )δ¯n + ε¯n − β δ¯n .
Vậy ta có:
θˆn − θ = (β − βˆn )¯
xn + (β − βˆn )δ¯n + ε¯n − β δ¯n .
Tiếp theo chương 2 và chương 3 ta sẽ xem xét sai số giữa βˆn và β, θˆn và θ.
Cụ thể là tính vững hoàn toàn và tính vững mạnh của ước lượng βˆn và θˆn cho
tham số chưa biết β và θ dưới giả định hai dãy sai số {δi , i ≥ 1}, {εi , i ≥ 1} là
hai dãy biến ngẫu nhiên NSD.
18
Chương 2
Định lý giới hạn
2.1
Sự hội tụ hoàn toàn của tổng các biến ngẫu
nhiên NSD
Trong mục này sẽ trình bày định lí: Hội tụ hoàn toàn cho tổng các biến
ngẫu nhiên NSD, nó được xem như là chìa khóa để chứng minh tính vững hoàn
toàn của ước lượng bình phương cực tiểu trong mô hình hồi quy EV với sai số
NSD trong Chương 3.
Định lý 2.1.1 ([9, trang 171]). Cho {Xn , n ≥ 1} là dãy biến ngẫu nhiên NSD,
bị chặn ngẫu nhiên bởi biến ngẫu nhiên X sao cho E|X|2p < ∞ với p > 0 nào
đó. Giả định thêm rằng EXn = 0 nếu p > 1. Cho {ani , i ≥ 1, n ≥ 1} là một
mảng các hằng số thỏa mãn:
max |ani | = O(n−1/p )
(2.1)
1≤i≤n
và
n
|ani |p = O(n−δ )
nếu
0 < p ≤ 1,
i=1
n
(2.2)
a2ni = O((logn)−1 )
nếu
p > 1.
i=1
với δ > 0 nào đó. Khi đó,
∞
j
P
n=1
ani Xi > ε
max
1≤j≤n
i=1
19
< ∞,
∀ε > 0.
(2.3)
Trước khi chứng minh định lí, ta viết a+ = max(0, a), a− = max(0, −a).
Cho C > 0 là hằng số dương (có thể khác nhau ở một vài chỗ), cho a = O(b)
là kí hiệu của a ≤ Cb.
−
+
−
Chứng minh. Nếu sử dụng a+
ni và ani , ani = ani − ani thì:
∞
j
P
j
a+
ni Xi
max
1≤j≤n
n=1
i=1
i=1
∞
j
≤
P
n=1
a+
ni Xi
max
1≤j≤n
a−
ni Xi > ε
−
i=1
ε
>
2
∞
+
j
P
n=1
a−
ni Xi >
max
1≤j≤n
i=1
ε
2
.
Do vậy, không mất tính tổng quát, ta có thể giả sử ani > 0. Cho ε > 0 bất kì,
chọn số nguyên dương N và hằng số dương nhỏ q sao cho q <
δ
p
và q <
1−1/p
p
nếu p > 1
nếu 0 < p ≤ 1. Cho 1 ≤ i ≤ n và n ≥ 1, kí hiệu:
−q
−q
Xni (1) = Xi I(|ani Xi | ≤ n−q ) − a−1
ni n I(ani Xi < −n )
−q
−q
+ a−1
ni n I(ani Xi > n ),
−q
−q
Xni (2) = (Xi − a−1
< ani Xi ≤ ε/N )
ni n )I(n
−q
−q
Xni (3) = (Xi + a−1
ni n )I(−ε/N ≤ ani Xi < −n )
−q
−1 −q
Xni (4) = (Xi + a−1
ni n )I(ani Xi < −ε/N ) + (Xi − ani n )I(ani Xi > ε/N ) .
Dễ dàng thấy rằng Xni (1) + Xni (2) + Xni (3) + Xni (4) = Xi . Ta có:
j
∞
P
max
1≤j≤n
n=1
ani Xi > 4ε
i=1
j
∞
=
P
j
max
1≤j≤n
n=1
j
ani Xni (1) +
i=1
i=1
j
+
ani Xni (3) +
i=1
∞
≤
ani Xni (2)
P
n=1
ani Xni (4) > 4ε
i=1
j
max
1≤j≤n
ani Xni (1) +
i=1
j
+
j
i=1
j
ani Xni (3) +
i=1
ani Xni (2)
ani Xni (4)
> 4ε
i=1
20
∞
≤
P
j
i=1 ani Xni (1)
max
1≤j≤n
n=1
j
i=1 ani Xni (3)
+ max
1≤j≤n
∞
≤
1≤j≤n
j
i=1 ani Xni (4)
+ max
1≤j≤n
n=1
∞
+
ani Xni (1) > ε
max
1≤j≤n
P
n=1
+
j
P
ani Xni (3) > ε
max
+
P
n=1
i=1
ani Xni (2) > ε
max
1≤j≤n
n=1
∞
i=1
j
1≤j≤n
> 4ε
∞
j
P
j
i=1 ani Xni (2)
+ max
i=1
j
ani Xni (4) > ε
max
1≤j≤n
i=1
= I1 + I2 + I3 + I4 .
Bước 1: Chứng minh I1 < ∞. Chú ý rằng:
max |ani (Xni (1) − EXni (1))| ≤ max |ani Xni (1)| + max |Eani Xni (1)|
1≤i≤n
1≤i≤n
1≤i≤n
≤ max |ani Xni (1)| + max E|ani Xni (1)|
1≤i≤n
1≤i≤n
≤ n−q + n−q = 2n−q ,
∀ n > 1,
suy ra:
P
max |ani (Xni (1) − EXni (1))| ≤ 2n−q
1≤i≤n
= 1,
∀n.
Nếu 0 < p ≤ 1, đặt:
n
E[ani (Xni (1) − EXni (1))]2
Bn :=
i=1
n
E[ani Xni (1)]2 − [Eani Xni (1)]2
=
i=1
n
E[ani Xni (1)]2 .
≤
i=1
Ta có:
−q
−q
Xni (1) = Xi I(|ani Xi | ≤ n−q ) − a−1
ni n I(ani Xi < −n )
−q
−q
+ a−1
ni n I(ani Xi > n )
⇒
ani Xni (1) = ani Xi I(|ani Xi | ≤ n−q ) − n−q I(ani Xi < −n−q )
+ n−q I(ani Xi > n−q )
21
(2.4)
⇒ [ani Xni (1)]2 = [ani Xi ]2 I(|ani Xi | ≤ n−q ) − n−2q I(ani Xi < −n−q )
+ n−2q I(ani Xi > n−q , .
Suy ra:
E[ani Xni (1)]2 = E[ani Xi ]2 I(|ani Xi | ≤ n−q ) − n−2q P (ani Xi < −n−q )
+ n−2q P (ani Xi > n−q )
≤ E[ani Xi ]2 I(|ani Xi | ≤ n−q ) + n−2q P (|ani Xi | > n−q ) .
Sử dụng bất đẳng thức Markov:
P (|X| > a) ≤
E|X|p
,
ap
suy ra:
n−2q P (|ani Xi | > n−q ) ≤ n−2q P (|ani Xi |p > n−pq )
≤
n−2q E|ani Xi |p
.
n−pq
Do vậy,
E[ani Xni (1)]2 ≤ E|ani Xi |p |ani Xi |2−p I(|ani Xi | ≤ n−q ) + n−(2−p)q E|ani Xi |p
≤ n−q(2−p) E|ani Xi |p + n−(2−p)q E|ani Xi |p
= 2n−q(2−p) E|ani Xi |p .
Áp dụng Bổ đề 1.2.10 và (2.2) (chú ý q < δ/p nên −δ < −pq), ta suy ra:
n
E[ani (Xni (1) − EXni (1))]2
Bn :=
i=1
n
E[ani Xni (1)]2
≤
i=1
n
−q(2−p)
E|ani Xi |p
≤ 2n
i=1
n
≤ Cn−(2−p)q
|ani |p E|X|p
i=1
−(2−p)q −δ
≤ Cn
n
= Cn−2q = O((logn)−1 ).
22
Vậy
Bn ≤ O((logn)−1 ).
(2.5)
Nếu p > 1, đặt:
n
E[ani (Xni (1) − EXni (1))]2
Bn :=
i=1
n
E[ani Xni (1)]2
≤
i=1
n
a2ni E|Xni (1)|2 ,
=
i=1
do |Xni (1)| ≤ |Xi | nên |Xni (1)|2 ≤ |Xi |2 ⇒ E|Xni (1)|2 ≤ E|Xi |2 .
Áp dụng Bổ đề 1.2.10 và (2.2), ta có:
n
a2ni E|X|2 = O((logn)−1 ).
Bn ≤ C
(2.6)
i=1
Cho n ≥ 1 cố định, xét:
−q
−q
gni (x) = xI(|x| ≤ n−q /ani ) − a−1
ni n I(x < −n /ani )
−q
−q
+ a−1
ni n I(x > n /ani ) ,
ta thấy hàm gni (x) là hàm không giảm. Theo giả thiết Xi , 1 ≤ i ≤ n là dãy
NSD, áp dụng Bổ đề 1.2.5 suy ra Xni (1) = gni (Xi ) là NSD.
Xét hàm :
f (t) = ani t − c ,
ta thấy f (t) là hàm không giảm, áp dụng Bổ đề 1.2.5 ta suy ra {ani (Xni (1) −
EXni (1)), 1 ≤ i ≤ n} là NSD.
Áp dụng Bổ đề 1.2.9 với x = ε, α = 2n−q , β = 1/2, ta có (2.4) - (2.6)
j
∞
An :=
P
n=1
ani (Xni (1) − EXni (1)) > ε
max
1≤j≤n
i=1
∞
≤2
P
n=1
max |ani (Xni (1) − EXni (1))| > 2n−q
1≤i≤n
∞
exp −
+C
n=1
ε2 /2
2(2εn−q + O((logn)−1 ))
23
.
