(Luận văn thạc sĩ) thống kê robust và ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

NGUYỄN THỊ HUYỀN

THỐNG KÊ ROBUST VÀ ỨNG DỤNG

LUẬN VĂN THẠC SĨ KHOA HỌC

Hà Nội - Năm 2014


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

NGUYỄN THỊ HUYỀN

THỐNG KÊ ROBUST VÀ ỨNG DỤNG

Chuyên ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC
Mã số : 60 46 01 06

LUẬN VĂN THẠC SĨ KHOA HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC
TS TRẦN MẠNH CƯỜNG

Hà Nội - 2014


Lời cảm ơn

1

Lời cảm ơn
Bản luận văn này được hoàn thành dưới sự hướng dẫn và chỉ bảo nhiệt tình
của TS. Trần Mạnh Cường. Trong quá trình làm việc, em đã học hỏi ở Thầy
một tinh thần làm việc đầy tâm huyết và u khoa học. Chính vì thế, qua đây
em xin bày tỏ lòng biết ơn chân thành tới Thầy.
Em muốn bày tỏ sự cảm ơn chân thành đến tất cả các thầy cơ trong khoa
Tốn - Cơ - Tin học, trường Đại học khoa học tự nhiên, Đại học Quốc gia Hà
Nội đã chỉ bảo tận tình trong suốt thời gian em học tập tại trường.
Nhân dịp này, em cũng xin gửi lời cảm ơn đến gia đình, bạn bè đã cổ vũ,
động viên, giúp đỡ và tạo điều kiện tốt nhất cho em trong suốt quá trình học
tập và thực hiện luận văn này.
Do thời gian có hạn và trình độ cịn hạn chế nên luận văn của em khơng
thể tránh khỏi những thiếu sót. Em rất mong nhận được sự đóng góp ý kiến của
các thầy cô và các bạn để luận văn của em được hoàn thiện hơn. Em xin chân
thành cảm ơn.

Hà Nội, ngày 28 tháng 10 năm 2014
Học viên
Nguyễn Thị Huyền


Danh mục các kí hiệu

2

Danh mục các kí hiệu

N

: Tập số tự nhiên

Z

: Tập số nguyên

Q

: Tập số hữu tỷ

R

: Tập số thực

E

: Kỳ vọng

p − lim

: Hội tụ theo xác suất.

C[a, b]

: Liên tục trên [a, b]

P

Xn −
→X

: Xn Hội tụ theo xác suất tới X

d

: Xn Hội tụ theo phân bố tới X

− X
Xn →

kết thúc chứng minh.


Mục lục
Lời cảm ơn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

Danh mục các kí hiệu . . . . . . . . . . . . . . . . . . . . . . . . .

2

Lời nói đầu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

1 Ước lượng M

8

1.1

Định nghĩa

. . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

1.2

Tính chất tiệm cận của ước lượng M . . . . . . . . . . . . . . .

10

1.3

Ước lượng M cho tham số vị trí . . . . . . . . . . . . . . . . . .

15

1.3.1

Định nghĩa và ví dụ . . . . . . . . . . . . . . . . . . . . .

15

1.3.2

Phân bố của ước lượng M cho tham số vị trí . . . . . . .

18

1.3.3

Một cách nhìn trực quan của ước lượng M cho tham số
vị trí . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

1.4

Ước lượng M cho tham số tỷ lệ . . . . . . . . . . . . . . . . . .

22

1.5

Tính Robust định lượng và định tính của ước lượng M . . . . .

25

2 Ước lượng M cho mơ hình hồi quy tuyến tính

31

2.1

Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

31

2.2

Phương pháp bình phương cực tiểu cho mơ hình hồi quy . . . .

34

2.3

Các phương pháp tìm ra các ngoại lệ . . . . . . . . . . . . . . .

36

2.4

Ước lượng M cho mơ hình hồi quy . . . . . . . . . . . . . . . . .

38

2.5

Các tính chất tiệm cận . . . . . . . . . . . . . . . . . . . . . . .

40

3 Ứng dụng
3.1

42

Dữ liệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3

42


Mục lục

4

3.2

Giới thiệu phần mềm R

. . . . . . . . . . . . . . . . . . . . . .

42

3.3

Các kết quả và phân tích . . . . . . . . . . . . . . . . . . . . . .

46

Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

51

Tài liệu tham khảo . . . . . . . . . . . . . . . . . . . . . . . . . . .

52


Lời nói đầu

5

Lời nói đầu
Thống kê tốn học là một phương pháp khoa học phân tích và xử lý dữ
liệu có được nhờ các thí nghiệm, các cuộc điều tra nghiên cứu các hiện tượng
tự nhiên, các vấn đề kỹ thuật cũng như các vấn đề xã hội. Tất cả các phương
pháp thống kê đều dựa trên một số giả thiết và giả thiết được sử dụng nhiều
nhất trong thống kê cổ điển là giả sử rằng các dữ liệu quan sát được biểu diễn
bởi một phân bố chuẩn. Tuy nhiên, các dữ liệu thu được trong thực tế thường
gồm một hoặc một số các quan sát có sự khác biệt khá lớn với phần lớn các
quan sát của tập dữ liệu được gọi là các giá trị ngoại lệ (outliers). Khi đó phân
bố biểu diễn của các quan sát này chỉ xấp xỉ chuẩn. Chúng ta xét ví dụ sau :
Cho 24 số liệu về hàm lượng đồng có trong bột mỳ (đơn vị phần triệu), được
sắp xếp theo thứ tự tăng dần trong bảng sau :
2.20 2.20 2.40 2.40 2.50 2.70 2.80 2.90
3.03 3.03 3.10 3.37 3.40 3.40 3.40 3.50
3.60 3.70 3.70 3.70 3.70 3.77 5.28 28.95

30

Normal Q−Q Plot

15

10

●

5

Sample Quantiles

20

25

●

●

−2

●

●

●

−1

●

●

●

●

●

●

●

●

●

●

0
Theoretical Quantiles

●

●

●

●

●

●

1

●

2


Lời nói đầu

6

Từ hình vẽ ta có thể nhận thấy rằng phần lớn các dữ liệu có thể được mơ tả
bởi một phân bố chuẩn, nhưng không phải là tất cả. Giá trị 28.95 chênh lệch
khá lớn với các giá trị cịn lại và nó được xem như một giá trị ngoại lệ. Trong
trường hợp này, chúng ta có thể đốn rằng 2.895 là giá trị đúng. Qua tính tốn
ta được x¯ = 4.28 và s = 5.3, giá trị của x¯ lớn hơn hầu hết tất cả các số liệu
trừ hai giá trị 5.28 và 28.95, do đó nó không thể là một ước lượng tốt cho giá
trị trung tâm của tập dữ liệu(giá trị ở giữa của tập dữ liệu). Nếu chúng ta xóa
số liệu 28.95, bây giờ kích thước mẫu n = 23, ta có x¯ = 3.21,

s = 0.69. Lúc

này, trung bình mẫu cung cấp một ước lượng tốt cho giá trị trung tâm của dữ
liệu và giá trị SD nhỏ hơn 7 lần so với khi xét cả giá trị ngoại lệ 28.95.
Giá trị ngoại lệ cũng có những ảnh hưởng bất lợi nghiêm trọng đến các
khoảng tin cậy. Sử dụng các số liệu trong ví dụ trên ta có khoảng tin cậy dựa
trên phân bố Student với độ tin cậy 0.95 là (2.05; 6.51), nếu xóa bỏ giá trị
ngoại lệ thì khoảng tin cậy là (2.91; 3.51).
Qua ví dụ trên có thể thấy rằng các ước lượng cổ điển như trung bình mẫu,

phương sai mẫu, ... có thể bị ảnh hưởng nhiều bởi các giá trị ngoại lệ. Khi đó
chúng khơng phải là các ước lượng tốt nhất chúng ta cần. Để khắc phục vấn
đề này, các nhà nghiên cứu thống kê đã tìm ra các ước lượng tham số Robust
sẽ cung cấp ước lượng phù hợp với phần lớn các dữ liệu khi tập dữ liệu chứa
các giá trị ngoại lệ cũng như khi dữ liệu không chứa các giá trị này. Tuy nhiên,
chúng ta có cần thiết phải sử dụng thống kê Robust trong tất cả các trường
hợp không hay chỉ cần thực hiện bài toán qua hai bước sau :
(1) : Loại bỏ các giá trị ngoại lệ khỏi tập dữ liệu bằng cách sử dụng các quy
tắc xóa bỏ các ngoại lệ.
(2) : Sử dụng các phương pháp thống kê cổ điển
Câu trả lời là khơng vì những lý do sau đây :
• Thứ nhất, chúng ta rất khó để có thể tách biệt hai bước trên một cách rõ
ràng, ví dụ trong các bài tốn hồi quy nhiều tham số rất khó để có thể


Mục lục

7

nhận ra các giá trị ngoại lệ trừ khi chúng ta chắc chắn đó là các giá trị
ngoại lệ.
• Thứ hai, thực nghiệm đã chỉ ra rằng những phương pháp loại bỏ tốt nhất
khơng hồn tồn đạt được các ước lượng tốt khi sử dụng thống kê Robust.
• Thứ ba, các nghiên cứu thực nghiệm cũng chỉ ra rằng rất nhiều các quy tắc
xóa bỏ cổ điển khơng thể đối với với các giá trị ngoại lệ bội : tình huống
có thể xảy ra là giá trị ngoại lệ thứ hai ẩn đi giá trị ngoại lệ thứ nhất, do
đó việc xóa bỏ khơng thể thực hiện.
Vì những lý do này nên trong luận văn, em trình bày về các ước lượng Robust
qua ba chương sau :
• Chương 1 : Trình bày các khái niệm, tính chất nền tảng trong ước lượng

Robust và hồi quy tuyến tính như : Định nghĩa và các tính chất của ước
lượng M, ước lượng M cho tham số vị trí và tham số tỷ lệ.
• Chương 2 : Trình bày ước lượng M cho các hệ số trong mơ hình hồi quy :
Giới thiệu phương pháp bình phương cực tiểu cho mơ hình hồi quy, định
nghĩa và các tính chất của ước lượng M cho các hệ số của mơ hình hồi
quy.
• Chương 3 : Trình bày một ứng dụng của ước lượng M cho một mơ hình hồi
quy với bộ dữ liệu cụ thể sử dụng phần mềm R.


Chương 1
Ước lượng M
1.1

Định nghĩa

Cho X là đại lượng ngẫu nhiên có phân phối chuẩn N (µ, σo2 ) trong đó µ là
tham số chưa biết, σo2 đã biết. Ta có mẫu X1 , X2 , . . . , Xn về X. Khi đó hàm
mật độ đồng thời của X1 , X2 , . . . , Xn là
n

f (xi ; µ),

f (x1 , x2 , . . . , xn , µ) =
i=1

Hàm hợp lý
1
1
exp

−
L(µ) = n
2σo2
σo (2π)n/2

n

(xi − µ)2 .
i=1

Ước lượng hợp lý cực đại cho µ là giá trị µ cực đại L(µ) hay µ cực tiểu
n
i=1 (xi

− µ)2 . Nếu ta đặt ρ(x, µ) = (x − µ)2 thì µ cực tiểu

n
i=1 ρ(xi , µ).

Tổng quát hơn ta có định nghĩa sau về ước lượng M :
Định nghĩa 1.1.1. Giả sử x1 , x2 , . . . , xn là các quan sát độc lập và có cùng
phân phối với hàm mật độ f (x, θ). Một ước lượng M của θ là :
n

Tn = arg min
θ

hoặc bởi phương trình ẩn

ρ(xi ; θ),

(1.1)

i=1

n

ψ(xi ; Tn ) = 0,
i=1

với ρ là hàm bất kỳ, ψ(x; θ) = (∂/∂θ)ρ(x; θ).
8

(1.2)


1.1. Định nghĩa

9

Nếu chúng ta chọn ρ(x; θ) = − log f (x; θ) thì ước lượng thu được chính là
ước lượng hợp lý cực đại quen thuộc.
Ví dụ 1.1.1. Ước lượng hợp cực đại của θ với giả thiết họ hàm mật độ xác
suất f (x, θ) là nghiệm của
ψ(x; θ)Fn (dx) = 0,
với
∂
log f (x; θ).
∂θ

ψ(x; θ) =

Ví dụ 1.1.2. Ước lượng hợp lý cực đại cho ν của phân bố Student với hàm
mật độ
fν (x) = cν

x2
1+
ν

−(ν+1)/2

,

trong đó
Γ((v + 1)/2)
cν = √
.
vπΓ(v/2)
là ước lượng M với
ψ(x) =

x
.
+ν

x2

Như vậy trong thống kê, các ước lượng và thống kê kiểm định đều phụ thuộc
vào mẫu (x1 , . . . , xn ) thông qua hàm phân phối mẫu

Fn (x) =

1
n

I( xi < x),

Nghĩa là, với ước lượng Tn = Tn (x1 , x2 , . . . , xn ) ta có thể viết :
Tn (x1 , . . . , xn ) = T (Fn )
với hàm T nào đó được định nghĩa trên khơng gian độ đo thực.
Cho xi là các quan sát độc lập có cùng hàm phân bố F , nếu một hàm T
thỏa mãn giới hạn theo xác suất
T (F ) = lim T (Fn ).
n→∞

được gọi là vững theo nghĩa Fisher tại F .


1.2. Tính chất tiệm cận của ước lượng M

10

Nhận xét 1.1.1. Trong trường hợp tổng quát chúng ta không thể định nghĩa
T (F ) là một giá trị của t làm nhỏ nhất
ρ(x; t)F (dx).

(1.3)

|x − t|F (dx) ≡ ∞

(1.4)

Ví dụ, ρ(x; t) = |x − t|, nhưng

đồng nhất theo t trừ khi F có một mơ men tuyệt đối hữu hạn. Có một biện
pháp khắc phục đơn giản : thay thế ρ(x; t) bằng ρ(x; t) − ρ(x; to ) với giá trị
không đổi to , nghĩa là trong trường hợp của median, làm nhỏ nhất
(|x − t| − |x|)F (dx)
thay cho (1.4)
Từ phương trình (1.2), chúng ta định nghĩa T (F ) bởi :
ψ(x; T (F ))F (dx) = 0.

1.2

(1.5)

Tính chất tiệm cận của ước lượng M

Giả sử ψ(x; θ) đo được đối với x và là hàm giảm theo θ, . Đặt
n

Tn∗

= sup{t|

ψ(xi ; t) > 0},

(1.6)

ψ(xi ; t) < 0}.

(1.7)

1
n

Tn∗∗ = inf{t|
1

Rõ ràng, −∞ < Tn∗ ≤ Tn∗∗ < ∞ và giá trị Tn bất kỳ thỏa mãn Tn∗ ≤ Tn ≤ Tn∗∗
có thể là ước lượng cần tìm. Chú ý rằng :
{Tn∗ < t} ⊂ {

ψ(xi ; t) ≤ 0} ⊂ {Tn∗ ≤ t},

{Tn∗∗ < t} ⊂ {

ψ(xi ; t) < 0} ⊂ {Tn∗∗ ≤ t}.

(1.8)


1.2. Tính chất tiệm cận của ước lượng M

11

Hình 1.1: Biểu diễn của Tn∗ và Tn∗∗

Do đó,
P {Tn∗ < t} = P {

ψ(xi ; t) ≤ 0},

P {Tn∗∗ < t} = P {

ψ(xi ; t) < 0}.

(1.9)

tại các điểm liên tục t của vế trái.
Phân bố của 21 (Tn∗ + Tn∗∗ ) khó tìm song ta có thể biểu diễn hàm phân bố của


T ∗ với xác suất 1
n
2
Tn =

T ∗∗ với xác suất 1
n
2
qua

ψ(xi , t) là
1
P {Tn < t} = P {
2

1
ψ(xi ; t) ≤ 0} + P {

2

ψ(xi ; t) < 0}.

Bây giờ chúng ta tìm phân phối giới hạn của Tn . Đặt :
λ(t) = λ(t, F ) = EF ψ(X, t).

(1.10)

Nếu λ tồn tại và hữu hạn với ít nhất một giá trị của t, thì nó tồn tại (có
thể là vơ hạn) và đơn điệu với mọi t. Do ψ(X; t) − ψ(X; s) ≥ 0 nếu t ≤ s vì
vậy EF ψ(X; t) ≥ EF ψ(X; s) nên định nghĩa là đúng đắn.


1.2. Tính chất tiệm cận của ước lượng M

12

Mệnh đề 1.2.1. Giả sử có một giá trị to sao cho λ(t) > 0 với t < to và
λ(t) < 0 với t > to . Khi đó cả Tn∗ và Tn∗∗ hội tụ theo xác suất gần như chắc
chắn tới to .
Chứng minh. Dễ dàng chỉ ra được từ (1.9) và áp dụng luật số lớn cho
(1/n)

ψ(xi ; to ± ε).

Hệ quả 1.2.1. Nếu ψ(x; θ) là đơn điệu theo θ và T (F ) được xác định duy nhất
bởi (1.5), khi đó Tn là vững tại F , nghĩa là Tn → T (F ) theo xác suất và gần
như chắc chắn.
Chú ý từ λ(s; F ) = λ(t; F ) suy ra ψ(x; s) = ψ(x; t) hầu khắp nơi theo F ;

λ(t) cung cấp một biểu diễn tham số hiệu quả hơn t. Nếu λ là hàm liên tục thì
mệnh đề 1.2.1 khẳng định rằng λ(Tn ) là ước lượng vững của 0, điều này vẫn
đúng nếu λ triệt tiêu trên một khoảng khơng suy biến.Ta có thể nghiên cứu
dáng điệu tiệm cận của Tn thông qua λ(Tn ). Vì λ là hàm đơn điệu giảm nên ta
có :
{−λ(Tn ) < −λ(t)} ⊂ {Tn < t} ⊂ {Tn ≤ t} ⊂ {−λ(Tn ) ≤ −λ(t)}
Bây giờ chúng ta sẽ chỉ ra rằng

√

(1.11)

nλ(Tn ) là tiệm cận chuẩn với các giả thiết

sau đây :
CÁC GIẢ THIẾT
(A-1) ψ(x; t) đo được theo x và đơn điệu giảm theo t.
(A-2) Có ít nhất một điểm to sao cho λ(to ) = 0.
(A-3) λ liên tục trong một lân cận của Γo , với Γo là tập các giá trị của t sao
cho λ(t) = 0.
(A-4) σ 2 (t) = EF [ψ(X; t)2 ] − λ2 (t, F ) là hữu hạn, khác 0 và liên tục trong một
lân cận của Γo . Đặt σo = σ(to ).


1.2. Tính chất tiệm cận của ước lượng M

13

Một cách tiệm cận thì mọi Tn mà Tn∗ ≤ Tn ≤ Tn∗∗ có dáng điệu như nhau nên
ta sẽ xét Tn∗ .

Cho y là một số thực bất kỳ, với giả thiết (A-3), chúng ta định nghĩa dãy
√
tn sao cho y = − nλ(tn ) với n đủ lớn. Đặt
Yni =

ψ(xi ; tn ) − λ(tn )
.
σ(tn )

(1.12)

Yni với 1 ≤ i ≤ n là các biến ngẫu nhiên độc lập và có cùng phân bố với kỳ
vọng 0 và phương sai bằng 1. Từ (1.9) và (1.11), ta có :
√
P {− nλ(Tn∗ ) < y} = P {Tn∗ < tn }
y
1
Yni ≤
}
= P {√
σ(tn )
n

(1.13)
(1.14)

√
nếu y/ n là điểm liên tục của phân phối của λ(Tn∗ ), nghĩa là cho hầu hết tất
cả y.
Bổ đề 1.2.1. Khi n → ∞,

1
P {√
n

Yni < z} → Φ(z)

đều trong z
Chứng minh. Chúng ta phải kiểm chứng điều kiện Lindeberg, với mọi ε > 0,
E{Yni2 ; |Yni | >

√
nε} → 0

khi n → ∞. Vì λ và σ là liên tục, nên với mọi ε > 0, khi n → ∞,
E{ψ 2 (x; tn ); |ψ(x; tn )| >

√

nε} → 0

Do đó, nó chỉ ra rằng họ các biến ngẫu nhiên (ψ(x; tn ))n≤no là khả tích đều.
Nhưng, vì ψ là đơn điệu,
ψ 2 (X; s) ≤ ψ 2 (X; so ) + ψ 2 (X; s1 )
với so ≤ s ≤ s1 . Vì vậy, theo giả thiết (A- 4), họ các biến ngẫu nhiên này được
làm trội bởi một biến ngẫu nhiên khả tích và do đó là khả tích đều.


1.2. Tính chất tiệm cận của ước lượng M

14

Theo (1.14) chúng ta có định lý sau
Định lý 1.2.1. Với các giả thiết (A - 1) - (A - 4)
√
y
P {− nλ(Tn ) < y} − Φ( ) → 0
σo
√
hội tụ đều theo y. Nói cách khác, nλ(Tn ) là xấp xỉ chuẩn N (0; σo2 ).

(1.15)

Chứng minh. Ta chỉ cần chỉ ra rằng sự hội tụ là đều. Điều này rõ ràng đúng
cho khoảng bị chặn [−yo ; yo ], do đó, với ε > 0 cho trước và nếu chúng ta chọn
yo đủ lớn sao cho
Φ(−yo /σo ) <

ε
2

và no đủ lớn sao cho
√
y
ε
P {− nλ(Tn ) < y} − Φ( ) <
σo
2
với mọi n ≥ no và mọi y ∈ [−yo ; yo ]. Nó chỉ ra rằng
√
y

P {− nλ(Tn ) < y} − Φ( ) < ε.
σo
với mọi y.
Hệ quả 1.2.2. Nếu tồn tại to sao cho λ (to ) < 0, khi đó

√

n(Tn − to ) là tiệm

cận chuẩn với kỳ vọng 0 và phương sai σo2 /(λ (to ))2 .
Chứng minh. Trong trường hợp này,
tn = to − √

y
1
+ o( √ ),
nλ (to )
n

So sánh (1.14), (1.15) suy ra điều phải chứng minh.
Trong phần tiếp theo chúng ta sẽ xét hai trường hợp đặc biệt của ước lượng
M là ước lượng M cho tham số vị trí và ước lượng M cho tham số tỷ lệ.


1.3. Ước lượng M cho tham số vị trí

15

1.3

Ước lượng M cho tham số vị trí

1.3.1

Định nghĩa và ví dụ

• Mơ hình vị trí
Định nghĩa 1.3.1. Mơ hình có dạng
X i = µ + ui

(i = 1, 2, . . . , n)

(1.16)

trong đó các sai số ui là các biến ngẫu nhiên được gọi là một mơ hình vị
trí.
Nếu các quan sát được ghi lại với những thí nghiệm tương tự trong cùng
một hệ điều kiện thì có thể giả sử rằng :
1. u1 , u2 , . . . , un có cùng hàm phân phối xác suất Fo .
2. u1 , u2 , . . . , un độc lập.
Do đó từ mơ hình (1.16) có thể thấy rằng Xi là các biến ngẫu nhiên độc
lập và có cùng hàm phân phối :
F (x) = Fo (x − µ)

(1.17)

Xét mơ hình (1.16), giả sử rằng Fo có hàm mật độ xác suất fo = Fo . Khi
đó hàm hợp lý của các quan sát là :
n

fo (xi − µ)

L(x1 , x2 , . . . , xn , µ) =
n=1

Định nghĩa 1.3.2. Ước lượng hợp lý cực đại (M LE) của µ là µ phụ
thuộc vào x1 , x2 , . . . , xn sao cho L(x1 , x2 , . . . , xn , µ) là lớn nhất :
µ = µ(x1 , x2 , . . . , xn ) = arg max L(x1 , x2 , . . . , xn , µ).
µ

(1.18)


1.3. Ước lượng M cho tham số vị trí

16

Nếu biết được chính xác phân phối Fo thì ước lượng M LE có thể là tốt
nhất do đạt được phương sai tiệm cận nhỏ nhất trong lớp các ước lượng.
Nhưng vì chúng ta biết Fo chỉ là xấp xỉ, do đó mục đích của chúng ta là
tìm ra các ước lượng sao cho :
+) "Gần tối ưu" khi Fo là phân phối chuẩn.
và cũng
+) "Gần tối ưu" khi Fo xấp xỉ phân phối chuẩn.

Định nghĩa 1.3.3. Cho trước một hàm ρ, một ước lượng M của tham số
vị trí là nghiệm ca phng trỡnh
n

(xi à).

à = arg min
à

(1.19)

i=1

ã Vớ d
Vớ dụ 1.3.1. Nếu Fo = N (0, 1), khi đó
x2
1
fo (x) = √ e− 2
2π

Suy ra ρ(x) =

x2
.
2

(1.20)
n
i=1 (xi

Do đó, (1.19) ⇔ µ = arg minµ

− µ)2 .

Ví dụ 1.3.2. Nếu Fo có hàm mật độ xác suất

1
fo (x) = e−|x|
2
thì :

n

ρ(x) = |x| ⇒ (1.19) ⇔ µ =

|xi − µ|

(1.21)

i=1

Chúng ta có thể thấy dưới đây lời giải của biểu thức (1.20) và (1.21) tương ứng
chính là trung bình mẫu và median mẫu.


1.3. Ước lượng M cho tham số vị trí

17

Định nghĩa 1.3.4. Nếu ρ là hàm khả vi, đạo hàm biểu thức (1.19) theo µ thì
µ là nghiệm của phương trình :
n

ψ(xi − µ) = 0.

(1.22)

i=1

với ψ = ρ .
Chú ý : Nếu fo là hàm đối xứng thì ρ là hàm lẻ và ψ là hàm chẵn.

Ví dụ 1.3.3. Nếu ρ(x) =

x2
2

thì ψ(x) = ρ (x) = x và (1.19) trở thành

n

(xi − µ) = 0 ⇔ µ = x¯
i=1

Ví dụ 1.3.4. Nếu ρ(x) = |x|, ta sẽ chỉ ra rằng median của x là nghiệm của
(1.20). Ta có :




−1 nếu x < 0



ψ(x) = sgn(x) = 0
nếu x = 0






1
nếu x > 0
Ta có
sgn(x) = I(x > 0) − I(x < 0).
với I(.) là hàm chỉ tiêu:

I(x > 0) =



1 nếu x > 0

0 nếu x ≤ 0

Từ (1.20) và (1.21) ta có :
n

n

sgn(xi − µ) =
i=1

(I(xi − µ > 0) − I(xi − µ < 0))
i=1

= #(xi > µ) − #(xi < µ) = 0
⇒ #(xi > µ) = #(xi < µ) ⇒ µ là một median mẫu nào đó.

(1.23)


1.3. Ước lượng M cho tham số vị trí

18

Nhận xét 1.3.1. Như trong ví dụ 1.1.2 có thể chỉ ra rằng ước lượng hợp lý
cực đại cho ν của phân bố Student với hàm mật độ
fν (x) = cν

x2
1+
ν

−(ν+1)/2

,

trong đó
Γ((v + 1)/2)
cν = √
.
vπΓ(v/2)
là ước lượng M với
ψ(x) =

x
.
x2 + ν

ta có ψ(x) → 0 khi n → ∞. Do đó, đối với các phân bố đối xứng nặng phần
đi tốt nhất chúng ta nên chọn hàm ψ → 0 tại ∞. Người ta thường dùng họ
hàm Huber xác định bởi :

ρk (x) =



x2

nếu |x| ≤ k


2k|x| − k 2

nếu |x| > k

(1.24)

và đạo hàm 2ψk (x) :

ψk (x) =

1.3.2




x

nếu |x| ≤ k


sgn(x)k

nếu |x| > k

(1.25)

Phân bố của ước lượng M cho tham số vị trí

Để đánh giá hiệu quả của các ước lượng M, chúng ta cần chỉ ra được phân
phối của chúng. Ngồi kỳ vọng và median thì khơng có biểu diễn rõ ràng nào
cho phân phối của các ước lượng M trong trường hợp cỡ mẫu hữu hạn, nhưng
các phép xấp xỉ có thể được tìm thấy.
Giả sử ψ là hàm tăng và cho trước phân phối F . Khi đó, ta định nghĩa
µo = µo (F ) là lời giải của phương trình:
EF ψ(X − µo ) = 0

(1.26)


1.3. Ước lượng M cho tham số vị trí

19

Ví dụ 1.3.5. Đối với trung bình mẫu ψ(x) = x, từ (1.26) ta có

µo = E(X)
Ví dụ 1.3.6. Đối với median mẫu, ta có ψ(x) = sgn(x) = I(x > 0) − I(x < 0),
ta có
P (X > µo ) − P (X < µo ) = 2F (µo ) − 1 = 0
⇔ F (µo ) =

1
⇔ µo = M ed(X).
2

Định lý 1.3.1.
P

µ−
→ µo
Chứng minh. Đặt
1
λn (s) =
n

λ(s) = Eψ(X − s);

n

ψ(xi − s)
i=1

Do đó µ và µo tương ứng thỏa mãn các phương trình
λn (µ) = 0;

λ(µo ) = 0.

Với mỗi giá trị của s, các biến ngẫu nhiên ψ(xi − s) là độc lập và cùng phân
bố và có kỳ vọng là λ(s). Vì vậy, theo luật số lớn ta có
P

λn (s) −−−→ λ(s),
n→∞

∀s.

Hệ quả 1.3.1. Cho hai dãy biến ngẫu nhiên un , vn sao cho un hội tụ theo xác
d

suất đến hằng số u và vn hội tụ theo phân bố tới v (vn →
− v). Khi đó :
d

un + vn →
− u+v

d

u n vn →
− uv.

Định lý 1.3.2. Phân bố của µ xấp xỉ phân bố N (µo , nv ) với
v=

EF (ψ(X − µ0 ))2

(EF ψ (X − µo ))2

(1.27)


1.3. Ước lượng M cho tham số vị trí

20

Chứng minh. Khai triển Taylor bậc 1 của (1.22) như một hàm số của µ đối với
µo , ta có:
n

n

ψ(xi − µo ) − (µ − µo )

0=
i=1

ψ (xi − µo ) + 0(µ − µo )

(1.28)

i=1

trong đó số hạng cuối thỏa mãn :
0(t)
= 0.
t→0 t

lim
Do đó, ta có
√

√
n(µ − µo ) ≈

An
n ave(ψ(x − µo ))
.
=
ave(ψ(x − µo ))
Bn

Do ψ(xi − µo ) là dãy các biến ngẫu nhiên độc lập cùng phân bố với kỳ vọng
P

→ Eψ (X − µo ).
bằng 0 ⇒ An ∼ N (0, Eψ(X − µo )). Theo luật số lớn thì Bn −
Do đó, theo hệ quả Slutsky,

An
Bn

có thể được thay thế bởi

An
b

với n lớn nên :

An
Eψ(X − µo )2
≈ N 0,
.
Bn
[Eψ (X − µo )]2

Nhận xét 1.3.2. Đối với mơ hình (1.17), v khơng phụ thuộc vào µo , tức là :
EFo (ψ(X))2
v=
(EFo ψ (X))2
Định nghĩa 1.3.5. Nếu phân bố của µ xấp xỉ N (µo , nv ) với n lớn thì µ được
gọi là chuẩn tiệm cận với µo là giá trị tiệm cận và v là phương sai tiệm cận.
Định nghĩa 1.3.6. Hiệu quả tiệm cận của µ là tỉ lệ
Ef f (µ) =

vo
v

trong đó vo là phương sai tiệm cận của MLE.
Để hiểu ý nghĩa của Ef f (µ) ta xét ví dụ sau :
Ví dụ 1.3.7. Xét hai ước lượng với phương sai tiệm cận là v1 , v2 . Do phân bố
của chúng xấp xỉ phân phổi chuẩn với phương sai tiệm cận tương ứng là
v2
.
n2

v1

n1

và

Giả sử v1 = 3v2 khi đó số quan sát n1 = 3n2 thì hai quan sát này mới có

cùng phương sai.


1.3. Ước lượng M cho tham số vị trí

21

Ví dụ 1.3.8. Đối với trung bình mẫu, ta có ψ ≡ 1 vì vậy v = V ar(x).
Ví dụ 1.3.9. Đối với median mẫu, tử số của v là 1. Vì ψ(x) = sgn(x) do đó
ψ khơng tồn tại, nhưng nếu x có hàm mật độ là f (x) thì
v=

1
4f (µo )2

Nếu F = N (0, 1), ta có
1
2π
f (µo ) = f (0) = √ ⇒ v =
.
4
2π
1.3.3

Một cách nhìn trực quan của ước lượng M cho tham số vị trí

1. Một ước lượng M cho tham số vị trí có thể được xem như một trung bình
trọng số. Trong hầu hết các trường hợp ψ(0) = 0 và ψ (0) tồn tại. Vì vậy,
hàm ψ là xấp xỉ tuyến tính tại gốc tọa độ. Cho hàm


 ψ(x)
nếu x = 0
x
W (x) =

ψ (0) nếu x = 0

(1.29)

Khi đó, phương trình (1.22) trở thành :
n

n

ψ(xi − µ) = 0 ⇔
i=1

W (xi − µ)(xi − µ) = 0.
i=1

⇔µ=

n

i=1 W (xi − µ)xi
n
i=1 W (xi − µ)

(1.30)

Biểu thức (1.30) biểu diễn các ước lượng giống như trung bình trọng số.
Vì tổng quát W (x) là hàm không tăng của |x| nên các quan sát ngoại lệ
sẽ có trọng lượng nhỏ hơn.
Nhận xét 1.3.3. Mặc dù (1.30) giống một biểu diễn rõ ràng của µ nhưng
thực tế hàm trọng lượng ở vế phải của biểu thức cũng phụ thuộc vào µ.
Ví dụ 1.3.10. Hàm trọng lượng của hàm Huber’s ψ là :
Wk (x) = min 1,

k
|x|


1.4. Ước lượng M cho tham số tỷ lệ

22

2. Một cách nhìn trực quan khác để giải thích ước lượng M là biểu diễn
phương trình (1.22) dưới dạng
1
µ=µ+
n

n

i=1

1
ψ(xi − µ) =
n

n

ξ(xi , µ).
i=1

với ξ(x, µ) = µ + ψ(x − µ).
Ví dụ 1.3.11. Xét hàm Huber


x
ψk =

sgn(x)k

nếu |x| ≤ k
nếu |x| > k

thì ta có,




µ−k




ξ(x, µ) = x





µ + k

nếu x < µ − k
nếu µ − k ≤ x ≤ µ + k
nếu x > µ + k

Nghĩa là, µ được xem như là trung bình của các quan sát biến đổi ξ(xi , µ).

1.4

Ước lượng M cho tham số tỷ lệ

Giả sử các quan sát xi thỏa mãn
xi = σui

(1.31)

trong đó ui độc lập cùng phân phối với hàm mật độ fo và σ > 0 là một tham
số chưa biết. Các phân phối của các biến ngẫu nhiên xi tạo thành một họ tỷ
lệ, với hàm mật độ
xi
1

fo
σ
σ
Ví dụ 1.4.1. i) Họ mũ với fo (x) = e−x I(x > 0).
ii) Họ phân phối chuẩn N (0, σ 2 ) với
−x2
1
fo (x) = √ e 2
σ 2π


1.4. Ước lượng M cho tham số tỷ lệ

23

Ước lượng MLE của σ trong (1.31) là σ là :
1
σ = arg max n
σ σ

n

fo
i=1

xi
.
σ

Lấy logs và đạo hàm theo σ, ta có :

1
n
trong đó ρ(t) = tψ(t) với ψ =
Ví dụ 1.4.2.

n

ρ
i=1

xi
σ

= 1.

(1.32)

−fo
.
fo

1. Nếu fo là hàm mật độ của phân phối chuẩn tắc N (0, 1) khi

đó ρ(t) = t2 ⇒ σ =

ave(x)2 .

2. Nếu fo = 1/2e−|x| khi đó ρ(t) = |t| ⇒ σ = ave(|x|).
Chú ý : Nếu fo và ρ là các hàm lẻ thì σ chỉ phụ thuộc vào giá trị tuyệt đối
của x.

Định nghĩa 1.4.1. Một ước lượng thỏa mãn
1
n

n

ρ
i=1

xi
σ

=δ

(1.33)

được gọi là một ước lượng M cho tham số tỷ lệ, trong đó δ là một hằng số
dương.
Chú ý :
i) Điều kiện để phương trình (1.33) có nghiệm là 0 < δ < ρ(∞). Do đó, nếu ρ
bị chặn khơng mất tổng qt, giả sử rằng
ρ(∞) = 1;

δ ∈ (0, 1).

ii) Trong trường hợp hiếm khi xảy ra mà #(xi = 0) > n(1 − σ) phương trình
(1.33) khơng có nghiệm và trong trường hợp này σ(x) = 0.