Ước lượng phi tham số cho hàm mật độ ngẫu nhiên

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI
KHOA TOÁN-TIN

KHÓA LUẬN TỐT NGHIỆP

ƯỚC LƯỢNG PHI THAM SỐ CHO HÀM
MẬT ĐỘ CỦA MẪU NGẪU NHIÊN

Giảng viên hướng dẫn:

TS. Ngô Hoàng Long

Sinh viên: Đỗ Thị Phượng
Lớp: K58E
HÀ NỘI


Mục lục
1 Cơ sở lí thuyết
1.1
1.2

2

Một số bài toán và ví dụ về mô hình phi tham số . . . . . . .
Ước lượng hạch của mật độ . . . . . . . . . . . . . . . . . . .

2
3

1.2.1

Sai số bình phương trung bình . . . . . . . . . . . . . .

5

1.2.2

Sự xây dựng của hạch cấp l . . . . . . . . . . . . . . . 12

1.2.3
1.2.4

Sai số tích phân bình phương của ước lượng hạch . . . 15
Sự thiếu tính tối ưu tiệm cận cho mật độ cố định . . . 22

1.3

Giải tích Fourier của ước lượng hạch của mật độ . . . . . . . . 30

1.4

Sai số của ước lượng không chệch. Sự thừa nhận chéo ước
lượng mật độ . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

2 Thực nghiệm

45

1

Chương 1
Cơ sở lí thuyết
1.1

Một số bài toán và ví dụ về mô hình phi
tham số

Ước lượng mật độ xác suất
Cho X1 , · · · , Xn là dãy biến ngẫu nhiên giá trị thực có cùng phân phối
mà phân phối chung là liên tục tuyệt đối theo độ đo Lebesgue trên R. Mật
độ của phân phối này là một hàm số chưa biết p : R → [0, +∞]. Vấn đề ta
quan tâm ở đây là tìm ước lượng của p dựa trên các quan sát X1 , X2 , · · · , Xn .
Mỗi ước lượng của p là một hàm số x → pn (x) = pn (x, X1 , · · · , Xn ) đo được
đối với quan sát X = (X1 , X2 , · · · , Xn ). Nếu ta biết trước rằng p phụ thuộc
vào một họ tham số{g(x, θ) : θ ∈ Θ}, ở đó g( , ) là một hàm cho trước và
θ là một tập con của Rk với k cố định và không phụ thuộc vào số quan sát
n, thì bài toán ước lượng p là tương đương với bài toán ước lượng tham số
hữu hạn chiều θ. Khi đó bài toán được gọi là bài toán ước lượng tham số.
Ngược lại, ta xét bài toán phi tham số khi ta chưa biết trước thông tin gì về
p. Trong bài toán ước lượng phi tham số ta thường giả sử rằng p thuộc vào
một lớp hàm mật độ P nào đó. Ví dụ, P có thể là tập tất cả các hàm mật
độ xác suất liên tục trên R hoặc tập tất cả mật độ xác suất Lipschitz liên
tục trên R. Các lớp hàm như trên được gọi là lớp hàm phi tham số.

2


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

1.2

3

Ước lượng hạch của mật độ

Cho X1 , X2 , · · · , Xn là dãy các biến ngẫu nhiên độc lập cùng phân phối
(i.i.d) với mật độ xác suất p theo độ đo Lebesgue trên R.
Hàm phân phối tương ứng là:
x

F (x) = P(X ≤ x) =

p(t)dt.
−∞

Ta xét hàm phân phối thực nghiệm:
1
Fn (x) =
n

n

I(Xi ≤ x),
i=1

ở đây I(.) là kí hiệu của hàm chỉ tiêu.
Đặt Yi = I(Xi ≤ x). Khi đó:
Fn (x) =

Y1 + Y2 + · · · + Yn
n

Vì (Xn ) là i.i.d nên (Yi ) là cũng i.i.d.
Khi đó:
P(Y1 = 1) = P(Y2 = 1) = · · · = P(Yn = 1) = P(X1 ≤ x).
Theo luật mạnh số lớn, ta có:
Fn (x) =

Y1 + Y2 + · · · + Yn hcc
−→ EY1 = P(X1 ≤ x) = FX (x),
n
hcc

khi n → ∞. Vậy Fn (x) −→ F (x), ∀x ∈ R. Tức là, Fn (x) là ước lượng vững
của F (x) với mọi x thuộc R.
Vấn đề ta quan tâm ở đây là làm thế nào để chúng ta ước lượng được
mật độ của p? Một cách trực quan, vấn đề có thể giải quyết như sau:


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

4

Với h > 0 đủ nhỏ, ta có:
p(x) = F (x)
F (x + k) − F (x)
= lim+
k→0
k

F (x + k) − F (x − k)
= lim+
k→0
2k
F (x + h) − F (x − h)
≈
2h
Và ta ước lượng p bởi:
pˆR
n =

Fn (x + h) − Fn (x − h)
.
2h

pˆR
n được gọi là ước lượng Rosenblatt.
Vì Fn (x + h) − Fn (x − h) =

1
n

n
i=1

I(x − h < Xi ≤ x + h) nên ta có thể viết

lại ước lượng Rosenblatt dưới dạng:
pˆR
n =

1
2nh

n

I(x − h < Xi ≤ x + h) =
i=1

1
nh

n

K0 (
i=1

Xi − x
),
h

trong đó K0 = 12 I(−1 < u ≤ 1).
Một dạng khái quát đơn giản của ước lượng Rosenblatt là:
1
pˆn =
nh

n

K(

i=1

Xi − x
),
h

trong đó K : R → R là một hàm khả tích thỏa mãn

(1.1)
K(u)du = 1.

Hàm K trên được gọi là hạch và tham số h được gọi là dải thông của ước
lượng (1.1). Hàm x → pˆn (x) được gọi là ước lượng hạch của mật độ hoặc ước
lượng Parzen-Rosenblatt.
Khi xét đến tính tiệm cận của ước lượng, tức là khi n → ∞, ta chú ý
dải thông h phụ thuộc vào n, kí hiệu bởi hn , và chúng ta sẽ giả sử rằng dãy
(hn )n≥1 tiến tới 0 khi n → ∞. Để đơn giản kí hiệu, ta thường chỉ viết h thay


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

5

cho hn nếu không có gì gây nhầm lẫn.
Một số ví dụ điển hình của hạch.
K(u) = 12 I(|u| ≤ 1) (Hạch chữ nhật),
K(u) = (1 − |u|)I(|u| ≤ 1) (Hạch tam giác),
K(u) = 34 (1 − u2 )I(|u| ≤ 1) (Hạch parabol hoặc hạch Epanechnikov),
K(u) =
K(u) =

K(u) =

15
(1 − u2 )2 I(|u| ≤ 1) (Hạch song trọng),
16
√1 exp(−u2 /2) (Hạch Gaussian),
2π
√
√
1
exp(−
|u| / 2)sin(− |u| / 2 + π/4) (Hạch
2

Silverman).

Chú ý rằng nếu hạch K chỉ nhận giá trị không âm và X1 , · · · , Xn là cố
định thì pˆn (x) thực sự là mật độ xác suất.
Hơn nữa, ước lượng Parzen-Rosenblatt có thể khái quát hóa cho trường
hợp nhiều chiều. Ví dụ, chúng ta có thể định nghĩa ước lượng hạch của mật
độ hai chiều như sau:
Giả sử rằng chúng ta quan sát n cặp biến ngẫu nhiên (X1 , Y1 ), · · · , (Xn , Yn )
trong đó (Xi , Yi ) là i.i.d với một mật độ p(x, y) trên R2 . Ước lượng hạch của
p(x, y) được xác định bởi công thức:
pˆn (x, y) =

1
nh2

n

K(
i=1

Yi − y
Xi − x
)K(
),
h
h

(1.2)

ở đó K : R → R là một hạch được định nghĩa như trên và h > 0 là dải thông.

1.2.1

Sai số bình phương trung bình

Một độ đo cơ bản cho độ chính xác của ước lượng pˆn là sai số bình phương
trung bình (MSE). MSE tại một điểm cố định x0 ∈ R được xác định bởi công
thức:
M SE = M SE(x0 ) = Ep (ˆ
pn (x0 ) − p(x0 ))2
trong đó Ep được xác định như sau:
n

Ep (ˆ
pn (x0 ) − p(x0 ))2 =

···

(ˆ
pn (x0 , x1 , · · · , xn ) − p(x0 ))2

[p(xi )dxi ] .
i=1


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

6

Ta có
M SE = b2 (x0 ) + σ 2 (x0 ),

(1.3)

trong đó b(x0 ) = Ep [ˆ
pn (x0 )] − p(x0 ) và σ 2 (x0 ) = Ep (ˆ
pn (x0 ) − Ep [ˆ
pn (x0 )])2
Định nghĩa 1.2.1. Đại lượng b(x0 ) và σ 2 (x0 ) tương ứng được gọi là độ chệch
và phương sai của ước lượng pˆn tại điểm x0 .
Để đánh giá sai số trung bình bình phương của pˆn ta sẽ phân tích lần
lượt phương sai và độ chệch của pˆn .
Phương sai của ước lượng pˆn
Mệnh đề 1.2.1. Giả sử rằng mật độ p thỏa mãn p(x) ≤ pmax < ∞, ∀x ∈ R.
Cho K : R → R là một hàm số sao cho
K 2 (u)du < ∞.

(1.4)

Khi đó, với mỗi x0 ∈ Rvàh > 0 đủ nhỏ ta có
σ 2 (x0 ) ≤
trong đó C1 = pmax

C1
,
nh

K 2 (u)du.

Chứng minh. Đặt
X i − x0
h

ηi (x0 ) = K

− Ep K(

Xi − x 0
)
h

Dãy biến ngẫu nhiên ηi (x0 ), i = 1, · · · , n là i.i.d với trung bình 0 và phương
sai
Ep ηi2 (x0 )

= Ep K

2

X i − x0
h

− Ep K

X i − x0
h

2

Vậy nên
Ep ηi2 (x0 ) ≤ Ep K 2

X i − x0
h

=

K2

z − x0
h

p(z)dz ≤ pmax h

K 2 (u)du.

CHƯƠNG 1. CƠ SỞ LÍ THUYẾT


1
σ 2 (x0 ) = Ep 
nh

7

2

n

ηi (x0 )
i=1


 = 1 Ep η12 (x0 ) ≤ C1 .
nh2
nh

(1.5)

Như vậy, nếu hn được chọn sao cho nhn → ∞ khi n → ∞ thì phương sai
σ (x0 ) → 0 khi n → ∞.
2

Độ chệch của ước lượng pˆn
Độ chệch của ước lượng hạch của mật độ có dạng:

b(x0 ) = Ep [ˆ
pn (x0 )] − p(x0 ) =

1
h

K

z − x0
h

p(z)dz − p(x0 ).

Bây giờ chúng ta mô tả dáng điệu của b(x0 ) như là một hàm số của h dưới
một số điều kiện chính quy của mật độ p và hạch K. Sau đây, ta kí hiệu β
là số tự nhiên lớn nhất nhỏ hơn số thực β. lim
Định nghĩa 1.2.2. Cho T là một khoảng trên R và β, L là hai số dương.
Lớp H o¨lder (β, L) trên T được định nghĩa là tập của các hàm f : T → L
khả vi cấp l = β và thỏa mãn
β−l

f (l) (x) − f (l) (x ) ≤ L |x − x |

, ∀x, x ∈ T.

Định nghĩa 1.2.3. Giả sử l là số tự nhiên lơn hơn 1. Ta nói rằng K : R → R
là một hạch cấp l nếu hàm u → uj K(u), j = 1, · · · , l là khả tích và thỏa mãn
K(u)du = 1,

uj K(u)du = 0, j = 1, · · · , l.

Một vài ví dụ của hạch cấp l ta sẽ được viết trong Mục 1.2.2.
Bây giờ, ta giả sử rằng p thuộc vào lớp các mật độ P = P(β, L) được
định nghĩa như sau:
P(β, L) =

p | p ≥ 0,

p(x)dx = 1 và p ∈

(β, L) trên R

và giả sử rằng K là một hạch cấp l. Ta có kết quả sau.


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

8

Mệnh đề 1.2.2. Giả sử rằng p ∈ P(β, L) và cho K là một hạch cấp l = β
thỏa mãn
|u|β |K(u)| du < ∞.
Với mọi x0 ∈ R, h > 0 và n ≥ 1, ta có
|b(x0 )| ≤ C2 h3 ,
trong đó C2 =

L
l!

|u|β |K(u)| du.

Chứng minh. Ta có
b(x0 ) =
Đặt u =

z−x0
,
h

1
h

K

z − x0
h

p(z)dz − p(x0 ).

khi đó z = x0 + uh và dz = hdu

Nên
b(x0 ) =

1
h

K (u) p(x0 + uh)hdu − p(x0 ) =

K(u) [p(x0 + uh) − p(x0 )] du.

Mà
(uh)l (l)
p (x0 + τ uh),
l!
trong đó 0 ≤ τ ≤ 1. Do K có cấp l = β nên
p(x0 + uh) = p(x0 ) + p, uh + · · · +

b(x0 ) =

K(u)

(uh)l (l)
p (x0 +τ uh)du =
l!

và
|b(x0 )| ≤

|K(u)|

K(u)

(uh)l (l)
p (x0 + τ uh) − p(l) (x0 ) du,
l!

|uh|l (l)
p (x0 + τ uh) − p(l) (x0 ) du.
l!

Từ Định nghĩa 1.2.2, ta có
p(l) (x0 + τ uh) − p(l) (x0 ) ≤ L |τ uh|β−1
Do đó:
|uh|l
|b(x0 )| ≤
|K(u)|
L |τ uh|β−1 du
l!
L
= |τ |β−l |h|β
|K(u)| |u|β du
l!
= |τ |β−l |h|β C2 ≤ C2 |h|β
vì 0 ≤ τ ≤ 1.

(1.6)


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

9

Cận trên của sai số bình phương trung bình
Từ Mệnh đề 1.2.1 và 1.2.2, ta thấy rằng cận trên của độ chệch và phương
sai có dáng điệu ngược nhau. Khi h nhỏ thì độ chệch nhỏ, phương sai cao.
Ngược lại, khi h lớn thì phương sai nhỏ, độ chệch cao (hình ??).
Khi chọn h đủ nhỏ tương ứng với phương sai đủ lớn được gọi là quá thô.
Khi chọn h đủ lớn thì độ chệch không thể điều chỉnh hợp lí, và được gọi là
quá trơn. Giá trị h tối ưu là cân bằng giữa độ chệch và phương sai và nằm

giữa hai cực trị của chúng. Hình 1.2.1 là đồ thị tiêu biểu của tương ứng ước
lượng mật độ. Để chọn được giá trị tối ưu h, ta cực tiểu hóa h trên cận trên
của MSE thì thu được kết quả.
Nếu p và K thỏa mãn giả thiết của Mệnh đề 1.2.1 và 1.2.2, ta được

C1
nh
Giá trị nhỏ nhất của vế phải của (1.7) đạt được khi
M SE ≤ C22 h2β +

h=

h∗n

=

1
2β+1

C1
2βC22

(1.7)

1

n− 2β+1

Do đó, nếu chọn h = h∗n thì
2β

M SE(x0 ) = O n− 2β+1 ,

n→∞

đều theo x0 . Chúng ta có kết quả sau.
Định lí 1.2.1. Giả sử điều kiện (1.4) đúng và giả thiết của Mệnh đề 1.2.2
1

được thỏa mãn. Cố định α > 0 và lấy h = αn− 2β+1 . Khi đó ước lượng hạch
pˆn thỏa mãn
2β

sup sup Ep (ˆ
pn (x0 ) − p(x0 ))2 ≤ Cn− 2β+1 ,
x∈R p∈P

trong đó C > 0 là hằng số chỉ phụ thuộc vào β, L, α và hạch K.
Chứng minh. Bất đẳng thức (1.7)
M SE ≤ C22 h2β +

C1
,
nh


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

10

trong đó
C1 = pmax

K 2 (u)du và C2 =

L
l!

|u|β |K(u)| du.

Mà theo giả thiết điều kiện (1.4) đúng và giả thiết của Mệnh đề 1.2.2 được
thỏa mãn nên ta chỉ cần chứng minh tồn tại hằng số pmax < ∞ thỏa mãn
sup sup p(x) ≤ pmax .

(1.8)

x∈R p∈P

Thật vậy, chọn K ∗ là một hạch bất kì cấp l bị chặn. Áp dụng Mệnh đề 1.2.2
với h = 1 và với mọi x0 ∈ R, với mọi p ∈ P(β, L) ta được
K ∗ (z − x0 )p(z)dz − p(x0 ) ≤ C2∗ =

L
l!

|u|β |K ∗ (u)| du.

Do đó, với mọi x ∈ R và mọi p ∈ P(β, L)
p(x) ≤ C2∗ +

∗
|K ∗ (z − x)| p(z)dz ≤ C2∗ + Kmax
,

∗
trong đó Kmax
= supu∈R |K ∗ (u)|.
∗
Suy ra tồn tại pmax = C2∗ + Kmax
thỏa mãn (1.8).
Ta lại có

M SE ≤ C22 h2β +

C1
nh
2β

= C22 α2β n− 2β+1 +
2β

= C22 α2β n− 2β+1 +
2β

= C22 α2β n− 2β+1
C22 α2β +

=
Đặt C = C22 α2β +

C1
,
α

C1
1

nαn− 2β+1
C1
2β

αn 2β+1
2β
C1 − 2β+1
+
n
α

C1
α

ta được
2β

M SE ≤ Cn− 2β+1

2β

n− 2β+1

CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

11

Với giả thiết của Định lí 1.2.1, tốc độ hội tụ của ước lượng pˆn (x0 ) là
β

ψn = n− 2β+1 , tức là tồn tại hằng số C hữu hạn sao cho
sup Ep (ˆ
pn (x0 ) − p(x0 ))2 ≤ Cψn2 ,
p∈P(β,L)

với mọi n ≥ 1.
Bây giờ ta có hai câu hỏi như sau: Liệu chúng ta có thể cải thiện tốc độ
ψn bởi ước lượng mật độ khác không? Tốc độ hội tụ tốt nhất có thể đạt được
là bao nhiêu? Để trả lời hai câu hỏi trên người ta sử dụng sai số minimax R∗n
tương ứng với lớp P(β, L):
Rn∗ (P(β, L)) = inf

sup Ep (Tn (x0 ) − p(x0 ))2 ,

Tn p∈P(β,L)

ở đó ta lấy infinium trên tập tất cả các ước lượng p. Ta có thể chứng tỏ rằng
2β

cận dưới sai số minimax có dạng Rn∗ (P(β, L)) ≥ C ψn2 = C n− 2β+1 với hằng
số C > 0. Điều này cho thấy rằng dưới giả thiết của Định lí 1.2.1 thì ước
β

lượng hạch đạt đến tốc độ tối ưu n− 2β+1 tương ứng với lớp mật độ P(β, L).
Ràng buộc dương
Dễ thấy rằng từ Định nghĩa 1.2.3, hạch cấp l ≥ 2 nhận giá trị âm trên
tập các độ đo Lebesgue dương. Do đó ước lượng của mật độ dựa trên các
hạch này có thể nhận giá trị âm. Tính chất này là nhược điểm của các ước
lượng với hạch cấp cao. Tuy nhiên, nhược điểm này không quá nghiêm trọng.
Ta có thể sử dụng phần dương của ước lượng như sau:
pˆ+
ˆn (x)} ,
n (x) = max {0, p
trong đó, sai số của pˆ+
ˆn .
n là nhỏ hơn hoặc bằng sai số của p
Ep

pˆ+
n (x0 ) − p(x0 )

2

≤ Ep (ˆ
pn (x0 ) − p(x0 ))2 , ∀x0 ∈ R

(1.9)


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

12

Thật vậy
E [ˆ
pn (x0 ) − p(x0 )]2 = E [(ˆ
pn (x0 ) − p(x0 )) I(ˆ
pn (x0 ≥ 0))]2
+E (ˆ
pn (x0 ) − p(x0 ))2 I(ˆ
pn (x0 < 0))
pˆ+
n (x0 ) − p(x0 )

≤ E
+E

2

I(ˆ
pn (x0 ≥ 0))

pn (x0 < 0))
p(x0 )2 I(ˆ

= E pˆ+
n (x0 ) − p( x0 )

2

Đặc biệt, Định lí 1.2.1 vẫn còn đúng khi ta thay thế pˆn bởi pˆ+
n . Thật vậy, từ
(1.9) suy ra

sup sup Ep
x∈R p∈P

pˆ+
n (x0 ) − p(x0 )

2

≤ sup sup Ep (ˆ
pn (x0 ) − p(x0 ))2 .
x∈R p∈P

Theo Định Lí 1.2.1
2β

sup sup Ep (ˆ
pn (x0 ) − p(x0 ))2 ≤ Cn− 2β+1 ,
x∈R p∈P

nên
pˆ+
n (x0 ) − p(x0 )

sup sup Ep
x∈R p∈P

1.2.2

2

2β

≤ Cn− 2β+1 .

Sự xây dựng của hạch cấp l

Định lí 1.2.1 được xây dựng trên giả thiết rằng tồn tại hạch cấp l bị chặn.
Sau đây ta trình bày một phương pháp xây dựng hạch cấp l bị chặn:
Giả sử {ϕm ( )}∞
m=0 là dãy đa thức Legendre trong L2 ([−1, 1] , dx) được
xác định bởi
1
ϕ0 (x) ≡ √ ,
2

2m + 1 1 dm
(x2 − 1)m ,
2 2m m! dxm

ϕm (x) =

m = 1, 2, · · · ,

với mọi x ∈ [−1, 1]. Khi đó (ϕm ) là một cơ sở trực chuẩn của L2 ([−1, 1] , dx)
với
1

ϕm (u)ϕk (u)du = δmk ,
−1

(1.10)


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

13

trong đó δmk là kí hiệu delta Kronecker,
1 nếu m = k,
0 nếu m = k.

δmk =

Mệnh đề 1.2.3. Hàm K : R → R xác định bởi công thức
l

ϕm (0)ϕm (u)I(|u| ≤ 1)

K(u) =

(1.11)

m=0

là một hạch cấp l.
Chứng minh. Do ϕk là một đa thức bậc k, nên với mọi j = 0, 1, · · · , l tồn tại
dãy số thực (bqj )0≤q≤j sao cho
j
j

u =

∀u ∈ [−1, 1] .

bqj ϕq (u),

(1.12)

q=0

Khi đó từ (1.10) và (1.13), ta có
j

l

1

j

bqj ϕq (u)ϕm (0)ϕm (u)du

u K(u)du =
q=0 m=0
j

−1

l

=

1

bqj ϕm (0)
q=0 m=0
j

ϕq (u)ϕm (u)du
−1

l

=

bqj ϕm (0)δqm
q=0 m=0
j

bqj ϕq (0) = 0j =

=
q=0

1 nếu j = 0,
0 nếu j = 1, · · · , l.

Hạch K được gọi là đối xứng nếu K(u) = K(−u) với mọi u ∈ R. Ví
dụ hạch K được xác định bởi biểu thức (1.11) là đối xứng. Thật vậy, ta có
ϕm (0) = 0 với mọi m lẻ và đa thức Legendre ϕm là hàm chẵn với mọi m
chẵn. Do tính đối xứng, hạch trong biểu thức (1.11) là hạch cấp l + 1 với l

chẵn. Hơn nữa, hạch trong biểu thức (1.11) chỉ chứa các đa thức Legendre
bậc chẵn.


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

14

Ví dụ 1.2.1. Hai đa thức Legendre bậc chẵn đầu tiên là
1
,
2

ϕ0 (x) ≡

5 3x2 − 1
2
2

ϕ2 (x) =

Theo Mệnh đề 1.2.3 ta có hạch K sau đây là cấp 2:
K(u) =

9 15 2
− u I(|u| ≤ 1).
8
8

Hơn nữa do tính đối xứng K cũng là hạch cấp 3 do tính đối xứng.

Phương pháp xây dựng hạch trong Mệnh đề 1.2.3 cho cả dãy đa thức
{ϕm }∞
m=0 là cơ sở trực chuẩn với trọng. Thật vậy, ta có Mệnh đề sau
Mệnh đề 1.2.4. Giả sử µ là một hàm không âm trên R và (ψm ) là dãy các
đa thức thỏa mãn
(i) µ(0) = 1
(ii) (ψn )n≥0 là hệ trực chuẩn với trọng µ, tức là

1
−1

ϕm (u)ϕk (u)µ(u)du = δmk ,

khi đó hàm K : R → R xác định bởi
l

ϕm (0)ϕm (u)µ(u)

K(u) =
m=0

là một hạch cấp l.
Chứng minh. Do ϕk là một đa thức bậc k, nên với mọi j = 0, 1, · · · , l tồn tại
dãy số thực (bqj )0≤q≤j sao cho
j
j

u =

∀u ∈ [−1, 1] .

bqj ϕq (u),
q=0

Khi đó, ta có
j

l

1

j

bqj ϕq (u)ϕm (0)ϕm (u)µ(u)du

u K(u)du =
q=0 m=0
j

−1

l

=

1

bqj ϕm (0)
q=0 m=0
j

ϕq (u)ϕm (u)µ(u)du
−1

l

bqj ϕm (0)δqm ,

=
q=0 m=0

(1.13)


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

15

trong đó
δqm =

1 nếu q = m,
0 nếu q = m.

Suy ra
j

bqj ϕq (0) = 0j =

j

u K(u)du =
q=0

1 nếu j = 0,
0 nếu j = 1, · · · , l.

Mệnh đề trên cho phép ta có thể xây dựng nhiều hạch cấp l khác.
Ví dụ 1.2.2. a, Hai đa thức Hermite bậc chẵn đầu tiên là
ϕ2 (x) = x2 − 1.

ϕ0 (x) = 1,
2

Với h(u) = e−u , ϕm là đa thức Hermite, theo Mệnh đề 1.2.4 ta có hạch K
sau đây là hạch cấp 2
2

K(u) = e−u (2 − x2 ).
b, (µ(u) = (1 − u2 )α+ với α > 0, ϕ là hệ Gegenbauer, giá của K là [−1, 1]).

1.2.3

Sai số tích phân bình phương của ước lượng hạch

Trong Mục 1.2.1 ta đã phân tích số của ước lượng hạch pˆn một cách địa
phương của mật độ tại mỗi điểm cố định tùy ý x0 . Việc đánh giá sai số toàn
cục của ước lượng cũng rất cần thiết. Một tiêu chuẩn để đánh giá sai số toàn
cục là kỳ vọng của tích phân của bình phương sai số (MISE):
+∞

(ˆ
pn (x) − p(x))2 dx.

M ISE = Ep
−∞

Áp dụng định lí Tonelli-Fubini và công thức (1.3), ta có
+∞

M ISE =

+∞

−∞

+∞

b2 (x)dx +

M SE(x)dx =
−∞

σ 2 (x)dx.

(1.14)

−∞

Như vậy, MISE có thể biểu diển dưới dạng một tổng của tích phân độ chệch

b2 (x)dx và tích phân phương sai

σ 2 (x)dx. Để đánh giá MISE chúng ta có

thể tiến hành các bước tương tự như trong phần đánh giá MSE (trong Mục
1.2.1). Đầu tiên chúng ta phân tích tích phân phương sai.


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

16

Mệnh đề 1.2.5. Giả sử rằng K : R → R là một hàm thỏa mãn
+∞

K 2 (u)du < ∞.
−∞

Khi đó với mọi h > 0, n ≥ 1 và với mật độ xác suất bất kỳ p ta có
+∞

σ 2 (x) ≤
−∞

+∞

1
nh

K 2 (u)du.

(1.15)

−∞

Chứng minh. Từ chứng minh của Mệnh đề 1.2.1, ta có
σ 2 (x) =

1
1
2
(x)
≤
E
η
Ep K 2
p
1
2
2
nh
nh

X1 − x
h

, ∀x ∈ R.

Bởi vậy
1

z−x
K2
p(z)dz dx
2
nh
h
+∞
1
z−x
p(z) K 2
dx dz
=
2
nh −∞
h
1 +∞ 2
=
K (u)du.
h −∞

σ 2 (x)dx ≤

(1.16)

Cận trên của tích phân phương sai trong Mệnh đề 1.2.5 không yêu cầu
điều kiện gì của p hay nói cách khác ước lượng (1.15) đúng với mật độ p
bất kì. Tuy nhiên ước lượng cho độ chệch b2 (x)dx trong (1.14) đòi hỏi cần
có thêm giả thiết về tính trơn của p. Tức là chúng ta chỉ có thể kiểm soát
được độ chệch trên một tập con nào đó của tập các hàm mật độ p. Vì MISE
là một sai số ứng với chuẩn trong L2 (R), một cách tự nhiên ta giả sử rằng

p là trơn ứng với chuẩn này. Ví dụ, ta có thể giả sử rằng p thuộc lớp hàm
Nikol’ski được định nghĩa như sau.
Định nghĩa 1.2.4. Cho β > 0 và L > 0. Lớp Nikol’ski H(β, L) được định
nghĩa là tập của các hàm f : R → R có đạo hàm cấp l = β , kí hiệu f (l) ,
thỏa mãn
f (l) (x + t) − f (l) (x)

2

1
2

≤ L |t|β−l , ∀t ∈ R.

(1.17)


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

17

Lớp Sobolev là một lớp hàm phổ biến khác được dùng để mô tả tính trơn
trên L2 (R).
Định nghĩa 1.2.5. Cho β là số nguyên, β ≥ 1 và L > 0. Lớp Sobolev
S(β, L) được định nghĩa là tập của các hàm f : R → R khả vi cấp β − 1 và
có đạo hàm liên tục tuyệt đối, kí hiệu là f (β−1) , thỏa mãn
f (β) (x)

2

dx ≤ L2 .

(1.18)

Với mỗi số nguyên β, bao hàm S(β, L) ⊂ H(β, L) có thể chứng minh dựa
trên bổ đề sau.
Bổ đề 1.2.1. (Bất đẳng thức Minkowski tổng quát.) Với hàm Borel g bất kì
trên R × R, ta có
2

dx ≤

g(u, x)du

2

1
2

2

g (u, x)dx

du

.

Chứng minh. Giả sử rằng
1
2

2

g (u, x)dx

du = Cg < ∞.

Đặt
|g(u, x)| du.

S(x) =
Với mọi f ∈ L2 (R),
S(x)f (x)dx

≤

|f (x)|

=

du

|g(u, x)| dudx

|f (x)| |g(u, x)| dx (T onelli − F ubini)
2

≤

du

1/2

f (x)g(u, x)dx
1/2

≤

f 2 (x)dx

= ||f | |2
= Cg ||f | |2 ,

1/2

g 2 (u, x)dx
2

g (u, x)dx

1
2

du

du (Cauchy − Schwarz)


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT
với ||f | |2 =

f 2 (x)dx

1
2

18

. Do ánh xạ tuyến tính f →

S(x)f (x)dx là liên

tục trên L2 (R). Vậy nên S ∈ L2 (R) và
||S| |2 = sup
f =0

Sf
≤ Cg ,
||f | |2

mà
||S| |2 =

1
2

S 2 (x)dx

1
2

2

|g(u, x)| du

=

nên

,

1
2

2

|g(u, x)| du

dx

≤ Cg ,

dx

từ đó suy ra điều phải chứng minh.
Bây giờ ta sẽ xác định cận trên của độ chệch

b2 (x)dx khi p thuộc vào

lớp các mật độ xác suất trơn theo nghĩa Nikol’ski. Kí hiệu

PH (β, L) =

p ∈ H(β, L) | p ≥ 0 và

p(x)dx = 1 .

Mệnh đề 1.2.6. Giả sử rằng p ∈ PH (β, L) và cho K là một hạch cấp l = β
thỏa mãn
|u|β K(u)du < ∞.
Khi đó, với h > 0 bất kì và n ≥ 1,
b2 (x)dx ≤ C22 h2β ,
trong đó
C2 =

L
l!

|u|β K(u)du.

Chứng minh. Lấy x ∈ R, u ∈ R, h > 0 bất kì, ta có khai triển Taylor
p(x + uh) = p(x) + p (x)uh + · · · +

(uh)l
(l − 1)!

1

(1 − τ )l−1 p(l) (x + τ uh)dτ.
0

CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

19

Vì K là hạch cấp l = β ta có
1

(uh)l
(l − 1)!
(uh)l
K(u)
(l − 1)!

b(x) =

(1 − τ )l−1 p(l) (x + τ uh)dτ du

K(u)

=

(1.19)

0
1

(1 − τ )l−1 p(l) (x + τ uh) − p(l) (x) dτ du.
0

Áp dụng hai lần bất đẳng thức Minkowski tổng quát và giả thiết p thuộc
H(β, L), ta có:
|uh|l
×
|K(u)|
(l − 1)!

2

b (x)dx ≤

2

1
l−1

(1 − τ )

(l)

(l)

p (x + τ uh) − p (x) dτ du

dx

(1.20)

0

|uh|l
|K(u)|
×
(l − 1)!

≤

(1 − τ )l−1 p(l) (x + τ uh) − p(l) (x) dτ

2

1/2

2

1

dx

du

0

|uh|l
|K(u)|
×
(l − 1)!

≤

1
l−1

(l)

(1 − τ )

(l)

p (x + τ uh) − p (x)

2

2

1/2

dx

dτ du

0

≤

|uh|l
|K(u)|
(l − 1)!

2

1
l−1

(1 − τ )

β−l

L |uh|

dτ du

0

= C22 h2β .

Nếu p và K thỏa mãn giả thiết của Mệnh đề 1.2.5 và Mệnh đề 1.2.6 ta có
M ISE ≤ C22 h2β +

1
nh

K 2 (u)du,

vế phải đạt giá trị nhỏ nhất khi
h=

h∗n

=

K 2 (u)du
2βC22

1
2β+1

1

n− 2β+1 .


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

20

Cho h = h∗n ta có
2β

M ISE = O n− 2β+1 ,

n → ∞.

Ta thấy dáng điệu của MISE tại một điểm cố định tương tự như dáng điệu
MSE trong Mục 1.2.1.
Định lí 1.2.2. Giả sử rằng giả thiết của Mệnh đề 1.2.5 và Mệnh đề 1.2.6
1
là đúng. Cố định α > 0 và chọn h = αn− 2β+1 . Khi đó, với n ≥ 1 bất kì ước
lượng hạch pˆn thỏa mãn
2β

sup

Ep

(ˆ
pn (x) − p(x))2 dx ≤ Cn− 2β+1 ,

p∈PH (β,L)

trong đó C > 0 là một hằng số chỉ phụ thuộc vào β, L, α và hạch K.
Chứng minh. Từ giả thiết ta có
1
nh

M ISE ≤ C22 h2β +

K 2 (u)du,

trong đó
L
l!

C2 =

|u|β K(u)du,

1

mà h = αn− 2β+1 nên

2β
− 2β+1

= C22 α2β n

2β
− 2β+1

= C22 α2β n
=
Vì

C22 α2β +

1

2β

1

M ISE ≤ C22 αn− 2β+1

+
+

nαn
1
2β
2β+1

αn
2β
1
+ n− 2β+1
α

1
α

K 2 (u)du
K 2 (u)du
2β

K 2 (u)du n− 2β+1 .

K 2 (u)du < ∞ nên ta đặt
C = C22 α2β +

K 2 (u)du

1
− 2β+1

1
α

K 2 (u)du

Khi đó

2β

M ISE ≤ Cn− 2β+1 ,


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

21

hay
sup

2β

(ˆ
pn (x) − p(x))2 dx ≤ Cn− 2β+1 .

Ep

p∈PH (β,L)

Định lí 1.2.3. Giả sử rằng với số nguyên β ≥ 1 nào đó
(i) hàm K là một hạch cấp β − 1 thỏa mãn
|u|β |K(u)| du < ∞;

K 2 (u)du < ∞,

(ii) mật độ p khả vi β − 1 lần, và p(β−1) là liên tục tuyệt đối trên R và
p(β) (x)

2

dx < ∞.

Khi đó với mọi n ≥ 1 và mọi h > 0, sai số bình phương tích phân trung bình
của ước lượng hạch pˆn thỏa mãn
(ˆ
pn (x) − p(x))2 dx

M ISE ≡ Ep
≤

1
nh

h2β
(l!)2

K 2 (u)du +

2

|u|β |K(u)| du

Chứng minh. Vì K là hạch cấp l = β = β − 1 thỏa mãn
K 2 (u)du < ∞,
nên theo Mệnh đề 1.2.5 ta có
σ 2 (x) ≤

1

nh

K 2 (u)du.

Ta lại có p(β−1) là liên tục tuyệt đối trên R và
p(β) (x)

2

dx < ∞,

|u|β |K(u)| du < ∞,

nên theo Mệnh đề 1.2.6 ta có
b2 (x)dx ≤

L
l

2

2

|u|β |K(u)| du

2

p(β) (x) (1.21)
dx.

h2β .


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

22

Mặt khác
b2 (x)dx +

M ISE =

L
l

≤

σ 2 (x)dx

2

2

|u|β |K(u)| du

h2β +

1
nh

K 2 (u)du. (1.22)

Cần chứng minh
L=

p

(β)

2

(x)

1/2

dx

.

Thật vậy với mọi t thuộc R
(l)

(l)

p (x + t) − p (x)

2

2

1

t

dx =

p

(l+1)

(x + θt)dθ

dx

(1.23)

0
1
2

≤ t

p

(l+1)

(x + θt)

2

2

1/2

dx

dθ

0

= t2

p(β) (x)

2

dx.

Từ đó suy ra điều cần phải chứng minh.

1.2.4

Sự thiếu tính tối ưu tiệm cận cho mật độ cố định

Làm thế nào để chọn được hạch K và dải thông h để ước lượng hạch của
mật độ đạt tối ưu? Một cách cũ và vẫn còn phổ biến là cố định mật độ p và
cực tiểu hóa theo K và h tiệm cận của M ISE. Như chúng ta sẽ chỉ ra sau
đây, cách tiếp cận này không phù hợp. Một phương pháp khác để chọn h sẽ
được trình bày trong Mục 1.4.

Bổ đề 1.2.2. Nếu f ∈ L2 (R), thì
lim sup

δ→0 |t|≤δ

(f (x + t) − f (x))2 dx = 0.

Chứng minh. Kí hiệu Φ là biến đổi Fourier của f . Với mọi t ∈ R, biến đổi
Fourier của f (· + t) là hàm số ω → Φ(ω)eitω . Áp dụng Định lí Plancherel,


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

23

với mọi t ∈ R,
2

|Φ(ω)|2 eitω − 1 dω

(f (x + t) − f (x))2 dx =

|Φ(ω)|2 sin2 (ωt/2)dω.

= 4

√
Lấy 0 ≤ δ ≤ π và |t| ≤ δ thì sin2 (ωt/2) ≤ sin2 ( δ/2) ở đó |ω| ≤ t−1/2 , và ta
được
|Φ(ω)|2 sin2 (ωt/2)dω +

(f (x + t) − f (x))2 dx ≤ 4
|ω|≤t−1/2

|Φ(ω)|2 dω
|ω|>t−1/2

|Φ(ω)|2 dω

|Φ(ω)|2 dω +

≤ 4 sin2 (ωt/2)

|ω|>t−1/2

= o(1)

khi δ → 0,

do Φ ∈ L2 (R).
Mệnh đề 1.2.7. Giả sử rằng:
(i) hàm K là một hạch cấp 1 thỏa mãn các điều kiện
K 2 (u)du < ∞,

u2 |K(u)| du < ∞,

SK =

u2 K(u)du = 0;

(ii) mật độ p là khả vi trên R và có đạo hàm bậc nhất p liên tục tuyệt đối
trên R và đạo hàm bậc 2 thỏa mãn
(p (x))2 dx < ∞.
Khi đó với mọi n ≥ 1 sai số bình phương tích phân trung bình của ước lượng
hạch pˆn thỏa mãn
M ISE ≡ Ep
=

1
nh

(ˆ
pn (x) − p(x))2 dx
K 2 (u)du +

h4 2
S
4 K

(p (x))2 dx (1 + o(1)), (1.24)

trong đó o(1) là không phụ thuộc vào n (nhưng phụ thuộc vào p) và tiến tới
0 khi h tiến tới 0.


CHƯƠNG 1. CƠ SỞ LÍ THUYẾT

24
σ 2 (x)dx. Từ

Chứng minh. Đầu tiên, ta phân tích tích phân phương sai
(1.5), ta có
1
nh

σ 2 (x)dx =

1
nh2

K 2 (u)du −

K

2

z−x
h

p(z)dz

dx.

Từ giả thiết suy ra mật độ xác suất p bị chặn đều trên R. Vì vậy, p thuộc
L2 (R). Áp dụng bất đẳng thức Cauchy-Schwarz và định lí Tonelli-Fubini, ta
được
+∞
−∞

≤

2

z−x
K
h
t−x
K
h

p(z)dz
dt

dx
K

z−x
h

p2 (z)dzdx

2
2

p2 (z)dz.

|K(u)| du

=h
Bởi vậy

σ 2 (x)dx =

1
nh

K 2 (u)du(1 + o(1)),

(1.25)

trong đó o(1) là không phụ thuộc vào n và tiến tới 0 khi h tiến tới 0.
b2 (x)dx. Thay l = 2 vào (1.19) ta

Tiếp theo, ta xét tích phân độ chệch
được
1
2

b(x) = h

2

(1 − τ )p (x + τ uh)dτ du.

u K(u)

(1.26)

0

Đặt
b∗ =

h4
4

2

u2 K(u)du

(p (x))2 dx
2

1

= h4

u2 K(u)

(1 − τ )p (x)dτ

du

dx,

0

và xét
b2 (x)dx − b∗

= h4

A1 (x)A2 (x)dx

(1.27)

1/2

≤ h4

A21 (x)dx

1/2

A22 (x)dx