Đặc trưng họ phân phối có chứa thống kê đủ Luận văn ThS. Đặc trưng họ phân phối có chứa thống kê đủ

ĐẠI HỌC QUỐC GIA HÀ NỘI
ĐẠI HỌC KHOA HỌC TỰ NHIÊN
NGUYỄN THỊ THU HƯƠNG
ĐẶC TRƯNG HỌ PHÂN PHỐI CÓ CHỨA THỐNG KÊ ĐỦ
LUẬN VĂN THẠC SĨ KHOA HỌC
Hà Nội - 2013
ĐẠI HỌC QUỐC GIA HÀ NỘI
ĐẠI HỌC KHOA HỌC TỰ NHIÊN
NGUYỄN THỊ THU HƯƠNG
ĐẶC TRƯNG HỌ PHÂN PHỐI CÓ CHỨA THỐNG KÊ ĐỦ
Chuyên ngành: LÝ THUYẾT XÁC SUẤT VÀ THỐNG KÊ TOÁN HỌC
Mã số : 60 46 15
LUẬN VĂN THẠC SĨ KHOA HỌC
NGƯỜI HƯỚNG DẪN KHOA HỌC
PGS.TS.ĐÀO HỮU HỒ
Hà Nội - 2013
Mục lục
Lời nói đầu 3
1 Thống kê đủ và một số kết quả cần dùng 5
1.1 Định nghĩa thống kê đủ . . . . . . . . . . . . . . . . . . 5
1.2 Định lý tách . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3 Hai tính chất đặc trưng của thống kê đủ . . . . . . . . . 11
1.3.1 Tính bất biến của lượng thông tin Fisher . . . . . 11
1.3.2 Định lý Bahudur . . . . . . . . . . . . . . . . . . 13
1.4 Hai kết quả về đặc trưng phân phối xác suất thông qua
tính hồi quy hằng số . . . . . . . . . . . . . . . . . . . . 15
1.4.1 Đặc trưng phân phối Gamma . . . . . . . . . . . 15
1.4.2 Đặc trưng phân phối chuẩn . . . . . . . . . . . . 17
2 Đặc trưng họ phân phối có chứa thống kê đủ 18
2.1 Đặc trưng của phân phối một chiều mà lũy thừa của nó
chứa thống kê đủ không tầm thường . . . . . . . . . . . 18

2.2 Họ mũ với tham số tịnh tiến và tỷ lệ . . . . . . . . . . . 23
2.3 Tính đủ riêng và các đặc trưng phân phối . . . . . . . . 34
2.4 Không gian con đủ và đặc trưng phân phối với không gian
con đủ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.4.1 Không gian con đủ . . . . . . . . . . . . . . . . . 40
1
2.4.2 Đặc trưng phân phối với không gian con đủ . . . 42
Kết luận 47
Tài liệu tham khảo 48
2
Chương 1
Thống kê đủ và một số kết quả cần
dùng
1.1 Định nghĩa thống kê đủ
Giả sử ta có mẫu ngẫu nhiên cỡ n: X = (X
1
, . . . , X
n
), trong đó
các X
i
độc lập cùng phân phối. (X , A ) là không gian mẫu, họ phân bố
{P
θ
, θ ∈ Θ} trên không gian (X , A ) và thống kê S là ánh xạ từ (X , A )
vào không gian (S , B).
Định nghĩa 1.1.1. Thống kê S được gọi là thống kê đủ đối với họ {P
θ
}
nếu ∀A ∈ A , ta có thể tìm được hàm ψ

A
= ψ[S(x)] sao cho
P
θ
(A/S) = ψ
A
P
θ
− h.k.n, ∀θ ∈ Θ, (1.1.1)
trong đó, P
θ
- h.k.n được hiểu là hầu khắp nơi đối với họ độ đo đã được
chỉ ra.
Nói cách khác: Thống kê S được gọi là thống kê đủ nếu xác suất có
điều kiện của một biến cố bất kì với điều kiện thống kê S nhận giá trị
xác định là không phụ thuộc vào tham số θ.
Dễ dàng nhận thấy các thống kê sau đây là đủ cho họ phân phối
tương ứng:
5
1. S(X) = X
1
+ X
2
+ + X
n
là đủ cho tham số p của phân phối nhị
thức.
2. S(X) = X
1
+ X

2
+ + X
n
là đủ cho tham số λ của phân phối
Poisson.
3. S(X) = X =
1
n
n

i=1
X
i
là đủ cho tham số kì vọng θ của phân phối
chuẩn.
4. Đối với phân phối Gamma Γ(α, β) thì (
n

i=1
X
i
,
n

i=1
X
i
) là thống kê
đủ hai chiều cho (α, β).
5. Thống kê thứ tự (X

(1)
, X
(2)
, . . . , X
(n)
) là đủ đối với họ {P
θ
}.
Rõ ràng là tồn tại các thống kê đủ khác nhau đối với một họ phân
phối {P
θ
} (vì thống kê thứ tự luôn là đủ cho {P
θ
} ) nên người ta mong
muốn tìm được thống kê đủ " bé nhất" theo một nghĩa nào đó, từ đó ta
đưa ra định nghĩa sau đây:
Định nghĩa 1.1.2. Thống kê T : (X , A ) → (T, T ) được gọi là thống
kê đủ cực tiểu đối với họ {P
θ
} nếu T là một hàm của thống kê đủ S bất
kỳ khác.
( Ở đây, kí hiệu T vừa được hiểu là thống kê T , vừa được hiểu là
không gian giá trị của T . Sự trùng này chắc không gây ra sự hiểu lầm
nào.)
Chính xác hơn, T sẽ gọi là đủ cực tiểu đối với họ {P
θ
} nếu mọi
thống kê đủ S : (X , A ) → (S , B), ta có T
−1
(T ) ⊂ S

−1
(B), trong đó
T
−1
(T ) ⊂ A và S
−1
(B) ⊂ A là những nghịch ảnh của đại số T và B
đối với ánh xạ đã chỉ ra.
Ta thấy có một điều hiển nhiên là: Nếu T là đủ cực tiểu và thống kê
đủ S thỏa mãn S
−1
(B) ⊂ T
−1
(T ) thì S
−1
(B) = T
−1
(T ) và S cũng sẽ
là một thống kê đủ cực tiểu.
6
Dễ dàng thấy tập các tỷ số hợp lý cực đại



L(θ
1
| X)
L(θ
2
| X)




là thống kê
đủ cực tiểu đối với {P
θ
, θ = θ
1
∪θ
2
}. Đối với họ phân phối Poisson P (λ)
thì S(X) =

X
i
là đủ cực tiểu cho λ.
1.2 Định lý tách
Định lý tách là một định lý rất cơ bản cho sự mô tả về phân bố mà
thống kê S(x) đã cho là thống kê đủ. Định lý này lần đầu tiên được thiết
lập bởi Holmos và Savage (xem [4]), còn dạng ít tổng quát hơn nhưng
đã được chứng minh sớm hơn bởi Fisher và Neyman (xem [1]).
Giả sử tất cả phân bố {P
θ
, θ ∈ Θ} là liên tục tuyệt đối đối với độ đo
µ nào đó. Trong trường hợp này ta sẽ nói họ {P
θ
} được làm trội bởi độ
đo µ.
Định lý 1.2.1. Để thống kê S : (X , A ) → (S , B) là đủ đối với họ {P
θ

}
được làm trội bởi µ, điều kiện cần và đủ là hàm mật độ dP
θ
/dµ = p(., θ)
được phân tích thành:
p(x, θ) = R[S(x); θ]r(x) µ −h.k.n, θ ∈ Θ, (1.2.1)
trong đó, R(., θ) là một hàm B - đo được không âm và r là một hàm A
- đo được không âm.
Chứng minh. Để chứng minh định lý này, ta sử dụng bổ đề về một đặc
trưng metric mà chứng minh của nó chúng ta sẽ bỏ qua (xem [8]).
Bổ đề 1.2.2. Nếu họ {P
θ
} bị làm trội bởi độ đo µ , khi đó tồn tại một
họ con đếm được {P
θ
1
, P
θ
2
, . . . } sao cho nếu P
θ
i
(A) = 0 với i = 1, 2, . . .
ta suy ra P
θ
(A) ≡ 0 với mọi θ .
Xét độ đo xác suất λ =

i
c

i
P
θ
i
, ∀c
i
> 0 và

i
c
i
= 1. Độ đo này hiển
nhiên có tính chất nếu λ(A) = 0 thì P
θ
(A) ≡ 0 với mọi θ và ngược lại.
7
Điều kiện cần: Giả sử thống kê S là đủ đối với {P
θ
}. Khi đó, nếu
P
θ
(A|S) = ψ
A
thì λ(A|S) = ψ
A
. Thật ra, với bất kì B ∈ S
−1
(B), ta có

B

ψ
A
dλ =

B
ψ
A
d


i
c
i
P
θ
i

=

i
c
i

B
ψ
A
dP
θ
i
=


i
c
i

B∩A
dP
θ
i
=

i
c
i
P
θ
i
(B ∩A) = λ(B ∩A).
Đặt dP
θ
/dλ = f
θ
. Kí hiệu I
A
là hàm chỉ tiêu của tập hợp A, ta có
với bất kì A ∈ A ,
E
λ
(I
A

f
θ
) = P
θ
(A) = E
θ
[P
θ
(A|S)] = E
λ
[f
θ
P
θ
(A|S)]
= E
λ
[f
θ
λ(A|S)] = E
λ
[E
λ
(f
θ
|S)λ(A|S)]
= E
λ
[E
λ

{I
A
E
λ
(f
θ
|S)|S}] = E
λ
(I
A
E
λ
(f
θ
|S)).
Do đó f
θ
= E
λ
(f
θ
|S) λ − h.k.n, tức là hàm mật độ f
θ
là B - đo
được. Hơn thế nữa p(. ; θ) = dP
θ
\dµ = (dP
θ
/dλ)(dλ/dµ) = f
θ

.r và bởi
vì f
θ
= f
θ
(S), ta nhận được dạng phân tích (1.2.1).
Điều kiện đủ: Từ (1.2.1), suy ra dλ/dµ = r

i
R(S, θ
i
) = r.G(S).
Ta đặt:
˜
f
θ
(x) =

R[S(x), θ]/G[S(x)] nếu G[S(x)] > 0
0 nếu G[S(x)] = 0
Dễ thấy hàm
˜
f
θ
B - đo được, là một trong các phương án đạo hàm
của dP
θ
/dλ , do đó
˜
f

θ
= f
θ
λ −h.k.n. Với A ∈ A , ta có:
E
θ
[P
θ
(A|S)] = P
θ
(A) = E
λ
[f
θ
I
A
] = E
λ
[E
λ
(f
θ
I
A
|S)]
= E
λ
[f
θ
E

λ
(I
A
|S)] = E
θ
[E
λ
(I
A
|S)] = E
θ
[λ(A|S)].
Vì quan hệ này đúng với mọi A ∈ A , nên nó đúng với biến cố A ∩B,
trong đó B ∈ S
−1
(B). Với những biến cố như vậy hệ thức trên có dạng:
E
θ
[I
B
P
θ
(A|S)] = E
θ
[I
B
λ(A|S)].
Từ đó, rõ ràng rằng P
θ
(A|S) = λ(A|S) P

θ
− h.k.n. Điều đó nói lên
một cách chính xác rằng thống kê S là đủ.
8
Ví dụ:
Chẳng hạn xét X
1
, X
2
, , X
n
độc lập cùng phân phối chuẩn N(θ, σ
2
).
Khi đó mật độ đồng thời là:
1
(
√
2πσ
2
)
n
exp



−
1
2σ
2

n

i=1
X
2
i
+
θ
σ
2
n

i=1
X
i
−
n
2σ
2
θ
2



do đó theo định lý 1.2.1, thống kê S(X) = (
n

i=1
X
i

,
n

i=1
X
2
i
) là đủ cho
(θ, σ
2
).
Nhận xét:
Chúng ta sẽ chỉ ra rằng nếu S là thống kê đủ đối với họ được làm trội
{P
θ
} thì với mọi hàm đo được giá trị thực φ(x) với E
θ
|φ| < ∞, ∀θ ∈ Θ,
tồn tại một hàm
˜
φ thỏa mãn:
E
θ
(φ|S) =
˜
φ P
θ
− h.k.n, θ ∈ Θ. (1.2.2)
Chứng minh. Đặt Θ
N

= {θ ∈ Θ : N < E
θ
|φ| ≤ N + 1}; rõ ràng
∞

N=0
Θ
N
= Θ.
Ứng với mỗi Θ
N
, ta xây dựng một độ đo λ
N
tương tự như ta đã xây
dựng độ đo λ đối với Θ, và đặt:
v =
∞

N=0
λ
N
/2
N+1
.
Độ đo v sẽ khác với độ đo λ mà đã được xây dựng trước đó, chỉ ở chỗ
E
v
|φ| < ∞, trong khi E
λ
|φ| có thể vô hạn. Bây giờ ta tiến hành tương

tự như trong chứng minh điều kiện đủ của định lý 1.2.1 và nhận được:
E
θ
(φ|S) = E
v
(φ|S) P
θ
− h.k.n, θ ∈ Θ.
9
Do đó (1.2.2) có thể được dùng làm định nghĩa của thống kê đủ S(x).
Thực ra, công thức (1.2.2) của thống kê đủ đã được sử dụng trong lý
thuyết ước lượng.
Kết quả sau rất cần thiết cho phần tiếp theo.
Định lý 1.2.3. Giả sử {P
θ
} là một họ được làm trội, và thống kê S :
(X , A ) → (S , B) là đủ đối với mỗi họ {P
θ
1
, P
θ
2
}, θ
1
∈ Θ, θ
2
∈ Θ. Khi
đó, S(x) là đủ đối với họ {P
θ
} . Nói cách khác, đối với một họ được làm

trội, tính đủ theo cặp là tương đương với tính đủ của cả họ.
Chứng minh. Giả sử {P
θ
1
, P
θ
2
, . . . } là một họ đếm được, được chọn như
trong chứng minh của bổ đề 1.2.2, cố định θ ∈ Θ. Sử dụng tính đủ của
S(x) đối với họ {P
θ
1
, P
θ
2
, . . . } và lập luận như trong chứng minh định lý
1.2.1, chúng ta nhận được hàm:
f
j
(., θ) =
dP
θ
c
j
d(P
θ
+ P
θ
j
)

là B - đo được, với mọi c
j
> 0. Giả sử S
j
(θ) = {x : f
j
(x, θ) = 0}. Trên
X −

j
S
j
(θ), P
θ
là liên tục tuyệt đối với P
θ
+ λ và do đó đối với λ. Hơn
nữa, với x ∈ X −

j
S
j
(θ),
dP
θ
dλ
=
1
dλ/dP
θ

=
1

(1/f
j
) −1
và bởi vì S
j
(θ) ∈ B , do đó dP
θ
/dλ là B - đo được. Điều này có nghĩa
thống kê S(x) là đủ với họ {P
θ
}.
Cấu trúc của thống kê đủ cực tiểu sẽ được mô tả một cách dễ dàng với
sự giúp đỡ của định lý tách 1.2.1 nếu chúng ta giả định rằng p(x, θ) > 0
với mọi x ∈ X và với mọi θ ∈ Θ. Xét thống kê (θ
0
là một phần tử bất
kì của Θ):
T : x → g
x
(θ) = log
p(x, θ)
p(x, θ
0
)
. (1.2.3)
10
(Kí hiệu g

x
(θ) nhấn mạnh rằng chúng ta xem nó như là một hàm của
tham số θ). Thống kê T(x) là ánh xạ từ không gian (X , A ) vào không
gian T = {g
x
(θ) : x ∈ X } của các hàm trên Θ. Trong T, ta xem σ - đại
số T , được tạo ra bởi tập trụ có dạng:
{γ ∈ T : (Γ(θ
1
), . . . , Γ(θ
s
)},
trong đó, θ
1
, . . . , θ
s
là các điểm trong Θ, B
s
là tập Borel s- chiều. Do đó
thống kê (1.2.3) là một ánh xạ đo được từ (X , A ) vào (T, T ) .
Bổ đề 1.2.4. Nếu dP/dµ = p(., θ) > 0 thì thống kê (1.2.3) là thống kê
đủ cực tiểu đối với họ {P
θ
}.
Chứng minh. Trước hết, vì p(x, θ) =
˜
R(T (x), θ)˜r(x) với ˜r(x) = p(x, θ
0
)
và hàm

˜
R(T (x), θ) = e
g
x
(θ)
với mọi θ là T - đo được.
Áp dụng định lý 1.2.1 suy ra thống kê T (X) là đủ.
Hơn nữa, nếu S(x) là một thống kê đủ bất kì thì:
p(x, θ) = R[S(x); θ]r(x) và g
x
(θ) = R[S(x); θ]/R[S(x); θ
0
],
do đó T là một hàm của thống kê đủ S.
1.3 Hai tính chất đặc trưng của thống kê đủ
1.3.1 Tính bất biến của lượng thông tin Fisher
Giả sử {P
θ
, θ ∈ I}, I là một khoảng thực, là một họ phân phối trên
không gian (X , A ), được cho bởi các mật độ p(x, θ) =
dP
θ
dµ
. Giả sử:
(i) p(x, θ) > 0 với mọi x và θ;
(ii) p(x, θ) là khả vi liên tục đối với θ, với mọi x;
(iii) Với mọi A ∈ A ,
(d/dθ)

A

p(x, θ)dµ =

A
[∂p(x, θ)/∂θ]dµ.
11
Với các điều kiện (i) - (iii), lượng thông tin Fisher đối với họ P
θ
được
định nghĩa như sau:
I(θ) = E
θ

∂ log p(x, θ)
∂θ

2
=


∂ log p
∂θ

2
p(x, θ)dµ.
Giả sử T (x) = T : (X , A ) → (T, T ) là một thống kê. Trên không
gian (T, T ) một họ phân phối được cảm sinh một cách tự nhiên, cụ thể
là họ:
P
T
θ

(C) = P
T
θ
{T
−1
(C)}, C ∈ T .
Dễ thấy P
T
θ
là hoàn toàn liên tục đối với µ
T
được hình thành bởi độ
đo µ theo ánh xạ T. Giả sử q(., θ) = dP
T
θ
/dµ
T
. Giả sử mật độ q(., θ)
thỏa mãn các điều kiện tương tự như (i) - (iii). Khi đó lượng thông tin
Fisher chứa trong T được xác định bởi:
˜
I(θ) = E
θ


∂ log q(t, θ)
∂θ


2

=

T

∂ log q
∂θ

2
q(t, θ)dµ
T
.
Định lý 1.3.1. Với các điều kiện (i) – (iii) và các điều kiện tương tự
cho q(., θ), ta có:
˜
I(θ) ≤ I(θ), θ ∈ I.
Dấu bằng xảy ra khi và chỉ khi T là thống kê đủ đối với họ {P
θ
}.
Chứng minh. Đặt J = J(., θ) = ∂ log p/∂θ,
˜
J =
˜
J(., θ) = ∂ log q/∂θ. Khi
đó, I(θ) = E
θ
J
2
,
˜
I(θ) = E

θ
˜
J
2
. Dễ dàng thấy rằng, với điều kiện (iii),
E
θ
(J|T ) =
˜
J. Mặt khác, áp dụng bất đẳng thức Jensen, chúng ta đạt
được:
I(θ) = E
θ
J
2
= E
θ
E
θ
(J
2
|T ) ≥ E
θ
[E
θ
(J|T )]
2
= E
θ
˜

J
2
=
˜
I(θ)
đẳng thức xảy ra (đối với giá trị θ cố định) nếu và chỉ nếu tồn tại một
hàm k(T, θ) thỏa mãn:
J(x, θ) = k[T (x), θ] P
θ
− h.k.n (1.3.1)
12
nghĩa là trừ ra một tập mà có thể phụ thuộc vào θ, ta kí hiệu là N
θ
.
Xét trong không gian tích I × X một độ đo v, là tích của độ đo
Lebesque trên I, với độ đo µ trên X : dv = dθ.dµ. Nếu chúng ta kí
hiệu N là tập con của I × X mà θ - thiết diện của nó là N
θ
, khi đó
v(N) = 0, bởi vì độ đo µ của mỗi một θ - thiết diện là không, và (1.3.1)
thỏa mãn đối với mọi (θ, x) trong tập (I × X ) − N. Do đó đối với x
trong X −M, M là tập µ - độ đo không, hệ thức (1.3.1) được thỏa mãn
đối với hầu hết các giá trị θ. Lấy tích phân (1.3.1) theo θ với x ∈ X −M
ta được:
log p(x, θ) − log p(x, θ
0
) =
θ

θ

0
J(x, θ)dθ =
θ

θ
0
k(T, θ)dθ = U(T, θ)
do đó, với x như vậy, chúng ta có:
p(x, θ) = exp[U(T, θ)]p(x, θ
0
) = R(T, θ)r(x),
và theo định lý tách 1.2.1, T (x) là một thống kê đủ đối với họ {P
θ
}.
Định lý vừa được chứng minh dẫn đến một khẳng định có thể chấp
nhận được là “ thống kê đủ, và chỉ có chúng, mới chứa tất cả các thông
tin được chứa trong mẫu”.
1.3.2 Định lý Bahudur
Một ứng dụng quan trọng và quen thuộc của thống kê đủ trong lý
thuyết ước lượng là việc cải tiến ước lượng dựa trên thống kê đủ, được
thể hiện qua định lý 1.3.2 dưới đây:
Định lý 1.3.2. Giả sử T là một ước lượng cho t(θ) và hàm tổn thất
r(T, t) là lồi theo T. Nếu họ {P
θ
} chứa thống kê đủ S, thì tồn tại một
ước lượng T
0
, chỉ phụ thuộc vào S, thỏa mãn
E
θ

r(T
0
, t(θ)) ≤ E
θ
r(T, t(θ)) với θ ∈ Θ
13
Chúng ta đã thấy trong định lý 1.3.2: Nếu S(x) là thống kê đủ cho
họ phân phối {P
θ
, θ ∈ Θ} được xác định trên (X , A ), khi đó, với mọi
ước lượng T (x) của hàm tham số t(θ) chúng ta có thể chỉ ra một ước
lượng T
0
(x) chỉ phụ thuộc vào thống kê đủ, và không tồi hơn T (x) với
hàm tổn thất r(., t), mà hàm này lồi theo biến số đầu tiên. Theo nghĩa
này, ta nói rằng lớp các ước lượng phụ thuộc vào thống kê đủ là đầy đủ
cơ bản.
Bây giờ dựa trên công trình cơ bản của Bahadur, chúng ta chỉ ra rằng
đối với họ phân bố {P
θ
} được làm trội và một hàm tổn thất r(., t) khả
vi lồi thực sự (tất cả đều liên quan tới biến số đầu tiên) thỏa mãn điều
kiện:
min r(τ, t) đạt được tại một điểm duy nhất τ (t) (1.3.2)
thì tính chất đầy đủ cơ bản của lớp các ước lượng phụ thuộc vào thống
kê T (x) nào đó là một tính chất đặc trưng của thống kê đủ.
Định lý 1.3.3. Giả sử rằng họ {P
θ
} được làm trội và hàm tổn thất
r(τ, t) là lồi thực sự và khả vi đối với τ và thỏa mãn (1.3.2). Nếu đối

với bất kì hàm t(θ) trên Θ và đối với mọi ước lượng τ(x) ta có thể chỉ ra
một ước lượng ˜τ[T (x)] sao cho với mọi θ ∈ Θ
E
θ
r(˜τ, t(θ)) ≤ E
θ
r(τ, t(θ)) (1.3.3)
khi đó thống kê T (x) là đủ đối với họ {P
θ
}.
Chứng minh. Lấy hai điểm θ
1
và θ
2
trong Θ và một hàm t(θ) thỏa mãn
t
1
= t(θ
1
) = t
2
= t(θ
2
). (Trường hợp khi Θ gồm có một điểm là tầm
thường; mọi thống kê là đủ). Đặt r(τ, t
i
) = r
i
(τ); i = 1, 2. Giả sử P
θ

1
+
P
θ
2
= µ , và dP
θ
1
= p(.) sao cho dP
θ
2
= 1 − p(.). Với x cố định, x ∈ X,
ta xét hàm sau đây của τ:
L(τ) = p(x)r
1
(τ) + (1 − p(x))r
2
(τ).
14
Hàm này là lồi thực sự và có một cực tiểu duy nhất tại điểm:
τ
∗
= τ
∗
(x),
tại đó:
p(x)r

1
(τ

∗
) + (1 − p(x))r

2
(τ
∗
) = 0 (1.3.4)
Ta xét ước lượng τ
∗
(x). Rõ ràng, với bất kì ˜τ (x) kể cả với ˜τ[T(x)], ta
có:

X
[r(τ
∗
(x), t
1
)p(x) + r(τ
∗
(x), t
2
)(1 −p(x))]dµ
≤

X
[r(˜τ(x), t
1
)p(x) + r(˜τ(x), t
2
)(1 −p(x))]dµ (1.3.5)

trong đó dấu bằng đạt được chỉ khi ˜τ(x) = τ
∗
(x) µ − h.k.n.
Kết hợp (1.3.5) với (1.3.2), chúng ta đạt được
τ
∗
(x) = ˜τ[T (x)] µ − h.k.n. (1.3.6)
Nếu bây giờ ta đưa vào điều kiện (1.3.2), theo đó các hàm r

1
(τ) và
r

2
(τ) không triệt tiêu đồng thời, khi đó từ (1.3.4) và (1.3.6) chúng ta có:
p(x) = ˜p[T (x)] µ − h.k.n.
Điều đó có nghĩa là T (x) là đủ đối với họ {P
θ
1
, P
θ
2
}. Vì θ
1
và θ
2
là
bất kì và họ {P
θ
} được làm trội, nên từ định lý 1.2.1 chúng ta kết luận

rằng T (x) là đủ đối với họ {P
θ
}.
1.4 Hai kết quả về đặc trưng phân phối xác suất
thông qua tính hồi quy hằng số
1.4.1 Đặc trưng phân phối Gamma
Định lý 1.4.1. (Xem [6]). Giả sử X
1
, . . . , X
n
là các biến ngẫu nhiên
dương, độc lập và có cùng phân phối với hàm mật độ xác suất p(x) thỏa
15
mãn :
∞

0
x
k
p(x)dx < ∞.
Giả sử P(u
1
, . . . , u
n
) là một đa thức bậc k sao cho:
E{P(X
1
/L, . . . , X
n
/L)|L} = const = c. (1.4.1)

Khi đó, X
j
có phân phối gamma nếu các điều kiện sau đây thỏa mãn:
(i) Trong lân cận tùy ý (0, ε):
φ(x) = A
0
x
p−1
+ A
1
x
p
+ ···+ (A
s
+ o(1))x
p+s−1
với p nào đó và với một số tự nhiên đủ lớn s.
(ii) Đặt y(z) =
∞

0
e
−zx
φ(x)dx;
A
i
1
, ,i
k
=

k

s=0

r
1
+···+r
n
=k−s
(k − s)!
r
1
! . . . r
n
!
a
i
1
−r
1
, ,i
n
−r
n
− c
k!
i
1
! . . . i
k

!
Ta có phương trình:

i
1
+···+i
k
=k
A
i
1
, ,i
k
y
(i
1
)
. . . y
(i
k
)
= 0 (1.4.2)
Phương trình (1.4.2) không suy biến và sao cho:
a
0
=
∗

i
1

+···+i
k
=k
A
i
1
, ,i
k
k

j=1
i
j
=v
Γ(p + i
j
) = 0, (1.4.3)
trong đó, v là cấp đạo hàm cao nhất trong (1.4.2), và tổng
∗

lấy trên
(i
1
, . . . , i
k
) sao cho
k

j=1
i

j
= k và i
j
= v với ít nhất một j.
(iii) Hàm số y(z) = z
−p
+z
−p+1
không phải là một nghiệm của (1.4.2),
và phương trình
Q
o
(p) =

i
1
+···+i
k
=k
A
i
1
, ,i
k








k

q=1
k

j=1
j=q
Γ(p + i
j
)
Γ(p)
Γ(p + i
q
+ µ)
Γ(p + µ)







= 0
16
không có nghiệm nguyên dương µ.
1.4.2 Đặc trưng phân phối chuẩn
Định lý 1.4.2. (Xem [6]). Giả sử X
1
, . . . , X

n
là mẫu ngâu nhiễn với
V arX
1
= σ
2
< ∞. Đặt L = X
1
+···+ X
n
và Q =

a
jk
X
j
X
k
+

b
j
X
j
.
Nếu B
1
=

a

ij
= 0, B
2
=

a
jk
= 0 và B
3
=

b
j
= 0, khi đó tính
không đổi của hồi quy của Q theo L là tính đặc trưng của biến ngẫu
nhiên có phân phối chuẩn.
Một kết quả khác mà chúng ta sẽ cần dùng đến trong chứng minh ở
chương sau được thể hiện qua bổ đề 1.4.3 dưới đây.
Bổ đề 1.4.3. Giả sử α
i
1
,i
2
, ,i
s
=

. . .

x

i
1
1
. . . x
i
s
s
dF (x
1
, . . . , x
n
) là mo-
men hỗn hợp cấp (i
1
, . . . , i
s
) đối với hàm phân bố s - chiều F (x
1
, . . . , x
s
)
nào đó.
Khi đó, nếu các momen α
i
1
,i
2
, ,i
s
của hàm phân bố F là thỏa mãn:

∞

n=1
λ
1/2n
2n
phân kì, trong đó:
λ
2n
= α
2n,0, ,0
+ α
0,2n, ,0
+ ···+ α
0,0, ,2n
,
thì F là hàm phân phối duy nhất ứng với các momen đó.
Bổ đề được chứng minh bởi Shohat và Tamarkin [xem 9].
17
Chương 2
Đặc trưng họ phân phối có chứa
thống kê đủ
2.1 Đặc trưng của phân phối một chiều mà lũy thừa
của nó chứa thống kê đủ không tầm thường
Chúng ta giả sử rằng trên không gian R
m
với một σ - đại số A
mn
của
các tập hợp Borel, phân bố P

θ
, θ ∈ Θ có dạng:
P
θ
(A) =

. . .

dF (x
1
, θ) . . . dF (x
n
, θ), (2.1.1)
trong đó, F(x, θ) là hàm phân phối nào đó trong R
m
. Trong trường
hợp này, chúng ta nói rằng P
θ
là lũy thừa bậc n của hàm phân phối
F : dP
θ
= dF(x
1
, θ). . . dF(x
n
, θ). Với các điều kiện nào trên F (x, θ) để
buộc họ {P
θ
} có thống kê đủ không tầm thường theo nghĩa số chiều của
nó là nhỏ hơn mn. Vấn đề này sẽ được xem xét ở trong mục 2.1 này. Để

cho đơn giản, chúng ta xét trường hợp m = 1, mở rộng cho trường hợp
m bất kì sẽ được thực hiện dễ dàng.
Nếu hàm phân phối F (x, θ) được cho bởi mật độ f(x, θ) đối với độ
đo Lebesgue, khi đó họ {P
θ
} sẽ được làm trội bởi độ đo Lebesgue µ trên
R
n
và theo định lý 1.2.1, từ tính đủ của S(x) đối với họ (2.1.1), chúng
18
ta nhận được:
dP
θ
/dµ = p(x, θ) =
n

i=1
f(x
i
, θ) = R[S(x), θ]r(x).
Như thế, từ tính đủ của S(x) đối với họ (2.1.1) ta có phương trình
hàm:
n

i=1
f(x
i
, θ) = R[S(x), θ]r(x), (2.1.2)
và vấn đề đồng nhất các phân phối một chiều mà lũy thừa của nó chứa
thống kê đủ không tầm thường sẽ quy về việc đồng nhất tất cả f(x, θ)

thỏa mãn (2.1.2) đối với R và r nào đó.
Chúng ta giả sử tồn tại khoảng I (hữu hạn hoặc vô hạn) của R
1
sao
cho:
f(x, θ) > 0 với x ∈ I, θ ∈ Θ,
f(x, θ) = 0 với x ∈ I, θ ∈ Θ,
và hàm f(x, θ) là khả vi liên tục đối với x, x ∈ I, θ ∈ Θ.
Nếu những điều kiện trên thỏa mãn thì chúng ta nói rằng: mật độ
f(x, θ) và họ mật độ (2.1.2) là chính quy.
Ta kí hiệu L là không gian tuyến tính nhỏ nhất của các hàm trên I,
bao gồm hàm hằng số 1 và tất cả hàm g
θ
(x) = log[f(x, θ)/f(x, θ
0
)], với
θ
0
là một điểm cố định của Θ, và θ ∈ Θ. Giả sử dim L = r + 1 (trường
hợp r = ∞ là không loại trừ). Bổ đề sau do Dynkin đưa ra (xem [2]).
Bổ đề 2.1.1. Giả sử họ mật độ (2.1.2) là chính quy. Khi đó, với n ≤ r,
họ này không có thống kê đủ không tầm thường. Nếu n ≥ r + 1 và
1, φ
1
, . . . , φ
r
là cơ sở của không gian L, khi đó hệ các hàm:
χ
i
(x) =

n

k=1
φ
i
(x
k
), i = 1, . . . , r
19
là độc lập hàm và S(x) = {χ
1
(x), . . . , χ
r
(x)} là thống kê đủ cực tiểu đối
với họ (2.1.2).
Chứng minh. Giả sử r + 1 ≤ n, và các hàm 1, φ
1
, . . . , φ
r
lập nên một cơ
sở của không gian L. Theo những điều kiện của bổ đề, φ
i
là các tổ hợp
tuyến tính của 1 và g
θ
(x), là khả vi liên tục. Nếu χ
i
(x) là độc lập hàm,
khi đó đối với x
r+1

, . . . , x
n
cố định, chúng ta sẽ có sự đồng nhất theo
x
1
, . . . , x
r
:
∂(χ
1
, . . . , χ
r
)
∂(x
1
, . . . , x
r
)
=








φ

1

(x
1
) . . . φ

1
(x
1
)
. . . . . . . . .
φ

r
(x
1
) . . . φ

r
(x
r
)








= 0. (2.1.3)
Chúng ta chỉ ra rằng từ (2.1.3) sẽ dẫn đến tính phụ thuộc tuyến tính

của các hàm 1, φ
1
, . . . , φ
r
. Điều này là rõ ràng với r = 1. Giả sử điều
khẳng định là đúng đối với r − 1. Khi đó, nếu:
∂(χ
1
, . . . , χ
r−1
)
∂(x
1
, . . . , x
r−1
)
= 0
các hàm 1, φ
1
, . . . , φ
r−1
và các hàm 1, φ
1
, . . . , φ
r−1
, φ
r
là phụ thuộc tuyến
tính. Do đó, giả sử:
∂(χ

1
, . . . , χ
r−1
)
∂(x
0
1
, . . . , x
0
r−1
)
= 0.
Khai triển định thức (2.1.3) tại điểm (x
0
1
, . . . , x
0
r−1
, x) theo các phần
tử của cột cuối cùng, chúng ta nhận được:
A
1
φ

1
(x) + ···+ A
r
φ

r

(x) ≡ 0, x ∈ I,
trong đó A
r
= 0. Do đó chúng ta kết luận rằng các hàm 1, φ
1
, . . . , φ
r
là
phụ thuộc tuyến tính trên I. Khi đó điều khẳng định này mâu thuẫn với
giả thiết 1, φ
1
, . . . , φ
r
tạo thành một cơ sở của L, tính độc lập hàm của
các thống kê χ
1
(x), . . . , χ
r
(x) được chứng minh.
20
Hơn thế:
log
p(x, θ)
p(x, θ
0
)
=
n

i=1

log
f(x
i
, θ)
f(x
i
, θ
0
)
=
n

i=1
g
θ
(x
i
)
=
n

i=1

r

k=1
c
k
(θ)φ
k

(x
i
) + c
0
(θ)

=
n

k=1
c
k
(θ)χ
k
(x) + nc
0
(θ),
trong đó p(x, θ) = R[S(x), θ]r(x), với:
R[S(x), θ] = exp

n

k=1
c
k
(θ)χ
k
(x) + nc
0
(θ)


, r(x) = p(x, θ
0
).
Như vậy S(x) là thống kê đủ đối với họ (2.1.2).
Theo định nghĩa của không gian L,
φ
k
(x) =

s
c
ks
g
θ
s
(x) + c
k0
,
trong đó
χ
k
(x) =
n

i=1
φ
k
(x
i

) =
n

i=1

s
c
ks
g
θ
s
(x
i
) + nc
k0
=

s
c
ks
n

i=1
g
θ
s
(x
i
) + nc
k0

.
Từ mục 1.2 ta đã biết rằng thống kê
T : x → log
p(x, θ)
p(x, θ
0
)
=
n

i=1
g
θ
(x
i
)
là đủ cực tiểu. Nhưng từ các hệ thức trước, chúng ta có:
χ
k
(x) = ˜χ
k
[T (x)]
và do đó
S(x) = {χ
1
(x), . . . , χ
r
(x)} : (R
n
, A

n
) → (R
r
, A
r
)
là một thống kê đủ cực tiểu đối với họ (2.1.2).
21
Bây giờ chúng ta sẽ chỉ ra rằng với r ≥ n, họ (2.1.2) không chấp nhận
một thống kê đủ không tầm thường. Trong L, chúng ta chọn các hàm
1, φ
1
, . . . , φ
n
sao cho chúng độc lập tuyến tính. Như chúng ta đã thấy
trong chứng minh khẳng định đầu tiên của bổ đề, định thức
∂(χ
1
, . . . , χ
n
)
∂(x
1
, . . . , x
n
)
là khác không tại ít nhất một điểm (x
0
1
, . . . , x

0
n
).
Theo định lý hàm số nghich đảo, chúng ta có:
x
i
= x
i
(χ
1
, . . . , χ
n
), i = 1, . . . , n,
và như vậy
A
n
∩ U ⊂ χ
−1
(A
n
) ∩U = T
−1
(T ) ∩U (2.1.4)
trong đó, T là thống kê đủ cực tiểu từ mục 1.2. Khi đó, theo (2.1.4),
thậm chí thống kê đủ cực tiểu cũng là tầm thường tại điểm x
0
, nên chúng
ta kết luận rằng họ (2.1.2) không có thống kê đủ không tầm thường.
Kết luận này kết thúc chứng minh của bổ đề 2.1.1.
Theo bổ đề Dynkin [xem 2], chúng ta có thể mô tả tất cả mật độ

chính quy thỏa mãn hệ thức (2.1.2).
Định lý 2.1.2. Nếu mật độ chính quy f(x, θ) thỏa mãn (2.1.2) với S(x)
không tầm thường, khi đó với r nào đó, r ≤ n − 1, ta có
f(x, θ) = exp

r

j=1
c
j
(θ)φ
j
(x) + c
0
(θ) + φ
0
(x)

, (2.1.5)
trong đó, φ
j
(x) là khả vi liên tục và các hàm 1, φ
1
, . . . , φ
r
là độc lập tuyến
tính.
Như vậy, trong số các họ chính quy, chỉ họ mật độ mũ dạng (2.1.5)
có tính chất rằng sẽ có một lũy thừa nào đó của chúng thỏa mãn (2.1.2)
với S(x) không tầm thường.

Chứng minh. Theo bổ đề 2.1.1, do S(x) là thống kê đủ không tầm thường
ta suy ra dim L = r + 1 ≤ n. Giả sử 1, φ
1
, . . . , φ
r
là một cơ sở của không
22
gian L, khi đó:
g
θ
(x) = log
f(x, θ)
f(x, θ
0
)
=
r

j=1
c
j
(θ)φ
j
(x) + c
0
(θ). (2.1.6)
Đặt φ
0
(x) = f(x, φ
0

) , chúng ta thấy rằng (2.1.6) là tương đương với
(2.1.5). Ngược lại, nếu f(x, θ) có dạng (2.1.5), khi đó:
p(x, θ) =
n

i=1
f(x
i
, θ)
= exp

r

j=1
c
j
(θ)
n

i=1
φ
j
(x
i
) + nc
0
(θ) +
n

i=1

φ
0
(x
i
)

= R(χ
1
, . . . , χ
r
, θ)r(x);
với χ
j
=
n

i=1
φ
j
(x
i
).
Chúng ta thấy rằng trong trường hợp này thống kê:
S(x) = {χ
1
(x), . . . , χ
r
(x)}
là đủ đối với họ (2.1.2). Vì r ≤ n − 1 và các hàm 1, φ
1

, . . . , φ
r
là khả vi
liên tục, theo sự suy xét về số chiều ta suy ra thống kê đủ là không tầm
thường trong trường hợp này.
2.2 Họ mũ với tham số tịnh tiến và tỷ lệ
Nếu hàm phân bố P
σ
của véctơ quan sát (X
1
, . . . , X
n
) ∈ R
n
phụ thuộc
vào tham số σ ∈ R
1
+
( tức là σ > 0) theo nghĩa sau đây:
P
σ
(A) =

A
. . .

dF (x
1
|σ, . . . , x
n

|σ),
thì chúng ta nói rằng σ là tham số tỷ lệ.
23
Nếu hàm phân bố P
σ
của véctơ quan sát (X
1
, . . . , X
n
) ∈ R
n
phụ thuộc
vào tham số σ ∈ R
1
theo nghĩa sau đây:
P
σ
(A) =

A
. . .

dF (x
1
− σ, . . . , x
n
− σ),
thì chúng ta nói rằng σ là tham số tịnh tiến.
Họ mũ (2.1.5) phụ thuộc vào một tham số trừu tượng θ ∈ Θ. Trong
trường hợp θ có một tính chất đặc biệt, chẳng hạn là, tham số tịnh tiến

hay tỷ lệ, ta có thể chỉ ra một dạng chính xác hơn của họ mũ. Bây giờ
chúng ta sẽ xem xét đến vấn đề này, dựa trên công trình của Dynkin
(xem [2]) cũng như của Ferguson (xem [3]), ở đó điều kiện chính quy đã
được nới lỏng.
Định lý 2.2.1. Nếu mật độ chính quy f(x − θ), phụ thuộc vào tham
số tịnh tiến θ ∈ R
1
(tuy nhiên sẽ không thay đổi nếu chúng ta giả sử θ
nhận trị số trong khoảng nào đó của R
1
), có dạng mũ (2.1.5), khi đó với
s nào đó
f(x) = exp

s

i=1
c
i
x
n
i
e
µ
i
x

, x ∈ R
1
, (2.2.1)

trong đó, n
i
là các số nguyên không âm và µ
i
, c
i
là những số phức.
Chứng minh. Từ tính chính quy của f(x −θ) ta suy ra f(x −θ) > 0 với
mọi số thực x và θ. Đặt φ(x) = log f(x); khi đó, từ tính hữu hạn của số
chiều của không gian các hàm φ(x − θ), θ ∈ R
1
, chúng ta có:
φ(x −θ) =
k

j=1
a
j
(θ)φ
j
(x), (2.2.2)
trong đó, φ
j
(x) = φ(x − θ
j
). Lập luận như trong mục trước, ta chỉ ra
rằng có tồn tại x
1
, . . . , x
k

sao cho:








φ
1
(x
1
) . . . φ
k
(x
1
)
. . . . . . . . .
φ
1
(x
k
) . . . φ
k
(x
k
)









= 0.
24
Khi đó, từ hệ:
φ(x
i
− θ) =
k

j=1
a
j
(θ)φ
j
(x
i
), i = 1, . . . , k
các hàm a
j
(θ) có thể được biểu diễn tuyến tính qua các φ(x
i
−θ) và do
đó là khả vi đối với θ. Lấy đạo hàm hai vế (2.2.2) đối với θ và sau đó
lần lượt đặt θ = θ
1

, . . . , θ
k
, chúng ta nhận được:
φ

j
(x) =
k

i=1
A
ij
φ
j
(x), j = 1, . . . , k,
trong đó A
ij
= a

i
(θ
j
). Như vậy φ
j
(x) thỏa mãn hệ phương trình vi phân
tuyến tính với các hệ số hằng số, dạng tổng quát của nghiệm là khá quen
thuộc:
φ
j
(x) = φ(x − θ

j
) =
s

i=1
c
ij
x
n
i
e
µ
i
x
.
Khi đó, điều khẳng định của định lý sẽ được suy ra ngay.
Bây giờ chúng ta chuyển sang trường hợp tham số tỷ lệ σ ∈ R
1
+
. Nếu
f(x/σ) là chính quy, khi đó hoặc f(x) > 0 trên khắp trục số thực, hoặc
f(x) > 0 với x ∈ R
1
+
và ≡ 0 với x ∈ R
1
−
, hoặc f(x) > 0 với x ∈ R
1
−

và ≡ 0 với x ∈ R
1
+
. Tất cả những trường hợp này có thể được xem xét
tương tự nhau; bởi vậy chúng ta sẽ chỉ xem xét trường hợp thứ hai.
Định lý 2.2.2. Nếu mật độ chính quy (1/σ)f(x/σ), trong đó f(x) > 0
với x ∈ R
1
+
và ≡ 0 với x ∈ R
1
−
, phụ thuộc vào tham số tỷ lệ σ ∈ R
1
+
, có
dạng mũ (2.1.5), thì với s nào đó,
f(x) = exp
s

i=1
[c
i
(log x)
n
i
x
µ
i
] , x ∈ R

1
+
, (2.2.3)
trong đó n
i
là những số nguyên không âm và c
i
, µ
i
là những số phức.
25