ước lượng các tham số của biến ngẫu nhiên

Chương 7: ƯỚC LƯỢNG CÁC THAM SỐ CỦA BIẾN
NGẪU NHIÊN
Giả sử đã biết quy luật phân phối xác suất của biến ngẫu nhiên X
song chưa biết tham số θ nào đó của nó. Vấn đề đặt ra là phải xác
định một cách gần đúng θ (ước lượng).
Có 2 phương pháp để ước lượng:
Ước lượng điểm: Dùng một giá trị để thay thế cho tham số
cần ước lượng.
Ước lượng bằng khoảng tin cậy: Chỉ ra một khoảng chứa
tham số đó với một xác suất cho trước.
Chương 7: ƯỚC LƯỢNG CÁC THAM SỐ CỦA BIẾN
NGẪU NHIÊN
Giả sử đã biết quy luật phân phối xác suất của biến ngẫu nhiên X
song chưa biết tham số θ nào đó của nó. Vấn đề đặt ra là phải xác
định một cách gần đúng θ (ước lượng).
Có 2 phương pháp để ước lượng:
Ước lượng điểm: Dùng một giá trị để thay thế cho tham số
cần ước lượng.
Ước lượng bằng khoảng tin cậy: Chỉ ra một khoảng chứa
tham số đó với một xác suất cho trước.
Chương 7: ƯỚC LƯỢNG CÁC THAM SỐ CỦA BIẾN
NGẪU NHIÊN
Giả sử đã biết quy luật phân phối xác suất của biến ngẫu nhiên X
song chưa biết tham số θ nào đó của nó. Vấn đề đặt ra là phải xác
định một cách gần đúng θ (ước lượng).
Có 2 phương pháp để ước lượng:
Ước lượng điểm: Dùng một giá trị để thay thế cho tham số
cần ước lượng.
Ước lượng bằng khoảng tin cậy: Chỉ ra một khoảng chứa
tham số đó với một xác suất cho trước.
PHƯƠNG PHÁP ƯỚC LƯỢNG ĐIỂM

Để ước lượng tham số θ của X (tổng thể), người ta xuất phát từ
tham số
ˆ
θ tương ứng của mẫu sao cho
ˆ
θ mang nhiều thông tin
nhất về θ, để có thể xấp xỉ θ một cách tốt nhất (dùng một tham
số của mẫu thay cho một tham số chưa biết của tổng thể).
Có hai phương pháp ước lượng điểm:
Phương pháp hàm ước lượng
Phương pháp ước lượng hợp lý tối đa
PHƯƠNG PHÁP ƯỚC LƯỢNG ĐIỂM
Để ước lượng tham số θ của X (tổng thể), người ta xuất phát từ
tham số
ˆ
θ tương ứng của mẫu sao cho
ˆ
θ mang nhiều thông tin
nhất về θ, để có thể xấp xỉ θ một cách tốt nhất (dùng một tham
số của mẫu thay cho một tham số chưa biết của tổng thể).
Có hai phương pháp ước lượng điểm:
Phương pháp hàm ước lượng
Phương pháp ước lượng hợp lý tối đa
PHƯƠNG PHÁP ƯỚC LƯỢNG ĐIỂM
Để ước lượng tham số θ của X (tổng thể), người ta xuất phát từ
tham số
ˆ
θ tương ứng của mẫu sao cho
ˆ
θ mang nhiều thông tin

nhất về θ, để có thể xấp xỉ θ một cách tốt nhất (dùng một tham
số của mẫu thay cho một tham số chưa biết của tổng thể).
Có hai phương pháp ước lượng điểm:
Phương pháp hàm ước lượng
Phương pháp ước lượng hợp lý tối đa
Phương pháp hàm ước lượng
Khái niệm Lập mẫu ngẫu nhiên : W = (X
1
, X
2
, . . . , X
n
). Chọn
lập thống kê: G = f (X
1
, X
2
, , X
n
) đặc trưng tương ứng với θ.
Định nghĩa
Thống kê G được gọi là hàm ước lượng của θ nếu f (x
1
, , x
n
) ≈ θ
với mọi mẫu cụ thể w = (x
1
,. . . , x
n

).
Chú ý: Có vô số cách chọn thống kê để có thể dùng làm ước
lượng của θ. Vì vậy cần đưa ra các tiêu chuẩn để đánh giá chất
lượng thống kê:
Ước lượng không chệch
Ước lượng hiệu quả
Ước lượng vững
Phương pháp hàm ước lượng
Khái niệm Lập mẫu ngẫu nhiên : W = (X
1
, X
2
, . . . , X
n
). Chọn
lập thống kê: G = f (X
1
, X
2
, , X
n
) đặc trưng tương ứng với θ.
Định nghĩa
Thống kê G được gọi là hàm ước lượng của θ nếu f (x
1
, , x
n
) ≈ θ
với mọi mẫu cụ thể w = (x
1

,. . . , x
n
).
Chú ý: Có vô số cách chọn thống kê để có thể dùng làm ước
lượng của θ. Vì vậy cần đưa ra các tiêu chuẩn để đánh giá chất
lượng thống kê:
Ước lượng không chệch
Ước lượng hiệu quả
Ước lượng vững
Phương pháp hàm ước lượng
Khái niệm Lập mẫu ngẫu nhiên : W = (X
1
, X
2
, . . . , X
n
). Chọn
lập thống kê: G = f (X
1
, X
2
, , X
n
) đặc trưng tương ứng với θ.
Định nghĩa
Thống kê G được gọi là hàm ước lượng của θ nếu f (x
1
, , x
n
) ≈ θ

với mọi mẫu cụ thể w = (x
1
,. . . , x
n
).
Chú ý: Có vô số cách chọn thống kê để có thể dùng làm ước
lượng của θ. Vì vậy cần đưa ra các tiêu chuẩn để đánh giá chất
lượng thống kê:
Ước lượng không chệch
Ước lượng hiệu quả
Ước lượng vững
Phương pháp hàm ước lượng
Khái niệm Lập mẫu ngẫu nhiên : W = (X
1
, X
2
, . . . , X
n
). Chọn
lập thống kê: G = f (X
1
, X
2
, , X
n
) đặc trưng tương ứng với θ.
Định nghĩa
Thống kê G được gọi là hàm ước lượng của θ nếu f (x
1
, , x

n
) ≈ θ
với mọi mẫu cụ thể w = (x
1
,. . . , x
n
).
Chú ý: Có vô số cách chọn thống kê để có thể dùng làm ước
lượng của θ. Vì vậy cần đưa ra các tiêu chuẩn để đánh giá chất
lượng thống kê:
Ước lượng không chệch
Ước lượng hiệu quả
Ước lượng vững
Ước lượng không chệch
Định nghĩa
Thống kê G của mẫu được gọi là ước lượng không chệch của tham
số θ của biến ngẫu nhiên gốc X nếu E(G) = θ.
Nếu E(G) = θ, G được gọi là ước lượng chệch của θ.
Ví dụ
E(
¯
X) = µ → Trung bình mẫu
¯
X là ước lượng không chệch
của kỳ vọng toán µ.
E(f) = p → tần suất mẫu f là ước lượng không chệch của xác
suất biến ngẫu nhiên gốc p.
E(S
2
) = σ

2
; E(S
∗2
) = σ
2
→ S
2
và S
∗2
là ước lượng không
chệch của σ
2
.
Ước lượng không chệch
Định nghĩa
Thống kê G của mẫu được gọi là ước lượng không chệch của tham
số θ của biến ngẫu nhiên gốc X nếu E(G) = θ.
Nếu E(G) = θ, G được gọi là ước lượng chệch của θ.
Ví dụ
E(
¯
X) = µ → Trung bình mẫu
¯
X là ước lượng không chệch
của kỳ vọng toán µ.
E(f) = p → tần suất mẫu f là ước lượng không chệch của xác
suất biến ngẫu nhiên gốc p.
E(S
2
) = σ

2
; E(S
∗2
) = σ
2
→ S
2
và S
∗2
là ước lượng không
chệch của σ
2
.
Ước lượng không chệch
Định nghĩa
Thống kê G của mẫu được gọi là ước lượng không chệch của tham
số θ của biến ngẫu nhiên gốc X nếu E(G) = θ.
Nếu E(G) = θ, G được gọi là ước lượng chệch của θ.
Ví dụ
E(
¯
X) = µ → Trung bình mẫu
¯
X là ước lượng không chệch
của kỳ vọng toán µ.
E(f) = p → tần suất mẫu f là ước lượng không chệch của xác
suất biến ngẫu nhiên gốc p.
E(S
2
) = σ

2
; E(S
∗2
) = σ
2
→ S
2
và S
∗2
là ước lượng không
chệch của σ
2
.
Ước lượng không chệch
Ví dụ
Giả sử X ∼ N(µ,σ
2
). Lấy mẫu W=(X
1
, , X
6
).
X
1
=
X
1
+ X
3
+ X

5
3
; X
2
=
X
2
+ 2X
4
+ 3X
6
6
;
a)
¯
X
1
,
¯
X
2
có là ước lượng không chệch của µ.
b) Trong 2 ước lượng trên, ước lượng nào có phương sai nhỏ hơn.
Giải
E(
¯
X
1
) = E


X
1
+ X
3
+ X
5
3

=
1
3
(EX
1
+ EX
3
+ EX
5
) =
3E(X)
3
= µ
Tương tự, E(
¯
X
2
) = µ. Vậy
¯
X
1
và

¯
X
2
đều là ước lượng không chệch
của µ.
Ước lượng không chệch
Ví dụ
Giả sử X ∼ N(µ,σ
2
). Lấy mẫu W=(X
1
, , X
6
).
X
1
=
X
1
+ X
3
+ X
5
3
; X
2
=
X
2
+ 2X

4
+ 3X
6
6
;
a)
¯
X
1
,
¯
X
2
có là ước lượng không chệch của µ.
b) Trong 2 ước lượng trên, ước lượng nào có phương sai nhỏ hơn.
Giải
E(
¯
X
1
) = E

X
1
+ X
3
+ X
5
3


=
1
3
(EX
1
+ EX
3
+ EX
5
) =
3E(X)
3
= µ
Tương tự, E(
¯
X
2
) = µ. Vậy
¯
X
1
và
¯
X
2
đều là ước lượng không chệch
của µ.
Ước lượng không chệch
Ví dụ
b)

V (
¯
X
1
) =
1
9
· 3σ
2
=
σ
2
3
; V (
¯
X
2
) =
1
36
(σ
2
+ 4σ
2
+ 9σ
2
) =
14σ
2
36

⇒ V (
¯
X
1
) < V (
¯
X
2
) ⇒
¯
X
1
có phương sai nhỏ hơn
¯
X
2
.
Ước lượng hiệu quả
Định nghĩa
Thống kê G của mẫu được gọi là ước lượng hiệu quả của tham số
θ của bnn gốc X nếu nó là ước lượng không chệch và có phương
sai nhỏ nhất so với mọi ước lượng không chệch khác được xây
dựng trên cùng mẫu đó.
Để kiểm tra tính hiệu quả nhất của ước lượng không chệch, người
ta dùng bất đẳng thức Crammer - Rao:
V (
ˆ
θ) ≥
1
nE


∂ ln f (x,θ)
∂θ

2
trong đó f (x, θ) là biểu thức xác suất của X trong trường hợp nó
rời rạc và hàm mật độ xác suất của X trong trường hợp nó liên tục.
Ước lượng hiệu quả
Định nghĩa
Thống kê G của mẫu được gọi là ước lượng hiệu quả của tham số
θ của bnn gốc X nếu nó là ước lượng không chệch và có phương
sai nhỏ nhất so với mọi ước lượng không chệch khác được xây
dựng trên cùng mẫu đó.
Để kiểm tra tính hiệu quả nhất của ước lượng không chệch, người
ta dùng bất đẳng thức Crammer - Rao:
V (
ˆ
θ) ≥
1
nE

∂ ln f (x,θ)
∂θ

2
trong đó f (x, θ) là biểu thức xác suất của X trong trường hợp nó
rời rạc và hàm mật độ xác suất của X trong trường hợp nó liên tục.
Ước lượng hiệu quả
Định nghĩa
Thống kê G của mẫu được gọi là ước lượng hiệu quả của tham số

θ của bnn gốc X nếu nó là ước lượng không chệch và có phương
sai nhỏ nhất so với mọi ước lượng không chệch khác được xây
dựng trên cùng mẫu đó.
Để kiểm tra tính hiệu quả nhất của ước lượng không chệch, người
ta dùng bất đẳng thức Crammer - Rao:
V (
ˆ
θ) ≥
1
nE

∂ ln f (x,θ)
∂θ

2
trong đó f (x, θ) là biểu thức xác suất của X trong trường hợp nó
rời rạc và hàm mật độ xác suất của X trong trường hợp nó liên tục.
Ước lượng hiệu quả
Ví dụ
Giả sử X ∼ N(µ, σ
2
)
E(
¯
X) = µ, suy ra
¯
X là ước lượng không chênh lệch của µ,
hơn nữa V (
¯
X) =

σ
2
n
= min (= vế phải bất đẳng thức
Crammer - Rao) do đó
¯
X là ước lượng hiệu quả của µ.
ES
2
= σ
2
; V (S
2
) = min→ S
2
là ước lượng không chệnh của
σ
2
nhưng không là ước lượng hiệu quả.
X ∼ A(p). f là ước lượng hiệu quả của p vì E(f ) = p và
V (f ) =
p(p−1)
n
= min
Ước lượng hiệu quả
Ví dụ
Giả sử X ∼ N(µ, σ
2
)
E(

¯
X) = µ, suy ra
¯
X là ước lượng không chênh lệch của µ,
hơn nữa V (
¯
X) =
σ
2
n
= min (= vế phải bất đẳng thức
Crammer - Rao) do đó
¯
X là ước lượng hiệu quả của µ.
ES
2
= σ
2
; V (S
2
) = min→ S
2
là ước lượng không chệnh của
σ
2
nhưng không là ước lượng hiệu quả.
X ∼ A(p). f là ước lượng hiệu quả của p vì E(f ) = p và
V (f ) =
p(p−1)
n

= min
Ước lượng hiệu quả
Ví dụ
Giả sử X ∼ N(µ, σ
2
)
E(
¯
X) = µ, suy ra
¯
X là ước lượng không chênh lệch của µ,
hơn nữa V (
¯
X) =
σ
2
n
= min (= vế phải bất đẳng thức
Crammer - Rao) do đó
¯
X là ước lượng hiệu quả của µ.
ES
2
= σ
2
; V (S
2
) = min→ S
2
là ước lượng không chệnh của

σ
2
nhưng không là ước lượng hiệu quả.
X ∼ A(p). f là ước lượng hiệu quả của p vì E(f ) = p và
V (f ) =
p(p−1)
n
= min
Ước lượng vững
Định nghĩa
Thống kê G của mẫu được gọi là ước lượng vững của tham số θ
của biến ngẫu nhiên gốc X nếu G hội tụ theo xác suất đến θ khi
n −→ ∞.
lim
n→∞
P(|G − θ| < ε) = 1; ∀ ε > 0
bé tùy ý.
Nếu G đã là một ước lượng không chệch của θ thì điều kiện để nó
là ước lượng vững là:
lim
n→∞
V (G) = 0
Ước lượng vững
Định nghĩa
Thống kê G của mẫu được gọi là ước lượng vững của tham số θ
của biến ngẫu nhiên gốc X nếu G hội tụ theo xác suất đến θ khi
n −→ ∞.
lim
n→∞
P(|G − θ| < ε) = 1; ∀ ε > 0

bé tùy ý.
Nếu G đã là một ước lượng không chệch của θ thì điều kiện để nó
là ước lượng vững là:
lim
n→∞
V (G) = 0
Ước lượng vững
Ví dụ
Theo luật số lớn của Trêbưsep và luật số lớn của Bernoulli ta suy
ra trung bình mẫu
¯
X và tần suất mẫu f lần lượt là ước lượng vững
của µ và p của biến ngẫu nhiên gốc X.