BTL QTNNUD13 TÌM HIỂU ƯỚC LƯỢNG TUYẾN TÍNH – MÔ HÌNH VARIANCE CỰC TIỂU VÀ

TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
VIỆN CÔNG NGHỆ THÔNG TIN VÀ TRUYỀN THÔNG
──────── *** ────────

BÀI TẬP LỚN
QUÁ TRÌNH NGẪU NHIÊN VÀ ỨNG DỤNG

ĐỀ TÀI:
TÌM HIỂU ƯỚC LƯỢNG TUYẾN TÍNH – MÔ HÌNH
VARIANCE CỰC TIỂU VÀ
SO SÁNH VỚI ƯỚC LƯỢNG GAUSS-MARKOV.
PHÂN TÍCH VÀ ÁP DỤNG THỬ NGHIỆM.

Hà Nội, ngày 6 tháng 12 năm 2016

1


MỤC LỤC
MỤC LỤC.............................................................................................................2
LỜI NÓI ĐẦU.......................................................................................................3
PHÂN CÔNG CÔNG VIỆC................................................................................4
TÌM HIỂU ƯỚC LƯỢNG TUYẾN TÍNH – MÔ HÌNH VARIANCE
CỰC TIỂU.............................................................................................................5
I.

1.

Giới thiệu ước lượng tham số thống kê....................................................5

2.

Kiến thức cần biết khi ước lượng Minimum Variance...........................5

3.

Mô hình Variance cực tiểu........................................................................6

II. SO SÁNH ƯỚC LƯỢNG VARIANCE CỰC TIỂU VỚI ƯỚC LƯỢNG
GAUSS-MARKOV............................................................................................. 10
1.

2.

Ước lượng Gauss-Markov....................................................................... 10
a)

Mô hình Gauss-MarKov........................................................................ 10

b)

Ước lượng Gauss-Markov..................................................................... 10
So sánh ước lượng variance cực tiểu với ước lượng Gauss-Markov....11

a. Giống nhau................................................................................................ 11
b. Khác nhau................................................................................................. 12
III.

VÍ DỤ ÁP DỤNG..................................................................................... 13

1.

Ví dụ 3...................................................................................................... 13

2.

Ví dụ 4...................................................................................................... 14

IV.

PHÂN TÍCH ÁP DỤNG, THỬ NGHIỆM MÔ PHỎNG MATLAB....15

1.

Mô hình tuyến tính.................................................................................. 15

2.

Các bước mô phỏng trên Matlab............................................................ 15
a. Tóm tắt...................................................................................................... 15
b. Các bước cụ thể......................................................................................... 16

3.
V.

Kết quả chạy mô phỏng........................................................................... 18
KẾT LUẬN – ĐÁNH GIÁ.......................................................................... 21

TÀI LIỆU THAM KHẢO.................................................................................. 22

2

LỜI NÓI ĐẦU
Trong cuộc sống, chúng ta quan sát, thu thập thông tin, tín hiệu luôn mong nhận
được các giá trị chính xác, nhưng điều này không xảy ra bởi có rất nhiều yếu tố
bên ngoài làm ảnh hưởng đến tín hiệu. Vậy làm thế nào để thu được thông tin,
tính hiệu với độ chính xác tương đối ở mức cho phép. Các phương pháp ước
lượng ra đời để phục vụ điều đó. Một ước lượng là giá trị được tính toán từ các
mẫu thử và người ta hy vọng đó là giá trị đại diện cho giá trị cần xác định trong
tổng thể. Tất cả đều hướng tới một ước lượng là “không độ lệch” (unbiassed), hội
tụ (converge), hiệu quả (efficient). Một trong các phương pháp ước lượng được
áp dụng nhiều vào thực tế cuộc sống là ước lượng variance cực tiểu, một loại ước
lượng tham số. Nhóm sinh viên cúng em xin cảm ơn cô PGS.TS Nguyễn Thị
Hoàng Lan đã hướng dẫn chỉ bảo cho chúng em tìm hiểu về đề tài rất thú vị và
được ứng dụng rất nhiều trong thực tế. Mặc dù đã cố gắng hết sức để hoàn
thành báo cáo, song chắc chắn không thoát khỏi thiếu sót, chúng em rất mong
nhận được ý kiến đóng góp của cô giáo cùng tất cả các bạn.

Nhóm sinh viên thực
hiện
Nhóm 13

3


PHÂN CÔNG CÔNG VIỆC
•
•
•
•

Bùi Trung: tìm hiểu lý thuyết phần “ước lượng tuyến tính – mô hình
variance cực tiểu”.
Nguyễn Ngọc Linh: tìm hiểu lý thuyết phần: “so sánh với ước lượng
Gauss-Markov”.
Hoàng Phú Hoan, Nguyễn Tuấn Minh làm bài tập
Nguyễn Thành Huy: phân tích áp dụng và thử nghiệm mô phỏng dùng
Matlab.

4


I. TÌM HIỂU ƯỚC LƯỢNG TUYẾN TÍNH – MÔ
HÌNH VARIANCE CỰC TIỂU
1. Giới thiệu ước lượng tham số thống kê
 Xét biến ngẫu nhiên X, biết P(x,β): mô hình xác suất (pdf) của biến

ngẫu nhiên X, phụ thược tham số β chưa biết, lần quan sát thứ I, được
biểu diễn như sau: Xi = β + ni , i= 1,2,…,n.
 Với n quan sát được X1 = x1, X2 = x2,…, Xn = xn , các xi gọi là các
mẫu quan sát được của biến ngẫu nhiên X.
 Chỉ tiêu ước lượng sao cho tối thiểu hóa sai số: e = (X) - β.
 Quá trình ước lượng tham số β dựa trên phân phối xác suất của X, kết
quả tìm được (X), kết quả sẽ là ước lượng tham số thống kê β của
X sao cho đạt kết quả tốt nhất.
 Tham số β có thể là một chiều hay nhiều chiều.
 Lời giải lí tưởng:

(X) = β ( ước lượng không độ lệch).

2. Kiến thức cần biết khi ước lượng Minimum Variance
 Nếu x là một biến ngẫu nhiên giá trị thực, phân bố xác suất P của x
được định nghĩa là:
o P(ξ) = Prob(x ≤ ξ).
 Các "dẫn xuất" p (ξ) của phân phối xác suất P (ξ) được gọi là hàm mật
độ xác suất (pdf) của biến x, nghĩa là:

o p(ξ) ≥ 0 với mọi ξ.
 Giá trị kỳ vọng của hàm g (x) được định nghĩa là:

5


 Giá trị kỳ vọng của x là:
 Phương sai của x là:
 Đối với vector ngẫu nhiên x = [x1,x2,. . . , xn]T
o Có một phân bố xác suất được định nghĩa:
P(ξ1, . . . ξn) = Prob(x1 ≤ ξ1, . . . , xn ≤ ξn)
o Ma trận hiệp phương sai cov(x) được xác định bởi:

o Hai biến ngẫu nhiên xi và xj được gọi là không tương quan
hoặc gia tăng độc lập nếu:

3. Mô hình Variance cực tiểu
 Giả sử trong mô hình tuyến tính:

o W thuộc Rm x n là ma trận đã biết.
m

o ϵ thuộc R là một vector ngẫu nhiên với giá trị trung bình

T

bằng 0 và hiệp phương sai là (ϵϵ ) = Q.
o β là một vector ngẫu nhiên thuộc Rn với số liệu thống kê đã biết.
o y các kết quả của phép đo không chính xác trong Rm.
 Muốn ước lượng vector ngẫu nhiên chưa biết β ∈ Rn dựa trên y ∈ Rm
ta đặt :

6


 Trong đó K là một ma trận chưa biết thuộc Rn x m.
 Ước lượng tốt nhất được đo bằng cách tối thiểu hóa giá trị kỳ vọng của
giá trị sai số ngẫu nhiên, nghĩa là :

 Giả sử ( (yyT))-1 tồn tại. Khi đó ta sẽ chứng minh được ước
lượng variance cực tiểu của β được tính bởi:

 Ước lượng không phụ thuộc vào W và ϵ
 Chứng minh một cách đơn giản:
o Viết một cột của K theo hàng nghĩa là: K = [KT1, KT2, …, KTn]T

o Để f (y, βi) biểu thị pdf chung của y và βi:
− Ta có:

− Điều kiện cần là:

o Dễ thấy:

o Khi đó, thay vào điều kiện ở trên, ta thu được:

7


o Ước lượng là lệch trừ khi:

o Trong trường hợp phổ biến :

o Ước lượng được giả định ở dạng:

o Khi đó ước lượng variance cực tiểu được cho bởi:

o Giả sử rằng:
T

(ϵϵ ) = Q € Rm x m
T

(β β ) = R € Rn x n
T

(ϵ β ) = 0 € Rm x n
o Ước lượng variance cực tiểu có thể được viết lại
là:

8


o Chứng minh công thức:
o Ta có K = [ yT] ( (yyT))-1

o Ta có: [ yT] = [ (W +∈)T] = [ (W )T+

[
[
o

T

T

T

W + ∈ ]=
T
]W + [

y ]= [
yTT ] = [

T

T

Ta có: (yy ) = [(W +∈)(W +∈)T]
T

T

T

T

T

∈T]

W ]+ [

[

∈T] = R*WT

T

T

T

T

(yyT) = [W (W ) +∈(W ) +W ∈ + ∈∈ ] (yyT) = [W WT+∈ WT+W ∈ +
T

∈∈ ]

(yyT) =W [ ] W +
T

T

[∈

T

]WT+W [ ∈T]+ [∈∈T]

(yyT) = W*R*WT+Q
o Vậy ta có: K = R*WT*( W*R*WT+Q)-1

∈T ]


II. SO SÁNH ƯỚC LƯỢNG VARIANCE CỰC
TIỂU VỚI ƯỚC LƯỢNG GAUSS-MARKOV
1. Ước lượng Gauss-Markov
 Trước khi đi so sánh hai loại ước lượng, chúng ta sẽ tìm hiểu sơ qua
về ước lượng Gauss-Markov để có cái nhìn tổng thể về cả 2 loại ước
lượng.
a) Mô hình Gauss-MarKov
 Trong thực tế tín hiệu thu nhận sẽ có mô hình tín hiệu quan sát là:

 Trong đó:
mxn
o W thuộc R
là ma trận đã biết.
m
o ϵ thuộc R là một vector ngẫu nhiên với trung bình không và
T

hiệp phương sai Cov(ϵϵ ) = Q.

o y là tín hiệu quan sát, là đầu ra của một phép đo không chính xác,
m

y thuộc R .
 Muốn ước lượng vector tham số chưa biết β thuộc R n từ y thuộc Rm
tiến hành:

 Với K là một ma trận chưa biết, K thuộc Rm x n.
 Cần ước lượng tham số β theo tiêu chí tối thiểu hóa sai số trung bình
bình phương của bộ ước lượng:

o Bởi y chứa nhiễu ngẫu nhiên, nó là một vector ngẫu nhiên.
o Cả ước lượng

và hiệu
đều là các vector ngẫu nhiên.
o Thống kê của những vector ngẫu nhiên này được quyết định bởi

ϵ và K của chúng.
b) Ước lượng Gauss-Markov
 Nhận xét rằng:


 Coi ước lượng là không độ lệch:
o Nhận xét:

o Dự kiến rằng: KW = In.
o Vấn đề bây giờ trở thành, cho một ma trận Q đối xứng và xác

định dương, tối thiếu hóa K thuộc Rm x n theo KQKT, áp dụng vào

KW = In.
o Đây là một trong các dạng của vấn đề tiêu chuẩn tối thiểu.
 Vấn đề có một giải pháp tương tự
o Giải pháp tối ưu được cho bởi:

o Ước lượng phương sai cực tiểu không độ lệch của

β được cho

bởi:

o Trường hợp đặc biệt Q = Im là vấn đề bình phương cực tiểu cổ

điển.
o Giải pháp bình phương cực tiểu cổ điển là cung cấp ước lượng
phương sai cực tiểu không độ lệch của β, nếu sự nhiễu hiện tại
trong dữ liệu là nhiễu trắng.
 Nó được tranh luận rằng giải pháp trên ước lượng của β i là ước lượng
phương sai cực tiểu không độ lệch của βi với mỗi i riêng lẻ.
o Đây là một ước lượng phương sai cực tiểu không độ lệch thực sự.

2. So sánh ước lượng variance cực tiểu với ước
lượng Gauss-Markov
a. Giống nhau
 Bài toán đặt ra với cả 2 ước lượng là giống nhau với cùng một dạng
thức của mô hình tín hiệu quan sát được:

 Tìm ước lượng β dựa trên y bằng cách đặt

 Và theo tiêu chí tối thiểu hóa sai số trung bình bình phương:

 Nói cách khác, khởi đầu và tiêu chí của 2 ước lượng là như nhau,
nhưng cách thức thực hiện của 2 ước lượng là khác nhau. Chi tiết sự
khác nhau giữa 2 ước lượng được trình bày ở phần sau.

b. Khác nhau
 Ước lượng Gauss-Markov là:

 Ước lượng variance cực tiểu:

 Từ 2 công thức trên, dễ dàng nhận thấy được nếu R-1=0 thì 2 ước
lượng là tương đượng. Nhưng R-1=0 nghĩa là gì?
o Phương sai vô hạn của β trong một ước lượng tinh vi hơn, có
nghĩa là chúng ta hoàn toàn không biết trước về β trong tất cả các
trường hợp.
 Khi β được coi là một biến ngẫu nhiên (trước đó ta xét là vector ngẫu
nhiên), kích thước m của quan sát y không cần quá rộng.
T
-1
o (WRW + Q) vẫn còn tồn tại khi Q xác định dương (giống với
giả thiết ban đầu trong ước lượng Gauss-Markov)
o Mỗi một phép đo mới đơn thuần cung cấp thêm thông tin để có
thể thiết lập ước lượng gốc.


III. VÍ DỤ ÁP DỤNG
1. Ví dụ 3
Xét một tín hiệu cố định A, nhúng vào một biến nhiễu Gausian trắng (WGN White Gausian Noise) w[n]:
x[n] = A + w[n]

(n = 0,1,...N-1)
với ̇ =A là tham số cần ước lượng từ dữ liệu quan sát được. Hàm ước lượng:
=
x[n]
có phải là một ước lượng MVU (Minimum Variance Unbiased) cho A hay không?
Giải:Để chứng minh hàm ước lượng là một ước lượng MVU cho A, ta cần chứng
minh thỏa mãn :
- E[ ] = 0 : Ước lượng không có độ lệch
- Min variance .
Ta đi chứng minh:
+ Ta có : E( ) = E(
x[n] ) =
(1)
Suy ra đây là ước lượng không có độ lệch.
+ Và có : var( ) = var(

x[n] ) =

E(x[n]) =

A = NA = A =

var(x[n]) =

Mặt khác theo mô hình xác suất pdf của x phụ thuộc tham số ta có :
p(x; ) =

Mà:

=

Theo giới hạn Cramer-Rao Lower Bound(CRLB):

Suy ra : min

(2)
Từ (1) và (2) rút ra kết luận: Vậy

là một mẫu ước lượng MVU cho

A.

2. Ví dụ 4
Ví dụ 4: Xét một tín hiệu cố định A, nhúng trong một WGN: X[n] = A +
W[n].
Xét:
T(x)

Giải:
Ta có




N 1
n0

x[n] . Tìm hàm g để: E{g[T(x)]} = ϴ = A
N 1

E[T(x)] = E[



n0

x[n]

1
]=N =Nϴ

Do đó:


E[ N
1

Vì thế ϴ = g(T(x)) =

N

1 ước lượng MVU cho ϴ

 N 1
n0

1

N 1 n0

x[n]

]=ϴ

x[n] , là hàm g cần tìm, đồng thời nó cũng là


IV. PHÂN TÍCH ÁP DỤNG, THỬ NGHIỆM MÔ
PHỎNG MATLAB
1. Mô hình tuyến tính
 Một tín hiệu liên tục y(t) được mô hình hóa như một đa thức bậc p-1
với nhiễu trắng Gauss:
 Giả sử rằng ta được cho trước {y(t)}N-1n=0 .Ta có:

 Mô hình tuyến tính sẽ là:
 Mục tiêu: ước lượng tham số β.

2. Các bước mô phỏng trên Matlab
a. Tóm tắt
 Đầu vào của mô hình gồm có:
o Một vector yN-1 là giá trị quan sát được.
o Một ma trận Wn x p là ma trận hệ số quan sát.
 Đầu ra:
o Ước lượng của vector tham số β.
 Việc mô phỏng sẽ thực hiện với p=3 và N lần lượt là 50, 100, 200.
 Các bước thực hiện:
o Bước 1: sinh ma trận W
o Bước 2: sinh vector y
o Bước 3: vẽ lên biểu đồ tín hiệu quan sát được (chính là vector )

o Bước 4: tính toán ước lượng
o Bước 5: dựa vào ước lượng vừa tính để vẽ tín hiệu y(t) với tham
số ước lượng lên biểu đồ
o Bước 6: dựa vào tham số chính xác của tín hiệu y(t) (là tham số
dùng để tạo nên vector y ban đầu) để vẽ tín hiệu y(t) chính xác
không nhiễu lên biểu đồ


b. Các bước cụ thể
 Bước 1: sinh ma trận W
o Với p=3 ma trận có dạng:

o Để sinh ma trận W ta cần sinh ra N giá trị t 0, t1, … tn-1 tăng dần
dưới dạng một vector t, vector này được sinh ngẫu nhiên theo
phân phối đều trên miền liên tục [-100,100]:
t = random('unif', -100, 100, N, 1);
t = sort(t);
o Sau đó ta sẽ tính một vector t2 với đặc điểm mỗi phần tử của t2
sẽ là bình phương của phần tử tương ứng bên t:
t2 = t;
for i = 1:N
t2(i,1) = t(i,1)*t(i,1);
end
o Ma trận W bây giờ sẽ là ghép của 3 vector thành 3 cột : vector
đơn vị N x 1 với toàn số 1 ones(N, 1), vector t và vector t2
W = [ones(N,1), t, t2];
 Bước 2: tính vector
o Để tính vector β3 x 1 theo công thức của mô hình tuyến tính, ta
cần có một vector , vector này sẽ được sinh ra ngẫu nhiên theo
phân phối đều trên miền liên tục [-100,100] :

beta = random('unif', -100, 100, 3, 1);
o Ta sinh một vector nhiễu trắng
noise = wgn(N,1,100);
o Vector y là vector thu nhận được bị ảnh hưởng bởi nhiễu
y = W * beta + noise ;
 Bước 3: Vẽ lên biểu đồ tín hiệu quan sát được
plot(t, y);
 Bước 4: Tính ước lượng
o Ta sẽ sử dụng công thức ước lượng Minimum Variance:


beta_MV = inv(transpose(W)*inv(Q)*W+inv(R))*
transpose(W)*inv(Q)*y;
do vector nhiễu I theo phân phối chuẩn Gaussian N(0, 2*I) với 2
là phương sai của vector và I là ma trận đơn vị nên Q-1 =I
nên:
beta_MV= inv(transpose(W)*W+inv(R)) * transpose(W) *y;
 Bước 5: Vẽ tín hiệu với tham số ước lượng, biểu diễn bởi nét mảnh:
hold all;

t =

transpose([-100:1:100]);

t2 = t;
for i = 1:201
t2(i,1) = t(i,1)*t(i,1);
end
W = [ones(201, 1), t, t2];
y = W * beta_MVUE;

h = plot(t, y);
set(h, 'LineWidth', 1);
 Bước 6: Vẽ tín hiệu với tham số chính xác, biểu diễn bởi nét đứt dày:
y = W * beta;
h = plot(t, y, '--');
set(h, 'LineWidth', 2);


3. Kết quả chạy mô phỏng
a. Với N= 50:


b. Với N= 100:


c. Với N= 200:


V.

KẾT LUẬN – ĐÁNH GIÁ
 Kết quả đạt được:
o Bài báo cáo đã truyền tải được nội dung mà nhóm hướng tới: ước
lượng variance cực tiểu và sự khác biệt với ước lượng GaussMarkov.
o Quá trình tìm hiểu lí thuyết, thực hành ví dụ, matlab giúp các
thành viên trong nhóm có hiểu biết sâu hơn về lĩnh vực ước
lượng của môn học, đồng thời phát triển khả năng thuyết trình,
làm việc nhóm,…
 Khuyết điểm cần cải thiện:
o Bài báo cáo chưa thục sự đầy đủ các vấn đề, bởi kiến thức về

môn học có hạn và khả năng tìm kiếm bằng tiếng anh chưa tốt.
o Còn một vài công thức tính toán chưa giải thích và chứng minh
được.


Tài liệu tham khảo
 Ref. Linear Estimation Chapter 4
 Slide: Quá trình ngẫu nhiên và ứng dụng – PGS. TS. Nguyễn Thị
Hoàng Lan