Xấp xỉ ngẫu nhiên và một số ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN






NGÔ THỊ TOÁN








XẤP XỈ NGẪU NHIÊN VÀ MỘT SỐ ỨNG DỤNG

LUẬN VĂN THẠC SĨ KHOA HỌC










Hà Nội – Năm 2011


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN







NGÔ THỊ TOÁN

XẤP XỈ NGẪU NHIÊN VÀ MỘT SỐ ỨNG DỤNG



Chuyên ngành: Lý thuyết xác suất và thống kê toán học

Mã số: 60 46 15




LUẬN VĂN THẠC SĨ KHOA HỌC



NGƯỜI HƯỚNG DẪN KHOA HỌC:

TS. NGUYỄN HỮU TIẾN




Hà Nội – Năm 2011
Mục lục
Lời nói đầu 1
Lời cảm ơn 3
Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều 6
1.1. Khái niệm mở đầu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.2. Xấp xỉ ngẫu nhiên cho trường hợp một chiều . . . . . . . . . . . . . . . . . . . . . . . 7

1.2.1. Thuật toán Robbins-Monro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.2. Thuật toán Kiefer-Wolfowitz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.2.3. Thuật toán Dvozetky . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Chương 2. Xấp xỉ ngẫu nhiên cho trường hợp nhiều chiều 21
2.1. Thuật toán Robbins-Monro trong không gian n-chiều . . . . . . . . . . . . . . . 21
2.1.1. Nội dung thuật toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.1.2. Đánh giá cận trên của sai số trung bình bình phương . . . . . . . . . . . . 22
2.2. Thuật toán Dvozetky trong không gian n-chiều . . . . . . . . . . . . . . . . . . . . . 28
Chương 3. Một số ứng dụng của xấp xỉ ngẫu nhiên 30
3.1. Ứng dụng của xấp xỉ ngẫu nhiên trong ước lượng có định hướng
quyết định . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
3.2. Ứng dụng của xấp xỉ ngẫu nhiên vào ước lượng tham số . . . . . . . . . . . . . 34
3.3. Ứng dụng của xấp xỉ ngẫu nhiên vào ước lượng hàm phân biệt . . . . . . . 37
3.4. Ứng dụng của xấp xỉ ngẫu nhiên trong các hàm thế . . . . . . . . . . . . . . . . . 41
4
3.5. Ứng dụng của xấp xỉ ngẫu nhiên trong ước lượng hàm mật độ
xác suất . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.5.1. Xấp xỉ tuyến tính . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.5.2. Ước lượng và xấp xỉ cho hàm mật độ trộn chuẩn . . . . . . . . . . . . . . . . 45
Kết luận 49
Tài liệu tham khảo 50
5
Chương 1
Xấp xỉ ngẫu nhiên cho trường
hợp một chiều
1.1 Khái niệm mở đầu
Giả sử µ(x) là một hàm số có nghiệm duy nhất là x = θ nhưng dạng giải tích
của hàm số này chưa biết. Tuy nhiên với mỗi giá trị x, giả sử tồn tại một biến
ngẫu nhiên ξ(x) có hàm mật độ xác suất f (ξ |x ) sao cho:
µ(x) = E

ξ
[ξ (x )] =

Ω
ξ
ξ (x) f (ξ |x)dξ (1.1)
hay µ(x) được biểu diễn dưới dạng kì vọng có điều kiện của biến ngẫu nhiên ξ
khi giả thiết x cho trước.
Hàm µ(x) như thế được gọi là hàm hồi quy.
Việc tìm nghiệm hoặc tìm giá trị lớn nhất, nhỏ nhất của hàm hồi quy khi dạng
giải tích của hàm này chưa biết sẽ là đối tượng nghiên cứu của phương pháp xấp
xỉ ngẫu nhiên.
Trong luận văn ta sẽ sử dụng kí hiệu x; x
1
; x
2
; cho các tham biến, ω;t cho các
yếu tố ngẫu nhiên đã được quan sát và ξ cho ước lượng không chệch của µ(x)
hay Eξ = µ(x). Để đơn giản ta quy ước sẽ sử dụng ξ thay cho ξ (x,ω) và ξ
n
thay cho ξ (x
n
,ω)
6
Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều
1.2 Xấp xỉ ngẫu nhiên cho trường hợp một chiều
1.2.1 Thuật toán Robbins - Monro
Trong mục này chúng ta sẽ giải quyết bài toán tìm nghiệm của một phương trình
hàm hồi quy cho trường hợp một chiều. Không mất tính tổng quát ta có thể giả
thiết là chỉ cần tìm thuật toán xác định nghiệm của phương trình sau:

µ(x) = 0 (1.2)
Thật vậy, nếu phải tìm nghiệm của phương trình dạng

µ(x) = α (1.3)
trong đó α là một hằng số thực cho trước.
Khi đó, ta đặt µ(x) :=

µ(x) −α thì lời giải cho bài toán (1.3) sẽ có thể xác định
từ thuật toán giải bài toán (1.2).
Bây giờ ta xét việc giải phương trình hồi quy (1.2) và có nhận xét là nếu hàm hồi
quy µ(x) đã cho trước thì nghiệm của phương trình (1.2) sẽ được xác định bởi
các thuật toán đã xét ở giải tích số chẳng hạn bởi phương pháp lặp Newton. Vấn
đề đặt ra ở đây là hàm hồi quy µ(x) chưa biết nên để tìm nghiệm của phương
trình hồi quy (1.2), ta cần giả thiết thêm là ứng với mỗi giá trị xác định x = x
n
ta thu được một quan sát không chệch cho µ(x
n
) là ξ
n
với ∀n ∈ N. Khi đó, thuật
toán tìm nghiệm xấp xỉ cho phương trình hồi quy (1.2) được Robbins - Monro
đề xuất sẽ có dạng sau:
x
n+1
= x
n
−a
n
ξ
n

(1.4)
trong đó {a
n
} là một dãy số thực được chọn trước thích hợp và dãy đó được gọi
là dãy số hiệu chỉnh.
Kết quả sau đây xác định các điều kiện đủ để thuật toán Robbins - Monro xác
định ở (1.4) hội tụ.
Định lý 1.2.1. Giả sử các điều kiện sau thỏa mãn:
• x
1
là một biến ngẫu nhiên tùy ý sao cho E[x
2
1
] < ∞ và dãy biến ngẫu nhiên
x
1
; x
2
; ; x
n
; là các biến ngẫu nhiên độc lập cùng phân phối được xác
định từ thuật toán Robbins - Monro (1.4) trong đó ξ
n
là quan sát không
chệch về hàm hồi quy µ(x) tại x = x
n
hay E(ξ
n
) = µ(x
n

).
• {a
n
} là một dãy số hiệu chỉnh được chọn trước sao cho
∞
∑
n=1
a
n
= ∞;
∞
∑
n=1
a
2
n
< ∞ (1.5)
7
Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều
• Tồn tại các hằng số dương 0 < M
1
≤ M
2
< ∞ sao cho hàm hồi quy µ(x)
thỏa mãn
M
1
(x −θ)
2
≤ µ(x)(x −θ) ≤ M

2
(x −θ)
2
(1.6)
và
Var[ξ ] =

Ω
ξ
[ξ −µ(x)]
2
f (ξ |x)dξ ≤ α
2
< ∞ (1.7)
Khi đó thuật toán Robbins - Monro (1.4) sẽ hội tụ theo trung bình bình phương
về nghiệm θ của phương trình hồi quy (1.2) hay lim
n→∞
E|x
n
−θ|
2
= 0
Trước khi chứng minh định lý, ta có một số các nhận xét sau đây về các giả
thiết hội tụ của định lý:
Nhận xét 1. Ta cần chú ý như sau:
• Giả thiết (1.6) cho ta biết hàm µ(x) phải nằm giữa hai đường thẳng có hệ số
góc dương là M
1
và M
2

tương ứng. Hai đường thẳng này cắt nhau tại x = θ
và điều này đảm bảo cho sự tồn tại nghiệm θ của phương trình (1.2).
• Giả thiết (1.7) có nghĩa là quan sát không chệch của hàm hồi quy có phương
sai hữu hạn.
• Giả thiết (1.5) về dãy hiệu chỉnh {a
n
}được hiểu như sau: do tính ngẫu nhiên
của các quan sát ξ
n
nên hệ số hiệu chỉnh a
n
phải tiến đến 0 khi n tiến ra vô
cùng nếu không thì thuật toán sẽ giao động quanh θ và không bao giờ hội
tụ về giá trị θ này. Mặt khác sự hội tụ về 0 của a
n
cần duy trì ở mức không
quá nhanh nhằm loại trừ khả năng giá tr ị xấp xỉ x
n
quẩn quanh nghiệm θ
chứ không tiến dần về nghiệm này. Thật vậy, do thuật toán (1.4) sử dụng
ước lượng không chệch của hàm hồi quy là ξ
n
thay cho giá trị đúng của nó
là µ(x
n
) nên thuật toán (1.4) cần đảm bảo rằng quan sát ξ
n
được sử dụng
nhiều lần để ảnh hưởng của nó loại trừ khả năng trên và điều này sẽ được
bảo đảm nếu dãy hiệu chỉnh {a

n
} hội tụ về 0 không quá nhanh. Giả thiết
(1.5) chính là nhằm bảo đảm cho hai điều kiện trên thỏa mãn.
• Việc định nghĩa hàm hồi quy như (1.1) đã nói lên rằng các hàm mật độ
f (ξ
n
|x
n
) có cấu trúc hàm giống nhau cho tất cả các n vì vậy, giả thiết về
tính độc lập cùng phân phối của các x
1
; x
2
; ; x
n
; sẽ bảo đảm cho điều
kiện nêu trên thỏa mãn.
• Cuối cùng, ta lưu ý rằng giả thiết độc lập cùng phân phối nêu trên có thể
được giảm nhẹ nếu ta thay giả thiết này bởi giả thiết về sự phụ thuộc yếu
của các quan sát ξ
n
vào x
1
; ; x
n
hay có thể giả thiết ξ
n
có phân phối xác
8
Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều

suất có điều kiện chỉ phụ thuộc vào kết quả xấp xỉ thứ n là x
n
chứ không
phụ thuộc trực tiếp vào kết quả xấp xỉ x
1
; ; x
n−1
trước đó. Tuy nhiên, để
các chứng minh được dễ hiểu hơn, chúng ta vẫn dùng các giả thiết về sự độc
lập cùng phân phối của các biến ngẫu nhiên x
1
; ; x
n
;
Bây giờ ta bắt đầu chứng minh định lý 1.2.1.
Chứng minh. Từ (1.4) ta có:
[x
n+1
−θ]
2
= [x
n
−θ]
2
−2a
n
ξ
n
(x
n

−θ)
+ a
2
n
ξ
2
n
(1.8)
Đặt V
n
:= E

x
n
−θ

2
thì V
n
gọi là sai số trung bình bình phương của xấp xỉ x
n
cho θ
Lấy kỳ vọng hai vế của (1.8) ta được
V
n+1
= V
n
−2a
n
E


ξ
n
(x
n
−θ)

+ a
2
n
E

ξ
2
n

(1.9)
Theo tính chất kỳ vọng có điều kiện và các giả thiết độc lập, giả thiết (1.6); (1.7)
ta có:
E

ξ
n
.(x
n
−θ)

= E

µ(x

n
).(x
n
−θ)

≥ E

M
1
(x
n
−θ)
2

= M
1
V
n
E

ξ
2
n

= E

µ
2
(x
n

) +Varξ
n

≤ E

M
2
2
(x
n
−θ)
2
+ α
2

= M
2
2
V
n
+ α
2
Khi đó, (1.9) trở thành:
V
n+1
≤ (1 −2M
1
a
n
+ M

2
2
a
2
n
)V
n
+ a
2
n
α
2
(1.10)
Theo nhận xét trên thì a
n
−→ 0 khi n −→ ∞ nên với ε bất kỳ, 0 ≤ ε < 2 sẽ tồn
tại một số m = m(ε) sao cho với mọi n ≥m ta có:

1 −2M
1
a
n
+ M
2
2
a
2
n

≤


1 −(2 −ε)M
1
a
n

0 <

1 −(2 −ε)M
1
a
n

≤ 1
(1.11)
9
Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều
Khi đó bất đẳng thức (1.10) trở thành:
V
n+1
≤V
n

1 −(2 −ε)M
1
a
n

+ a
2

n
α
2
, ∀n ≥ m (1.12)
Ta có thể biểu diễn (1.12) một cách truy hồi như sau:
V
m+1
≤V
m

1 −(2 −ε)M
1
a
m

+ a
2
m
α
2
V
m+2
≤V
m+1

1 −(2 −ε)M
1
a
m+1


+ a
2
m+1
α
2
≤V
m

1 −(2 −ε)M
1
a
m

1 −(2 −ε)M
1
a
m+1

+ α
2

a
2
m

1 −(2 −ε)M
1
a
m+1


+ a
2
m+1


và
V
n+1
≤V
m
β
m−1,n
+ α
2
n
∑
i=m
a
2
i
β
in
; n ≥ m (1.13)
trong đó β
in
được định nghĩa như sau:
β
in
=














∏
n
j=i+1
[1 −(2 −ε)M
1
a
j
] nếu 0 ≤i < n
1 nếu i = n
0 nếu i > n.
Áp dụng bất đẳng thức logarit
ln u ≤ u −1, u ≥0
ta có:
ln[1 −(2 −ε)M
1
a
i
] ≤ −(2 −ε)M

1
a
i
, i ≥ m
Do
∑
∞
i=1
a
i
phân kỳ nên lim
n→∞
β
m−1,n
= 0 và do đó
lim
n→∞
V
m
β
m−1,n
= 0 (1.14)
Lại có, β
in
= 0 khi i > m nên
α
2
n
∑
i=m

a
2
i
β
in
= α
2
∞
∑
i=m
a
2
i
β
in
10
Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều
Do 0 ≤ β
in
≤ 1; ∀n; i và
∑
∞
i=1
a
2
i
hội tụ tuyệt đối nên ta có thể chuyển qua giới
hạn vào tổng. Kết hợp với (1.14) ta thu được:
lim
n→∞

α
2
n
∑
i=m
a
2
i
β
in
= lim
n→∞
α
2
∞
∑
i=m
a
2
i
β
in
= α
2
∞
∑
i=m
a
2
i

lim
n→∞
β
in
= 0
(1.15)
Từ (1.13); (1.14); (1.15) ta có
lim
n→∞
V
n+1
= lim
n→∞
E

x
n+1
−θ

2
= 0
Vậy thuật toán (1.4) hội tụ theo nghĩa trung bình bình phương. Định lý 1.2.1
được chứng minh xong.
Chú ý: Với các bài toán có hàm hồi quy không thỏa mãn điều kiện (1.6) với
mọi giá trị của x nhưng ta lại biết giá trị chân thực θ nằm trong một khoảng
[u
1
; u
2
] nào đó và (1.5) thỏa mãn với mọi x ∈[u

1
; u
2
] thì ta sẽ sử dụng thuật toán
Robbins - Monro chặt cụt có dạng sau:
x
n+1
= trunc
u
1
;u
2
[x
n
−a
n
ξ
n
]
trong đó
trunc
u
1
;u
2
(u) =














u
1
nếu u < u
1
u nếu u
1
≤ u ≤u
2
u
2
nếu u > u
2
.
và hàm này được gọi là hàm chặt cụt. Thuật toán Robbins - Monro chặt cụt sẽ
hội tụ nếu các điều kiện còn lại của định lý 1.2.1 thỏa mãn.
Ta lưu ý là sai số trung bình bình phương V
n
= E[x
n
−θ ]
2

trong mỗi bước của
thuật toán rất khó thu được vì thuật toán là một quá trình truy hồi, chẳng hạn x
2
phụ thuộc vào phân phối của x
1
; x
3
lại phụ thuộc vào phân phối của x
2
Cũng
bởi vậy nên sai số trung bình bình phương chỉ phù hợp cho mỗi cách chọn dãy
hiệu chỉnh a
n
cụ thể. Dưới đây là một cận trên sai số trung bình bình phương do
Dvoretzky đưa ra.
Định lý 1.2.2. Giả sử tồn tại các số dương M
1
; M
2
; α
2
và V
1
sao cho các
điều kiện (1.6); (1.7) trong định lý 1.2.1 và điều kiện sau thỏa mãn:
E

ξ
n
−µ(x

n
)|x
1
, ,x
n

= 0 (1.16)
11
Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều
E[x
1
−θ]
2
= V
1
≤
2α
2
M
1
(M
2
−M
1
)
(1.17)
Khi đó, tồn tại dãy hiệu chỉnh {a
n
} xác định bởi:
a

n
=
M
1
V
1
α
2
+ nM
2
1
V
1
(1.18)
để sai số trung bình bình phương của thuật toán Robbins - Monro thỏa mãn:
V
n
= E[x
n
−θ]
2
≤
α
2
V
1
α
2
+ (n −1)M
2

1
V
1
(1.19)
Chứng minh. Ta có: V
1
≤
2α
2
M
1
(M
2
−M
1
)
⇒ α
2
≥
V
1
M
1
(M
2
−M
1
)
2
⇒ a

n
=
M
1
V
1
α
2
+ nM
2
1
V
1
≤
2V
1
M
1
V
1
M
1
(M
2
−M
1
) + 2nM
2
1
V

1
=
2M
1
M
1
(M
2
−M
1
) + 2nM
2
1
≤
2
M
2
+ M
1
Vì vậy có 0 ≤ a
n
M
1
≤ 1
Lại có: x
n+1
−θ = x
n
−θ −a
n

µ(x
n
) + a
n
[µ(x
n
) −ξ
n
]
Tương tự như trong chứng minh định lý 1.2.1 và từ các điều kiện (1.6), (1.7) và
(1.16) ta có:
V
n+1
≤ E

x
n
−θ −a
n
µ(x
n
)

2
+ a
2
n
Varξ
n
≤ (1 −a

n
M
1
)
2
V
n
+ a
2
n
α
2
(1.20)
Ta sẽ chứng minh (1.19) bằng quy nạp.
Thật vậy: Với n = 1 thì V
1
≤V
1

(1.19) luôn đúng

.
Giả sử (1.19) đúng với n, ta sẽ chứng minh đúng với n + 1
12
Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều
Từ (1.20) và giả thiết quy nạp, ta có:
V
n+1
≤ (1 −a
n

M
1
)
2
V
n
+ a
2
n
α
2
≤ (1 −a
n
M
1
)
2
.
α
2
V
1
α
2
+ (n −1)M
2
1
V
1
+ a

2
n
α
2
= (1 −
M
2
1
V
1
α
2
+ nM
2
1
V
1
)
2
.
α
2
V
1
α
2
+ (n −1)M
2
1
V

1
+
M
2
1
V
2
1
α
2
(α
2
+ nM
2
1
V
1
)
2
=
α
2
V
1
α
2
+ nM
2
1
V

1
⇒ (1.19) đúng với n + 1.
Vậy định lý được chứng minh xong.
Nhận xét 2. Công thức (1.19) cho thấy tốc độ hội tụ của thuật toán Robbins -
Monro xét theo tiêu chuẩn sai số trung bình bình phương phụ thuộc vào cách
chọn dãy hiệu chỉnh{a
n
}. Dãy {a
n
}chọn trong định lý 1.2.2 là cách chọn gần tối
ưu với những n nhỏ. Tuy nhiên, ta lại quan tâm đến sự hội tụ của thuật toán khi n
rất lớn. Do đó ta có cách chọn dãy {a
n
} như sau: Đặt M = M(θ) =
d
dx
µ(x)|
x=θ
và M ≥ M
1
• Nếu hàm hồi quy là tuyến tính thì ta chọn a
n
=
1
nM
và với n đủ lớn thì
V
n
=
α

2
nM
2
• Nếu hàm hồi quy không tuyến tính thì do ta chỉ quan tâm sự tiệm cận của
xấp xỉ đến nghiệm θ nên dãy số hiệu chỉnh {a
n
} sẽ được chọn ở dạng
a
n
=
1
nM
và khi đó ta có lim
n→∞
nV
n
=
α
2
M
2
• Với một hàm hồi quy bất kỳ nhưng có các điều kiện của định lý 1.2.1 thỏa
mãn và Varξ (x) = α
2
thì ta chọn dãy hiệu chỉnh thỏa mãn a
n
=
a
n
với

2aM > 1. Khi đó, biến ngẫu nhiên
x
n
−θ
√
n
có phân phối sẽ tiệm cận đến
phân phối chuẩn với kỳ vọng bằng 0 và phương sai thỏa mãn nE(x
n
−θ)
2
=
α
2
a
2
2aM −1
13
Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều
1.2.2 Thuật toán Kiefer - Wolfowitz
Bây giờ ta sẽ nghiên cứu việc tìm lời giải cho bài toán: Tìm giá trị của θ sao
cho tại x = θ hàm hồi quy µ(x) đạt cực đại hoặc cực tiểu. Không mất tính tổng
quát, chúng ta sẽ chỉ đi tìm điểm cực tiểu θ của µ(x), khi đó từ các kết quả của
giải tích ta suy ra θ phải là nghiệm của phương trình µ

(x) = 0.
Ta có thể giải bài toán trên bằng cách sử dụng thuật toán Robbins - Monro để
tìm nghiệm của phương trình µ

(x) = 0. Thật vậy, thuật toán để tìm điểm x = θ

mà tại đó µ

(x) = 0 khi giả thiết hàm µ

(x) chưa biết nhưng giả thiết tồn tại
∂ ξ
∂ x
tại mỗi x = x
n
theo Robbins - Monro có dạng sau:
x
n+1
= x
n
−a
n
∂
∂ x
ξ
n
|
x=x
n
Tuy nhiên, thuật toán Robbins - Moro không thể áp dụng được trong việc giải
bài toán tìm cực tiểu này. Sở dĩ như vậy vì:
• Hàm µ(x) chưa chắc đã khả vi. Hơn nữa biến ngẫu nhiên (∂ξ /∂x) có thể
không thỏa mãn điều kiện sau:
µ

(x) =

∂
∂ x
Eξ = E

∂ ξ
∂ x

• Mặc dù chúng ta sẽ dễ dàng thu được ξ (x) từ các quan sát ứng với giá trị
của x nhưng sẽ không tính toán được giá trị của
∂ ξ
∂ x
.
Để vẫn tìm được lời giải xấp xỉ cho bài toán trên Kiefer - Wolfowitz giả thiết là
tại mỗi giá trị x = x
n
có thể thu được một quan sát không chệch cho giá trị µ

(x)
từ các quan sát về hàm hồi quy µ(x) ở dạng sau:
ξ (x
n
+ b
n
) −ξ(x
n
−b
n
)
2b
n

trong đó {b
n
} là dãy số dương có giới hạn tiến tới 0 (khi n → ∞). Từ đó theo ý
tưởng của thuật toán xấp xỉ ngẫu nhiên Robbins - Monro, Kiefer - Wolfowitz đã
đề xuất thuật toán tìm giá trị xấp xỉ của x = θ mà tại đó hàm hồi quy µ(x) có
đạo hàm µ

(x) = 0 như sau: Nếu ở bước lặp thứ n ta có giá trị xấp xỉ là x = x
n
và giả sử có được hai quan sát không chệch về hàm hồi quy µ(x) tại x = x
n
−b
n
và x = x
n
+ b
n
thì giá trị xấp xỉ của x = θ tại bước lặp thứ n + 1 là x = x
n+1
sẽ
được xác định bởi thuật toán sau:
x
n+1
= x
n
−
a
n
b
n


ξ (x
n
+ b
n
) −ξ(x
n
−b
n
)

(1.21)
14
Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều
trong đó {a
n
} và {b
n
} là các dãy các số dương và rõ ràng số hạng
ξ (x
n
+ b
n
) −ξ(x
n
−b
n
)
2b
n

có thể coi như là một ước lượng của ξ

n
tại x = x
n
. Thuật
toán (1.21) được gọi là thuật toán Kiefer - Wolfowitz và sự hội tụ của dãy các
xấp xỉ x = x
n
về x = θ đã được Kiefer - Wolfowitz chứng minh trong định lý
sau:
Định lý 1.2.3. Giả sử các dãy số thực dương là {a
n
} và {b
n
} thỏa mãn các điều
kiện sau:
∞
∑
n=1
a
n
= ∞
∞
∑
n=1
a
n
b
n

< ∞
∞
∑
n=1
(
a
n
b
n
)
2
< ∞
∞
lim
n=1
b
n
= 0
(1.22)
và các quan sát không chệch ξ(x) của hàm hồi quy µ(x) có:
Varξ (x) ≤ α
2
< ∞ (1.23)
đồng thời hàm hồi quy µ(x) thỏa mãn ba điều kiện sau:
1. µ(x) và đạo hàm cấp hai của nó bị chặn.
2. x = θ là điểm cực tiểu địa phương của hàm hồi quy µ(x), tức là với
∀ε > 0; µ(θ) ≤ µ(x ) nếu |x −θ |< ε.
3. x = θ là điểm dừng duy nhất của hàm hồi quy µ(x), tức là
d
dx

µ(x) = 0 nếu
x = θ.
Khi đó, thuật toán Kiefer - Wolfowitz (1.21) sẽ hội tụ theo nghĩa trung bình bình
phương tới θ.
1.2.3 Thuật toán Dvoretzky
Thuật toán Dvoretzky được coi như thuật toán tổng quát của các thuật toán xấp
xỉ ngẫu nhiên. Bây giờ chúng ta sẽ nghiên cứu thuật toán này.
Cho µ(x) là một hàm hồi quy có nghiệm tại x = θ. Để tìm nghiệm x = θ của
15
Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều
phương trình (1.2), ta giả sử có một dãy các quan sát là các biến ngẫu nhiên
ξ
1
,ξ
2
, ,ξ
n
, khi đó thuật toán Dvoretzky sẽ được xác định như sau:
x
n+1
= T
n
(x
1
, ,x
n
) + η
n
(1.24)
trong đó T

n
là một phép biến đổi từ không gian n - chiều vào không gian một
chiều, còn η
n
là thành phần ngẫu nhiên thỏa mãn E[η
n
|x
1
, ,x
n
] = 0. Sau đây
là các điều kiện để thuật toán Dvoretzky hội tụ.
Định lý 1.2.4. Giả sử phép biến đổi T
n
trong thuật toán Dvoretzky (1.24) thỏa
mãn điều kiện sau:
|
T
n
(x
1
, ,x
n
) −θ
|
≤ F
n
|
x
n

−θ
|
(1.25)
trong đó F
n
là dãy các số dương thỏa mãn:
F
n
≤ 1;
∞
∏
n=1
F
n
= 0 (1.26)
Khi đó, nếu
E[x
2
1
] < ∞;
∞
∑
n=1
E[η
2
n
] < ∞ (1.27)
E

η

n
|x
1
,x
2
, ,x
n

= 0 (1.28)
thì thuật toán (1.24) sẽ hội tụ tới θ theo nghĩa trung bình bình phương, nghĩa là
lim
n→∞
E|x
n
−θ|
2
= 0
Chứng minh. Từ (1.24) ta có:
[x
n+1
−θ]
2
= (T
n
−θ)
2
+ 2η
n
(T
n

−θ) + η
2
n
→ E[x
n+1
−θ]
2
= E(T
n
−θ)
2
+ 2E

η
n
(T
n
−θ)

+ E[η
2
n
]
Có
E

η
n
(T
n

−θ)

=

···



η
n
f (η
n
|x
1
, ,x
n
)dη
n

×(T
n
−θ) f (x
1
, ,x
n
)dx
1
, ,x
n
Vì các giá trị (x

1
, ,x
n
) cho trước và theo (1.28) nên

η
n
f (η
n
|x
1
, ,x
n
)dη
n
= E

η
n
|x
1
,x
2
, ,x
n

= 0
16
Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều
Do đó E


η
n
(T
n
−θ)

= 0.
Áp dụng giả thiết (1.26) suy ra:
E[x
n
−θ]
2
= E(T
n
−θ)
2
+ E[η
2
n
]
≤ F
2
n
E[x
n
−θ]
2
+ E[η
2

n
]
Đặt V
n
= E[x
n
−θ]
2
và α
2
n
= E[η
2
n
].
Khi đó, ta có: V
n+1
≤ F
2
n
V
n
+ α
2
n
Sử dụng bất đẳng thức này với V
n
và lặp lại (n −1) lần ta có :
V
n

≤ F
2
n−1
V
n−1
+ α
2
n
≤ F
2
n−1

F
2
n−2
V
n−2
+ α
2
n−1

+ α
2
n
≤ ··· ≤V
1
β
0n
+
n

∑
j=0
α
2
j
β
jn
trong đó
β
jn
=













∏
n
l= j+1
F
2
l

nếu 0 ≤ j < n
1 nếu j = n
0 nếu j > n
Chọn i cố định sao cho i < n, ta có:
V
n+1
≤

V
1
+
i−1
∑
j=1
α
2
j

max
0≤j<i
β
jn
+
n
∑
j=i
α
2
j
β

jn
(1.29)
Xét vế phải của (1.29) ta có:

V
1
+
∑
i−1
j=1
α
2
j

max
0≤j<i
β
jn
+
∑
n
j=i
α
2
j
β
jn
Mà

V

1
+
∑
i−1
j=1
α
2
j

< ∞ và lim
n→∞
max
0≤1<i
β
jn
= 0
Vì vậy

V
1
+
∑
i−1
j=1
α
2
j

max
0≤j<i

β
jn
sẽ tiến tới 0 khi n tiến ra ∞
Mặt khác:
∑
n
j=i
α
2
j
β
jn
=
∑
∞
j=i
α
2
j
β
jn
do β
jn
= 0 khi j > n
Theo giả thiết có β
jn
bị chặn đều bởi 1 và theo (1.27) thì
∑
∞
j=i

α
2
j
< ∞
Do đó: lim
n→∞
∑
n
j=i
α
2
j
β
jn
=
∑
∞
j=i
α
2
j
lim
n→∞
β
jn
= 0
Khi đó, vế phải của (1.29) có giới hạn tiến tới 0 khi n −→ ∞
Suy ra V
n+1
−→ 0(n −→∞) hay lim

n→∞
E[x
n+1
−θ]
2
= 0
Vậy định lý được chứng minh.
17
Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều
Định lý 1.2.5. : Giả sử các điều kiện ở định lý 1.2.4 thỏa mãn. Khi đó thuật toán
Dvoretzky (1.24) sẽ hội tụ về θ với xác suất 1.
Chứng minh. Theo chứng minh định lý 1.2.4 ta có:
lim
n→∞
V
n
= lim
n→∞
E[x
n
−θ]
2
= 0
⇒ ∀ε > 0;∃δ > 0 và k = k(δ ,ε) sao cho ∀n ≥ k thì V
n
< δ
2
ε
Với k cố định, ta định nghĩa một thuật toán mới như sau:
x


m+1
= T

m
(x

1
, ,x

m
) + η

m
(1.30)
trong đó: T

m
= T
m
; η

m
= η
m
nếu m < k
còn nếu m ≥ k thì
T

m

(x

1
, ,x

m
) =





T
m
(x

1
, ,x

m
) nếu |x

m
−θ| < δ
x

m
nếu |x

m

−θ| ≥ δ.
η

m
=





η
m
nếu |x

m
−θ| < δ
0 nếu |x

m
−θ| ≥ δ.
Ta sẽ chỉ ra thuật toán (1.30) cũng hội tụ theo nghĩa trung bình bình phương, tức
V

n
= E[x

n
−θ]
2
< δ

2
ε với ∀n ≥ k
Thật vậy, giả sử tồn tại một số nguyên dương l nhỏ nhất sao cho |x
l
−θ| ≥ δ và
k ≤l ≤n
⇒ Với k ≤ m ≤l thì T

m
= x

m
và η

m
= 0
⇒ x

m+1
= x

m
với ∀k ≤ m ≤ l
⇒V

m
< δ
2
ε với ∀k ≤m ≤l
Khi đó, x

l
= x

l
= x

l+1
= ··· = x

n
và V
l
= V

l
= V

l+1
= ··· = V

n
Sự tồn tại của l tương ứng với |x

n
−θ|≥δ và l tồn tại nếu và chỉ nếu max
m
|x
m
−
θ| ≥ δ với k ≤ m ≤ n

Do đó, P{max
k≤m≤n
|x
m
−θ| ≥ δ} ≤ P{|x

n
−θ| ≥ δ}
Cho n −→ ∞ ta thu được P{max
m≥k
|x
m
−θ| ≥ δ} ≤
δ
2
ε
δ
2
= ε
Vì vậy ta thu được kết quả tương đương như sau:
P{|x
m
−θ| ≤ δ; m = k,k +1, } > 1 −ε
Do δ và ε là bất kỳ nên thuật toán hội tụ theo xác suất 1.
18
Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều
Chú ý:
1. Có thể thấy, thuật toán Robbins - Monro là trường hợp đặc biệt của thuật
toán Dvoretzky. Thật vậy, nếu ta lấy:
T

n
(x
1
, ,x
n
) = x
n
−a
n
µ(x
n
)
η
n
= a
n
[µ(x
n
) −ξ
n
]
thì thuật toán Robbins - Monro xác định ở (1.4) sẽ là một dạng của thuật
toán Dvoretzky:
x
n+1
= x
n
−a
n
µ(x

n
) −a
n
ξ
n
= T
n
+ η
n
Do đó để chứng minh tính hội tụ của thuật toán Robbins - Monro ta cần
kiểm tra với các điều kiện của định lý (1.2.1) thì các điều kiện của định lý
1.2.4 thỏa mãn.
Thật vậy, vì x
1
,x
2
, độc lập cùng phân phối nên ξ
n
chỉ phụ thuộc vào x
n
và E[ξ
n
|x
1
, ,x
n
] = E[ξ
n
] = µ(x
n

)
Do đó:
E[η
n
|x
1
, ,x
n
] = E{a
n
[µ(x
n
) −ξ
n
]|x
1
, ,x
n
}
= a
n
{E[µ(x
n
) −ξ
n
]|x
1
, ,x
n
}

= a
n
(µ(x
n
) −µ(x
n
) = 0
Như vậy điều kiện (1.28) được thỏa mãn.
Từ các giả thiết: Var[ξ (x) ≤α
2
< ∞ và
∑
∞
n=1
a
2
n
< ∞ của định lý 1.2.1 ta có:
∞
∑
n=1
E[η
2
n
] =
∞
∑
n=1
a
2

n
Var[ξ
n
] ≤ α
2
∞
∑
n=1
a
2
n
< ∞
hay điều kiện (1.27) thỏa mãn.
Vì
∑
∞
n=1
a
2
n
< ∞ nên tồn tại một số hữu hạn k sao cho với ∀n ≥ k luôn có
M
1
a
n
< 1
Đặt F
n
= 1 −M
1

a
n
.
Áp dụng bất đẳng thức ln(1 −x) ≤ −x∀x ∈(0; 1) ta thu được:
ln

∏
∞
n=k
F
n

=
∑
∞
n=k
ln F
n
≤ −
∑
∞
n=k
M
1
a
n
Sử dụng giả thiết dãy số hiệu chỉnh có
∑
∞
n=k

a
n
= ∞ ta suy ra
∏
∞
n=k
F
n
= 0
hay điều kiện (1.26) thỏa mãn.
19
Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều
Lại có:
|
T
n
(x
1
, ,x
n
) −θ
|
= |x
n
−θ −a
n
µ(x
n
)|
≤ |1 −M

1
a
n
||x
n
−θ|; ∀n ≥ k
= F
n
|x
n
−θ|
⇒ Điều kiện (1.25) thỏa mãn.
Vậy tất cả các điều kiện của định lý 1.2.4 được thỏa mãn. Theo định lý 1.2.4
thì thuật toán Robbins - Monro hội tụ theo nghĩa trung bình bình phương.
2. Thuật toán Kiefer - Wolfowitz cũng là trường hợp đặc biệt của thuật toán
Dvoretzky. Thật vậy, đặt
T
n
(x
1
; ; x
n
) = x
n
+
a
n
b
n


µ(x
n
+ b
n
) −µ(x
n
−b
n
)

η
n
=
a
n
b
n

−µ(x
n
+ b
n
) + µ(x
n
−b
n
) + ξ(x
n
+ b
n

) −ξ(x
n
−b
n
)

thì thuật toán Kiefer - Wolfowitz xác định ở (1.21) sẽ có dạng tương đương
là x
n+1
= T
n
(x
1
; ; x
n
) + η
n
. Vì vậy, thuật toán (1.21) là dạng đặc biệt của
thuật toán Dvoretzky. Do đó, tương tự như trên, ta cũng chứng minh được từ
các điều kiện của định lý 1.2.3 sẽ suy ra các điều kiện của định lý 1.2.4, từ
đó sẽ suy ra tính hội tụ của thuật toán Kiefer - Wolfowitz hay định lý 1.2.3
được chứng minh.
20
Chương 2
Xấp xỉ ngẫu nhiên cho trường
hợp nhiều chiều
Trong chương này, chúng ta sẽ khảo sát các mở rộng của các thuật toán xấp
xỉ ngẫu nhiên đã đề cập trong chương 1 vào trong không gian n - chiều.
2.1 Thuật toán Robbins - Monro trong không gian
n - chiều

2.1.1 Nội dung thuật toán
Hàm hồi quy trong không gian n - chiều ký hiệu là µ(x) và có dạng µ(x) =
E[ξ(x)]. Để tìm nghiệm của phương trình µ(x) = 0, ta sử dụng thuật toán Rob-
bins - Monro có dạng sau:
x
n+1
= x
n
−a
n
ξ
n
(2.1)
trong đó ξ
n
= ξ (x
n
). Khi đó ta thu được kết quả sau:
Định lý 2.1.1. Giả sử dãy số hiệu chỉnh {a
n
} thỏa mãn
∞
∑
n=1
a
n
= ∞;
∞
∑
n=1

a
2
n
< ∞ (2.2)
21
Chương 2. Xấp xỉ ngẫu nhiên cho trường hợp nhiều chiều
đồng thời tồn tại các hằng số M
1
; M
2
; 0 < M
1
≤ M
2
< ∞ sao cho
M
1
x −θ
2
≤ µ(x)
T
(x −θ) ≤ M
2
x −θ
2
; (2.3)
Varξ (x)≤ α
2
< ∞ (2.4)
Khi đó, thuật toán Robbins - Monro (2.1) sẽ hội tụ theo nghĩa trung bình bình

phương đến θ
Chứng minh của định lý 2.1.1 được trình bày trong công trình của Aryeh
Dvoretzky trong tài liệu tham khảo [1].
2.1.2 Đánh giá cận trên của sai số trung bình bình phương
Hoàn toàn tương tự, chúng ta có thể đánh giá được cận trên cho sai số trung bình
bình phương của thuật toán Robbins - Monro xác định cho trường hợp n - chiều
bởi công thức truy hồi (2.1). Định lý sau sẽ là một kết quả tổng quát của định lý
1.2.2 đã được trình bày ở chương 1.
Định lý 2.1.2. Giả sử các điều kiện sau được thỏa mãn:
(i) Tồn tại các hằng số dương M
1
; M
2
; 0 < M
1
≤ M
2
< ∞ sao cho hàm hồi quy
µ(x) có tính chất (2.3).
(ii) Dãy các véc tơ {x
n
} xác định bởi công thức truy hồi (2.1) và các quan sát
không chệch ξ(x) về hàm hồi quy µ(x) (tương ứng là quan sát không chệch
ξ (x
n
) về µ(x
n
)) có tính chất (2.4) và
E


ξ
n
−µ(x
n
)

|x
1
, ,x
n

= 0 (2.5)
đồng thời
E(x
1
−θ
2
) = V
1
≤
2α
2
M
1
(M
2
−M
1
)
(2.6)

(iii) Dãy hiệu chỉnh {a
n
} trong công thức truy hồi (2.1) được cho ở dạng
a
n
=
M
1
V
1
α
2
+ nM
2
1
V
1
(2.7)
Khi đó, V
n
= Ex
n
−θ
2
sẽ thỏa mãn bất đẳng thức:
V
n
≤
α
2

V
1
α
2
+ (n −1)M
2
1
V
1
(2.8)
22
Chương 2. Xấp xỉ ngẫu nhiên cho trường hợp nhiều chiều
Chúng ta thu được một mở rộng tổng quát hơn của thuật toán Robbins -
Monro cho trường hợp nhiều chiều khi thuật toán truy hồi (2.1) được xét với dãy
hiệu chỉnh có dạng ma trận. Trong trường hợp này, thuật toán truy hồi (2.1) sẽ
có dạng sau:
x
n+1
= x
n
−A
n
ξ
n
(2.9)
trong đó A
n
là ma trận vuông cấp n.
Để khảo sát thuật toán (2.9) ta đặt:
M = M(θ) =


∇
x
µ(x)
T

T
x=θ
R = Cov[ξ (x)]
đồng thời giả thiết là tất cả các điều kiện khác trong định lý 2.1.2 đều thỏa mãn.
Nếu tồn tại ma trận nghịch đảo M
−1
của ma trận M và dãy ma trận hiệu chỉnh
được chọn là
A
n
=
1
n
M
−1
thì sai số trung bình bình phương của xấp xỉ x
n
cho θ sẽ là
V
n
=
1
n
(M

T
R
−1
M)
−1
và khi đó tốc độ hội tụ của thuật toán (2.9) sẽ là
lim
n→∞
nV
n
= lim
n→∞
nTr

V
n

= Tr

M
T
R
−1
M

−1
với Tr(A) ký hiệu là vết của ma trận A vuông cấp n.
Vì vậy với cách chọn dãy ma trận hệ số hiệu chỉnh A
n
xác định như trên thì thuật

toán (2.9) sẽ là tối ưu theo nghĩa nó sẽ có tốc độ hội tụ tối ưu.
Sau đây chúng ta sẽ xét một trường hợp đặc biệt khi hàm hồi quy được giả thiết
là có dạng tuyến tính.
Định lý 2.1.3. Giả sử hàm hồi quy có dạng tuyến tính sau:
µ(x) = E[ξ(x)] = M(x −θ) (2.10)
và lược đồ xấp xỉ ngẫu nhiên (2.9) thỏa mãn các điều kiện sau:
cov[ξ(x)] = R (2.11)
và R là ma trận độc lập với x
E

ξ
n
−µ(x
n
)|(x
1
, ,x
n
)

= 0 (2.12)
23
Chương 2. Xấp xỉ ngẫu nhiên cho trường hợp nhiều chiều
Đặt
V
n
= E[(x
n
−θ)(x
n

−θ)
T
] (2.13)
trong đó V
1
= E[(x
1
−θ)(x
1
−θ)
T
] đã cho trước.
Khi đó nếu chọn dãy ma trận hiệu chỉnh A
n
trong thuật toán (2.9) như sau:
A
n
= (V
−1
1
+ nM
T
R
−1
M)
−1
M
T
R
−1

(2.14)
ta sẽ thu được
V
n
=

V
−1
1
+ (n −1)M
T
R
−1
M

−1
(2.15)
Kết quả này cũng có nghĩa là thuật toán Robbins - Monro trong (2.9) hội tụ theo
nghĩa trung bình bình phương đến θ .
Chứng minh. Từ (2.9); (2.10); (2.13), ta thu được:
V
n+1
= E[(x
n+1
−θ)(x
n+1
−θ)
T
]
= E


(x
n
−θ) −A
n
ξ
n

(x
n
−θ) −A
n
ξ
n

T

= E[(x
n
−θ)(x
n
−θ)
T
−(x
n+1
−θ)A
n
T
ξ
T

n
+ A
n
ξ
n
A
n
T
ξ
T
n
]
= (I −A
n
M)V
n
(I −A
n
M)
T
+ A
n
RA
n
T
(2.16)
trong đó I là ma trận đơn vị.
Ta sẽ chứng minh (2.15) bằng quy nạp.
• Với n = 1 thì V
1

= [(V
1
)
−1
]
−1
= V
1
⇒ (2.15) đúng với n = 1
• Giả sử (2.15) đúng đối với n. Ta sẽ chứng minh (2.15) đúng đối với n + 1.
Thật vậy, từ (2.14) ta có:
I −A
n
M = (V
−1
1
+ nM
T
R
−1
M)
−1
(V
−1
1
+ (n −1)M
T
R
−1
M)

A
n
RA
n
T
= (V
−1
1
+ nM
T
R
−1
M)
−1
M
T
R
−1
M
×(V
−1
1
+ nM
T
R
−1
M)
−1
(2.17)
Kết hợp (2.17) với giả thiết quy nạp và thế vào (2.16) ta thu được

V
n+1
= (V
−1
1
+ nM
T
R
−1
M)
−1
24
Chương 2. Xấp xỉ ngẫu nhiên cho trường hợp nhiều chiều
Vậy (2.15) đúng với mọi n. Từ (2.15) ta suy ra
lim
n→∞
V
n
= 0
hay thuật toán (2.9) hội tụ theo nghĩa trung bình bình phương.
Nhận xét 3. Định lý trên cho ta thấy:
• Nếu giá trị chân thực θ được biết sẽ nằm trong miền hình chữ nhật bị chặn
nào đó của không gian tham số và (2.11); (2.12) chỉ đúng cho những x nằm
trong miền đó thì ta phải sử dụng phương pháp Robbins - Monro chặt cụt
tương tự như trong trường hợp một chiều.
• Dãy ma trận hiệu chỉnh A
n
xác định trong (2.14) thực chất là dạng ma trận
làm cực tiểu sai số trung bình bình phương ở mỗi bước lặp. Thật vậy, để
đơn giản ta giả sử tồn tại ma trận M

−1
và lưu ý là từ (2.16) có thể suy ra là:
V
n+1
=Tr[V
n
−A
n
MV
n
−V
n
M
T
A
n
T
+ A
n
(R + MV
n
M
T
)A
n
T
]
(2.18)
Khi đó, nếu thay ma trận A
n

bằng đại lượng dA
n
thì ta thu được
−Tr{dA
n
[MV
n
−(R + MV
n
M
T
)A
n
T
]
+ [V
n
M
T
−A
n
(R + MV
n
M
T
)dA
n
T
]}
(2.19)

Do đó, để V
n+1
có cực tiểu thì biểu thức (2.19) phải bằng 0 với mọi dA
n
. Vì
vậy sử dụng tính chất đối xứng ta có:
(R + MV
n
M
T
)
−1
MV
n
= (V
−1
n
M
−1
R + M
T
)
−1
:=
ˆ
A
n
T
Từ đó suy ra giá trị cực tiểu của V
n+1

là cực tiểu toàn cục vì dạng biểu diễn
(2.18) của nó về cơ bản là dạng toàn phương.
• Với lưu ý là V
−1
n
được thay thế từ (2.15) thì dãy ma trận hệ số hiệu chỉnh
(2.14) có dạng sau:
A
n
T
= R
−1
M(V
−1
n
+ M
T
R
−1
M)
−1
= (V
−1
n
M
−1
R + M
T
)
−1

=

A
n
T
Như vậy dãy ma trận hệ số hiệu chỉnh A
n
là tối ưu theo nghĩa thuật toán
(2.9) tương ứng có sai số trung bình bình phương được đánh giá như trên.
25
Chương 2. Xấp xỉ ngẫu nhiên cho trường hợp nhiều chiều
Bây giờ ta sẽ đưa ra hai ví dụ về thuật toán Robbins - Monro nhiều chiều,
một ví dụ về ma trận M = M(θ) đã biết, còn một ví dụ về ma trân M(θ) chưa
biết.
Ví dụ 2.1.4. Gọi θ là giá trị trung bình chân thực, ξ (x) = x −t. Ta cần ước lượng
véc tơ trung bình.
Với giả thiết trên, hàm hồi quy là
µ(θ) = E[ξ (θ )] = 0
Khi đó, µ(x) là hàm tuyến tính và M = I. Thuật toán xấp xỉ ngẫu nhiên sẽ là:
x
n+1
= x
n
−A
n
(x
n
−t
n
)

Với giả thiết sai số trung bình bình phương V
1
ban đầu đã cho trước, theo (2.14)
và (2.15), ta có:
A
n
=

V
−1
1
+ nR
−1

−1
R
−1
=

V
−1
n
+ R
−1

−1
R
−1
V
n

= (V
−1
1
+ (n −1)R
−1
)
−1
= RA
T
n−1
Suy ra
A
n
= V
n
(V
n
+ R)
−1
V
n
= R(V
n−1
+ R)
−1
V
n−1
do đó thuật toán trở thành
x
n+1

= R(V
n
+ R)
−1
x
n
+V
n
(V
n
+ R)
−1
t
n
Trước khi xét ví dụ thứ hai, ta đưa ra khái niệm dãy hàm cơ sở.
Định nghĩa 2.1.5. Dãy các hàm ϕ
1
(t), ,ϕ
K
(t) được gọi là hàm cơ sở nếu các
hàm này độc lập, tuyến tính và có tính chất:
ϕ
i
(t)ϕ
j
(t) =






1 nếu i = j
0 nếu i = j.
Ví dụ 2.1.6. Giả sử t là véc tơ ngẫu nhiên có hàm mật độ f (t) chưa biết, hàm
vô hướng đã biết h(t) là một phép biến đổi phi tuyến của t. Ta cần tìm một xấp
xỉ tuyến tính cho hàm số h(t) cho trên tập các hàm cơ sở độc lập tuyến tính
26