Xấp xỉ ngẫu nhiên và một số ứng dụng

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
-------------------

NGÔ THỊ TOÁN

XẤP XỈ NGẪU NHIÊN VÀ MỘT SỐ ỨNG DỤNG

LUẬN VĂN THẠC SĨ KHOA HỌC

Hà Nội – Năm 2011


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
-------------------

NGÔ THỊ TOÁN

XẤP XỈ NGẪU NHIÊN VÀ MỘT SỐ ỨNG DỤNG
Chuyên ngành: Lý thuyết xác suất và thống kê toán học
Mã số:

LUẬN VĂN THẠC SĨ KHOA HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC:
TS. NGUYỄN HỮU TIẾN

Hà Nội – Năm 2011

Mục lục
Lời nói đầu

1

Lời cảm ơn

3

Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều

6

1.1. Khái niệm mở đầu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

6
1.2. Xấp xỉ ngẫu nhiên cho trường hợp một chiều . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.1. Thuật toán Robbins-Monro . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

1.2.2. Thuật toán Kiefer-Wolfowitz . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14
1.2.3. Thuật toán Dvozetky . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

Chương 2. Xấp xỉ ngẫu nhiên cho trường hợp nhiều chiều
2.1. Thuật toán Robbins-Monro trong không gian n-chiều . . . . . . . . . . . . . . . 21
2.1.1. Nội dung thuật toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

2.1.2. Đánh giá cận trên của sai số trung bình bình phương . . . . . . . . . . . . 22
2.2. Thuật toán Dvozetky trong không gian n-chiều . . . . . . . . . . . . . . . . . . . . . 28

Chương 3. Một số ứng dụng của xấp xỉ ngẫu nhiên
3.1. Ứng dụng của xấp xỉ ngẫu nhiên trong ước lượng có định hướng
quyết định . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

3.2. Ứng dụng của xấp xỉ ngẫu nhiên vào ước lượng tham số . . . . . . . . . . . . . 34
3.3. Ứng dụng của xấp xỉ ngẫu nhiên vào ước lượng hàm phân biệt . . . . . . . 37
3.4. Ứng dụng của xấp xỉ ngẫu nhiên trong các hàm thế . . . . . . . . . . . . . . . . . 41


4


3.5. Ứng dụng của xấp xỉ ngẫu nhiên trong ước lượng hàm mật độ
xác suất . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

3.5.1. Xấp xỉ tuyến tính . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

3.5.2. Ước lượng và xấp xỉ cho hàm mật độ trộn chuẩn . . . . . . . . . . . . . . . . 45

Kết luận

49

Tài liệu tham khảo

50

5

Chương 1

Xấp xỉ ngẫu nhiên cho
trường hợp một chiều
1.1 Khái niệm mở đầu
Giả sử m(x) là một hàm số có nghiệm duy nhất là x = q nhưng dạng giải
tích của hàm số này chưa biết. Tuy nhiên với mỗi giá trị x, giả sử tồn tại
một biến ngẫu nhiên x (x) có hàm mật độ xác suất f (x jx) sao cho:
Z
m(x) = Ex [x (x)] =

x (x) f (x jx)dx

(1.1)

Wx

hay m(x) được biểu diễn dưới dạng kì vọng có điều kiện của biến
ngẫu nhiên x khi giả thiết x cho trước.
Hàm m(x) như thế được gọi là hàm hồi quy.
Việc tìm nghiệm hoặc tìm giá trị lớn nhất, nhỏ nhất của hàm hồi quy
khi dạng giải tích của hàm này chưa biết sẽ là đối tượng nghiên cứu
của phương pháp xấp xỉ ngẫu nhiên.
Trong luận văn ta sẽ sử dụng kí hiệu x; x 1; x2; : : : cho các tham biến,
w;t cho các yếu tố ngẫu nhiên đã được quan sát và x cho ước lượng
không chệch của m(x) hay Ex = m(x). Để đơn giản ta quy ước sẽ sử
dụng x thay cho x (x; w) và xn thay cho x (xn; w) ...

6

Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều

1.2 Xấp xỉ ngẫu nhiên cho trường hợp một chiều
1.2.1 Thuật toán Robbins - Monro
Trong mục này chúng ta sẽ giải quyết bài toán tìm nghiệm của một phương
trình hàm hồi quy cho trường hợp một chiều. Không mất tính tổng quát ta có
thể giả thiết là chỉ cần tìm thuật toán xác định nghiệm của phương trình sau:

m(x) = 0
Thật vậy, nếu phải tìm nghiệm của phương trình dạng
(x) =
trong đó a là một hằng số thực cho

mb

trước.

a

Khi đó, ta đặt m(x) := m(x) a thì lời giải cho bài toán (1.3) sẽ có thể xác định từ thuật toán giải bài toán (1.2).

b

Bây giờ ta xét việc giải phương trình hồi quy (1.2) và có nhận xét là nếu
hàm hồi quy m(x) đã cho trước thì nghiệm của phương trình (1.2) sẽ được
xác định bởi các thuật toán đã xét ở giải tích số chẳng hạn bởi phương
pháp lặp Newton. Vấn đề đặt ra ở đây là hàm hồi quy m(x) chưa biết nên
để tìm nghiệm của phương trình hồi quy (1.2), ta cần giả thiết thêm là ứng
với mỗi giá trị xác định x = x n ta thu được một quan sát không chệch cho

m(xn) là xn với 8n 2 N. Khi đó, thuật toán tìm nghiệm xấp xỉ cho phương
trình hồi quy (1.2) được Robbins - Monro đề xuất sẽ có dạng sau:

x

n+1

=x a x
n

n n

trong đó fang là một dãy số thực được chọn trước thích hợp và dãy đó
được gọi là dãy số hiệu chỉnh.
Kết quả sau đây xác định các điều kiện đủ để thuật toán Robbins Monro xác định ở (1.4) hội tụ.
Định lý 1.2.1. Giả sử các điều kiện sau thỏa mãn:
2

x1 là một biến ngẫu nhiên tùy ý sao cho E[x1 ] < ¥ và dãy biến ngẫu nhiên
x1; x2; : : : ; xn; : : : là các biến ngẫu nhiên độc lập cùng phân phối được
xác định từ thuật toán Robbins - Monro (1.4) trong đó xn là quan sát
không chệch về hàm hồi quy m(x) tại x = xn hay E(xn) = m(xn).

fang là một dãy số hiệu chỉnh được chọn trước sao cho
¥

å an = ¥;
n=1

7

¥


Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều

Tồn tại các hằng số dương 0 < M1 M2 < ¥ sao cho hàm hồi quy
m(x) thỏa mãn
và

M1(x q )

2

m(x)(x q ) M2(x q )

2

Z
2
2
Var[x ] = Wx [x m(x)] f (x jx)dx a < ¥
Khi đó thuật toán Robbins - Monro (1.4) sẽ hội tụ theo trung
2 bình bình phương
về nghiệm q của phương trình hồi quy (1.2) hay lim Ejxn q j = 0
n!¥

Trước khi chứng minh định lý, ta có một số các nhận xét sau đây
về các giả thiết hội tụ của định lý:
Nhận xét 1. Ta cần chú ý như sau:

Giả thiết (1.6) cho ta biết hàm m(x) phải nằm giữa hai đường thẳng có hệ số
góc dương là M1 và M2 tương ứng. Hai đường thẳng này cắt nhau tại x = q
và điều này đảm bảo cho sự tồn tại nghiệm q của phương trình (1.2).

Giả thiết (1.7) có nghĩa là quan sát không chệch của hàm hồi quy
có phương sai hữu hạn.
Giả thiết (1.5) về dãy hiệu chỉnh fang được hiểu như sau: do tính ngẫu nhiên
của các quan sát xn nên hệ số hiệu chỉnh an phải tiến đến 0 khi n tiến ra vô
cùng nếu không thì thuật toán sẽ giao động quanh q và không bao giờ hội tụ
về giá trị q này. Mặt khác sự hội tụ về 0 của an cần duy trì ở mức không quá
nhanh nhằm loại trừ khả năng giá trị xấp xỉ x n quẩn quanh nghiệm q chứ
không tiến dần về nghiệm này. Thật vậy, do thuật toán (1.4) sử dụng ước
lượng không chệch của hàm hồi quy là xn thay cho giá trị đúng của nó là
m(xn) nên thuật toán (1.4) cần đảm bảo rằng quan sát xn được sử dụng
nhiều lần để ảnh hưởng của nó loại trừ khả năng trên và điều này sẽ được
bảo đảm nếu dãy hiệu chỉnh fang hội tụ về 0 không quá nhanh. Giả thiết (1.5)
chính là nhằm bảo đảm cho hai điều kiện trên thỏa mãn.

Việc định nghĩa hàm hồi quy như (1.1) đã nói lên rằng các hàm
mật độ f (xnjxn) có cấu trúc hàm giống nhau cho tất cả các n vì
vậy, giả thiết về tính độc lập cùng phân phối của các x1; x2; : : : ;
xn; : : : sẽ bảo đảm cho điều kiện nêu trên thỏa mãn.
Cuối cùng, ta lưu ý rằng giả thiết độc lập cùng phân phối nêu trên có thể
được giảm nhẹ nếu ta thay giả thiết này bởi giả thiết về sự phụ thuộc yếu
của các quan sát xn vào x1; : : : ; xn hay có thể giả thiết xn có phân phối xác
8


Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều
suất có điều kiện chỉ phụ thuộc vào kết quả xấp xỉ thứ n là x n chứ không

phụ thuộc trực tiếp vào kết quả xấp xỉ x1; : : : ; xn 1 trước đó. Tuy nhiên,
để các chứng minh được dễ hiểu hơn, chúng ta vẫn dùng các giả thiết về
sự độc lập cùng phân phối của các biến ngẫu nhiên x1; : : : ; xn; : : :

Bây giờ ta bắt đầu chứng minh định lý 1.2.1.
Chứng minh. Từ (1.4) ta có:

Đặt V := E x
n

cho q
Lấy kỳ vọng hai vế của (1.8) ta được

Theo tính chất kỳ vọng có điều kiện và các giả thiết độc lập, giả thiết (1.6); (1.7)

ta có:
E xn:(xn q ) = E m(xn):(xn
E

2

= M2 Vn + a

2

Khi đó, (1.9) trở thành:
2

2

2 2

Vn+1 (1 2M1an + M2 an )Vn + an a

Theo nhận xét trên thì an ! 0 khi n! ¥ nên với e bất kỳ, 0 e < 2 sẽ tồn
tại một số m = m(e) sao cho với mọi n m ta có:
2

2

1 2M1an + M2 an 1 (2 e)M1an

0 < 1 (2 e)M1an
9

1


Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều

Khi đó bất đẳng thức (1.10) trở thành:
2 2

Vn+1 Vn 1 (2 e)M1an + an a ; 8n m
Ta có thể biểu diễn (1.12) một cách truy hồi như sau:
Vm+1 Vm 1 (2

2

e)M1am + a ma

2

2

2

Vm+2 Vm+1 1 (2 e)M1am+1 + am +1a

+ a am 1 (2
và
i=m

trong đó bin được định nghĩa như sau:

8

n

Õ j=i+1

b

=>
>1

in

>
>

>
>
<

>

>
>
>

:
Áp dụng bất đẳng thức logarit
ln u u

1;

u

0

ta có:
ln[1 (2 e)M a ] (2 e)M1ai; i m Do
kỳ nên lim bm 1;n = 0 và do 1đói
i=1

n!¥

lim V b
n!¥

Lại có, bin = 0 khi i > m nên

m

å¥

ai phân

0


n

a

2

å

¥

2
2
a ibin = a

i=m

10

å a2ibin

i=m


Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều
¥

2

Do 0 bin 1; 8n; i và å i=1 a i hội tụ tuyệt đối nên ta có thể chuyển qua
giới hạn vào tổng. Kết hợp với (1.14) ta thu được:
lim a

n!¥

2

å

2
2
ai bin = lim a

n
i=m


Từ (1.13); (1.14); (1.15) ta có
lim V
n!¥ n+1

Vậy thuật toán (1.4) hội tụ theo nghĩa trung bình bình phương. Định lý
1.2.1 được chứng minh xong.
Chú ý: Với các bài toán có hàm hồi quy không thỏa mãn điều kiện (1.6) với
mọi giá trị của x nhưng ta lại biết giá trị chân thực q nằm trong một khoảng [u 1;
u2] nào đó và (1.5) thỏa mãn với mọi x 2 [u1; u2] thì ta sẽ sử dụng thuật toán

Robbins - Monro chặt cụt có dạng sau:
trong đó
trunc

và hàm này được gọi là hàm chặt
hội tụ nếu các điều kiện còn lại của định lý 1.2.1 thỏa mãn.
Ta lưu ý là sai số trung bình bình phương Vn = E[xn
thuật toán rất khó thu được vì thuật toán là một quá trình truy hồi, chẳng
hạn x2 phụ thuộc vào phân phối của x1; x3 lại phụ thuộc vào phân phối
của x2 : : : . Cũng bởi vậy nên sai số trung bình bình phương chỉ phù
hợp cho mỗi cách chọn dãy hiệu chỉnh a n cụ thể. Dưới đây là một cận
trên sai số trung bình bình phương do Dvoretzky đưa ra.
2

Định lý 1.2.2. Giả sử tồn tại các số dương M1; M2; a và V1 sao cho
các điều kiện (1.6); (1.7) trong định lý 1.2.1 và điều kiện sau thỏa
mãn:
E xn

m(xn)jx1; : : : ; xn = 0
11

(1.16)

Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều

2

E[x1 q ] = V1
Khi đó, tồn tại dãy hiệu chỉnh fang xác định bởi:
an =
để sai số trung bình bình phương của thuật toán Robbins - Monro thỏa mãn:
2

Vn = E[xn q ]
2a

Chứng minh. Ta có: V1

) a2

V M (M
1

1

M)

2

M1(M2

2
M1 )

1

2

) an =
=

2M

1

M (M
1

M ) + 2nM

2

2

2

1

1

M2+M1

Vì vậy có 0 anM1 1
Lại có: xn+1 q = xn q anm(xn) + an[m(xn) xn]
Tương tự như trong chứng minh định lý 1.2.1 và từ các điều kiện
(1.6), (1.7) và (1.16) ta có:
2

Vn+1

E xn

q

anm(xn)

2

+ anVarxn

2

2 2
(1 anM1) Vn + a na

Ta sẽ chứng minh (1.19) bằng quy nạp.
Thật vậy: Với n = 1 thì V1 V1 (1.19) luôn đúng .
Giả sử (1.19) đúng với n, ta sẽ chứng minh đúng với n + 1

(1.20)

12


Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều

Từ (1.20) và giả thiết quy nạp, ta có:
Vn+1 (1

=

2

a2V
2

2

anM1) Vn + a na

1

2

2

a + nM1 V1
) (1.19) đúng với n + 1.
Vậy định lý được chứng minh xong.
2 2 2

M V a
+

2

2

2

(a + nM V )

Nhận xét 2. Công thức (1.19) cho thấy tốc độ hội tụ của thuật toán Robbins Monro xét theo tiêu chuẩn sai số trung bình bình phương phụ thuộc vào cách
chọn dãy hiệu chỉnhfang. Dãy fang chọn trong định lý 1.2.2 là cách chọn gần tối
ưu với những n nhỏ. Tuy nhiên, ta lại quan tâm đến sự hội tụ của thuật toán khi n
rất lớn. Do đó ta có cách chọn dãy fang như sau: Đặt M = M(q ) =

và M

d

m(x)jx=q dx

M1

Nếu hàm hồi quy là tuyến tính thì ta chọn an =
a

Vn =

a

nM

2

2

Nếu hàm hồi quy không tuyến tính thì do ta chỉ quan tâm sự tiệm cận của
xấp xỉ đến nghiệm q nên dãy số hiệu chỉnh fang sẽ được chọn ở dạng
n

=


Với một hàm hồi quy bất kỳ nhưng có các điều kiện của định lý 1.2.1 thỏa mãn
a
2
và Varx (x) = a thì ta chọn dãy hiệu chỉnh thỏa mãn an = với
n

2aM > 1. Khi đó, biến ngẫu nhiên

xn q
p

có phân phối sẽ tiệm cận đến n

phân phối chuẩn với kỳ vọng bằng 0 và phương sai thỏa mãn nE(x n
2

q) =
2 2

a
2aM 1
a

13


Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều

1.2.2 Thuật toán Kiefer - Wolfowitz
Bây giờ ta sẽ nghiên cứu việc tìm lời giải cho bài toán: Tìm giá trị của q sao
cho tại x = q hàm hồi quy m(x) đạt cực đại hoặc cực tiểu. Không mất tính
tổng quát, chúng ta sẽ chỉ đi tìm điểm cực tiểu q của m(x), khi đó từ các kết
0

quả của giải tích ta suy ra q phải là nghiệm của phương trình m (x) = 0.
Ta có thể giải bài toán trên bằng cách sử dụng thuật toán Robbins - Monro để
0
tìm nghiệm của phương trình m (x) = 0. Thật vậy, thuật toán để tìm điểm x = q
0

0

mà tại đó m (x) = 0 khi giả thiết hàm m (x) chưa biết nhưng giả thiết tồn tại
tại mỗi x = xn theo Robbins - Monro có dạng sau:
¶

x

n+1

=x a
n

n

Tuy nhiên, thuật toán Robbins - Moro không thể áp dụng được trong
việc giải bài toán tìm cực tiểu này. Sở dĩ như vậy vì:
Hàm m(x) chưa chắc đã khả vi. Hơn nữa biến ngẫu nhiên (¶ x =¶
x) có thể không thỏa mãn điều kiện sau:

0

m (x) =
Mặc dù chúng ta sẽ dễ dàng thu được x (x) từ các quan sát ứng với
¶x
giá trị của x nhưng sẽ không tính toán được giá trị của
.
¶x
Để vẫn tìm được lời giải xấp xỉ cho bài toán trên Kiefer - Wolfowitz giả
thiết là tại mỗi giá trị x = xn có thể thu được một quan sát không chệch
0
cho giá trị m (x) từ các quan sát về hàm hồi quy m(x) ở dạng sau:
x (xn + bn) x (xn bn)
2bn
trong đó fbng là dãy số dương có giới hạn tiến tới 0 (khi n ! ¥). Từ đó
theo ý tưởng của thuật toán xấp xỉ ngẫu nhiên Robbins - Monro, Kiefer Wolfowitz đã đề xuất thuật toán tìm giá trị xấp xỉ của x = q mà tại đó hàm

0
hồi quy m(x) có đạo hàm m (x) = 0 như sau: Nếu ở bước lặp thứ n ta có
giá trị xấp xỉ là x = xn và giả sử có được hai quan sát không chệch về
hàm hồi quy m(x) tại x = xn bn và x = xn + bn thì giá trị xấp xỉ của x = q tại
bước lặp thứ n + 1 là x = xn+1 sẽ được xác định bởi thuật toán sau:

x

n+1

=x

n

14


Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều

trong đó fang và fbng là các dãy các số dương và rõ ràng số hạng

x (xn + bn) x (xn bn)
có thể coi như là một ước lượng của
20
xn tại x = xn. Thuật bn

toán (1.21) được gọi là thuật toán Kiefer - Wolfowitz và sự hội tụ của
dãy các xấp xỉ x = xn về x = q đã được Kiefer - Wolfowitz chứng minh
trong định lý sau:
Định lý 1.2.3. Giả sử các dãy số thực dương là fang và fbng thỏa mãn

các điều kiện sau:
¥

å an = ¥
n=1

å anbn < ¥
n=1

n=1

lim bn = 0
n=1

và các quan sát không chệch x (x) của hàm hồi quy m(x) có:
2

Varx (x) a < ¥
đồng thời hàm hồi quy m(x) thỏa mãn ba điều kiện sau:
1.

m(x) và đạo hàm cấp hai của nó bị chặn.

2.

x = q là điểm cực tiểu địa phương của hàm hồi quy m(x), tức là với
8e > 0; m(q ) m(x) nếu jx q j < e.

3. x = q là điểm dừng duy nhất của hàm hồi quy m(x), tức là

x 6= q .

d

m(x) 6= 0 nếu
dx

Khi đó, thuật toán Kiefer - Wolfowitz (1.21) sẽ hội tụ theo nghĩa trung
bình bình phương tới q .

1.2.3 Thuật toán Dvoretzky
Thuật toán Dvoretzky được coi như thuật toán tổng quát của các thuật
toán xấp xỉ ngẫu nhiên. Bây giờ chúng ta sẽ nghiên cứu thuật toán này.
Cho m(x) là một hàm hồi quy có nghiệm tại x = q . Để tìm nghiệm x = q của
15


Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều
phương trình (1.2), ta giả sử có một dãy các quan sát là các biến ngẫu nhiên
x1; x2; : : : ; xn, khi đó thuật toán Dvoretzky sẽ được xác định như sau:

xn+1 = Tn(x1; : : : ; xn) + hn
trong đó Tn là một phép biến đổi từ không gian n - chiều vào không gian
một chiều, còn hn là thành phần ngẫu nhiên thỏa mãn E[h njx1; : : : ; xn] =
0. Sau đây là các điều kiện để thuật toán Dvoretzky hội tụ.

Định lý 1.2.4. Giả sử phép biến đổi Tn trong thuật toán Dvoretzky
(1.24) thỏa mãn điều kiện sau:
jTn(x1; : : : ; xn) q j Fn jxn q j
trong đó Fn là dãy các số dương thỏa mãn:

Fn 1;
Khi đó, nếu
2

E[x1 ] < ¥;
E hnjx1; x2; : : : ; xn = 0
thì thuật toán (1.24) sẽ hội tụ tới q theo nghĩa trung bình bình phương, nghĩa là

Chứng minh. Từ (1.24) ta có:

2

2

! E[xn+1 q ] = E(Tn q )

Có

E hn(Tn

(Tn q ) f (x1; : : : ; xn)dx1; : : : ; xn

Vì các giá trị (x1; : : : ; xn) cho trước và theo (1.28) nên
Z

hn f (hnjx1; : : : ; xn)dhn = E hnjx1; x2; : : : ; xn = 0
16


Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều

q ) = 0.
Áp dụng giả thiết (1.26) suy ra:
Do đó E hn(Tn

2

E[x
n

2

Đặt V = E[x
n

2

q ] = E(T

2

q ) + E[h ]
n

n

2

2

q ] và a = E[h ].
n

n

n

Sử dụng bất đẳng thức này với Vn và lặp lại (n 1) lần ta có :
2

Vn

Fn 1Vn 1 + an

2

2

2

2

Fn 1 Fn 2Vn 2 + an 1 + an

2

n

V1b0n + å

2
a jb jn

j=0

trong đó
nếu 0 j < n
b

nếu j = n
nếu j > n

Chọn i cố định sao cho i < n, ta có:
V

n+1

i 1

2

Mà V1 + å j= 1 a j < ¥ và lim max0

Xét vế phải của (1.29) ta có:
Vì vậy V1 + åi 1 a2
n

2

¥

2

Mặt khác: å j=i a jb jn = å j=i a jb jn do b jn = 0 khi j > n

j=1 j

¥

2

Theo giả thiết có b jn bị chặn đều bởi 1 và theo (1.27) thì å j=i a j < ¥
n
2
¥
2
Do đó: lim å j=i a jbjn = å j=i a j lim bjn = 0
n!¥


Khi đó, vế phải của (1.29) có giới hạn tiến
2 tới 0 khi n! ¥
Suy ra Vn+1 ! 0(n! ¥) hay lim E[xn+1 q ] = 0
n!¥

Vậy định lý được chứng minh.

17

Chương 1. Xấp xỉ ngẫu nhiên cho trường hợp một chiều

Định lý 1.2.5. : Giả sử các điều kiện ở định lý 1.2.4 thỏa mãn. Khi đó
thuật toán Dvoretzky (1.24) sẽ hội tụ về q với xác suất 1.
Chứng minh. Theo chứng minh định lý 1.2.4 ta có:
2

lim Vn = lim E[xn
n!¥
n!¥

q] =0

2

8e > 0; 9d > 0 và k = k(d ; e) sao cho 8n k thì Vn < d e
Với k cố định, ta định nghĩa một thuật toán mới như sau:
)

0

0

0

0

xm +1 = Tm (x1 ; : : : ; xm ) + hm

0

0

(1.30)

0

trong đó: Tm = Tm ; hm = hm nếu
m < k còn nếu m k thì
0

0

0

Tm (x1 ; : : : ; xm ) =

qjqj

d:


:

Ta sẽ chỉ ra thuật toán (1.30) cũng hội tụ theo nghĩa trung bình bình phương, tức
0

V = E[x

0

n

n

Thật vậy, giả sử tồn tại một số nguyên dương l nhỏ nhất sao cho jxl q j
d và k l n
Với k
)
0
0
x
=x
)
0
2
) Vm < d e với 8k m l
Khi đó, x
m+1

m
m

l

0
Sự tồn tại của l tương ứng với jxn

q j d với k m n
Do đó, Pfmaxk m njxm

¥ ta thu

Cho n!
Vì vậy ta thu được kết quả tương đương như sau:
Pfjxm q j

d ; m = k; k + 1; : : : g > 1

e

Do d và e là bất kỳ nên thuật toán hội tụ theo xác suất 1.
18