Phương pháp miền tin cậy cho các bài toán tối ưu không có ràng buộ

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI II
KHOA TOÁN
****************

ĐÀO THỊ HẬU

PHƯƠNG PHÁP MIỀN TIN CẬY
CHO CÁC BÀI TOÁN TỐI ƯU
KHÔNG CÓ RÀNG BUỘC

KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC
Chuyên ngành: Giải tích

Người hướng dẫn khoa học
Th.S. Phùng Đức Thắng

Hà Nội - 2015


2


LỜI CẢM ƠN

Em xin chân thành cảm ơn Th.S Phùng Đức Thắng đã tận tình
hướng dẫn, giúp đỡ em trong suốt thời gian thực hiện khóa luận.
Em cũng xin được cảm ơn thầy Bùi Ngọc Mười đã góp ý chi tiết
về cách trình bày một số kết quả trong khóa luận.
Em xin chân thành cảm ơn các thầy, các cô trong tổ giải tích- khoa
Toán, trường Đại học sư phạm Hà Nội 2 đã tạo mọi điều kiện giúp đỡ
em hoàn thành khóa luận này.

Em xin chân thành cảm ơn gia đình và bạn bè đã tạo mọi điều
kiện thuân lợi cho em trong quá trình thực hiện khóa luận.
Em xin chân thành cảm ơn.

Hà Nội, tháng 05 năm 2015
Sinh viên

Đào Thị Hậu

1


LỜI CAM ĐOAN

Em xin cam đoan, dưới sự hướng dẫn của Th.S Phùng Đức Thắng
khóa luận "Phương pháp miền tin cậy cho bài toán tối ưu không
có ràng buộc" được hoàn thành không trùng với bất kỳ đề tài nào
khác.
Trong quá trình hoàn thành khóa luận, em đã thừa kế những thành
tựu của các nhà khoa học với sự trân trọng và biết ơn.

Hà Nội, tháng 05 năm 2015
Sinh viên

Đào Thị Hậu

2


Mục lục

Lời mở đầu

1

1 Thuật toán miền tin cậy cơ bản

3

1.1. Một số khái niệm cơ bản . . . . . . . . . . . . . . . . . .

3

1.2. Một số giả thiết với hàm mục tiêu và hàm xấp xỉ . . . .

6

1.2.1. Giả thiết cho hàm mục tiêu . . . . . . . . . . . .

6

1.2.2. Giả thiết cho hàm xấp xỉ . . . . . . . . . . . . . .

7

1.3. Điểm và một hàm xấp xỉ giảm . . . . . . . . . . . . . . .

9

1.3.1.

Phương Cauchy . . . . . . . . . . . . . . . . . .

1.3.2. Điểm Cauchy cho hàm xấp xỉ dạng toàn phương
2 Sự hội tụ

9
10
15

2.1. Sự hội tụ đến điểm tới hạn bậc nhất . . . . . . . . . . .

15

2.2. Sự hội tụ đến điểm tới hạn bậc hai . . . . . . . . . . . .

23

Tài liệu tham khảo

31

3


Khóa luận tốt nghiệp

Đào Thị Hậu

Lời mở đầu

Bài toán tối ưu có ứng dụng rộng rãi trong toán học cũng như
trong đời sống. Nó được nghiên cứu một cách toàn diện nhờ các phương
pháp định tính và định lượng như phương pháp gradient, phương pháp
gradient chiếu, phương pháp Newton, phương pháp nhân tử Lagrange...
Cùng với sự phát triển của khoa học công nghệ, chúng ta đã tạo
ra những thuật toán hữu hiệu giúp ta giải các bài toán tối ưu một cách
hiệu quả nhất. Và phương pháp miền tin cậy được xem là một trong số
đó.
Xét bài toán tìm cực tiểu hàm f : Rn −→ R, được giả thiết là khả
vi liên tục đến cấp hai và bị chặn dưới ở trên Rn . Với mỗi điểm khởi đầu
x0 ∈ Rn được chọn tùy ý, phương pháp miền tin cậy (thuật ngữ tiếng
Anh là Trust-Region Method) cho phép tạo ra dãy lặp {xk } mà, tại mỗi
bước k, việc chuyển từ điểm xk sang điểm xk+1 làm giảm hàm mục tiêu
xấp xỉ, được ký hiệu bởi mk (x), của f (x). Một trong những cách xấp xỉ
thông dụng nhất là thay hàm số f (x) bởi phần tuyến tính-toàn phương
trong khai triểu Taylor bậc hai của nó tại điểm xk . Ở mỗi bước k, thay
cho Rn người ta xét một hình cầu tâm xk với bán kính ∆k thích hợp.
Quy tắc chọn ∆k , nhằm đảm bảo tốc độ tính toán cao nhất có thể được,
là một phần nội dung quan trọng của phương pháp này. Cụ thể, tỷ số
giữa độ giảm hàm mục tiêu f (x) và độ giảm của hàm xấp xỉ của nó tại
bước k − 1, tức là hàm mk−1 (x), là cơ sở để xác định bán kính ∆k . Dưới
một số điều kiện, dãy lặp {xk } hội tụ đến một điểm tới hạn bậc nhất
của bài toán. Thuật toán miền tin cậy là thuật toán làm giảm hàm mục
tiêu, tức là ta có f (xk+1 ) ≤ f (xk ) với mọi k.

1


Khóa luận tốt nghiệp

Đào Thị Hậu

Cuốn chuyên khảo [1] của các tác giả A. R. Conn, N. I. M. Gould,
và P. L. Toint là một cẩm nang khá đầy đủ và chi tiết về lý thuyết
phương pháp miền tin cậy. Lịch sử phát triển của phương pháp miền tin
cậy và một số ứng dụng của các thuật toán miền tin cậy đã được giới
thiệu ở [1, tr. 8-12].
Khi nghiên cứu phương pháp miền tin cậy, em quan tâm đến tính
ổn định và sự hội tụ địa phương của dãy lặp, ở đây em cũng đã chứng
minh một kết quả về tính ổn định và sự hội tụ địa phương của các dãy
lặp {xk } được sinh ra bởi thuật toán miền tin cậy trong trường hợp bài
toán không có ràng buộc.
Khóa luận gồm hai chương.
Chương 1: "Thuật toán miền tin cậy cơ bản" trình bày thuật toán
miền tin cậy BTR và một số giả thiết cho hàm mục tiêu và hàm xấp xỉ
trong [1, Chương 6].
Chương 2: "Sự hội tụ" chính là lời giải cho vấn đề tính ổn định
và tốc độ hội tụ địa phương của dãy lặp {xk } được sinh ra bởi thuật
toán miền tin cậy trong trường hợp bài toán không có ràng buộc [1,
Chương 6].

2


Chương 1
Thuật toán miền tin cậy cơ bản
1.1.

Một số khái niệm cơ bản
Trước hết ta xét bài toán tối ưu không có ràng buộc (P)

Bài toán.
(P ) : minn f (x).
x∈R

(1.1)

trong đó f : Rn −→ R là hàm khả vi liên tục cấp hai và bị chặn dưới
trong Rn .
Định nghĩa 1.1. Tập điểm tới hạn bậc nhất của (P), được kí hiệu S(P),
là:
S(P ) = {x∗ ∈ Rn |
ở đây

x f (x∗ )

x

f (x∗ ) = 0},

(1.2)

là gradient của hàm f (x) tại điểm x∗

Chúng ta xem xét kĩ thuật để sinh ra một dãy lặp {xk }, mà ta hi
vọng nó hội tụ tới điểm tới hạn bậc nhất của bài toán (1.1).
Thuật toán miền tin cậy cơ bản cho bài toán (P) được tiến hành
như sau. Với mỗi bước lặp xk , chúng ta xác định một hàm mục tiêu xấp
xỉ mk (x) trong một lân cận thích hợp của xk , mà ta gọi là miền tin cậy.

3


Khóa luận tốt nghiệp

Đào Thị Hậu

Định nghĩa 1.2. Miền tin cậy là tập hợp các điểm
Bk = {x ∈ Rn | ||x − xk || ≤ ∆k }.

(1.3)

∆k được gọi là bán kính miền tin cậy và tại mỗi bước lặp ||.||k là một
chuẩn phụ thuộc vào k.
Cho hàm xấp xỉ này và miền tin cậy của nó, chúng ta tìm một
bước thử sk tới một điểm thử xk + sk với mục đích giảm hàm xấp xỉ
trong đó thỏa mãn tính bị chặn ||sk ||k ≤ ∆k . Ở đây, ta sẽ tính tỉ số giữa
độ giảm hàm mục tiêu và độ giảm hàm xấp xỉ. Nếu tỉ số đủ lớn, tức hàm
mục tiêu f (x) giảm nhanh chóng, khi đó điểm thử được chấp nhận và
được chuyển sang bước lặp tiếp k+1. Ở bước k+1, điểm thử được xác
định xk+1 = xk + sk và miền tin cậy sẽ được tăng lên hoặc giữ nguyên.
Ngược lại nếu tỉ số nhỏ, thậm chí là một số âm, khi đó điểm thử bị bác
bỏ và ở bước lặp tiếp theo vẫn giữ nguyên điểm thử này nhưng miền tin
cậy sẽ bị thu hẹp. Khi đó, thuật toán miền tin cậy cơ bản (được viết tắt
là thuật toán BTR), được mô tả như sau.
Thuật toán 1.1. Thuật toán miền tin cậy cơ bản (BTR)
Bước 0: Khởi chạy. Cho trước một điểm x0 ban đầu và một
bán kính miền tin cậy ban đầu ∆0 . Các hằng số η1 , η2 , γ1 và γ2 cho trước
thỏa mãn
0 < η1 ≤ η2 < 1 và 0 < γ1 ≤ γ2 < 1

(1.4)

Tính f (x0 ) và đặt k = 0.
Bước 1: Xác định hàm xấp xỉ mẫu.Chọn ||.||k và xác định
một hàm mk xấp xỉ với hàm f tại xk trong Bk .
Bước 2: Bước tính toán. Tính một bước sk : "đủ làm giảm hàm
xấp xỉ" mk , sao cho xk + sk ∈ Bk .

4


Khóa luận tốt nghiệp

Đào Thị Hậu

Bước 3: Chấp nhận điểm thử. Tính f (xk + sk ) và xác định
ρk =

f (xk ) − f (xk + sk )
mk (xk ) − mk (xk + sk )

(1.5)

nếu ρk ≥ η1 , sau đó xác định xk+1 = xk + sk ; ngược lại nếu ρk < η1 thì
xk+1 = xk .
Bước 4: Cập nhật bán kính miền tin cậy. Tập




∆k , ∞
nếu ρk ≥ η2 ,



∆k+1 ∈
γ2 ∆k , ∆k
nếu ρk ∈ [η1 , η2 ),




 γ1 ∆k , γ2 ∆k
nếu ρk < η1 .

(1.6)

Tăng k thêm 1 và quay trở lại bước 1.
Ta có thể lấy ví dụ, các hằng số thỏa mãn điều kiện (1.4) là
1
η1 = 0.01, η2 = 0.9, γ1 = γ2 = ,
2

(1.7)

nhưng những giá trị khác vẫn có thể phù hợp. Tại bước lặp mà ρk ≥ η1 ,
và do đó những lặp mà xk+1 = xk + sk , được gọi là bước lặp chấp nhận
được, và chúng ta kí hiệu tập các chỉ số bởi kí hiệu S, tức là
S = {k ≥ 0 | ρk ≥ η1 }.
Tương tự, chúng ta cũng định nghĩa

V = {k ≥ 0 | ρk ≥ η2 },
là tập các bước lặp chấp nhận được tốt. Chú ý rằng V ⊂ S. Sự lặp mà
các chỉ số của nó không thuộc S được gọi là không chấp nhận được.
Trong thực hành, thường chọn hàm xấp xỉ toàn phương dạng
mk (xk + s) = mk (xk ) + gk , s +

5

1
s, Hk s ,
2

(1.8)


Khóa luận tốt nghiệp

Đào Thị Hậu

ở đây
mk (xk ) = f (xk ) và gk =
và Hk là một ma trận đối xứng xấp xỉ

x f (xk )

xx f (xk ).

Nếu Hk = 0, chúng ta

nói rằng (1.8) là một hàm xấp xỉ bậc hai. Một cách cụ thể để tìm bước

thử sk hoặc điều kiện " đủ giảm" không được mô tả cụ thể ở đây.
Đặc biệt, khi thuật toán BTR không chứa bước dừng, ta giả thiết rằng
có một chuỗi vô hạn {xk } được tạo ra. Nếu thuật toán BTR được thực
hiện như một chương trình máy tính, nó sẽ dừng lại ngay khi bước lặp
xk được đánh giá là "đủ gần điểm tới hạn". Trong trường hợp không có
ràng buộc, tiêu chuẩn đơn giản nhất là chuẩn của gradient của hàm mục
tiêu tại xk , ||

1.2.

x

f (xk )||.

Một số giả thiết với hàm mục tiêu và hàm xấp
xỉ
Để thuận tiện cho việc nêu các giả thiết trong các định lý hội tụ,

chúng ta nhóm tất cả chúng lại trong một phần; phân biệt giữa giả thiết
cho hàm mục tiêu và giả thiết cho hàm xấp xỉ.

1.2.1.

Giả thiết cho hàm mục tiêu

Ta có các giả thiết cho hàm mục tiêu
AF.1 f (x) nhận giá trị thực và khả vi liên tục cấp 2 trong Rn .
AF.2 f (x) bị chặn dưới trong Rn , nghĩa là, tồn tại một hằng số κlbf sao
cho với mọi x ∈ Rn ,
f (x) ≥ κlbf .

6


Khóa luận tốt nghiệp

Đào Thị Hậu

AF.3 Ma trận Hessian của hàm mục tiêu bị chặn đều; tức là, tồn tại
một hằng số dương κuf h sao cho, với mọi x ∈ Rn ,
t||

xx

f (x)|| ≤ κuf h .

Ta thấy giả thiết cuối cùng thì quá mạnh. Thực tế, ta thường cần tính
bị chặn của ||

xx

f (x)|| với giá trị x nằm giữa hai lần lặp liên tiếp

của thuật toán cơ bản. Yêu cầu yếu hơn này tự động được thỏa mãn
nếu những lần lặp vẫn trong một tập con bị chặn của Rn , như là, tập
{x ∈ Rn |f (x) ≤ f (x0 )} với x0 tùy ý. Không mất tính tổng quát, chúng
ta cũng có thể giả sử rằng
κuf h ≥ 1.
Cụm từ "lbf" và "ufh" xuất phát từ "lower bound on the objective
function" và "upper bound on the objective function’s Hessian".

1.2.2.

Giả thiết cho hàm xấp xỉ

Ta sẽ giả thiết rằng hàm mk tại bước lặp thứ k xấp xỉ với hàm
mục tiêu trong miền tin cậy Bk là một xấp xỉ bậc một trơn tốt của hàm
mục tiêu. Do đó, chúng ta bù lại những giả thiết sau.
AM.1 Với mọi k, hàm xấp xỉ mk là khả vi hai lần trong Bk .
AM.2 Giá trị của hàm mục tiêu và hàm xấp xỉ phù hợp tại một dòng
lặp; tức là, với mọi k,
mk (xk ) = f (xk )

(1.9)

AM.3 Gradient của mô hình tại xk bằng gradient của hàm mục tiêu;
tức là, với mọi k,
def

gk =

x mk (xk )

7

=

x f (xk )

(1.10)

Khóa luận tốt nghiệp

Đào Thị Hậu

AM.4 Ma trận Hessian của hàm xấp xỉ cũng bị chặn trong miền tin
cậy; tức là,
||

xx

mk (x)|| ≤ κumh − 1

(1.11)

với mọi k, khi κumh ≥ 1 là hằng số phụ thuộc vào k.
Ta chú ý rằng những giả thiết này được đáp ứng nếu ta xem xét một
miền tin cậy đơn giản nhưng rất quan trọng của phương pháp Newton
trên miền bị chặn đóng, tức là, nếu chúng ta chọn mk sao cho (1.9) và
(1.10) được thỏa mãn, như tốt hơn
xx mk (xk

+ s) =

xx f (xk )

(1.12)

với mọi s sao cho xk + s ∈ Bk . Nếu ta giả thiết rằng hàm mục tiêu khả

vi hai lần (ví dụ, AF.1), phương trình (1.11) sau đó kết quả từ (1.12) và
AF.3. Điều này chưa được rõ ràng nếu (1.12) được giả sử khắp. Chúng
ta cũng chú ý rằng AM.1-AM.4 cho phép trường hợp mà hàm mục tiêu
không thể gần tới một hàm xấp xỉ. Ví dụ, chúng ta có thể xem xét trường
hợp mà trong đó hàm mục tiêu có dạng
f (x) = f0 (x, y(x))

(1.13)

ở đó f0 (x, y) là một hàm số từ Rn × Rp vào R nó tương đối đơn giản
để tính toán, nhưng y(x) thì phức tạp từ Rn vào Rp . Ví dụ, f0 có thể
là một tiêu chí đơn giản cho một hệ thống được kí hiệu y(x) chỉ có thể
được tính toán nhờ sử dụng một công cụ tính toán như là giải phương
trình vi phân từng phần hoặc chạy một mô phỏng chuyên dụng. Trong
trường hợp này, có thể xây dựng một hàm xấp xỉ myk (x) thích hợp của
y(x) trong lân cận của xk và khi đó xác định
mk (x) = f0 (x, myk (x))

(1.14)

Những điều kiện AM.1- AM.4 của hàm xấp xỉ mk có thể được trình bày
như là điều kiện của myk và f0 .
8


Khóa luận tốt nghiệp

Đào Thị Hậu

Chúng ta hoàn thiện những giả thiết trong thuật toán nhờ việc chỉ rõ

mối liên hệ giữa các chuẩn ||.||k khác nhau xác định hình dạng của miền
tin cậy trong (1.3).
AN.1 Tồn tại một hằng số κune ≥ 1 sao cho, với mọi k,
1
κune

||x||k ≤ ||x|| ≤ κune ||x||k .

với mọi x ∈ Rn
Cụm từ "umh" và "une" xuất phát từ "upper bound on the model’s
Hessian" và "uniform norm equivalence".

1.3.

Điểm và một hàm xấp xỉ giảm
Điểm cốt yếu trong thuật toán của ta là sự xác định bước k, để

hàm xấp xỉ giảm trong miền tin cậy. Trong phần này, chúng ta đưa ra
cách xác định bước lặp như thế từ một kĩ thuật tính toán đơn giản.

1.3.1.

Phương Cauchy

Định nghĩa 1.3. Phương Cauchy được xác định bởi
def

xCk (t) = {x | x = xk − tgk , t ≥ 0 và x ∈ Bk }
Chú ý rằng xCk (t) = xk với mọi t ≥ 0 khi đó gk = 0.
Trong phần này,

def

βk = 1 + max ||
x∈Bk

xx

mk (x)||

(1.15)

được xem như là cận trên của độ cong. Sự xác định này và AM.4 cũng
có nghĩa là
βk ≤ κumh
với mọi k.
9

(1.16)


Khóa luận tốt nghiệp

1.3.2.

Đào Thị Hậu

Điểm Cauchy cho hàm xấp xỉ dạng toàn phương

Nếu chúng ta giả thiết rằng hàm xấp xỉ của chúng ta là hàm toàn
phương, tức là, nó có dạng (1.8), khi đó nó có thể có cực tiểu nằm trên

phương Cauchy.
Định nghĩa 1.4. Điểm Cauchy, kí hiệu là xCk (t), là điểm cực tiểu (duy
nhất) của hàm xấp xỉ dọc theo phương Cauchy, tức
xCk (t) = xk − tCk gk = {arg min mk (xk − tgk ) | t ≥ 0 và xk − tgk ∈ Bk },
(1.17)
Nếu gk = 0.
xk − tgk ∈ Bk
tức
||x − xk || ≤ ∆k .
Khi đó,
||xk − tCk gk − xk || ≤ ∆k ,
suy ra
t||gk || ≤ ∆k .
Do đó,
t≤

∆k
.
||gk ||

Từ đó, điều kiện (1.17) có thể viết lại thành
tCk =

arg min mk (xk − tgk ) | 0 < t ≤

∆k
||gk ||

Định lý 1.1. ([1, Theorem 6.3.1, p.125]) Nếu hàm xấp xỉ được cho bởi
(1.8) và điểm Cauchy được xác định bởi (1.17), khi đó chúng ta có

1
||gk || C
, νk ∆k ,
mk (xk ) − mk (xCk ) ≥ ||gk || min
2
βk
10

(1.18)


Khóa luận tốt nghiệp

Đào Thị Hậu

trong đó βk được xác định bởi (1.15) và
νk =

||gk ||
.
||gk ||k

(1.19)

Chứng minh. Với mọi t ≥ 0 ta có:
mk (xk − tgk ) = mk (xk ) − t||gk ||2 +

1
gk , Hk gk
2

(1.20)

Trường hợp 1:
gk , Hk gk > 0

(1.21)

Khi đó ta tính toán giá trị của tham số t tại điểm cực tiểu của (1.20),
kí hiệu tham số tối ưu là t∗k . Lấy vi phân theo tham số t của (1.20), ta
được
0 = ||gk ||2 − t∗k gk , Hk gk
từ đó suy ra
t∗k

||gk ||2
=
gk , Hk gk

(1.22)

Nếu t∗k ||gk || ≤ ∆k (tức điểm cực tiểu nằm trong miền tin cậy). Khi đó
tCk = t∗k và thay vào (1.20) ta được
1
mk (xk ) − mk (xCk ) = t∗k ||gk ||2 − (t∗k )2 gk , Hk gk
2
4
||gk ||
1 ||gk ||4
=

−
gk , Hk gk
2 gk , Hk gk
1 ||gk ||4
=
,
2 gk , Hk gk
Theo bất đẳng thức Cauchy- Schwarz ta có

| gk , Hk gk | ≤ ||gk ||||Hk gk || ≤ ||gk ||2 βk .
Vì vậy
mk (xk ) −

mk (xCk )

11

||gk ||2
≥
.
2βk

(1.23)


Khóa luận tốt nghiệp

Đào Thị Hậu

Nếu

t∗k ||gk || > ∆k

(1.24)

(đường cực tiểu nằm ngoài miền tin cậy). Khi đó, ta có:
tCk ||gk || = ∆k .

(1.25)

Kết hợp (1.22), (1.24) và (1.25) ta thấy
tCk ||gk ||k < t∗k ||gk ||k
hay
t∗k

||gk ||2
> tCk .
=
gk , Hk gk

Điều này dẫn tới
gk , Hk gk <

||gk ||2
.
tCk

Ta có
1
mk (xk ) − mk (xCk ) = tCk ||gk ||2 − (tCk )2 gk , Hk gk
2

1 C 2 ||gk ||2
C
2
> tk ||gk || − (tk )
2
tCk
1
= νkC ||gk ||∆k − νkC ||gk ||∆k ,
2
do đó
1
mk (xk ) − mk (xCk ) > νkC ||gk ||∆k
2
với νkC được cho bởi (1.19). Nếu

(1.26)

gk , Hk gk < 0.
Khi đó, ta có
1
mk (xk − tgk ) = mk (xk ) − t||gk ||2 + t2 gk , Hk gk
2
2
≤ mk (xk ) − t||gk ||

12

(1.27)

Khóa luận tốt nghiệp

Đào Thị Hậu

với t ≥ 0. Trong trường hợp này, điểm Cauchy phải nằm trên biên của
miền tin cậy, do đó (1.25) vẫn đúng. Có
mk (xk ) − mk (xCk ) ≥ ||gk ||2

∆k
||gk ||k

= νkC ||gk ||∆k .
Vì vậy
1
mk (xk ) − mk (xCk ) ≥ νkC ||gk ||∆k .
2
Từ (1.23), (1.26) và (1.28) ta có điều phải chứng minh.

(1.28)

Định lí 1.1 là một trường hợp đặc biệt của kết quả tổng quát cho
bài toán tìm cực tiểu hóa của hàm toàn phương
q(s) = f + g, s +

1
s, Hs
2

(1.29)

với tất cả các điểm nằm dọc theo arcs = −tg trong miền
||s||α ≤ ∆,

(1.30)

chuẩn ||.||α cho trước tùy ý. Từ đây ta có hệ quả
Hệ quả 1.1. ([1, Corollary 6.3.2, p.127]) Giả sử rằng sC là cực tiểu của
hàm toàn phương (1.29) trong miền tin cậy (1.30) cho mọi điểm nằm
dọc theo arcs = −tg. Khi đó chúng ta có
||g||
1
, νC ∆ ,
q(0) − q(sC ) ≥ ||g|| min
2
1 + ||H||
khi
νC =

||g||
||g||α

Chứng minh. Điều này được suy ra từ Định lí 1.1 nếu chúng ta chọn
q(s) = mk (xk + s), f = mk (xk ), g = g(xk ), H = Hk , ∆ = ∆k và
||.||α = ||.||k và thay βk bởi cận trên.

13


Khóa luận tốt nghiệp

Đào Thị Hậu

Chúng ta thấy hàm xấp xỉ giảm tại điểm Cauchy phụ thuộc vào
giá trị của νkC , ít nhất là bán kính miền tin cậy ∆k . Ở mỗi bước lặp ta
thường sử dụng chuẩn Eclidean ||.||2 , khi đó νk = 1. Đối với các chuẩn
khác thì AN.1 đảm bảo rằng
νkC ≥

1
κune

>0

Khi đó, điểm Cauchy thỏa mãn
AA.1
mk (xk ) − mk (xk + sk ) ≥ κmdc ||gk || min

||gk ||
, ∆k
βk

(1.31)

với mọi k và hằng số κmdc ∈ (0, 1).
Điều này có nghĩa là hàm xấp xỉ sẽ giảm một phần tại điểm Cauchy.
Chữ A thứ hai trong cụm từ AA có nguồn gốc từ "accept", cụm từ ”mdc”
là viết tắt của "model decrease".

14

Chương 2
Sự hội tụ
2.1.

Sự hội tụ đến điểm tới hạn bậc nhất
Bây giờ chúng ta sẽ đi chứng minh rằng, với hệ thống những giả

thiết đã nêu trong phần trước, tất cả các điểm giới hạn x∗ của chuỗi lặp
{xk } được tạo ra bởi thật toán BTR là điểm tới hạn bậc nhất của bài
toán (1.1), tức là, chúng thỏa mãn
x f (x∗ )

=0

không phụ thuộc vào vị trí vủa vecto x0 ban đầu và sự lựa chọn bán kính
miền tin cậy ∆0 ban đầu.
Định lí sau sẽ cho phép chúng ta tính sai số giữa hàm mục tiêu và hàm
xấp xỉ tại điểm xk + sk ∈ B.
Định lý 2.1. ([1, Theorem 6.4.1, p.133]) Giả sử các điều kiện AF.1,
AF.3, và AM.1- AM.4 được thỏa mãn. Khi đó chúng ta có
|f (xk + sk ) − mk (xk + sk )| ≤ [νks ]2 max[κuf h , κumh ]∆k 2 ,
khi xk + sk ∈ Bk và
νks =

||sk ||
.
||sk ||k

15

(2.1)

(2.2)


Khóa luận tốt nghiệp

Đào Thị Hậu

Hơn nữa, nếu AN.1 vẫn đúng, khi đó
|f (xk + sk ) − mk (xk + sk )| ≤ κubh ∆k 2

(2.3)

ở đây
def

κubh = κune 2 max[κuf h , κumh ].

(2.4)

Chứng minh. Với các giả thiết AF.1 và AM.1, chúng ta có thể áp dụng
định lí giá trị trung bình cho hàm mục tiêu và hàm xấp xỉ. Ta có
f (xk + sk ) = f (xk ) + sk ,

x f (xk )

+

1
sk ,
2

xx f (ξk )sk

(2.5)

với mọi ξk ∈ [xk , xk + sk ], và tương tự
mk (xk + sk ) = mk (xk ) + sk , gk +

1
sk ,
2

xx mk (ζk )sk

(2.6)

với ζk ∈ [xk , xk + sk ]. Trừ vế với vế của cho và lấy giá trị tuyệt đối, với
chú ý rằng mk (xk ) = f (xk ) và

x f (xk )

1
|f (xk + sk ) − mk (xk + sk )| = | sk ,
2
1
≤ | sk ,
2

1
+ | sk ,
2

= gk , ta được

xx f (ξk )sk

− sk ,

xx f (ξk )sk

|

xx mk (ζk )sk

xx mk (ζk )sk

|

|.

Theo bất đẳng thức Cauchy- Schwarz, có
1
|f (xk + sk ) − mk (xk + sk )| ≤ (|| xx f (ξk )|| + || xx mk (ζk )||)||sk ||2
2
1
≤ (κuf h + κumh − 1)||sk ||2
2
1

= (κuf h + κumh − 1)[νks ]2 ||sk ||k 2
2
với xk + sk ∈ Bk thì ||sk || ≤ ∆k , do đó
1
|f (xk + sk ) − mk (xk + sk )| ≤ (κuf h + κumh − 1)[νks ]2 ∆k 2
2
16

(2.7)


Khóa luận tốt nghiệp

Đào Thị Hậu

Vậy định lí đã được chứng minh, trong đó (2.3) được suy ra từ AN.1 và
cách xác định (2.2), (2.4).
Định lí cho thấy mối liên hệ giữa sai số giữa hàm mục tiêu và hàm
xấp xỉ với bán kính miền tin cậy. Khi bán kính này đủ nhỏ thì hàm xấp
xỉ sẽ gần với hàm mục tiêu hơn; tức là với một miền tin cậy đủ nhỏ, việc
làm giảm hàm xấp xỉ cũng sẽ làm giảm hàm mục tiêu.
Định lí sau đây sẽ đảm bảo sự thành công của lần lặp khi mà lần lặp
hiện tại không phải là tới hạn bậc nhất và miền tin cậy đủ nhỏ.
Định lý 2.2. ([1, Theorem 6.4.2, p.134]) Giả sử AF.1, AF.3, AN.1,
AM.1- AM.4 và AA.1 được thỏa mãn. Hơn nữa, chúng ta giả sử thêm
||gk || = 0 và
κmdc ||gk ||(1 − η2 )
κubh
khi đó bước lặp k là chấp nhận được tốt và
∆k ≤

∆k+1 ≥ ∆k .

(2.8)

(2.9)

Chứng minh. Với η2 ∈ (0.1) và 0 < κmdc < 1 thì
κmdc (1 − η2 ) < 1
Khi đó
κmdc ||gk ||(1 − η2 ) ||gk ||
<
.
κubh
κubh
Mặt khác, với những điều kiện (1.16) và (2.4) ta có:
∆k ≤

κubh > κumh > βk ,
do đó
∆k <

||gk ||
βk

(2.10)

Kết hợp với AA.1 ta có
mk (xk )−mk (xk +sk ) ≥ κmdc ||gk || min

17

||gk ||
, ∆k = κmdc ||gk ||∆k . (2.11)
βk


Khóa luận tốt nghiệp

Đào Thị Hậu

Mặt khác,
|ρk − 1| =

f (xk + sk ) − mk (xk + sk )
.
mk (xk )m( xk + sk )

Theo Định lí 2.1 thì
|f (xk + sk ) − mk (xk + sk )| ≤ κubh ∆k
Do đó
|ρk − 1| ≤

κubh
∆k ≤ 1 − η2 .
κmdc ||gk ||

(2.12)

Từ đây ta thấy ρk ≥ η2 và bước lặp là chấp nhận được tốt. Ngoài ra

(1.6) đảm bảo cho (2.9) là đúng.
Từ tính chất này, chúng ta có thể chứng minh bán kính không thể
trở nên quá nhỏ.
Định lý 2.3. ([1, Theorem 6.4.3, p.135]) Giả sử rằng AF.1- AF.3, AN.1,
AM.1- AM.4 và AA.1 được thỏa mãn. Hơn nữa giả sử thêm rằng tồn tại
một hằng số κlbg > 0 sao cho ||gk || ≥ κlbg với mọi k. Khi đó tồn tại một
hằng số κlbd > 0 sao cho
∆k ≥ κlbd

(2.13)

với mọi k.
Chứng minh. Giả sử k là bước lặp đầu tiên thỏa mãn
∆k+1 ≤

γ1 κmdc κlbg (1 − η2 )
.
κubh

(2.14)

Khi đó theo cách xác định bán kính miền tin cậy (1.6) thì γ1 ∆k ≤ ∆k+1 ,
và do đó
γ1 ∆k ≤

γ1 κmdc κlbg (1 − η2 )
κmdc κlbg (1 − η2 )
hay ∆k ≤
κubh
κubh

Với giả thiết về ||gk || thì khi đó
∆k ≤

κmdc ||gk ||(1 − η2 )
κubh
18


Khóa luận tốt nghiệp

Đào Thị Hậu

và do đó theo định lí (2.2) ta có
∆k+1 ≥ ∆k .
Do đó
∆k ≤

γ1 κmdc κlbg (1 − η2 )
.
κubh

(2.15)

Điều này mâu thuẫn với điều giả sử lúc đầu k là bước lặp đầu tiên để
(2.14) là đúng.
Vậy chỉ có thể xảy ra trường hợp
κlbd =

γ1 κmdc κlbg (1 − η2 )

.
κubh

Cụm "lbg", "lbd" lần lượt có nguồn gốc từ "lower bound on the
gradient", "lower bound on delta".
Hai kết quả có trước đủ để chứng minh tính tới hạn của điểm giới hạn
của dãy các bước lặp khi chỉ có hữu hạn các bước lặp chấp nhận được.
Định lý 2.4. ([1, Theorem 6.4.4, p.136]) Giả sử rằng AF.1, AF.3, AN.1,
AM.1- AM.4 và AA.1 được thỏa mãn. Hơn nữa giả sử thêm rằng có hữu
hạn các bước lặp chấp nhận được. Khi đó xk = x∗ với k đủ lớn và x∗ là
điểm tới hạn bậc nhất của bài toán (1.1).
Chứng minh. Theo giả thiết thì tồn tại chỉ số k0 của bước lặp chấp nhận
được cuối cùng. Khi đó theo thuật toán thì
xk0 +1 = xk0 +j với mọi j > 1

Đặt
x∗ = xk0 +1 .

19


Khóa luận tốt nghiệp

Đào Thị Hậu

Khi đó,
x∗ = xk với mọi k ≥ k0 + 1
tức x∗ là giới hạn của dãy {xk }.
x f( x∗ )

Ta đi chứng minh

= 0.

Theo (1.4) và (1.6) thì dãy ∆k là đơn điệu giảm, hội tụ về 0. Nếu
||gk0 +1 || > 0 ta có
||gk0 +1 || = ||

x

f( xk0 +j )|| = ||

x

f( xk0 +1 )|| = gk0 +1

(j ≥ 1).

Khi đó tồn tại số k1 > k0 sao cho
∆k1 ≤

κmdc ||gk+1 ||(1 − η2 ) κmdc ||gk1 ||(1 − η2 )
=
.
κubh
κubh

Theo Định lí 2.2 thì bước lặp k1 chấp nhận được tốt. Điều này mâu
thuẫn với giả sử ban đầu k0 là bước lặp chấp nhận được tốt cuối cùng.
Do đó, ||gk0 +1 || = 0 và x∗ là điểm tới hạn bậc nhất.

Định lý 2.5. ([1, Theorem 6.4.5, p.136]) Giả sử rằng AF.1- AF.3, AN.1,
AM.1- AM.4 và AA.1 được thỏa mãn. Khi đó ta có
lim inf ||
k→∞

x

f (xk )|| = 0.

(2.16)

Chứng minh. Trường hợp 1: nếu có hữu hạn bước lặp chấp nhận được
thì theo Định lí 2.4 ta có
||

x

f (xk )|| = 0

do đó (2.16) là đúng.
Trường hợp 2: có vô hạn bước lặp chấp nhận được. Giả sử (2.16) là
không đúng. Khi đó, tồn tại > 0 và chỉ số k0 > 0 thỏa mãn
||

x

f (xk )|| = ||gk || ≥

20

(2.17)