tính ổn định địa phương và sự hội tụ địa phương của phương pháp Miền Tin Cậy cơ bản

Header Page 1 of 161.

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2
KHOA TOÁN

Nguyễn Lan Hương

TÍNH ỔN ĐỊNH ĐỊA PHƯƠNG VÀ SỰ HỘI TỤ ĐỊA PHƯƠNG
CỦA PHƯƠNG PHÁP MIỀN TIN CẬY CƠ BẢN

KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC
Chuyên ngành: Toán giải tích

Hà Nội – Năm 2016

Footer Page 1 of 161.


Header Page 2 of 161.

TRƯỜNG ĐẠI HỌC SƯ PHẠM HÀ NỘI 2
KHOA TOÁN

Nguyễn Lan Hương

TÍNH ỔN ĐỊNH ĐỊA PHƯƠNG VÀ SỰ HỘI TỤ ĐỊA PHƯƠNG
CỦA PHƯƠNG PHÁP MIỀN TIN CẬY CƠ BẢN

KHÓA LUẬN TỐT NGHIỆP ĐẠI HỌC
Chuyên ngành: Toán giải tích

Người hướng dẫn khoa học:
ThS. BÙI NGỌC MƯỜI

Hà Nội – Năm 2016

Footer Page 2 of 161.


Header Page 3 of 161.

LỜI CẢM ƠN

Em xin chân thành cảm ơn Th.S Bùi Ngọc Mười đã tận tình hướng
dẫn em đọc các tài liệu và góp ý chi tiết về cách trình bày một số kết quả
trong khóa luận.
Em xin chân thành cảm ơn các thầy cô trong tổ Giải tích-khoa Toán,
trường Đại học sư phạm Hà Nội 2 đã tạo mọi điều kiện giúp đỡ em hoàn
thành khóa luận này.
Tuy đã có nhiều cố gắng nhưng do thời gian và khả năng có hạn nên
các vấn đề trong khóa luận vẫn chưa được trình bày sâu sắc và không thể
tránh khỏi có những sai sót trong cách trình bày. Em mong nhận được sự
góp ý xây dựng của thầy cô và các bạn.
Em xin chân thành cảm ơn!
Hà Nội, ngày tháng 05 năm 2016
Sinh viên

Nguyễn Lan Hương

i

Footer Page 3 of 161.


Header Page 4 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

LỜI CAM ĐOAN

Em xin cam đoan, dưới sự hướng dẫn của Th.S Bùi Ngọc Mười khóa luận
"Tính ổn định địa phương và sự hội tụ địa phương của phương
pháp Miền Tin Cậy cơ bản" được hoàn thành không trùng khớp với
bất kì đề tài nào khác.
Trong quá trình hoàn thành khóa luận, em đã thừa kế những thành tựu
của các nhà khoa học với sự trân trọng và biết ơn.
Hà Nội, ngày tháng 05 năm 2016
Sinh viên

Nguyễn Lan Hương

i

Footer Page 4 of 161.


Header Page 5 of 161.

Mục lục

Lời mở đầu

1

1 Phương pháp Miền Tin Cậy cơ bản cho bài toán tối ưu
trơn không có ràng buộc

4

1.1

Thuật toán . . . . . . . . . . . . . . . . . . . . . . . . .

4

1.1.1

Phương Cauchy . . . . . . . . . . . . . . . . . . .

8

1.1.2

Điểm Cauchy cho hàm xấp xỉ dạng toàn phương .

8

1.1.3

Ví dụ minh họa cho thuật toán . . . . . . . . . .

9

Một số kết quả về sự hội tụ của thuật toán . . . . . . . .

12

1.2.1

Một số giả thiết với hàm mục tiêu . . . . . . . . .

12

1.2.2

Một số giả thiết với hàm xấp xỉ . . . . . . . . . .

13

1.2.3

Sự hội tụ đến điểm tới hạn bậc nhất . . . . . . .

16

1.2

2 Tính ổn định địa phương và sự hội tụ địa phương của
phương pháp Miền Tin Cậy cơ bản

19

2.1

Một số khái niệm cơ bản . . . . . . . . . . . . . . . . . .

19

2.2

Tính ổn định địa phương và sự hội tụ địa phương . . . .

22

Tài liệu tham khảo

Footer Page 5 of 161.

33

ii


Header Page 6 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

Lời mở đầu
Bài toán tối ưu có ứng dụng rộng rãi trong toán học cũng như trong

đời sống. Nó được nghiên cứu một cách toàn diện nhờ các phương pháp
định tính và định lượng như phương pháp gradient chiếu, phương pháp
gradient, phương pháp gradient liên hợp, phương pháp Newton, phương
pháp nhân tử Lagrange, phương pháp điểm trong, . . .
Cùng với sự phát triển của khoa học công nghệ, chúng ta đã tạo ra
những thuật toán hữu hiệu giúp ta giải số các bài toán tối ưu một cách
hiệu quả nhất. Và phương pháp miền tin cậy được xem là một trong số
đó. Phương pháp Miền Tin Cậy (viết tắt là TRM) được áp dụng để giải
những bài toán tối ưu không có ràng buộc và những bài toán tối ưu có
ràng buộc tuyến tính.
Xét bài toán tìm cực tiểu hàm f : Rn −→ R, được giả thiết là khả vi
liên tục đến cấp hai và bị chặn dưới ở trên Rn . Với mỗi điểm khởi đầu
x0 ∈ Rn được chọn tùy ý, phương pháp miền tin cậy (thuật ngữ tiếng
Anh là Trust-Region Method) cho phép tạo ra dãy lặp {xk } mà, tại mỗi
bước k, việc chuyển từ điểm xk sang điểm xk+1 làm giảm hàm mục tiêu
xấp xỉ, được ký hiệu bởi mk (x), của f (x). Một trong những cách xấp xỉ
thông dụng nhất là thay hàm số f (x) bởi phần tuyến tính-toàn phương
trong khai triển Taylor bậc hai của nó tại điểm xk . Ở mỗi bước k, thay
cho Rn người ta xét một hình cầu tâm xk với bán kính ∆k thích hợp.
Quy tắc chọn ∆k , nhằm đảm bảo tốc độ tính toán cao nhất có thể được,
là một phần nội dung quan trọng của phương pháp này. Cụ thể, tỷ số

Footer Page 6 of 161.

1


Header Page 7 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

giữa độ giảm hàm mục tiêu f (x) và độ giảm của hàm xấp xỉ của nó tại
bước k, tức là hàm mk (x), là cơ sở để xác định bán kính ∆k+1 . Bài toán
bổ trợ ở bước k chính là bài toán tìm cực tiểu hàm mk (x) trên hình
¯ k , ∆k ). Việc tính toán được điều khiển bởi một số tham số
cầu đóng B(x
dương. Dưới một số điều kiện, dãy lặp {xk } hội tụ đến một điểm tới hạn
bậc nhất của bài toán. Thuật toán miền tin cậy là thuật toán làm giảm
hàm mục tiêu, tức là ta có f (xk+1 ) ≤ f (xk ) với mọi k.
Cuốn chuyên khảo [2] của các tác giả A. R. Conn, N. I. M. Gould, và
P. L. Toint là một cẩm nang khá đầy đủ và chi tiết về lý thuyết phương
pháp miền tin cậy.
Tính ổn định địa phương và sự hội tụ địa phương là những tính chất
định tính cần được xem xét khi nghiên cứu về lý thuyết của các thuật
toán. Trong khóa luận này, em sẽ tìm hiểu một định lí về những tính
chất trên của dãy lặp được sinh ra bởi thuật toán miền tin cậy trong
trường hợp bài toán không có ràng buộc.

Footer Page 7 of 161.

2


Header Page 8 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

Khóa luận gồm 2 chương:

Chương 1: Trình bày về phương pháp Miền Tin Cậy của bài toán tối
ưu trơn không có ràng buộc. Nội dung chính của chương này là trình
bày thuật toán Miền Tin Cậy, ví dụ minh họa cho thuật toán và một số
kết quả về sự hội tụ của thuật toán.
Chương 2: Trình bày về tính ổn định địa phương và sự hội tụ địa
phương của phương pháp Miền Tin Cậy cơ bản. Mục 2.1 nhắc lại một số
khái niệm cơ bản. Mục 2.2 tìm hiểu một định lí về những tính chất trên
dãy lặp được sinh ra bởi thuật toán Miền Tin Cậy trong trường hợp bài
toán không có ràng buộc.

Footer Page 8 of 161.

3


Header Page 9 of 161.

Chương 1
Phương pháp Miền Tin Cậy cơ bản
cho bài toán tối ưu trơn không có
ràng buộc
1.1

Thuật toán

Cho f : Rn −→ R là hàm khả vi liên tục đến cấp hai và bị chặn dưới ở
trên Rn . Xét bài toán (P ) sau đây:
min f (x).

x∈Rn

(1.1)

Ở đây f (x) là hàm mục tiêu.
Chúng ta đưa vào một số kí hiệu.
Định nghĩa 1.1. Tập điểm tới hạn bậc nhất của (P), được kí hiệu S(P),
là:
S(P ) = {x∗ ∈ Rn |∇f (x∗ ) = 0}.
Ở đây ∇f (x∗ ) là gradient của hàm f (x) tại điểm x∗ .

Footer Page 9 of 161.

4

(1.2)


Header Page 10 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

Chúng ta xem xét kĩ thuật để sinh ra một dãy lặp xk , mà ta hi vọng
nó hội tụ tới điểm tới hạn bậc nhất của bài toán (1.1).
Thuật toán miền tin cậy cơ bản cho bài toán (P) được tiến hành như
sau: Với mỗi bước lặp xk , chúng ta xác định một hàm mục tiêu xấp xỉ
mk (x) trong một lân cận thích hợp của xk , mà ta gọi là miền tin cậy.

Định nghĩa 1.2. Miền tin cậy của (P) là tập hợp các điểm
¯k := {x ∈ Rn :

B

x − xk

k

≤ ∆k }.

Ở đây ∆k được gọi là bán kính miền tin cậy, còn

(1.3)
·

k

là một chuẩn

trong không gian Rn được sử dụng tại bước lặp thứ k.
Cho hàm xấp xỉ này và miền tin cậy của nó, chúng ta tìm một bước
thử sk tới một điểm thử xk + sk với mục đích giảm hàm xấp xỉ trong đó
thỏa mãn tính bị chặn sk

k

≤ ∆k . Ở đây, ta sẽ tính tỉ số giữa độ giảm

hàm mục tiêu và độ giảm hàm xấp xỉ. Nếu tỉ số đủ lớn, tức hàm mục
tiêu f (x) giảm nhanh chóng, khi đó điểm thử được chấp nhận và được
chuyển sang bước lặp tiếp k + 1. Ở bước k + 1, điểm thử được xác định
xk+1 = xk + sk và miền tin cậy sẽ được tăng lên hoặc giữ nguyên. Ngược

lại, nếu tỉ số nhỏ, thậm chí là một số âm, khi đó điểm thử bị bác bỏ và
ở bước lặp tiếp theo vẫn giữ nguyên điểm thử này nhưng miền tin cậy
sẽ bị thu hẹp. Khi đó, miền tin cậy cơ bản (được viết tắt là thuật toán
BTR), được mô tả như sau:
Thuật toán 1.1: Thuật toán miền tin cậy cơ sở (BTR)

Footer Page 10 of 161.

5


Header Page 11 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

Bước 0: Khởi đầu. Chọn điểm ban đầu x0 và bán kính ban đầu ∆0 .
Chọn các hằng số η1 , η2 , γ1 , γ2 thỏa mãn
0 < η1 ≤ η2 < 1,

0 < γ1 ≤ γ2 < 1.

(1.4)

Tính f (x0 ) và đặt k = 0.
Bước 1: Xác định hàm xấp xỉ. Trang bị Rn với tích vô hướng x, y ,
chuẩn Eu-clidean x = x, x

1/2

và xác định hàm xấp xỉ mk (x) (xem ví

dụ hàm xấp xỉ mk trong công thức (1.12) bên dưới) trong hình cầu đóng
¯k = {x ∈ Rn : x − xk ≤ ∆k }.
B
¯k
Bước 2: Tính bước lặp. Tìm sk ∈ Rn thỏa mãn sk ≤ ∆k , xk +sk ∈ B
sao cho "đủ làm giảm hàm xấp xỉ mk " khi đối số được dịch chuyển từ
xk đến điểm xk + sk .
Bước 3: Chấp nhận điểm thử. Tính f (xk + sk ) và xác định
ρk =

f (xk ) − f (xk + sk )
.
mk (xk ) − mk (xk + sk )

(1.5)

Nếu ρk ≥ η1 thì chọn xk+1 = xk + sk . Nếu ρk < η1 thì ta chọn xk+1 = xk .
Bước 4: Cập nhật bán kính miền tin cậy. Đặt

∆k+1





[∆k , +∞)




∈ [γ1 ∆k , ∆k ]





[γ1 ∆k , γ2 ∆k ]

khi ρk ≥ η2 ,
khi ρk ∈ [η1 , η2 ),

(1.6)

khi ρk < η1 .

Tăng k thêm 1 và quay trở lại bước 1.
Việc tìm kiếm cách lựa chọn tối ưu các hằng số η1 , η2 , γ1 , γ2 (nhằm

Footer Page 11 of 161.

6


Header Page 12 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

đảm bảo tốc độ tính toán cao nhất có thể) nằm ngoài việc nghiên cứu

trong chương này.
Ví dụ, có thể chọn:
η1 = 0.01, η2 = 0.9, γ1 = γ2 = 0.5
Nhưng, giá trị khác của η1 , η2 , γ1 , γ2 có thể được sử dụng, miễn là điều
kiện (1.4) được thỏa mãn.
Vì ∆k > 0 và ∆k+1 > 0 nên tồn tại duy nhất số thực µk > 0 sao cho
∆k+1 = µk ∆k .
Bằng việc đưa vào hệ số µk , chúng ta có thể biểu diễn công thức cập
nhật bán kính miền tin cậy (1.6) một cách đơn giản hơn như sau:



[1, +∞)




µk ∈ [γ1 , 1]





[γ1 , γ2 ]

khi ρk ∈ [η2 , +∞),
khi ρk ∈ [η1 , η2 ),

(1.7)

khi ρk ∈ (−∞, η1 ).

Tại mỗi bước k, việc chọn µk thỏa mãn (1.7) không là tất định. Ví
dụ, khi ρk ∈ [η2 , +∞) ta có thể lấy µk là một số bất kì thuộc đoạn
[1, +∞). Để lập trình, người ta thường chọn một "chiến lược" cố định;
ví dụ µk = 1.2 với mọi k mà ρk ∈ [η2 , +∞). (Tất nhiên, ta cũng có
thể lấy µk = 2, hoặc µk = 1). Đối với các trường hợp ρk ∈ [η1 , η2 ) và
ρk ∈ (−∞, η1 ), người ta cũng làm tương tự. Lưu ý rằng, các định lý hội
tụ trong [2, Chương 6] được chứng minh cho trường hợp µk chỉ cần thỏa
mãn điều kiện (1.7) với mọi k.

Footer Page 12 of 161.

7


Header Page 13 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

Bước lặp mà ρk ≥ η1 ứng với xk+1 = xk + sk được gọi là bước lặp chấp
nhận được. Bước lặp mà ρk ≥ η2 được gọi là bước lặp chấp nhận được tốt.

1.1.1

Phương Cauchy

Định nghĩa 1.3. Phương cauchy được xác định bởi
xCt := xk − tgk ,

t ≥ 0,

¯k .
x∈B

(1.8)

Chú ý rằng xCt = xk với mọi t ≥ 0 khi đó gk = 0.
Trong phần này, chúng ta đưa vào
¯k }.
βk = 1 + max{ ∇2 mk (x) : x ∈ B
¯k
x∈B

(1.9)

được xem như là cận trên của độ cong. Sự xác định này và AM.4 cũng
có nghĩa là
βk ≤ Kumh

(1.10)

với mọi k.
1.1.2

Điểm Cauchy cho hàm xấp xỉ dạng toàn phương

Định nghĩa 1.4. Điểm Cauchy, kí hiệu xCk (t), là điểm cực tiểu (duy
nhất) của hàm xấp xỉ dọc theo phương Cauchy, tức

¯k }. (1.11)
xCk (t) = xk −tCk gk = arg min{mk (xk −tgk ) : t ≥ 0, xk −tgk ∈ B

Footer Page 13 of 161.

8


Header Page 14 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

Trong thực tế, người ta thường chọn hàm xấp xỉ toàn phương có dạng
mk (x) = f (xk ) + gk , x − xk +

1
x − xk , Hk (x − xk ) .
2

(1.12)

Ở đây, gk = ∇f (xk ) là gradient của f ở xk và Hk = ∇2 f (xk ) là ma trận
Hessian của f tại xk . Hàm mk (x) này là hàm tuyến tính-toàn phương.
Nếu chúng ta giả thiết rằng hàm xấp xỉ là toàn phương, thì ta có
thể cực tiểu hóa mk (x) chính xác trên cung Cauchy. (ví dụ trên đoạn
¯k ).
xk − tgk : t ≥ 0, xk − tgk ∈ B
Nếu gk = 0 thì một điểm Cauchy được đưa ra bởi công thức
xCk (t) = xk − tCk gk .

(1.13)

Ở đây, giá trị tCk là một nghiệm của bài toán cực tiểu hóa
min{mk (xk − tgk ) : 0 ≤ t ≤

∆k
}.
gk

(1.14)

Nếu gk = 0 thì ta đặt xCt = xk . Do đó, trong kí hiệu của bước 2, sk = 0
nếu gk = 0 và sk = −tCk gk nếu gk = 0.

1.1.3

Ví dụ minh họa cho thuật toán

Chúng ta xem xét hai ví dụ minh họa cho thuật toán trên
Ví dụ 1.1.1. Xem xét bài toán không ràng buộc:
min{f (x) = x21 + 2x22 : x = (x1 , x2 ) ∈ R2 }.

Footer Page 14 of 161.

9

(1.15)

Header Page 15 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

Để tìm một nghiệm xấp xỉ của bài toán trong ví dụ (1.1.1), chúng
ta áp dụng thuật toán Miền Tin Cậy cơ bản với phương pháp điểm
Cauchy, điểm ban đầu x0 = (−2; 3), bán kính miền tin cậy ban đầu
∆0 = 1, và độ sai số ε = 10−3 . Các thông số η1 , η2 , γ1 , γ2 được chọn như
sau: η1 = 0.25, η2 = 0.75, γ1 = γ2 = 0.5. Véc tơ gradient và
 matrận
2 0
2xk,1
.
 và Hk = 
Hessian ở bước lặp thứ k lần lượt là: gk = 
0 4
4xk,2
Hàm mục tiêu xấp xỉ được chọn bởi quy tắc (1.12) với Hk = ∇2 f (xk ).
Ở đây, điểm Cauchy là xCk = xk − tCk gk với tCk = τk

τk =

∆k
gk

, ở đó




1

khi gk , Hk gk ≤ 0,


min{ g 3 /(∆ g , H g ), 1}
k
k k
k k

khi , gk , Hk gk > 0.

(1.16)

Để thỏa mãn (1.6), chúng ta có thể cập nhật bán kính miền tin cậy bởi
công thức ∆k+1 = µk ∆k .
Ở đây,




2



µk ∈ 0.8






0.5

khi ρk ∈ [η2 , +∞),
khi ρk ∈ [η1 , η2 ),

(1.17)

khi ρk ∈ (−∞, η1 ).

Kết quả tính toán trong Matlab được đưa ra trong bảng 1.1.
Trong Ví dụ (1.1.1), hàm mục tiêu lồi mạnh, toàn phương.
Ví dụ 1.1.2. Xem xét bài toán không lồi, không toàn phương như sau:
1
1
min{f (x) = x4 − x2 : x ∈ R}.
4
2

Footer Page 15 of 161.

10

(1.18)


Header Page 16 of 161.
Khóa luận tốt nghiệp Đại học
k
1

2
3
4
5
6
7
8

Nguyễn Lan Hương

xk(1)
|
|
|
|
|
|
|
|

xk(2)

-1.6838
-0.9244
-0.1269
-0.0580
-0.0080
-0.0036
-0.0005
-0.0002

|
|
|
|
|
|
|
|

f(xk)

2.0513
0.2011
-0.1459
0.0126
-0.0091
0.0008
-0.0006
0.0000

|
|
|
|
|
|
|
|

11.2509
0.9354
0.0587
0.0037
0.0002
0.0000
0.0000
0.0000

Bảng 1.1: Kết quả tính toán cho ví dụ 1.1.1

Nó có hai điểm cực tiểu địa phương x = −1 và x = 1 và một điểm
cực đại địa phương x = 0. Chọn

0=

0.5 và ε = 10−3 . Các thông số

η1 , η2 , γ1 , γ2 , công thức xác định điểm Cauchy và quy tắc cập nhật bán
kính miền tin cậy là giống như trong ví dụ trước. Với trường hợp x0 = 3,
kết quả tính toán trong Matlab được đưa ra bởi bảng 1.2. Bây giờ, chúng
ta đặt x0 để được 1 trong 21 điểm cách đều nhau từ đoạn [−2; 2]. Kết
quả tính toán trong Matlab của điểm dừng tương ứng như trong bảng
1.3. Với x0 ∈ (−2; 0), dãy lặp hội tụ đến x∗ = −1. Với x0 ∈ (0; 2), dãy
lặp hội tụ đến x∗ = 1. Với x = 0, thuật toán dừng lại ngay ở bước 1, vì
x0 là điểm dừng của bài toán trong ví dụ (1.1.2).
k
1
2
3

4
5
6

xk
|
|
|
|
|
|

f(xk)

2.5000
1.7606
1.3151
1.0861
1.0093
1.0001

|
|
|
|
|
|

6.6406
0.8521

-0.1169
-0.2419
-0.2499
-0.2500

Bảng 1.2: Kết quả tính toán cho ví dụ 1.1.2

Footer Page 16 of 161.

11


Header Page 17 of 161.
Khóa luận tốt nghiệp Đại học
j

Nguyễn Lan Hương

x0

0
1
2
3
4
5
6
7
8
9

10
11
12
13
14
15
16
17
18
19
20

|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|

|
|
|

-2.000
-1.800
-1.600
-1.400
-1.200
-1.000
-0.800
-0.600
-0.400
-0.200
0.000
0.200
0.400
0.600
0.800
1.000
1.200
1.400
1.600
1.800
2.000

x*
|
|
|

|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|

f(xk)

-1.0000
-1.0002
-1.0000
-1.0005
-1.0000
-1.0000
-1.0003
-1.0000
-1.0000

-1.0000
0.0000
1.0000
1.0000
1.0005
1.0003
1.0000
1.0000
1.0005
1.0000
1.0002
1.0000

|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|

|
|
|
|

-0.2500
-0.2500
-0.2500
-0.2500
-0.2500
-0.2500
-0.2500
-0.2500
-0.2500
-0.2500
0.0000
-0.2500
-0.2500
-0.2500
-0.2500
-0.2500
-0.2500
-0.2500
-0.2500
-0.2500
-0.2500

Bảng 1.3: Kết quả tính toán xa hơn cho ví dụ 1.1.2

1.2

Một số kết quả về sự hội tụ của thuật toán

1.2.1

Một số giả thiết với hàm mục tiêu

AF.1 Hàm f nhận giá trị thực, khả vi liên tục đến cấp hai trên toàn
không gian Rn .
AF.2 Hàm f bị chặn dưới ở trên Rn , tức là tồn tại hằng số Klbf > 0
sao cho
f (x) ≥ Klbf

∀x ∈ Rn .

AF.3 Ma trận Hessian của hàm mục tiêu bị chặn đều, tức là tồn tại

Footer Page 17 of 161.

12


Header Page 18 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

hằng số dương Kuf h sao cho
∇2 f (x) ≤ Kuf h
1.2.2

∀x ∈ Rn .

Một số giả thiết với hàm xấp xỉ

¯k với mọi k.
AM.1 Hàm xấp xỉ mk (x) khả vi đến cấp hai trên B
AM.2 Giá trị của hàm mục tiêu và hàm xấp xỉ trùng nhau tại một
dòng lặp,tức là mk (xk ) = f (xk ) với mọi k.
AM.3 Gradient của hàm xấp xỉ bằng gradient của hàm mục tiêu,tức
là gk = ∇mk (xk ) = ∇f (xk ) với mọi k.
AM.4 Định thức của ma trận Hesian của hàm xấp xỉ cũng bị chặn
¯k ,
trong miền tin cậy, tức là ∇2 mk (x) ≤ Kumh − 1 với mọi x ∈ B
trong đó hệ số Kumh > 1 phụ thuộc vào mỗi bước k.
Chúng ta hoàn thiện những giả thiết trong thuật toán nhờ việc chỉ
rõ mối quan hệ giữa các chuẩn xk khác nhau xác định hình dạng của
miền tin cậy trong (1.3).
AN.1 Tồn tại hằng số Kune ≥ 1 sao cho
1
x
Kune

k

≤ x ≤ Kune x

k

với ∀k ∈ N, ∀x ∈ Rn .

Định lý 1.1. ([2, Theorem 6.3.1, p. 125]) Nếu hàm xấp xỉ được cho bởi

Footer Page 18 of 161.

13


Header Page 19 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

(1.12) và điểm cauchy được xác định bởi (1.11), chúng ta có
mk (xk ) − mk (xCk ) ≥
trong đó νkc :=

gk
gk

k

1
gk min
2

gk
, νkc ∆k ,
βk

(1.19)

.

Chứng minh. Với mọi t ≥ 0, ta có
mk (xk − tgk ) = mk (xk ) − t gk

2

1
+ t2 gk , Hk gk .
2

(1.20)

Xét trường hợp gk , Hk gk > 0. Khi đó
t∗k := arg min{mk (xk − tgk ) : t ≥ 0}
thỏa mãn
− gk

2

+ t∗k gk , Hk gk = 0.

Từ đó ta có
t∗k
Nếu t∗k gk

k

gk 2

.
=
gk , Hk gk

(1.21)

≤ ∆k (tức điểm cực tiểu nằm trong miền tin cậy) thì tCk = t∗k

và thay vào (1.13) ta được
1
− (t∗k )2 gk , Hk gk
2
4
gk
1
gk 4
=
−
gk , Hk gk
2 gk , Hk gk
1
gk 4
=
.
2 gk , Hk gk

mk (xk ) − mk (xCk ) = t∗k gk

2

Theo bất đẳng thức Cauchy-Schwarz, ta có | gk , Hk gk | ≤ gk 2 βk . Vì

Footer Page 19 of 161.

14


Header Page 20 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

vậy,
mk (xk ) −
Nếu t∗k gk

k

mk (xCk )

gk 2
≥
.
2βk

(1.22)

> ∆k , tức là khi mà điểm làm cho hàm xấp xỉ đạt giá trị

nhỏ nhất theo phương Cauchy nằm bên ngoài miền tin cậy, thì

tCk gk
Khi đó, t∗k gk

k

k

= ∆k .

> tCk gk k , hay t∗k =

gk 2
gk ,Hk gk

gk , Hk gk

(1.23)
> tCk . Điều này kéo theo

gk 2
< C .
tk

Ta có
1
− (tCk )2 gk , Hk gk
2
1
> νkc gk ∆k − νkC gk 2
2

1
= νkc gk ∆k − νkc gk ∆k .
2

mk (xk ) − mk (xCk ) = tCk gk

2

Do đó,
1
mk (xk ) − mk (xCk ) > νkc gk ∆k .
2

(1.24)

Xét trường hợp gk , Hk gk ≤ 0. Ta có
mk (xk − tgk ) = mk (xk ) − t gk

2

1
+ t2 gk , Hk gk
2

≤ mk (xk ) − t gk 2 ,
với mọi t ≥ 0. Ngoài ra, ta thấy rằng điểm Cauchy xCk nằm trên biên

Footer Page 20 of 161.

15

Header Page 21 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

của miền tin cậy, tức là (1.23) vẫn đúng. Vì
mk (xk ) − mk (xCk ) ≥ tCk gk

2

= gk

2

∆k
gk k

= νkc gk ∆k ,
nên
1
mk (xk ) − mk (xck ) ≥ νkc gk ∆k .
2

(1.25)

Chúng ta thấy rằng hàm xấp xỉ giảm tại điểm Cauchy phụ thuộc vào
giá trị của νkc , bán kính miền tin cậy nhỏ nhất ∆k . Nếu chúng ta hạn chế
miền tin cậy trong chuẩn Eu-clidean thì νkc =1 với mọi k. Nếu chúng ta

xem xét với các chuẩn khác thì AN.1 đảm bảo rằng
νkc ≥

1
> 0.
Kune

Khi đó, theo Định lý 1.1, điểm Cauchy thỏa mãn điều kiện
Với mọi k,

(AA1)

mk (xk ) − mk (xk + sk ) ≥ Kmdc gk min

gk
, ∆k
βk

với hằng số Kmdc ∈ (0, 1).
Điều này có nghĩa là hàm xấp xỉ sẽ giảm một phần tại điểm Cauchy.
1.2.3

Sự hội tụ đến điểm tới hạn bậc nhất

Định lý 1.2. ([2, Theorem 6.4.1, p. 133]) Giả sử các điều kiện (AF1),

Footer Page 21 of 161.

16

Header Page 22 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

(AF3), (AM1)–(AM4) được thỏa mãn. Với mọi k ta có
|f (xk + sk ) − mk (xk + sk )| ≤ (νks )2 max [Kuf h , Kumh ] (∆k )2 ,

(1.26)

¯k và
trong đó xk + sk ∈ B
νks =

sk
.
sk k

(1.27)

Hơn nữa, nếu giả thiết (AN1) cũng được thỏa mãn thì
|f (xk + sk ) − mk (xk + sk )| ≤ Kubh (∆k )2

(1.28)

2
Kubh = Kune
max [Kuf h , Kumh ] .

(1.29)

trong đó

Định lý 1.3. ([2, Theorem 6.4.2, p. 134]) Giả sử các điều kiện (AF1),
(AF3), (AN1), (AM1)–(AM4), (AA1) được thỏa mãn, đồng thời gk = 0,
và
∆k ≤

Kmdc gk (1 − η2 )
.
Kubh

(1.30)

Khi đó, bước lặp thứ k là chấp nhận được tốt và ∆k+1 ≥ ∆k .
Định lý 1.4. ([2, Theorem 6.4.3, p. 135]) Giả sử các điều kiện (AF1)–
(AF3), (AN1), (AM1)–(AM4) và (AA1) được thỏa mãn. Giả sử thêm
rằng có tồn tại hằng số Klbg > 0 sao cho gk ≥ Klbg với mọi k. Khi đó,
tồn tại hằng số Klbd > 0 sao cho
∆k ≥ Klbd

∀k.

(1.31)

Định lý 1.5. ([2, Theorem 6.4.4, p. 136]) Giả sử rằng các điều kiện

Footer Page 22 of 161.

17


Header Page 23 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

(AF1), (AF3), (AN1), (AM1)–(AM4), (AA1) được thỏa mãn. Nếu chỉ có
hữu hạn bước lặp chấp nhận được, thì xk = x∗ với mọi k đủ lớn và x∗ là
điểm tới hạn bậc nhất.
Định lý 1.6. ([2, Theorem 6.4.5, p. 136]) Nếu các điều kiện (AF1)–
(AF3), (AN1), (AM1)–(AM4) và (AA1) được thỏa mãn, thì ta có
lim inf ∇f (xk ) = 0.
k→+∞

(1.32)

Định lý 1.7. ([2, Theorem 6.4.6, p. 137]) Nếu các điều kiện (AF1)–
(AF3), (AN1), (AM1)–(AM4) và (AA1) được thỏa mãn, thì ta có
lim

k→+∞

Footer Page 23 of 161.

∇f (xk ) = 0.

18

(1.33)


Header Page 24 of 161.

Chương 2
Tính ổn định địa phương và sự hội
tụ địa phương của phương pháp
Miền Tin Cậy cơ bản
2.1

Một số khái niệm cơ bản

Chúng ta đi đến thiết lập một sự tương tự của [5, Định lí 3, trang 486],
ở đó các tác giả đã chứng minh tính ổn định địa phương và sự hội tụ
địa phương của dãy lặp tổng quát bởi thuật toán DCA chiếu (xem thuật
toán A ở [5, trang 484]). Ở đây, ta cũng chỉ ra tốc độ hội tụ tuyến tính.
Định nghĩa 2.1. x∗ được gọi là điểm cực tiểu địa phương không suy
biến của (1.1) nếu

 ∇f (x∗ ) = 0
 ∇2 f (x ) 0,

(2.1)

∗

Ở đây, ma trận vuông A, viết A

0 nghĩa là A là xác định dương.

Định nghĩa 2.2. (xem [7]) Đặt {xk } là một dãy trong Rn hội tụ đến

Footer Page 24 of 161.

19


Header Page 25 of 161.
Khóa luận tốt nghiệp Đại học

Nguyễn Lan Hương

x∗ . Chúng ta nói rằng sự hội tụ là R-tuyến tính nếu
lim sup xk − x∗

1/k

< 1.

k→∞

Nhằm hoàn chỉnh cho chứng minh, chúng ta đi chứng minh bổ đề sau.
Bổ đề 2.1. ([1]) Nếu x∗ là 1 điểm cực tiểu địa phương không suy biến
của (1.1), thì tồn tại các hằng số dương δ, α1 , α2 với α1 < α2 , sao cho
α1 I

∇2 f (x)

α2 I

¯ ∗ , δ).
∀x ∈ B(x

Ở đây, I đại diện cho ma trận đơn vị n × n, quan hệ A

(2.2)
B giữa 2 ma

¯ ∗ , δ1 )
trận vuông nghĩa là B − A là ma trận nửa xác định dương và B(x
là hình cầu đóng với tâm x∗ và bán kính là δ1 .
Chứng minh
Từ giả thiết của f , hàm g(x, v) := ∇2 f (x)v, v liên tục trên Rn × Rn .
Công thức ϕ(x) := min{g(x, v) : v ∈ S n−1 }, ở đây
S n−1 = {v ∈ Rn : v = 1}
là mặt cầu đơn vị, xác định một hàm liên tục trên Rn . Thật vậy, với
mỗi x¯ ∈ Rn , từ định lí Weierstrass, chúng ta tìm được v¯ ∈ S n−1 sao cho
ϕ(¯
x) = g(¯
x, v¯). Đặt ε > 0 một cách tùy ý.
Sử dụng tính liên tục của ∇2 f (x), chúng ta có thể tìm được lân cận
mở U1 cuả x∗ sao cho
∇2 f (x)¯
v , v¯ ≤ ∇2 f (¯
x)¯
v , v¯ + ε

Footer Page 25 of 161.

20

∀x ∈ U1 .