Phương pháp Gradient liên hợp và ứng dụng

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC KHOA HỌC

PHẠM THỊ MINH THUẬN

PHƯƠNG PHÁP GRADIENT
LIÊN HỢP VÀ ỨNG DỤNG

LUẬN VĂN THẠC SỸ TOÁN HỌC

THÁI NGUYÊN - NĂM 2010


ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC KHOA HỌC

PHẠM THỊ MINH THUẬN

PHƯƠNG PHÁP GRADIENT
LIÊN HỢP VÀ ỨNG DỤNG

LUẬN VĂN THẠC SỸ TOÁN HỌC

Chuyên ngành: TOÁN ỨNG DỤNG
Mã số: 60.46.36

Người hướng dẫn khoa học:
GS. TS. TRẦN VŨ THIỆU

THÁI NGUYÊN - NĂM 2010

i

Mục lục
Mở đầu
1 Cơ sở toán học của phương pháp và các khái niệm liên
quan
1.1 Một số khái niệm và kết quả cơ bản của giải tích lồi . . .
1.2 Phương pháp hướng giảm . . . . . . . . . . . . . . . . .
1.2.1 Điều kiện tối ưu . . . . . . . . . . . . . . . . . . .
1.2.2 Hướng giảm . . . . . . . . . . . . . . . . . . . . .
1.2.3 Độ dài bước . . . . . . . . . . . . . . . . . . . . .
1.3 Phương pháp gradient . . . . . . . . . . . . . . . . . . .
1.3.1 Thuật toán gradient với thủ tục tìm chính xác theo
tia . . . . . . . . . . . . . . . . . . . . . . . . . .
1.3.2 Thuật toán gradient với thủ tục quay lui . . . . .
1.4 Phương pháp Newton . . . . . . . . . . . . . . . . . . . .
2 Phương pháp gradient liên hợp
2.1 Hướng liên hợp . . . . . . . . . . . . . . . . . . . . . . .
2.2 Phương pháp gradient liên hợp . . . . . . . . . . . . . .
2.2.1 Phương pháp Fletcher - Reeves tìm cực tiểu hàm
toàn phương (F-R) . . . . . . . . . . . . . . . . .
2.2.2 Phương pháp Fletcher - Reeves tìm cực tiểu hàm
khả vi liên tục bất kỳ . . . . . . . . . . . . . . . .
2.2.3 Một số ví dụ áp dụng . . . . . . . . . . . . . . . .
2.3 Tốc độ hội tụ của phương pháp gradient liên hợp . . . .

1

3

3
7
7
9
11
13
13
14
14
17
17
22
22
35
37
40


ii

3 Mở rộng phương pháp gradient liên hợp
3.1 Phương pháp gradient liên hợp 3-số hạng . . . . . . . . .
3.1.1 Thuật toán tái khởi Beale-Powell . . . . . . . . .
3.1.2 Tính hội tụ toàn cục của phương pháp gradient
liên hợp 3-số hạng với thủ tục tìm theo tia kiểu
Wolfe . . . . . . . . . . . . . . . . . . . . . . . .
3.1.3 Phương pháp gradient liên hợp 3-số hạng Beale .
3.2 Phương pháp gradient liên hợp hiệu chỉnh trước chỉ số
điều kiện . . . . . . . . . . . . . . . . . . . . . . . . . . .
Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

Tài liệu tham khảo . . . . . . . . . . . . . . . . . . . . . . .
Phụ lục . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

42
42
42

43
49
51
55
56
63


1

Mở đầu
Trong thực tế rất nhiều hoạt động kinh tế, xã hội,... đòi hỏi con người
phải quan tâm tới việc tìm phương án tốt nhất để đạt được mục tiêu
mong muốn. Đó chính là các bài toán tối ưu. Các bài toán tối ưu là một
chủ đề hấp dẫn với nhiều kết quả phong phú luôn thu hút sự quan tâm
của các nhà nghiên cứu.
Luận văn này đề cập tới phương pháp gradient liên hợp và ứng dụng
của nó. Phương pháp gradient liên hợp được Hestenes và Stiefel nêu ra
đầu tiên vào những năm 1950 để giải hệ tuyến tính. Vì việc giải một hệ
tuyến tính tương đương với tìm cực tiểu của một hàm toàn phương xác
định dương, nên vào năm 1960 Fletcher - Reeves đã cải biên và phát
triển nó thành phương pháp gradient liên hợp cho cực tiểu không ràng
buộc. Nhờ đó phương pháp này hoàn thiện phương pháp giảm nhanh

nhất nhằm làm tăng hiệu quả và độ tin cậy của thuật toán. Phương pháp
gradient liên hợp là trung gian giữa phương pháp gradient và phương
pháp Newton, nó thay đổi hướng tìm trong phương pháp gradient bằng
cách thêm vào một tỷ lệ dương của hướng dùng ở bước ngay trước đó.
Phương pháp này chỉ cần tới đạo hàm riêng bậc nhất nhưng lại khắc
phục được tính hội tụ chậm của phương pháp gradient.
Mục tiêu của luận văn là tìm hiểu và trình bày những kết quả cơ bản
đã biết liên quan đến phương pháp gradient liên hợp, các tính chất như
tính liên hợp, tính trực giao, tính hội tụ và một số phương pháp mở rộng
của phương pháp này. Nội dung đề cập trong luận văn được trình bày
một cách chặt chẽ về mặt toán học kèm theo một số ví dụ minh họa.
Luận văn được chia làm 3 chương:


2

Chương 1: nhắc lại một số khái niệm cơ bản của giải tích lồi, như tập
lồi, hàm lồi và hàm toàn phương, hướng giảm và phương pháp gradient,
phương pháp Newton... để phục vụ cho các chương tiếp theo.
Chương 2: trình bày các khái niệm, tính chất của hướng liên hợp,
phương pháp gradient liên hợp giải bài toán cực tiểu hàm toàn phương,
nêu các định lý về tính hội tụ của phương pháp gradient liên hợp và mở
rộng phương pháp này để tìm cực tiểu của một hàm khả vi liên tục bất
kỳ. Cuối chương tác giả nêu ra một số ví dụ áp dụng.
Chương 3: trình bày phương pháp gradient liên hợp 3-số hạng. Đó là
sự cải tiến phương pháp F-R tìm cực tiểu hàm khả vi liên tục bất kỳ bởi
vì nếu dùng hướng giảm nhanh nhất thì mức giảm hàm mục tiêu thường
kém so với mức giảm có thể thu được khi không dùng tái khởi; còn nếu
dùng hướng tái khởi tùy ý thì quan hệ liên hợp đòi hỏi có thể không
còn đúng. Ngoài ra, trong chương này còn chỉ ra nguyên nhân làm cho

phương pháp gradient liên hợp kết thúc sau nhiều hơn n lần lặp là do
sai số trong quá trình tính toán và từ đó đưa ra biện pháp khắc phục
tình trạng này.
Các kết quả tính toán thử nghiệm được thực hiện bằng các chương
trình lập trong môi trường Matlap.
Mặc dù đã rất cố gắng, song bản luận văn không thể tránh khỏi những
sai sót. Tác giả rất mong nhận được sự chỉ bảo, đóng góp của các Thầy
Cô và các bạn đồng nghiệp để luận văn thêm hoàn thiện.
Tác giả luận văn xin bày tỏ lòng biết ơn sâu sắc đến Thầy hướng dẫn
GS.TS Trần Vũ Thiệu đã tận tình hướng dẫn trong suốt quá trình làm
luận văn. Tác giả cũng xin chân thành cảm ơn các Thầy Cô, các bạn
bè, đồng nghiệp và gia đình luôn giúp đỡ, động viên, khích lệ trong suốt
quá trình học tập và nghiên cứu.
Thái Nguyên, ngày 18 tháng 09 năm 2010.
Học viên
Phạm Thị Minh Thuận


3

Chương 1
Cơ sở toán học của phương pháp và
các khái niệm liên quan
Trong chương này ta sẽ giới thiệu một số khái niệm và các kiến thức
cơ bản sẽ dùng ở các chương sau.

1.1

Một số khái niệm và kết quả cơ bản của giải
tích lồi

Giải tích lồi đóng vai trò quan trọng trong việc nghiên cứu và xây
dựng các thuật toán giải các bài toán tối ưu, trước hết ta sẽ nhắc lại các
khái niệm tập lồi và hàm lồi.
Định nghĩa 1.1 (Tập lồi).
Cho hai điểm a, b ∈ Rn , tập tất cả các điểm x = (1 − λ)a + λb với
0 ≤ λ ≤ 1 gọi là đoạn thẳng đóng nối a và b và được kí hiệu là [a, b].
Tập C ∈ Rn được gọi là lồi nếu nó chứa mọi đoạn thẳng nối hai điểm
bất kỳ thuộc nó. Nói cách khác, nếu (1 − λ)a + λb ∈ C, ∀a, b ∈ C và mọi
0 ≤ λ ≤ 1.
Định nghĩa 1.2 (Hàm lồi).
Hàm f : X → [−∞, +∞] xác định trên tập lồi X ⊆ Rn được gọi là lồi
nếu
f (λx1 + (1 − λ)x2 ) ≤ λf (x1 ) + (1 − λ)f (x2 )
với bất kì x1 , x2 ∈ X và mọi số thực λ ∈ [0, 1].


4

Ta gọi f là hàm lồi chặt trên tập lồi X nếu
f (λx1 + (1 − λ)x2 ) < λf (x1 ) + (1 − λ)f (x2 )
với bất kì x1 , x2 ∈ X, x1 = x2 và mọi số thực λ ∈ (0, 1).
Hàm f (x) gọi là lõm (hay lõm chặt) trên X nếu −f (x) là lồi (lồi
chặt) trên X.
Định nghĩa 1.3. Cho hàm số f xác định trên tập mở X ⊆ Rn .
Hàm f được gọi là liên tục tại điểm x0 ∈ X nếu với mọi ε > 0, tồn tại
δ > 0 sao cho |f (x) − f (x0 )| < ε với mọi x ∈ X thỏa mãn x − x0 < δ.
Nói cách khác, hàm f liên tục tại x0 ∈ X nếu với mọi dãy {xn } ⊂ X
hội tụ đến x0 , ta có {f (xn )} → f (x0 ).
Hàm f được gọi là nửa liên tục dưới (t.ư., nửa liên tục trên) tại điểm

x0 ∈ X nếu tồn tại ε > 0, tồn tại δ > 0 sao cho
f (x) ≥ f (x0 ) − ε (t.ư., f (x) ≤ f (x0 ) + ε)
với mọi x ∈ X thỏa mãn x − x0 < δ. Nói cách khác, hàm f là nửa
liên tục dưới (t.ư., nửa liên tục trên) tại điểm x0 ∈ X nếu với mọi dãy
{xn } ⊂ X hội tụ đến x0 và dãy {f (xn )} ⊂ R hội tụ, ta có
lim inf f (xn ) ≥ f (x0 ) (t.ư., lim sup f (xn ) ≤ f (x0 )).
n→∞

n→∞

Rõ ràng, nếu f là nửa liên tục dưới tại x0 thì −f là nửa liên tục trên
tại x0 . Hàm f vừa là nửa liên tục dưới vừa là nửa liên tục trên tại x0
thì liên tục tại điểm đó.
Hàm f được gọi là liên tục (t.ư., nửa liên tục dưới, nửa liên tục trên)
trên Xnếu nó liên tục (t.ư., nửa liên tục dưới, nửa liên tục trên) tại mọi
điểm của X.
Định nghĩa 1.4. Giả sử f : Rn → [−∞, +∞] là hàm số tùy ý và C ⊂ Rn
là tập tùy ý.
Điểm x0 ∈ C ∩ domf được gọi là điểm cực tiểu toàn cục của f (x)
trên C nếu −∞ < f (x0 ) ≤ f (x) với mọi x ∈ C.


5

Điểm x0 ∈ C được gọi là điểm cực tiểu địa phương của f (x) trên C,
nếu tồn tại lân cận U (x0 ) của x0 sao cho −∞ < f (x0 ) ≤ f (x) với mọi
x ∈ C ∩ U (x0 ).
Các khái niệm cực đại địa phương và cực đại toàn cục được định nghĩa
tương tự. Đối với hàm f tùy ý trên tập C, ta ký hiệu tập tất cả các điểm
cực tiểu (cực đại) toàn cục của f trên C là Argmin f (x) (Argmax f (x)).

x∈C

x∈C

Định nghĩa 1.5. Cho A là ma trận vuông cấp n không suy biến. Giá
trị của tích A . A−1 được gọi là chỉ số điều kiện của A và ký hiệu
là cond(A).
Nhận xét 1.1. Chỉ số điều kiện của A luôn lớn hơn hay bằng 1.
Thật vậy, 1 = AA−1 ≤ A . A−1 = cond(A).
Định nghĩa 1.6. Cho dãy {xk } ⊂ Rn hội tụ đến x∗ ∈ Rn . Dãy {xk } gọi
là:
hội tụ đến x∗ với tốc độ tuyến tính nếu
∃γ ∈ [0, 1), ∃k0 sao cho ∀k > k0 : xk+1 − x∗ ≤ γ

xk − x∗ ,

hội tụ đến x∗ với tốc độ trên tuyến tính nếu
∀k : xk+1 − x∗ ≤ ck

xk − x∗

và ck → 0,

hội tụ đến x∗ với tốc độ hội tụ bậc hai nếu
∃γ > 0, ∃k0 sao cho

xk+1 − x∗ ≤ γ

xk − x∗

2

, ∀k > k0 .

Mệnh đề 1.1. Cho hàm f xác định trên Rn và điểm x0 ∈ Rn . Nếu f
khả vi tại x0 thì
f (x0 , d) = ∇f (x0 ), d ,

∀d ∈ Rn \ {0}.

Chứng minh. Vì f khả vi tại x0 nên với mọi d ∈ Rn \ {0} ta có
f (x0 + td) − f (x0 ) − ∇f (x0 ), td
lim
= 0.
t→0+
t d


6

Do đó

f (x0 , d) − ∇f (x0 ), d
= 0,
d

và ta nhận được điều phải chứng minh.
Nhận xét. Đặt ϕ(t) := f (x0 + td). Khi đó, theo định nghĩa ta có
dϕ(t)
ϕ (0) =

dt

t=0

ϕ(t) − ϕ(0)
f (x0 + td) − f (x0 )
= lim
= lim+
= f (x0 , d).
t→0
t→0
t
t

Như vậy, đạo hàm theo hướng của f tại x0 phản ánh tốc độ biến
thiên của f tại x0 theo hướng đó. Hơn nữa, theo bất đẳng thức CauchyBunjakowski-Schwarz trong tất cả các hướng d ∈ Rn có d = 1, ta
có
| ∇f (x0 ), d | ≤ ∇f (x0 )
d = ∇f (x0 )
⇒−

∇f (x0 ) ≤ ∇f (x0 ), d ≤ ∇f (x0 )

.

Do đó, đạo hàm theo hướng của f tại x0 đã cho là lớn nhất khi hướng
∇f (x0 )
∇f (x0 )
d=
và nhỏ nhất khi d = −

.
∇f (x0 )
∇f (x0 )
Định lí 1.1 (xem [1]). Cho f là hàm khả vi hai lần trên tập lồi mở
X ⊆ Rn . Khi đó,
i) Hàm f là lồi trên X khi và chỉ khi ma trận Hessian ∇2 f (x) là nửa
xác định dương trên X, tức là với mỗi x ∈ X,
y T ∇2 f (x)y ≥ 0,

∀y ∈ Rn .

Hàm f là lồi chặt trên X nếu ∇2 f (x) xác định dương trên X, tức là với
mỗi x ∈ X,
y T ∇2 f (x)y > 0, ∀y ∈ Rn \{0}.
ii) Hàm f là lõm trên X khi và chỉ khi ma trận Hessian ∇2 f (x) là nửa
xác định âm trên X, tức là với mỗi x ∈ X,
y T ∇2 f (x)y ≤ 0,

∀y ∈ Rn .


data error !!! can't not
read....


data error !!! can't not
read....


data error !!! can't not

read....


data error !!! can't not
read....


data error !!! can't not
read....



data error !!! can't not
read....


data error !!! can't not
read....


data error !!! can't not
read....


data error !!! can't not
read....


data error !!! can't not
read....

data error !!! can't not
read....

data error !!! can't not
read....


data error !!! can't not
read....

data error !!! can't not
read....


data error !!! can't not
read....

data error !!! can't not
read....