Thuật toán DCA và ứng dụng ( Luận văn thạc sĩ)

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC KHOA HỌC

NGUYỄN VĂN HỒNG

THUẬT TOÁN DCA VÀ ỨNG DỤNG

Luận văn Thạc sỹ

Chuyên ngành: TOÁN ỨNG DỤNG
Mã số: 60. 46. 01. 12

Người hướng dẫn khoa học
PGS. TS. PHẠM NGỌC ANH

THÁI NGUYÊN - NĂM 2014


MỤC LỤC

Mục lục

2

Lời cảm ơn

3

Bảng ký hiệu

4

Lời nói đầu

5

1.

Một số khái niệm cơ bản

7

1.1.

Tập lồi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

1.1.1. Tập lồi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

1.1.2. Phần trong tương đối và bao lồi đóng . . . . . . . . . . . .

9

1.1.3. Phương lùi xa và nón lùi xa . . . . . . . . . . . . . . . . . . . . . . .

10

Hàm lồi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

1.2.1. Hàm lồi và hàm lõm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

1.2.2. Hàm lồi liên tục . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

12

1.2.3. Hàm lồi khả vi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

13

1.2.4. Dưới vi phân . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

15

Hàm D.C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

16

1.3.1. Định nghĩa và tính chất của hàm D.C . . . . . . . . . .

16

1.3.2. Bài toán quy hoạch D.C . . . . . . . . . . . . . . . . . . . . . . . . . . .

18

Bài toán đối ngẫu Lagrange . . . . . . . . . . . . . . . . . . . . . . . . . .

19

1.4.1. Điều kiện tối ưu trong bài toán lồi . . . . . . . . . . . . . . .

23

1.4.2. Định lý Karush-Kuhn-Tucker . . . . . . . . . . . . . . . . . . . . .

27

1.2.

1.3.

1.4.

2.

Thuật toán DCA

31

2.1.

31

Bài toán D.C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

2

3.

2.2.

Thuật toán DCA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

2.3.

Sự hội tụ của thuật toán DCA . . . . . . . . . . . . . . . . . . . . . . .

37

Ứng dụng thuật toán DCA

47

3.1.

Điều kiện tối ưu hóa toàn bộ cho (P1 ) và (P2 ) . . . . . . . .

47

3.2.

Ứng dụng thuật toán DCA giải bài toán (P1 ) . . . . . . . . .

48

3.3.
51

Tính hội tụ của DCA đến nghiệm cục bộ của bài toán (P1 )

3.4.

Ứng dụng thuật toán DCA giải bài toán (P2 ) . . . . . . . .

54

Kết luận

56

Tài liệu tham khảo

57


Lời cảm ơn

Luận văn này được hoàn thành tài trường Đại học Khoa học - Đại
học Thái Nguyên. Tác giả xin bày tỏ lòng biết ơn sâu sắc đến PGS. TS.
Phạm Ngọc Anh (Học viện Công nghệ Bưu chính Viễn thông), thầy đã
trực tiếp hướng dẫn tận tình và động viên tác giả trong suốt thời gian

viết luận văn vừa qua.
Xin chân thành cảm ơn các thầy, cô giáo trong Ban chủ nhiệm khoa,
các bạn học viên lớp cao học Toán K6B trường Đại học Khoa học - Đại
học Thái Nguyên và các bạn đồng nghiệp đã tạo điều kiện thuận lợi, động
viên tác giả trong quá trình học tập và nghiên cứu tại nhà trường.
Tác giả cũng xin bày tỏ lòng biết ơn sâu sắc tới gia đình và người
thân luôn khuyến khích, động viên tác giả trong suốt quá trình học tập
và làm luận văn.
Mặc dù có nhiều cố gắng, nhưng luận văn khó tránh khỏi những thiếu
sót và hạn chế. Tác giả rất mong nhận được những ý kiến đóng góp quý
báu của các thầy cô và bạn đọc để luận văn được hoàn thiện hơn.
Xin chân thành cảm ơn!
Thái Nguyên, tháng 6 năm 2014
Tác giả

Nguyễn Văn Hồng


Bảng ký hiệu

R
R+

: Tập hợp số thực
: Tập hợp các số trong nửa đoạn [0, +∞)

Rn
Rn+

: Không gian số thực n - chiều

: Không gian số thực không âm n - chiều

x∈C
x∈C

: x thuộc tập C
: x không thuộc tập C

∀x
∃x

: Với mọi x
: Tồn tại x

∅

: Tập hợp rỗng

∩
∪

: Phép giao các tập hợp
: Phép hợp các tập hợp

x=y
x, y

: x được định nghĩa bằng y
: Tích vô hướng của x và y

∇x f (x)
xk
x

: Véc tơ đạo hàm của hàm f tại điểm x
: Dãy xk hội tụ yếu tới x

xk → x

: Dãy xk hội tụ mạnh tới x

I

: Ánh xạ đồng nhất

arg min {f (x) |x ∈ C} : Tập các điểm cực tiểu của hàm f trên C
x
: Chuẩn của véc tơ x.


Lời nói đầu

DCA được viết tắt của "difference of convex functions optimization
algorithms". Thuật toán DCA đã được đề xuất từ năm 1986 bởi giáo sư
Phạm Đình Tảo với các ứng dụng của nó được phát triển khá mở rộng
(xem [1, 2, 4, 5, 6]). DCA được áp dụng trong nhiều lĩnh vực khoa học và
liên quan đến nhiều bài toán tối ưu. Thuật toán DCA áp dụng để giải bài
toán D.C (viết tắt của difference of convex functions) dạng f = g − h. Để
giải bài toán này, tác giả đã sử dụng phương pháp D.C bằng cách phân
rã hàm mục tiêu thành hiệu hai hàm lồi và sử dụng các kỹ thuật đối ngẫu

Lagrange để chuyển bài toán D.C thành bài toán lồi mạnh không ràng
buộc bằng cách tuyến tính hóa hàm lồi g. Một cách đơn giản, chúng ta
có thể thấy mô hình của bài toán D.C có dạng:
(P ) α = inf {f (x) = g (x) − h (x) : x ∈ Rn }
trong đó f là hàm mục tiêu, g, h là các hàm lồi nửa liên tục dưới trên
Rn , và bài toán đối ngẫu của nó là
(D) α = inf {h∗ (y) − g ∗ (y) : y ∈ Rn } .
trong đó h∗ , g ∗ là các hàm liên hợp của g, h trong Rn với
g ∗ (y) = sup { x, y − g (x) : x ∈ Rn } .
Bằng cách áp dụng thuật toán DCA vào giải bài toán (P ) và (D), các
tác giả đã chứng minh được rằng sau hữu hạn bước, ta có thể xác định
được nghiệm tối ưu địa phương của bài toán ban đầu. Luận văn trình bày
về bài toán D.C, thuật toán DCA và ứng dụng thuật toán DCA vào bài
toán cực tiểu của hàm không lồi trên hình cầu và mặt cầu trong không
gian Euclide Rn . Luận văn gồm hai phần chính:
Phần thứ nhất trình bày về bài toán D.C, thuật toán DCA và sự hội
tụ của nó trong bài báo của Pham Dinh Tao and Le Thi Hoai An (1997),


6

Convex analysis approach to D.C programming: Theory, algorithms and
applications, Acta mathematica Vietnamica, vol. 22, pp. 289 - 355 [8].
Phần thứ hai đề cập đến ứng dụng của DCA vào giải bài toán cực tiểu
của hàm không lồi trên hình cầu và mặt cầu trong không gian Euclide Rn
trong bài báo "Pham Dinh Tao and Le Thi Hoai An (1996), Difference of
convex functions optimization algorithms (DCA) for globally minimizing
nonconvex quadratic forms on Euclidean balls and spheres, Operations
Research Letters, vol. 19, pp. 207-216".
Ngoài phần mở đầu, kết luận và các tài liệu tham khảo, luận văn được

trình bày thành ba chương. Chương 1: Trình bày một số kiến thức về
giải tích lồi làm cơ sở cho việc nghiên cứu bài toán D.C. Sau đó sẽ trình
bày một số vấn đề của bài toán tối ưu lồi, bài toán đối ngẫu Lagrange,
Định lý Karush-Kuhn-Tucker, hàm D.C và một số tính chất của hàm
D.C. Chương 2: Trình bày bài toán D.C, thuật toán DCA và thuật toán
DCA rút gọn. Chương 3: Trình bày ứng dụng thuật toán DCA vào bài
toán tìm nghiệm cực tiểu của hàm không lồi trên hình cầu và mặt cầu
trong không gian Rn .


Chương 1

Một số khái niệm cơ bản

1.1.
1.1.1.

Tập lồi
Tập lồi

Cho a, b là hai điểm trong Rn . Đường thẳng đi qua a và b là tập tất
cả các điểm x ∈ Rn có dạng x = (1 − λ) a + λb = a + λ (b − a) với λ ∈ R.
Định nghĩa 1.1.1. Tập M ⊆ Rn gọi là một tập afin (hay đa tạp tuyến
tính) nếu (1 − λ) a + λb ∈ M với mọi a ∈ M, b ∈ M và mọi λ ∈ R, tức
là nếu M chứa trọn cả đường thẳng đi qua hai điểm bất kỳ của nó.
Rõ ràng nếu M là một tập afin và a ∈ Rn thì a + M = {a + x : x ∈ M }
cũng là một tập afin và M là một tập afin chứa gốc khi và chỉ khi M
là một không gian con, nghĩa là nếu a, b thuộc M thì mọi điểm λa + µb
cũng thuộc M với λ, µ ∈ R.
Định lý 1.1.1. Tập M không rỗng là một tập afin khi và chỉ khi M =

a + L trong đó a ∈ M và L là một không gian con.
Không gian con L nói trên được gọi là không gian con song song với tập
afin M : L//M . Nó được xác định một cách duy nhất. Thứ nguyên (hay
số chiều) của một tập afin M , ký hiệu dim M , là số chiều của không gian
con song song với nó. Ta qui ước: dim ∅ = −1.
Định lý 1.1.2. Một tập afin k−chiều bất kỳ có dạng M = {x : Ax = b}
với A ∈ Rm×n , b ∈ Rm và rankA = n − k (M là tập nghiệm của một hệ
phương trình tuyến tính). Một tập khác rỗng bất kỳ có dạng trên là một
tập afin k− chiều.


8

Định nghĩa 1.1.2. Một tập afin (n − 1) chiều trong Rn gọi là một siêu
phẳng.
Định nghĩa 1.1.3. Điểm x ∈ Rn có dạng x = λ1 a1 + λ2 a2 + ... + λk ak
với ai ∈ Rn và λ1 + λ2 + ... + λk = 1 gọi là một tổ hợp afin của các điểm
a1 , a2 , ..., ak .
M là một tập afin khi và chỉ khi M chứa mọi tổ hợp afin các phần tử
của nó. Giao của một họ bất kỳ các tập afin cũng là một tập afin. Cho
E là một tập bất kỳ trong Rn , khi đó có ít nhất một tập afin chứa E, cụ
thể là Rn .
Định nghĩa 1.1.4. Giao của tất cả các tập afin chứa E gọi là bao afin
của E và ký hiệu là af f E. Đó là tập afin nhỏ nhất chứa E.
Dễ thấy x ∈ af f E khi và chỉ khi x là một tổ hợp afin của các phần tử
thuộc E.
Định nghĩa 1.1.5. Ta nói k điểm a1 , a2 , ..., ak ∈ Rn là độc lập afin nếu
các véctơ a2 − a1 , a2 − a1 , ..., ak − a1 độc lập tuyến tính.
Định nghĩa 1.1.6. Cho hai điểm a, b ∈ Rn . Với 0
λ

1 tập tất cả
các điểm x = (1 − λ) a + λb gọi là đoạn thẳng (đóng) nối a và b, và được
ký hiệu là [a, b].
Định nghĩa 1.1.7. Tập C ⊂ Rn được gọi là một tập lồi nếu nó chứa
trọn đoạn thẳng nối hai điểm bất kỳ thuộc nó. Nói cách khác, nếu với mọi
a, b ∈ C và mọi 0 λ 1 thì (1 − λ)a + λb ∈ C .
Định nghĩa 1.1.8. Điểm x ∈ Rn có dạng x = λ1 a1 + λ2 a2 + ... + λk ak
với ai ∈ Rn , λi 0, λ1 + λ2 + ... + λk = 1 gọi là một tổ hợp lồi của các
điểm a1 , a2 , ..., ak .
Tập C là lồi khi và chỉ khi nó chứa mọi tổ hợp lồi của các phần tử của
nó. Thứ nguyên (hay số chiều) của một tập lồi C, ký hiệu dimC, là số
chiều của bao afin của nó. Một tập lồi C trong Rn gọi là có thứ nguyên
đầy nếu dimC = n.
Định nghĩa 1.1.9. Cho E ⊂ Rn là một tập bất kỳ. Giao của tất cả các
tập lồi chứa E gọi là bao lồi của E, ký hiệu là convE. Đó là tập lồi nhỏ
nhất chứa E.


9

Định lý 1.1.3 (Carathéodory). Cho E là một tập chứa trong một tập
afin k−chiều. Khi đó bất kỳ x ∈ convE có thể biểu diễn dưới dạng một
tổ hợp lồi của không quá k + 1 phần tử thuộc E.

1.1.2.

Phần trong tương đối và bao lồi đóng

Như đã biết trong giải tích hàm, bao đóng của một tập C, ký hiệu C,
là giao của tất cả các tập đóng chứa C. Một điểm a thuộc bao đóng của

C ⊂ Rn a ∈ C nếu mọi hình cầu tâm a đều có chứa ít nhất một điểm
thuộc C, hay nếu a là giới hạn của một dãy điểm thuộc C. Một điểm a
của một tập C gọi là một điểm trong của C nếu có một hình cầu tâm a
nằm trọn trong C. Tập các điểm trong của C gọi là phần trong của C và
được ký hiệu là intC.
Định nghĩa 1.1.10. Một điểm a ∈ C ⊂ Rn gọi là một điểm trong tương
đối của C nếu với mỗi x ∈ C đều có một số λ > 0 sao cho a+λ(x−a) ∈ C.
Tập các điểm trong tương đối của C gọi là phần trong tương đối của C
và được ký hiệu là riC. Hiệu tập hợp C/ (riC) gọi là biên tương đối của
C và được ký hiệu là ∂C. Một tập C ⊂ Rn gọi là một tập mở tương đối
nếu riC = C.
Nhận xét 1.1.1. Với B = {x ∈ Rn : ||x| 1|} là hình cầu đơn vị đóng
thì
(i) int C = {x ∈ C : ∃ε > 0, x + εB ⊂ C} .
(ii) riC = {x ∈ C : ∃ε > 0, (x + εB) ∩ af f C ⊂ C}: Phần trong tương
đối của C là phần trong của C trong af f C. Nếu intC = ∅ thì intC =
riC.
C ⊂ D không suy ra riC ⊂ riD. Chẳng hạn, lấy D ∈ R3 là một khối lập
phương, C là một mặt của D. Khi đó, C ⊂ D, riC = ∅, riD = ∅ nhưng
(riC) ∩ (riD) = ∅.
Định lý 1.1.4. Một tập lồi bất kỳ C = ∅ có phần trong tương đối khác
rỗng.
Định lý 1.1.5. Bao đóng và phần trong tương đối của một tập lồi là lồi.
Nhận xét 1.1.2. Với tập C lồi và a ∈ int C, b ∈ C với mọi λ ∈ [0, 1)
thì x = (1 − λ) a + λb = a + λ (b − a) ∈ int C. Và nếu tập lồi C có phần


10

trong khác rỗng thì int = C và int C = int C. Tập lồi C ⊂ Rn có phần

trong khác rỗng khi và chỉ khi nó có thứ nguyên đầy.
Định nghĩa 1.1.11. Giả sử E ⊂ Rn . Giao của mọi tập lồi đóng chứa
E gọi là bao lồi đóng của E và ký hiệu là convE. Đó là tập lồi đóng nhỏ
nhất chứa E. Bao lồi đóng của một tập E trùng với bao đóng của bao lồi
của E, tức là convE = convE.
Định nghĩa 1.1.12. Cho một tập lồi C ⊂ Rn và một điểm y ∈ Rn . Ta
gọi hình chiếu của y trên C là điểm x0 ∈ C sao cho
x0 − y = inf ||x − y|| = dC (y) .
x∈C

Ký hiệu x0 = p(y) và gọi dC(y) là khoảng cách từ y tới C. Định lý sau
cho thấy nếu C là một tập lồi đóng thì hình chiếu p(y) luôn tồn tại và
duy nhất.
Định lý 1.1.6. Cho C ⊂ Rn là một tập lồi đóng khác rỗng và y ∈ Rn
là một điểm bất kỳ. Khi đó, tồn tại duy nhất một điểm x0 ∈ C là hình
chiếu của y trên C.
Định nghĩa 1.1.13. Cho C ⊆ Rn là một tập lồi và một điểm x0 ∈ C. Tập
NC x0 = y ∈ Rn : y, x − x0 > 0, ∀x ∈ C gọi là nón pháp tuyến
ngoài của C tại điểm x0 .

1.1.3.

Phương lùi xa và nón lùi xa

Tập các điểm có dạng x0 + λd với x0 , d ∈ R, d = 0 và λ 0 gọi là một
tia hay nửa đường thẳng xuất phát từ điểm x0 , nếu x0 = 0 thì ta có tia
xuất phát từ gốc 0. Ta gọi d là véctơ chỉ phương (hay phương) của tia.
Hai phương d1 và d2 xem là như nhau nếu d1 = αd2 với α > 0.
Định nghĩa 1.1.14. Cho C là một tập lồi trong Rn . Véctơ d ∈ Rn , d = 0
gọi là một phương lùi xa của C nếu

{x + λd:λ

0} ⊂ C ∀x ∈ C

(1.1)

(mọi tia xuất phát từ một điểm bất kỳ x ∈ C theo phương d đều nằm trọn
trong C.


11

Định lý 1.1.7. Tập tất cả các phương lùi xa của C là một nón lồi. Nếu C
đóng thì sẽ có (1.1) khi x0 + λd : λ 0 ⊂ C với một x0 nào đó thuộc
C.
Định nghĩa 1.1.15. Nón lồi tạo nên bởi tập tất cả các phương lùi xa
của một tập lồi C và véctơ 0 gọi là nón lùi xa của C và ký hiệu là recC.
Định lý 1.1.8. Nón lùi xa của một tập lồi đóng C là tập đóng. Một tập
lồi đóng C là compac khi và chỉ khi nón lùi xa của nó chỉ gồm duy nhất
một phẩn tử 0.

1.2.
1.2.1.

Hàm lồi
Hàm lồi và hàm lõm

Định nghĩa 1.2.1. Hàm f : X → [−∞, +∞] xác định trên một tập lồi
X ⊆ Rn được gọi là một hàm lồi trên R nếu với mọi x1 , x2 ∈ R và mọi
số thực λ ∈ [0, 1] ta có

f (1 − λ) x2 + λx2

(1 − λ) f x1 + λf x2 .

Hàm f gọi là lồi chặt trong R nếu với mọi x1 , x2 ∈ X, x1 = x2 , λ ∈ (0, 1)
ta có
f (1 − λ) x1 + λx2 < (1 − λ) f x1 + λf x2 .
Hiển nhiên một hàm lồi chặt là lồi, nhưng điều ngược lại không đúng.
Định nghĩa 1.2.2. Hàm f gọi là lõm (lõm chặt) trên C nếu −f là lồi
(lồi chặt) trên C. Hàm f gọi là tuyến tính afin (hay đơn giản là afin)
trên C nếu f hữu hạn và vừa lồi vừa lõm trên X. Một hàm afin trên Rn
có dạng f (x) = a, x + α với a ∈ Rn , α ∈ R bởi vì với mọi x1 , x2 ∈ Rn và
mọi λ ∈ [0, 1] ta có f (1 − λ)x1 + λx2 = (1 − λ) f x1 + λf x2 . Tuy
nhiên, hàm afin không lồi chặt hay lõm chặt.
Định nghĩa 1.2.3. Cho hàm bất kỳ f : X → [−∞, +∞] với X ⊆ Rn , các
tập domf = {x ∈ X : f (x) < +∞} , epif = {(x, α) ∈ X × R : f (x) α}
được gọi lần lượt là miền hữu dụng và tập trên đồ thị của hàm f . Nếu
domf = ∅ (f không đồng nhất bằng +∞) và f (x) > −∞ với mọi x ∈ X
thì ta nói hàm f là chính thường.


Luận vận đậy đu ở file:Luận vận Full