Cực đại và cực tiểu hàm lồi với ràng buộc lồi

Mục lục
Danh mục ký hiệu 3
Lời nói đầu 5
1 Các kiến thức cơ bản về tập lồi và hàm lồi 7
1.1 Tập lồi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 Hàm lồi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
2 Cực tiểu hàm lồi với ràng buộc lồi 18
2.1 Phát biểu bài toán và điều kiện tối ưu . . . . . . . . . . . . . 18
2.1.1 Các khái niệm . . . . . . . . . . . . . . . . . . . . . . . . . 18
2.1.2 Sự tồn tại nghiệm tối ưu . . . . . . . . . . . . . . . . . . 22
2.1.3 Điều kiện tối ưu . . . . . . . . . . . . . . . . . . . . . . . 23
2.2 Một số thuật toán giải bài toán quy hoạch lồi . . . . . . . . 33
2.2.1 Thuật toán hướng có thể giải bài toán cực tiểu hàm
trơn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.2.2 Thuật toán Frank-Wolfe g iải bài toán cực tiểu hàm
trơn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.2.3 Thuật toán chiếu dưới đạo hàm xấp xỉ . . . . . . . . 42
3 Cực đại hàm lồi với ràng buộc lồi 49
3.1 Bài toán và các tính chất . . . . . . . . . . . . . . . . . . . . . . 49
3.2 Thuật toán nhánh cận . . . . . . . . . . . . . . . . . . . . . . . 51
1
3.2.1 Một số khái niệm cơ bản . . . . . . . . . . . . . . . . . 51
3.2.2 Ý tưởng của thuật toán nhánh cận . . . . . . . . . . . 53
3.2.3 Thuật toán . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
Kết luận 60
Tài liệu tham khảo 61
2
Danh mục ký hiệ u
Với n là số nguyên dương, ký hiệu:
R
n

không gian Euclide n-chiều trên trường số thực;
R
n
+
góc không âm của R (tập c á c véc-tơ khôn g âm);
R trường các s ố thực (R = R
1
);
R trục số thực mở rộng (R = R ∪{−∞, +∞});
N tập hợp số nguyên dương;
Với mọi véc-tơ x, y ∈ R
n
, ký hiệu:
x
i
tọa độ thứ i củ a x;
x
T
véc-tơ hàng (chuyển vị của x);
x, y = x
T
y tích vô hướng của hai véc-tơ x và y;
= xy =
n

j=1
x
j
y
j

x =

n

j=1
x
2
j
chuẩn Euclide của x;
[x, y] đoạn thẳng đóng n ố i x và y;
(x, y ) đoạn thẳng mở nối x và y;
Với tập A, ký hiệu:
A bao đ óng của A;
coA bao lồi của A;
affA bao affine c ủa A;
intA tập hợp c á c điểm trong của A;
riA tập hợp các đ iểm trong tương đối của A;
3
V (A) tập h ợp các điểm cực biên (đỉnh) của A;
Với hàm f của n biến, ký hiệu:
f hàm b a o đó ng của f;
domf tập hữu dụng của f;
epif trên đồ thị của f;
∂f(x) dưới vi phân của f tại x;
∂

f(x) −dưới vi phân của f tại x;
∇f(x) hoặc f

(x) đạo hàm c ủa f tại x;

f

(x, d) đạo h àm theo phương d của f tại x;
4
Lời nói đầu
Lý thuyết về các tập lồi và hàm lồi có một vị trí quan trọng trong toán học,
liên quan đến hầu hế t các nghành như giải tích lồi, tối ưu hóa, giải tích hàm,
hình h ọc, toán kinh tế, Một cách tổng quát, có hai tính chất cơ bản của các
hàm lồi làm cho chúng được sử dụng rộng rãi trong toán học lý thuyết cũng như
toán học ứng dụng, đó là: tính chất đạt giá trị cực đại trên biên và bất kỳ cực
tiểu địa phương nào cũng là cực tiểu toàn cục. Hơn nữa, một hàm lồi chặt thì
điểm cực tiểu nếu có là duy nhất.
Trong nhiều vấn đề ứ ng dụng ta thư ờng gặp bài toán tìm cực tiểu hoặc cực
đại của mộ t hàm lồi trên một tập lồi. Hai bài toán này có những tính chất cơ
bản rất khá c nhau. Tuy nhiên tính chất lồi kéo theo những đặc thù riêng cho
mỗi bài toán . Lợi dụng c á c tính chất này, người ta đã đ ưa ra được những phương
pháp giải quyết khác nhau cho mỗi bài toán kể trên.
Mục đích của luận văn này là trình bày một số thuật toán c ơ bản nhất giải
bài toán cực tiểu và cực đại hàm lồi với ràng buộc lồi. Cụ thể luận văn trình
bày các thuật toán sa u: thuật toán hướng có thể, thuật toán Frank -Wolfe, thuật
toán chiếu dưới đạo hàm (gradient) xấp xỉ, thuật toán nhánh cận.
Luận văn gồm ba chương:
Chương 1: Giới thiệu các kiến th ức cơ bản nhất về giải tích lồi. Đó là tập lồi,
tập lồi đa diện, hàm lồi, tính chất của hàm lồi, dưới vi phân của hàm lồi và các
ví dụ minh họa, chúng được sử dụng trong các chương tiếp theo.
5
Chương 2: Trình bày các khái niệm và các tính chất cơ bả n của bài toán cực
tiểu hàm lồi với ràng buộc lồi. Đó là sự tồn tại nghiệm tối ưu và điều kiện tối
ưu của bài toán lồi trơn và không trơn. Nội dung chính của chương này là trình
bày một số thuật toán giải bài toán cực tiểu h à m trơn như: thuật toán hướng

có thể, thuật toán Frank-Wolfe và thuật toán giải bài toán cực tiểu hàm không
trơn như thuật toán chiếu dưới đạo hàm xấp xỉ.
Chương 3: Trình bày các khái niệm và các tính chất cơ bả n của bài toán cực
đại hàm lồi với ràng buộc lồi. Nội dung chính của chương này là trình bày thuật
toán nhánh cận giải bài toán c ực đại hàm lồi với ràng buộc lồi.
Do th ời gian có hạn nên luận văn này chỉ mới dừng lại ở việc tìm hiểu, tập
hợp tài liệu, sắp xếp và trình bày kết quả nghiên cứu đã có theo chủ đề đặt ra.
Trong quá trình viết luận văn cũng như xử lý văn bản chắc chắn không tránh
khỏi những sai sót n hất định. Tác giả luận văn rất mong nhận được sự góp ý
của quý thầy cô và các bạn để luận văn được hoàn thiện hơn.
Luận văn được hoàn thành tại Viện Toán học, Viện Khoa học và Công nghệ
Việt Nam, dưới sự hướng dẫn của GS. TSKH. Lê D ũng Mưu.
Tác giả chân thành cảm ơn thầy Lê Dũng Mưu và các nghiên cứu sinh của
thầy đã giúp đỡ rất nhiều trong quá trình tác giả làm luận văn.
Tác giả cũng xin bày tỏ lòng biết ơn các thầy cô và cán bộ công nhân viên
của Viện Toán học đã quan tâm giúp đỡ trong suốt quá trình học tập và nghiên
cứu tại Viện.
Hà Nội tháng 8 năm 2013
Học viên
Hà Thị Thảo
6
Chương 1
Các kiến thức cơ bản về tập lồi và
hàm lồi
Trong luận văn này, chúng ta sẽ làm vệc với không g ian Euclide n-chiều trên
trường số thực R. Kh ô ng gian này được kí hiệu là R
n
. Chương này nhằm trình
bày những khái niệm cơ bản nhất của tập lồi và hàm lồi cùng với những tính
chất đặc trưng của nó. Do chương này chỉ mang tính chất bổ trợ, nên ta không

chứng minh các kết quả nêu ở đây. Nội dung của chương được trích dẫn chủ yếu
từ tài liệu th a m khả o [1], [2] và [4].
1.1 Tập lồi
Định nghĩa 1.1. Một đường thẳng đi qua hai điểm (hai véc-tơ) a, b trong R
n
là
tập hợp tất cả các véc-tơ x ∈ R
n
có dạng
{x ∈ R
n
| x = αa + βb, α, β ∈ R, α + β = 1}.
Định nghĩa 1.2. Đoạn thẳng nối hai điểm a và b trong R
n
là tập hợp các véc-tơ
x có dạng
{x ∈ R
n
| x = αa + βb, α ≥ 0, β ≥ 0, α + β = 1}.
7
Định nghĩa 1.3. Một tập D ⊆ R
n
được gọi là một tập lồi nếu D chứa mọi
đoạn thẳng đi qua hai điểm bất kỳ của nó. Tức là D lồi khi và chỉ khi
∀x, y ∈ D, λ ∈ [0, 1] ⇒ λx + (1 − λ) y ∈ D.
Định nghĩa 1.4. Một tập D đ ược gọi là tập affine nếu nó chứa mọi đường
thẳng đi qua hai điểm bất kỳ của nó, tức là
∀x, y ∈ D, ∀λ ∈ R ⇒ λx + (1 − λ) y ∈ D.
Định nghĩa 1.5. Ta nói x là tổ hợp lồi của các điểm (véc-tơ) x
1

, , x
k
nếu
x =
k

j=1
λ
j
x
j
, λ
j
≥ 0 (j = 1, , k),
k

j=1
λ
j
= 1.
Mệnh đề 1.1. Tập hợp D là lồi khi và chỉ khi nó chứa mọi tổ hợp lồi của các
điểm của nó. Tức là D lồi khi và chỉ khi
∀k ∈ N, ∀λ
1
, , λ
k
> 0 :
k

j=1

λ
j
= 1, ∀x
1
, , x
k
∈ D ⇒
k

j=1
λ
j
x
j
∈ D.
Định nghĩa 1.6. Siêu phẳng trong không gian R
n
là một tập hợp các điểm có
dạng
{x ∈ R
n
| a, x = α},
trong đó a ∈ R
n
là một véc-tơ k h ác 0 và α ∈ R. Véc-tơ a thường được gọi là véc-tơ
pháp tuyế n của siêu phẳng.
Một siêu phẳng sẽ chia không gian ra hai nửa không gian. Nửa không gian
được định ngh ĩa như sau:
Định nghĩa 1.7. Nửa k hô ng gian là một tập hợp có dạng
{x | a, x ≥ α},

trong đó a = 0 và α ∈ R.
Đây là nửa không gian đóng. Tập
{x | a, x > α},
8
là nửa không gian mở.
Định nghĩa 1.8. Một điểm a của một tập lồi D gọi là điể m trong tương đối nếu
với mọi x ∈ D đều có một số λ > 0 để cho a + λ(x − a) ∈ D. Tập cá c điểm trong
tương đối của D được ký hiệu là riD.
Định nghĩa 1.9. Một tập D được gọi là nón nếu
∀λ > 0, ∀x ∈ D ⇒ λx ∈ D.
Một nón được gọi là nón lồi nếu nó đồng thời là một tập lồi. M ột nón được gọi
là nón nhọn nếu nó không chứa đường thẳng. Nếu nón này là một tập lồi đa
diện thì ta nói nó là nón lồi đa diện.
Định nghĩa 1.10. Cho D ⊆ R
n
là một tập lồi và x ∈ D.
(i) Tập
N
D
(x) := {ω ∈ R
n
| ω, y −x ≤ 0, ∀y ∈ D},
được gọi là nón pháp tuyến ngoài của D tại x và tập −N
D
(x) được gọi là nón
pháp tuyế n trong của D tại x.
(ii) Tập
N

D

(x) := {ω ∈ R
n
| ω, y −x ≤ , ∀y ∈ D},
được gọi là nón pháp tuyến  của D tại x.
Hiển nhiên 0 ∈ N
D
(x) và dùng định nghĩa ta có N
D
(x) là một nón lồi đóng .
Định nghĩa 1 .11. Bao lồi của một tập D là giao của tất cả các tập lồi chứa D.
Bao lồi của một tập D được ký hiệu là coD.
Bao lồi đóng của một tập D là tập lồi đóng nhỏ nhất chứa D. Ta ký hiệu bao
đóng c ủa một tập D là
coD.
Bao affine của D là giao của tất cả các tập affine chứa D. Bao affine của
một tập D được ký hiệu là affD.
Định nghĩa 1.1 2. Cho x
1
, x
2
, , x
k
, x
k+1
∈ R
n
. Bao lồi của x
1
, x
2

, , x
k
, x
k+1
được ký hiệu là H(x
1
, x
2
, , x
k
, x
k+1
) là một đa diện lồi. Nếu x
k+1
− x
1
, x
k
−
x
1
, , x
2
−x
1
là các véc-tơ độc lập tuyến tính thì H(x
1
, x
2
, , x

k
, x
k+1
) được gọi là
9
một đơn hình k chiều với các đỉnh x
1
, x
2
, , x
k
, x
k+1
.
Định nghĩa 1.13. Cho hai tập C và D khác rỗng.
(i) Ta nói siêu ph ẳng a, x = α tác h C và D nếu
a, x ≤ α ≤ a, y, ∀x ∈ C, ∀y ∈ D.
(ii) Ta nói siêu phẳng a, x = α tách c hặt C và D nếu
a, x < α < a, y, ∀x ∈ C, ∀y ∈ D.
(iii) Ta nói siêu p hẳng a, x = α tác h mạnh C và D nếu
sup
x∈C
a, x < α < inf
y∈D
a, y.
Định lý 1.1. (Định lý tách 1). Cho C và D là hai tập lồi khác rỗng trong R
n
sao cho C ∩D = ∅. Khi đó có một siêu phẳng tách C và D.
Định lý 1 .2. (Định lý tách 2). Cho C và D là hai tập lồi đóng khác rỗng sao
cho C ∩D = ∅. Giả sử có ít nhất một tập là compact. Khi đ ó hai tập này có thể

tách mạnh được bởi một siêu phẳng.
Chú ý. Nếu thiếu giả thiết "một trong hai tập là compact" thì Định lý 1.2
không còn đún g . Ví dụ C =

(x, y) ∈ R
2
| y ≥ e
x

và D =

(x, y) ∈ R
2
| y ≤ 0

là
hai tập lồi đóng, rời nhau nhưng không tách mạnh (xem Hình 1(b)).
Hình 1: (a) - Hai tập lồi C và D được tách chặt bởi một siêu phẳng; (b) - Hai tập
lồi C và D tách nhưng không tách mạn h; (c) - Tập C và D gi ao nhau bằng rỗng
nhưng không thể tách được vì D không phải tập lồi
Hệ quả 1.1. (Bổ đề Farkas) Cho a ∈ R
n
và A là ma trận cấp m × n. Khi đó
10
a, x ≥ 0 , với mọi x thỏa mãn Ax ≥ 0, khi và chỉ khi tồn tại y ≥ 0 thuộc R
m
sao
cho a = A
T
y.

Ý nghĩa hình học của bổ đề Farkas: Siêu ph ẳ ng đi qua gốc tọa độ a, x = 0,
để nón Ax ≥ 0 về một phía của nó khi và chỉ khi véc-tơ pháp tuyến a của s iêu
phẳng nằm trong nón sinh bởi các hàng của ma trận A.
Định nghĩa 1.14. Cho D = ∅ (không nhất thiết lồi) và y là một véc-tơ bất kỳ,
đặt
d
D
(y) := inf
x∈D
x − y.
Ta nói d
D
(y) là khoảng cách từ y đến D. Nếu tồn tại π ∈ D sao cho d
D
(y) = y − π,
thì ta nói π là hình chiếu (vuông góc) của y trên D và ký hiệu là π = P
D
(y).
Theo định nghĩa, ta thấy rằng hình chiếu P
D
(y) của y trên D là nghiệm của
bài toán tối ưu
min
x∈D

1
2
x − y
2
: x ∈ D


.
Nói cách khác việc tìm hình chiếu của y trên D có thể đưa về việc tìm cực tiểu
của h à m toàn phương x − y
2
trên D. Nếu D = ∅ thì d
D
(y) hữu hạn, vì
0 ≤ d
D
(y) ≤ x −y, ∀x ∈ D.
Mệnh đề 1.2. Cho D là một tập lồi đóng khác rỗng. Khi đó
(i) Với mọi y ∈ R
n
, π ∈ D hai tính chất sau là tương đương
(a) π = P
D
(y),
(b) y −π ∈ N
D
(π).
(ii) Với mọi y ∈ R
n
, hình chiếu P
D
(y) của y trên D luôn tồn tại và duy nhất.
(iii) P
D
(x) − P
D

(y) ≤ x −y, ∀x, y ∈ R
n
(tính không giãn).
(iv) P
D
(x) − P
D
(y)
2
≤ P
D
(x) − P
D
(y), x − y, ∀x, y ∈ R
n
(tính đồng bức).
1.2 Hàm lồi
Trong phần này ta chỉ xét những hàm f không nhận giá trị −∞.
Định nghĩa 1.15. Cho một hàm số f xác định trên tập lồi D ⊂ R
n
.
11
Hàm f được gọi là hàm lồi trên D nế u
f(λx + (1 −λ)y) ≤ λf(x) + (1 − λ)f(y), ∀x, y ∈ D, ∀λ ∈ (0, 1).
Hàm f được gọi là hàm lồi chặt trên D nếu
f(λx + (1 −λ)y) < λf ( x) + (1 − λ)f (y), ∀x, y ∈ D , ∀λ ∈ (0, 1).
Hàm f được gọi là hàm lồi mạnh trên D với hệ số η > 0 nếu
f(λx + (1 −λ)y) < λf ( x) + (1 − λ)f(y) −
1
2

ηλ(1 − λ) x −y
2
, ∀x, y ∈ D, ∀λ ∈ (0, 1 ) .
Miền hữu dụng của f là
domf := {x ∈ D | f(x) < +∞}.
Trên đồ thị của f là tập
epif := {(x, µ) ∈ D ×R | f (x) ≤ µ}.
Hàm f được gọi là một hàm lõm (lõm chặt) trên D nếu −f là hàm lồi (lồi
chặt) trên D.
Hàm lồi f : X → R ∪{+∞} có thể được mở rộng thành một hàm lồi trên toàn
không gian R
n
bằng cách đặt f(x) = +∞ nế u x /∈ domf. Vì vậy để đ ơn giản, ta
thường xét f là hàm lồi trên R
n
.
Định nghĩa 1.16. C ho hàm lồi f x á c định trên tập lồi C ⊆ R
n
, hàm lồi g xác
định trên tập lồi D ⊆ R
n
và số thực λ > 0. Các phép toán λf, f + g, max {f, g}
được định nghĩa như sau:
(λf)(x) := λf (x), x ∈ C;
(f + g)(x) := f (x) + g(x), x ∈ C ∩D;
max {f, g} := max {f(x), g(x)}, x ∈ C ∩ D.
12
Kết quả sau dễ dàng được suy ra từ Định ngh ĩa 1.16, nhưng rất bổ ích.
Định lý 1.3. Cho f và g là các hàm lồi trên tập lồi C và D tương ứng. Khi đó
các hàm số αf + βg, (∀α, β ≥ 0) và max {f, g} cũng lồi trên C ∩D.

Một hàm lồi có thể không liên tục tại một điểm trên biên miền xác định của
nó. Tuy nhiên, nó liên tục tại mọi đ iểm trong của tập đó theo định lí sau:
Định lý 1.4. Một hàm lồi x ác định trên tập lồi D thì liên tục tại mọi điểm trong
của D.
Nhận xét. Sự gián đoạn của hàm lồi chỉ có thể xảy ra tại biên của tập xác
định.
Ví dụ 1.1. Xét hàm một biến trên tập X = (∞, 1]
f(x) =





x
2
nếu x < 1,
2 nếu x = 1.
Dễ thấy epif ⊂ R
2
là tập lồi. Do đó f là hàm lồi trên X. Hàm f là liên tục
trên X\{1}. Tại x = 1 hàm f là nửa liên tục trên.
Tính chất sau đây đặc trưng cho mộ t hàm lồi khả vi và thuận lợi để kiểm
tra tính lồi của một hàm số. Ký hiệu f

(x) hoặc ∇f(x) là đạo hàm của f tại x.
Định lý 1.5. Cho f : D → R là một hàm khả vi trên tập lồi mở D. Điều kiện
cần và đủ để f lồi trên D là
f(x) + ∇f (x), y −x ≤ f(y), ∀x, y ∈ D.
Với hàm một biến f xác định trên tập lồi D ⊆ R ta đã biết: f là hàm lồi trên
D khi và chỉ khi f


(x) ≥ 0 với mọi x ∈ D. Chẳ ng hạn, hàm f(x) = e
x
là hàm lồi
trên R.
Định lý 1.6. Cho f : D → R là hàm khả vi hai lần trên tập lồi mở D. Khi đó,
(i) Hàm f là lồi trên D khi và chỉ khi ma trận Hesian H(x) của f tại x xác định
không âm trên D, tức là
y
T
H( x)y ≥ 0, ∀x ∈ D, y ∈ R
n
.
13
(ii) Hàm f là lồi chặt trên D nếu ma trận Hesian H(x) của f tại x xác định
dương trên D, tức là
y
T
H( x)y > 0, ∀x ∈ D, y ∈ R
n
\{0}.
Như vậy, một dạ ng toàn phương x
T
Qx là một hàm lồi khi và chỉ khi Q xác
định không âm. Một dạng toàn ph ương là một hàm lồi chặt khi và chỉ khi ma
trận của nó xác định dư ơng.
Tính khả vi của một hàm lồi giữ vai trò quan trọng trong các phương pháp
tối ưu hóa. Lớp các hàm lồi có những tính chất khả vi rất đẹp mà các lớp hàm
khác không có. Giả sử f : R
n

→ R ∪ {+∞} là hà m lồi. Ta có các khái niệm sau:
Định nghĩa 1.17. Ta gọi đạo hàm theo hướng d của một hàm f (không nhất
thiết là lồi) tại điểm x là đại lượng
f

(x, d) := lim
λ→0
+
f(x + λd) −f(x)
λ
nếu giới hạn này tồn tại.
Định lý 1.7. Nếu f là một hàm lồi trên tập lồi D thì với mọi x ∈ D và mọi d
sao cho x + d ∈ D, đạo hàm theo hướng d của f tại x luôn tồn tại và nghiệm
đúng
f

(x, d) ≤ f(x + d) −f(x).
Ngoài ra với mỗi điểm x cố định, f

(x, .) là một hàm lồi trên tập lồi {d : x + d ∈ D}.
Từ định lý n ày dễ dàng suy ra rằng nếu f khả v i thì
f

(x, d) = ∇f(x), d, ∀d. (1.1)
Định nghĩa 1.18. Véc-tơ w ∈ R
n
được gọi là dưới đạo hàm của f tại x
0
∈ R
n

nếu
w, x − x
0
 ≤ f(x) −f(x
0
), ∀x ∈ R
n
.
Tập hợp tất cả các dưới d của hàm f tại x
0
được gọi là dưới vi phân của f tại
x
0
, ký hiệu là
∂f(x
0
) :=

w ∈ R
n
: w, x − x
0
 ≤ f(x) −f(x
0
), ∀x ∈ R
n

.
14
Hàm f được gọi là khả dưới vi phân tại x

0
nếu ∂f(x
0
) = ∅.
Nói chung một hàm lồi không nhấ t thiết khả vi tại mọi điểm. Dưới vi phân
là một khái niệm mở rộng của đạo hàm trong trường h ợp hàm không khả vi.
Trong trường hợp ∂f(x
0
) chỉ gồm duy nhất một điểm thì f khả vi tại x
0
.
Ví dụ 1.2. Hàm chỉ
f(x) = δ
D
(x) :=





0 nếu x ∈ D,
+∞ nếu x /∈ D.
Trong đó D là một tập lồi khác ∅.
Khi đó với x
0
∈ D, ta có
∂f(x
0
) = ∂δ
D

(x
0
) =

w | w, x − x
0
 ≤ δ
D
(x), ∀x

.
Với x /∈ D thì δ
D
(x) = ∞, nên bất đẳng thức này luôn đúng.
Vậy ∂f (x
0
) = ∂δ
D
(x
0
) =

w | w, x − x
0
 ≤ 0, ∀x ∈ D

= N
D
(x
0

).
Vậy dưới vi phân của hàm chỉ của một tập lồi D khác ∅ tại một điểm x
0
∈ D
chính là nón pháp tuyến ngoài của D tại x
0
.
Định nghĩa 1.19. Cho  > 0. Một véc-tơ w ∈ R
n
được gọi là một −dưới đạo
hàm của f tại x
0
∈ R
n
nếu
w, x − x
0
 ≤ f ( x) −f(x
0
) + , ∀x ∈ R
n
.
Tập hợp tất cả các −dưới đạo hàm gọi là −dưới vi phân của f tại x
0
, ký hiệu
là
∂

f(x
0

) :=

w ∈ R
n
: w, x − x
0
 ≤ f ( x) −f(x
0
) + , ∀x ∈ R
n

.
Cũng có trường hợp tồn tại những điểm x
0
tại đó f không có dưới vi phân,
nghĩa là tập ∂f(x
0
) có thể là một tập rỗng. Tuy nhiên, đối với hàm lồi, ta c ó
định lý sau:
Định lý 1.8. Cho f là một hàm lồi (hữu hạn) trên tập lồi D. Lúc đó f có dưới
vi phân tại mọi điểm thuộc riD.
15
Từ định lý này suy ra rằng nếu f là một hàm lồi trên toàn khôn g gian R
n
thì nó có dưới vi phân tại mọi điểm, vì riR
n
= R
n
.
Định nghĩa 1.20. Cho D ⊆ R

n
là tập lồi, f : D → R là hàm lồi và  ≥ 0. Xét
bài toán quy hoạch
min {f (x) | x ∈ D} (P )
Một điểm x

∈ D được gọi là điểm −cực tiểu của f trên D nếu f (x

) ≤ f(x) + 
với mọi x ∈ D.
Mệnh đề 1.3. Véc-tơ x

∈ D là −tối ưu của bài toán (P) k hi và chỉ khi
0 ∈ ∂

f(x

).
Chứng minh. Giả sử x

∈ D là −tối ưu của bài toán (P). Khi đó
f(x

) ≤ f (x) + , ∀x ∈ D.
Suy ra
0, x − x

 ≤ f ( x) −f(x

) + , ∀x ∈ D ⇔ 0 ∈ ∂


f(x

).
Ngược lại, nếu 0 ∈ ∂

f(x

) thì ta có
0, x − x

 ≤ f(x) −f(x

) + , ∀x ∈ D.
Chứng tỏ x

là −tối ưu của bà i toán (P).
✷
Định nghĩa 1.21. Cho D là tập lồi đóng khác rỗng trong R
n
, x ∈ R
n
và  ≥ 0.
Một điểm p
x
được gọi là −chiếu của x trên D nếu p
x
là một −tối ưu của bài
toán
min

y∈D

1
2
x − y
2

(Q)
nghĩa là
1
2
x − p
x

2
≤
1
2
x − P
D
(x)
2
+ ,
16
trong đó P
D
(x) là hình chiếu của x trên D.
Mệnh đề 1.4. Cho D là tập lồi đóng khác rỗng. Khi đó p
x
là −chiếu của x

trên D khi và chỉ khi
x − p
x
, p
x
− y ≥ −, ∀y ∈ D. (1.2)
Chứng minh. Giả sử p
x
là −chiếu của x trên D. Ta có
min
y∈D
1
2
x − y
2
= min

1
2
x − y
2
+ δ
D
(y)

(1.3)
trong đó δ
D
(y) là hàm chỉ của y trên tập D.
Đặt

f(y) :=
1
2
x − y
2
, x ∈ R
n
.
Theo Định n g hĩa 1.20, p
x
là −tối ư u của bà i toán (1.3). Từ Mệnh đ ề 1.3 ta được
0 ∈ ∂

[f(p
x
) + δ
D
(p
x
)] = ∂

f(p
x
) + ∂

δ
D
(p
x
). (1.4)

Theo Ví dụ 1.2, ∂

δ
D
(p
x
) = N

D
(p
x
) nên từ (1.4) ta có
0 ∈ {−x + p
x
} + N

D
(p
x
).
Suy ra
(x − p
x
) ∈ N

D
(p
x
) ⇔ x −p
x

, w − p
x
 ≤ , ∀w ∈ D.
Ngược lại, giả sử có (1.2). Ta có
x − P
D
(x)
2
= x − p
x

2
+ 2x −p
x
, p
x
− P
D
(x) + p
x
− P
D
(x)
2
≥ x − P
D
(x)
2
= x − p
x


2
+ 2x − p
x
, p
x
− P
D
(x).
Suy ra
x − P
D
(x)
2
≥ x − p
x

2
− 2.
Chứng tỏ p
x
là −chiếu của x trên D.
✷
17
Chương 2
Cực tiểu hàm l ồi với ràng buộc lồi
Chương này trình bày điều kiện cần và đủ của nghiệm tối ưu cho bài toán
lồi trơn và không trơn. Tiếp theo trình bày một số thuật toán cơ b ả n nhất dùng
để giải bài toán cực tiểu hàm lồi với ràng buộc lồi. Đó là các thuật toán hướng
có thể, Frank-Wolfe giải bài toán cực tiểu hàm trơn và thuật toán chiếu dưới

đạo hàm xấp xỉ giải bài toán cực tiểu hàm không trơn. Các kiến thức trình bày
trong chương này được tham khảo chủ yếu từ tài liệu tham khảo [1], [2], [3], [4],
[5], [6] và [7].
2.1 Phát biểu bài toán và điều kiện tối ưu
2.1.1 Các khái niệm
Xét bài toán tìm cực tiểu một hàm lồi trên một tập lồi có dạng sau
min {f (x) | x ∈ D}, (P )
trong đó
D = {x ∈ X | g
i
(x) ≤ 0, h
j
(x) = 0, (i = 1, , m, j = 1, , k)} (2.1)
với X ⊆ R
n
là một tập lồi đóng khác rỗn g và f, g
i
(i = 1, , m) là các hàm lồi
hữu hạn trên X, h
j
(j = 1, , k) là các hàm affine hữu hạn trên tập affine của
18
X. Ta sẽ luôn giả sử rằng X có điểm trong và các hàm affine h
j
(j = 1, , k) độc
lập tuyến tính trên X, theo nghĩa, nếu
k

j=1
µ

j
h
j
(x) = 0 với mọi x ∈ X, thì µ
j
= 0
với mọi j.
Bài toán (P ) này được g ọ i là một qu y hoạch lồi. Hàm f được g ọ i là hàm mục
tiêu. Các điều kiện x ∈ X, g
i
(x) ≤ 0 (i = 1, , m), h
j
(x) = 0 (j = 1, , k) được g ọ i
là các ràng buộc.
Tập D = {x ∈ X | g
i
(x) ≤ 0, h
j
(x) = 0, (i = 1, , m, j = 1, , k)} được gọi là
miền chấp nhận được.
Bài toán (P ) được hiểu là hãy tìm một điểm x
∗
∈ D sao cho f (x
∗
) ≤ f (x) với
mọi x ∈ D. Mỗi điểm x ∈ D được gọi là một phư ơng án chấp nhận được của bài
toán (P ).
Do X là tập lồi, g
i
(i = 1, , m) là các hàm lồi hữu hạn trên X, h

j
(j = 1, , k)
là các hàm affine hữu hạn trên tập affine của X nên D là một tập lồi. Điểm cực
tiểu của f trên D cũng được gọi là nghiệm tối ưu của bài toán (P ). Ta xây dựng
hàm sau, được gọi là hàm Lagrange cho bài toán (P )
L(x, λ, µ) := λ
0
f(x) +
m

i=1
λ
i
g
i
(x) +
k

j=1
µ
j
h
j
(x).
Bài toán (P ) với miền chấp nhận được D như trên gọi là trơn (khả vi) nếu cả
hàm mục tiêu và các ràng buộc đều trơn và X ≡ R
n
.
Bài toán (P ) có rất nhiều ứng dụng trong cá c lĩnh vực khác nhau. Ví dụ,
trong kinh tế nó là b à i toán x á c định phương án sản xuất sao cho chi phí thấp

nhất. Trong ví dụ này, x là phương án sản xuất mà mỗi tọa độ x
i
của nó là số
lượng sản phẩm loại i cần sản xuất, còn f(x) là chi phí ứng với phương án x. Bài
toán (P ) trong mô hình này có nghĩa là tìm một phương án sản xuất trong tập
hợp các phương án chấp nhận được D sao cho chi phí sản xu ấ t ứng với phương
án này là thấp nhất.
Định nghĩa 2.1 . Điểm x
∗
∈ D được gọi là cực tiểu địa phương của f trên D
19
nếu tồn tại một lân cận U của x
∗
sao cho
f(x
∗
) ≤ f (x), ∀x ∈ U ∩ D.
Điểm x
∗
∈ D được gọi là cực tiểu toàn cục của f trên D nếu
f(x
∗
) ≤ f (x), ∀x ∈ D.
Các khái niệm cực đại địa phương và cực đại toàn cục được định nghĩa tương
tự. Đối với hàm tùy ý f trên tập D, ta ký hiệu tập tất cả các điểm cự c tiểu (cực
đại) toàn cục của f trên D là Argmin
x∈D
f(x) (Argmax
x∈D
f(x)) .

Do min {f(x) : x ∈ D} = − max {−f(x) : x ∈ D} và tập nghiệm của hai bài
toán này trùng nhau nên lý thuyết cực tiểu (hay cực đại) hàm lồi cũng chính là
lý thuyết cực đại (hay cự c tiểu) hàm lõm.
Bổ đề 2.1. Cho f là một hàm lồi mạnh, khi đó với mọi d ∈ R
n
hàm số
ϕ
d
(x) := f(x) +
1
2
x
2
− d , x
thỏa mãn điều kiện bức, theo nghĩa ϕ
d
(x) → +∞ khi x → ∞.
Chứng minh. D o d o mf = ∅, nên có c ∈ ∂f(y). Vậy y ∈ domf. Theo định nghĩa
của d ưới vi phân, ta suy ra
ϕ
d
(x) ≥ f (y) +
1
2
x
2
− d , x+ c, x − y
= f(y) − c, y+
1
2

x
2
+ c −d, x.
Vì
1
2
x
2
+ c −d, x ≥
1
2
x
2
− c − dx → ∞ khi x → ∞.
Vậy ϕ
d
(x) → +∞ khi x → ∞.
✷
Định lý 2.1. Cho (P ) là một bài toán quy hoạch lồi. Khi đó:
(i) Nếu x
∗
là nghiệm tối ưu địa phương thì x
∗
cũng là nghiệm tối ưu toàn c ục.
(ii) Nếu f lồi chặt thì x
∗
là nghiệm tối ưu toàn cục duy nhất của bài toán (P ).
20
(iii) Nếu f lồi mạnh thì bài toán (P ) luôn tồn tại nghiệm.
Chứng minh.

(i) Giả s ử x
∗
∈ D là một nghiệm tối ưu địa phương của bài toán (P). Theo
định n g hĩa, tồn tại một −lân cận B(x
∗
, ) của điểm x
∗
∈ D sao cho
f(x
∗
) ≤ f (x) ∀x ∈ B(x
∗
, ) ∩D.
Với bất kỳ x ∈ D, ta có
¯x = λx + (1 − λ)x
∗
= x
∗
+ λ(x −x
∗
) ∈ B(x
∗
, ) ∩ D
khi 0 < λ < 1 và λ đủ nhỏ. Do x
∗
là nghiệm cực tiểu địa phương và f là hàm lồi
nên
f(x
∗
) ≤ f (¯x) ≤ λf(x) + (1 − λ)f(x

∗
) ⇒ f (x
∗
) ≤ f (x).
Điều đó chứng tỏ x
∗
là nghiệm tối ưu toàn cụ c của bài toán (P ).
(ii) Giả sử x
∗
là nghiệm tối ư u địa phương và hàm mục tiêu f là lồi chặt.
Vì hàm lồi chặt là hàm lồi nên từ (i) ta có x
∗
là nghiệm tối ưu toàn cục. Giả
sử phản chứng x
∗
không phải là nghiệm tối ưu toàn cục duy nhất, tức tồn tại
¯x ∈ D, ¯x = x
∗
và f(¯x) = f (x
∗
). Do f là hàm lồi chặt nên
f

1
2
¯x +
1
2
x
∗


<
1
2
f(¯x) +
1
2
f(x
∗
) = f(x
∗
).
Do D là tập lồi nên

1
2
¯x +
1
2
x
∗

∈ D và bất đẳng thức trên mâu thuẫn với
giả thiết x
∗
là nghiệm tối ư u toàn cục, vậy x
∗
là nghiệm tối ư u toàn cục duy
nhất của bài toán (P ).
(iii) Dễ th ấy f lồi mạnh trên với hệ số η > 0 khi và chỉ khi hàm

ϕ(x) = f(x) −
η
2
x
2
lồi trên D.
Áp dụng Bổ đề 2.1 ta đư ợc ϕ(x) thỏa mãn điều kiện bức, theo ngh ĩa ϕ(x) → +∞
khi x → ∞. Điều này chứng tỏ nếu f lồi mạnh thì bài toán (P ) luôn tồn tại
nghiệm (xem Định lý 2 .4).
✷
21
2.1.2 Sự tồn tại nghiệm tối ưu
Xét bài toán tối ưu toàn cục (P ). Có bốn trường hợp xảy ra:
• D = ∅ (không có nghiệm).
• f không bị chặn dưới trên D ( inf
x∈D
f(x) = −∞).
• f bị chặn dưới trên D nhưng giá trị cực tiểu k hông đạt được trên D.
• Tồn tại x
∗
∈ D sao cho f(x
∗
) = inf
x∈D
f(x).
Định lý 2.2. Điều kiện cần và đủ để tồn tại nghiệm tối ưu toàn cục của bài
toán (P ) là
F
+
(D) := {t ∈ R : f(x) ≤ t, x ∈ D},

đóng v à bị c hặ n dưới.
Chứng minh. Nếu x
∗
là ng hiệm tối ưu thì F
+
(D) = [f(x
∗
), +∞] đóng và bị chặn
dưới.
Ngược lại, giả sử F
+
(D) bị chặn dưới. Đặt t
∗
= inf F
+
(D) thì t > −∞. Do F
+
(D)
đóng, t
∗
∈ F
+
(D) nên tồn tại x
∗
∈ D sao cho f(x
∗
) = t
∗
. Chứng tỏ x
∗

là một
nghiệm cực tiểu của f trên D.
✷
Định lý 2.3. (Weierstrass) Nếu D là tập compact và f nửa liên tục dưới trên
D thì bài toán (P ) có nghiệm tối ưu.
Chứng minh. Đặt α := inf
x∈D
f(x). Theo định nghĩa có một dãy

x
k

⊂ D sao
cho lim
k→+∞
f(x
k
) = α. Do D compa ct nên có mộ t dãy con hội tụ về x
0
∈ D, không
giảm tính tổng quát ta có thể coi x
k
→ x
0
. Vì f nửa liên tục dưới nên α > −∞.
Nhưng x
0
∈ D nên theo định nghĩa của α, ta phải có f (x
0
) ≥ α. Vậy f(x

0
) = α.
✷
Định lý 2.4. Nếu f nửa liên tục dưới trên D và thỏa mãn điều kiện bức sau
f(x) → +∞ k hi x ∈ D, x → +∞
22
thì f có cực tiểu trên D.
Chứng minh. Đặt D(a) := {x ∈ D | f (x) ≤ f(a)} với a ∈ D. Rõ ràng, D(a) đón g
và bị chặn nên f có cực tiểu trên D(a) và điểm đó cũng chính là điểm cực tiểu
của f trên D.
✷
2.1.3 Điều kiện tối ưu
1) Trường hợp không khả vi
Định lý 2.5. Giả sử D là một tập lồi và f là một hàm lồi, khả dưới vi phân
trên D. Khi đó x
∗
là nghiệm tối ưu của bài toán (P ) nếu và chỉ nếu
0 ∈ ∂f (x
∗
) + N
D
(x
∗
) (2.2)
trong đó N
D
(x
∗
) là nón pháp tuyến của D tại x
∗

.
Chứng minh.
(i) Điều kiện đủ: Giả sử có (2.2). Khi đó tồn tại p
∗
sao cho
p
∗
∈ ∂f(x
∗
) ∩ (−N
D
(x
∗
)).
Do p
∗
∈ ∂f(x
∗
) nên
p
∗
, x − x
∗
 ≤ f(x) −f(x
∗
), ∀x
và vì p
∗
∈ N
D

(x
∗
) nên
p
∗
, x − x
∗
 ≥ 0, ∀x ∈ D.
Vậy
f(x) − f(x
∗
) ≥ 0, ∀x ∈ D,
chứng tỏ x
∗
là nghiệm tối ưu của bài toá n (P ).
(ii) Điều kiện cần: Giả sử x
∗
là nghiệm tối ưu củ a bài toán (P ). Bằng cách
lấy không gian affine của D, ta có thể giả sử D là một tập có số chiều đầy đ ủ.
Do D là tập lồi, intD = ∅. Xét hai tập sau
E := {(t, x) ∈ R × R
n
: t > f (x) − f(x
∗
), x ∈ D}; G := {0} × D.
23
Cả E và G đều là tập lồi (do D và f lồi). Hơn nữa, G ∩ E = ∅. Áp dụng định lý
siêu phẳng tách tồn tại (u
0
, u) = 0 ∈ R × R

n
sao cho
u
0
t + u
T
x ≤ u
0
0 + u
T
y, ∀(t, x) ∈ E, ∀y ∈ D. (2.3)
Từ (2.3), cho t → +∞, ta thấy u
0
≤ 0. Cũng từ (2.3) nếu u
0
= 0 thì
u, x − y ≤ 0, ∀x, y ∈ D
hay
u, z ≤ 0, ∀z ∈ D −D = C. (2.4)
Hiển nhiên, 0 ∈ C và bằng phép tịnh tiến ta có thể giả sử 0 ∈ intC. Theo (2.4)
ta có u = 0 (không xảy ra vì u
0
= 0). Do đó u
0
< 0. Chia cả hai vế của (2.3) cho
−u
0
> 0, ta có
−t + u
T

x ≤ u
T
y, ∀x, y ∈ D.
Cho t → f(x) − f( x
∗
), ta được
−[f (x) −f(x
∗
)] + u
T
x ≤ u
T
y, ∀x, y ∈ D. (2.5)
Thay y = x
∗
vào (2.5), ta được
−[f (x) −f(x
∗
)] + u
T
x ≤ u
T
x
∗
, ∀x ∈ D.
Do đó
f(x
∗
) − f(x) + u
T

(x − x
∗
) ≤ 0, ∀x ∈ D. (2.6)
Nếu x /∈ D, bằng cách lấy f(x) = ∞ nên từ (2.6) ta cũng nhận được
f(x
∗
) − f(x) + u
T
(x − x
∗
) ≤ 0, ∀x ∈ X.
nghĩa là u ∈ ∂f(x
∗
). Mặt khác, thay x = x
∗
vào (2.5) ta có
u
T
(y −x
∗
) ≥ 0, ∀y ∈ D.
24
Suy ra −u ∈ N
D
(x
∗
). Kết h ợp với u ∈ ∂f(x
∗
), ta được 0 ∈ ∂f(x
∗

) + N
D
(x
∗
).
✷
Hệ quả 2.1 Với các giả thiết như Định lý 2.5, nếu x
∗
∈ intD là nghiệm tối ưu
của bài toán (P ) thì 0 ∈ ∂f (x
∗
). Hơn nữa, nếu f khả v i và D = R
n
thì 0 = ∇f (x
∗
).
Định lý 2.6. (Karush-Kuhn-Tucker) Nếu x
∗
là nghiệm tối ưu của bài toán
(P ) với D được cho bởi (2.1), thì tồn tại λ
∗
i
≥ 0 (i = 0, , m) và µ
∗
j
(j = 1, , k)
không đồng thời bằng 0 sao cho
L(x
∗
, λ

∗
, µ
∗
) = min
x∈X
L(x, λ
∗
, µ
∗
) (điều kiện đạo hàm triệ t tiêu).
λ
∗
i
g
i
(x
∗
) = 0 (i = 1, , m) (điều kiện độ lệch bù).
Hơn nữa nếu intX = ∅ và điều kiện Slater sau thỏa mãn
∃x
0
∈ X : g
i
(x
0
) < 0 (i = 1, , m)
thì λ
∗
0
> 0 và hai điều kiện đạo hàm triệt tiêu và độ lệch bù ở trên, cũng là điều

kiện đủ để điểm chấp nhận được x
∗
là nghiệm tối ưu của bài toán (P ).
Chứng minh. Giả sử x
∗
là nghiệm tối ưu của bài toán (P ). Đặt
C := {(λ
0
, λ
1
, , λ
m
, µ
1
, , µ
k
) | (∃x ∈ X) :
f(x) − f(x
∗
) < λ
0
, g
i
(x) ≤ λ
i
, i = 1, , m, h
j
(x) = µ
j
, j = 1, , k}.

Do X = ∅ lồi, f, g
i
là các hàm lồi và h
j
là hàm affine trên X nên C là một
tập lồi đóng, kh á c rỗng trong R
m+k+1
. Hơn nữa 0 /∈ C. Thật vậy, vì nếu trái lại
0 ∈ C thì tồn tại một điểm chấp nhận được x th ỏ a mãn f (x) < f(x
∗
). Điều này
mâu thuẫn với giả thiết x
∗
là nghiệm tối ưu củ a bà i toán (P ).
Khi đó theo Định lý tách 1, có thể tách các tập C và 0, tức là tồn tại
λ
∗
i
(i = 0, 1, , m), µ
∗
j
(j = 1, , k) không đồng thời bằng 0 sao cho
m

i=0
λ
∗
i
λ
i

+
k

j=1
µ
∗
j
µ
j
≥ 0, ∀(λ
0
, , λ
m
, µ
1
, , µ
k
) ∈ C. (2.7)
25