Một số phương pháp cơ bản giải quy hoạch lồi

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC KHOA HỌC
NGUYỄN ANH TUẤN
MỘT SỐ PHƯƠNG PHÁP CƠ BẢN
GIẢI QUY HOẠCH LỒI
LUẬN VĂN THẠC SĨ TOÁN HỌC
Thái Nguyên - Năm 2011
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC KHOA HỌC
NGUYỄN ANH TUẤN
MỘT SỐ PHƯƠNG PHÁP CƠ BẢN
GIẢI QUY HOẠCH LỒI
Chuyên ngành: TOÁN ỨNG DỤNG
Mã số : 60.46.36
LUẬN VĂN THẠC SĨ TOÁN HỌC
NGƯỜI HƯỚNG DẪN KHOA HỌC
GS.TSKH. LÊ DŨNG MƯU
Thái Nguyên - Năm 2011
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
i
Mục lục
Trang phụ bìa
Mục lục . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ii
Lời cảm ơn 1
Mở đầu 1
1 Kiến thức cơ bản về tập lồi và hàm lồi 3
1.1 Tập lồi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.2 Hàm lồi . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2.1 Hàm lồi và hàm lõm . . . . . . . . . . . . . . . . . . 7
1.2.2 Hàm lồi liên tục . . . . . . . . . . . . . . . . . . . . 11

1.2.3 Dưới vi phân . . . . . . . . . . . . . . . . . . . . . . 13
1.2.4 Hàm lồi mạnh . . . . . . . . . . . . . . . . . . . . . 17
2 Các phương pháp giải quy hoạch lồi không ràng buộc 20
2.1 Bài toán quy hoạch lồi và các tính chất cơ bản . . . . . . . 20
2.2 Thuật toán hướng đạo hàm (dốc nhất) giải quy hoạch lồi. . 25
2.3 Phương pháp Newton. . . . . . . . . . . . . . . . . . . . . . 28
3 Phương pháp giải quy hoạch lồi có ràng buộc 31
3.1 Bài toán quy hoạch lồi có ràng buộc và điều kiện tối ưu . . 31
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
ii
3.1.1 Bài toán quy hoạch lồi có ràng buộc . . . . . . . . . 31
3.1.2 Điều kiện tối ưu . . . . . . . . . . . . . . . . . . . . 33
3.1.3 Định lý (Karush-Kuhn-Tucker) . . . . . . . . . . . . 35
3.1.4 Định lý (Kuhn-Tucker) . . . . . . . . . . . . . . . . 39
3.2 Phương pháp hàm phạt giải quy hoạch lồi có ràng buộc. . . 41
3.2.1 Phương pháp hàm phạt điểm trong . . . . . . . . . 42
3.2.2 Phương pháp hàm phạt điểm ngoài. . . . . . . . . . 45
3.3 Phương pháp Frank – Wolfe . . . . . . . . . . . . . . . . . 47
Kết luận 49
Tài liệu tham khảo 51
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
1
Lời cảm ơn
Nghiên cứu khoa học là một chặng đường đầy khó khăn và thử thách.
Sau hơn một năm làm luận văn, tôi đã trải nghiệm được rất nhiều điều,
rút ra được những bài học bổ ích cho cuộc sống.
Công trình được hoàn thành bên cạnh sự cố gắng của cá nhân là sự
giúp đỡ tận tình của các thầy cô giáo, của đồng nghiệp, của bạn bè và
những người thân.
Trước tiên, tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới

GS.TSKH Lê Dũng Mưu – người thầy đã trực tiếp hướng dẫn, động viên
và giúp đỡ tôi trong quá trình học tập và nghiên cứu để hoàn thành luận
văn này. Kính chúc thầy và gia đình luôn mạnh khỏe, hạnh phúc !
Tôi xin gửi lời cảm ơn tới các thầy cô giáo thuộc bộ môn Toán - Tin,
phòng Đào tạo và quan hệ Quốc tế, các cán bộ khoa Sau đại học trường
Đại học Khoa học – Đại học Thái Nguyên đã dạy dỗ, chỉ bảo tôi trong
suốt hai năm học vừa qua.
Tôi xin cảm ơn các bạn học viên Cao học Toán khóa 3 đã động viên,
giúp đỡ tôi trong quá trình học tập và rèn luyện tại trường, cũng như trong
quá trình nghiên cứu để hoàn thành luận văn.
Tôi xin được bày tỏ sự cảm ơn chân thành của mình tới bạn bè đồng
nghiệp, tới những người thân trong gia đình đã động viên, giúp đỡ tôi về
mọi mặt để tôi có thể hoàn thành khóa học và thực hiện luận văn này.
Mặc dù đã có nhiều cố gắng nhưng luận văn khó tránh khỏi những
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
2
thiếu xót và hạn chế. Tác giả mong nhận được những ý kiến đóng góp của
các thầy cô và bạn đọc để luận văn được hoàn thiện hơn.
Xin trân trọng cảm ơn !
Thái Nguyên, 15 tháng 09 năm 2011.
Người thực hiện
Nguyễn Anh Tuấn
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
1
Mở đầu
Quy hoạch toán học là một bộ môn quan trọng của toán học ứng dụng.
Lớp bài toán quan trọng của quy hoạch toán học là quy hoạch tuyến tính.
Tuy nhiên tính chất tuyến tính nhiều khi không thỏa mãn trong những
trường hợp thực tế. Một tính chất khá gần với tính chất tuyến tính là tính
lồi. Trong đó quy hoạch lồi là lớp bài toán tối ưu có cấu trúc lồi. Một tính

chất cơ bản nhất của bài toán quy hoạch lồi là cực tiểu địa phương cũng
là cực tiểu toàn cục. Điều này cho phép các công cụ địa phương như giới
hạn, đạo hàm được sử dụng rất hiệu quả cho quy hoạch lồi. Chính vì đó
mà tuy mới hình thành và phát triển chưa lâu, nhưng quy hoạch lồi đã có
nhiều kết quả quan trọng cả về lý thuyết và phương pháp giải.
Bản luận văn cao học này nhằm mục đích chủ yếu giới thiệu các phương
pháp cơ bản nhất để giải quy hoạch lồi không ràng buộc. Đó là các phương
pháp hướng giảm, sử dụng đạo hàm cấp một và đạo hàm cấp hai của hàm
lồi khả vi. Tuy nhiên luận văn cũng trình bày thêm các phương pháp hàm
phạt, cho phép chuyển việc giải bài toán quy hoạch lồi có ràng buộc về
việc giải các bài toán quy hoạch lồi không ràng buộc. Để thấy rõ thêm vai
trò của các phương pháp giải quy hoạch lồi không ràng buộc, trong luận
văn cũng có trình bày một thuật toán cơ bản giải trực tiếp quy hoạch lồi
có ràng buộc tuyến tính, đó là phương pháp Frank-Wolf.
Bản luận văn gồm có 3 chương. Chương 1 nhằm mục đích giới thiệu
các kiến thức cơ bản về hàm lồi, tập lồi, sẽ được sử dụng trong các chương
sau. Chương 2 giới thiệu về bài toán quy hoạch lồi, một số khái niệm, định
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
2
lý quan trọng và một số phương pháp giải bài toán. Chương 3 giới thiệu
bài toán quy hoạch lồi có ràng buộc và một số định lý, tính chất quan
trọng từ đó đưa ra một số phương pháp giải bài toán.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
3
Chương 1
Kiến thức cơ bản về tập lồi và hàm lồi
Trong chương này chúng ta nghiên cứu một số kiến thức cơ bản về tập
lồi và hàm lồi. Trong đó các khái niệm và kết quả được lấy từ các tài liệu
[1], [3], [4].
1.1 Tập lồi

Cho hai điểm a, b ∈ R
n
. Tập tất cả các điểm x = (1 − λ)a + λb với
0  λ  1 gọi là đoạn thẳng (đóng) nối a và b, và được ký hiệu là [a, b].
Định nghĩa 1.1. Một tập C ⊆ R
n
được gọi là một tập lồi nếu nó chứa
trọn đoạn thẳng nối hai điểm bất kỳ thuộc nó. Tức là, nếu (1−λ)a+λb ∈ C
với mọi a, b ∈ C và mọi 0  λ  1.
Định nghĩa 1.2. Điểm x ∈ R
n
có dạng
x = λ
1
a
1
+ λ
2
a
2
+ + λ
k
a
k
=
k

i=1
λ
i

a
i
với
a
i
∈ R
n
, λ
i
 0,
k

i=1
λ
i
= 1
được gọi là một tổ hợp lồi của các điểm a
1
, a
2
, , a
k
.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
4
Ta dễ thấy rằng tập C là lồi khi và chỉ khi nó chứa mọi tổ hợp lồi của
các phần tử thuộc nó.
Thứ nguyên (hay số chiều) của một tập lồi C, ký hiệu dim C, là thứ
nguyên hay số chiều của bao afin của nó. Một tập lồi C trong R
n

gọi là
có thứ nguyên đầy nếu dim C = n.
Định nghĩa 1.3. Điểm x ∈ R
n
có dạng
x = λ
1
a
1
+ λ
2
a
2
+ + λ
k
a
k
và
a
i
∈ R
n
,
k

i=1
λ
i
= 1
được gọi là tổ hợp afin của các điểm a

1
, a
2
, , a
k
.
M là một tập afin khi và chỉ khi M chứa mọi tổ hợp afin các phần tử
thuộc nó.
Giao của một họ bất kỳ các tập afin cũng là một tập afin.
Cho E là một tập bất kỳ trong R
n
, có ít nhất một tập afin chứa E, cụ
thể là R
n
.
Mệnh đề 1.1. Tập hợp C là lồi khi và chỉ khi nó chứa mọi tổ hợp lồi của
các điểm của nó. Tức là: C lồi khi và chỉ khi ∀k ∈ N, ∀λ
1
, , λ
k
> 0 :
k

j=1
λ
j
= 1, ∀x
1
, , x
k

∈ C ⇒
k

j=1
λ
j
x
j
∈ C.
Chứng minh. Điều kiện đủ là hiển nhiên từ định nghĩa. Ta chứng
minh điều kiện cần bằng quy nạp theo số điểm. Với k = 2, điều cần chứng
minh suy ra ngay từ định nghĩa của tập lồi và tổ hợp lồi. Giả sử mệnh đề
đúng với k - 1 điểm. Ta cần chứng minh với k điểm.
Giả sử x là tổ hợp lồi của k điểm x
1
, , x
k
∈ C. Tức là
x =
k

j=1
λ
j
x
j
, λ
j
> 0 ∀j = 1, , k,
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên

5
k

j=1
λ
j
= 1.
Đặt
ξ =
k−1

j=1
λ
j
.
Khi đó 0 < ξ < 1 và
x =
k−1

j=1
λ
j
x
j
+ λ
k
x
k
= ξ
k−1


j=1
λ
j
ξ
x
j
+ λ
k
x
k
.
Do
k−1

j=1
λ
j
ξ
= 1
và
λ
j
ξ
> 0 với mọi j = 1, , k -1 nên theo giả thiết quy nạp ta có điểm
y :=
k−1

j=1
λ

j
ξ
x
j
∈ C.
Ta có
x = ξy + λ
k
x
k
.
Do ξ > 0, λ
k
> 0 và
y + λ
k
=
k

j=1
λ
j
= 1,
nên x là một tổ hợp lồi của hai điểm y và x
k
đều thuộc C. Vậy x ∈ C.
Tập các tập lồi là đóng với các phép giao, phép cộng đại số và phép
nhân tích Descartes. Cụ thể, ta có mệnh đề sau:
Mệnh đề 1.2. Nếu A, B là các tập lồi trong R
n

, C là lồi trong R
m
, thì
các tập sau là lồi:
A ∩ B := {x |x ∈ A, x ∈ B } ,
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
6
λA + βB := {x |x = αa + βb, a ∈ A, b ∈ B; α, β ∈ R} ,
A × C :=

x ∈ R
n+m
|x = (a, c) : a ∈ A, c ∈ C

.
Ví dụ 1.1. Các tập sau đây đều là các tập lồi:
a) Các tập afin (nói riêng, các siêu phẳng);
b) Các nửa không gian đóng, các nửa không gian mở;
c) Hình cầu đóng B(a, r) = {x ∈ R
n
: x − a  r};
d) Hình cầu mở B(a, r) = {x ∈ R
n
: x − a < r} với a ∈ R
n
, r > 0.
Định nghĩa 1.4. Ta nói hai tập lồi khác rỗng C, D trong R
n
tách được bởi
siêu phẳng H = {x ∈ R

n
: t, x = α} với t ∈ R
n
\ {0} và α ∈ R, nếu
inf
x∈C
t, x  α  sup
y∈D
t, y . (1.1)
Định lý 1.1. (Định lý tách I). Hai tập lồi C và D trong R
n
khác rỗng,
không có điểm chung có thể tách được bởi một siêu phẳng, nghĩa là tồn tại
vectơ t ∈ R
n
(t = 0)và một số α ∈ R sao cho (1.1) thỏa mãn.
Định nghĩa 1.5. Ta nói hai tập lồi khác rỗng C, D trong R
n
là tách hẳn
bởi siêu phẳng H = {x ∈ R
n
: t, x = α}, nếu
inf
x∈C
t, x > α > sup
y∈D
t, y . (1.2)
Định lý 1.2. (Định lý tách II). Hai tập lồi đóng C và D trong R
n
khác

rỗng, không cắt nhau với ít nhất một trong hai tập này là compact, có thể
tách hẳn bởi một siêu phẳng, nghĩa là tồn tại một vectơ t ∈ R
n
(t = 0) và
một số α ∈ R sao cho (1.2) thỏa mãn.
Định nghĩa 1.6. Một tập được gọi là tập lồi đa diện, nếu nó là giao của
một số hữu hạn các nửa không gian đóng.
Như vậy, theo định nghĩa, tập lồi đa diện là tập hợp nghiệm của một
hệ hữu hạn các bất phương trình tuyến tính. Dạng tường minh của một
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
7
tập lồi đa diện được cho như sau:
D :=

x ∈ R
n



a
j
, x

 b
j
, j = 1, , m

.
Hoặc nếu ta ký hiệu A là ma trận có m hàng là các vectơ a
j

(j = 1,
, m) và vectơ b
T
= (b
1
, , b
m
), thì hệ trên viết được là:
D = {x ∈ R
n
|Ax  b} .
Chú ý rằng do một phương trình a, x = b có thể viết một cách tương
đương dưới dạng hai bất phương trình a, x  b, −a, x  b, nên tập
nghiệm của một hệ hữu hạn các phương trình và bất phương trình cũng
là một tập lồi đa diện.
1.2 Hàm lồi
1.2.1 Hàm lồi và hàm lõm
Định nghĩa 1.7. Hàm f : S → (−∞, +∞] xác định trên một tập hợp lồi
S ⊆ R
n
được gọi là một hàm lồi trên S nếu với mọi x
1
, x
2
∈ S và mọi số
thực λ ∈ [0, 1] ta có
f

(1 − λ)x
1

+ λx
2

 (1 − λ)f(x
1
) + λf(x
2
).
+ Hàm f được gọi là hàm lồi chặt trên S nếu với mọi x
1
, x
2
∈ S, x
1
= x
2
và mọi λ ∈ (0, 1) ta có
f

(1 − λ)x
1
+ λx
2

< (1 − λ)f(x
1
) + λf(x
2
).
Hiển nhiên một hàm lồi chặt là lồi, nhưng điều ngược lại không đúng.

+ Hàm f được gọi là hàm lõm (lõm chặt) trên S nếu -f là lồi (lồi chặt)
trên S; gọi là tuyến tính afin (hay đơn giản là afin) trên S nếu f hữu hạn
và vừa lồi vừa lõm trên S. Một hàm afin trên R
n
có dạng f(x) = a, x+α
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
8
với a ∈ R
n
, α ∈ R, bởi vì với mọi x
1
, x
2
∈ R
n
và mọi λ ∈ [0, 1] ta có
f

(1 − λ)x
1
+ λx
2

= (1 − λ)f(x
1
) + λf(x
2
).
Tuy nhiên, hàm afin không lồi chặt hay lõm chặt.
Định nghĩa 1.8. Cho hàm bất kỳ f : S → (−∞, +∞] với S ⊆ R

n
, các
tập
domf = {x ∈ S : f(x) < +∞}
và
epif = {(x, α) ∈ S × R : f(x)  α} ,
được gọi lần lượt là miền hữu dụng và tập trên đồ thị của hàm f. Nếu domf
khác rỗng (f không đồng nhất bằng +∞) và f(x) > −∞ với mọi x ∈ S thì
ta nói hàm f là chính thường. Nói cách khác, f chính thường nếu domf = ∅
và f hữu hạn trên domf.
Có thể chứng minh rằng hàm f lồi trên S khi và chỉ khi
a) Tập trên đồ thị epif là một tập lồi.
b)
f(
m

k=1
λ
k
x
k
) 
m

k=1
λ
k
f(x
k
)

với mọi x
k
∈ S,
m

k=1
λ
k
= 1 và λ
k
 0 với mọi k, trong đó m là số nguyên
tố  2 (bất đẳng thức Jensen).
Hàm lồi f : S → (−∞, +∞] có thể được mở rộng thành hàm lồi xác
định trên toàn không gian R
n
bằng cách đặt f(x) = +∞ với mọi x = S.
Vì vậy để đơn giản ta thường xét hàm lồi trên toàn R
n
.
Sau đây là một số ví dụ quen thuộc về hàm lồi. Cho C ⊂ R
n
là một
tập lồi khác rỗng, các hàm sau là lồi:
Hàm chuẩn Euclid x =

x, x, x ∈ R
n
.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
9

Hàm chỉ của C : δ
C
(x) =

0 khi x ∈ C,
+∞ khi x = C.
Hàm tựa của C : s
c
(x) = sup
y∈C
y, x (cận trên của x
T
y trên tập C).
Hàm khoảng cách từ điểm x ∈ R
n
tới C : d
c
(x) = inf
y∈C
x − y .
Bốn phép toán cơ bản bảo toàn hàm lồi (suy trực tiếp từ định nghĩa)
a) Nếu f
i
: R
n
→ R (i = 1, , m) là hàm lồi thì α
1
f
1
+ + α

m
f
m
lồi với mọi α
i
 0 và lồi chặt nếu ít nhất một trong các hàm f
i
lồi chặt
với α
i
> 0.
b) Nếu f
i
(i ∈ I): R
n
→ R là hàm lồi thì f(x) = sup
i∈I
f
i
(x) là hàm
lồi.
c) Nếu A : R
n
→ R
m
là biến đổi tuyến tính và g : R
m
→ R là hàm
lồi thì hàm hợp f(x) = g(Ax) là hàm lồi.
d) Nếu g : D ⊆ R

n
→ R là hàm lồi và h : R → R là hàm lồi không
giảm thì hàm hợp f(x) = h(g(x)) là hàm lồi.
Ví dụ 1.2. Theo d), hàm f (x) = c
1
e
g
1
(x)
+ + c
m
e
g
m
(x)
(x ∈ R
n
) lồi nếu
mọi c
i
> 0 và mọi hàm g
i
(x) lồi (chẳng hạn f(x
1
, x
2
) = e
x
1
+x

2
+ 2e
x
1
−x
2
là hàm lồi).
Định lý 1.3. Giả sử f : R
n
→ (−∞, +∞] là một hàm lồi trên R
n
và α ∈
(−∞, +∞]. Khi đó, các tập mức dưới
C
α
= {x : f(x) < α} , C
α
= {x : f(x)  α}
là tập lồi. Tương tự, nếu f là một hàm lõm trên R
n
thì các tập mức trên
D
β
= {x : f(x) > β} , D
β
= {x : f(x)  β}
là tập lồi.
Chứng minh. Theo định nghĩa của hàm lồi, ta có
f[(1 − λ)x
1

+ λx
2
]  max { f(x
1
), f(x
2
)} ∀x
1
, x
2
∈ R
n
, λ ∈ (0, 1).
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
10
Từ đó suy ra các kết luận của định lý.
Tuy nhiên, mệnh đề đảo của định lý trên không đúng.
Một hàm f mà mọi tập mức dưới là tập lồi gọi là một hàm tựa lồi.
Ví dụ 1.3. f(x) = x
3
hay f(x) =

|x| trên R là hàm tựa lồi nhưng không
lồi.
Định lý 1.4. Cho C là một tập lồi, khác rỗng trong R
n
và f : R
n
→ R là
một hàm lồi. Mọi điểm cực tiểu địa phương của f trên C đều là điểm cực

tiểu toàn cục. Tập tất cả các điểm cực tiểu của f trên C:
Argmin
x∈C
f(x)
là một tập con lồi của C.
Chứng minh. Giả sử x
0
∈ C là một điểm cực tiểu địa phương của
f trên C và U(x
0
) là một lân cận của x
0
sao cho f(x
0
)  f(x) với mọi
x ∈ C ∩ U(x
0
). Với bất kỳ x ∈ C ta có x
λ
= λx + (1 − λ)x
0
∈ C ∩ U(x
0
)
với mọi λ > 0 đủ nhỏ. Khi đó
f(x
0
)  f(x
λ
)  λf(x) + (1 − λ)f(x

0
)
hay λf(x
0
)  λf(x). Do λ > 0 nên f(x
0
)  f(x). Vì x ∈ C được chọn
tùy ý nên x
0
là điểm cực tiểu toàn cục của f trên C. Nếu α = min{f(x) :
x ∈ C} thì Argmin
x∈C
f(x) trùng với tập C ∩ { x : f(x)  α} . Tập này
lồi do hàm f(x) lồi. (Xem Định lý 1.3)
Định lý 1.5. Một hàm lồi chặt f trên một tập lồi C có nhiều nhất một điểm
cực tiểu trên C, nghĩa là tập Argmin
x∈C
f(x)gồm nhiều nhất một phần tử.
Chứng minh. Nếu f có hai điểm cực tiểu khác nhau x
1
, x
2
∈ C thì
do tính lồi chặt của f nên f(
1
2
x
1
+
1

2
x
2
) < f(x
1
) = f(x
2
), điều này không
thể xảy ra.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
11
Ví dụ 1.4. Hàm lồi chặt một biến f(x) = x
2
có duy nhất một điểm cực
tiểu x
∗
= 0. Còn hàm lồi chặt f(x) = e
x
(x ∈ R) không có điểm cực tiểu
nào.
Định lý 1.6. Hàm f(x), x ∈ R
n
là hàm lồi khi và chỉ khi hàm một biến
số ϕ(λ) ≡ f(x + λd) là hàm lồi theo λ với mỗi x, d ∈ R
n
cố định.
Chứng minh. Điều kiện cần là rõ ràng. Ta chứng minh điều kiện đủ.
Giả sử ϕ(λ) là hàm lồi với mọi x, d ∈ R
n
. Lấy bất kỳ x, y ∈ R

n
và đặt
d = y − x. Khi đó với mọi λ ∈ [0, 1] ta có
f((1 − λ)x + λy) = f(x + λd) = ϕ(λ) = ϕ((1 − λ).0 + λ.1)
 (1 − λ)ϕ(0) + λϕ(1) = (1 − λ)f(x) + λf(y).
1.2.2 Hàm lồi liên tục
Định lý 1.7. Hàm lồi chính thường f trên R
n
liên tục tại mọi điểm trong
của miền hữu dụng của nó (f liên tục trên int(domf)).
Chứng minh. Giả sử x
0
∈ int(domf). Với mọi i = 1, , n hàm thu
hẹp của f trên khoảng mở { t : x
0
+te
i
∈ int(dom f)} liên tục trên khoảng
này. Vì thế, với mọi ε > 0 cho trước và với mọi i = 1, , n ta có thể chọn
δ
i
> 0 đủ nhỏ sao cho


f(x
0
+ x) − f(x
0
)



 ε ∀x ∈ [ − δ
i
e
i
, + δ
i
e
i
].
Giả sử δ = min{δ
i
: i = 1, , n} > 0 và
B = {x : x
1
 δ} (x
1
= max {|x
i
| , , |x
n
|}) .
Kí hiệu d
i
= δe
i
, d
n+i
= −δe
i

, i = 1, , n. Khi đó, có thể thấy rằng
mọi x ∈ B có dạng x = λ
1
d
1
+ +λ
2n
d
2n
với λ
1
+ + λ
2n
= 1, λ
i
 0.
Từ đó
f(x
0
+ x)  λ
1
f(x
0
+ d
1
) + + λ
2n
f(x
0
+ d

2n
).
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
12
Vì thế
f(x
0
+x) −f(x
0
)  λ
1
[f(x
0
+ d
1
)−f(x
0
) ] + +λ
2n
[f(x
0
+d
2n
) - f(x
0
)].
Như vậy


f(x

0
+ x) - f(x
0
)


 λ
1


f(x
0
+ d
1
) − f(x
0
)


+ + λ
2n


f(x
0
+ d
2n
) - f(x
0
)



 ε
với mọi x ∈ B. Điều này chứng tỏ f(x) liên tục tại x
0
.
Nhận xét 1.1. Một hàm lồi chính thường chỉ có thể gián đoạn tại những
điểm biên của miền hữu dụng của nó.
Ví dụ 1.5. Xét hàm một biến số xác định trên tập D = [0, + ∞) có
dạng: f(x) = e
x
với mọi x > 0 và f(0) = 2. Dễ thấy epi f là tập lồi nên f
là hàm lồi trên D. Hàm f liên tục tại mọi điểm trong x > 0 và gián đoạn
tại điểm biên x = 0. Tại x = 0 hàm f nửa liên tục trên.
Định lý 1.8. Giả sử f là một hàm lồi chính thường trên R
n
. Khi đó các
điều sau đây là tương đương:
a) f liên tục tại điểm x
0
.
b) f bị chặn trên trong một tập mở chứa x
0
.
c) int(epi f) = ∅.
d) int(dom f) = ∅ và f liên tục trên int(domf).
Chứng minh.
a) ⇒ b) Nếu f liên tục tại điểm x
0
thì tồn tại một lân cận mở U của

x
0
sao cho f(x) < f(x
0
) + 1 với mọi x ∈ U, tức là f(x) bị chặn trên trong
U.
b) ⇒ c) Nếu f(x)  M với mọi x trong tập mở U thì U×[M, + ∞) ⊂
epif, vì thế int(epif) = ∅.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
13
c) ⇒ d) Nếu int(epif) = ∅ thì tồn tại một tập mở U ⊂ R
n
và một
khoảng mở I ⊂ R sao cho U × I ⊂ epif, nên U ⊂ domf, nghĩa là
int(domf) = ∅. Theo Định lí 1.7 hàm f liên tục trên int(domf).
d) ⇒ a) là hiển nhiên.
Định lý 1.9. Cho một tập lồi C ⊂ R
n
và một hàm f : R
n
→ R khả vi
trên C.
a) Hàm f lồi trên C khi và chỉ khi
f(y)  f(x) + ∇f(x), y − x ∀x, y ∈ C.
b) Nếu f(y) > f(x) + ∇f(x), y − x ∀x, y ∈ C, x = y thì hàm f lồi
chặt trên C.
1.2.3 Dưới vi phân
Định nghĩa 1.9. Cho hàm lồi chính thường f trên R
n
, véctơ p ∈ R

n
gọi
là dưới đạo hàm của f tại điểm x
0
nếu

p, x − x
0

+ f(x
0
)  f(x) ∀x ∈ R
n
. (1.9)
Nếu f lõm thì trong (1.9) thay dấu  bởi dấu  .
Tập tất cả các dưới đạo hàm của f tại x
0
gọi là dưới vi phân của f tại
x
0
và được ký hiệu là ∂f(x
0
). Hàm f được gọi là khả dưới vi phân tại x
0
nếu ∂f(x
0
) = ∅.
Định lý 1.10. Một hàm lồi chính thường f trên R
n
có dưới vi phân khác

rỗng tại mỗi điểm x
0
∈ int(domf) và ∂f(x
0
) là một tập lồi đóng.
Chứng minh. Do x
0
∈ int(domf) nên theo Định lí 1.8 int(epi f) = ∅.
Dĩ nhiên (x
0
, f(x
0
)) /∈ int(epi f). Nên theo Định lí 1.1 có một siêu phẳng
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
14
tách điểm đó với int(epi f), tức là có một véctơ (t, t
n+1
) ∈ R
n+1
\{ 0} sao
cho

t, x
0

+ t
n+1
f(x
0
)  t, x + t

n+1
α với mọi (x, α) ∈ epif.
Vì (x, α) ∈ epif kéo theo (x, β) ∈ epif với mọi β  α cho nên ta cũng có

t, x
0

+ t
n+1
f(x
0
)  t, x + t
n+1
β với mọi β  α
và cho β → +∞ ta suy ra t
n+1
 0. Nhưng nếu t
n+1
= 0 thì bất đẳng
thức này trở thành

t, x
0

 t, x với mọi x ∈ domf, tức là x
0
đạt cực
đại của hàm tuyến tín t, x trên domf, mà x
0
∈ int(dom f), nên điều này

chỉ có thể xảy ra khi t = 0, mâu thuẫn với (t, t
n+1
) = 0. Vậy t
n+1
< 0.
Đặt p = −t/t
n+1
và α = f(x)ta sẽ nhận được bất đẳng thức (1.9).
Để chỉ rõ ∂f(x
0
) lồi ta lấy bất kỳ p
1
, p
2
∈ ∂f(x
0
), λ ∈ [0, 1]. Khi đó
với mọi x ∈ R
n
thì

λp
1
, x − x
0

 λ

f(x) − f(x
0

)

và

(1 − λ)p
2
, x − x
0

 (1 - λ)(f(x) - f(x
0
))
⇒

λp
1
+ (1 − λ)p
2
, x − x
0

 f(x) − f(x
0
)
⇒ λp
1
+ (1 − λ)p
2
∈ ∂f(x
0

)
⇒ ∂f(x
0
) lồi.
Để chỉ rõ ∂f(x
0
) là tập đóng, lấy p
k
∈ ∂f(x
0
), p
k
→ p.Từ

p
k
, x − x
0

+ f(x
0
)  f(x) với mọi x ∈ R
n
.
Suy ra

p, x − x
0

+ f(x

0
)  f(x) với mọi x ∈ R
n
, chứng tỏ p ∈ ∂f(x
0
).
Ví dụ 1.6. Sau đây là dưới vi phân của một số hàm quen thuộc.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
15
1) Hàm afin f(x) = a, x + α (a ∈ R
n
, α ∈ R) có
∂f(x) = {a} , (∀x ∈ R
n
).
2) Dưới vi phân của hàm chỉ δ
C
(x) của một tập lồi C = ∅ tại một
điểm x
0
∈ C chính là nón pháp tuyến ngoài của C:
∂δ
C

x
0

=

p :


p, x − x
0

 0 ∀x ∈ C

.
3) Nếu f(x) = x (chuẩn Euclid) thì
∂f(x
0
) =

{p : p  1} khi x
0
= 0,

x
0
/


x
0



khi x
0
= 0.
Liên hệ giữa dưới vi phân và đạo hàm: Theo định nghĩa, hàm f khả

vi tại điểm x
0
nếu tồn tại vectơ ∇f(x
0
) (vectơ đạo hàm của f tại x
0
) sao
cho f(x
0
+ d) = f(x
0
) +

∇f(x
0
), d

+ o (d) . Điều này tương đương với
lim
λ↓0
f(x
0
+ λd) − f(x
0
)
λ
=

∇f(x
0

), d

, ∀d ∈ R
n
.
Định lý 1.11. Nếu f là hàm lồi chính thường, khả vi tại điểm x
0
∈ dom f
thì ∂f(x
0
) =

∇f(x
0
)

tức là ∇f(x
0
) là véctơ dưới đạo hàm duy nhất của
f tại x
0
.
Chứng minh. Nếu p ∈ ∂f(x
0
) thì với mọi d ∈ R
n
, d = 0 và mọi
λ > 0 ta có

p, (x

0
+ λd) − x
0

+ f(x
0
)  f(x
0
+ λd)
hay
f(x
0
+ λd) − f(x
0
)  λ p, d .
Chia bất đẳng thức sau cho λ và cho qua giới hạn khi λ → 0
+
ta được

∇f(x
0
), d

 p, d với mọi d ∈ R
n
.
Do đó

∇f(x
0

) − p, d

 0 với mọi d ∈ R
n
. Từ đó suy ra p = ∇f(x
0
).
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
16
Ngược lại có thể chứng minh rằng nếu f có tại x
0
một vectơ dưới đạo
hàm duy nhất thì f khả vi tại x
0
. Như vậy, khái niệm dưới đạo hàm là sự
mở rộng của khái niệm đạo hàm (tại những điểm đó hàm không khả vi).
Đạo hàm theo hướng. Cho f : R
n
→ (−∞, +∞] là một hàm bất kỳ và
x
0
là một điểm tại đó f hữu hạn (nghĩa là


f(x
0
)


< +∞).

Định nghĩa 1.10. Với d ∈ R
n
\ {0} nếu tồn tại giới hạn (hữu hạn hay
không)
lim
λ↓0
f(x
0
+ λd) − f(x
0
)
λ
thì giới hạn đó gọi là đạo hàm theo hướng d của f tại x
0
, kí hiệu là f

(x
0
, d).
Định lý 1.12. Nếu f là hàm lồi chính thường thì f có đạo hàm theo mọi
hướng tại mọi điểm x
0
∈ dom f và f(x
0
+ d) − f(x
0
)  f

(x
0

, d).
Chứng minh. Do hàm f lồi nên hàm một biến ϕ(λ) = f(x
0
+ λd) lồi
và theo Định nghĩa 1.10 thì
f


x
0
, d

= lim
λ↓0
f

x
0
+ λd

− f

x
0

λ
= lim
λ↓0
ϕ (λ) − ϕ (0)
λ

= ϕ

+
(0) .
Nếu với mọi λ > 0 mà x
0
+ λd /∈ domf thì f(x
0
+ λd) = ϕ(λ) = +∞
với mọi λ > 0 cho nên ϕ

+
(0) = +∞ và định lý đúng. Còn nếu có một
λ
0
> 0 để x
0
+ λ
0
d ∈ dom f thì với 0 < λ < λ
0
ta có
λ =
λ
λ
0
λ
0
+ (1 −
λ

λ
0
) × 0 và 0 <
λ
λ
0
< 1.
Do hàm ϕ lồi nên
ϕ(λ) 
λ
λ
0
ϕ(λ
0
) + (1 −
λ
λ
0
)ϕ(0).
Từ đó suy ra
ϕ(λ) − ϕ(0)
λ

ϕ(λ
0
) − ϕ(0)
λ
0
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
17

có nghĩa là tỉ số [ϕ(λ) − ϕ(0)]/λ không tăng khi λ → 0
+
. Vì thế tỉ số này
dần tới một giới hạn (hữu hạn hoặc −∞)
lim
λ↓0
ϕ(λ) − ϕ(0)
λ
= inf
λ>0
ϕ(λ) − ϕ(0)
λ
= ϕ
,
+
(0) = f

(x
0
, d),
đồng thời với mọi λ > 0 ta luôn có
ϕ(λ) − ϕ(0)
λ
 ϕ

+
(0) = f

(x
0

, d).
Cho λ = 1 ta có ϕ(1)−ϕ(0)  ϕ

+
(0), tức là f(x
0
+d)−f(x
0
)  f

(x
0
, d).
Định lý 1.13. Nếu f là một hàm lồi chính thường và x
0
∈ dom f thì
p ∈ ∂f(x
0
) khi và chỉ khi p, d  f

(x
0
, d) với mọi d ∈ R
n
\{0}.
Chứng minh. Bằng cách đặt x = x
0
+ λd và ϕ(λ) = f(x
0
+ λd) ta

có thể viết lại bất đẳng thức về dưới đạo hàm (1.9) thành
p, d 

f(x
0
+ λd) − f(x
0
)

/λ = [ϕ(λ) − ϕ(0)] /λ ∀d = 0, ∀λ > 0,
bất đẳng thức này tương đương với
p, d  inf
λ>0
[ϕ(λ) − ϕ(0)]/λ
với mọi d. Từ chứng minh Định lí 1.12 cho thấy inf
λ>0
[ϕ(λ) − ϕ(0)]/λ =
f

(x
0
, d) với mọi d = 0. Vì thế, ta có p, d  f

(x
0
, d) với mọi d = 0.
Định lý 1.14. Cho f: là một hàm khả vi hai lần trên một tập lồi C. Khi
đó f lồi trên C khi và chỉ khi.
y
T

∇
2
f(x)y  0 ∀x ∈ C ∀y;
Tức là ma trận ∇
2
f(x) xác định dương tại mọi x ∈ C.
1.2.4 Hàm lồi mạnh
Sau đây ta xét một lớp hàm luôn có cực tiểu trên mọi tập lồi đóng
khác ∅. Hơn nữa, giống như đối với hàm lồi chặt, cực tiểu này là duy nhất.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
18
Định nghĩa 1.11. Hàm f(x) xác định trên một tập lồi C ⊂ R
n
được gọi
là lồi mạnh, nếu tồn tại hệ số ρ > 0 (hệ số lồi mạnh) sao cho với mọi
∀x, y ∈ C và mọi số λ ∈ [0, 1] ta có bất đẳng thức:
f [λx + (1 − λ)y]  λf(x) + (1 − λ)f(y) − λ(1 − λ)ρx − y
2
.
Có thể chứng minh rằng hàm f(x) lồi mạnh khi và chỉ khi hàm f(x) −
ρ.x
2
lồi. Rõ ràng một hàm số lồi mạnh thì lồi chặt, nhưng điều ngược
lại không chắc đúng. Chẳng hạn, hàm e
x
với mọi x ∈ R, lồi chặt nhưng
không lồi mạnh.
Các hàm lồi mạnh có vai trò đặc biệt quan trọng trong nghiên cứu các
bài toán tối ưu.
Ví dụ 1.7. Hàm f(x

1
, x
2
) = x
2
1
+ 2x
2
2
lồi mạnh. Tổng quát, xét hàm bậc
hai
f(x) =
1
/
2
x, Qx + p, x ,
với Q là một ma trận vuông đối xứng cấp n xác định dương và p ∈ R
n
.
Tính lồi mạnh của f được suy ra từ hệ thức (sau khi thực hiện một số tính
toán đơn giản):
f [λx + (1 − λ)y]  λf(x) + (1 − λ)f(y) − λ(1 − λ) x − y, Q(x − y)
 λf(x) + (1 − λ)f(y) − λ(1 − λ)ρx − y
2
,
để ý rằng với 0  λ  1 thì λ
2
 λ, (1 − λ)
2
 (1 − λ) và vì rằng

x − y, Q(x − y)  ρx − y
2
trong đó ρ là giá trị riêng nhỏ nhất (dương) của ma trận Q.
Định lý 1.15. Nếu hàm f(x) lồi mạnh và khả vi trên tập lồi đóng C thì
a) ∇f(x) − ∇f(y), x − y  ρx − y
2
với mọi x, y ∈ C;
b) Với bất kỳ x
0
∈ C tập mức dưới C
0
=

x ∈ C : f(x)  f(x
0
)

bị
chặn;
c) Tồn tại duy nhất điểm x
∗
∈ C sao cho f(x
∗
) = min {f(x) : x ∈ C} .
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên
19
Chứng minh.
a) Do f lồi khả vi nên theo Định lí 1.9, với mọi x, y ∈ C thì
f(x) − f(y)  ∇f(x), x − y .
Hơn nữa, do f lồi mạnh nên với λ =

1
2
ta có:
0 
1
4
ρx − y
2

1
2
[f(x) − f(
1
2
x +
1
2
y)] +
1
2
[f(y) − f(
1
2
x +
1
2
y)]

1
4

∇f(x), x − y +
1
4
∇f(y), y − x =
1
4
∇f(x) − ∇f(y), x − y .
b) Do
f(x) − f(y) =
1

0
∇f [y + λ(x − y)] , x − y dλ
= ∇f(y), x − y +
1

0
∇f[y + λ(x − y)] − ∇f(y), x − y dλ,
nên kết hợp với bất đẳng thức ở phần a) ta được
f(x) − f(y)  ∇f(y), x − y +
1
2
ρx − y
2
⇒
0  f(x) − f(x
0
) 

∇f(x

0
), x − x
0

+
1
2
ρ


x − x
0


2
⇒


x − x
0


2

2
ρ

∇f(x
0
), x

0
− x


2
ρ


∇f(x
0
)


×


x − x
0


.
Từ đó suy ra


x − x
0


2


2
ρ


∇f(x
0
)


với mọi x ∈ C
0
, nghĩa là C
0
bị
chặn.
c) Do hàm f(x) liên tục trên tập lồi đóng bị chặn C
0
⊂ C, nên tồn tại
x
∗
∈ C
0
sao cho
f(x
∗
) = min {f(x) : x ∈ C
0
} = min {f(x) : x ∈ C} .
Vì hàm lồi mạnh cũng là hàm lồi chặt, nên theo Định lí 1.5 điểm cực
tiểu x

∗
là duy nhất.
Số hóa bởi Trung tâm Học liệu – Đại học Thái Nguyên