Một phương pháp tách giải một lớp bài toán tối ưu lồi mạnh (LV thạc sĩ)

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC KHOA HỌC
-------------------------------

NGUYỄN VĂN MẠNH

MỘT PHƯƠNG PHÁP TÁCH GIẢI MỘT LỚP
BÀI TOÁN TỐI ƯU LỒI MẠNH

LUẬN VĂN THẠC SĨ TOÁN HỌC

THÁI NGUYÊN - 2016


ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC KHOA HỌC
-------------------------------

NGUYỄN VĂN MẠNH

MỘT PHƯƠNG PHÁP TÁCH GIẢI MỘT LỚP
BÀI TOÁN TỐI ƯU LỒI MẠNH
Chuyên ngành : Toán ứng dụng
Mã số
: 60 46 01 12

LUẬN VĂN THẠC SĨ TOÁN HỌC

Người hướng dẫn khoa học:
GS.TSKH. Lê Dũng Mưu

THÁI NGUYÊN - 2016


Mục lục

Mở đầu

1

1 Bài toán tối ưu lồi

3

1.1

Kiến thức chuẩn bị . . . . . . . . . . . . . . . . . . . .

3

1.2

Hàm lồi

. . . . . . . . . . . . . . . . . . . . . . . . . .

8

1.3

Bài toán tối ưu lồi . . . . . . . . . . . . . . . . . . . . .

12

1.3.1

Các khái niệm . . . . . . . . . . . . . . . . . . .

12

1.3.2

Sự tồn tại nghiệm tối ưu . . . . . . . . . . . . .

13

1.3.3

Điều kiện tối ưu . . . . . . . . . . . . . . . . . .

15

1.4

Tối ưu có ràng buộc

. . . . . . . . . . . . . . . . . . .

16

1.4.1

Đối ngẫu . . . . . . . . . . . . . . . . . . . . . .

16

1.4.2

Điều kiện tối ưu có ràng buộc

20

. . . . . . . . . .

2 Một thuật toán tách giải bài toán tối ưu lồi mạnh

26

2.1

Toán tử chiếu lên tập lồi đóng . . . . . . . . . . . . . .

26

2.2

Một thuật toán chiếu giải bài toán tối ưu lồi

. . . . . .

30

. . . . . . . . .

30

2.2.1

Thuật toán chiếu dưới đạo hàm

2.2.2

Một thuật toán tách giải bài toán tối ưu lồi mạnh 35

Kết luận

42

Tài liệu tham khảo

43


DANH MỤC CÁC KÍ HIỆU
Kí hiệu

Ý nghĩa

Rn

Không gian Euclide n - chiều trên trường số thực;

N

Tập số tự nhiên;

xi

Tọa độ thứ i của x;

xT

Véctơ hàng (chuyển vị của x);

< x; y >= xT y

Tích vô hướng của 2 vectơ x và y ;

||x||

Chuẩn Euclide của x;

∇f (x)

Đạo hàm của f theo x;

∂f (x)

Dưới vi phân của f theo x;

∂ε f (x)

ε - dưới vi phân của f theo x.


1

Mở đầu
Bài toán tối ưu hàm lồi mạnh với ràng buộc lồi là lớp bài toán
quan trọng của bài toán quy hoạch lồi. Bài toán này có nhiều ứng dụng
trong các vấn đề thực tế. Ngoài ra đây là bài toán xuất hiện như bài
toán phụ trong các phương pháp giải các bài toán tối ưu lồi tổng quát,
cũng như các bài toán khác như bài toán cân bằng, các mô hình kinh tế,
kĩ thuật. . . Chính vì thế bài toán cực tiểu hàm lồi mạnh là một trong
những vấn đề quan trọng được nhiều nhà toán học trong và ngoài nước
nghiên cứu, nhằm mục đích đưa ra những thuật toán hiệu quả để giải
lớp bài toán này. Trong các phương pháp giải, phương pháp tách có rất
nhiều ưu điểm, đặc biệt phương pháp này cho phép tách các ràng buộc
phức tạp thành các ràng buộc đơn giản dễ tính toán hơn. Vì vậy tôi
thực hiện đề tài Một phương pháp tách giải một lớp bài toán tối ưu lồi
mạnh.
Luận văn được chia làm 2 chương:
Chương 1: Bài toán tối ưu lồi
Chương này trình bày một số kiến thức cơ bản về giải tích lồi, phát
biểu bài toán tối ưu, sự tồn tại nghiệm và điều kiện tối ưu.
Chương 2: Một thuật toán tách giải bài toán tối ưu lồi mạnh.
Chương này trình bày chi tiết về toán tử chiếu lên tập lồi đóng và tính
chất của toán tử chiếu; thuật toán chiếu dưới đạo hàm. Cuối chương
là thuật toán chiếu tách để giải một số bài toán tối ưu lồi mạnh qua
m

đó cho phép tránh phải tính hình chiếu PD trên tập D =

Dj vì rất
j=1

nhiều trường hợp tính hình chiếu PD rất khó, thậm chí không thực hiện
được, thay vào đó ta tách, chiếu lên từng tập Dj và tính hình chiếu PDj


2

sẽ dễ dàng hơn.
Nhân dịp này tôi xin bày tỏ lòng biết ơn sâu sắc tới GS. TSKH. Lê
Dũng Mưu, người thầy đã tận tâm, nhiệt tình hướng dẫn, cung cấp tài
liệu, truyền đạt cho tôi kiến thức trong quá trình học tập và luôn giúp
đỡ, động viên tôi hoàn thành luận văn.
Tôi xin trân trọng cảm ơn Ban giám hiệu, Phòng Đào tạo, Khoa Toán
– Tin trường Đại học Khoa học, Đại học Thái Nguyên cùng các thầy,
cô giáo tham gia giảng dạy cao học khóa 2014 – 2016 đã quan tâm và
giúp đỡ tôi trong suốt quá trình học tập tại trường.
Tôi xin cảm ơn trường Đại học Hạ Long – Quảng Ninh và gia đình
đã tạo điều kiện tốt nhất cho việc học tập của tôi. Cảm ơn bạn bè và
đồng nghiệp đã hỗ trợ tôi trong việc hoàn thành luận văn này.

Thái Nguyên, tháng 10 năm 2016

Học viên

Nguyễn Văn Mạnh

3

Chương 1

Bài toán tối ưu lồi
Chương này trình bày một số kiến thức cơ bản về giải tích lồi,
giới thiệu bài toán tối ưu, sự tồn tại nghiệm tối ưu, điều kiện tối ưu như
tối ưu không ràng buộc, tối ưu có ràng buộc và điều kiện tối ưu Kuhn
- Tucker. Nội dung của chương được trích dẫn chủ yếu từ tài liệu tham
khảo [1]; [2]; [3] và [5].

1.1

Kiến thức chuẩn bị
Để thuận tiện cho người đọc, trong phần này ta xét một số khái

niệm và kết quả sẽ được sử dụng trong phần tiếp theo.
Định nghĩa 1.1. Cho hai điểm a, b ∈ Rn . Tập tất cả các điểm x ∈ Rn
có dạng

x = (1 − λ)a + λb , 0 ≤ λ ≤ 1
gọi là đoạn thẳng nối a và b được kí hiệu là [a, b].
Định nghĩa 1.2. Một tập D ⊆ Rn được gọi là tập affine nếu D chứa
trọn cả đường thẳng đi qua hai điểm bất kỳ x, y ∈ D, tức là

∀x, y ∈ D, ∀λ ∈ R ⇒ λx + (1 − λ)y ∈ D.
Mệnh đề 1.1. Tập D = ∅ là tập affine khi và chỉ khi nó có dạng

D = M + a, M ⊆ Rn , a ∈ Rn .

Không gian M được xác định duy nhất và được gọi là không gian con
song song của D.


4

Định nghĩa 1.3. Thứ nguyên (chiều) của một tập affine D là thứ
nguyên của không gian con song song với D và được kí hiệu là dim D.
Định nghĩa 1.4. Siêu phẳng trong không gian Rn là một tập hợp các
điểm có dạng

{x ∈ Rn : aT x = α}
trong đó a ∈ Rn là một véc tơ khác 0 và α ∈ R.
Định nghĩa 1.5. Cho a ∈ Rn là một véc tơ khác 0 và α ∈ R. Tập

{x ∈ Rn : aT x ≥ α}
được gọi là nửa không gian đóng và tập

{x ∈ Rn : aT x > α}
được gọi là nửa không gian mở.
Định nghĩa 1.6. Một tập D ⊆ Rn được gọi là một tập lồi, nếu D chứa
mọi đoạn thẳng đi qua hai điểm bất kì của nó. Tức là D là tập lồi khi
và chỉ khi

∀x, y ∈ D, ∀λ ∈ [0, 1] ⇒ λx + (1 − λ)y ∈ D.
Định lý 1.1. Tập lồi là đóng với phép giao, phép cộng, phép nhân với
số thực. Tức là, nếu C và D là hai tập lồi trong Rn thì C ∩ D, λC + βD
cũng là các tập lồi.
Định nghĩa 1.7. Ta nói x là tổ hợp lồi của các điểm (vectơ) x1 , x2 , ..., xk
nếu

k

k

λj xj , λj ≥ 0 (j = 1, ..., k),

x=
j=1

λj = 1.
j=1

Mệnh đề 1.2. Tập hợp D là lồi khi và chỉ khi nó chứa mọi tổ hợp lồi
của các điểm của nó. Tức là, D lồi khi và chỉ khi
k

∀k ∈ N, ∀λ1 , ..., λk ≥ 0 :

k

λj = 1,
j=1

∀x1 , ..., xk ∈ D ⇒

λj xj ∈ D.
j=1

5

Định nghĩa 1.8. Một tập được gọi là tập lồi đa diện, nếu nó là giao
của một số hữu hạn các nửa không gian đóng.
Định nghĩa 1.9. Bao lồi của một tập D là giao của tất cả các tập lồi
chứa D. Bao lồi của tập D được ký hiệu là coD.
Bao lồi của một tập D là tập lồi nhỏ nhất chứa D.
Định nghĩa 1.10. Thứ nguyên của một tập lồi D được cho bởi thứ
nguyên của đa tạp affine nhỏ nhất chứa D. Đa tạp affine này được gọi
là bao affine của D và được ký hiệu là af f D. Thứ nguyên của tập lồi

D sẽ được kí hiệu là dim D.
Định nghĩa 1.11. Một điểm a của một tập lồi D gọi là điểm trong
tương đối nếu với mọi x ∈ D đều có một số λ > 0 để cho a + λ(x − a) ∈

D. Tập các điểm trong tương đối của D được kí hiệu là riD.
Định nghĩa 1.12. Một tập D được gọi là nón nếu

∀λ > 0, ∀x ∈ D ⇒ λx ∈ D.
Một nón được gọi là nón nhọn nếu nó không chứa đường thẳng. Một
nón được gọi là nón lồi nếu nó đồng thời là tập lồi. Nếu nón lồi này lại
là một tập lồi đa diện thì ta nói nó là tập lồi đa diện.
Định nghĩa 1.13. Cho D ⊆ Rn là một tập lồi và x0 ∈ D.
(i) Tập

ND (x0 ) := {ω ∈ Rn : ω, x − x0 ≤ 0,

∀x ∈ D}

gọi là nón pháp tuyến ngoài của D tại x0 và tập −ND (x0 ) được gọi là

nón pháp tuyến trong của D tại x0 .
(ii) Tập

NDε (x0 ) := {ω ∈ Rn : ω, x − x0 ≤ ε,

∀x ∈ D}

được gọi là nón pháp tuyến ε của D tại x0 .
Ta có 0 ∈ ND (x0 ) (hoặc thực hiện phép dời từ x0 → 0) và dùng định
nghĩa ta có ND (x0 ) là một nón lồi đóng.


6

Định nghĩa 1.14. Cho hai tập C và D, ta nói rằng siêu phẳng

H := {x : v, x = λ}
(i) Tách hai tập C và D nếu

v, a ≤ λ ≤ v, b ,

∀a ∈ C, ∀b ∈ D;

(ii) Tách chặt C và D nếu:

v, a < λ < v, b ,

∀a ∈ C, ∀b ∈ D;

(iii) Tách mạnh C và D nếu:

sup v, x < λ < inf v, y .
y∈B

x∈A

Bổ đề 1.1. Trong Rn cho một tập lồi đóng C = ∅ và một điểm a ∈
/ C.
Bao giờ cũng tồn tại duy nhất x0 ∈ C sao cho:

a − x0 , x − x0 ≤ 0,

∀x ∈ C.

Định lý 1.2. (Định lí tách 1) Cho C và D là hai tập lồi khác rỗng
trong Rn sao cho C ∩ D = ∅. Khi đó có một siêu phẳng tách C và D.
Chứng minh
Xét

C − D := {x − y |x ∈ C, y ∈ D } .
Ta có C − D lồi và 0 ∈
/ C − D. Thật vậy, giả sử 0 ∈ C − D.
Khi đó ta có x − y = 0, suy ra x = y ∈ C ∩ D (vô lý).
Đặt E := cl (C − D). Với mọi a ∈ ri(C − D), do 0 ∈
/ C − D, nên điểm
đầu tiên không thuộc ri(C − D) trên đoạn [a, 0] là một điểm biên của

C − D, suy ra 0 ∈
/ E hoặc 0 ∈ E\riE .
+ Nếu 0 ∈

/ E . Theo Bổ đề 1.1, ta có

x0 ∈ E : t = 0 − x0 = 0 sao cho t, x − x0 ≤ 0,
⇒ t, z ≤ 0,

∀z ∈ E ⇒ sup t, z ≤ 0

⇒ t, x − y ≤ 0,

∀x ∈ C, ∀y ∈ D

∀x ∈ E


7

⇒ t, x ≤ sup t, x ≤ t, y ,

∀x ∈ C, y ∈ D

x∈C

⇒ t, x ≤ α ≤ t, y ,

∀x ∈ C, y ∈ D

với α = sup t, x . Suy ra α tách hai tập C, D.
x∈C

+ Nếu 0 ∈ E\riE . Lấy một điểm u ∈ riE và dãy ak =

−u
k ,

k = 1, 2, ...

⇒ ak ⊂ Rn \E và ak → 0 khi k → +∞.
Theo Bổ đề 1.1, với z k ∈ E, z k = ak , ta có:

ak − z k , z − z k ≤ 0,
⇒
⇒
Đặt tk =

ak −z k
ak −z k

1
ak −z k
ak −z k
ak −z k

∀z ∈ E

ak − z k , z − z k ≤ 0,
, z − z k ≤ 0,

∀z ∈ E

∀z ∈ E.

, suy ra ta có:

tk , z − z k ≤ 0,

∀z ∈ E

⇒ t, z ≤ tk , z k ,
Do tk = 1 và hình cầu S = tk ∈ Rn

∀z ∈ E.
tk = 1 là compact, nên tồn

tại t0 ∈ S : t → t0 với tk = 1. Mà ak → 0 ⇒ z k → 0, nên

tk , z − z k → t0 , z
⇒ t0 , z ≤ 0,

∀z ∈ C − D ⊂ E

⇒ t0 , x − y ≤ 0,

∀x ∈ C, y ∈ D.

Tương tự, với β = sup t0 , x thì β tách hai tập C, D.
x∈C

Định lý 1.3. (Định lí tách 2). Cho C và D là hai tập lồi đóng khác
rỗng trong Rn sao cho C ∩D = ∅. Giả sử có ít nhất một tập là compact.
Khi đó hai tập C và D có thể tách mạnh được bởi một siêu phẳng.

Chứng minh
Giả sử tập C compact.
Đặt E := C − D, suy ra E đóng.
Thật vậy, giả sử z k = xk − y k , xk ∈ C, y k ∈ D. Do C compact, nên
tồn tại x0 ∈ C sao cho xk → x0 . Mà z k → z 0 ; y k = xk − z k suy ra

y k = xk − z k → x0 − z 0 .


8

Do D đóng, suy ra y 0 = lim y k ∈ D và z 0 = y 0 − z 0 , do đó E đóng.
k→∞

Vì 0 ∈ E nên theo Bổ đề 1.1, với t = 0, ta có:

t, z < 0,

∀z ∈ E ⇔ t, x − y < 0,

∀x ∈ C, ∀y ∈ D

tức là tồn tại α = sup t, x tách mạnh hai tập C, D.
x∈C

Chú ý: Trong định lý này, nếu thiếu giả thiết ít nhất một trong hai
tập C, D compact thì định lý không còn đúng nữa, chẳng hạn:

C = (x1 , x2 ) ∈ R2 : x1 x2 ≥ 1 là tập lồi đóng;
D = (x1 , x2 ) ∈ R2 : x2 ≤ 0 là tập lồi đóng;

C ∩ D = ∅, nhưng C và D không tách mạnh được.
Hệ quả 1.1. (Bổ đề Farkas). Cho a ∈ Rn và A là một ma trận m × n.
Khi đó a, x ≥ 0 với mọi x thỏa mãn Ax ≥ 0, khi và chỉ khi tồn tại

y ≥ 0 thuộc Rm sao cho a = AT y .
Ý nghĩa hình học của bổ đề Farkas: siêu phẳng đi qua gốc tọa độ

a, x = 0 để nón Ax ≥ 0 về một phía của nó khi và chỉ khi vectơ pháp
tuyến a của siêu phẳng nằm trong nón sinh bởi các hàng của ma trận

A.
1.2

Hàm lồi
Trong phần này ta chỉ xét hàm f xác định trên toàn không gian

Rn và không nhận giá trị −∞.
Định nghĩa 1.15. Một hàm số f xác định trên tập lồi D được gọi là
(i) lồi trên D nếu

f (λx + (1 − λ)y) ≤ λf (x) + (1 − λ)f (y),

∀x, y ∈ D, 0 < λ < 1.

(ii) lồi chặt nếu

f (λx + (1 − λ)y) < λf (x) + (1 − λ)f (y),

∀x, y ∈ D, 0 < λ < 1.

(iii) lồi mạnh với hệ số β > 0 nếu

1
f (λx + (1 − λ)y) ≤ λf (x) + (1 − λ)f (y) − βλ(1 − λ)||x − y||2 ,
2


9

∀x, y ∈ D, 0 < λ < 1.
(iv) lõm (lõm chặt, lõm mạnh) nếu −f là lồi (lồi chặt, lồi mạnh).
Ví dụ 1.1.
Hàm f (x) = x2 lồi mạnh trên R.
1
Hàm f (x) = lồi chặt trên (0; +∞), nhưng không lồi mạnh.
x
Hàm f (x) = ex lồi chặt trên R, nhưng không lồi mạnh.
Định lý 1.4. Cho f và g là các hàm lồi trên tập lồi C và D tương
ứng. Khi đó các hàm số αf + βg, (α, β ≥ 0) và max{f, g} cũng lồi trên

C ∩ D.
Một số hàm lồi có thể không liên tục tại một điểm trên biên miền
xác định của nó. Tuy nhiên, nó phải liên tục tại mọi điểm trong của
tập đó theo định lý sau:
Định lý 1.5. Một hàm lồi xác định trên tập lồi D thì liên tục tại mọi
điểm trong của D.
Tính chất sau đây đặc trưng cho một hàm lồi khả vi, và thuận lợi
kiểm tra tính lồi của hàm số. Ký hiệu f (a) hoặc ∇f (a) là đạo hàm của

f tại a.

Định lý 1.6. Cho f : D → R là một hàm khả vi trên tập lồi mở D.
Điều kiện cần và đủ để f lồi trên D là

f (x) + ∇f (x), y − x ≤ f (y),

∀x, y ∈ D.

Nếu f khả vi hai lần thì điều kiện cần và đủ để f lồi trên D là với mọi

x ∈ D ma trận Hessian H(x) của f tại x xác định không âm, tức là
y T H(x)y ≥ 0,

∀x ∈ D, y ∈ Rn .

Như vậy, một dạng toàn phương xT Qx là một hàm lồi khi và chỉ khi

Q xác định không âm. Một dạng toàn phương là một hàm lồi chặt khi
và chỉ khi ma trận của nó xác định dương.


10

Tính khả vi của một hàm lồi giữ vai trò quan trọng trong các bài
toán tối ưu hóa. Lớp các hàm lồi có những tính chất khả vi rất đẹp mà
các lớp khác không có. Giả sử f : Rn → R ∪ {+∞} là hàm lồi. Ta có
khái niệm sau:
Định nghĩa 1.16. Cho ε > 0. Một véc tơ ω ∈ Rn được gọi là một ε−
dưới gradient của f tại x0 ∈ Rn nếu:

ω, x − x0 ≤ f (x) − f (x0 ) + ε,

∀x ∈ Rn .

Tập hợp tất cả các ε− dưới gradient gọi là ε− dưới vi phân của hàm f
tại x0 , kí hiệu là

∂ε f (x0 ) := {ω ∈ Rn : ω, x − x0 ≤ f (x) − f (x0 ) + ε,

∀x ∈ Rn }.

Định nghĩa 1.17. Véctơ ω ∈ Rn được gọi là dưới gradient của f tại

x0 ∈ Rn nếu:
ω, x − x0 ≤ f (x) − f (x0 ),

∀x ∈ Rn .

Tập hợp tất cả các dưới gradient của f tại x0 được gọi là dưới vi phân
của f tại x0 , kí hiệu là:

∂f (x0 ) := {ω ∈ Rn : ω, x − x0 ≤ f (x) − f (x0 ),

∀x ∈ Rn }.

Hàm f được gọi là khả dưới vi phân tại x0 nếu ∂f (x0 ) = ∅.
Ví dụ 1.2. Cho D là một tập lồi, khác rỗng của không gian Rn . Xét
hàm chỉ trên tập D

δD (x) :=

0

khi x ∈ D;

+∞

khi x ∈
/ D.

Với mọi x0 ∈ D, ta có:

ω ∈ ∂δD (x) ⇔ δD (x) − δD (x0 ) ≥ ω, x − x0 ,
⇔ 0 ≥ ω, x − x0 ,

∀x ∈ D

∀x ∈ D ⇔ ω ∈ ND (x0 ).

Chứng tỏ

∂δD (x) = ND (x0 ),

∀x0 ∈ D.


11

Cũng có trường hợp tồn tại những điểm x∗ tại đó f không có dưới
vi phân, nghĩa là tập ∂f (x∗ ) có thể là một tập rỗng. Tuy nhiên, đối với
hàm lồi ta có định lý sau:

Định lý 1.7. Cho f là một hàm lồi (hữu hạn) trên tập lồi D. Lúc đó

f có dưới vi phân tại mọi điểm thuộc riD.
Từ định lý này suy ra rằng nếu f là một hàm lồi hữu hạn trên toàn
không gian Rn thì nó có dưới vi phân tại mọi điểm, vì riRn = Rn .
Định nghĩa 1.18. Ta có đạo hàm theo hướng d của một hàm số f
(không nhất thiết phải lồi) tại điểm x là đại lượng

f (x, d) := lim+
λ→0

f (x + λd) − f (x)
λ

nếu giới hạn tồn tại.
Định lý 1.8. Nếu f là một hàm lồi trên tập lồi D thì với mọi x ∈ D
và mọi d sao cho x + d ∈ D, đạo hàm theo hướng d của một hàm số f
tại x luôn tồn tại nghiệm đúng

f (x, d) ≤ f (x + d) − f (x).
Ngoài ra với mỗi điểm x cố định, f (x, .) là một hàm lồi trên tập lồi

{d : x + D ∈ D}.
Từ định lý này dễ dàng suy ra rằng nếu f khả vi thì

f (x, d) = ∇f (x), d ,

∀d.

Nói chung một hàm lồi không nhất thiết khả vi tại mọi điểm. Dưới

vi phân là một khái niệm mở rộng của đạo hàm trong trường hợp hàm
không khả vi. Trong trường hợp ∂f (x∗ ) chỉ gồm duy nhất một điểm thì

f khả vi tại x∗ .


12

1.3
1.3.1

Bài toán tối ưu lồi
Các khái niệm

Cho tập lồi D ⊆ Rn , hàm lồi f : Rn → R. Xét bài toán quy hoạch toán
học

min{f (x) : x ∈ D}

(P ).

Bài toán này được hiểu là hãy tìm một điểm x∗ ∈ D sao cho

f (x∗ ) ≤ f (x),

∀x ∈ D.

Mỗi điểm x∗ ∈ D dươc gọi là phương án chấp nhận được của bài
toán (P). Tập D được gọi là miền chấp nhận được, f được gọi là hàm
mục tiêu của bài toán (P). Thông thường, tập D được coi như là tập

nghiệm của một hệ bất đẳng thức hoặc đẳng thức có dạng

D := {x ∈ X : gj (x) ≤ 0, hi (x) = 0, j = 1, ..., m; i = 1, ..., p}, (1.1)
trong đó

∅ = X ⊆ Rn ; gj , hi : Rn → R, j = 1, ..., m; i = 1, ..., p
và X là tập lồi, gj là các hàm lồi, hi là các affine.
Bài toán (P) với D cho bởi (1.1) gọi là trơn nếu cả hàm mục tiêu và
các ràng buộc là trơn (khả vi).
Bài toán (P) có rất nhiều ứng dụng trong các lĩnh vực khác nhau. Ví
dụ, trong kinh tế nó là bài toán xác định phương án sản xuất sao cho
chi phí thấp nhất. Trong ví dụ này, là phương án sản xuất mà mỗi tọa
độ xj của nó là số lượng sản phẩm loại j cần sản xuất, còn f (x) là chi
phí ứng với phương án x. Bài toán (P) trong mô hình này có nghĩa là
tìm phương án sản xuất trong tập hợp các phương án chấp nhận được

D sao cho chi phí sản xuất ứng với phương án này thấp nhất.
Định nghĩa 1.19. Điểm x∗ ∈ D được gọi là nghiệm tối ưu địa phương
của bài toán (P) nếu tồn tại một lân cận U của x∗ sao cho

f (x∗ ) ≤ f (x),

∀x ∈ U ∩ D.


13

và x∗ gọi là nghiệm tối ưu toàn cục của (P) nếu

f (x∗ ) ≤ f (x),

∀x ∈ D.

Định lý 1.9. Đối với bài toán quy hoạch lồi (D là tập lồi và f là hàm
lồi trên D), mỗi nghiệm tối ưu địa phương đều là nghiệm tối ưu toàn
cục và tập nghiệm tối ưu là lồi (có thể rỗng).
Chứng minh
Giả sử x∗ ∈ D là một nghiệm tối ưu địa phương của bài toán

min{f (x)|x ∈ D}.
Theo định nghĩa, tồn tại một lân cận U của x∗ sao cho

f (x∗ ) ≤ f (x),

∀x ∈ U ∩ D.

Với bất kì x ∈ D, ta có:

xλ = λx + (1 − λ)x∗ = x∗ + λ(x − x∗ ) ∈ U ∩ D.
khi 0 < λ < 1 và λ đủ nhỏ.
Do x∗ là nghiệm tối ưu địa phương và f là hàm lồi nên

f (x∗ ) ≤ f (λx) ≤ λf (x) + (1 − λ)f (x∗ )
⇒ f (x∗ ) ≤ f (x),

∀x ∈ D.

Suy ra x∗ là nghiệm tối ưu toàn cục của bài toán đang xét.
1.3.2

Sự tồn tại nghiệm tối ưu

Xét bài toán tối ưu toàn cục (P). Các khả năng xảy ra đối với bài toán
(P):

• D = ∅ (không có giải pháp chấp nhận);
• f không bị chặn dưới trên D( inf f (x) = −∞);
x∈D

• inf f (x) > −∞ nhưng giá trị cực tiểu không đạt được trên D;
x∈D

• Tồn tại x∗ ∈ D sao cho f (x∗ ) = min f (x).
x∈D


14

Định lý 1.10. Điều kiện cần và đủ để tồn tại nghiệm tối ưu toàn cục
của bài toán (P) là

F + (D) := {t ∈ R : f (x) ≤ t, x ∈ D} ,
đóng và bị chặn dưới.
Chứng minh
Nếu x∗ là nghiệm tối ưu F + (D) = [f (x), +∞] đóng (là phần bù của
mỗi tập mở) và bị chặn dưới.
Ngược lại, giả sử F + (D) bị chặn dưới. Đặt t = inf F + (D) thì t > −∞.
Do F + (D) đóng, t∗ ∈ F + (D) nên tồn tại x∗ ∈ D sao cho f (x∗ ) = t∗ .
Chứng tỏ x∗ là một điểm cực tiểu của f trên D.
Định lý 1.11. Nếu D là tập compact và f nửa liên tục dưới trên D,

thì bài toán (P) có nghiệm tối ưu.
Chứng minh
Đặt α := inf f (x). Theo định nghĩa có một dãy xk ⊂ D sao cho
x∈D

lim f (xk ) = α.

k→+∞

Do D compact nên có một dãy con hội tụ về x0 ∈ D, không giảm tính
tổng quát có thể coi xk → x0 . Vì f nửa liên tục dưới nên α > −∞.
Nhưng x0 ∈ D nên theo định nghĩa của α, ta phải có f (x0 ) ≥ α. Vậy

f (x0 ) ≥ α.
Định lý 1.12. Nếu f nửa liên tục dưới trên D và thỏa mãn điều kiện
bức sau:

f (x) → +∞ khi ||x|| → +∞,

∀x ∈ D

thì f có điểm cực tiểu trên D.
Chứng minh
Đặt D(a) := {x ∈ D : f (x) ≤ f (a)} với a ∈ D. Rõ ràng, D(a) đóng
và bị chặn nên f có điểm cực tiểu trên D(a) và điểm đó cũng chính là
điểm cực tiểu của f trên D.


15

Hệ quả 1.2. Nếu f là nửa liên tục trên trên D và thỏa mãn điều kiện
bức sau:

f (x) → −∞ khi ||x|| → +∞,

∀x ∈ D

thì f có điểm cực đại trên D.
Ví dụ 1.3.
Hàm f (x) =
Hàm g(x) =

x2

khi x = 0

−1 khi x = 0

là nửa liên tục dưới trên R.

ex khi x = 0

là nửa liên tục trên trên R.
2 khi x = 0
Tuy nhiên các hàm này không liên tục trên R.
Hệ quả 1.3. Một hàm lồi mạnh, nửa liên tục dưới trên tập lồi đóng D
(không nhất thiết compact) luôn tồn tại duy nhất điểm cực tiểu trên
tập đó.
1.3.3

Điều kiện tối ưu

Định lý 1.13. Giả sử D là tập lồi, và f khả dưới vi phân trên D. Khi
đó x∗ là nghiệm tối ưu của bài toán (P) nếu và chỉ nếu

0 ∈ ∂f (x∗ ) + ND (x∗ ),

(1.2)

trong đó ND (x∗ ) ký hiệu nón pháp tuyến của D tại x∗ .
Chứng minh
Xét hàm chỉ

δD (x) =

0

khi x ∈ D

+∞ khi x ∈
/ D.

Do D là tập lồi, suy ra δD (x) lồi và ∂δD (x∗ ) = ND (x∗ ). Bài toán (P)
được viết lại thành bài toán không ràng buộc:

min {f (x) + δD (x), x ∈ Rn } .

(UP)

Khi đó x∗ là nghiệm tối ưu của bài toán (UP) khi và chỉ khi

0 ∈ ∂(f (x∗ ) + δD (x∗ )).


16

Theo định lý Moreau - Rockafellar, ta có:

0 ∈ ∂f (x∗ ) + ∂δD (x∗ ).
Từ 0 ∈ ∂δD (x∗ ) = ND (x∗ ) = {ω : ω, x − x∗ ≤ 0,

∀x ∈ D}. Do vậy

0 ∈ ∂f (x∗ ) + ND (x∗ ).
Hệ quả 1.4. Với các giả thiết như Định lý 1.13, nếu x∗ ∈ intD là
nghiệm tối ưu của bài toán (P) thì

0 ∈ ∂f (x∗ ).
Hơn nữa, nếu f khả vi và D = Rn thì 0 = ∇f (x∗ ).

1.4
1.4.1

Tối ưu có ràng buộc
Đối ngẫu

Đối ngẫu là một phần quan trọng của bài toán tối ưu. Có rất nhiều
kiểu đối ngẫu, nhưng đối ngẫu Lagrange được sử dụng rộng rãi hơn cả.
Đối ngẫu Lagrange dựa trên cơ sở hàm Lagrange. Ta xét bài toán

min {f (x) : x ∈ X, gj (x) ≤ 0, j = 1, ...m}

(P)

trong đó X ⊆ Rn là tập lồi khác rỗng.
Từ bài toán trên ta định nghĩa bài toán tối ưu khác có dạng

max {d(y) : y ∈ Y }

(D)

trong đó Y ⊆ Rm .
Định nghĩa 1.20. Bài toán (D) được gọi là đối ngẫu của bài toán (P )
nếu với mọi điểm chấp nhận được x của (P ) và mọi y chấp nhận được
của (D), ta có

f (x) ≥ d(y).
Bài toán (D) được gọi là đối ngẫu chính xác của bài toán (P ) nếu (D)
là bài toán đối ngẫu của (P ) và tồn tại x∗ là nghiệm của bài toán (P ), y ∗
là nghiệm của bài toán (D) sao cho

f (x∗ ) ≤ d(y ∗ ).


17

Từ Định nghĩa 1.20 ta thấy rằng, nếu bài toán (D) là đối ngẫu chính
xác của bài toán (P ) thì f (x∗ ) = d(y ∗ ).
Xét bài toán (P ), ta định nghĩa hàm Lagrange
m

L(x, y) := f (x) +

yj gj (x).
j=1

Lấy hàm mục tiêu của bài toán đối ngẫu là

d(y) := inf L(x, y)

(LD)

x∈X

và miền ràng buộc của (LD) bằng Rm
+ . Khi đó bài toán đối ngẫu trở
thành

sup d(y) := sup inf L(x, y).
y≥0 x∈X

y≥0

Định lý 1.14. Bài toán (LD) là đối ngẫu của bài toán (P).
Chứng minh
Ta có
m

d(y) = inf L(x, y) ≤ f (x) +
x∈X

yj gj (x) ≤ f (x),

∀x ∈ X, ∀y ∈ Y

j=1

Chứng tỏ (LD) là đối ngẫu của bài toán (P).
Nhận xét 1.4. Nhìn chung, một cặp đối ngẫu chưa chắc đã là đối ngẫu
chính xác như ví dụ sau đây sẽ chỉ ra.
Ví dụ 1.4. Xét bài toán

min f (x) = −x2 , x ∈ X = [0, 2] , x − 1 ≤ 0 .
Ta thấy min f (x) = f (1) = −1.
Hàm Lagrange của bài toán là

L(x, y) = −x2 + y(x − 1),

∀y ≥ 0,

∀x ∈ X = [0, 2].

Ta thấy

max d(y) = 0.
y≥0

Vậy cặp đối ngẫu là không chính xác.
Vậy cần thêm điều kiện gì để hai bài toán (P) và (LP) là cặp đối ngẫu
chính xác? Ta có định lí sau:

18

Định lý 1.15. (Đối ngẫu chính xác) Giả sử
(i) (P) có một lời giải tối ưu;
(ii) Các hàm f và gj , (j = 1, ..., m) lồi và liên tục trên tập lồi X ;
(iii) Điều kiện Slater thỏa mãn, nghĩa là có x0 sao cho

gj (x0 ) < 0,

∀j = 1, ..., m.

Khi đó (P) và (LP) là cặp đối ngẫu chính xác.
Chứng minh
Giả sử

g(x) := (g1 (x), ..., gm (x))T .
Lấy

A := {(t, z) ∈ R × Rn : t > f (x), z ≥ g(x), x ∈ X} .
Do f và gj (j = 1, ..., m) lồi nên tập A là lồi. Giả sử x∗ là nghiệm tối
ưu của bài toán (P) thì

(f (x∗ ), 0) ∈
/ A.
Theo định lý tách, tồn tại (α, y) = 0 thuộc R × Rn sao cho:

αt + y T z ≥ αf (x∗ ),

∀(t, z) ∈ A.

(1.3)

Do các hàm f , gj liên tục, bất đẳng thức trên đúng với mọi (t, z) ∈ A
(A là bao đóng của tập A). Mà (f (x), g(x)) ∈ A, nên ta có

αf (x) + y T g(x) ≥ αf (x∗ ),

∀x ∈ X.

(1.4)

Ta chỉ ra rằng (α, y) ≥ 0.
Thật vậy, giả sử có chỉ số j thỏa mãn yj < 0. Lấy (t0 , z0 ) ∈ A. Điểm

(t0 , z) ≡ ((t0 , z0 + ξej ) ∈ A,

∀ξ ≥ 0

(ej là véc tơ đơn vị thứ j ).
Thay (t, z) = (t0 , z) vào (1.3) và cho ξ → +∞. Ta có vế trái bằng −∞
mà vế phải hữu hạn. Mâu thuẫn này chứng tỏ y ≥ 0.


19

Chứng minh tương tự ta chỉ ra được α ≥ 0. Hơn nữa α > 0 vì nếu

α = 0 thì y = 0. Trong trường hợp này, từ (1.4) ta có:

y T g(x) ≥ 0,

∀x ∈ X.

Mâu thuẫn với điều kiện Slater. Chia cả hai vế của (1.3) cho α và theo
định nghĩa của d ta có

y
d( ) ≥ f (x∗ ).
α
Do đó (LD) là đối ngẫu chính xác của bài toán (P) và theo Định lý
1.14, (P) và (LD) là cặp đối ngẫu chính xác.
Ví dụ 1.5. Tìm

min f (x1 , x2 , ..., x10 ) = x21 + x22 + ... + x210 ,
trên tập

D = xT = (x1 , ..., x10 ) : g(x1 , ..., x10 ) = x1 + ... + x10 + 1 ≤ 0 .
Ta có n = 10, m = 1.
Xét hàm Lagrange

L(x, λ) = f (x) + λg(x)
10

10

x2j

=

+λ

j=1

Ta có

xj + λ = d(λ).
j=1



2x1 + λ





0



 

 =  ... 

 
2x10 + λ
0



∇x L(x, λ) = 
 .........

λ
⇔ x1 = x2 = ... = x10 = − .
2
Suy ra

λ
5
λ
d(λ) = L(λ, λ) = 10(− )2 + 10λ(− ) + λ = − λ2 + λ
2
2
2
1
d (λ) = −5λ + 1 = 0 ⇔ λ = (thỏa mãn λ ≥ 0).
5
Suy ra

(x1 , x2 , ..., x10 ) = (−

1
1
1
, − , ..., − )
10 10
10

20

là nghiệm tối ưu của bài toán và

f∗ = min {f (x1 , x2 , ..., x10 )} = 10(−
1.4.2

1
1 2
) = .
10
10

Điều kiện tối ưu có ràng buộc

Định lý 1.16. (Karush-Kuhn-Tucker) Giả sử (P) là bài toán tối
ưu lồi. Nếu x∗ là một nghiệm tối ưu của bài toán (P) thì tồn tại λ∗i ≥

0 (i = 0, 1, ..., m) và µ∗j (j = 1, 2, ..., k) không đồng thời bằng 0 sao cho
L(x∗ , λ∗ , µ∗ ) = min L(x, λ∗ , µ∗ ) (điều kiện đạo hàm triệt tiêu),
x∈X
∗

λ∗i gi (x ) = 0 (i = 1, ..., m) (điều kiện bù).
Hơn nữa, nếu int X = 0 và điều kiện Slater

∃x0 ∈ D : gi (x0 ) < 0 (i = 1, ..., m)
được thỏa mãn và các hàm affine hi (i = 1, ..., k) độc lập tuyến tính
trên X thì λ∗0 > 0 và các điều kiện đạo hàm triệt tiêu và điều kiện bù
là điều kiện đủ để điểm chấp nhận được x∗ là nghiệm tối ưu của bài

toán (P).
Chứng minh
Giả sử x∗ là một nghiệm tối ưu của bài toán (P). Đặt

C := {(λ0 , ..., λm , µ1 , ..., λk ) :
(∃x ∈ X) : f (x) − f (x∗ ) < λ0 , gi (x) ≤ λi , hj (x) = µj ,
(i = 1, ..., m; j = 1, ..., k)}.
Do X = ∅ lồi; f, gi là các hàm lồi và hj là hàm affine trên X nên C là
tập lồi đóng, khác rỗng trong Rm+k+1 .
Hơn nữa 0 ∈
/ C vì nếu 0 ∈ C thì tồn tại một điểm chấp nhận được x sao
cho f (x) < f (x∗ ). Điều này mâu thuẫn với giả thiết x∗ là nghiệm tối ưu
của bài toán (P). Theo Định lý tách, có các số λ∗i (i = 0, 1, ..., m), µ∗j (j =

0, 1, ..., k) không đồng thời bằng 0 sao cho:
m

k

λ∗i λi
i=0

µ∗i µi ≥ 0,

+
j=1

∀(λ0 , ..., λm ; µ1 , ..., µk ) ∈ C.

(1.5)

21

Nếu λ0 , ..., λm > 0 thì thay x = x∗ ta được:

(λ0 , ..., λm , 0, 0, ..., 0) ∈ C.
Vì thế có thể xem λ∗0 , ..., λ∗m ≥ 0. Hơn nữa, với ε > 0 và x ∈ X , ta lấy:

λ0 = f (x) − f (x∗ ) + ε, λi = gi (x)(i = 1, ..., m),
µj = hj (x)(j = 1, ..., k)
và thay vào vào (1.5), cho ε → 0 ta được:
m

λ∗0 f (x)

k

λ∗i gi (x)

+

µ∗i hi (x)

+

i=1

i=1
m

≥

λ∗0 f (x∗ )

k

λ∗i gi (x∗ )

+

µ∗i hi (x∗ ),

+

i=1

∀x ∈ X.

i=1

hay

L(x∗ , λ∗ , µ∗ ) ≤ L(x, λ∗ , µ∗ ),

∀x ∈ X.

Điều kiện đạo hàm triệt tiêu được chứng minh. Để chứng minh điều
kiện bù, ta thấy, do x∗ là nghiệm chấp nhận được, gj (x∗ ) ≤ 0 với mọi

j . Nếu có chỉ số i sao cho gi (x∗ ) = ξ < 0, thì với mọi ε > 0, ta có
(ε, ..., ξ, ε, ..., ε, 0, ..., 0) ∈ C, (ξ ở vị trí i + 1).
Thay vào (1.5) và cho ε → 0, ta có λ∗i ξ ≥ 0 nhưng vì ξ < 0, nên λ∗i ≤ 0.
Thật vậy, nếu λ∗i = 0, do điều kiện triệt tiêu và điều kiện bù, ta có
m

k

λ∗j gj (x∗ )

0=

µ∗j hj (x∗ )

+

j=1
m

j=1
k

λ∗j gj (x) +

≤
j=1

µ∗j hj (x),

∀x ∈ X.

j=1

Do λ∗0 = 0, nên xảy ra 2 trường hợp:

• Trường hợp 1: Tồn tại chỉ số i sao cho λ∗i > 0. Khi đó thay thế x = x0
vào bất đẳng thức (1.7) ta được: