Bài toán tối ưu lồi Giải tích lồi

ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
KHOA TOÁN - TIN HỌC
———————o0o——————–
TIỂU LUẬN
Môn học: Cơ sở giải tích lồi và quy hoạch lồi
Đề tài: Bài toán tối ưu lồi
• Giảng viên hướng dẫn: Nguyễn Minh Tùng
• Sinh viên thực hiện: Tô Quang Tịnh
THÀNH PHỐ HỒ CHÍ MINH, THÁNG 12/2014
Mục lục
Mở đầu 3
1 Kiến thức chuẩn bị: 4
1.1 Tập affine và tập lồi: . . . . . . . . . . . . . . . . . . . . . 4
1.2 Tập nón: . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.3 Tập nón lồi: . . . . . . . . . . . . . . . . . . . . . . . . . . 5
1.4 Hàm lồi và các tính chất: . . . . . . . . . . . . . . . . . . . 6
1.5 Dạng vi phân của hàm lồi: . . . . . . . . . . . . . . . . . . 6
1.5.1 Nhắc lại tính khả vi: . . . . . . . . . . . . . . . . . 6
1.5.2 Dưới vi phân của hàm lồi: . . . . . . . . . . . . . . . 6
2 Nội dung đề tài: 7
2.1 Bài toán tối ưu lồi: . . . . . . . . . . . . . . . . . . . . . . 7
2.1.1 Giới thiệu bài toán tối ưu: . . . . . . . . . . . . . . 7
2.1.2 Bài toán tối ưu lồi: . . . . . . . . . . . . . . . . . . 8
2.2 Nghiệm địa phương và nghiệm toàn cục: . . . . . . . . . . . 8
2.3 Sự tôn tại nghiệm tối ưu: . . . . . . . . . . . . . . . . . . . 9
2.4 Điều kiện tối ưu: . . . . . . . . . . . . . . . . . . . . . . . . 10
2.5 Điều kiện chính quy: . . . . . . . . . . . . . . . . . . . . . 15
2.6 Định lý Karush-Kuhn-Tucker: . . . . . . . . . . . . . . . . 15
Tài liệu tham khảo 20
2

Mở đầu
Bài toán tối ưu lồi là một lớp bài toán cơ bản của hướng tối ưu. Chính
lớp bài toán đó đã tạo nên tiền đề, mở ra một hướng giải quyết cho các bài
toán ngành khoa học kỹ thuật. Lý thuyết về bài toán tối ưu lồi đã được
quan tâm nghiên cứu nhiều và đã thu được nhiều kết quả quan trọng dựa
trên lý thuyết giải tích lồi và tối ưu hoá.
Mục đích của bài tiểu luận này là để trình bày ra những lý thuyết cơ
bản về những vấn đề liên quan đến lớp bài toán này cũng như nêu một số
điều kiện và định lý cần thiết để chứng minh sự tồn tại nghiệm của bài
toán tối ưu lồi cũng như giải ra được hệ nghiệm của nó.
Tiểu luận này gồm 2 chương:
• Chương 1: Giới thiệu về những kiến thức cơ bản, những khái niệm về
các tập hợp trong giải tích lồi, hàm lồi cũng như tính khả vi, dưới vi
phân của hàm lồi.
• Chương 2: Trình bày khái niệm bài toán tối ưu lồi, nghiệm toàn cục,
nghiệm cục bộ, điều kiện tồn tại nghiệm tối ưu của bài toán, điều
kiện tối ưu, điều kiện chính quy và định lý Karush - Kuhn - Tucker
áp dụng để giải bài toán tối ưu lồi.
Vì kiến thức của bản thân còn nhiều hạn chế nên bài tiểu luận này khó
tránh khỏi những sai sót và thiếu sót, em mong nhận được những phản
hồi, những góp ý để khoá luận này ngày càng hoàn thiện.
Em xin chân thành cảm ơn.
Thành phố Hồ Chí Minh, ngày 28 tháng 12 năm 2014
Sinh viên
Tô Quang Tịnh
3
Chương 1
Kiến thức chuẩn bị:
1.1 Tập affine và tập lồi:
Định nghĩa 1.1: Cho X là không gian định chuẩn

a) Tập affine: A ⊂ X được gọi là tập affine (affine set) nếu:
∀a, b ∈ A, ∀λ ∈ R : λA + (1 − λ)b ∈ A
b) Tập lồi: A ⊂ X được gọi là tập lồi (convex set) nếu:
∀a, b ∈ A, ∀λ ∈ [0, 1] : λA + (1 − λ)b ∈ A
Tính chất 1.1: có 3 tính chất: Tính chất 1.1.1:
A, B ⊂ X lồi
a) A + B = {a + b |a ∈ A, b ∈ B } lồi.
b) A ∩ B lồi (A ∪ B không lồi).
Tính chất 1.1.2:
Tập A bao gồm:
- cl A = A: bao đóng của tập A.
- int A =
◦
A
: phần trong của tập A
- ∂A: biên của tập A.
Tính chất 1.1.3: Cho A lồi, a ∈ int A, b ∈ ∂A =⇒ [a, b) ⊂ intA
4
Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi
1.2 Tập nón:
Định nghĩa 1.2: Cho X là không gian định chuẩn, A ⊂ X
Ta nói:
A là tập nón ⇐⇒ ∀λ ≥ 0, ∀a ∈ A, λa ∈ A
1.3 Tập nón lồi:
Định nghĩa 1.3: Tập A được gọi là tập nón lồi nếu A vừa là tập nón, vừa
là tập lồi.
Tính chất đặc trưng:
A là nón lồi ⇐⇒

λA ⊂ A

A + A ⊂ A
∀λ > 0
Định nghĩa 1.4: Siêu phẳng trong không gian R
n
là một tập hợp các điểm
có dạng:

x ∈ R
n
: a
T
x = α

,
trong đó:
- a ∈ R
n
là một véc-tơ khác 0.
- α ∈ R.
Định nghĩa 1.5: Cho hai tập A và B, ta nói rằng siêu phẳng
H := {x : v, x = λ}
(i) tách hai tập A và B nếu
v, a ≤ λ ≤ v, b , ∀a ∈ A, ∀b ∈ B.
(ii) tách chặt A và B nếu
v, a < λ < v, b , ∀a ∈ A, ∀b ∈ B.
(iii) tách mạnh A và B nếu
lim
x∈A
v, x < λ < lim
y∈B

v, y .
Tô Quang Tịnh 5 Khoa Toán - Tin học
Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi
Hệ quả 1.1 (Bổ đề Farkas): Cho a ∈ R
n
và A là ma trận cấp m × n. Khi
đó a, x ≥ 0 với mọi x thoả mãn Ax ≥ 0, khi và chỉ khi tồn tại y ≥ 0
thuộc R
m
sao cho a = A
T
y.
1.4 Hàm lồi và các tính chất:
Định nghĩa 1.6: Cho ánh xạ f : R
n
→ R ∪ {+∞} (nghĩa là ∀a ∈ R, a ≤
+∞ ⇐⇒
✓
✓
∃a ∈ R, a > +∞)
f được gọi là hàm lồi ⇐⇒ ∀λ ∈ [0, 1], ∀a, b ∈ R
n
f (λa + (1 − λ)b) ≤ λf(a) + (1 − λ)f(b)
Đặc trưng: Cho f : R
n
→ R là hàm lồi, ta có các tính chất sau:
1. i) Epi f = {(x, r) ∈ R
n
× R |f(x) < r} là tập lồi trong R
n

× R.
ii) Giả sử f khả vi (đạo hàm trơn) ⇐⇒ ∇f(y) (x − y) ≤ f(x)−f(y)
2. ∇f(x) là hàm tăng =⇒ [∇f(y) − ∇f(x)] (y − x) ≥ 0
3. ∇
2
f(x) nửa xác định dương (các trị riêng ≥ 0) (nghĩa là, f : R → R
sao cho f

> 0).
1.5 Dạng vi phân của hàm lồi:
1.5.1 Nhắc lại tính khả vi:
Ta nói f khả vi tại x
0
nếu tồn tại một lân cận U của x
0
và "toán tử
tuyến tính L ∈ L(X, Y )" sao cho:
f (x) − f (x
0
) = L (x − x
0
) + O (|x − x
0
|) , ∀x ∈ U
với O (·): vô cùng bé cấp 1.
Khi đó, nếu X, Y là hữu hạn chiều, ta thường ký hiệu: L = ∇f (x
0
)
1.5.2 Dưới vi phân của hàm lồi:
Cho f : R

n
→ R lồi, x
0
∈ R
n
. Dưới vi phân của f tại x
0
là:
1. ∂f (x
0
) = {ϕ ∈ L (R
n
, R) : f (x) − f (x
0
) ≥ ϕ (x − x
0
)}
2. ∃L (R
n
, R) : f (x) − f (x
0
) = L (x − x
0
) + O (|x − x
0
|)
Tô Quang Tịnh 6 Khoa Toán - Tin học
Chương 2
Nội dung đề tài:
2.1 Bài toán tối ưu lồi:

2.1.1 Giới thiệu bài toán tối ưu:
Cho D ⊆ R
n
và f : R
n
→ R. Xét bài toán tối ưu (hay còn gọi là bài
toán quy hoạch toán học):
min {f(x) : x ∈ D} . (P )
Bái toán này được hiểu là hãy tìm một điểm x
∗
sao cho f(x
∗
) ≤ f(x) với
mọi x ∈ D.
- Mỗi điểm x
∗
∈ D được gọi là một phương án chấp nhận được của bài
toán (P).
- Tập D được gọi là miền (tập) chấp nhận được (tập ràng buộc).
- Hàm f được gọi là hàm mục tiêu của bài toán (P )
Thông thường, tập D được cho như là tập nghiệm của một hệ bất đẳng
thức hoặc đẳng thức có dạng
D := {x ∈ X : g
j
(x) ≤ 0, h
i
(x) = 0, j = 1, . . . m, i = 1, . . . , p} , (2.1)
trong đó, ∅ = X ⊆ R
n
và g

j
, h
i
: R
n
→ R (j = 1, . . . m, i = 1, . . . , p).
Bài toán (P ) với D cho bởi (2.1) gọi là trơn nếu cả hàm mục tiêu và
các ràng buộc đều trơn (khả vi).
Bài toán (P ) có rất nhiều ứng dụng trong các lĩnh vực khác nhau, như:
kinh tế, cơ học,
7
Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi
2.1.2 Bài toán tối ưu lồi:
Bài toán tối ưu lồi (hay bài toán quy hoạch lồi) là một trong những
trường hợp của bài toán tối ưu. Nó được định nghĩa như sau:
Định nghĩa 2.1: Xét bài toán (P ) định nghĩa bởi:
min f(x)
với điều kiện
x ∈ D := {x ∈ X : g
j
(x) ≤ 0, h
i
(x) = 0, j = 1, . . . , m, i = 1, . . . , k}
trong đó ∅ = X ⊆ R
n
và f, g
i
, h
i
: R

n
→ R (∀i, j). Ta gọi bài toán (P ) là
bài toán lồi nếu X là tập lồi đóng và các hàm f, g
j
là lồi, h
i
là hàm affine.
2.2 Nghiệm địa phương và nghiệm toàn cục:
Định nghĩa 2.2: Điểm x
∗
∈ D được gọi là lời giải tối ưu địa phương (hay
nghiệm cục bộ) của bài toán (P) nếu tồn tại một lân cận U của x
∗
sao
cho
f(x
∗
) ≤ f(x), ∀x ∈ U ∩ D
Dịnh nghĩa 2.3: Điểm x ∈ D được gọi là lời giải tối ưu toàn cục (hay
nghiệm toàn cục) của (P ) nếu
f(x) ≤ f(x), ∀x ∈ D
• Mối liên hệ nghiệm địa phương và nghiệm toàn cục:
Định lý 2.1: Cho hàm h : R
m
→ R lồi và F : R
n
→ R
m
đạo hàm liên
tục. Nếu x

∗
là nghiệm địa phương của bài toán min {h (F (x))}. Khi đó,
d = 0 là nghiệm toàn cục của bài toán
min
d∈R
n
h (F (x
∗
) + F

(x
∗
) d) .
Tô Quang Tịnh 8 Khoa Toán - Tin học
Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi
2.3 Sự tôn tại nghiệm tối ưu:
Xét bài toán tối ưu toàn cục (P ). có 4 trường hợp tồn tại nghiệm tối
ưu của bài toán này
• D = ∅ (không có nghiệm).
• f không bị chặn dưới trên D

inf
x∈D
f (x) = −∞

• inf
x∈D
f (x) < ∞ nhưng giá trị cực tiểu không đạt được trên D.
• Tồn tại x
∗

∈ D sao cho f(x
∗
) = min
x∈D
f (x).
Câu hỏi đặt ra: Làm thế nào để kiểm tra được bài toán (P ) có nghiệm
hay không? Câu trả lời là, nói chung điều này là không dễ dàng.
Định lý 2.2: Điều kiện cần và đủ để tồn tại nghiệm tối ưu toàn cục của
bài toán (P ) là
F
+
(D) := {t ∈ R : f (x) ≤ t, x ∈ D} ,
đóng và bị chặn dưới.
Chứng minh: Nếu x
∗
là nghiệm tối ưu thì F
+
(D) = [f (x
∗
) , +∞] đóng
(là phần bù của tập mở) và bị chặn dưới.
Ngược lại, giả sử F
+
(D) bị chặn dưới. Đặt t
∗
= inf F
+
(D) thì t > −∞.
Do F
+

(D) đóng, t
∗
∈ F
+
(D) nên tồn tại x
∗
∈ D sao cho f(x
∗
) = t
∗
.
chứng tỏ x
∗
là một điểm cực tiểu của f trên D.
Định lý 2.3 (Định lý Weierstrass): Nếu D là tập compact và f nửa liên
tục dưới trên D, thì bài toán (P ) có nghiệm tối ưu.
Chứng minh: Đặt α := inf
x∈D
f(x). Theo định nghĩa có một dãy

x
k

⊂ D
sao cho lim
k→+∞
f

x
k


= α. Do D compact nên có một dãy con hội tụ về
x
0
∈ D. Tổng quát, ta được x
k
→ x
0
. Vì f nửa liên tục dưới nên f > −∞.
Nhưng x
0
∈ D nên theo định nghĩa của α, ta phải có f(x
0
) ≥ α. Vậy
f(x
0
) = α.
Tô Quang Tịnh 9 Khoa Toán - Tin học
Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi
Định lý 2.4 Nếu f nửa liên tục dưới trên D và thoả mãn điều kiện bức
sau
f (x) → +∞ khi x ∈ D, x → +∞
thì f có điểm cực tiểu trên D.
Chứng minh: Đặt D(a) := {x ∈ D : f(x) ≤ f(a)} với a ∈ D. Rõ ràng,
D(a) đóng và bị chặn nên f có điểm cực tiểu trên D(a) và điểm đó cũng
chính là điểm cực tiểu của f trên D.
2.4 Điều kiện tối ưu:
Định lý 2.5: Giả sử D là tập lồi và f là hàm lồi, khả dưới vi phân trên
D. Khi đó, x
∗

là nghiệm tối ưu của bài toán (P ) nếu và chỉ nếu
0 ∈ ∂f (x
∗
) + N
D
(x
∗
) , (2.2)
trong đó N
D
(x
∗
) là ký hiệu nón pháp tuyến của D tại x
∗
.
Chứng minh:
(” ⇐ ”): Giả sử có (2.2). Khi đó, tồn tại p
∗
sao cho:
p
∗
∈ ∂f (x
∗
) ∩ (−N
D
(x
∗
)) .
Do p
∗

∈ ∂f (x
∗
) nên
p
∗
, x − x
∗
 ≤ f (x) − f (x
∗
) , ∀x.
Và vì p
∗
∈ (N
D
(x
∗
)) nên
p
∗
, x − x
∗
 ≥ 0, ∀x ∈ D.
Chứng tỏ x
∗
là nghiệm tối ưu của bài toán (P ).
(” ⇒ ”): Giả sử x
∗
là nghiệm tối ưu. Bằng cách lấy không gian affine
của D, ta có thể giả sử D là một tập có số chiều đầy đủ. Do D là tập lồi,
intD /∈ ∅. Xét hai tập sau:

E := {(t, x) ∈ R × R
n
: t > f (x) − f (x
∗
) , x ∈ D} ; G := {0} × D
Cả E và G đều là tập lồi (do D và f lồi). Hơn nữa G ∩ E = ∅. Áp dụng
định lý siêu phẳng tách tồn tại (u
0
, u) = 0 ∈ R × R
n
sao cho
u
0
t + u
T
x ≤ u
0
0 + u
T
y, ∀ (t, x) ∈ E, y ∈ D (2.3)
Tô Quang Tịnh 10 Khoa Toán - Tin học
Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi
Từ (2.3), cho t → +∞, ta thấy u
0
≤ 0. Cũng từ (2.3) nếu u
0
= 0 thì
u, x − y ≤ 0, ∀x, y ∈ D. (2.4)
Hiển nhiên, 0 ∈ D và bằng phép tịnh tiến ta có thể giả sử 0 ∈ intD. Theo
(2.4) ta có u = 0 (không xảy ra vì u

0
= 0). Do đó u
0
< 0. Chia cả 2 vế
của (2.3) cho −u
0
> 0, ta có
−t + u
T
x ≤ u
T
y, ∀x, y ∈ D.
Cho t → f(x) − f(x
∗
), ta được
− [f(x) − f(x
∗
)] + u
T
x ≤ u
T
y, ∀x, y ∈ D. (2.5)
Thay y = x
∗
, vào (2.5), ta được
− [f(x) − f(x
∗
)] + u
T
x ≤ u

T
x
∗
, ∀x ∈ D.
Do đó
f(x
∗
) − f(x) + u
T
(x − x
∗
) ≤ 0, ∀x ∈ D. (2.6)
Nếu x /∈ D, bằng cách lấy f(x) = ∞ nên từ (2.6) ta cũng nhận được
f(x
∗
) − f(x) + u
T
(x − x
∗
) ≤ 0, ∀x ∈ X.
nghĩa là u ∈ ∂f(x
∗
). Mặt khác, thay x = x
∗
vào (2.5), ta có
u
T
(y − x
∗
) ≥ 0, ∀y ∈ D.

Suy ra −u ∈ N
D
(x
∗
). Kết hợp với u ∈ ∂f(x
∗
). Ta được 0 ∈ ∂f (x
∗
) +
N
D
(x
∗
) .
Hệ quả 2.1: Với các giả thiết như Định lý 2.4, nếu x
∗
∈ intD là nghiệm
tối ưu của bài toán (P ) thì 0 ∈ ∂f (x
∗
). Hơn nữa, nếu f khả vi và D = R
n
thì 0 = ∇f (x
∗
)
Định lý 2.6: Giả sử (P ) là bài toán lồi. Nếu x
∗
là một nghiệm tối ưu của
bài toán (P ) thì tồn tai λ
∗
i

≥ 0 (i = 0, 1, · · · , m) và µ
∗
j
(j = 1, · · · , k)
không đồng thời bằng 0 sao cho
L (x
∗
, λ
∗
, µ
∗
) = min
x∈X
L (x, λ
∗
, µ
∗
) (Điều kiện đạo hàm triệt tiêu),
Tô Quang Tịnh 11 Khoa Toán - Tin học
Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi
λ
∗
i
g
i
(x
∗
) = 0 (i = 1, . . . , m) (Điều kiện bù).
Hơn nữa, nếu intX = ∅ và điều kiện Slater
∃x

0
∈ D : g
i

x
0

< 0 (i = 1, . . . , m)
được thoả mãn và các hàm affine h
i
(i = 1, . . . , k) độc lập tuyến tính trên
X thì λ
∗
0
> 0 và các đạo hàm triệt tiêu và điều kiện bù là điều kiện đủ để
chấp nhận được x
∗
là nghiệm tối ưu của bài toán (P ).
Chứng minh: Giả sử x
∗
là một nghiệm tối ưu của bài toán (P ). Đặt:
C := {(λ
0
, λ
1
, . . . , λ
m
, µ
1
, . . . , µ

k
) : (∃x ∈ X) :
f (x)−f (x
∗
) < λ
0
, g
i
(x) ≤ λ
i
, h
j
(x) = µ
j
, (i = 1, . . . , m; j = 1, . . . , k)}.
Do X = ∅ lồi, f, g
i
là các hàm lồi và h
j
là hàm affine trên X, nên C là
tập lồi đóng, khác rỗng trong R
m+k+1
.
Hơn nữa 0 = C vì nếu 0 ∈ C thì tồn tại một điểm chấp nhận
được x sao cho f (x) < f (x
∗
). Điều này mâu thuẫn với giả thiết x
∗
là
nghiệm tối ưu của bài toán (P ). Theo định lý siêu phẳng tách, có các số

λ
∗
i
(i = 0, 1, . . . , m) , µ
∗
j
(j = 1, . . . , k) không đồng thời bằng 0 sao cho
m

i=0
λ
∗
i
λ
i
+
m

i=0
µ
∗
j
µ
j
≥ 0, ∀ (λ
0
, . . . , λ
m
, µ
1

, . . . , µ
k
) ∈ C. (2.7)
Nếu λ
0
, · · · , λ
m
> 0, thì thay x = x
∗
, ta được:
(λ
0
, . . . , λ
m
, 0, . . . , 0) ∈ C
Vì thế có thể xem λ
∗
0
, λ
∗
1
, · · · , λ
∗
m
≥ 0. Hơn nữa, với  > 0 và x ∈ X, ta
lấy:
λ
0
= f (x)−f (x
∗

)+, λ
i
= g
i
(x) (i = 1, . . . , m) , µ
j
= h
i
(x) (i = 1, . . . , k)
và thay vào (2.7), cho  → 0 ta được:
λ
∗
0
f (x)+
m

i=1
λ
∗
i
g
i
(x)+
k

j=1
µ
∗
j
h

j
(x) ≥ λ
∗
0
f (x
∗
)+
m

i=1
λ
∗
i
g
i
(x
∗
)+
k

j=1
µ
∗
j
h
j
(x
∗
),
∀x ∈ X (2.8)

Tô Quang Tịnh 12 Khoa Toán - Tin học
Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi
hay
L (x
∗
, λ
∗
, µ
∗
) ≤ L (x, λ
∗
, µ
∗
) , ∀x ∈ X.
Điều kiện đạo hàm triệt tiêu được chứng minh. Để chứng minh điều kiện
bù, ta thấy, do x
∗
là điểm chấp nhận được, g
j
(x
∗
) ≤ 0 với mọi j. Nếu có
chỉ số i sao cho g
j
(x
∗
) = ξ < 0, thì với mọi  > 0, ta có
(, . . . , ξ, , . . . , , 0, . . . , 0) ∈ C( ξ ở vị trí i + 1).
Thay vào (2.7) và cho  → 0, ta có λ
∗

i
ξ ≥ 0. Nhưng vì ξ < 0, nên λ
∗
i
< 0.
Do đó, λ
∗
i
= 0.
Bây giờ, ta chứng minh điều kiện đủ. Trước hết, ta có λ
∗
0
> 0. Thật
vậy, nếu λ
∗
0
= 0, do điều kiện đạo hàm triệt tiêu và điều kiện bù, ta có
0 =
m

i=1
λ
∗
i
g
i
(x
∗
) +
k


j=1
µ
∗
j
h
j
(x
∗
) ≤
m

i=1
λ
∗
i
g
i
(x) +
k

j=1
µ
∗
j
h
j
(x), ∀x ∈ X
(2.9)
Do λ

∗
0
= 0, nên xảy ra 2 trường hợp:
• Trường hợp 1: Tồn tại chỉ số i sao cho λ
∗
i
> 0. Khi đó, thay thế x = x
0
vào bất đẳng thức (2.9) ta được:
0 =
m

i=1
λ
∗
i
g
i
(x
∗
)+
k

j=1
µ
∗
j
h
j
(x

∗
) ≤
m

i=1
λ
∗
i
g
i

x
0

+
k

j=1
µ
∗
j
h
j

x
0

< 0 (vô lý).
• Trường hợp 2: λ
∗

i
= 0 với mọi i và tồn tại j sao cho µ
∗
j
> 0. Ta có
0 =
k

j=0
µ
∗
j
h
j
(x
∗
) ≤
k

j=0
µ
∗
j
h
j
(x), ∀x ∈ X.
Do intX = ∅ và h
j
là hàm affine với mọi j nên ta có
k


j=0
µ
∗
j
h
j
(x) = 0, ∀x ∈ X.
Theo giả thiết, các hàm h
j
độc lập tuyến tính trên X, nên µ
∗
j
= 0 với mọi
j. Điều này mâu thuẫn với giả thiết λ
∗
i
và µ
∗
j
không đồng thời bằng 0. Do
Tô Quang Tịnh 13 Khoa Toán - Tin học
Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi
đó, λ
∗
0
> 0 và chia cả hai vế của (2.8) cho λ
∗
0
> 0, ta có thể giả sử hàm

Lagrange của bài toán (P ) có dạng:
L (x, λ, µ) = f (x) +
m

i=1
λ
i
g
i
(x) +
k

j=1
µ
j
h
j
(x).
Sử dụng điều kiện đạo hàm triệt tiêu và điều kiện bù, với mọi nghiệm chấp
nhận được x
∗
, ta có:
f (x
∗
) = f
0
(x
∗
) +
m


i=1
λ
∗
i
g
i
(x
∗
) +
k

j=1
µ
∗
j
h
j
(x
∗
)
≤ f
0
(x) +
m

i=1
λ
∗
i

g
i
(x) +
k

j=1
µ
∗
j
h
j
(x) ≤ f (x) .
Điều này chứng tỏ rằng x
∗
là một nghiệm tối ưu của bài toán (P ).
Chú ý 2.1: Nếu X là tập mở (hơn nữa, X là toàn bộ không gian), thì
theo Moreau-Rockafellar, điều kiện đạo hàm triệt tiêu kéo theo
0 ∈ ∂f (x
∗
) +
m

j=1
λ
∗
j
∂g
j
(x
∗

) +
k

i=1
µ
∗
j
∇h
i
(x
∗
).
Khi f và mọi hàm g
j
(j = 1, 2, · · · , m) đều khả vi thì điều kiện trên trở
thành
0 ∈ λ
∗
0
∇f
0
(x
∗
) +
m

j=1
λ
∗
j

∇g
j
(x
∗
) +
k

i=1
µ
∗
j
∇h
i
(x
∗
).
Định nghĩa 2.4: Một véc-tơ d = 0 được gọi là một hướng chấp nhận được
của tập D tại x
∗
∈ D nếu:
x
∗
+ λd ∈ D, ∀λ > 0 đủ nhỏ
Ký hiệu:
- D (x
∗
): tập tất cả hướng chấp nhận được của D tại x
∗
.
- D (x

∗
): bao đóng của tập tất cả hướng chấp nhận được của D tại x
∗
.
Tô Quang Tịnh 14 Khoa Toán - Tin học
Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi
- S(x
0
): tập nghiệm của hệ phương trình tuyến tính sau:
 
∇h
i

x
0

, d

= 0, i = 1, . . . , k

∇g
j

x
0

, d

= 0, j ∈ I


x
0

2.5 Điều kiện chính quy:
Với mỗi điểm chấp nhận được x
∗
, ta ký hiệu I (x
∗
) = {i |g
i
(x
∗
) = 0}.
Định nghĩa 2.5: Xét bài toán:
min {f (x) |g
j
(x) ≤ 0, h
i
(x) = 0, j = 1, . . . m, i = 1, . . . , p} (2.10)
Bài toán (2.10) được gọi là chính quy tại điểm x
∗
nếu có một véc-tơ u ∈ R
n
sao cho
∇g
j
(x
∗
) , u < 0, ∀j ∈ I (x
∗

) ; (2.11)
∇h
i
(x
∗
) , u = 0, i = 1, . . . , p; (2.12)
và ∇h
1
(x
∗
) , . . . , ∇h
p
(x
∗
) độc lập tuyến tính. (2.13)
Định nghĩa 2.6: Ta nói rằng điều kiện chính quy được thoả mãn tại x
0
nếu S

x
0

= D (x
0
).
2.6 Định lý Karush-Kuhn-Tucker:
Định lý Karush-Kuhn-Tucker (còn được gọi là định lý Kuhn-Tucker hay
định lý KKT) là định lý được mang tên bởi ba nhà toán học là: William
Karush (1917 - 1997), Albert William Tucker (1905 - 1995) và Harold
William Kuhn (1925 - 2014).

Định lý này ban đầu chỉ mang tên của 2 nhà toán học Kuhn và Tucker,
những người mà bài báo của họ được đăng vào năm 1951. Nhưng vào thời
gian sau, định lý này có nhiều nét rất tương đồng với luận án thạc sĩ của
Karush được bảo vệ vào năm 1939. Do đó, định lý này được mang tên của
cả ba người. Định lý này được phát biểu như sau:
Tô Quang Tịnh 15 Khoa Toán - Tin học
Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi
Định lý 2.7: Giả sử các hàm f, g
j
(j = 1, · · · , m), h
i
(i = 1, · · · , k) là
các hàm khả vi liên tục và x
∗
là nghiệm tối ưu địa phương của bài toán
(P ) thoả mãn điều kiện chính quy. Khi đó, tồn tại các nhân tử Lagrange
λ
∗
= (λ
∗
1
, . . . , λ
∗
m
) ≥ 0, µ
∗
= (µ
∗
1
, . . . , µ

∗
k
) không đồng thời bằng 0.
(2.14)
sao cho
∇f (x
∗
) +
m

j=1
λ
∗
j
∇g
j
(x
∗
) +
k

i=1
µ
∗
j
∇h
i
(x
∗
) = 0, (2.15)

λ
∗
j
g (x
∗
) = 0, ∀j = 1, . . . , m. (điều kiện bù) (2.16)
Ngược lại, nếu f, g
i
là các hàm lồi với mọi i và h
i
là các hàm affine với
mọi j và nếu x
∗
∈ D thoả mãn các điều kiện (2.14), (2.15), (2.16), thì x
∗
là nghiệm tối ưu của bài toán (P ).
Chứng minh:
• Sử dụng khai triển Taylor:
f (x
∗
+ λd) = f (x
∗
) + ∇f (x
∗
) , λd + o (λd)
ta có:
∇f (x
∗
) , d ≥ 0, ∀d ∈ D (x
∗

) .
Do S

x
0

= D (x
0
), nên ∇f (x
∗
) , d ≥ 0, với mọi d ∈ S (x
∗
).
Áp dụng bổ đề Farkas với ma trận A có các dòng
∇g
j
(x
∗
) , j ∈ I (x
∗
) , ∇h
i
(x
∗
) , −∇h
i
(x
∗
) , i = 1, . . . , k
Ta có các số λ

∗
j
≥ 0, j ∈ I (x
∗
) và α
∗
j
≥ 0, β
∗
j
≥ 0, i = 1, . . . , k sao cho:
∇f (x
∗
) +

j∈I(x
∗
)
λ
∗
j
∇g
j
(x
∗
) +
k

i=1
(α

∗
i
− β
∗
i
) ∇h
i
(x
∗
) = 0.
Lấy λ
∗
j
= 0 với mọi j /∈ I (x
∗
) và µ
∗
i
= α
∗
i
− β
∗
i
với mọi i thì ta được (2.15)
và (2.16).
• Giả sử g
i
là các hàm lồi và h
i

là các hàm affine với mọi i, j. Ta sẽ
chứng minh ba điều kiện (2.14), (2.15) và (2.16) là điều kiện đủ để x
∗
∈ D
là nghiệm tối ưu của bài toán (P). Thật vậy, nếu x
∗
không phải là nghiệm
Tô Quang Tịnh 16 Khoa Toán - Tin học
Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi
tối ưu, thì sẽ tồn tại x ∈ D sao cho f (x) < f (x
∗
). Đặt d := x − x
∗
= 0.
Khi đó
∇f (x
∗
) , d = lim
t0
f (x
∗
+ td) − f (x
∗
)
t
< 0 (2.17)
Mặt khác, λ
∗
j
g

j
(x
∗
) = 0 với mọi j, nên λ
∗
j
= 0 nếu j /∈ I (x
∗
). Với x ∈ D,
lập luận tương tự, ta có:
∇g
j
(x
∗
) , x − x
∗
 ≤ g
j
(x) − g
j
(x
∗
) ≤ 0, ∀j ∈ I (x
∗
) .
Do đó
λ
∗
j
∇g

j
(x
∗
) , d ≤ 0, ∀j ∈ I (x
∗
) . (2.18)
Theo tính chất affine của các hàm h
i
với mọi i = 1, · · · , k, ta có:
∇h
i
(x
∗
) , d = 0. (2.19)
Suy ra
µ
∗
i
∇h
i
(x
∗
) , d = 0, i = 1, . . . , k.
Kết hợp (2.17), (2.18) và (2.19), ta được:
∇f (x
∗
) , d +
m

j=1

λ
∗
j
∇g
j
(x
∗
) , d +
k

i=1
µ
∗
i
∇h
i
(x
∗
) , d < 0.
điều này mâu thuẫn với (2.15).
Vậy x
∗
là nghiệm tối ưu của bài toán (P ).
Ví dụ: Cho hàm mục tiêu:
f(x) = 2x
2
1
+ 2x
1
x

2
+ x
2
2
− 10x
1
− 10x
2
Điều kiện ràng buộc:
c
1
(x) = 5 − x
2
1
− x
2
2
≥ 0
c
2
(x) = 6 − 3x
1
− x
2
≥ 0
Ta có: hàm mục tiêu liên tục và Ω hữu hạn nên ta chắc chắn có cực tiểu.
Công thức hàm Lagrange:
L(x, λ) = f(x) − λ
1
c

1
(x) − λ
2
c
2
(x).
Tô Quang Tịnh 17 Khoa Toán - Tin học
Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi
Các điểm KKT là nghiệm của:
∂L
∂x
1
(x, λ) = 4x
1
+ 2x
2
− 10 + 2λ
1
x
1
+ 3λ
2
= 0,
∂L
∂x
2
(x, λ) = 2x
1
+ 2x
2

− 10 + 2λ
1
x
2
+ λ
2
= 0,
λ
1

5 − x
2
1
− x
2
2

= 0,
λ
2
(6 − 3x
1
− x
2
) = 0,
λ
1
, λ
2
≥ 0.

Ở đây, ta sẽ xét 4 trường hợp:
Trường hợp 1: Không có điều kiện ràng buộc:
Chúng ta có λ
1
= λ
2
= 0 và trong đó, điểm cực tiểu sẽ có tại điểm:
∇L(x, 0) = ∇f(x) = 0.
=⇒

4x
1
+ 2x
2
− 10 = 0,
2x
1
+ 2x
2
− 10 = 0,
=⇒

x
∗
1
= 0,
x
∗
2
= 5

Tuy nhiên,

c
1
(x
∗
) = 5 − 0 − 5
2
= −20 (loại),
c
2
(x
∗
) = 6 − 0 − 5 = 1 (thoả)
Trường hợp 2: Có 2 điều kiện ràng buộc:
c
1
(x) = 5 − x
2
1
− x
2
2
≥ 0
c
2
(x) = 6 − 3x
1
− x
2

≥ 0
Phương trình bậc hai theo biến x
1
:
10x
2
1
− 36x
1
+ 31 = 0,
với hai nghiệm (và hai điểm dương)
x
a
= (2, 17 ; −0, 52 ) ,
x
b
= (1, 42 ; 1, 72 ) .
Chúng ta cần kiểm tra nhân tử Lagrange (∇
x
L = 0):
4x
1
+ 2x
2
− 10 + 2λ
1
x
1
+ 3λ
2

= 0,
2x
1
+ 2x
2
− 10 + 2λ
1
x
2
+ λ
2
= 0
Tô Quang Tịnh 18 Khoa Toán - Tin học
Tiểu luận môn học Cơ sở giải tích lồi và quy hoạch lồi
Do đó,
λ
1
=
10 − 2x
2
− x
1
3x
2
− x
1
, λ
2
= − (2x
1

+ 2x
2
− 10 + 2λ
1
x
2
)
Điểm x
a
thay vào λ
1
và λ
2
được:
λ
1
= −2, 37 , λ
2
= 4, 22 (loại)
Điểm x
b
thay vào λ
1
và λ
2
được:
λ
1
= 1, 7 , λ
2

= −2, 04 (loại)
Trường hợp 3: c
1
không ràng buộc, c
2
ràng buộc:
Khi c
2
ràng buộc:
6 − 3x
1
− x
2
= 0.
dẫn đến,
x
2
= 6 − 3x
1
,
và
f (x
1
, 6 − 3x
1
) = 5x
2
1
− 4x
1

− 24
Cực tiểu toàn cục với
df
dx
= 0, hay
x
1
=
2
5
, x
2
=
24
5
Tuy nhiên,
c
1
(x
1
, x
2
) = 5 −

2
5

2
−


24
5

2
= −
91
5
< 0 (!!!)
Trường hợp 4: c
2
không ràng buộc, c
1
ràng buộc: Khi λ
2
= 0 :
4x
1
+ 2x
2
− 10 + 2λ
1
x
1
= 0,
2x
1
+ 2x
2
− 10 + 2λ
1

x
2
= 0,
x
2
1
+ x
2
2
= 5.
Nghiệm:
x
∗
1
= 1 , x
∗
2
= 2 , λ
∗
1
= 1
Thay vào c
2
:
c
2
(1, 2) = 6 − 3 − 2 = 5 > 0(thoả)
Tô Quang Tịnh 19 Khoa Toán - Tin học
Tài liệu tham khảo
[1] Hoàng Tuỵ: Lý thuyết tối ưu, 2003.

[2] Hoang Tuy: Convex Analysis and Global Optimization, 1998
[3] R. Tyrrell Rockafellar: Variational Analysis, 2009.
[4] Stephen Boy, Lieven Vandenberge: Convex Optimization, 2009.
[5] Internet
20