Các điều kiện tối ưu theo dãy cho bài toán tối ưu trơn với các ràng buộc phiếm hàm

LỜI CẢM ƠN

Em xin được gửi lời cảm ơn tới các thầy giáo, cô giáo trong tổ Giải
tích và các bạn sinh viên khoa Toán trường Đại học Sư phạm Hà Nội 2.
Đặc biệt, em xin bày tỏ lòng biết ơn sâu sắc tới thầy Nguyễn
Văn Tuyên đã tận tình giúp đỡ em trong suốt quá trình học tập,
nghiên cứu và hoàn thành khóa luận tốt nghiệp.
Cuối cùng, em muốn gửi lời cảm ơn tới gia đình và bạn bè đã luôn
quan tâm, động viên em trong quá trình học tập và nghiên cứu.
Em xin chân thành cảm ơn !

Hà Nội, tháng 5 năm 2013
Sinh viên

Nguyễn Ngọc Mai


LỜI CAM ĐOAN

Em xin cam đoan dưới sự hướng dẫn của thầy giáo Nguyễn Văn
Tuyên khóa luận tốt nghiệp "Các điều kiện tối ưu theo dãy cho
bài toán tối ưu trơn với ràng buộc phiếm hàm" được hoàn thành
không trùng với bất kì công trình nghiên cứu khoa học nào khác.
Trong khi thực hiện nghiên cứu khoa học em đã sử dụng và tham
khảo các thành tựu của các nhà khoa học với lòng biết ơn trân trọng.

Hà Nội, tháng 5 năm 2013
Sinh Viên

Nguyễn Ngọc Mai

ii


BẢNG KÝ HIỆU
• N = {0, 1, 2, ...}.
• · kí hiệu một chuẩn bất kì.
• Nếu h : Rn → Rm , h = (h1 , ..., hn ) thì ∇h := (∇h1 , ..., ∇hm ).
• R+ = {t ∈ R | t ≥ 0}.
• Nếu ν ∈ Rn , ta kí hiệu ν+ = (max ν1 , 0, ..., max νn , 0)T .
• Nếu ν ∈ Rn , ta kí hiệu ν− = (min ν1 , 0, ..., min νn , 0)T .
• A ⊂ B có nghĩa rằng tập A được chứa trong tập B.
• B(x, δ) = {z ∈ Rn |

z − x ≤ δ}.

• ΠΩ (x) là hình chiếu Euclide của x trên Ω.

iii


Mục lục

Mở đầu

1

1 Một số kiến thức chuẩn bị

4

1.1. Một số kiến thức cơ sở về giải tích lồi . . . . . . . . . . .

4

1.1.1. Tập lồi . . . . . . . . . . . . . . . . . . . . . . . .

4

1.1.2. Hình chiếu . . . . . . . . . . . . . . . . . . . . . .

7

1.1.3. Các định lý tách . . . . . . . . . . . . . . . . . .

11

1.1.4. Nón . . . . . . . . . . . . . . . . . . . . . . . . .

12

1.1.5. Hàm lồi . . . . . . . . . . . . . . . . . . . . . . .

14

1.1.6. Hàm lồi khả vi . . . . . . . . . . . . . . . . . . .

15

1.1.7. Dưới vi phân . . . . . . . . . . . . . . . . . . . .

18

1.2. Các điều kiện tối ưu cho bài toán tối ưu trơn có ràng buộc 21
1.2.1. Các điều kiện cho bài toán tối ưu không có ràng
buộc . . . . . . . . . . . . . . . . . . . . . . . . .

21

1.2.2. Các điều kiện cho bài toán tối ưu có ràng buộc .

22

2 Các điều kiện tối ưu theo dãy cho bài toán tối ưu trơn
có ràng buộc

35
iv


2.1. Các điều kiện KKT-xấp xỉ . . . . . . . . . . . . . . . . .

35

2.1.1. AKKT(I) là một điều kiện tối ưu . . . . . . . . .

38

2.1.2. AKKT(I) là một điều kiện tối ưu mạnh . . . . . .

42

2.2. Các điều kiện chiếu gradient gần đúng . . . . . . . . . .

44

2.2.1. Điều kiện C-AGP . . . . . . . . . . . . . . . . . .

46

2.2.2. Điều kiện L-AGP . . . . . . . . . . . . . . . . . .

52

Kết luận

54

Tài liệu tham khảo

54

v


MỞ ĐẦU

1. Lý do chọn đề tài
Trong khóa luận này chúng tôi trình bày các điều kiện tối ưu bậc
nhất theo dãy cho bài toán quy hoạch phi tuyến. Các điều kiện tối ưu
cần phải thỏa mãn cực tiểu của bài toán tối ưu hóa. Thông thường, các

định lý hỗ trợ một điều kiện tối ưu có dạng: ‘Nếu cực tiểu địa phương x
thỏa mãn CQ, thì nó thỏa mãn KKT, trong đó KKT là viết tắt của các
điều kiện Karush -Kuhn-Tucker và CQ là một ràng buộc chính quy. Nói
cách khác, thường thì các điều kiện tối ưu cần bậc nhất ở dạng KKT
hoặc không là CQ’.
Trên thực tế, phương pháp số để giải các bài toán tối ưu hóa có
ràng buộc thường được sử dụng là phương pháp lặp. Người ta phải quyết
định ở mỗi lần lặp có thực hiện bước lặp tiếp theo thuật toán hay kết
thúc thuật toán. Do việc kiểm tra tính tối ưu thực sự là rất khó, nên
một cách tự nhiên chúng ta sẽ kết thúc thuật toán khi một điều kiện cần
tối ưu thỏa mãn một cách xấp xỉ. Tuy nhiên, hầu hết các phương pháp
giải số bài toán tối ưu không kiểm tra được tất cả các điều kiện chính
qui ràng buộc, mặc dù các điều kiện KKT (xấp xỉ) luôn luôn được thỏa
mãn. Nhiều người dường như không nhận thấy rằng các ràng buộc chính
quy tồn tại. Việc tính toán này có thể kiểm tra được bằng các tính chất
lý thuyết của cực tiểu địa phương: Cần nhấn mạnh rằng, một cực tiểu
địa phương có thể không phải là KKT, nhưng nó có thể luôn luôn được
xấp xỉ bởi một dãy các điểm ‘KKT-xấp xỉ’.

1


Thực tế này dẫn đến việc nghiên cứu một loại điều kiện tối ưu
khác. Chúng ta nói rằng x thỏa mãn ‘điều kiện tối ưu theo dãy’ được
xác định bởi mệnh đề toán học P nếu tồn tại một dãy {xk } hội tụ đến
x và thỏa mãn P({xk }). Thông thường, một điều kiện tối ưu theo dãy
tương ứng với một đại lượng

k

nào đó mà

k

→ 0. Các tiêu chuẩn dừng

tự nhiên tương ứng với các điều kiện tối ưu theo dãy chỉ ra để dừng việc
thực hiện thuật toán khi

k

là đủ nhỏ.

Các điều kiện tối ưu cần theo dãy có các yêu cầu tương tự như
các điều kiện tối ưu thông thường: Chúng phải được thỏa mãn bởi các
cực tiểu của bài toán, và chúng càng mạnh càng tốt. Hơn nữa, các điều
kiện tối ưu hữu ích (hay là thuật toán định hướng) sẽ được tương ứng
với một số thuật toán thực tế.

2. Mục đích nghiên cứu
Nghiên cứu về các điều kiện tối ưu theo dãy cho bài toán tối ưu
trơn với ràng buộc phiếm hàm.

3. Nhiệm vụ nghiên cứu
-Nghiên cứu lý thuyết cơ sở về giải tích lồi.
-Nghiên cứu về các điều kiện tối ưu cho bài toán tối ưu trơn có
ràng buộc.
-Nghiên cứu về các điều kiện KKT-xấp xỉ.
-Nghiên cứu về các điều kiện chiếu gradient gần đúng.

2


4. Phương pháp nghiên cứu
Tra cứu tài liệu, phân tích, so sánh, tổng hợp.

5. Cấu trúc khóa luận
Khóa luận được bố cục như sau:
Chương 1. Trình bày một số kiến thức cơ sở về giải tích lồi. Trong
chương này có trình bày một số tính chất cơ bản về tập lồi, hàm lồi và
các điều kiện tối ưu cho bài toán tối ưu trơn có ràng buộc.
Chương 2. Trình bày các điều kiện tối ưu theo dãy cho bài toán
tối ưu trơn có ràng buộc. Nội dung chính của chương này trình bày chi
tiết các kết quả trong bài báo [2]. Mục 2.1 trình bày các điều kiện KKT
xấp xỉ. Mục 2.2 trình bày các điều kiện chiếu gradient xấp xỉ.

3


Chương 1
Một số kiến thức chuẩn bị
1.1.

Một số kiến thức cơ sở về giải tích lồi

1.1.1.

Tập lồi

Khái niệm tập lồi là khái niệm quan trọng trong lý thuyết tối ưu.

Tập lồi là tập mà khi lấy 2 điểm bất kì của tập thì đoạn thẳng nối 2
điểm đó cũng nằm trong tập đó.
Định nghĩa 1.1. Tập X ⊂ Rn được gọi là tập lồi nếu với mọi x1 , x1 ∈ X
và với mọi t ∈ (0; 1) thì: (1 − t)x1 + tx2 ∈ X.
Bổ đề 1.1. Cho I là một tập bất kì. Nếu các tập Xi ⊂ Rn , với i ∈ I, là
các tập lồi thì tập X =

Xi là tập lồi.
i∈I

Chứng minh. Ta xét 2 trường hợp:
Xi = ∅ thì X là tập lồi tầm thường.

+Nếu X =
i∈I

Xi = ∅, ta có: ∀x, y ∈

+Nếu X =
i∈I

Xi , ∀t ∈ (0; 1), suy ra
i∈I

x, y ∈ Xi , ∀i ∈ I. Khi đó, (1 − t)x + ty ∈ Xi , ∀i ∈ I, suy ra (1 − t)x + ty ∈
Xi , ∀i ∈ I. Vậy X là tập lồi.
i∈I

4

Bổ đề 1.2. Cho X, Y là tập lồi trong Rn và các số thực λ, µ. Khi đó,
λX + µY là tập lồi.
Chứng minh. Lấy tùy ý x, y ∈ λX + µY , với mọi t ∈ (0; 1). Suy ra,
x = λx1 + µy1 ( với x1 ∈ X, y1 ∈ Y ),
y = λx2 + µy2 ( với x2 ∈ X, y2 ∈ Y ).
Khi đó
(1 − t)x + ty
= (1 − t)(λx1 + µy1 ) + t(λx2 + µy2 )
= λ((1 − t)x1 + tx2 ) + µ((1 − t)y1 + ty2 ).
Do X, Y là các tập lồi nên λ((1 − t)x1 + tx2 ) ∈ λX và µ((1 − t)y1 + ty2 ) ∈
µY . Suy ra, λ((1 − t)x1 + tx2 ) + µ((1 − t)y1 + ty2 ) ∈ λX + µY hay
(1 − t)x + ty ∈ λX + µY . Vậy λX + µY là tập lồi.
Định nghĩa 1.2. Một điểm x được gọi là tổ hợp lồi của các điểm
x1 , x2 , ..., xm , nếu tồn tại các số thực không âm α1 , α2 , ..., αm sao cho
x = α1 x1 + α2 x2 + ... + αm xm
và
α1 + α2 + ... + αm = 1.
Định nghĩa 1.3. Bao lồi của X ( kí hiệu: convX) là giao của tất cả các
tập lồi chứa X.
Bổ đề 1.3. Bao lồi của X là tập hợp các tổ hợp lồi của các điểm thuộc
X.
m

convX = {x | x =

m

αi xi , xi ∈ X, α ≥ 0,
i=1

αi = 1, m ∈ N}.
i=1

5


Chứng minh. Xét tập Y là tổ hợp lồi của tất cả các điểm thuộc X. Nếu
y1 ∈ Y, y2 ∈ Y , khi đó:
y1 = α1 x1 + α2 x2 + ... + αm xm ,
y2 = β1 z1 + β2 z2 + ... + βl zl ,
trong đó, x1 , ..., xm , z1 , ..., zm ∈ X, các hệ số α, β là các hệ số không âm
và

m

l

αi = 1,

βi = 1.

i=1

i=1

Do đó, với mỗi t ∈ (0; 1) thì
m

(1 − t)y1 + ty2 =

l

(1 − t)αi xi +
i=1

tβi zi
i=1

là một tổ hợp lồi của các điểm x1 , ..., xm , z1 , ..., zm . Do đó, tập Y là tập
lồi. Rõ ràng, Y ⊃ X. Vì vậy,
convX ⊂ Y
Mặt khác, nếu y ∈ Y thì y là một tổ hợp lồi của tất cả các điểm thuộc
X và phải được chứa trong mỗi tập lồi chứa X. Do đó, convX ⊃ Y . Đến
đây ta hoàn thành điều phải chứng minh.
Bổ đề 1.4. (Định lý Carathéodory) Nếu X ⊂ Rn thì mọi phần tử
của convX là tổ hợp lồi của không quá (n + 1) điểm thuộc X.
Chứng minh. Cho x là một tổ hợp lồi của m > n + 1 điểm thuộc X. Ta
sẽ chỉ ra rằng m có thể bị giảm giá trị đi một đơn vị. Nếu αj = 0 với
một vài j thì ta có thể xóa điểm thứ j đó và thực hiện. Vì vậy, cho tất
cả αi > 0. Vì m > n + 1, tồn tại các số γ1 , γ2 , ...., γm không đồng thời
bằng 0, do đó:
γ1

x1
x2
xm
+ γ2
+ ... + γm
= 0.

1
1
1
6

(1.1)


Đặt τ = min{ αγii : γi > 0}. Chú ý rằng τ được định nghĩa tốt vì một vài
γj > 0, nếu tổng của chúng bằng 0. Đặt α
¯ i = αi − τ γi , i = 1, 2, ..., m. Từ
(1.1) ta có

m
¯i
i=1 α

= 1 và

m
¯ i xi
i=1 α

= x. Từ cách đặt của τ , ít nhất có

một α
¯ j = 0 và ta có thể xóa điểm thứ j đó. Cứ tiếp tục quá trình trên,
ta có thể giảm giá trị của m tới n + 1.
Bổ đề 1.5. Nếu X ⊂ Rn là tập lồi thì khi đó intX và X cũng là các tập
lồi.

Chứng minh. Cho B là một hình cầu đơn vị. Nếu x1 ∈ intX, x2 ∈ intX,
khi đó, ta có thể tìm ε > 0 sao cho x1 + εB ⊂ X và x2 + εB ⊂ X. Do đó,
(1 − t)x1 + tx2 + εB ⊂ X với t ∈ (0; 1). Vì vậy, (1 − t)x1 + tx2 ∈ intX.
Để chứng minh phần 2 của bổ đề, ta cho xk → x và y k → y với xk ∈ X
và y k ∈ X. Khi đó, dãy của các điểm
(1 − t)xk + ty k
chứa trong X và hội tụ tới (1 − t)x + ty ∈ X.

1.1.2.

Hình chiếu

Cho một tập lồi, đóng V ⊂ Rn và x ∈ Rn . Ta gọi tập hợp các điểm
trong V gần nhất đối với điểm x là hình chiếu của x trên V và kí hiệu
là: ΠV (x).
ΠV (x) = {z ∈ V | z − x = inf y − x }.
y∈V

(Ta nói điểm z ∈ V được gọi là điểm gần nhất đối với x hay z là
chân hình chiếu của x trên V nếu z − x = inf y − x ).
y∈V

Định lý 1.1. Cho V ⊂ Rn là tập lồi, đóng và khác rỗng. Khi đó, với
mỗi x ∈ Rn , tồn tại duy nhất điểm là chân hình chiếu của x trên V .
7


Chứng minh. Đặt µ = inf y − x . Vì V = ∅ nên 0 ≤ µ < +∞. Lấy
y∈V

k

k

{y ⊂ V } sao cho y − x → µ. Rõ ràng {y k } là dãy bị chặn. Khi đó,
j

j

j

tồn tại {y k } là dãy con của {y k } sao cho lim y k = z. Vì {y k } ⊂ V và
j→∞

V là tập đóng nên z ∈ V ,
z − x = lim y k − x = µ = inf y − x .
y∈V

k→∞

Suy ra z là hình chiếu của x trên V .
Giả sử z1 , z2 là chân hình chiếu của x trên V (z1 , z2 ∈ ΠV (x)).
Chọn z¯ =

z1
2

+

z2

2

ta có z¯ ∈ V . Khi đó,
1
z1 − z2
4

2

= µ2 − z − x

2

suy ra z1 = z2 . Vậy định lý đã được chứng minh.
Bổ đề 1.6. Giả sử V ⊂ Rn là một tập lồi, đóng, khác rỗng và x ∈ Rn .
Khi đó, z = ΠV (x) khi và chỉ khi z ∈ V, v − z, x − z ≤ 0 ∀v ∈ V.
Chứng minh. Giả sử z = ΠV (x) và z ∈ V, v ∈ V . Đặt:
w(α) = αv + (1 − α)z, α ∈ [0; 1], w(α) ∈ V.
Do z = ΠV (x), suy ra
w(α) − x ≥ z − x , ∀α ∈ [0; 1]
hay là
w(α) − x

2

≥ z−x

2

, ∀α ∈ [0; 1].

Ta có:
w(α) − x

2

= α(v − z) + z − x, α(v − z) + z − x
= α2 v − z
≥ z−x

2

2

+ 2α v − z, z − x + z − x

, ∀α ∈ [0; 1].

8

2


Suy ra α2 v − z

2

+ 2α v − z, z − x + z − x

Với α ∈ [0; 1] : v − z, x − z ≤ 21 α v − z

2

≥ 0, ∀α ∈ [0; 1].

2

. Cho α → 0+ suy ra

v − z, x − z ≤ 0.
Ngược lại, giả sử rằng z ∈ V và v − z, x − z ≤ 0, ∀v ∈ V. Suy ra,
với v = ΠV (x) thì
ΠV (x) − z, x − z ≤ 0.

(1.2)

Theo chứng minh ở phần thuận ta có:
v − ΠV (x), x − ΠV (x) ≤ 0, ∀v ∈ V
suy ra
z − ΠV (x), x − ΠV (x) ≤ 0.

(1.3)

Cộng theo vế của (1.2) và (1.3), ta được:
ΠV (x) − z, ΠV (x) − z ≤ 0.
Suy ra
ΠV (x) − z

2

≤ 0.

Vậy ΠV (x) = z.
Nhận xét: Nếu V là một đa tạp tuyến tính, tức là với mọi x, y ∈
V , với mọi α, β ∈ R suy ra αx + βy ∈ V , thì với mỗi v ∈ V , w =
2ΠV (x) − v ∈ V. Ta có:
v − ΠV (x), x − ΠV (x) ≤ 0, ∀v ∈ V
và
w − ΠV (x), x − ΠV (x) ≤ 0.
Suy ra
ΠV (x) − v, x − ΠV (x) ≤ 0,
9

(1.4)


hay là
v − ΠV (x), x − ΠV (x) ≥ 0.

(1.5)

Từ (1.4) và (1.5) ta có: v − ΠV (x), x − ΠV (x) = 0, suy ra:
v − ΠV (x) ⊥ x − ΠV (x).
Định lý 1.2. Giả sử V ⊂ Rn là một tập lồi, đóng và khác rỗng. Khi đó,
với mọi x, y ∈ Rn ta có: ΠV (x) − ΠV (y) ≤ x − y .
Chứng minh. Từ Bổ đề 1.6 ta có:
ΠV (y) − ΠV (x), x − ΠV (x) ≤ 0,

(1.6)

ΠV (x) − ΠV (y), y − ΠV (y) ≤ 0.

(1.7)

Cộng theo vế của (1.6) và (1.7) ta có:
ΠV (x) − ΠV (y), (ΠV (x) − ΠV (y)) + (y − x) ≤ 0
2

⇒ ΠV (x) − ΠV (y)

(1.8)

+ ΠV (x) − ΠV (y), y − x ≤ 0.

Ta có:
1
(ΠV (x) − ΠV (y)) + (y − x) 2
2
1
1
=
ΠV (x) − ΠV (y) 2 +
y − x 2 + ΠV (x) − ΠV (y), y − x .
2
2
Từ (1.8)
0≤

≤

1
ΠV (x) − ΠV (y)
2

2

+

1
y−x
2

2

− ΠV (x) − ΠV (y)

1
⇒ ( y − x 2 − ΠV (x) − ΠV (y) 2 ) ≥ 0
2
⇒ ΠV (x) − ΠV (y) ≤ y − x .
Định lý được chứng minh.

10

2


1.1.3.

Các định lý tách

Định lý 1.3. Giả sử X ⊂ Rn là một tập lồi, đóng, khác rỗng và x ∈
/ X.
Khi đó, tồn tại y ∈ Rn , y = 0 và ε > 0.
y, v ≤ y, x − ε, ∀v ∈ X.
Chứng minh. Gọi z = ΠV (x) theo Bổ đề 1.6, ta có x − z, v − z ≤
0, ∀v ∈ X. Đặt y = x − z suy ra y, v − z ≤ 0, ∀v ∈ X. Khi đó
y, v ≤ y, z = y, x − y = y, x − y

2

.

Suy ra
y, v ≤ y, x − ε,
với ε = y 2 . Do x ∈
/ X, suy ra y = 0 vậy ε > 0.
Định lý 1.4. Cho X ⊂ Rn là tập lồi, khác rỗng, x ∈
/ X. Khi đó, tồn tại
y ∈ Rn , y = 0 sao cho
y, v ≤ y, x , ∀v ∈ X.
Chứng minh. Lấy (xk ) ⊂ Rn X, xk → x khi k → ∞. Với mỗi xk tồn tại
y k = 0, εk > 0:
y k , v ≤ y k , xk − εk ≤ y k , xk
⇒ y k , v < y k , xk .
Do y k = 0, ∀k, nên ta coi y k = 1. Do B(0; 1) là tập compact trong Rn
nên (y k ) ⊂ B(0; 1). Suy ra tồn tại dãy con (y kl ) ⊂ (y k ) sao cho: lim y kl =
l→∞

y ∈ B(0; 1). Từ y kl , v < y kl , xkl với mọi l và tích vô hướng là một

hàm liên tục theo 2 biến nên cho l → ∞ ta được: y, v ≤ y, x , ∀v ∈ X,
với y = 1.

11


Định lý 1.5. Giả sử X1 , X2 ⊂ Rn là các tập lồi. Nếu X1 ∩ X2 = ∅ thì
khi đó tồn tại y = 0, y ∈ Rn sao cho:
y, x1 ≤ y, x2 , ∀x1 ∈ X1 , x2 ∈ X2 .
Chứng minh. Đặt:
X = X1 − X2 = {x = x1 − x2 | x1 ∈ X1 , x2 ∈ X2 }.
Do X1 ∩ X2 = ∅ nên 0 ∈
/ X. Từ X1 , X2 là hai tập lồi, suy ra X là tập
lồi. Theo Định lý 1.4 ta có:
y, v ≤ 0, ∀v ∈ X
⇒ y, x1 − x2 ≤ 0, ∀x1 ∈ X1 , x2 ∈ X2
⇒ y, x1 ≤ y, x2 , ∀x1 ∈ X1 , x2 ∈ X2 .

Định lý 1.6. Cho X1 , X2 ⊂ Rn là hai tập con lồi đóng và X1 bị chặn.
Nếu X1 ∩ X2 = ∅ thì tồn tại y ∈ Rn , y = 0 và ε > 0 sao cho:
y, x1 ≤ y, x2 − ε, ∀x1 ∈ X1 , x2 ∈ X2 .
Chứng minh. Từ X1 , X2 là các tập đóng và X1 bị chặn, suy ra X =
X1 − X2 là tập đóng và X là tập lồi. Do 0 ∈
/ X, theo Định lý 1.3 tồn tại
y = 0, ε > 0 sao cho y, v ≤ −ε, ∀v ∈ X. Suy ra:
y, x1 − x2 ≤ −ε, ∀x1 ∈ X1 , x2 ∈ X2 .
Do đó y, x1 ≤ y, x2 − ε, ∀x1 ∈ X1 , x2 ∈ X2 .
1.1.4.

Nón

Định nghĩa 1.4. Một tập K ⊂ Rn được gọi là nón nếu với mọi x ∈ K,
và với mọi α > 0 ta có: αx ∈ K. K được gọi là nón lồi nếu K là một
nón và là một tập lồi.
12


Bổ đề 1.7. Cho K là một nón lồi. Khi đó, nếu x1 ∈ K, x2 ∈ K, ..., xm ∈
K và α1 > 0, α2 > 0, ..., αm > 0 thì α1 x1 + α2 x2 + ... + αm xm ∈ K.
Chứng minh. Bằng tính lồi, ta có:
α1 x1 + α2 x2 + ... + αm xm
∈ K.
α1 + α2 + ... + αm
Vì K là nón, ta có thể nhân vế trái với α1 + α2 + ... + αm và ta được
điều phải chứng minh.
Định nghĩa 1.5. Tập cone(X) = {αx | x ∈ X, α ≥ 0} được gọi là nón
sinh bởi tập X.
Bổ đề 1.8. Nếu X là tập lồi thì cone(X) là một tập lồi.
Định nghĩa 1.6. Cho x ⊂ Rn , tập KX (x) = cone(X − x) được gọi là
nón các phương chấp nhận được của X tại x.
Định nghĩa 1.7. Cho X ⊂ Rn là một tập lồi. Tập
X∞ = {d ∈ Rn | X + d ⊂ X}
được gọi là nón lùi xa của X.
Định nghĩa 1.8. Cho K là một nón trong Rn . Tập
K o = {y ∈ Rn : y, x ≤ 0, ∀x ∈ K}
được gọi là nón cực của X.
Định nghĩa 1.9. Cho X là một tập lồi trong Rn và x ∈ X. Tập
NX (x) = [cone(X − x)]o
được gọi là nón pháp tuyến đối với X tại x.
Nhận xét : v ∈ NX (x) ⇔ v, y − x ≤ 0, ∀y ∈ X.

13


1.1.5.

Hàm lồi

Kí hiệu R := R ∪ {+∞, −∞} và gọi là tập số thực mở rộng. Cho
hàm f : Rn → R. Ta có:
Miền hữu hiệu của f : domf := {x ∈ Rn | f (x) < +∞}.
Đồ thị của hàm f : gphf := {(x, f (x)) | x ∈ domf }.
Trên đồ thị của f : epif := {(x, v) ∈ Rn × R : v ≥ f (x)}.
Định nghĩa 1.10. Hàm f được gọi là hàm lồi nếu epif là tập lồi.
Hàm f được gọi là hàm lõm nếu −f là hàm lồi.
Hàm f được gọi là hàm chính thường nếu f (x) > −∞, với mọi
x ∈ Rn và tồn tại x¯ ∈ Rn sao cho f (¯
x) < +∞.
Bổ đề 1.9. (Bất đẳng thức Jensen) Một hàm f là lồi khi và chỉ khi
với mọi x1 , x2 ∈ Rn , với mọi t ∈ (0; 1):
f ((1 − t)x1 + tx2 ) ≤ (1 − t)f (x1 + tf (x2 )).
Chứng minh. Giả sử f là hàm lồi, ta có
(x1 , f (x1 ), (x2 , f (x2 ))) ∈ epif,
suy ra
((1 − t)x1 + tx2 , (1 − t)f (x1 ) + tf (x2 )) ∈ epif,
hay là
(1 − t)f (x1 ) + tf (x2 ) ≥ f ((1 − t)x1 + tx2 ).
Ngược lại, giả sử bất đẳng thức Jensen thỏa mãn, ta lấy
(x1 , v 1 ), (x2 , v 2 ) ∈ epif

14

và với t ∈ (0; 1). Khi đó,
f ((1 − t)x1 + tx2 ) ≤ (1 − t)f (x1 + tf (x2 )) ≤ (1 − t)v 1 + tv 2 .
Suy ra
((1 − t)x1 + tx2 , (1 − t)v 1 + tv 2 ) ∈ epif.
Khi đó
(1 − t)(x1 , v 1 ) + t(x2 , v 2 ) ∈ epif.
Vậy epif là tập lồi hay f là hàm lồi.
Định nghĩa 1.11. Hàm f được gọi là hàm lồi chặt nếu với mọi x1 = x2 ,
với mọi t ∈ (0; 1) ta có:
f ((1 − t)x1 + tx2 ) < (1 − t)f (x1 + tf (x2 )).
Bổ đề 1.10. Giả sử fi (i ∈ I) là các hàm lồi. Khi đó,
f (x) = sup fi (x)
i∈I

là một hàm lồi.
Chứng minh. Ta chú ý rằng
epif =

epifi .
i∈I

Khi đó, theo Bổ đề 1.1 ta có điều phải chứng minh.

1.1.6.

Hàm lồi khả vi

Phần này trình bày tiêu chuẩn tính lồi của hàm trơn. Ta kí hiệu

∇f (x) là gradient của hàm f tại x:


∂f (x)
∂x1



 . 
. 
∇f (x) = 
 . 
∂f (x)
∂xn

15


trong đó x1 , x2 , ..., xn là tọa độ của vectơ x.
Nếu f là hàm khả vi liên tục bậc 2 thì ∇2 f (x) được gọi là Hessian
của f tại x và
∂ 2 f (x)
2
 2∂x1
 ∂ f (x)
 ∂x2 ∂x1


∇2 f (x) = 




..
.

2

∂ f (x)
∂xn ∂x1

∂ 2 f (x)
∂x1 ∂x2
∂ 2 f (x)
∂x22

...
...

∂ 2 f (x)
∂x1 ∂xn

∂ 2 f (x) 
∂x2 ∂xn 



..
.

...

..
.

∂ f (x)
∂xn ∂x2

...

∂ 2 f (x)
∂x2n

2

.



Định lý 1.7. Giả sử f là hàm khả vi và liên tục. Khi đó:
i) f là lồi khi và chỉ khi
f (y) ≥ f (x) + ∇f (x), y − x , với mọi x, y ∈ Rn ,

(1.9)

ii) f là hàm lồi chặt khi và chỉ khi
f (y) > f (x) + ∇f (x), y − x , với mọi x = y.

(1.10)

Chứng minh. i) Giả sử f là hàm lồi. Nếu (1.9) không thỏa mãn thì tồn

tại ε > 0 sao cho
f (y) ≤ f (x) + ∇f (x), y − x − ε.
Lấy z = (1 − t)x + ty với t ∈ (0; 1), ta có:
f (z) ≤ (1 − t)f (x) + tf (y) ≤ f (x) + t ∇f (x), y − x − tε.
Suy ra
f (z) − f (x)
≤ ∇f (x), y − x − ε.
t
Hay là
f (x + t(y − x) − f (x))
≤ ∇f (x), y − ε, ∀t ∈ (0; 1).
t
16


Từ đó
f (x + t(y − x) − f (x))
≤ ∇f (x), y − x − ε.
t→0
t
Vì f khả vi nên ∇f (x), y − x ≤ ∇f (x), y − x − ε (vô lý). Vậy ta có
lim

(1.9). Giả sử ngược lại (1.9) được thỏa mãn. Lấy tùy ý x, y ∈ Rn và
t ∈ (0; 1). Đặt z = (1 − t)x + ty, ta có:
f (x) ≥ f (z) + ∇f (x), x − z ,

(1.11)

f (y) ≥ f (z) + ∇f (x), y − z .

(1.12)

Nhân hai vế của (1.11) với (1 − t) và (1.12) với t ta được:
(1 − t)f (x) + tf (y) ≥ f (z) + (1 − t) ∇f (z), x − (1 − t)x − ty
+ t ∇f (z), y − (1 − t)x − ty = f (z) = f ((1 − t)x + ty).
Vậy hàm f là hàm lồi.
ii) Nếu f là lồi chặt thì f là lồi thì (1.9) là đúng. Ta sẽ chứng tỏ
rằng bất đẳng thức (1.9) là chặt, nếu x = y và t ∈ (0; 1). Giả sử có đẳng
thức trong (1.9). Đặt z = 21 x + 12 y, khi đó do tính lồi chặt của f và từ
đẳng thức trong (1.9), ta có:
1
1
1
f (z) < f (x) + f (y) = f (x) + ∇f (x), y − x .
2
2
2

(1.13)

Đặt v = βx + (1 − β)z với 0 < β < 1. Khi đó, do tính lồi của f và từ
(1.13) ta có:
1
f (v) < βf (x) + (1 − β)f (z) < f (x) + (1 − β) ∇f (x), y − x .
2
Vì v − x = (1 − β)(z − x) = 21 (1 − β)(y − x), nên
f (v) < f (x) + ∇f (x), v − x ,
điều này mâu thuẫn với (1.9). Để chứng minh rằng (1.10) bao hàm tính
lồi chặt, chúng ta chỉ cần lưu ý lược đồ trong trường hợp (i) được sử

dụng lại, nhưng với bất đẳng thức chặt hơn.
17


Định lý 1.8. Giả sử f : Rn → R là hàm khả vi liên tục bậc hai. Khi đó:
i) f là lồi khi và chỉ khi ∇2 f (x) là nửa xác định dương với mọi
x ∈ Rn .
ii) Nếu ∇2 f (x) xác định dương với mọi x ∈ Rn thì f là hàm lồi
chặt.
Chứng minh. Nếu f là hàm khả vi bậc hai thì với mọi x, y ta có:
f (y) = f (x) + ∇f (x), y − x +

1
y − x, ∇2 f (xθ )(y − x) ,
2

(1.14)

trong đó, xθ = x + θ(y − x) với 0 ≤ θ ≤ 1. Nếu Hessian ∇2 f (x) là nửa
xác định dương với mọi x thì số hạng bậc hai trong (1.14) là không âm
và ta có (1.9). Nếu Hessian là xác định dương thì với x = y số hạng bậc
hai trong (1.14) là dương và ta có (1.10).
Giả sử Hessian không là nửa xác định dương với x. Khi đó tồn tại
d sao cho:
d, ∇2 f (x)d < 0.
Cho y = x + εd với ε > 0. Nếu ε là đủ nhỏ thì y và xθ rất gần với x mà
d, ∇2 f (xθ )d < 0,
vì Hessian là liên tục. Nhưng khi đó số hạng bậc hai trong (1.14) là âm,
điều này mâu thuẫn với (1.9).

1.1.7.

Dưới vi phân

Định nghĩa 1.12. Cho f : Rn → R là một hàm lồi chính thường và
x¯ ∈ domf . Điểm x∗ ∈ Rn được gọi là dưới vi phân của f tại x¯ nếu
f (x) ≥ f (¯
x) + x∗ , x − x¯ , ∀x ∈ Rn .
18


Tập các dưới vi phân của f tại x¯ được kí hiệu là: ∂f (¯
x).
Ví dụ 1.1. Cho hàm f (x) = x2 , tìm dưới vi phân của hàm f tại x¯ = 1.
Giả sử x∗ là dưới vi phân của f tại x¯, khi đó ta có:
x2 ≥ 1 + x∗ (x − 1), ∀x ∈ R
⇔ x2 − xx∗ + x∗ − 1 ≥ 0, ∀x ∈ R.

(1.15)

Ta xét phương trình bậc hai với x, khi đó: ∆ = (x∗ )2 −4x∗ +4 = (x∗ −2)2 .
Để có (1.15) thì ∆ = (x∗ − 2)2 ≤ 0, khi đó x∗ = 2. Vậy ∂f (1) = 2.
Quy tắc tính toán:
Bổ đề 1.11. Giả sử f : Rn → R là một hàm lồi, α > 0 và h(x) = αf (x).
Khi đó, h là một hàm lồi và ∂h(x) = α∂f (x) với mọi x.
Chứng minh. Ta có x∗ ∈ ∂f (x) khi và chỉ khi
f (y) ≥ f (x) + x∗ , y − x , ∀y ∈ Rn
⇔ αf (y) ≥ αf (x) + α x∗ , y − x , ∀y ∈ Rn , ∀α > 0
⇔ h(y) ≥ h(x) + αx∗ , y − x , ∀y ∈ Rn , ∀α > 0.
Suy ra αx∗ ∈ ∂h(x). Vậy ∂h(x) = α∂f (x) với mọi α > 0.

Bổ đề 1.12. Giả sử f : Rm → R là một hàm lồi, A là một ma trận cấp
m × n và h(x) = f (Ax). Khi đó ta có:
∂h(x) = AT ∂f (Ax), ∀x.
Chứng minh. Ta có x∗ ∈ ∂f (Ax) khi và chi khi
f (Ay) ≥ f (Ax) + x∗ , Ay − Ax ∀y
⇔ h(y) ≥ h(x) + AT x∗ , y − x ∀y.
Hay AT x∗ ∈ ∂h(x). Vậy ∂h(x) = AT ∂f (Ax).
19


Định lý 1.9. Giả sử f = f1 + f2 trong đó f1 : Rn → R và f2 : Rn → R
là các hàm lồi chính thường. Nếu tồn tại một điểm x0 ∈ domf sao cho
f1 liên tục tại x0 thỏa mãn
∂f (x) = ∂f1 (x) + ∂f2 (x), với mọi x ∈ domf.
Ví dụ 1.2. Cho C là một tập lồi, khác rỗng trong Rn và hàm chỉ của
C:
δC (x) =



0

nếu x ∈ C

.


+∞ nếu x ∈
/C
Tính ∂δC (x), với x ∈ C.

Đầu tiên, ta đi chứng minh δC (x) là hàm lồi. Ta sử dụng bất đẳng
thức Jensen:
+ Nếu x1 ∈
/ C hoặc x2 ∈
/ C thì hoặc ∂δC (x1 ) = +∞ hoặc ∂δC (x2 ) =
+∞, khi đó:
δC ((1 − t)x1 + tx2 ) ≤ (1 − t)δC (x1 ) + tδC (x2 )
suy ra bất đẳng thức Jensen thỏa mãn.
+ Nếu x1 , x2 ∈ C thì (1 − t)x1 + tx2 ∈ C (vì C là tập lồi). Suy ra
δC ((1 − t)x1 + tx2 ) = 0 mà (1 − t)δC (x1 ) + tδC (x2 ) = 0. Suy ra bất đẳng
thức Jensen trong trường hợp này cũng thỏa mãn.
Vậy δC (x) là hàm lồi.
Tiếp theo, ta đi tính ∂δC (x). Giả sử x∗ ∈ ∂δC (x). Khi đó

∂δC (y) ≥ ∂δC (x) + x∗ , y − x , ∀y ∈ Rn .
+ Nếu y ∈
/ C thì δC (y) = +∞ suy ra bất đẳng thức trên luôn thỏa
mãn.
20