Phương pháp hàm phạt chính xác và điều kiện cần tối ưu

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC KHOA HỌC
-------------------------------

NGUYỄN THIỆN HUY

PHƯƠNG PHÁP HÀM PHẠT CHÍNH XÁC
VÀ ĐIỀU KIỆN CẦN TỐI ƯU

LUẬN VĂN THẠC SĨ TOÁN HỌC

THÁI NGUYÊN - 2016


ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC KHOA HỌC
-------------------------------

NGUYỄN THIỆN HUY

PHƯƠNG PHÁP HÀM PHẠT CHÍNH XÁC
VÀ ĐIỀU KIỆN CẦN TỐI ƯU

LUẬN VĂN THẠC SĨ TOÁN HỌC
Chuyên ngành :Toán ứng dụng
Mã số

: 60 46 01 12

NGƯỜI HƯỚNG DẪN KHOA HỌC:
PGS.TS. Đỗ Văn Lưu

THÁI NGUYÊN - 2016


Mục lục
Bảng ký hiệu

ii

Mở đầu

1

1 Phương pháp hàm phạt chính xác và điều kiện cần
tối ưu cấp 1

3

1.1 Các khái niệm và định nghĩa . . . . . . . . . . . . . . .

3

1.2 Điều kiện cần tối ưu cấp 1 . . . . . . . . . . . . . . . .

7

2 Phương pháp hàm phạt chính xác và điều kiện cần
tối ưu cấp 2

20

2.1 Điều kiện cần tối ưu cấp 2 . . . . . . . . . . . . . . . .

20

2.2 Các ví dụ . . . . . . . . . . . . . . . . . . . . . . . . .

27

Kết luận

33

Tài liệu tham khảo

34

i


Bảng ký hiệu
NLP

Bài toán quy hoạch phi tuyến

SON

Điều kiện cần cấp 2

KKT

Điều kiện cần cấp 1

GCQ

Điều kiện chính quy Guignand cấp 1

SGCQ

Điều kiện chính quy Guignand cấp 2

LICQ

Điều kiện chính quy độc lập tuyến tính

epi f

Trên đồ thị của hàm f

∂f (x)

Dưới vi phân chính quy của f tại x

TA (x)

Nón tiếp tuyến của A tại x

NA f (x) Nón pháp tuyến chính quy của A tại x
posA

Bao dương của A

A∞

Nón horizon của A

δA (x)

Hàm chỉ của tập A

ii


Mở đầu

Lý thuyết các điều kiện tối ưu là một bộ phận quan trọng của lý
thuyết tối ưu hóa, trong đó các điều kiện tối ưu cấp 1 và cấp 2 đóng vai
trò quan trọng. Các điều kiện cần tối ưu được thiết lập bằng phương
pháp sử dụng trực tiếp các định lý tách các tập lồi không tương giao
hoặc qua việc thiết lập các định lý luân phiên, hoặc phương pháp hàm
phạt chính xác và một vài phương pháp khác. Phương pháp hàm phạt
chính xác tỏ ra rất hiệu quả trong việc dẫn các điều kiện cần tối ưu
cấp 1 và cấp 2. Bằng phương pháp hàm phạt chính xác, Meng., K và
Yang., X (2015) đã dẫn các điều kiện cần tối ưu cấp 1 và cấp 2 cho bài
toán quy hoạch phi tuyến có ràng buộc đẳng thức và bất đẳng thức với
các hàm khả vi liên tục cấp 2, trong đó các tác giả đã sử dụng dưới vi
phân chính quy của số hạng phạt và các điều kiện chính quy thích hợp.
Đặc biệt Meng -Yang đã nhận được các điều kiện cần tối ưu cấp 1 và
cấp 2 bằng cách sử dụng hàm phạt chính xác lp (0 < p < 1). Đây là đề
tài có tính thời sự và được nhiều tác giả quan tâm nghiên cứu. Chính

vì vậy, tôi chọn đề tài: “Phương pháp hàm phạt chính xác và điều kiện
cần tối ưu”.
Luận văn trình bày các điều kiện cần tối ưu cấp 1 và cấp 2 của Meng
- Yang (2015) cho bài toán quy hoạch phi tuyến (NLP) có ràng buộc
đẳng thức và bất đẳng thức bằng phương pháp hàm phạt chính xác.
Bằng cách sử dụng dưới gradient chính quy, các điều kiện cần và đủ
để một số hạng phạt thuộc loại Karush - Kuhn - Tucker (KKT) được
trình bày. Với điều kiện chính quy cấp 2, các điều kiện cần tối ưu cấp
2 được trình bày qua hàm phạt chính xác lp (0 < p < 1).
1


Luận văn được chia làm hai chương:
Chương 1: Phương pháp hàm phạt chính xác và điều
kiện cần tối ưu cấp 1
Chương 1 trình bày các điều kiện cần tối ưu cấp 1 cho bài toán quy
hoạch phi tuyến, các điều kiện cần và đủ để số hạng phạt tổng quát là
KKT và số hạng phạt bậc thấp là KKT qua dưới vi phân chính quy
của số hạng phạt.
Chương 2: Phương pháp hàm phạt chính xác và điều kiện
cần tối ưu cấp 2
Chương 2 trình bày các điều kiện cần tối ưu cấp 2 cho bài toán quy
hoạch phi tuyến qua tính chính xác của hàm phạt. Điều này làm được
nhờ áp dụng định lý đối ngẫu của quy hoạch tuyến tính và điều kiện
chính quy cấp 2.
Nhân dịp này, tác giả xin được bày tỏ lòng biết ơn chân thành đến
Ban Giám hiệu, Phòng Đào tạo, khoa Toán - Tin của trường Đại học
Khoa hoc - Đại học Thái Nguyên, cùng các thầy cô giáo đã tham gia
giảng dạy đã giúp đỡ tác giả trong thời gian theo học các chuyên đề và
hoàn thành các công việc của một học viên cao học.

Thái Nguyên, ngày 20 tháng 10 năm 2016
Tác giả

Nguyễn Thiện Huy

2


Chương 1

Phương pháp hàm phạt chính xác
và điều kiện cần tối ưu cấp 1
Chương 1 trình bày các kết quả về điều kiện KKT cho bài toán quy
hoạch phi tuyến (NLP) bằng phương pháp hàm phạt chính xác của
Meng - Yang ([7], 2015). Các điều kiện cần và đủ để số hạng phạt tổng
quát và số hạng phạt bậc thấp là KKT qua dưới vi phân chính quy của
số hạng phạt được trình bày trong chương này. Chú ý rằng số hạng phạt
Φ thuộc loại KKT tại điểm cực tiểu địa phương x của bài toán NLP
nếu điều kiện KKT đúng tại x khi mà hàm phạt f + µΦ là hàm phạt
chính xác tại x.

1.1

Các khái niệm và định nghĩa

Kí hiệu R := R ∪ {±∞} và R+ := {t ∈ R| t ≥ 0} .
Kí hiệu xT là chuyển vị của vectơ x ∈ Rn , x, y là tích vô hướng
của x và y ∈ Rn , x⊥ = {v| v, x = 0} là phần bù trực giao của không
gian vectơ con tuyến tính sinh bởi x, x là chuẩn Euclidean của x. Với
f : Rn → R+ ∪ {+∞} và p > 0, ta kí hiệu f (x)p := (f (x))p , ∀x ∈ Rn ,

với quy ước (+∞)p = +∞. Với một tập con A của Rn , kí hiệu bao đóng,
phần trong, biên, bao lồi của A, tương ứng là ClA, intA, bdA và convA
(xem [1]).
Nón cực của A được định nghĩa bởi

A∗ := {v ∈ Rn | v, x ≤ 0, ∀x ∈ A} .
3


Bao dương của A được xác định bởi

posA := {λx| x ∈ A, λ ≥ 0} .
Nón horizon của A là tập các phương của A được xác định bởi

A∞ := {x ∈ Rn |∃xk ∈ A, ∃λk ↓ 0, λk xk → x} .
Hàm khoảng cách của A được xác định bởi

dA (x) := inf x − y .
y∈A

Hàm chỉ của A xác định bởi

δA (x) :=

0, khi x ∈ A,
+∞, khi x ∈
/ A.

Nếu A = ∅ thì ta quy ước
A∗ := Rn , posA := {0} , A∞ = {0} , dA (·) := +∞, và δA (·) := +∞.

Nhắc lại một số khái niệm hình học biến phân của A tại x ∈ A:
Định nghĩa 1.1.1.
(i) Véctơ w ∈ Rn thuộc nón tiếp tuyến TA (x) của A tại x, nếu ∃tk ↓ 0
và wk → w sao cho x + tk wk ∈ A với ∀k.
(ii) Nón pháp tuyến chính quy NA (x) của A tại x là nón cực của
TA (x).
(iii) Véctơ z ∈ Rn thuộc nón tiếp tuyến cấp 2 của A tại x theo véctơ
w ∈ TA (x), kí hiệu TA2 (x | w), nếu ∃ dãy tk ↓ 0 và zk → z sao cho
1
x + tk w + tk 2 zk ∈ A với ∀k. Khi w ∈ TA (x), TA2 (x | w) là tập ∅.
2
Giả sử f : Rn → R là hàm giá trị thực mở rộng. Miền hữu hiệu của
f là tập
dom f: = {x ∈ Rn | f (x) < +∞} .
Hạch của f là tập

ker f := {x ∈ Rn | f (x) = 0} .
Trên đồ thị của f là tập

epi f: = {(x, α) ∈ Rn × R| α ≥ f (x)} .
4


Hàm f là nửa liên tục dưới nếu epi f là đóng trong Rn × R. Hơn nữa f
được gọi là thuần nhất dương nếu 0 ∈ dom f và f (λx) = λf (x) với ∀x
và λ > 0, và f là dưới tuyến tính nếu

f (x + x ) ≤ f (x) + f (x ), ∀x, x .
Giả sử x là một điểm mà f (x) hữu hạn. Các khái niệm dưới gradient,
dưới đạo hàm (subderivative):

Định nghĩa 1.1.2.
(i) Véctơ v ∈ Rn là dưới gradient chính quy của f tại x, ta viết
v ∈ ∂f (x), nếu
f (x) ≥ f (x) + v, x − x + o ( x − x ) .
(ii) Với bất kỳ w ∈ Rn , dưới đạo hàm f tại x theo w được xác định
bởi
f (x + τ w ) − f (x)
df (x) (w) := lim inf
.
τ ↓0,w →w
τ
(iii) Với véctơ bất kỳ w với df (x) (w) hữu hạn và z ∈ Rn , dưới đạo
hàm parabolic của f tại x theo w và z được xác định bởi
1
f x + τ w + τ 2 z − f (x) − τ df (x) (w)
2
.
d2 f (x) (w| z) = lim inf
1 2
τ ↓0,z →z
τ
2
Với f : Rn → R và điểm bất kỳ x mà f (x) hữu hạn, hàm dưới đạo
hàm df (x) : Rn → R nửa liên tục dưới và thuần nhất dương và dưới vi
phân chính quy ∂f (x) đóng và lồi. Hơn nữa, ta có 2 công thức sau:

epi df (x) = Tepif (x, f (x)) ,
∂f (x) = {v ∈ Rn | v, w ≤ df (x) (w) ∀w ∈ dom d f (x)} .

(1.1)

(1.2)

Bài toán quy hoạch phi tuyến NLP được nghiên cứu trong chương
này có dạng:

min f (x) ,
gi (x) ≤ 0, i ∈ I := {1, 2, ..., m} ,
hj (x) = 0, j ∈ J := {m + 1, m + 2, ..., m + q} ,
trong đó f, gi , hj : Rn → R được giả thiết là khả vi liên tục 2 lần. Giả
sử C là tập chấp nhận được của NLP và L : Rn × Rm+q → R là hàm
5


Lagrange được xác định bởi

L (x, λ) := f (x) +

λi gi (x) +
i∈I

λj hj (x).
j∈J

Điều kiện KKT đúng tại điểm cực tiểu địa phương x của NLP (xem [5])
nếu ∃λ ∈ Rm+q (gọi là nhân tử KKT) sao cho

∇x L (x, λ) = 0,

λi ≥ 0,

λi gi (x) = 0, ∀i ∈ I.

Kí hiệu tập các nhân tử KKT tại x là KKT(x), và nón tới hạn tại x là


∇f (x) , w ≤ 0


n
ν (x) := w ∈ R
∇gi (x) , w ≤ 0, ∀i ∈ I mà gi (x) = 0 .


∇hj (x) , w = 0, ∀j ∈ J
Điều kiện cần cấp 2 SON đúng tại điểm cực tiểu x của NLP (xem [5]),
nếu
sup
w, ∇2xx L (x, λ) w ≥ 0,
∀w ∈ ν (x) ,
(1.3)
λ∈KKT(x)

trong đó quy ước sup ∅ := −∞. Phải chú ý rằng SON (1. 3) đúng tại x
thì điều kiện KKT đúng tại x, tức là KKT (x) = ∅.
Hàm phạt lp (0 ≤ p ≤ 1) ghép với NLP được xác định như sau

Fp (x) := f (x) + µS p (x) , ∀x ∈ Rn ,
ở đây số thực không âm µ là tham số phạt, hàm S được xác định bởi

|hj (x)|, ∀x ∈ Rn .

max {gi (x) , 0} +

S (x) :=
i∈I

j∈J

Hàm S p (x) := (S (x))p là số hạng phạt cấp p và quy ước 00 = 0 trong
trường hợp p = 0.
Ngoài ra S p , ta xét hàm nửa liên tục dưới bất kỳ
φ : Rn → R+ ∪ {+∞} có tính chất

C = {x ∈ Rn | φ (x) = 0} ,
như một số hạng phạt tổng quát cho NLP. Tương ứng với số hạng phạt
như thế có một hàm phạt có dạng f + µΦ ghép với NLP. Hàm phạt
f + µΦ bao gồm tất cả các hàm phạt lp (0 ≤ p ≤ 1) như các trường hợp
đặc biệt.
6


1.2

Điều kiện cần tối ưu cấp 1

Định nghĩa 1.2.1.
Ta nói rằng hàm phạt φ thuộc loại KKT tại điểm chấp nhận được x
của NLP nếu điều kiện KKT đúng tại x khi hàm phạt f + µφ là hàm
phạt chính xác tại x.
Với bất kỳ hàm giá trị thực mở rộng có một cực tiểu địa phương hữu

hạn, hạch và miền hữu hiệu của dưới đạo hàm liên quan chặt chẽ với
dưới vi phân chính quy như trong bổ đề sau.
Bổ đề 1.2.1.
Giả sử hàm ψ : Rn → R có cực tiểu địa phương tại x với ψ (x) hữu
hạn. Khi đó ta có

[dom dψ (x)]∗ ⊆ ∂ψ (x) ⊆ [ker dψ (x)]∗ .

(1.4)

Bao hàm thức thứ nhất trong (1.4) là đẳng thức nếu và chỉ nếu dưới vi
phân chính quy ∂ψ (x) là một nón; bao hàm thức thứ hai trong (1.4) là
đẳng thức nếu và chỉ nếu [dom dψ (x)]∗ = [ker dψ (x)]∗ . Hơn nữa, nếu
dưới đạo hàm dψ (x) là hàm dưới tuyến tính thì

cl pos ∂ψ (x) = [ker dψ (x)]∗ .

(1.5)

Chứng minh.
Bởi vì ψ có một cực tiểu địa phương tại x với ψ (x) hữu hạn, cho nên
0 ∈ ∂ψ (x) hoặc tương đương

dψ (x) (w) ≥ 0, ∀w ∈ Rn .

(1.6)

Theo định nghĩa, v ∈ [dom dψ (x)]∗ nếu và chỉ nếu

v, w ≤ 0, ∀w ∈ dom dψ (x) .

Điều này cùng với (1.6) kéo theo

v, w ≤ dψ (x) (w) , ∀w ∈ dom dψ (x) ,
hoặc tương đương (do (1.2)) là v ∈ ∂ψ (x). Nghĩa là bao hàm thức thứ
nhất trong (1.4) đúng. Với bất kỳ v ∈ ∂ψ (x), từ (1.2) suy ra

v, w ≤ 0, ∀w ∈ ker dψ (x) ,
7


hoặc tương đương, v ∈ [ker dψ (x)]∗ , nghĩa là bao hàm thức thứ 2 trong
(1.4) đúng.
Theo định nghĩa của nón pháp tuyến chính quy, ta có

Nepiψ (x, ψ (x)) = Tepi ψ (x, ψ (x))∗ .

(1.7)

Do (1.1) và (1.7), từ [6, Định lý 8.9] ta nhận được

∂ψ(x)∞ = [dom dψ (x)]∗ .

(1.8)

Nếu bao hàm thức đầu tiên trong (1.4) là một đẳng thức thì ∂ψ (x) nhất
thiết là một nón. Ngược lại, nếu ∂ψ (x) là một nón, do định nghĩa của
nón horizon ta có ∂ψ(x)∞ = cl ∂ψ (x). Bởi vì ∂ψ (x) là đóng nên ta có

∂ψ(x)∞ = ∂ψ (x)

(1.9)

Điều này cùng với (1.8) kéo theo bao hàm thức thứ nhất trong (1.4) là
một đẳng thức. Nếu bao hàm thức thứ 2 trong (1.4) là một đẳng thức
thì ∂ψ (x) nhất thiết là một nón, hoặc một cách tương đương là bao
hàm thức thứ nhất trong (1.4) là đẳng thức, kéo theo [dom dψ (x)]∗ =
[ker dψ (x)]∗ . Ngược lại, nếu [dom dψ (x)]∗ = [ker dψ (x)]∗ thì bao hàm
thức thứ hai trong (1.4) là một đẳng thức.
Bây giờ ta giả sử rằng hàm dưới đạo hàm dψ (x) là dưới tuyến tính.
Do (1.6) ta có

ker dψ (x) = {w ∈ Rn | dψ (x) (w) ≤ 0} .
Do tính dưới tuyến tính của dψ (x) điều này kéo theo là ker dψ (x) là
một nón lồi và đóng theo [6, Định lý 8.9] ta có

Nepi ψ (x, ψ (x)) = λ (v, −1) |v ∈ ∂ψ (x) , λ > 0 ∪ (v, 0) v ∈ ∂ψ(x)∞ .
(1.10)
∗
Giả sử w ∈ ∂ψ (x) . Với v ∈ ∂ψ (x) và λ > 0 ta có
(w, 0) , λ (v, −1) = λ w, v ≤ 0.

(1.11)

Với v ∈ ∂ψ(x)∞ , từ (1.8) và bao hàm thức đầu trong (1.4) ta nhận
được v ∈ ∂ψ(x). Vì vậy,

(w, 0) , (v , 0) = w, v ≤ 0.
8

(1.12)

Do (1.10), (1.11), (1.12) ta có

(w, 0) ∈ Nepi ψ (x, ψ (x))∗ .

(1.13)

Do (1.1) và tính dưới tuyến tính của dψ (x), Tepi ψ (x, ψ (x)) phải là một
nón lồi và đóng. Điều này cùng với (1.13) và (1.7) kéo theo
(w, 0) ∈ Tepi ψ (x, ψ (x)). Khi đó từ (1.1) và (1.6) ta có dψ (x) (w) = 0,
tức là w ∈ kerdψ (x). Bởi vì w ∈ ∂ψ (x)
∗

∂ψ (x)

∗

là bất kỳ, cho nên ta có

⊆ kerdψ (x) .

Bao hàm thức ngược lại suy ra từ (1.4) và sự kiện kerdψ (x) là một nón
lồi và đóng, nghĩa là ta đã chỉ ra được
∗

kerdψ (x) = ∂ψ (x) ,
hoặc tương đương

[kerdψ (x)]∗ = ∂ψ (x)

∗∗

= cl pos ∂ψ (x) .

Định lý được chứng minh.
Ví dụ 1.2.1. Tại x = (0, 0)T xét hàm ψ (x) = max0≤t≤1 g (x, t) trong
đó
g (x, t) = tx1 + t2 x2 , ∀x ∈ R2 và t ∈ R.
Bởi vì với mỗi t cố định, hàm g (·, t) là tuyến tính, cho nên ψ là hàm
dưới tuyến tính, và do đó epiψ là một nón lồi và đóng. Do định nghĩa
của dψ (x) và ψ (x) = 0, ta có dψ (x) = ψ . Ta có

x1 + x2 , nếu x ∈ A1 ,



0, nếu x ∈ A2 ,
ψ (x) =

x2

 − 1 , nếu x ∈ A3 ,
4x2
trong đó A1 = x ∈ R2 |x1 + x2 ≥ 0, x1 + 2x2 ≥ 0 ,
A2 = x ∈ R2 |x1 + x2 ≤ 0, x1 ≤ 0 ,
A3 = x ∈ R2 |x1 + 2x2 < 0, x2 < 0 .
Từ công thức trên rõ ràng là ψ (x) ≥ ψ (x) = 0, ∀x ∈ R2 . Điều này
có nghĩa là hàm ψ có cực tiểu toàn cục tại x. Bởi vì dψ (x) = ψ , ta có

kerdψ (x) = kerdψ = x ∈ R2 |ψ (x) = 0 = A2 .
9


Do đó, [ker dψ (x)]∗ = x ∈ R2 |0 ≤ x2 ≤ x1 .
Từ định nghĩa và [11, Định lý 10.31] ta suy ra

∂ψ (x) = conv

t, t2

T

|0 ≤ t ≤ 1

= x ∈ R2 x21 ≤ x2 ≤ x1 .

Do đó, pos ∂ψ (x) = x ∈ R2 |0 ≤ x2 ≤ x1 \ x ∈ R2 |x1 > 0, x2 = 0 .
Do đó, bất đẳng thức dưới đây đúng:

clpos ∂ψ (x) = [ker dψ (x)]∗ .
Nhưng khi bỏ đi phép toán lấy bao đóng ở vế trái, thì pos ∂ψ (x) chỉ
là một cái tập con thực sự của [ker dψ (x)]∗ .
Ví dụ 1.2.2. Tại x = (0, 0)T , xét hàm


x22


, nếu x1 = 0,


|x1 |
ψ (x) =
0, nếu x = (0, 0)T ,



 +∞, nếu x = 0 hoặc x = (0, 0)T .
1
Từ [11] ta có dψ (x) = ψ và ∂ψ (x) = (0, 0)T .
Đặt y = (1, 1)T và z = (−1, 1)T , ta có

1
1
ψ (y) + ψ (z) = 1 < ψ
2
2

1
(y + z) = +∞.
2

Điều này kéo theo ψ không lồi và vì vậy dψ (x) không dưới tuyến tính.
Hơn nữa, ta có

domdψ (x) = {x ∈ Rn |x1 = 0} ∪ (0, 0)T
và

kerdψ (x) = x ∈ R2 |x2 = 0 .

Như vậy, [domdψ (x)]∗

= ∂ψ (x) = cl pos ∂ψ (x) , nhưng

clpos ∂ψ (x) chỉ là một tập con thực sự của [ker dψ (x)]∗ .
Bằng cách áp dụng mô tả biến phân của hàm dưới gradent chính quy,
bây giờ ta trình bày một số điều kiện để số hạng phạt tổng quát Φ thuộc
loại KKT. Giả sử x ∈ C.
Kí hiệu tập các chỉ số bất đẳng thức tích cực của NLP tại x bởi

I (x) = {i ∈ I |gi (x) = 0} ,
10


và nón tuyến tính hóa cấp 1 của C tại x bởi

LC (x) :=

w ∈ Rn

∇gi (x) , w ≤ 0, ∀i ∈ I (x)
∇hj (x) , w = 0, ∀j ∈ J

.

Điều kiện chính quy Guignand (GCQ)được xác định như sau:

LC (x) ⊆ clconvTC (x).
Định lí 1.2.1. Giả sử x là điểm chấp nhận được của NLP và Φ là số
hạng phạt tổng quát của NLP. Xét các điều kiện sau đây

(i) [ker dψ (x)]∗ ⊆ LC (x)∗ .
(ii) ∂ψ (x) ⊆ LC (x)∗ .
(iii) Φ là một số hạng phạt loại KKT tại x.
Khi đó (i) ⇒ (ii) ⇐⇒ (iii).
Chứng minh.
Ta để ý rằng φ có một cực tiểu toàn cực tại x.
[(i) ⇒ (ii)]: Suy luận này suy ra ngay lập tức từ Bổ đề 1.2.1.
[(ii) ⇒ (iii)]: Giả sử rằng tồn tại µ ≥ 0 sao cho hàm phạt

f (x) + µφ(x)
có cực tiểu địa phương tại x. Khi đó [11, Bài tập 8.8 (c) và Định lý 10.1]
ta suy ra
0 ∈ ∂ (f + µφ) (x) = ∇f (x) + µ∂φ (x) .
(1.14)
Như vậy ta có

−∇f (x) ∈ µ∂φ (x) .
Từ (ii) suy ra

−∇f (x) ∈ LC (x)∗ .
Theo bổ đề Farkas’ điều này kéo theo điều kiện KKT đúng tại x. Do đó
theo Định nghĩa 1.2.1, φ là một số hạng phạt kiểu KKT tại x.
[(iii) ⇒ (ii)]: Giả sử v ∈ ∂φ (x). Theo mô tả biến phân của dưới
gradent chính quy trong [Mệnh đề 8.5], tồn tại một lân cận V của x và
hàm khả vi liên tục ψ : Rn → R với ψ (x) = φ (x) = 0 và ∇ψ (x) = v
sao cho
ψ (x) ≤ φ (x) , ∀x ∈ V.
11

Đặt f = −ψ . Rõ ràng là

f (x) + φ (x) = −ψ (x) + φ (x) ≥ 0
= f (x) + φ (x) , ∀x ∈ V.
Điều đó có nghĩa là hàm phạt f + φ có một cực tiểu địa phương tại x.
Bởi vì φ là số hạng phạt loại KKT tại x, cho nên điều kiện KKT đúng
tại x. Theo Bổ đề Farkas ta lại có −∇f (x) ∈ LC (x)∗ .
Bởi vì ∇f (x) = −∇ψ (x) = −v , ta có v ∈ LC (x)∗ . Do đó, ta có
∂f (x) ⊆ LC (x)∗ .
Định lý được chứng minh.
Từ Định lí 1.2.1 ta thấy rằng dưới đạo hàm dφ (x) và đặc biệt hạch
của nó rất quan trọng để biết được số hạng phạt φ thuộc loại KKT. Một
vài tính chất cơ bản của dφ (¯
x) được tóm tắt trong bổ đề sau đây:
Bổ đề 1.2.2.
Giả sử x là điểm chấp nhận được của NLP và φ là số hạng phạt tổng
quát của NLP. Khi đó, các phát biểu sau đúng
(i) dφ (x) (w) ≥ 0, với ∀w ∈ Rn .
(ii) kerdφ (¯
x) là một nón đóng khác φ.
(iii) w ∈ ker dφ (¯
x) nếu và chỉ nếu tồn tại tk ↓ 0 và wk → w sao cho

φ (¯
x + tk w k )
→ 0.
tk

(1.15)

(iv) Tc (¯
x) ⊆ ker dφ (¯
x) và bao hàm thức là một đẳng thức nếu φ = δc
0
hoặc S , hoặc tổng quát hơn là tồn tại τ > 0 và δ > 0 sao cho với
∀x ∈ Rn thỏa mãn x − x¯ ≤ δ, thì ta có

τ dc (x) ≤ φ (x) .

(1.16)

Bởi vì φ gồm các số hạng phạt S p với 0 ≤ p ≤ 1 như các trường hợp
đặc biệt, ta có thể áp dụng Định lý 1.2.1 để thiết lập một số điều kiện
để số hạng phạt S p thuộc loại KKT. Giả sử x là điểm chấp nhận được
của NLP. Trước hết ta trình bày 2 công thức sau
n

n

| ∇hj (¯
x) , w |, ∀w ∈ Rn ,

max { ∇gi (¯
x) , w , 0}+

dS (¯
x) (w) =

j∈J

i∈I(¯
x)

(1.17)
12


∂S (¯
x) = {∇x L0 (¯
x, λ) |λi = 0, ∀i ∈
/ I (¯
x) , 0 ≤ λi ≤ 1,
∀i ∈ I (¯
x) , −1 ≤ λj ≤ 1, ∀j ∈ J} ,

(1.18)

trong đó

L0 (x, λ) :=

λj hj (x), ∀x ∈ Rn , λ ∈ Rm ,

λi gi (x) +
i∈I

j∈J

(xem [11]). Từ đó suy ra

ker dS (¯
x) = Lc (¯
x) ,

(1.19)

và

pos ∂S (¯
x) = LC (¯
x)∗
= {∇x L0 (¯
x, λ) |λi = 0, ∀i ∈
/ I (¯
x) , λi ≥ 0, ∀i ∈ I (x)} .

(1.20)

Rõ ràng S là số hạng phạt loại KKT. Bây giờ ta trình bày các điều kiện
để số hạng phạt S p với 0 ≤ p ≤ 1 thuộc loại KKT.
Định lí 1.2.2. Giả sử x là điểm chấp nhận được của NLP và 0 ≤ p < 1.
Xét các điều kiện sau:
(i) [ker dS p (¯
x)]∗ = Lc (¯
x)∗ .
(ii) ∂S p (¯
x) = Lc (¯
x)∗ .
(iii) S p là số hạng phạt loại KKT tại x.
Khi đó (i) =⇒ (ii) =⇒ (iii).

Chứng minh.
Từ định nghĩa của dưới đạo hàm và (1.19) ta có

domdS p (¯
x) ⊆ Lc (¯
x) .

(1.21)

Từ (1.21) và Bổ đề 1.2.1 ta suy ra

LC (x)∗ ⊆ ∂S p (x) ⊆ [ker dS p (x)]∗ .

(1.22)

Từ (1.22) ta suy ra rằng (i) ⇒ (ii), và (ii) đúng nếu và chỉ nếu

∂S p (x) ⊆ LC (x)∗ .
Theo Định lí 1.2.1 điều này đúng nếu và chỉ nếu (iii) đúng, có nghĩa
là ta có (ii) ⇐⇒ (iii).
Định lí được chứng minh.
13


Nhận xét 1.2.1. (a) các điều kiện (ii) và (iii) nói chung là không tương
đương khi p = 1, bởi vì ∂S (x) có thể không là một nón như đã chỉ
ra trong (1.18). Tuy nhiên, từ (1.20) và chứng minh của Định lý 1.2.2
ta suy ra rằng điều kiện (iii) đúng với 0 ≤ p ≤ 1 nếu và chỉ nếu
pos ∂S p (x) = LC (x)∗ , mặc dù là các phép toán lấy bao dương là bỏ
được khi 0 ≤ p < 1.

(b) Theo định nghĩa dưới vi phân chính quy ta có ∂S 0 (x) = TC (x)∗ .
Như vậy, điều kiện (ii) đúng với p = 0 nếu và chỉ nếu TC (x)∗ = LC (x)∗ ,
hoặc là GCQ tại x đúng. Chú ý rằng hàm phạt F0 là chính xác tại điểm
cực tiểu địa phương bất kỳ của NLP. Như vậy, sự tương đương của (ii)
và (iii) trong trường hợp p = 0 suy ra được kết quả đã biết là GCQ
đúng tại điểm chấp nhận được của x của NLP nếu và chỉ nếu điều kiện
KKT đúng tại x với hàm mục tiêu bất kỳ có cực tiểu địa phương tại x
với cùng ràng buộc.
Để kiểm chứng rằng số hạng phạt S p thuộc loại KKT tại điểm chấp
nhận được x nào đó của NLP, ta chỉ ra điều kiện mạnh hơn như sau:

ker dS p (x) = LC (x) .

(1.24)

Với công thức này, một số các điều kiện đủ dưới ngôn ngữ dữ liệu gốc
1
của NLP có thể tìm trong [12]. Đẳng thức (1.24) đúng với p = nếu
2
với mọi w ∈ LC (x) ta suy ra

w, ∇2 gi (x) w ≤ 0, ∀i ∈ I (x, w) ,

w, ∇2 hj (x) w = 0, ∀j ∈ J,
(1.25)

trong đó

I (x, w) := {i ∈ I (x) | ∇gi (x) , w = 0} , w ∈ Rn .
Bây giờ ta trình bày một điều kiện tương đương (1.24).

Mệnh đề 1.2.1.
Đẳng thức (1.24) đúng với p =

1
nếu và chỉ nếu với ∀w ∈ LC (x) ta
2

có
λi w, ∇2 gi (x) w +

max
λ∈KKT0 (x)

i∈I

λj w, ∇2 hj (x) w
j∈J

14

= 0,

(1.26)


trong đó

KKT0 (x) :=

λ ∈ Rm+q

λi ∇gi (x) +
i∈I

λj ∇hj (x) = 0
j∈J

.

λi ≥ 0, ∀i ∈ I (x) , λi = 0, ∀i ∈ I\I (x)

Chứng minh.
Ta sử dụng các kí hiệu dưới đạo hàm cấp 2 đã được nghiên cứu trong
[11, chương 13]. Với hàm giá trị thực mở rộng bất kỳ f : Rn → R với
f (x) hữu hạn và v, w ∈ Rn , dưới đạo hàm cấp 2 của f tại x theo v và
w được định nghĩa bởi
f (x + τ w ) − f (x) − τ v, w
d2 f (x | v) (w) := lim inf
.
1 2
τ ↓0,w →w
τ
2
Theo định nghĩa ta có
1

2

d2 S (x | 0) (w) = 2 dS 2 (x) (w) , ∀ w ∈ Rn .

(1.27)

Do (1.17) và (1.18) và áp dụng [6, Ví dụ 13.16 và Mệnh đề 13.19], ta có
với mỗi v ∈ ∂S (x) và w ∈ kerdS (x) ∩ v ⊥ ,
d2 S (x | v) (w)

= max




w, ∇2xx L0 (x, λ) w




∇x L0 (x, λ) = v

. (1.28)
λi = 0, ∀i ∈
/ I(x), 0 ≤ λi ≤ 1, ∀i ∈ I(x)

−1 ≤ λj ≤ 1, ∀j ∈ J

Do (1.27) và (1.28), ta suy ra điều phải chứng minh.
Nhận xét 1.2.2. Giả sử w ∈ LC (x). Nội suy hình học của điều kiện
(1.26) là tồn tại z ∈ Rn sao cho dưới đạo hàm parabolic d2 S (x) (w | z)
cuả S tại x theo w, với z bằng 0.
Thật vậy, theo định lý đối ngẫu của quy hoạch tuyến tính (xem [9]),
điều kiện (1.26) đúng nếu và chỉ nếu tồn tại z ∈ Rn sao cho

∇gi (x) , z + w, ∇2 gi (x) w ≤ 0, ∀i ∈ I (x, w) ,
∇hj (x) , z + w, ∇2 hj (x) w = 0, ∀j ∈ J.
Theo khai triển Taylor cấp 2, z thỏa mãn hệ trên nếu và chỉ nếu tồn tại
các dãy tk ↓ 0 và zk → z sao cho
1

S 2 x + tk w + t2k zk
→ 0.
tk
15


Điều này kéo theo d2 S (x) (w | z) = 0.
Rõ ràng ta có (1.25) ⇒ (1.26). Ví dụ sau đây minh họa (1.26) có thể
yếu hơn hẳn (1.25) ngay cả khi điều kiện GCQ không đúng.
Ví dụ 1.2.3. Trong NLP, giả sử n = m = 2, q = 0, g1 (x) = x1 2 x2 ,
g2 (x) = x2 2 − x1 , và x = (0, 0)T . Điều kiện (1.25) không thỏa mãn bởi
vì với bất kỳ w = (0, w2 ) với w2 = 0 ta có

w ∈ LC (x) = R+ × R.
Và I (x, w) = {1, 2} nhưng

w, ∇2 g2 (x) w = 2w2 2 > 0.
Tuy nhiên ta có thể chỉ ra rằng điều kiện (1.26) thỏa mãn. Theo định
nghĩa ta có

KKT0 (x) = λ ∈ R2+ |λ1 ∇g1 (x) + λ2 ∇g2 (x) = 0 = R+ × {0} .
Khi đó, với mỗi w ∈ LC (x) ta có

max
λ∈KKT0 (x)

λ1 w, ∇2 g1 (x) w + λ2 w, ∇2 g2 (x) w
1

= 0.

Do điều kiện (1.26) thỏa mãn, và vì vậy ker dS 2 (x) = LC (x). Hơn nữa,
theo Bổ đề (1.2.2) ta có với ∀p ∈ [0, 1],

1


R+ × (−R+ ) , 0 ≤ p ≤ ,


5

1
1
p
ker dS (x) = R+ × (−R+ ) ∪ {0} × R+ ,
(1.29)

5
3



1


R+ × R,
< p ≤ 1.
3
Như vậy,
1
ker dS p (x) = LC (x) , ∀p ∈
,1 ,
3
1 1
[ker dS p (x)]∗ = LC (x) ∗ , ∀p ∈
,
,
5 3
1
.
Và [ker dS p (x)]∗ = LC (x) ∗ , ∀p ∈ 0,
5
Đặc biệt điều kiện GCQ không đúng tại x.
Để kết thúc phần này ta chỉ ra vài đặc trưng đơn giản của các số hạng
phạt kiểu KKT khi tập chấp nhận được của NLP được xác định bởi chỉ
một bất đẳng thức.
16


Mệnh đề 1.2.2.
Giả sử NLP chỉ có một ràng buộc bất đẳng thức g(x) ≤ 0 và hàm
g : Rn → R là khả vi liên tục 2 lần. Giả sử x ∈ Rn thỏa mãn g(x) ≤ 0.

Khi đó các phát biểu sau đúng:
(a) Nếu g(x) < 0 hoặc g(x) = 0 với ∇g (x) = 0 thì

ker dS p (x) = LC (x), ∀p ∈ [0, 1] .
(b) Nếu g(x) = 0, ∇g (x) = 0 và ∇2 g (x) là bán xác định âm với
∇2 g (x) = 0 thì

ker dS p (x) = LC (x) , ∀p ∈ [0, 1] .
(c) Nếu g(x) = 0, ∇g (x) = 0 và ∇2 g (x) là bán xác định dương với
∇2 g (x) = 0 thì

[ker dS p (x)]∗ = LC (x)∗ , ∀p ∈ 0,
và

ker dS p (x) = LC (x), ∀p ∈

1
,
2

1
,1 .
2

(1.30)

(1.31)

(d) Nếu g(x) = 0, ∇g(x) = 0 và ∇2 g (x) = 0 thì

ker dS p (x) = LC (x) , ∀p ∈

1
,1 .
2

(e) Nếu g(x) = 0, ∇g (x) = 0 và ∇2 g (x) là không xác định thì

[ker dS p (x)]∗ = LC (x)∗ , ∀p ∈ 0,
và

ker dS p (x) = LC (x), ∀p ∈

1
,
2

1
,1 .
2

(1.32)

(1.33)

Chứng minh.
Phát biểu (a) đúng tầm thường. Sau đây ta chỉ ra rằng x ∈ C thỏa
mãn g(x) = 0 và ∇g (x) = 0. Áp dụng định lý về phân tích ma trận đối
xứng thực ta tìm được một ma trận trực giao P sao cho

∇2 g (x) = P ΛP T ,
17

(1.34)


trong đó Λ là ma trận đường chéo với các giá trị đường chéo là giá trị
riêng của ∇2 g (x). Hơn nữa, bằng cách tính trực tiếp ta có
LC (x) = Rn , LC (x)∗ = {0} và
1

0 ⊆ ker dS 0 (x) ⊆ ker dS 2 (x) = Q,

(1.35)

trong đó
O := w ∈ Rn w, ∇2 g (x) w < 0 ,
và Q := w ∈ Rn w, ∇2 g (x) w ≤ 0 .
Thật vậy, theo khai triển Taylor cấp 2 với bất kỳ tk ↓ 0 và wk → w, ta
có
o t2k
2 1
2
g (x + tk wk ) = tk
.
wk , ∇ g (x) wk + 2
2
tk
Từ đó ta dễ dàng chỉ ra (1.35).
(b) Bởi vì ∇2 g (x) là bán xác định âm với ∇2 g (x) = 0, ta có thể

tìm được w ∈ O, tức là w, ∇2 g (x) w < 0. Giả sử w ∈ Q \ O. Ta có
w, ∇2 g (x) w = 0. Bởi vì ∇2 g (x) là bán xác định âm, ta có

w + τ w, ∇2 g (x) (w + τ w) < 0, ∀τ > 0.
Do đó, w + τ w ∈ O với τ > 0. Điều này kéo theo w ∈ clO, và do
đó clO = Q. Bởi vì LC (x) = Rn và Q = Rn , từ (1.35) ta nhận được
ker dS 0 (x) = LC (x). Do (1.19), phát biểu (b) dễ suy ra.
(c) Từ Bổ đề (2.4) của [12], ta suy ra (1.31) đúng. Giả sử Q =
y ∈ Rn y T Λy ≤ 0 . Do (1.34), ta có Q = P Q và Q∗ = P Q∗ . Bởi vì
∇2 g (x) là bán xác định dương với ∇2 g (x) = 0, không mất tính chất
tổng quát ta có thể giả sử rằng tồn tại một số nguyên dương n1 sao cho
Λ (i, i) > 0 với 1 ≤ i ≤ n1 và Λ (i, i) = 0 với n1 + 1 ≤ i ≤ n. Khi đó, ta
có
Q = {0Rn1 } × Rn−n1 ,
và Q∗ = Rn1 × {0Rn−n1 } .
Bởi vì Q∗ = P Q∗ và P là ma trận trực giao, ta có Q∗ = {0}. Bởi vì
LC (x)∗ = {0}, từ (1.35) ta có
1
2

∗

ker dS (x)
Như vậy (1.30) đúng.
18

= LC (x)∗ .


(d) Kết quả suy trực tiếp từ (1.35) và (1.19).

(e) Từ [bổ đề 2.4] của [12] suy ra (1.33) đúng. Giả sử

O = y ∈ Rn y T Λy < 0 .
Từ (1.34) ta có O = P O và O∗ = P O∗ . Bởi vì ∇2 g (x) là không xác
định ta có thể giả sử rằng tồn tại nguyên dương n1 và n2 với n1 +n2 ≤ n
sao cho Λ (i, i) > 0 với 1 ≤ i ≤ n1 , Λ (i, i) < 0 với n1 + 1 ≤ i ≤ n1 + n2
và Λ (i, i) = 0 với n1 +n2 +1 ≤ i ≤ n. Khi đó, ta có O = O1 ×Rn−n1 −n2 ,
với
n1

O1 =

y∈R

n1 +n2

n1 +n2

Λ (i, i) yi2

|Λ (i, i)| yi2 < 0

−

i=1

.

i=n1 +1
(i)

Với mọi n1 + 1 ≤ i ≤ n1 + n2 , giả sử y (i) ∈ Rn1 +n2 thỏa mãn yi = 1
(i)
và yj = 0 với ∀i = j . Với ∀ 1 ≤ i ≤ n1 , giả sử y (i) ∈ Rn1 +n2 thỏa mãn
(i)

(i)

yj = 1 với ∀n1 + 1 ≤ j ≤ n1 + n2 , yi =
(i)

∆
,
2Λ (i, i)

và yj = 0, ∀1 ≤ j ≤ n1 , nhưng j = i, trong đó ∆ =

n1 +n2
i=n1 +1 |Λ (i, i)|.

Có thể trực tiếp kiểm tra rằng ±y (i) ∈ O1 với ∀1 ≤ i ≤ n1 + n2 , và
n1 + n2 vectơ y (i) với 1 ≤ i ≤ n1 + n2 là độc lập tuyến tính. Như vậy,
∗
ta có O1 = {0} và O∗ = {0}. Bởi vì O∗ = P O∗ , ta có O∗ = {0}. Bởi
vì LC (x∗ ) = {0}, ta có
O∗ = LC (x∗ ) = {0}. Do (1.35) cho nên suy ra (1.32). Định lý được
chứng minh.

19

Chương 2

Phương pháp hàm phạt chính xác
và điều kiện cần tối ưu cấp 2
Chương 2 trình bày các điều kiện cần tối ưu cấp 2 cho bài toán quy
hoạch phi tuyến qua hàm phạt chính xác của Meng - Yang ([7], 2015).
Các điều kiện cần tối ưu cấp 2 được trình bày khi giả thiết điều kiện
chính quy cấp 2 đúng. Các điều kiện cần cấp 2 khi sử dụng hàm phạt
chính xác lp (0 < p < 1) cũng được trình bày trong chương này.

2.1

Điều kiện cần tối ưu cấp 2

Ta trình bày một số tính chất cơ bản của dưới đạo hàm parabolic
d2 φ (x) (w | .) và d2 S p (x) (w | .).
Bổ đề 2.1.1.
Giả sử x là điểm chấp nhận được của NLP. Khi đó, các phát biểu sau
đây là đúng:
(i) d2 φ (x) (w | z) ≥ 0 với ∀z ∈ Rn và w ∈ kerdφ(x).
(ii) Giả sử w ∈ kerdφ(x). Tập kerd2 φ (x) (w | .) là đóng (có thể rỗng)
của Rn với tính chất z ∈ kerd2 φ (x) (w | .) nếu và chỉ nếu ∃ tk ↓ 0 và
zk → z sao cho
1
φ x + tk w + t2k zk
2
→0
(2.1)
t2k

(iii) kerd2 φ (x) (w | .) = kerdφ (x) khi w = 0.
1
(iv) kerd2 φ (x) (w | .) = ∅ khi w ∈ kerdφ (x) \ kerdφ 2 (x).
20


(v) Với bất kỳ w ∈ TC (x), T 2 C (x | w) ⊆ kerd2 φ (x) (w | .). Đẳng thức
này đúng nếu φ = δC hoặc S 0 , hoặc là tổng quát hơn ∃ τ > 0 và δ > 0
sao cho (1.16) đúng với ∀x ∈ Rn với ||x − x|| ≤ δ .
(vi) Giả sử 0 ≤ p < p ≤ 1. Khi đó, với bất kỳ w ∈ kerdSp (x),

kerd2 S p (x)(w | ·) ⊆ domd2 S p (x)(w | ·) ⊆ kerd2 S p (x)(w | ·)
Sau đây ta xem kerd2 φ(x)(w | ·) như là một tập rỗng khi w ∈
kerdφ(x) và tương tự cho kerd2 Sp (x)(w | ·).
Bây giờ ta thiết lập một điều kiện để dẫn điều kiện SON từ tính
chính xác của f + µφ. Với mỗi điểm chấp nhận được x của NLP, ta
kí hiệu tập tuyến tính hóa cấp 2 của C tại x theo phương w ∈ LC (x) bởi
L2C (x | w) :=

z ∈ Rn

∇gi (x) , z + w, ∇2 gi (x) w ≤ 0, ∀i ∈ I (x, w)
∇hj (x) , z + w, ∇2 hj (x) w = 0, ∀j ∈ J

,

và xem L2C (x | w) là một tập rỗng khi w ∈ LC (x).
Điều kiện chính quy cấp 2 Guignand (SGCQ) tại x theo w ∈ LC (x)
có dạng:
LC 2 (x) ⊆ clconvTC 2 (x | w).

Định lí 2.1.1. Giả sử x là cực tiểu của NLP. Giả sử hàm phạt f + µφ
là chính xác tại x. Nếu

L2 C (x | w) ⊆ clconv[kerd2 φ(x)(w | ·)], ∀w ∈ ν(x),

(2.2)

thì điều kiện SON (1.3) đúng và nói riêng khi L2 C (x | w) = φ thì
supremum trong (1.3) bằng +∞.
Chứng minh.
Bởi vì hàm phạt f + µφ là chính xác tại x, ta áp dụng
[11, Định lí 13.66] với ∀µ > 0 đủ lớn thì

d(f + µφ)(x)(w) ≥ 0.

(2.3)

Và trong trường hợp w = 0 với d(f + µφ)(x)(w) = 0,

infn d2 (f + µφ) (x) (w | z) ≥ 0.

z∈R

(2.4)

Cũng như trong chứng minh Định lý 1.2.1 từ (2.3) ta suy ra với ∀µ > 0
đủ lớn ta có

d (f + µφ) (x) (w) = ∇f (x) , w + µdφ (x) (w) > 0, ∀w ∈
/ ker dφ (x) .

21