Một số vấn đề về quy hoạch tuyến tính và ứng dụng

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC QUY NHƠN

LÊ TÍNH

MỘT SỐ VẤN ĐỀ VỀ QUY HOẠCH TUYẾN
TÍNH VÀ ỨNG DỤNG

LUẬN VĂN THẠC SĨ TỐN HỌC

Bình Định - 2020


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC QUY NHƠN

LÊ TÍNH

MỘT SỐ VẤN ĐỀ VỀ QUY HOẠCH TUYẾN
TÍNH VÀ ỨNG DỤNG

Chun ngành: Tốn giải tích
Mã số: 8.46.01.02

LUẬN VĂN THẠC SĨ TOÁN HỌC

Người hướng dẫn: TS. NGUYỄN HỮU TRỌN


Lời cam đoan
Tơi xin cam đoan nội dung trình bày trong luận văn này là trung thực và không

trùng khớp với đề tài khác. Tôi cũng xin cam đoan rằng các kết quả trong luận văn,
tài liệu tham khảo và nội dung trích dẫn đảm bảo tính trung thực, chính xác.
Quy Nhơn, tháng 7 năm 2020
Học viên

Lê Tính


Lời cảm ơn
Luận văn này được hoàn thành dưới sự hướng dẫn tận tình của thầy Nguyễn Hữu
Trọn. Tơi xin bày tỏ lòng biết ơn sâu sắc đến thầy, người đã giúp đỡ và chỉ bảo tơi một
cách tận tình trong suốt quá trình thực hiện luận văn. Xin cảm ơn các thầy cơ trong
khoa Tốn và Thống kê - Đại học Quy Nhơn đã ân cần dạy tôi trong suốt q trình
học tập tại đây.
Đặc biệt tơi xin gửi lời cảm ơn chân thành và biết ơn vô tận đối gia đình tơi, những
người đã ln sát cánh và tạo động lực để tơi hồn thành luận văn này.
Cuối cùng, vì kiến thức bản thân cịn hạn chế nên dù rất cố gắng nhưng chắc chắn
luận văn còn nhiều thiếu sót. Kính mong q thầy cơ cùng các bạn đồng nghiệp đóng
góp ý kiến để luận văn có thể hồn chỉnh hơn.
Quy Nhơn, tháng 7 năm 2020
Học viên

Lê Tính


Mục lục
Lời cam đoan
Lời cảm ơn
Lời nói đầu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1 Kiến thức chuẩn bị

1
3

1.1

Tập lồi, hàm lồi

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

1.2

Ma trận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

1.2.1

Giá trị riêng, véc tơ riêng của ma trận . . . . . . . . . . . . . .

5

1.2.2

Ma trận khả nghịch . . . . . . . . . . . . . . . . . . . . . . . . .

5

1.2.3

Ma trận đường chéo . . . . . . . . . . . . . . . . . . . . . . . .

6

1.2.4

Ma trận đối xứng . . . . . . . . . . . . . . . . . . . . . . . . . .

6

1.2.5

Ma trận xác định dương . . . . . . . . . . . . . . . . . . . . . .

6

2 Quy hoạch phi tuyến

8

2.1

Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

8

2.2

Điều kiện tối ưu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

10

2.2.1

Điều kiện tối ưu cấp 1 . . . . . . . . . . . . . . . . . . . . . . .

10

2.2.2

Điều kiện cấp 2 . . . . . . . . . . . . . . . . . . . . . . . . . . .

21

2.3

Điểm yên ngựa và tính chất . . . . . . . . . . . . . . . . . . . . . . . .

27

2.4

Đối ngẫu trong Quy hoạch phi tuyến . . . . . . . . . . . . . . . . . . .

32

3 Lý thuyết đối ngẫu trong quy hoạch lồi
3.1

Đối ngẫu mạnh trong Quy hoạch lồi . . . . . . . . . . . . . . . . . . . .

35
36


3.2

Một số ví dụ về các bài tốn đối ngẫu . . . . . . . . . . . . . . . . . . .

41

3.2.1

Quy hoạch tuyến tính . . . . . . . . . . . . . . . . . . . . . . .

41

3.2.2

Quy hoạch toàn phương . . . . . . . . . . . . . . . . . . . . . .

42

3.2.3

Một bài toán minimax . . . . . . . . . . . . . . . . . . . . . . .

44

4 Một số ứng dụng

46

4.1

Phân tích phổ của một ma trận đối xứng . . . . . . . . . . . . . . . . .

46

4.2

Bất đẳng thức Kantorovich

. . . . . . . . . . . . . . . . . . . . . . . .

48

4.3

Bất đẳng thức Hadamard . . . . . . . . . . . . . . . . . . . . . . . . .

50

4.4

Bất đẳng thức Hilbert . . . . . . . . . . . . . . . . . . . . . . . . . . .

52

4.5

Các bài toán biến phân trong phương pháp tựa Newton . . . . . . . . .

56

Kết luận

59

Tài liệu tham khảo

60


Một số kí hiệu
• R: Tập số thực
• R: Tập số thực mở rộng pR

Ť
Ť
t´8, `8u hay R 8q

• rx1 , x2 s: Đoạn nối hai điểm x1 và x2
• intA: Phần trong của tập A
• domf : Miền xác định hữu hiệu của f
• epif : Epigraph của f
• A˚ : Tốn tử liên hợp của A
• Bf : Dưới vi phân của f

• σA : Hàm giá của tập A
• x : Chuẩn của x trong khơng gian định chuẩn
• X ˚ : Khơng gian liên hợp của X
• xx˚ , xy: Giá trị của phiếm hàm tuyến tính x˚ tại x
• N px|Aq: Nón pháp tuyến của tập A tại x
• BX px, rq: Hình cầu trong X có tâm x và bán kính r
• ConvpRn q: Tập hợp các hàm lồi đóng trên Rn
• af f pAq: Bao affine của A
• clA: Bao đóng của A
• Γ0 pXq “ tf : X ÝÑ R, f là đóng, lồi và chính thườngu
• S n “ tX P Rnˆn : X “ X T u
• S`n “ tS n : X ľ 0u
n
• S``
“ tS n : X ą 0u

• AT : ma trận chuyển vị của ma trận A.
• A´1 : ma trận nghịch đảo của ma trận A.
• rank pAq : hạng của ma trận A.
• tr pAq : vết của ma trận A.


1

Lời nói đầu
Bài tốn tối ưu là vấn đề rất thường gặp, từ trong thực tế cuộc sống đến nhiều lĩnh
vực khoa học quan trọng. Các vấn đề về tối ưu đã thu hút rất nhiều nhà khoa học từ
những năm trước thế kỷ 19. Cho đến hiện tại thì đây vẫn là một đề tài đa dạng và
nhận được sự quan tâm của rất nhiều người.
Trong thực tế bài tốn tối ưu đóng một vai trị rất quan trọng trong cuộc sống cũng

như các lĩnh vực khoa học khác nhau như bài tốn tìm đường đi ngắn nhất, bài tốn
về chi phí tối thiểu, lợi nhuận lớn nhất, ... Nhiều bài toán tối ưu hay vấn đề trong thực
tế cuộc sống hay trong các lĩnh vực khoa học khác nhau nói chung là các bài tốn phi
tuyến tức là hàm mục tiêu hay miền ràng buộc là các đối tượng phi tuyến. Để tìm hiểu
vấn đề này một cách hệ thống, trong luận văn này chúng tơi tìm hiểu về các bài toán
tối ưu phi tuyến, về điều kiện tồn tại nghiệm cũng như một số ứng dụng thực tế của
chúng.
Luận văn tập trung nghiên cứu bài toán tối ưu phi tuyến (Quy hoạch phi tuyến)
tức là các bài toán tối ưu với hàm mục tiêu hay ràng buộc phi tuyến như về điều kiện
tồn tại nghiệm, lý thuyết đối ngẫu, cũng như một số ứng dụng thực tế của chúng.
Ngoài mục lục, danh mục các ký hiệu, phần mở đầu và phần kết luận, nội dung của
luận văn được chúng tơi trình bày trong 4 chương.
Chuơng 1. Trong chương này, chúng tơi trình bày một số kiến thức cơ sở để chuẩn
bị cho các chương sau của luận văn.
Chương 2. Nội dung chính của chương này là giới thiệu bài tốn quy hoạch phi
tuyến và trình bày các điều kiện tồn tại nghiệm (cấp 1, cấp 2) của nó.
Chương 3. Lý thuyết đối ngẫu trong quy hoạch lồi : Trình bày một cách hệ thống


2
lý thuyết đối ngẫu trong bài toán quy hoạch lồi.
Chương 4. Trình bày các ứng dụng của bài tốn tối ưu trong quy hoạch lồi và giải
các bất đẳng thức.
Dưới sự hướng dẫn của thầy Nguyễn Hữu Trọn, tôi chọn đề tài luận văn: "Một số
vấn đề về quy hoạch tuyến tính và ứng dụng". Luận văn này được hồn thành
dưới sự hướng dẫn khoa học và tận tình của TS. Nguyễn Hữu Trọn. Tôi xin chân thành
cảm ơn thầy đã nhận lời hướng dẫn tôi làm luận văn này.
Quy Nhơn, tháng 7 năm 2020
Học viên

Lê Tính


3

Chương 1
Kiến thức chuẩn bị
Chương này dành cho việc trình bày các kiến thức cơ sở cần thiết phục vụ cho các
chương sau liên quan đến bài toán quy hoạch phi tuyến như tập lồi, hàm lồi, lý thuyết
về ma trận và nội dung này được tham khảo trong giáo trình [2].

1.1.

Tập lồi, hàm lồi

Cho X là khơng gian tơpơ và hàm f : X Đ R Y t`8u. Kí hiệu
domf “ tx P X |f pxq ă `8u ,
epif “ tpx, aq P X ˆ R |f pxq ď au .
Với mỗi a P R, kí hiệu tập mức dưới của f là
La f “ tx P X |f pxq ď a u .
Định nghĩa 1.1. Hàm f : X ÝĐ R Y t`8u được gọi là chính thường nếu Dx P X,
f pxq ă `8 và @x P X, f pxq ą ´8.
Định nghĩa 1.2. Một tập C Ă Rn gọi là lồi nếu với mọi α P r0, 1s và x, x1 P C ta có
αx ` p1 ´ αqx1 P C.
Định nghĩa 1.3. Cho hàm lồi X Ă Rn và hàm f : X ÝÑ R Y t`8u.


4
i. Ta nói f là một hàm lồi nếu với mỗi x, x1 P X và t P p0, 1q thì
f ptx ` p1 ´ tqx1 q ď tf pxq ` p1 ´ tqf px1 q.

(1.1)

ii. Hàm f gọi là lồi ngặt nếu p1.1q là bất đẳng thức ngặt với mỗi x ‰ x1 P X và
t P p0, 1q.
iii. Hàm f được gọi là lồi mạnh với hệ số à 0 nu f păq 12 à ă

2

l hàm lồi.

Nhận xét 1.1. Hàm lồi f : X ÝÑ R Y t`8u có thể mở rộng thành một hàm lồi trên
tồn khơng gian Rn bằng cách đặt f pxq “ `8 nếu x R domf . Vì vậy để đơn giản, ta
thường xét f là hàm lồi xác định trên Rn .
Mệnh đề 1.1. Cho f : Rn ÝÑ R Y t`8u là một hàm chính thường. Khi đó, các phát
biểu sau là tương đương:
(a) f là lồi trên Rn ;
(b) epif “ tpx, µq P Rn ˆ R | µ ě f pxqu là một tập lồi trên Rn ˆ R;
(c) epts f :“ tpx, µq P Rn ˆ R | µ ą f pxqu là một tập lồi.
Ví dụ 1.1.
(a) Cho C Ă Rn , C ‰ ∅. Hàm chỉ của C là hàm δC : Rn ÝÑ R Y t`8u được xác định
bởi

$
& 0
δC pxq “
% `8

nếu x P C,
nếu x R C.

Khi đó, δC lồi khi và chỉ khi C lồi.
(b) Cho C Ă Rn , C ‰ ∅. Hàm khoảng cách dC : Rn ÝÑ R xác định bởi
dC pxq “ inf x ´ z , x P Rn .
zPC

Nếu C là một tập lồi thì hàm dC là lồi. Điều ngược lại cũng đúng nếu C là tập đóng.
(c) Cho X Ă Rn , X ‰ ∅. Hàm giá của X là hàm σC : X ˚ ÝÑ R Y t`8u được xác
định bởi
σC px˚ q “ supxx˚ , xy,
xPC

là một hàm lồi.


5

(d) Hàm affine
f pxq “ xa, xy ` b, với x P X, a P X ˚ , b P R,
là hàm vừa lồi vừa lõm.

1.2.

Ma trận

1.2.1

Giá trị riêng, véc tơ riêng của ma trận

Định nghĩa 1.4. Cho một ma trận vuông A P Knˆn . Một ma trận x P Knˆ1 px ‰ 0q

được gọi là véc tơ riêng của A nếu tồn tại λ P K để Ax “ λx. Khi đó λ được gọi là
một giá trị riêng của A.
Định lý 1.2. Với A P Knˆn , λ là giá trị riêng của A khi và chỉ khi |A ´ λI| “ 0.
Ta nhắc lại một số lớp ma trận quan trọng sẽ được sử dụng trong luận văn này.

1.2.2

Ma trận khả nghịch

Định nghĩa 1.5. Một ma trận vuông A P Knˆn được gọi là khả nghịch nếu tồn tại
một ma trận vuông B P Knˆn sao cho AB “ BA “ I. Khi đó B được gọi là ma trận
nghịch đảo của A, ta đặt B :“ A´1 .
Định lý 1.3. Nếu A “ paij q là một ma trận vng có định thức khác 0 thỡ nú kh
nghch, hn na
ă

A1

A11

A12

1
A

13
|A|
.
.
˚ .

˝
A1n

˛
A21 A31
A22 A32
A23 A33
..
..
.
.
A2n A3n

...

An1 ‹
‹
... An2 ‹
‹
‹
... An3 ‹
‹
.. ‹
..
‹
.
. ‹
‚
... Ann

Trong đó Aij là kết quả của phép nhân giữa p´1qi`j và định thức của ma trận được tạo
bởi việc xóa cột thứ j và dịng thứ i của ma trận A.


6

1.2.3

Ma trận đường chéo

Định nghĩa 1.6. Ma trận đường chéo là ma trận vng có các phần tử nằm ngồi
đường chéo chính bằng 0 : Ai,j “ 0, @i ‰ j.
Ma trận A chéo như thế sẽ được viết gọn là A “ diag pλ1 , ..., λn q với λj “ A pi, jq.
T
„
Ma trận In “ diag p1, ..., 1q gọi là đơn vị cấp n. Cột thứ j của nó ej “ 0 ... 1 ...0
j

là véc tơ cơ sở chuẩn tắc thứ j.

1.2.4

Ma trận đối xứng

Định nghĩa 1.7. Ma trận đối xứng là ma trận vuông, trong đó hai phần tử đối xứng
qua đường chéo chính thì bằng nhau, nghĩa là aij “ aji với mọi i, j “ 1, 2, ..., n.
Khi đó,
A “ AT
với AT là ma trận chuyển vị của A.
Mọi ma trận chéo đều đối xứng vì mọi phần tử khơng nằm trên đường chéo chính

đều có giá trị 0.

1.2.5

Ma trận xác định dương

Định nghĩa 1.8. Một ma trận A P Rnˆn xác định dương khi và chỉ khi xAx, xy “
xT Ax ą 0, @x ‰ 0.
Thay cho phát biểu bằng lời "A là ma trận xác định dương ", ta viết gọn A ą 0.
Tương tự, ta định nghĩa cho ma trận nửa xác định dương.
Định nghĩa 1.9. Một ma trận A P Rnˆn nửa xác định dương khi và chỉ khi xAx, xy “
xT Ax ě 0, @x.
Đôi khi người ta còn dùng ký hiệu A ě 0 để diễn đạt gọn sự kiện A là ma trận nửa
xác định dương.


7
»
Ví dụ 1.2. Ma trận vng –

fi
1 ´2

»

fl khơng là nửa xác định dương, nhưng –

1

0

fi
4 ´1
fl thực sự là xác định dương.
thì ngược lại. Ma trận –
´1 1

fi
4

´2
fl

´2

1

»

Nói chung, một ma trận đối xứng là nửa xác định dương pxác định dươngq nếu mọi
giá trị riêng đều không âm p dương q.


8

Chương 2
Quy hoạch phi tuyến
Trong chương này chúng tôi sẽ tìm hiểu về bài tốn quy hoạch phi tuyến, trình bày
các điều kiện tồn tại nghiệm của nó như các điều kiện cần và đủ cấp 1, cấp 2. Đồng
thời cho một số ví dụ minh họa cho các kết quả đã trình bày. Chúng tơi tham khảo
một số tài liệu về chủ đề này như [1]-[5], nội dung chính chủ yếu được tham khảo từ

tài liệu [2].

2.1.

Giới thiệu

Bài toán quy hoạch phi tuyến là một bài toán được phát biểu dưới dạng:
min
s.t

f pxq
gi pxq ď 0,

i “ 1, ......r,

hj pxq “ 0,

j “ 1, ......, m

pP q

n
trong đó f, tgi ur1 và thj um
1 là các hàm mang giá trị thực và xác định trên R .

Hàm f được gọi là hàm mục tiêu của pP q, gi pxq , hj pxq là các hàm ràng buộc.
Miền khả thi (tập ràng buộc) của pP q là tập gồm tất cả các điểm thỏa mãn
F pP q “ tx P Rn : gi pxq ď 0, i “ 1, ..., r, hj pxq “ 0, j “ 1, ..., mu .

(1)

9
Định nghĩa 2.1. Một điểm x˚ P F pP q được gọi là một cực tiểu địa phương của pP q
nếu tồn tại ε ą 0 sao cho
f px˚ q ď f pxq , @x P F pP q X Bε px˚ q .
Hơn nữa, điểm x˚ gọi là một cực tiểu toàn cục của pP q nếu
f px˚ q ď f pxq , @x P F pP q .
Cực đại địa phương và cực đại toàn cục được định nghĩa tương tự bằng cách đổi
chiều của các bất đẳng thức ràng buộc.
Tính chất hình học của tập khả thi F pP q quanh 1 điểm cực tiểu địa phương
x˚ P F pP q minh họa các điều kiện tối ưu mà x˚ phải thỏa mãn. Chẳng hạn, nếu
gi px˚ q ă 0 thì hàm ràng buộc gi sẽ khơng có vai trị trong việc xác định điểm x˚ là
điểm cực tiểu địa phương hay không.
Nếu x P F pP q , ta kí hiệu I pxq “ ti : gi pxq “ 0u là tập các chỉ số hoạt. Nếu i R Ipxq,
khi đó gi được gọi là điều kiện dừng của pP q tại x.
Trong mục này, ta sẽ thiết lập các điều kiện cần và đủ để điểm khả thi x˚ là cực
tiểu địa phương của pP q.
Trước tiên ta định nghĩa một vài khái niệm liên quan.
Định nghĩa 2.2. Một véc tơ d P Rn gọi là hướng tiếp xúc của một tập khác rỗng
M Ď Rn tại điểm x P M nếu tồn tại một dãy xn P M sao cho xn ÝÑ x và một dãy
không âm αn sao cho lim αn pxn ´ xq “ d. Khi đó, ta cũng gọi d là hướng tiếp xúc của
nÑ8

txn u.
Định nghĩa 2.3. Cho x˚ là một điểm khả thi của pP q. Một hướng tiếp xúc của F pP q
tại x˚ được gọi là một hướng khả thi của pP q tại x˚ . Ta kí hiệu tập các hướng khả thi
của pP q tại x˚ là FD px˚ q.
iq Một véc tơ d P Rn là hướng giảm cho f tại x˚ nếu D txn u P Rn : xn Ñ x˚ sao cho
f pxn q ď f px˚ q , @n.

iiq Nếu f pxn q ă f px˚ q @n, ta gọi d là một hướng giảm ngặt của f tại x˚ . Ta kí hiệu
SD pf ; x˚ q là tập các hướng giảm ngặt tại x˚ .


10

Ta có bổ đề đơn giản sau:
Bổ đề 2.1. Nếu x˚ P F pP q là cực tiểu địa phương của pP q thì
FD px˚ q X SD pf ; x˚ q “ ∅.
Chứng minh. Giả sử FD px˚ q X SD pf ; x˚ q ‰ ∅. Khi đó tồn tại dãy các điểm khả thi
xn ÝÑ x˚ sao cho f pxn q ă f px˚ q @n. Rõ ràng, điều này mâu thuẫn với giả thiết x˚ là
cực tiểu địa phương của pP q .

2.2.

Điều kiện tối ưu

2.2.1

Điều kiện tối ưu cấp 1

Điều kiện Fritz John (FJ) là điều kiện cần cấp 1 để tìm cực tiểu địa phương trong
bài toán tối ưu phi tuyến pP q khi các hàm f, gi , hj khả vi liên tục trên các lân cận mở
của F pP q.
Đặt
LFD px˚ q :“ td : x∇gi px˚ q , dy ă 0, i “ 1, ..., r, x∇hj px˚ q , dy “ 0, j “ 1, ..., mu,
LFD pf ; x˚ q :“ td : x∇f pxq, dy ă 0u .
Từ các định nghĩa trên, với F là hàm số khả vi xác định trên một tập mở trong Rn ,
ta có khẳng định sau:
Nếu d P LFDpF ; xq thì


optq
ă F pxq với mọi t > 0.
F px ` tdq “ F pxq ` t x∇F pxq , dy `
t
„

Nhận xét rằng vì xF pxq , dy ă 0 và limtÝÑ0 o ptq {t “ 0 nên biểu thức trong ngoặc là
khơng âm. Do đó, nếu d P LFD px˚ q X LSD pf ; x˚ q và t ą 0 đủ nhỏ thì f px˚ ` tdq ă
f px˚ q và g px˚ ` tdq ă g px˚ q “ 0 cho một hàm ràng buộc hoạt gi . Lúc này, ta phải có
được x∇hj pxq , dy “ 0 và điều này sẽ được giải quyết bằng các điều kiện dưới đây.
a. Điều kiện cần cấp 1.


11
Định lý 2.1 (Điều kiện Fritz John). Nếu x˚ là một điểm cực tiểu địa phương của pP q
thì tồn tại pλ, µq :“ pλ0 , λ1 , ..., λr , µ1 , ..., µm q khơng đồng thời bằng 0, pλ0 , λ1 , ..., λr q ě
0 sao cho
˚

λ0 ∇f px q `

r
ÿ

m
ÿ

˚

λi ∇gi px q `

i“1

µj ∇hj px˚ q “ 0,

(2.1)

j“1

λi ě 0, gi px˚ q ď 0, λi gi px˚ q “ 0, i “ 1, ..., r.

(2.2)

Chứng minh. Vì λi ě 0, gi px˚ q ď 0, λi gi px˚ q “ 0 nên ta có thể viết p2.1q dưới dạng
λ0 ∇f px˚ q `

ÿ

λj ∇gj px˚ q `

jPIpx˚ q

m
ÿ

µj ∇hj px˚ q “ 0.

j“1

Nếu t∇hi px˚ qum
1 là phụ thuộc tuyến tính, khi đó Dµ :“ pµ1 , ...., µm q ‰ 0 sao cho
m
ř

µj ∇hj px˚ q “ 0.

j“1

Khi đó, đặt λ :“ pλ0 , ...., λr q “ 0. Ta thấy định lý đúng với các nhân tử pλ, µq ‰ 0.
Bây giờ giả sử t∇hi px˚ qum
j“1 là độc lập tuyến tính. Ta sẽ chứng minh
td : x∇f px˚ q , dy ă 0, x∇gi px˚ q , dy ă 0, i P I px˚ q ,
x∇hj px˚ q , dy “ 0, j “ 1, ..., mu ‰ 0.

(2.3)

Giả sử p2.3q sai, ta chọn d P Rn : }d} “ 1. Vì t∇hi px˚ qum
1 là độc lập tuyến tính nên
theo Định lý Lyusternik (r2s, Định lý 2.29 hay 3.23 ) tồn tại dãy xn Đ x˚ có hướng
tiếp xúc d và thỏa mãn phương trình hj pxn q “ 0, j “ 1, ..., m. Ta có
„B
˚

f pxn q “ f px q `

x n ´ x˚
∇f px q ,
}xn x }

F


0 pxn x q
`
ă }xn x˚ } ,
}xn ´ x˚ }

xn ´ x˚
o pxn ´ x˚ q
Ñ
d,
ÝÑ 0 khi n ÝÑ 8.
}xn ´ x˚ }
}xn ´ x˚ }
Vì x∇f px˚ q , dy ă 0 nên ta được f pxn q ă f px˚ q với n đủ lớn.

trong đó

Tương tự cách lập luận trên nếu gi là một hàm ràng buộc hoạt tại x˚ thì gi pxn q ă
gi px˚ q “ 0 với n đủ lớn. Khi đó, ta có thể kết luận txn u8
1 là một dãy nghiệm khả thi
cho pP q sao cho f pxn q ă f px˚ q với n đủ lớn. Điều này mâu thuẫn với giả thiết x˚ là
điểm cực tiểu địa phương của pP q và do đó p2.3q được chứng minh.
Định lý được chứng minh.


12

Định nghĩa 2.4 (Hàm Lagrange). Hàm số
L px; λ, µq :“ λ0 f pxq `

r
ÿ

λi gi pxq `

i“1

m
ÿ

µj hj pxq

pλi ě 0, i “ 0, ..., rq

j“1

được gọi là hàm Lagrange yếu cho bài toán pP q .
Nếu λ0 ą 0, khơng mất tính tổng qt ta có thể chọn λ0 “ 1 và hàm thu được
L px; λ; µq “ f pxq `

r
ÿ

λi gi pxq `

i“1

m
ÿ

µj hj pxq λi ě 0, i “ 1, ..., r,

j“1

được gọi là hàm Lagrange.
Từ định nghĩa trên, ta thấy rằng đẳng thức p2.2q trong điều kiện FJ có thể được
viết lại như sau
∇x L px, λ, µq “ 0.
Biểu thức p2.2q được gọi là điều kiện bù vì
λi gi px˚ q “ 0,

λi ě 0,

gi px˚ q ď 0,

ám chỉ λi “ 0 hoặc gi px˚ q “ 0. Đặc biệt, nếu gi px˚ q ă 0, tức là gi không hoạt tại x˚
thì λi “ 0.
Điều đáng chú ý của Định lý Fritz John là nó ln đúng tại cực tiểu địa phương.
Tuy nhiên, trong một vài trường hợp thì bài tốn tối ưu phi tuyến sẽ gặp một bài toán
quy hoạch phi tuyến suy biến mà trong đó λ0 “ 0. Đây là một tình huống xấu vì hàm
mục tiêu khơng liên quan trong các điều kiện cần tối ưu cấp 1. Các giả thiết thêm
vào trên pP q phải cần thêm vào để loại trừ khả năng này. Giả thiết như thế đảm bảo
λ0 ą 0 (thực ra ta có thể chọn λ0 “ 1) được gọi là "điều kiện chuẩn hóa ràng buộc" và
ta gọi đó là điều kiện KKT.
Hệ quả 2.1. Nếu hệ các véc tơ:
t∇gi px˚ q , i P I px˚ q , ∇hj px˚ q , j “ 1, ..., mu

13

là độc lập tuyến tính thì λ0 ą 0 và ta có
r
ÿ

m
ÿ

µj ∇hj px˚ q “ 0,

(2.4)

λi ě 0, gi px˚ q ď 0, λi gi px˚ q “ 0, i “ 1, ..., r,

(2.5)

hj px˚ q “ 0,

(2.6)

˚

∇f px q `

˚

λi ∇gi px q `

j“1

i“1

j “ 1, ..., m.

Điều kiện p2.4q ´ p2.6q trong hệ quả trên chính là các điều kiện KKT (Karush Kuhn - Tucker).
Chú ý 2.2. Ngồi ra, ta cịn có thể chứng minh Định lý Fritz John bằng phương pháp
hàm phạt và nguyên lý biến phân Ekeland (xem r2s).
b. Điều kiện đủ cấp 1
Trong phần này, ta sẽ đưa ra một điều kiện đủ để tìm cực tiểu địa phương cho bài
tốn tối ưu phi tuyến, điều kiện tối ưu này sẽ đúng ngay trong cả trường hợp suy biến
λ0 “ 0 .
Định lý 2.3. Cho x˚ là một nghiệm khả thi của pP q thỏa mãn các điều kiện FJ p2.1q
và p2.2q, trong đó ta viết p2.1q dưới dạng
˚

λ0 ∇f px q `

ÿ
iPIpx˚ q

˚

λi ∇gi px q `

m
ÿ

µj ∇hj px˚ q “ 0.

j“1

Nếu các véc tơ
λ0 ∇f px˚ q, tλi ∇gi px˚ quiPIpx˚ q , t∇hj px˚ qum
1
là hệ sinh của Rn thì x˚ là một cực tiểu địa phương của pP q.
Chứng minh. Giả sử x˚ không là một cực tiểu địa phương của pP q. Khi đó tồn tại
một dãy nghiệm khả thi xk ÝÑ x˚ thỏa mãn f pxk q ă f px˚ q. Đặt xk “ x˚ ` tk dk với
tk ą 0, }dk } “ 1. Ta có
0 ą f px˚ ` tk dk q ´ f px˚ q “ tk x∇f px˚ q, dk y ` optk q,
0 ě gi px˚ ` tk dk q “ tk x∇gi px˚ q, dk y ` optk q, i P Ipx˚ q,
0 “ hj px˚ ` tk dk q “ tk x∇hj px˚ q, dk y ` optk q, j “ 1, ...m.


14

Vì }dk } “ 1, ta chọn tdk u : dk ÝÑ d, }d} “ 1. Chia các vế của các phương trình và
bất phương trình trên cho tk và cho tk ÝÑ 0, ta được x∇f px˚ q, dy ď 0, x∇gi px˚ q, dy ď
0, x∇hj px˚ q, dy “ 0. Từ đó vì
˚

xλ0 ∇f px q, dy `

ÿ

˚

λi x∇gi px q , dy `

m
ÿ

µj x∇hj px˚ q , dy “ 0,

j“1

iPIpx˚ q

nên xλ0 ∇f px˚ q, dy “ 0, xλi ∇gi px˚ q, dy “ 0 và x∇hj px˚ q, dy “ 0. Vì d trực giao với mọi
véc tơ trong Rn nên suy ra d “ 0. Điều này mâu thuẫn với giả thiết }d} “ 1.
Dó đó x˚ là cực tiểu địa phương của pP q.
Định lý được chứng minh.
Điều kiện chuẩn hóa ràng buộc
Từ những vấn đề trên, ta nhận thấy điều quan trọng ở đây là xét trường hợp λ0 “ 0
hay λ0 nhận giá trị dương trong các điều kiện FJ cho các điều kiện tối ưu. Nếu λ0 “ 0
thì f pxq sẽ khơng có vai trị trong việc tìm cực tiểu địa phương, điều này mâu thuẫn
vì ta mong muốn f sẽ đạt được giá trị tối ưu, đây là một trường hợp đặc biệt xuất
hiện trong các định lý FJ.
Ví dụ dưới đây chỉ ra một trường hợp khi λ0 “ 0 thì bài tốn ối ưu hóa lại khơng
có nghiệm. Ta xét bài tốn sau:
Ví dụ 2.1. Xét bài toán:
min ´x thỏa điều kiện
px ´ 1q3 ` y ď 0, x ě 0, y ě 0.
Ta có: f pxq “ ´x,
g1 px, yq “ px ´ 1q3 ` y ď 0,
g2 px, yq “ ´x ď 0,
g3 px, yq “ ´y ď 0.
Dễ thấy p1; 0q chính là điểm cực tiểu tồn cục của bài tốn.

15

Do đó, điều kiện FJ sẽ đúng tại p1; 0q. Tuy nhiên ta lại có
∇f p1; 0q “ p´1; 0q , ∇g1 p1, 0q “ p0; 1q và ∇3 p1; 0q “ p0; ´1q. Do đó ta có phương
trình:
λ0 ∇f p1; 0q ` λ1 ∇g1 p1; 0q ` λ3 ∇g3 p1; 0q “ p´λ0 , λ1 ´ λ3 q “ p0; 0q .
Thay λ0 “ 0, ta thấy điều kiện KKT khơng đạt được tại p1; 0q .
Từ bài tốn trên ta nhận thấy việc xác định thêm các điều kiện bù là rất hữu ích
cho hàm mục tiêu f và đặc biệt là các hàm ràng buộc gi , hi với λ0 ą 0 để điều kiện
KKT được thỏa mãn.
Định lý 2.4. Cho x0 là điểm thỏa mãn định lý FJ của bài toán pP q . Các điều kiện
KKT
˚

∇f px q `

ÿ
iPIpx˚ q

˚

λi ∇gi px q `

m
ÿ

µ0 ∇hj px˚ q “ 0,

(2.7)

j“1

đúng tại điểm x˚ nếu và chỉ nếu
td : x∇f px˚ q , dy ă 0u X td : x∇gi px˚ q , dy ď 0, i P I px˚ qu

(2.8)

X td : x∇hj , dy “ 0, j “ 1, ...mu “ H.
Nhận xét 2.5. Ta nhận thấy sự khác biệt giữa các điều kiện FJ và KKT là rất nhỏ.
Trong điều kiện FJ, tại một cực tiểu địa phương x˚ ta phải có
td : x∇f px˚ q , dy ă 0u X td : x∇gi px˚ q , dy ď 0, i P I px˚ qu
X td : x∇hj , dy “ 0, j “ 1, ...mu “ H,
trong khi đó điều kiện KKT cần đòi hỏi các điều kiện mạnh hơn ở các bất đẳng thức
x∇gi px˚ q , dy ă 0 cho các ràng buộc hoạt gi pxq , thay bởi các ràng buộc yếu bất đẳng
thức x∇gi px˚ q , dy ď 0.
Hệ quả 2.2 (Hàm lõm và các ràng buộc tuyến tính). Cho x˚ là một cực tiểu địa
phương của pP q. Các điều kiện KKT đúng tại x˚ nếu các ràng buộc hoạt tgi uiPIpx˚ q là
hàm lõm trong lân cận lồi của x˚ và các ràng buộc đẳng thức thj um
1 là hàm affine trên
Rn .


16

Đặc biệt, các điều kiện KKT đúng tại mọi cực tiểu địa phương nếu tất cả các hàm
ràng buộc gi và hj là affine, nghĩa là
gi pxq “ xai , xy ` αi ,

hj pxq “ xbj , xy ` βj .

Chứng minh. Xét d thỏa mãn
x∇gi px˚ q, dy ď 0, i P I px˚ q ,

x∇hj px˚ q, dy “ 0, j “ 1, ..., m.

Khi đó, ta có thể chọn được x ptq “ x˚ ` td, @t ą 0 đủ nhỏ sao cho
gi px˚ ` tdq ď gi px˚ q ` tx∇gi px˚ q , dy ď 0.
Tương tự vì hj là một hàm affine nên
hj px˚ ` tdq “ hj px˚ q ` x∇hj px˚ q, dy “ 0.
Vì px˚ q là cực tiểu địa phương của pP q nên ta có f 1 px; dq “ x∇f px˚ q, dy ě 0 và p2.8q
đúng. Khi đó, từ Định lý 2.3 ta suy ra điều kiện KKT được thỏa mãn.
Tiếp theo, ta chứng minh điều kiện chuẩn hóa ràng buộc Mangasrian-Fromovitz.
Định lý 2.6 ( Mangasarian - Fromovitz). Cho x˚ là một điểm thỏa mãn điều kiện FJ
trong p1q. Nếu các gradient t∇hj px˚ qum
1 của các ràng buộc đẳng thức là độc lập tuyến
tính và tồn tại một hướng d thỏa
xgi px˚ q , dy ă 0, i P I px˚ q ,

xhj px˚ q , dy “ 0, j “ 1, ..., m,

(2.9)

thì các điều kiện KKT thỏa mãn tại điểm x˚ .
Để chứng minh định lý ta cần phép biến đổi Motzkin sau, được cho trong r2s.
Bổ đề 2.2 (Phiên bản đồng nhất của phép biến đổi Motzkin). Cho tai ul1 , tbj um
1 và
tck up1 là các véc tơ trong Rn . Khi đó, hệ tuyến tính
xai , xy ă 0,

i “ 1, ..., l,

xbj , xy ď 0,

j “ 1, .., m,

xck , xy “ 0,

k “ 1, ..., p,


17

là khơng tương thích nếu và chỉ nếu tồn tại các véc tơ
λ :“ pλ1 , ..., λl q ě 0, λ ‰ 0,
µ :“ pµ1 , ..., µ2 q ě 0,
δ :“ pδ1 , ..., δp q ,
sao cho
l
ÿ

λi ai `

1

m
ÿ

µj b j `

1

p
ÿ

δk ck “ 0.

1

Áp dụng Bổ đề 2.2 ta tiến hành chứng minh Định lý 2.6.
Chứng minh. Một mặt, vì p2.9q là có nghiệm (tương thích) theo Định lý biến đổi
Motzkin phiên bản thuần nhất, ta thấy rằng với mỗi nghiệm 0 ď λ :“ pλi :“ i P I px˚ qq
và µ : pµ1 , ..., µm q cho phương trình
ÿ

˚

λi ∇gi px q `

m
ÿ

µj ∇hj px˚ q “ 0,

(2.10)

j“1

iPIpx˚ q

ta phải có λ “ 0. Khi đó vì các gradient ∇hj px˚ q là độc lập tuyến tính nên µ “ 0.
Mặt khác, từ Định lý 2.1 ta suy ra nếu λ0 “ 0 thì p2.10q có một nghiệm với pλ, µq ‰ 0.
Điều này chứng tỏ λ0 ą 0.
Định lý được chứng minh.
Một trong các điều kiện chuẩn hóa ràng buộc nổi tiếng nhất là điều kiện chuẩn hóa
ràng buộc Slater (Slater’s constraint qualification) áp dụng cho bài toán quy hoạch phi
tuyến với các ràng buộc lồi.
Hệ quả 2.3 (Slater). Cho tgi ur1 là các hàm lồi, thj ur1 là các hàm affine và x˚ là một
cực tiểu địa phương của pP q. Khi đó, nếu tồn tại một điểm khả thi x0 là khả thi ngặt
cho các ràng buộc hoạt gi , nghĩa là
gi px0 q ă 0, i P I px˚ q
thì các điều kiện KKT được thỏa mãn tại x˚ .


18
Chứng minh. Đặt hj “ xaj , x ´ x0 y, j “ 1, ..., m. Nếu taj um
1 phụ thuộc tuyến tính,
khi đó ta có thể chọn được một tập con độc lập tuyến tính, chẳng hạn taj uk1 sao cho
spanta1 , ..., ak u “ spanta1 , ..., am u. Chú ý rằng việc chỉ giữ lại các ràng buộc thi uki sẽ
không làm thay đổi miền khả thi của nó.
Do đó, ta có thể giả sử các véc tơ gradient t∇hj px˚ qum
1 là độc lập tuyến tính. Ta
có
0 ą gi px0 q ě gi px˚ q ` x∇gi px˚ q , x0 ´ x˚ y,
0 “ hj px0 q “ hj px˚ q ` x∇hj px˚ q , x0 ´ x˚ y,

i P I px˚ q ,
j “ 1, ..., m ,

trong đó bất đẳng thức thứ hai suy ra từ Định lý 4.27 p xem r2s q. Ta thấy rằng hướng

d :“ x0 ´ x˚ thỏa mãn điều kiện chuẩn hóa ràng buộc và do đó theo Định lý 2.5 ám
chỉ các điều kiện KKT đúng.
Ví dụ 2.2. Xét bài tốn
min
s.t

n
ÿ
i“1
n
ÿ

fi pxi q
xi “ 1 px ě 0q .

i“1

Hàm Lagrange có dạng:
L px, λ, µq

n

i1

fi pxi q

n

i xi ` à 1

i1

n


á
xj

, λi ě 0, i “ 1, ..., n, n P R.

i“1

Các điều kiện KKT là
BL
“ f 1 i pxi q ´ µ ´ λi “ 0, i “ 1, ...n,
(a)
Bxi
n
ř
(b)
xi “ 1,
i“1

(c) xi ě 0, λi ě 0, xi λi “ 0, i “ 1, ..., n.
Nếu xi ą 0 thì (c) suy ra λi “ 0 và khi đó paq suy ra f 1 i px˚i q “ µ.
Nếu x˚i “ 0, thì ta có f 1 i px˚i q “ µ ` λi ě µ. Do đó ta có điều kiện tối ưu sau này
được biết bởi Gibbs:
f 1 i px˚i q “ µ với mọi i sao cho xi ą 0,

f 1 i px˚i q ě µ với mọi i sao cho xi “ 0.