Giáo trình các phương pháp tối ưu

Nguyễn Thị Bạch Kim

Giáo trình

Các Phương pháp Tơi ưu
Lý thuyết và Thuật toán

NHÀ XUẤT BẢN BÁCH KHOA - HÀ NỘI SS4

Nguyén Thi Bach Kim

Giao trinh

Các Phương pháp Tối ưu

Lý thuyết và Thuật toán

NHÀ XUAT BAN BACH KHOA ~ HÀ NỘI

Mã sô: 285-2008/CXB/08-57/BKHN

Muc luc

Loi mé dav

1 Một số khái niệm và kết quả cơ bản từ giải tích lơi
Khong gian Euclid R” a
1.1 HO CN CÁ MO ca cổ Co MS HO ca BS 8 MO

.2 1.1.1 Điểm hay véc tơ trong” .............ee...
1.1.2 Véc tơ độc lập tuyến tính.....................

1.3 1.1.3 sa “aaa... BH. ŠẶŸ
1.1.4 Tích vơ hướng................-....ẶQ ỒẶ
1.1.5 Chuẩn Eucltd của véclơ......................
1.1.6 Bất đẳng thức Cauchy-Bunjakowski-Schwarz...........
1.1.7 Góc giữa hai vóc tơ
1.1.8 Suhéitu. ...:Ẽ.(a
1.1.9 Tập đóng. tập mở, tập compac...................
1.1.0 Thứ tự ¬. —
ố .. . . —— ố¬ ¬ .

Ham nhiéu bién
1.2.1 Định nghĩa
1.2.2 Tính liên tục
eee we ek ek ee

1.2.3 Đạo hàm riêng ........Q Q.Q - HQ.Q ..eQee
1.2.4 Gradient va ma tran Hesse
1.2.5 Tinh kha vi. ee ee ee
1.2.6 Khavihailan. 2... ee
1.2.7 Khai trién Taylor eS SY
1.2.8 Dao ham ham hop em
kk

1.2.9 Đạo hàm theo hướng
1.2.10 Ham tuyén tinh, ham afin
Tập lồi ee CÁO cá QỢ U HO MÔ ee ee we ee ee ke AC C4 ca °

CO ế cÊ Ê ạ cÊ H Ê cA R } C B R8 C S Y AC

1.3.1 TẠậpafn... Q c. Q Q. c Q. u . HH.k.g.v.2

1.3.2 Sở chiều và điểm trong tương đốt |... On cm CA NO } 6 CN m1 4
1.3.3 Tập lồi và đểm cực biên .....................
1.3.4 Siêu phẳng, nửa không gian woe ek ee ee
ke

1.3.5 Nón Be kw mw ww we ew we lk

1.3.6

!

Mục lục

1.37 Các định lý tách tẠpli...................... 24
13.8 TẠạplôiđadin .............. Q.2. 25
13.9 Đơnhìnhh............ Quy Xa 28
L.4 Hàm lồi.......QC.Q . cv . 0Q K. H . KV....xà 29
L41 Địnhhngha .........Q . Q Q .Su....v2 29
1.4.2 Các phép toán về hàm lổi..................... 32
1.4.3. Tính liên tục của hàm lồi..................... 32
1.44. Đạo hàm theo hướng của hàm lổi............... 33
1.4.5 Tiêu chuẩn nhận biết hàm lơi khẩvi............... 34

Bài tốn tối mì 39
2.1 MétsOvidud ...........a.aAAIa 39
2.2_ Bài toán tối ưu và các khái niệm cơbản................ Sl
2.3 C&c loai bai todntéiuu ee ee 57
2.4. Điều kiện tồn tại nhệm.....................ẶẶẶ 58

Quy boạch tuyến (ính 63

3.1 Đình nghĩa quy hoạch tuyến tính .................... 64
3.1.1 Dang chudn tic 2... ee ee 65
3.1.2 Dang chinh tic 2... ee ee 65
3.1.3. Chuyến bài tốn quy hoạch tuyến tính bất kỳ về dạng chuẩn tác
hay chính tẮC...Q.. Q.Q Q.Q H. Q K ..V..va 6ó
3.2 Sự tồn tại nghiệm và tính chất tập nghiệm của quy hoạch tuyến tính . 68
3.2.1 Sự tồn tạ nghiệm ..........Q .Q Q.Q ẶQ Q.KẶ.ee 68
3.2.2 Tính chất tập nghệm..................Ặ.c... 70
3.3. Giải bài tốn quy hoạch tuyến tính hai biến bằng phương pháp hình hoc 71
3.4 Phương pháp đơn hình giải quy hoạch tuyến tính dạng chính tác.... 75
3.4.1 M6 ta hinh hoc cua phương pháp đnhình ........... 77
3.4.2 Cơ sở lý thuyết của phương pháp đơnhình ........... 77
3.4.3. Thuật tốn đơn hình giải bài tốn quy hoạch tuyến tính chính tác 89
3.4.4. Cơng thức đối cơ sở và thuật tốn đơn hình dạng bảng... 90
3.5 Tìm phương án cực biên xuất phát và cơ sở xuất phái ......... 103
3.5.1 Trường hợp bài tốn có dạng chuẩntắc.............. 103
3.5.2 Trường hợp bài tốn có dạng chnhtắc ............. 104
3.5.3. Phương pháp đánh thuế hay phương pháp bài toán (M)...... 112
3.6 Tinh hữu hạn của thuật tốn đơn hình.................. 115
3.7 Hiện tuong xoay Vong 2. . . QC Q Q Q Q Q HQ ke 116
3.8 Đối ngẫu .......... . Q Q QC Q LH HQ ng kg nà Na 117
3.8.1 Cặp bài tốn quy hoạch tuyến tính đối ngẫu............. lưi
38.2 Các định lý về đố ngu ..................... 120
383. Định lý về độ lệch bù..........co..c... 123
284 Một số ứng dụng của lý thuyết đối ngẫu............. 126

Muc luc II

4 Bài toán vận tải ee 135
135

4.L Bài toán vận tẢi........

4.1.1 Mơ hình tốn học,.....Q . QẶ Q . Q Q.Q ..U ..ee 135
4.1.2 Sự tồn tại phương án tốiưu..................... 140
4.2 Bang vantdi,chutinh . 0... 0.0. ee e.ee.een 141
42.1 Bangvantai 2... eeeeee 141
4.2.2 Chutrinh ... 0... 0. ee ee 142
4.3 Phương pháp thế vị giải bài toán vận tải................. 146
43.1 Cơsở lýthuYẾt.T.Q Q Q.Q .Q ....e.eQe 147
4.3.2 Thuật toán thế Vị... Vy v2 151
4.44. Tìm phương án xuất phát cho bài tốn vận tải............... 157
4.4.1 Phương ph4p géc tay bic (northwest - conner mule) ....... 157
4.4.2. Phuong phdp cuc tiéu chi phi (The least-cost method). . .-... 159
4.5 Cac bai todn van taimdréng ©... ee 163
4.5.1 Bài tốn khơng cân bằng thu phát ................ 163
4.5.2. Bài toán vận tải với ràng buộc bất đỉngthức .......... 168
4.5.3. Bài toán lập kho nhận hàng................... 170
4.5.4. Bài toán vận tài có cấm..................e.s 173
4.5.5 Bài (oán vận tải dạng max
4.5.6 Bài toán phân việc (The personnel-assignment problem) ... . 178

5 Quy hoach nguyén 183
§.1 M@hinhtodnhoc ........0.-.2..0.0000. 0000.0000. 183
52 MétsOvidu ... 2... 0. ee es 185
5.3. Y tưởng của phương pháp nhánh cận .................. 189
5.3.1 Một số khái nệm cơbản..................... 189
5.3.2 Ý tưởng của phương pháp nhánhcận .............. 190
5.4 Thuật toán nhánh cận Land - Doig giải bài toán quy hoạch tuyến tính
nguyên hoàn toàn. .......... . Q Q.Q . Q ..2 ... 191

34.1 Tính cận trên ..... . Q Q. Q Q . Q Q . 1 ..22 191
5.4.2 Chianhénh ... 2... 2. es 192
5.4.3 Thuattodn.... 2... 2. QC Q Q Q Q Q Q.2 192
54.4 Vidu 2... ee ee es 194
5.5 Thuật toán nhánh can giai baitodn bal6O-1............. 204
5.5.1. Công thức tính cận trên của bài tốn ba lơ (KP) ........ 204
5.5.2 Tính cận trên của bài tốn con.................. 207
§.$.3 Thuattodn. .... ee ee 209
S54 Vidu oo... es 213

6 Quy hoach phi tuyén 221
6.1 Bài toán quy hoạch phi tuyến không ràng buộc............. 221
6.1.1 Điều kiện tốiưu...........Q .Ặ Q ....2 Ặ. 221

IV Muc luc

6.1.2 Phương pháp hướng giảm...................... 225
6.1.3 Phuong phap gradient 2. .....00..0... 2050000. 23)
6.1.4 Phuong phap Newton 2... ee 236
6.1.5 Cực tiểu hàm một biến 2... ee 248
6.1.6 Phương pháp tìm kiếm trực tiếp .................. 25
6.2 Bài toán quy hoạch phì tuyến có rằng buộc ............... 256
6.2.1 Điều Kiện tối ƯU...Q. Q Q. Q . Q0. HQ... Q . y ee 257
6.2.2 Phương pháp nhân tử Lagrangc.................. 266
6.2.3. Phuong phdp tun tính hóa piai quy hoach l6i ......... 273
6.2.4 Phương pháp hướng có thể giải bài tốn cực tiểu hàm trơn với
ràng buộc tuyến tính ...........e ..e.Ặee 278
6.2.5. Phương pháp Frank-Wolfe giải bài toán quy hoạch lồi với ràng
buộc tuyến tính..... . Q.Q . Q2. 2 . vn.n.à..v. à y2 281
6.2.6 Phương pháp hàm phạt.................. 284

Tài liệu tham khảo i

Một số ký hiệu và chữ viết tắt

tẬp số thực
không gian Eucliđ n chiều
z thuộc tập D

z không thuộc tạp D

tẬp rông
hiệu của tập Œ và D
hợp của tập Œ và tập D
giao của tập C va tap D
tích vơ hướng của x va y

chuẩn Euclid của z

giá trị tuyệt đối của z
bao afin cha tap £
bao Idi cha tap EF
thứ nguyên (hoặc số chiều) của tập *
số phần tử của tập X

đoạn nối hai điểm z` va x?

phần trong của tập X

phần trong tương đối của tập X

nón lùi xa của tập X

nón sinh bởi các véc tơ 0Ì, - -- ,uẺ

nón tiếp xúc với tập X tại điểm z*

tập các hướng chấp nhận được của tập X tại +”
miền xác định hữu hiệu của ƒ

epigraph cha ham f

hypograph của hàm ƒ

đạo hàm theo hướng của hàm ƒ theo hướng ở tại z°
véc tơ gradient của hàm ƒ tại điểm z
ma tran Hesse cha ham ƒ tại điểm z

dao hàm riêng của ƒ theo biến z;

v

rankA Các phương pháp tối tu

v.đ.k. ma trận chuyển vị của ma trận Á

Gu. ma trận nghịch dao cua ma tran kha nghich A
ma tran don vi cap m
hạng của ma trận 4
ham Lagrange

viết tắt của cụm từ "với điều kiện”

viết tắt của chữ "tương ứng”

Loi mé dau

“Vì thế giới được thiết lập một cách hoàn hao

và vì nó là sản phẩm của đấng sáng tạo tỉnh thông
nén khơng thể tìm thấy một cái gì mà khơng mạng tính chất cực đại hay cực tiểu nào đó."

Leonhard Fuler

Có nhiều tình huống trong xã hội, từ cuộc sống đời thường đến các hoạt động kinh
tế, kỹ thuật, công nghệ và quản lý hiện đại... người ta phải quan tâm tới bài toán tìm

ra phương án tốt nhất để đạt mục tiêu mong muốn trong những điều kiện ràng buộc

nhất định, Đó là các bài fốn tổi tu. Chính những nơ lực nhằm giải các bài tốn tối
ưu đã góp phần kích thích sự phát triển của Giải tích Tốn học thé ky XVU - XVII

với sự đóng góp to lớn của những nhà toán học lỗi lạc của mọi thời đại: Fermat',
Leibni22, Euler”... Tuy nhiên, phải đến những năm 30, 4U của thế kỷ XX, Quy hoạch

toán hoc (Mathematical Programming) hay con gọi là Tốn Tối uu (Optimization)

mới hình thành với tư cách là một lý thuyết độc lập với nhiều hướng nghiên cứu khác

nhau: đầu tiên là Quy hoạch tuyén tinh (Linear Programming), tiép dé 14 Quy hoạch

14i (Convex Programming), Quy hoạch toàn cục (Global Programming), Ly thuyét

diéu khién T6i uu (Optimization Control).

Ngày nay, với sự trợ giúp của cuộc cách mạng cóng nghệ thơng tin, quy hoạch

toán học ngày càng phát triển mạnh mẽ. Các phương pháp tối ưu đã được ứng dụng

rộng rãi trong mọi lĩnh vực khoa học, kỹ thuật, công nghệ, quản lý, kinh tế, khai

thác dữ liệu (data mining). viễn thông, v.v. .

Giáo trình này trình bày các phương pháp tối ưu tiều biểu và có nhiều ứng dụng

để giải quyết các bài toán nảy sinh trong thực tế. Để nắm được nội dung của giáo

trình người đọc chi cần có những kiến thức cơ bản của đạt số tuyến tính và giải tích
cổ điển. Giáo trình gồm sáu chương. Chương 1 trình bày một số khái niệm và kết
quả cơ bản của giải tích lồi cần dùng đến trong các chương sau. Mơ hình tốn hợc

'Pierre De FERMAT (1601 - 1665): Nha tốn học Pháp. Ơng nổi tiếng vẻ những định lý số học (khơng có
chứng minh) được ơng ghi bèn lề một cuốn sách. Định lý lớn của Fermat “Phương trình 7” + ụ” = z”" khơng
có nghiệm nguyên khi r. > 2" mới được chứng mình năm 1995 bởi nhà toán học Anh Andrew Wiles,

?Gottfried Wilhelm LEIBNIZ. (1646 - ¡716): Nhà toán học Đức. Cùng với Newron. ông được cơi là cha dé

của phép tính vi phân và tích phân.
"Leonhard EULER (1707 - 1783): Nhà toán học và vật lý học người Thụy Sĩ. Ơng là nhà tốn học có nhiều

cơng @inh nhất trong lịch sử. Nhà tốn học thiên tài người Đức Gauss (1777 - 1855) nói rằng: "Nghiên cứu các
cơng trình của Euler là tường học tốt nhát về những nh vực khác nhau của toán học mà khơng gì có thể thay

Vu

VỊn Cát: phương pháp tối tua

của bài toán tối ưu và điều kiện tưn tại nghiệm được trình bày ở Chương 2. Chương

3 trình bày Quy hoạch tuyến tính. Một trường hợp đặc biệt của quy hoạch tuyến
tính nhưng được ứng dụng rất nhiều là Bài toán vận tải được trình bày ở Chương 4.
Chương 5 dành cho Quy hoạch nguyên. Các phương pháp giải bài toán quy hoạch
phi tuyến được dé cap ở Chương 6. Phần cuối của cuốn sách là Danh mục từ khóa,

trong đó tên các khái niệm được sắp xếp theo thứ tự chữ cái đầu kèm theo trang cần

tìm. Một số ký hiệu và chữ viết tắt được đặt ngay sau Mục lục.

Giáo trình được biên soạn theo chương trình môn học "Các phương pháp tốt ưu”,

với thời lượng là 6 đơn vị học trình, do Bộ mơn Tốn ứng dụng xây dưng và đã được

Hội đồng Khoa học của Khoa Toán Tin ứng dụng, Trường Đại học Bách Khoa Hà
Nội thông qua. Tác giả trân trọng cảm ơn Ban Chủ nhiệm Khoa Tốn Tin ứng dụng
đã ln tạo điều kiện thuận lợi, động viên, khích lệ để giáo trình này được hoàn
thành.

Tác giả xin bày tỏ lòng biết ơn GS, TSKH. Lê Dũng Mưu. GS. TSKH. Đồ Hồng
Tan va GS. TS. Trần Vũ Thiệu đã đành khơng ít thời gian để đọc bản thảo và cho
nhiều ý kiến quý báu về nội dung cuốn sách. Chân thành cảm œn các em sinh

viên Nguyễn Xuân Quang (K42), Tăng Thị Hà Yên (K46, lớp KSTN), Nguyễn Thị
Hà (K46), Nguyễn Thị Là Trang, Đặng Đình Cơng (K48. lớp KSTN), Nguyễn Thùy
Linh (K48), Nguyễn Thị Mai Thương (K49), giảng viên Tạ Anh Sơn, Nguyễn Quang

Thuận và Lê Quang Thủy (Khoa Toán Tin ứng dụng) đã giúp đỡ tác giả rất nhiều

trong quá trình soan thảo.
Giáo trình này chắc chắn cịn nhiều thiếu sót, Tác giả mong rằng sẽ nhận được

những góp ý của các đồng nghiệp và học viên, sinh viên nhàm làm cho việc trình

bày nội dung cuốn sách tốt hơn. Mọi ý kiến đóng góp xin gửi về địa chỉ: Nguyễn
Thi Bach Kim, Khoa Toán Tin ứng dụng, Trường Đại học Bách Khoa Hà Nội, số 1,
đường Đại Cồ Việt, Hà Nội. Xin trần trọng cảm ơn.

Hà Nội, tháng 3 năm 2008

Nguyễn Thị Bạch Kim

Chuong 1

ye

Một số khái niệm và kết quả cơ bản từ giải tích lơi

Giải tích lồi đóng vai trị rất quan trọng trong việc nghiên cứu, phân tích và xây dựng
các thuật toán giải các bài toán tối ưu. Mục đích chính của chương này là giới thiệu
một số khái niệm và kiến thức cơ bản về giải tích lồi sẻ dùng đến trong các chương
sau. Những chứng minh không được đưa vào chương này có thể tìm thấy trong [42],
[43].

1.1 Khong gian Euclid R”

1.1.1 Diém hay véc to trong R” không gian Euclid! R°. Môi điểm x
Trong giáo trình này chúng ta sẽ làm việc trên sắp có thứ tự và được viết dưới dạng
trong không gian IR” là một bộ ø¡ số thực được
CỘT SỐ

vy

Lis rz

In

Mỗi số z; ,¡ € {1.--- ,n}, được gọi là foa độ thứ¡ của điểm z. Để thuận tiện khi
viết, ta qui ước

+ì

£ = (%1,%2,--.,Un) T = 72

Ln
TEVCLID (320 trước CN - 275 trước CN): Người đời sau chi biết mơ hồ hình như nhà tốn học thiên tài này
là người Hy Lạp, sống và làm việc tại Athèncs., Euclid nồi tiếng với bộ sách "Cơ sở" gốm 13 cập trình bày một
cách hệ thống tồn bộ kiến thức toán học thời bấy giờ. Kháng gian Euclid ban đầu được hiển như không gian
thực 3 chiều với hệ tiên dé Euclid. Sau đó nhà tốn học Ba lan là Banach (1892 - 1945) đã mở rộng nó sang
không gian nhiều chiều trong luận án tiến sĩ (1920) của ông.

1

2 Các phương pháp tối ưu

Ký hiệu 0 = (0,0,--- ,0)Ÿ € R” là điểm với tất cả các thành phần đều bằng 0 và
gọi nó là điển gốc tọa độ. Mỗi điểm z = (Zì,....ra)T € IR? cịn được đồng nhất
với một véc tơ mà điểm gốc là 0 và điểm ngọn là z (xem Hình 1.1).

r= (x1, 22)"

+1

Hình L1. Véc

Cho À € R và 7,1 € R*” vớiz = (2,22, --', Ta)Ï và U = (W\,2,'-- ;Un)”.
Tổnz g+ g và tích của số thực À vớz i được định nghĩa là

++U:= (xy TY, T2 + Yar Tn + Yn)", Ar I= (Az, Aa, + vì )ÀZn)

` 2+ y
(Am, ÀZ¿)
A>1 .

AZ .

(71,22) (tua) (b)

Ay AY1, AY2)
O
(a) “ụ

Hình 1.2. (2) - Tích của một véc tơ và mật số thực; (b) - Tong va hiéu hai véc to

1.1.2 Véc tơ độc lập tuyến tính
Một véc tơ z € IR* được gọi là rổ hợp tuyến tính của các véc tơ r!,--- ,z* € R
nếu z có thể viết được dưới dạng

+ = Ài#' +--- + ÀgzẺ với Ày,---,À¿ €fR.

Chuong 1. Mét số khái niệm và kết qua cơ bản từ giải tích lồi 3

Nếu À; > 0 (tương ứng”, À; > 0) với mọi ¿ = 1,--- ,k thì ta nói z là tổ hợp tuyến

tính đương (t.ư.. khơng âm) của các véc tơ +L, --- ,z°.
Các véc tơ z!, - -- ,z# € IR" được gọi là độc lập tuyến tính nếu
Àịz! +:-c +Àkg£* =0 với Ai, ic,À,CR => APH = =0.

Các véc tơ z)-,-- ,z* được gọi là phụ thuộc tuyến rính nếu chúng khơng độc lập
tuyến tính, tức tồn tại các số thực À;, - - : , À¿ không đồng thời bằng 0 sao cho

À¡z' ++: Art = 0.

Chẳng hạn, hai véc tơ z và —z là phụ thuộc tuyến tính vì 1.z + 1.(—z) = 0. Một
vóc tơ z z# 0 bao giờ cũng là độc lập tuyến tính vì Àz = 0 khi và chỉ khi À = 0. Nếu
trong các véc tơ zÌ, - -- ,z* € IR" có một véc tơ bằng 0 thì chúng là phụ thuộc tuyến
tính.

1.1.3. Cơ sở
Trong khóng gian R”, n véc to déc 4p tuyén tinh lap thành một cø sở của nó. Giả
sử c`,c2,--‹ ,c" là một cơ sở của I“, Khi đó bất kỳ véc tơ z € ïR" đều là tổ hợp
tuyến tính của các véc tơ c!, c2, - - - , c*, Cơ sở lập nên bởi các véc tơ el,e?,... ,e",

trong đó et = (0,---,. 1 _.---,0)7 là vátơ cđơn vị thứ¡ (với 1 đứng ở vị trí thứ ¡

và 0 ở các vị trí khác), được gọi là cơ sở chính tắc hay cơ sở đơn vị của IR".

1.1.4 Tích vơ hướng = (Uy, --* y „)Ÿ là một số
Tích vơ hướng của hai véc tƠ z = (T\,Za, - -- ,#n)T và
thực, ký hiệu là (z, y), được xác định như sau

(.0) “= đi" + #29: + -':+ Tn†n-

Với mọi z, z', € R” va A € ïR, tích vơ hướng thỏa mãn:

(r,y) = 0+),
(œ +1.) = (z,y) + (2',y),
(Az,y) = A(z. ¥),

(z,2) >0 va(z,z)=0 khivachikhi xz =0.
Hai véc tơ 7 và 1/ rực giao (vng góc) với nhau nếu (z, ) = 0.

?Từ đây đến hết giáo tình, ta sẽ viết tắt chữ "trơng ứng" là "Lư.”.

4 Các phương pháp rối tu

1.1.5 Chuẩn Euclid của véc tơ

Chudn Euclid (hay dé dai) cia véc to x € IR", ký hiệu là ||z||, là một số thực xác

định bơi

IzI:= vs) = (5 bá)”

Khái niệm chuẩn mở rộng khái niệm độ dài thơng thường lên khơng gian nhiều

chiều (xem Hình 1.3). Trường hợp ø = 1, ký hiệu ||z|| được thay bằng |z| và gọi là

gid tri tuyết đối của +.

c= (x1, ro)"

Iz] : £9

Hình 13. Chuun (hav dé dai} cua véc to x € R?

Có thể đế đàng thấy chuẩn của một véc tơ có những tính chất cơ bản sau:

lrzll >0 và l|zl| = 0 khi và chỉ khi z = 0,

l|Azll = IAllzl| với mọi À € R,

lz + „l| < llzl + lÌu|l với mọi z,y R".

1.1.6 Bat đẳng thức Cauchy-Bunjakowski-Schwarz

Cho z và ¿/ là hai vếc tơ thuộc R*. Khi đó ta có bát đẳng thức Cauchy-Bunjakowski-
Schwarz}

I&œ,9)| < llzll-lwll

?Bất đẳng thức này được nhà toán học Pháp Augustin Louis CAUCHY (1789 - 185?) chứng minh năm 1821,

nha to4n hoc Nga Wiktor Jakowlewitch BUNJAKOWSKI (1804 - 1559) chứng minh năm 1859, nhà toán học

Đức Hermann Amandus SHWARZ (1843 - 1921) chứng minh năm 1884. Vì vậy, nó được gọi ở các nước Pháp,

Nga và Đức theo tên các nhà tốn học đó.

Chuong 1. Mét s6 khdi niệm và kết quả cơ bản từ giải tích lơi 5

1.17 Góc giữa hai véc tơ

Cho +z và y là hai véc tơ khác không thuộc JR", Góc giữa hai véc tơ z và là góc œ

(0<Ͽ cos @ = (ayy)
IIzll-ll»il

1.1.8 Sự hội tụ

Day các điểm z!,+2, zŸ, - - - trong IR", ký hiệu là {z"}, được gọi là hội tu dén một
điểm +* G TR" nếu, với mỗi số e > 0, tìm được số tự nhiên sao cho ||z* — z"|| < e
khi n > W. Khi đó ta cũng nói rằng z* là giới hạn của đây {z*}, hay dãy {+r”} có
giới hạn là +", ký hiệu

lim z°”=z° toặc {z”} — 7”.

n—- 00

Một day duoc goi 1a Adi tu néu né hoi tu đến một điểm nào đó.

1.1.9. Tập đóng, tập mở, tap compac
Một hình cầu có tâm z° và bán kính £ (0 < £ < +oœ) trong không gian ÏÄ” là tập

B(°,e) = {z e* | l\z — +?||< e}.
Hình cầu có tâm rẺ và bán kính z cũng được gọi là một z-Í4n cận của điểm zÐ. Một
tập chứa một e- lân cận của điểm z` được gọi là một lân cận cúa z°. Để đơn giản ta
coi một e-lân cận của điểm z° là một lân cận của nó.

Xét một tập A bat ky trong R" và một điểm # € R". Ta gọi # là điểm trong
của A nếu có một e-lân cận của z nằm trọn trong A. Điểm Z được gọi là điểm biên
của tập 4 nếu bất kỳ một z-lân cận của Z cũng đều chứa cả những điểm thuộc A va
những điểm không thuộc A. Ta gọi # là điểm tự của 4 nếu mọi e-lân cận của # đều
chứa vô số điểm của A. Có thể thấy ngay rằng z là điểm tụ của A khi và chỉ khi
mỗi z-lân cận của Z có chứa ít nhất một điểm của 4 khác với z. Như vậy, một điểm
biên hay điểm tụ của 44 có thể thuộc 4 hay khơng thuộc A.

Một tập A C ]R* được gọi là mở nếu tất cả các điểm của A đều là điểm trong
của nó. Hiển nhiên rằng hình cầu B(z?,£) là tập mở và ta gọi nó là hình cẩu mở.

Nếu 4 là tập mở thì phần bù của 44, tức tập R” \ A, 1a tap đóng và ngược lại. Tạp
đóng chứa tất cả các điểm biên của nó. Có thể chứng minh rằng, một tập A C ]R° là
đóng khi và chỉ khí giới hạn của mọi dãy hội tụ {z”) € 4 đều thuộc về A, tức là:
{x"} c Ava {x"} — 1° luôn luôn kéo theo z0 6 A.

Tập rỗng 0 và IR” 14 hai tap vira mo vừa đóng. Thật vậy, vì mọi điểm thuộc IR”
đều là điểm trong nên R” là tập mở và 0 là tập đóng. Nhưng vì * chứa điểm giới
hạn của mọi dãy hội tụ {z"} C TR° nên IR” là tập đóng và ñ là tập mở.

6 Các phương pháp tối ta

Hợp của tất cả các tập mở nằm trong A C R” goi 1a phdn trong cha À và được

ký hiệu là int.A. Bao đóng của tập A, ký hiệu là cứA, là hợp của 4 và các điểm biên
của A,
goi la bi chặn nếu tồn tại số dương À sao cho ||z|| < À
Mot tap A C R” duoc
tập compac nếu nó vừa đóng vừa bị chặn. Nếu A là tập
với mọi z € A. Tập A là
CA đều chứa một dãy con {z”*} hội tụ đến một điểm
compac thì mọi dãy {z”}

thuộc A.

Ví dụ 1.1. Xét các tập

Aa={zeR|z<0), 4a={zelR|l As={refR|lzr<0} A4¿={z€R|L
Ta cố A, là tập mở và khơng bị chặn; 4; là tập đóng và khơng bi chan; Az; 1a tap bi
chặn và không phải tập mở cũng khơng phải tập đóng cịn 4¿ là tập đóng, bị chặn
hay A, 1a tap compac.

1.1.10 Thi tu
Nhu da biét, hai s6 thuc bat ky trong R luôn so sánh được với nhau. Nhưng trong R”,
với n. > 2, hai véc tơ bất kỳ không phải lúc nào cũng so sánh được với nhau. Chẳng

hạn, trong I2 ta không thể so sánh được hai véc tơ z = (1, 2)Ÿ và = (2, 1)”. Thông
thường, trong R* người ta sử dụng thứ tự sau: Cho hai véc tơ# = (Zì, 7, -'' ,#n)”

VÀ 1 = (I2,, -'' Yn)? thuộc IR*, ta viết

Z = nếu z¿ = 1¡ VỚI mọi : = Ì,--- ,7;
Z Ð g nếu z; È g, VỚI mọi ¡ = 1,- -- ,7.

12 _ Hàm nhiều biến

1.2.1 Định nghĩa

Hàm số ƒ từ IR* vào ïR là một quy tắc ứng mỗi điểm z thuộc IR* với một số thực nào

đó và kí hiệu số thực đó là ƒ(z). Cách viết ƒ : X — IR, với X € R*, nói rằng f(z)

chi xác định với các điểm z é X. Khi đó, ta gọi X là miền xác định của hàm ƒ. Vì
biến sốở đây là các phần tử thuộc ÏR" nên nó có r¡ thành phần và mỗi thành phần có
thể được xem như một biến độc lập. Do đó người ta thường gọi hàm xác định trên

R", với n > 2, là hàm nhiều biến.

Đỏ thị của hàm m‹ biến là tập

Graph(f) := {(mza aq, f(x) | x = (x},22,---,2n)” € x} c Rt,

trong đó X là miền xác định của hàm số. Đồ thị của hàm một biến là một đường
cong trong IR?. Đồ thị của hàm hai biến là một mặt cong trong R3,

Chương Ì. Một xố khái niệm và kết quả cơ bản từ giải tích lồi

Cho ham sé f xác định trên tập X C R”. Với mỗi sở thực œ € R, tap L(a, f) :=
{z € X | f(x) = a} duoc goi là một ráp mức của hàm ƒ ứng với giá trị d.

Trong trường hợp hàm hai biến, người ta quen gọi tập mức là đường mức. Qua mỗi
điểm z € X chỉ có duy nhất một tập mức của hàm ƒ. Với mỗi số thực a, tap
La(†) := {z € X | f(z) < œ} được gọi là tập mức dưới của hàm ƒ. Tương tự, tập
L°(f) := {2 € X | f(z) > a} véi a € R duoc gọi là rập mức trên của hàm ƒ.

Hàm ƒ được gọi là bị chặn đưới (tư., bị chặn trên) trên X nếu tồn tại số thực

a €R sao cho f(z) > a (tu, f(z) < a) với mọi z € X. Hàm ƒ được gọi là bị
chăn trên X nếu tồn tại số thực pz > 0 sao cho |f(x)| < với mọi z € X.
Ví dụ 1.2. Xét hàm hai biến ƒ(z) = z2 + z2. Miền xác định của hàm ƒ là cả không

gian I2. Đồ thị của hàm số này,

Graph(f) = {(x1, 2, f(x))" ER'| f(a) =2?4 T2},

là mặt cong paraboloit tròn xoay quen thuộc (xem Hình 1.4). Dễ thấy hàm số này
khơng bị chặn trên và bị chan dưới bởi 0. Với mỗi số không âm œ € ÏR, ta có:

- Đường mức L(a,f) = {2 € R? | f(z) = 22 + z3 = ơ} là đường trịn có tâm
0 và bán kính x⁄a;

- Tạp mức dưới L„(ƒ) = {z € R? | z‡ + z2 < a} là hình trịn đóng có tâm 0 và

bán kính 4⁄œ;

- Tạp mức trên L°(f) = {x € R? | zi + 23 > a} 1a phan ba cia hinh tron mo
có tâm 0 và bán kính 4⁄2, tức {z € IR? | z2 +23 > a} = B? \ BO, Va).

ì f(r}

\ T2

Đường mức

Hình 1.4. Do thi cua hàm f(r) = 77 4+ r

8 Các phương pháp tối ưu

1.2.2 Tính liên tục

Cho hàm số ƒ xác định trên tập mở X C !R", Hàm ƒ được gọi là liên tục tại điểm
#5 € X nếu với mọi £ > 0. tồn tại ó > 0 sao cho |ƒ(z) — ƒ(z?)| < z với mọiz € X
thỏa mãn ||z — z°|| < 6. Nói cách khác, hàm ƒ là liên tục tại z? € X nếu với mọi
dãy {z*} C .X hội tụ đến z9, ta có { ƒ(z")} ƒ(°).

Hàm ƒ được gọi là nửa liên tục dưới (t.ư.. nửa liên tục trên) tại điểm r0 c X
nếu với mọi € > 0, tồn tại ð > 0 sao cho

f(x) >f{z°)—e (tw, f(z) < f(z’) +e)

với mọi z € X thỏa mãn ||+ — z?|| < á. Nói cách khác, hàm ƒ là nửa liên tục dưới
(t.ư.. nửa liên tục trên) tại z0 € X nếu với mọi dãy {z”} C X hội tụ đến z° và dãy
{ƒ/(z")} C R hội tụ, ta có

Jim f(a") > f(2°) (tar, lim f(2") < f(2°)).

Rõ ràng, nếu ƒ là nửa liên tục dưới tại z° thì — ƒ là nửa liên tục trên tại z°. Hàm ƒ
vừa nửa liên tục trên vừa nửa liên tục dưới tại x° thi liên tục tại điểm đó.

Ham f duoc goi 1a lién rục (t.u., nua liên tục dưới, nữa liên tục trên) trên X nếu

nó liên tục (t.ư., nửa liên tục dưới, nửa liên tục trên) tại mọi điểm của X,
Ví dụ 1.3. ¡) Hàm mội biến

+? nếzu< l xác định trên X =lR
ƒ(z)= 4 2r nếuz>]

0.5 nếuz=l

liên tục tại mọi điểm trừ điểm x = 1, Tai z = 1, ham ƒ là nửa liên tục dưới.

11) Xét hàm một biến

1 nếuz=0

f(z) {i néu0<2<2 trên (0,2

Ta có ƒ(z) là liên tục trên X \ {0}. Hàm ƒ là nửa liên tục trên tại z = 0.

1.2.3 Đạo hàm riêng

Cho hàm số ƒ xác định trên tập mở X € IR" và z? = (zƒ.---,z?)7 là một điểm

thuộc X. Khi đó với mỗi số h c IR đủ nhỏ, điểm

0 0 0 0 0v?
(TỊ,-** By, + h,i2i,ch vn

cũng nằm trong X, Giới hạn

lirn f(xy, Ty x)i +h, Daas ++. a0) — F(z}. 5 )_1› #t 0 Lan a

oh)
h—0 h
:

Chương 1. Một số khái mệm và kết quả cơ bản từ giải tích lơi 9

nếu tồn tại, được gọi là đạo hàm riêng của ƒ theo biến x, tại điển 7°, ký hiệu là

8ƒ)

Đối với hàm một biến ƒ : R — '§, ký hiệu Ø được thay bằng đ. Vì vậy, người ta viết
“oxz mà không viết oor

“Dao hàm riêng ƒ„ (z) của hàm nhiều biến có thể tính được bằng cách lấy đạo
hàm theo biến z;¡ như với hàm một biến khi coi các biến còn lại là hằng số.

Giá sử đạo hàm riêng ca] tồn tại với mọi z € X. Khi đó, phép tương ứng
+ ¬ 2) xác định một hàm gt : X > R. Néu tai x”, đạo hàm riêng theo biến z;

cua ham BL tồn tại thì ta gọi đó là đạo hàm riêng cấp hai theo các biên z, và +; của

hàm ƒ tại z? và ký hiệu là oie hoặc Frum; (z°). Một cách tương tự, ta định nghĩa

được đạo hàm riêng cấp k O f(z")

Ox;, 02; °° - OX,

theo các biến z,,,%1,,°°* 7, cla / tại điểm z9.

1.2.4 Gradient va ma tran Hesse

Cho ham f x4c dinh trén tag mé X C R”. Gia str ring tại z, các đạo hàm riêng của
hàm ƒ theo mọi biến tồn tại. Khi đó, véc tơ

(2/9 ơƒ(®) afte)?

Ox, , Ox , , Or,

được gọi là erađient của ƒ tại z° và ký hiệu là Vƒ(z°). Nếu các đạo hàm riêng cấp
hai theo mọi biến của ƒ tại z° đều tồn tại thì ma trận

8/2)... 92/0°)

02,82) 82) 575

Ps) @2//3

8zaÐz› 3ra3x»„

được gọi là ma rrận Hesse? của ƒ tại + và ký hiệu là V2 ƒ(z9).

Ví dụ 1.4. Cho f(21, 22) = 3z) + 3732? 2 + 6732 + 5z;. Tà có

ý = ti 4 + _ + ve)

V f(x) = ( 2) 97113)
6zŸz› + Bz‡ +ð
z2

‘Ludwig Ouo HESSE (1811-1874): Nhà toán học Đức, Hesse nghiên cứu về lý thuyết hàm đại số va lý thuyết

bất biến (theory of invariants). Ông là người đưa ra khái niệm má an Hesse.