Bài toán quy hoạch phi tuyến không ràng buộc

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN
KHOA TOÁN - CƠ - TIN HỌC

Lê Hồng Nguyên

BÀI TOÁN QUY HOẠCH PHI TUYẾN
KHÔNG RÀNG BUỘC

LUẬN VĂN THẠC SĨ KHOA HỌC

Chuyên ngành: Toán - Giải tích
Mã số: 60.46.01.02

Người hướng dẫn: PGS.TS. Nguyễn Hữu Điển

Hà Nội - 2014


LỜI CẢM ƠN

Để hoàn thành bản luận văn này tôi đã nhận được sự giúp đỡ to lớn của Thầy,
Cô giáo, gia đình và bạn bè xung quanh.
Tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới thầy giáo hướng dẫn PGS.TS
Nguyễn Hữu Điển, Khoa Toán- Cơ- Tin học, Trường Đại học khoa học tự nhiên,
ĐHQG Hà Nội. Trong quá trình giảng dạy và hướng dẫn đã ân cần động viên, giúp
đỡ chỉ bảo tận tình cho tôi.
Tôi cũng gửi lời cảm ơn tới các thầy cô trong Khoa Toán- Cơ- Tin học, Phòng
sau đại học, Trường Đại học khoa học tự nhiên, ĐHQG Hà Nội đã dạy dỗ và giúp
đỡ tôi rất nhiều trong suốt quá trình học tập và nghiên cứu luận văn. Đặc biệt là
các thầy cô trong Seminar của bộ môn Toán giải tích đã có những ý kiến đóng góp

quý báu giúp cho bản luận văn hoàn chỉnh hơn.
Ngoài ra tôi cũng gửi lời cám ơn chân thành tới bạn bè, đồng nghiệp đã giúp
đỡ rất nhiều, tạo điều kiện tốt nhất cho tôi có thời gian để hoàn thành luận văn.
Cuối cùng tôi cũng xin gửi lời cảm ơn tới gia đình nơi đã sinh thành, nuôi nấng,
giúp đỡ, động viên tôi rất nhiều trong suốt thời gian qua.
Dù đã cố gắng hết sức nhưng luận văn không thể tránh khỏi những thiếu sót
và hạn chế. Mọi ý kiến đóng góp tôi xin được đón nhận với lòng biết ơn và trân
trọng sâu sắc.
Hà Nội, ngày 14 tháng 10 năm 2014
Học Viên

Lê Hồng Nguyên

1


BẢNG KÝ HIỆU
Ký hiệu

Ý nghĩa

DFP

Davidon- Fletcher- Powell

QHPT

Quy hoạch phi tuyến

Rn

Không gian thực n chiều

∇ f (x)

Gradient của f tại x

∇2 f ( x )

Hessian của f tại x

o

Vô cùng bé

∆

Số gia

0( x, ε)

Lân cận của x với bán kính ε

.
AT

Chuẩn vector
Ma trận chuyển vị của ma trận A

2

Mục lục
Lời mở đầu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

4

Chương 1. Một số kiến thức chuẩn bị . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

1.1. Một số khái niệm giải tích lồi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

9

1.2. Một số khái niệm từ giải tích . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

11

1.3. Tốc độ hội tụ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

14

1.4. Điều kiện tối ưu. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

19

Chương 2. Phương pháp Davidon- Fletcher- Powell . . . . . . . . . . . . . . . . . . . . . . . .

23

2.1. Giới thiệu phương pháp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

23

2.2. Nội dung của phương pháp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

26

2.3. Sự hội tụ của phương pháp DFP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

28

2.4. Ví dụ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

36

2.5. Chương trình giải ví dụ thuật toán DFP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

39

Chương 3. Phương pháp Hooke- Jewes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

44

3.1. Thuật toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

44

3.2. Sự hội tụ của thuật toán Hooke- Jewes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

47

3.3. Ví dụ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

48

3.4. Chương trình giải ví dụ thuật toán Hooke- Jeeves . . . . . . . . . . . . . . . . . . . .

51

Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

57

3


LỜI MỞ ĐẦU

Như L.Euler đã viết: "Vì thế giới được thiết lập một cách hoàn hảo nhất, và vì
nó là sản phẩm của đấng sáng tạo tinh thông nhất, nên không thể tìm thấy cái gì
mà không mang theo tính chất cực đại hay cực tiểu nào đó". Vấn đề đặt ra ở đây
là, các trạng thái của vật thể trong tự nhiên hoạt động tuân theo những quy luật
như thế nào. Như chúng ta đã biết, thực tế bài toán quy hoạch đã xuất hiện từ khi
con người biết lao động, biết suy nghĩ để tìm ra cách làm nhanh và hiệu quả nhất.
Tuy nhiên các hành động này thay đổi liên tục và buộc con người ta phải tìm cách
thích ứng. Và ngày nay, mô hình tối ưu hóa được sử dụng trong nhiều lĩnh vực
như: Quản lý kinh tế và tài chính, nghiên cứu khoa học và cả trong các lĩnh vực
kỹ thuật... cũng được thừa hưởng từ các thành quả ở trên với nguồn tài nguyên vô

cùng vô tận và các cơ sở kỹ thuật hiện đại. Để giải quyết các vấn đề trên ta nghiên
cứu bài toán quy hoạch phi tuyến không ràng buộc có dạng
min { f ( x ) : x ∈ Rn } ,
trong đó Rn là một không gian vector , f : Rn → R là một hàm phi tuyến cho trước
và được gọi là hàm mục tiêu. Tập nguồn Rn ứng với bài toán tối ưu không ràng
buộc.
Mục đích của khóa luận này là nhằm tìm hiểu một số phương pháp đặc trưng
để giải các bài toán quy hoạch phi tuyến không ràng buộc. Như chúng ta đã biết
tìm kiếm theo tia (line search) hay còn gọi là tìm kiếm một chiều (one dimensional
search) là mấu chốt của nhiều thuật toán để giải các bài toán quy hoạch phi tuyến.
Nội dung chính của chiến lược tìm theo tia như sau : Xuất phát từ một điểm x0
và một hướng d ∈ Rn cho trước, tìm một khoảng ban đầu mà nó chứa điểm cực
tiểu, sau đó dùng kỹ thuật chia nhỏ hay nội suy để thu hẹp dần các khoảng chứa
nghiệm cho tới khi độ dài của khoảng nhỏ hơn một mức dung sai định trước.
4


Phương đơn giản để tìm khoảng ban đầu là phương pháp tiến và lùi (forwardbackward method). Ý tưởng chính của phương pháp này là: Cho trước một điểm
ban đầu và một độ dài bước ban đầu, ta thử tìm ba điểm ứng với ba giá trị mục
tiêu dạng "cao-thấp-cao". Nếu đi theo chiều tiến (nghĩa là điểm sau ở bên phải
điểm trước) không đạt kết quả thì sẽ đi lùi lại (tức là điểm sau ở bên trái điểm
trước). Tiếp tục quá trình như thế, ta sẽ nhận được khoảng ban đầu mà nó chứa
điểm cực tiểu cần tìm. Thứ hai là phương pháp khử liên tiếp với hai phương pháp
quen thuộc để tìm cực tiểu của hàm đơn mốt: Phương pháp Fibonaci và phương
pháp lát cắt vàng (golden section method). Ở phương pháp này cho phép ta thu
hẹp dần khoảng chứa điểm cực tiểu bằng cách tính giá trị hàm tại những điểm
chọn trong khoảng này, tuy nhiên phương pháp lát cắt vàng có ưu điểm là một
trong hai điểm chia đoạn mới trùng với một điểm chia cũ, do đó ở mỗi bước lặp
chỉ cần tính thêm một giá trị hàm ứng với điểm chia mới, nhờ đó tiết kiệm được
thời gian tính toán. Tiếp theo là phương pháp nội suy, phương pháp này dùng giá

trị của hàm cần tìm cực tiểu tại những điểm nhất định để xấp xỉ các hàm đó bởi
các đa thức: Tam thức bậc hai (phương pháp Powell) và đa thức bậc ba (phương
pháp Davidon), sau đó điểm cực tiểu của hàm ban đầu được thay thế bằng điểm
cực tiểu của đa thức xấp xỉ mà nó được tìm đơn giản hơn.
Trên đây là một số phương pháp tìm cực tiểu hàm một biến. Chúng ta cũng
có thể dùng bất kỳ phương pháp tìm cực tiểu một biến này để tìm cực tiểu dọc
theo các trục tọa độ đối với hàm hai biến cũng như hàm nhiều biến. Tuy nhiên các
phương pháp được giới thiệu ở trên chỉ có hiệu quả trong trường hợp cực tiểu của
hàm là duy nhất. Song trên thực tế nó tỏ ra ít hiệu quả. Vì thế, người ta đã đề ra
nhiều phương pháp khác cho phép khai thác nhiều thông tin hơn dựa trên các giá
trị hàm đã nhận được, và chúng được chia thành hai nhóm đó là: Phương pháp
tìm trực tiếp (chỉ dùng giá trị của hàm) và phương pháp gradient (sử dụng đạo
hàm của hàm).

5


Một trong hai phương pháp tìm kiếm trực tiếp là phương pháp Hooke- Jeeves
do Hooke- Jeeves đề ra năm 1961. Với nội dung : Xuất phát từ một điểm cơ sở tùy ý,
việc tìm kiếm bao gồm một dãy bước tìm theo tọa độ quanh điểm cơ sở nhằm đạt
tới điểm có giá trị hàm nhỏ hơn (điểm tốt hơn). Nếu thành công sẽ chuyển cơ sở tới
điểm mới tốt hơn vừa tìm được và tiếp tục di chuyển theo hướng đó đến một điểm
gọi là điểm mẫu. Tiến hành tìm theo tọa độ quanh điểm mẫu. Nếu tìm được điểm
tốt hơn thì tiếp tục dò tìm quanh điểm mẫu mới, nếu không thành công sẽ quay
trở lại điểm cơ sở trước đó hoặc giảm độ dài bước dò tìm. Thứ hai là phương pháp
Neldel- Mead (1965) còn được gọi là phương pháp tìm kiếm theo đơn hình biến
thiên được Neldel- Mead đề nghị cải tiến từ phương pháp đơn hình đều SpendleyHext- Himsworth để có thể sử dụng cho các đơn hình không đều. Từ ý tưởng chính
của phương pháp Spendley- Hext- Himsworth là so sánh giá trị hàm tại tất cả các
đỉnh của đơn hình đều và dịch chuyển đơn hình về hướng điểm tối ưu nhờ một
thủ tục lặp. Và ở phương pháp Neldel- Mead thì cụ thể đơn hình được dịch chuyển

nhờ ba thao tác cơ bản: Phép phản xạ, phép dãn và phép co. Đây là một phương
pháp tìm trực tiếp đáng tin cậy và là một trong các phương pháp tìm cực tiểu tự
do hiệu quả nhất đối với không gian có số chiều nhỏ hơn 7. Hai phương pháp này
đặc biệt thích hợp để tìm cực tiểu của những hàm có cấu trúc phức tạp, thường
không khả vi hoặc khó tính đạo hàm. Tuy nhiên các phương pháp này nói chung
chậm hội tụ hơn so với phương pháp dùng đạo hàm.
Cuối cùng là các phương pháp sử dụng đạo hàm của hàm. Các phương pháp
này đòi hỏi sử dụng tới các đạo hàm riêng bậc nhất hoặc bậc hai của hàm. Khoảng
những năm 70 của thế kỷ XX, các phương pháp gradient được nghiên cứu rất
mạnh và đã thu được những thành tựu đáng kể. Nhiều công trình nghiên cứu đã
được công bố. Có một phương pháp thông dụng để tìm cực tiểu, nó rất đơn giản
và có thể áp dụng cho nhiều lớp hàm rộng, đó chính là phương pháp hướng dốc
nhất (Steepest Descent Method) với nội dung như sau: Ta xây dựng một dãy điểm

6


x k hội tụ tới điểm z khi k → ∞ với đặc điểm giá trị hàm của chúng giảm dần và

∇ f (z) = 0. Giả sử ta có điểm x k nằm trong lân cận của điểm z, khi đó để giảm
hàm mục tiêu ta sẽ dịch chuyển từ x k theo hướng dk tạo với vector gradient ∇ f (z)
một góc tù, với độ dài bước αk xác định. Việc lựa chọn hướng dịch chuyển và độ
dài bước khác nhau sẽ cho ta phương pháp gradient khác nhau. Và ở phương pháp
này ta chọn hướng dk = −∇ f ( x k ) với mọi k. Phương pháp gradient chỉ sử dụng
xấp xỉ thô của hàm cần tìm cực tiểu (nghĩa là chỉ có số hạng tuyến tính ở khai triển
f ( x ) thành chuỗi Taylor được dùng để chọn hướng dịch chuyển). Trong khi đó,
không giống như phương pháp gradient thông thường, phương pháp Newton có
hướng tìm riêng, gọi là hướng Newton, đã dùng đến các đạo hàm riêng cấp hai của
hàm f ( x ) vì thế nó đòi hỏi hàm f ( x ) hai lần khả vi liên tục và hướng của nó được
xác định như sau dk = −[∇ f ( x k )]−1 ∇ f ( x k ). Công việc tính ma trận nghịch đảo

[∇ f ( x k )]−1 ở mỗi bước là một công việc khó khăn. Vì thế, phương pháp Newton
ít được sử dụng trong thực tiễn khi n > 1, mặc dầu phương pháp có tốc độ hội tụ
bậc hai. Bằng cách sử dụng công thức lặp và thay đổi độ dài bước bởi các phương
pháp tìm kiếm một chiều theo hướng mới đã cải tiến phép lặp của phương pháp
Newton thành phương pháp Newton suy rộng. Phương pháp này có tốc độ hội tụ
của điểm cũng như hội tụ của hàm nhanh hơn so với phương pháp gradient, cụ
thể chúng ta sẽ xét kỹ hơn phương pháp Davidon- Fletcher- Powell ở chương sau.
Và đặc biệt khi độ dài bước αk = 1 thì ta có phương pháp Newton. Cuối cùng là
phương pháp gradient liên hợp Fletcher- Reeves tìm cực tiểu tự do của hàm toàn
phương ( hàm lồi bậc hai )bằng phương pháp lặp. Như vậy, các phương pháp sử
dụng đạo hàm có ưu điểm là hội tụ nhanh, nhưng khi số biến lớn thì gặp khó khăn
trong việc tính đạo hàm, mặt khác việc chuẩn bị bài toán để giải tốn nhiều thời
gian.
Tóm lại không có phương pháp chung nào có hiệu quả để giải bài toán quy
hoạch nói chung và quy hoạch phi tuyến nói riêng. Mỗi phương pháp đều có

7


những ưu, nhược điểm riêng. Nên luận văn chỉ tìm hiểu sâu về thuật toán, sự hội
tụ cũng như các ví dụ để làm rõ hai phương pháp: Phương pháp chỉ sử dụng giá
trị của hàm Hooke- Jeeves và phương pháp sử dụng đạo hàm của hàm DavidonFletcher-Powell thuộc lớp chung của phương pháp Newton, trong việc giải quyết
các bài toán tối ưu không ràng buộc.
Nội dung chính của bản luận văn bao gồm các vấn đề sau đây:
• Tổng quan về các phương pháp tìm cực tiểu tự do.
• Tóm tắt kiến thức liên quan.
• Trình bày cụ thể hai phương pháp. Ví dụ minh họa và chạy kiểm tra kết quả
bằng Maple.
Do thời gian thực hiện khóa luận không nhiều, kiến thức còn hạn chế nên khi làm

khóa luận không tránh khỏi những hạn chế và sai sót. Tác giả mong nhận được sự
góp ý và những ý kiến phản biện của quý thầy cô và bạn đọc. Xin chân thành cảm
ơn!
Hà Nội, ngày ... tháng ... năm 2014
Học viên

Lê Hồng Nguyên

8


Chương 1
Một số kiến thức chuẩn bị
1.1.

Một số khái niệm giải tích lồi

Định nghĩa 1.1. [Đoạn thẳng][8]. Tập tất cả các điểm x = (1 − λ) a + λb với 0 ≤
λ ≤ 1, a, b ∈ Rn được gọi là đoạn thẳng nối hai điểm a và b. Ký kiệu [ a, b] .
Định nghĩa 1.2. [Tập lồi][8]. Tập D ⊂ Rn được gọi là tập lồi nếu nó chứa trọn đoạn
thẳng nối hai điểm bất kỳ thuộc nó. Hay nói cách khác D là tập lồi nếu (1 − λ) a +
λb ∈ D với mọi a, b ∈ D, 0 ≤ λ ≤ 1.

Ví dụ 1.1.
Hình 1.1: Tập lồi :a, b, tập không lồi :c.

Các tính chất của tập lồi
• Tổng đại số hữu hạn tập lồi là tập lồi.
• Giao của họ các tập lồi là tập lồi.

9


Tài liệu tham khảo
[1] Nguyễn Hữu Điển (2006), Một số vấn đề về thuật toán, NXB Giáo dục.
[2] Nguyễn Nhật Lệ (2001), Tối ưu hóa ứng dụng, NXB Khoa học và kỹ thuật.
[3] Nguyễn Đức Nghĩa - Vũ Văn Thiệu - Trịnh Anh Phúc (2012), Các phương pháp
cực tiểu hóa ràng buộc, Bộ môn KHMT, Viện CNTT trường ĐHBK Hà Nội.
[4] Bùi Thế Tâm - Trần Vũ Thiệu, Các phương pháp tối ưu hóa, NXB Giao thông vận
tải, (1998)
[5] Trần Vũ Thiệu - Nguyễn Thị Thu Thủy (2011), Giáo Trinh tối ưu phi tuyến, NXB
Đại học Quốc gia Hà Nội.
[6] Nguyễn Hải Thịnh (2006), Tối ưu hóa, NXB Bách khoa Hà Nội.
[7] C.J.Price, B.L.Robertson and M.Reale (2009), AMO-advanced Modeling and Optimization, Department of Mathermatics and Statistics, University of Canterbury, Private Bag 4800, Chrischurch, Newzeland.
[8] Danzig G.B and Thapa M.N, Linear programming 2 - Theory and Extensions,Springer Verlag, New York Berlin, Heideiberg,(2003)
[9] David G.Luenberger - Yingu Ye (2008), Linear and Nonlinear programming,
Dept. of Mgmt, Sience and Engineering Stanford University, Stanford, CA,
USA.

58


[10] Enrique Dell Castillo - Douglas C.montgomery - Daniel R. Mc Carville (1996),
Modified Desirability Function for multiple response optimization, University of
Texes, Arizana state University Tenpe, AZ 85287 − 5906.
[11] Mokhatar S.bazara - Hanif d.Sherali - C.M Shetty (2006), Nonlinear programming. Theory and Algorithins, John Wiley and Suns, Inc.
[12] Wenya sun - Ya-xiang Yuan (2006),Optimization theory and methods , Springer
Science Pusiness Media, LLC,23 street NewYork NY 10013, USA.

59