chương 7 các phương pháp cực tiểu hóa không ràng buộc

Chương 7 : Các phương pháp cực tiểu hóa không ràng
buộc
Nguyễn Đức Nghĩa, Vũ Văn Thiệu, Trịnh Anh Phúc
1
1
Bộ môn Khoa Học Máy Tính, Viện CNTT & TT,
Trường Đại Học Bách Khoa Hà Nội.
Ngày 24 tháng 12 năm 2012
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 1 / 48
Giới thiệu
1
Nhắc lại một số khái niệm từ giải tích
2
Bài toán qui hoạch phi tuyến không ràng buộc
3
Các phương pháp cực tiểu một biến
Hàm đơn cực trị
Phương pháp Fibonacci
Phương pháp lát cắt vàng
4
Các phương pháp số cực tiểu không ràng buộc
Các phương pháp gradient
Phương pháp Niu tơn
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 2 / 48
Nhắc lại một số khái niệm từ giải tích
Không gian Euclid n-chiều
Ký hiệu R
n
- tập các vec tơ thực n-chiều
R
n

= {x = (x
1
, x
2
, · · · , x
n
)
T
: x
i
∈ R, i = 1, 2, · · · , n}
trong đó R là tập số thực. Trên đó ta xác định các phép toán
Phép cộng hai vec tơ u = (u
1
, u
2
, · · · , u
n
)
T
và v = (v
1
, v
2
, · · · , v
n
)
T
u + v = (u
1

+ v
1
, u
2
+ v
2
, · · · , u
n
+ v
n
)
Phép nhân vec tơ với một số thực α
αu = (αu
1
, αu
2
, · · · , αu
n
)
T
R
n
cùng các phép toán vừa định nghĩa lập thành một không gian tuyến
tính. Các phần tử của R
n
đôi khi là các điểm.
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 3 / 48
Nhắc lại một số khái niệm từ giải tích
Không gian Euclid n-chiều (tiếp)
Nếu ta đưa vào thêm khái niệm tích vô hương của hai vec tơ

u, v ∈ R
n
:
< u, v >=
n

i=1
u
i
× v
i
thì R
n
cùng với tích vô hướng sẽ trở thành không gian Euclid n-chiều.
Độ dài chuẩn của vec tơ u ∈ R
n
là số
||u|| =< u, u >
1/2
=

n

i=1
u
2
i

1/2
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 4 / 48

Nhắc lại một số khái niệm từ giải tích
Không gian Euclid n-chiều (tiếp)
Khoảng cách giữa hai điểm u, v ∈ R
n
ρ(u, v) = ||u − v|| =

n

i=1
(u
i
− v
i
)
2

1/2
Đối với u, v, w ∈ R
n
ta có bất đẳng thức tam giác
||u − v|| ≤ ||u − w|| + ||w − v ||
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 5 / 48
Nhắc lại một số khái niệm từ giải tích
Không gian Euclid n-chiều (tiếp)
Giả sử {u
k
, k = 1, 2, · · · } dãy điểm trong R
n
, nghĩa là u
k

∈ R
n
,
k = 1, 2, · · · , điểm v được gọi là điểm tới hạn của dãy {u
k
} nếu tìm
được dãy con {u
k(i)
} hội tụ đến v.
Dãy {u
k
} được gọi là bị chặn nếu tìm được hằng số M ≥ 0 sao cho
||u
k
|| ≤ M, với mọi k = 1, 2, · · ·
Tập O(x, ) = {u ∈ R : ||u − x|| < } là khối cầu tâm tại x và bán
kính  > 0 được gọi là lân cận  của x.
Điểm v ∈ R được gọi là điểm tới hạn của tập U ⊂ R
n
, nếu mọi lân
cận  của nó luôn chứa điểm của U khác với v.
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 6 / 48
Nhắc lại một số khái niệm từ giải tích
Không gian Euclid n-chiều (tiếp)
Điểm x ∈ X được gọi là điểm trong của tập X nếu tồn tại một  lân
cận của nó nằm trọn trong X . Tập các điểm trong của X được ký
hiệu là int(X ).
Điểm x ∈ X được gọi là điểm biên của tập X nếu trong mọi  lân
cận của nó có điểm những điểm thuộc X và không thuộc X . Tập các
điểm trong của X được ký hiệu là ∂(X ).

Tập X được gọi là tập mở nếu mỗi điểm x ∈ X đều là điểm trong
của X .
Tập X trong không gian R
n
được gọi là bị chặn hay giới nội, nếu
tìm được hằng số L > 0 sao cho ||u|| ≤ L với mọi u ∈ X .
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 7 / 48
Nhắc lại một số khái niệm từ giải tích
Không gian Euclid n-chiều (tiếp)
Tập X trong không gian R
n
được goi là tập đóng nếu nó chứa tất cả
các điểm tới hạn.
Giả sử {x
k
} là dãy điểm trong tập đóng X và lim
k→+∞
x = x, khi đó
x ∈ X
Tập X được gọi là compact nếu có đóng và giới nội.
Giả sử {x
k
} là dãy điểm trong tập compact X . Khi đó từ {x
k
} ta
luôn có thể trích ra dãy con hội tụ {x
k(i)
} sao cho
lim
k(i)→+∞

x
k(i)
= x, khi đó x ∈ X
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 8 / 48
Không gian Euclid n-chiều
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 9 / 48
Nhắc lại một số khái niệm từ giải tích
Vi phân hàm nhiều biến
Định nghĩa 1 : Giả sử hàm f xác định tại lân cận O(x, ) của điểm x. Ta
nói hàm f là khả vi tại x nếu tìm được vec tơ f

(x) ∈ R
n
sao cho số gia
của hàm số tại x : ∆f (x) = f (x + ∆x) − f (x), ||∆x|| ≤  có thể viết dưới
dạng
∆f (x) =< f

(x), ∆x > +o(x, ∆x)
trong đó o(x, ∆x) là vô cùng bé bậc cao hơn ||∆x||, nghĩa là
lim
||∆x||→0
o(x,∆x )
||∆x||
= 0.
Hàm f

(x) được gọi là gradient của hàm f tại x và thường được ký hiệu là
∆f (x).
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 10 / 48

Nhắc lại một số khái niệm từ giải tích
Vi phân hàm nhiều biến (tiếp)
Định nghĩa 2 : Giả sử hàm f xác định tại lân cận O(x, ) của điểm x. Ta
nói hàm f là hai lần khả vi tại x nếu cùng với vec tơ f

(x), tồn tại ma trận
đối xứng f ”(x) ∈ R
n×n
sao cho số gia của hàm số tại x có thể viết dưới
dạng
∆f (x) = f (x+∆x)−f (x) =< f

(x), ∆x > +
< f ”(x)∆x, ∆x >
2
+o(x, ∆x)
trong đó lim
||∆x||→0
o(x,∆x )
||∆x||
2
= 0.
Ma trận f ”(x) được gọi là ma trận đạo hàm cấp hai hay Hessian của hàm
f tại x và đôi khi còn được ký hiệu là 
2
f (x)
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 11 / 48
Nhắc lại một số khái niệm từ giải tích
Vi phân hàm nhiều biến (tiếp)
Định nghĩa 3 : Giả sử hàm f xác định trên tập mở X . Ta nói hàm f là

khả vi liên tục trên tập X nếu f là khả vi tại mọi điểm x của X và
||f

(x + ∆x) − f

(x)|| → 0 khi ||∆x|| → 0, ∀x, x + ∆x ∈ X
Tập các hàm thỏa mãn tính chất này được ký hiệu là C
1
(X ).
Định nghĩa 4 : Giả sử hàm f xác định trên tập mở X . Ta nói hàm f là
hai lần khả vi liên tục trên tập X nếu f là hai lần khả vi tại mọi điểm x
của X và
||f ”(x + ∆x) − f ”(x)|| → 0 khi ||∆x|| → 0, ∀x, x + ∆x ∈ X
Tập các hàm thỏa mãn tính chất này được ký hiệu là C
2
(X ).
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 12 / 48
Nhắc lại một số khái niệm từ giải tích
Vi phân hàm nhiều biến (tiếp)
Công thức Taylor : Giả sử f (x) là hai lần khả vi liên tục tại một  lân
cận nào đó của x
o
, khi đó ta có
f (x) =f (x
o
)+ < f

(x
o
), x − x

o
>
+
1
2
< f ”(x
o
)(x − x
o
), x − x
o
> +α(x , x
o
)||x − x
o
||
2
trong đó lim
x→x
o
α(x, x
o
) = 0, sai số có thể được viết dưới dạng
o(||x − x
o
||
2
)
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 13 / 48
Nhắc lại một số khái niệm từ giải tích

Vi phân hàm nhiều biến (tiếp)
Công thức số gia hữu hạn : Giả sử hàm f là khả vi liên tục trên tập mở
S và x là một vec tơ nào đó trong S. Khi đó mọi vec tơ y thỏa mãn
x + y ∈ S, luôn tìm được số α ∈ [0, 1] sao cho
f (x + y) − f (x) =< f

(x + αy), y >=

1
0
< f

(x + ty), y > dt
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 14 / 48
Vi phân hàm nhiều biến
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 15 / 48
Nhắc lại một số khái niệm từ giải tích
Bài toán cực trị hàm nhiều biến
Xét bài toán tối ưu
f (x) → min, x ∈ X
trong đó X ⊂ R
n
, còn f là hàm xác định trên X .
Định nghĩa 5 : Điểm x
∗
∈ X được gọi là điểm cực tiểu toàn cục của f
trên X nếu f (x
∗
) ≤ f (x), ∀x ∈ X .
Giá trị f (x

∗
) là giá trị cực tiểu của f trên X và ta sẽ ký hiệu
min{f (x) : x ∈ X }
Điểm x
∗
∈ X được gọi là điểm cực tiểu địa phương của f trên X
nếu tìm được lân cận O(x, ),  > 0 sao cho f (x
∗
) ≤ f (x), với
x ∈ O(x, ) ∩ X .
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 16 / 48
Nhắc lại một số khái niệm từ giải tích
Bài toán cực trị hàm nhiều biến (tiếp)
Định nghĩa 6 : Giả sử hàm f bị chặn trên X . Số f
∗
được gọi là cận dưới
của f trên X nếu
1
f
∗
≤ f (x) với mọi x ∈ X
2
Với mọi số  > 0 luôn tìm đc u

∈ X sao cho f (u

) < f
∗
+ 
Khi đó ta ký hiệu : inf

x∈X
f (x) = f
∗
Chú ý
Rõ ràng nếu hàm f đạt cực tiểu toàn cực trên X thì
inf
x∈X
f (x) = min
x∈X
f (x)
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 17 / 48
Nhắc lại một số khái niệm từ giải tích
Một số ví dụ
f (x) = (x − 1)
2
có cực tiểu toàn cục tại x
∗
= 1 với f (x
∗
) = 0.
f (x) = e
x
+ e
−x
− 3x
2
. Giá trị tối ưu của hàm f (x) = −7.02. Bài
toán có cực tiểu toàn cục tại hai điểm x = ±2.84, không có cực tiểu
địa phương.
f (x) = e

−x
cận dưới bằng không nhưng không đạt được. Không có
cực tiểu địa phương cũng như cực tiểu toàn cục.
f (x) = −x + e
−x
Hàm mục tiêu không bị chặn dưới, không có cực
tiểu địa phương cũng như cực tiểu toàn cục.
f (x) = e
x
+ e
−x
− 3x
2
+ x Bài toán có hai cực tiểu địa phương
x
1
= −2.9226 và x
2
= 2.7418, trong đó x
1
là cực tiểu toàn cục. Giá
trị tối ưu của hàm là -9.9040
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 18 / 48
Nhắc lại một số khái niệm từ giải tích
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 19 / 48
Nhắc lại một số khái niệm từ giải tích
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 20 / 48
Bài toán cực trị hàm nhiều biến
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 21 / 48
Bài toán qui hoạch phi tuyến không ràng buộc

Định nghĩa
Xét bài toán qui hoạch phi tuyến không ràng buộc (unconstrained
nonlinear programming)
min{f (x) : x ∈ R
n
} (1)
trong đó f (x) khả vi liên tục.
Các định lý
Định lý 1 (Điều kiện cần tối ưu) : Điều kiện cần để x
0
là cực tiểu địa
phương là
f (x
0
) = 0 (2)
Điều kiện (2) được gọi là điều kiện dừng, điểm x
0
thỏa mãn (2) đc gọi là
điểm dừng. Như vậy việc giải bài toán (1) có thể qui về giải hệ phương
trình (2).
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 22 / 48
Bài toán qui hoạch phi tuyến không ràng buộc
Các ví dụ
f (x) = x
2
− 3x − 1 phương trình f

(x) = 2x − 3 = 0 có nghiệm duy
nhất x
0

= 3/2 là điểm cực tiểu địa phương, đồng thời là điểm cực
tiểu toàn cục.
f (x
1
, x
2
) = x
2
1
+ x
2
2
− 2x
1
x
2
+ x
1
phương trình
f (x) =

2x
1
− 2x
2
+ 1
−2x
1
− 2x
2


= 0 có nghiệm duy nhất
x
0
= (−1/4, 1/4). Tuy nhiên, nghiệm x
0
không là phương án tối ưu
của bài toán min{f (x) : x ∈ R
2
} vì ta có
f (−1/4, 1/4) = −1/8 > −1 = f (0, 1).
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 23 / 48
Bài toán qui hoạch phi tuyến không ràng buộc
Các định lý (tiếp)
Định lý 2 (Điều kiện đủ tối ưu) : Giả sử f là hai lần khả vi liên tục. Điểm
dừng x
0
là cực tiểu địa phương nếu ma trận f ”(x
0
) là ma trận xác định
dương.
Để biết ma trận có tính xác định dương hay không có thể sử dụng tiêu
chuẩn Silvestra sau đây.
Tiêu chuẩn Silvestra : Ma trận A = (a
ij
)
n×n
là xác định không âm (bán
xác định dương) khi và chỉ khi tất cả các định thức con của nó là không
âm


i
1
,i
2
,··· ,i
k
= det










a
i
1
,i
1
a
i
1
,i
2
· · · a
i

1
,i
k
a
i
2
,i
1
a
i
2
,i
2
· · · a
i
2
,i
k
· · ·
a
i
k
,i
1
a
i
k
,i
2
· · · a

i
k
,i
k










≥ 0
trong đó ∀1 ≤ i
1
< i
2
< · · · < i
k
≤ n, ∀k = 1, 2, · · · , n
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 24 / 48
Bài toán qui hoạch phi tuyến không ràng buộc
Các ví dụ
Xét f (x
1
, x
2
) = e

x
2
1
+x
2
2
giải hệ phương trình
f (x) =

2x
1
e
x
2
1
+x
2
2
2x
2
e
x
2
1
+x
2
2

= 0
có nghiệm duy nhất x

0
= (0, 0) do f ”(0, 0) =

2 0
0 2

có định thức
det|f ”(x
0
)| > 0 suy ra x
0
là điểm cực tiểu địa phương đồng thời là
phương án tối ưu của bài toán.
Trịnh Anh Phúc ( Bộ môn Khoa Học Máy Tính, Viện CNTT & TT, Trường Đại Học Bách Khoa Hà Nội. )Tính toán khoa học Ngày 24 tháng 12 năm 2012 25 / 48