bài giảng tối ưu chương 3 bài toán quy hoạch phi tuyến không ràng buộc- ths. trần thị thùy nương

10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

1


NỘI DUNG
1. Bài tốn QHPT khơng ràng buộc.
2. Điều kiện tối ưu.
3. Một số phương pháp giải bài tốn QHPT

khơng ràng buộc.

10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

2


Bài tốn Quy hoạch phi tuyến khơng ràng buộc
có dạng:

(P

krb

)

min{ f ( x ) : x ∈ ℝ },

n

trong đó

f :ℝ →ℝ
n

là hàm phi tuyến.
10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

3


I. Điều kiện tối ưu
Định lý 1(Điều kiện bậc nhất)
f xác định, khả vi trên ℝn .
Cho hàm
*
n
Nếu x ∈ℝ là nghiệm cực tiểu địa phương của
∇f ( x* ) = 0.
bài tốn thì

10/6/2010

MaMH C02012 Chương 3: QHPT khơng ràng buộc

4

Định lý 2
f là hàm lồi khả vi trên ℝn . Khi đó,
Giả sử
*
n
x ∈ℝ là nghiệm cực tiểu tồn cục của bài toán
krb
( P ) khi và chỉ khi ∇f ( x* ) = 0.

10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

5


Định lý 3 (Điều kiện bậc hai)
f khả vi liên tục hai lần trên ℝn .
Giả sử hàm
Khi đó:
x* ∈ℝn là điểm cực tiểu địa phương của f
i) Nếu
trên ℝn thì
2
*
*
∇f ( x ) = 0 và ∇ f ( x ) nửa xác định dương;
ii) Ngược lại , nếu

2
*
*
∇f ( x ) = 0 và ∇ f ( x ) xác định dương
*
thì x là điểm cực tiểu địa phương chặt của f
n
trên ℝ .
10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

6


Ví dụ1:
Cho hàm số

f ( x1 , x 2 ) = e
Ta có:

3 x2

− 3 x1 e

x2

+x

3

1

 −3e + 3x 
∇f ( x) =  3 x
 3e 2 − 3x e x2 



1
x2

2
1

 6x1

−3e
∇ f (x) =  x
3x2
x2 
2
 −3e 9e − 3x1e 
x2

2

10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

7


II. Phương pháp hướng giảm
1.
2.
3.
4.

5.
10/6/2010

Ý tưởng
Lược đồ chung
Định nghĩa hướng giảm
Xác định độ dài bước
+ Thủ tục tìm chính xác theo tia
+ Thủ tục quay lui
Tốc độ hội tụ
Tuyến tính; Trên tuyến tính; Bậc 2
MaMH C02012 Chương 3: QHPT khơng ràng buộc

8


1.

Ý tưởng

2.

Lược đồ chung

3.

Định nghĩa hướng giảm

4.

Xác định độ dài bước
+ Thủ tục tìm chính xác theo tia
+ Thủ tục quay lui

5.

Tốc độ hội tụ
Tuyến tính; Trên tuyến tính; Bậc 2

10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

9


Ý tưởng:
Xuất phát từ một điểm bất kỳ x0 ∈ℝn , ta xây
1

2

k

dựng một dãy điểm x , x ,..., x ,... sao cho
f ( x ) ≥ f ( x ) ≥ f ( x ) ≥ ... ≥ f ( x )...
0

1

2

k

và dãy { x } hội tụ đến điểm dừng x* ∈ ℝ n của
k

hàm f .

∇f ( x* ) = 0 )
(

10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

10


1.

Ý tưởng

2.

Lược đồ chung

3.

Định nghĩa hướng giảm

4.

Xác định độ dài bước
+ Thủ tục tìm chính xác theo tia
+ Thủ tục quay lui

5.

Tốc độ hội tụ
Tuyến tính; Trên tuyến tính; Bậc 2

10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

11


Lược đồ chung của phương pháp hướng giảm
Bước khởi đầu. Xuất phát từ một điểm tùy ý x0 ∈ℝn

Gán k := 0;
Bước lặp k, (k=0,1,2,…)
k
( k 1 ) If x thỏa mãn điều kiện dừng Then
dừng thuật toán
k +1
k
k
Else xác định x = x + tk d sao cho
k +1

f (x ) < f (x )
k

( k 2 ) Gán k := k +1; Quay lại bước lặp k.
10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

12


1.

Ý tưởng

2.

Lược đồ chung

3.

Định nghĩa hướng giảm

4.

Xác định độ dài bước
+ Thủ tục tìm chính xác theo tia
+ Thủ tục quay lui

5.

Tốc độ hội tụ
Tuyến tính; Trên tuyến tính; Bậc 2

10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

13


Hướng giảm
Định nghĩa: Cho x ∈ℝ . Ta nói d ∈ℝ là hướng
0

n

n

giảm của hàm f tại x nếu tồn tại ε > 0 sao cho
0

với mọi t thỏa mãn 0 < t < ε ta có
f ( x + td ) < f ( x )
0

10/6/2010

0

MaMH C02012 Chương 3: QHPT không ràng buộc

14


Mệnh đề 1.
Cho f khả vi trên ℝn , điểm x0 ∈ℝn , và hướng d ∈ℝn
0
Nếu ∇f (x ), d < 0 thì d là hướng giảm của f
tại x 0.
Mệnh đề 2.
n
f khả vi trên ℝ , điểm x0 ∈ℝn và
Cho hàm lồi
hướng d ∈ℝn . Khi đó, ∇f (x0 ), d < 0 khi và chi
0
khi d là hướng giảm của f tại x .
10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

15


Hệ quả 1.Cho hàm f khả vi trên ℝ và điểm x0 ∈ℝn
0
0
Nếu ∇f (x ) ≠ 0 thì d =−∇f (x ) là một hướng giảm của
f tại x 0 .
n

Mệnh đề 3. Giả sử hàm f khả vi trên ℝ và ∇f (x0 ) ≠ 0
0
.Trong các hướng giảm d của hàm f tại x có
d = 1 thì hàm f giảm nhanh nhất theo hướng
n

∇f ( x 0 )
d =−
∇f ( x 0 )
10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

16


1.

Ý tưởng

2.

Lược đồ chung

3.

Định nghĩa hướng giảm

4.

Xác định độ dài bước
+ Thủ tục tìm chính xác theo tia
+ Thủ tục quay lui

5.

Tốc độ hội tụ
Tuyến tính; Trên tuyến tính; Bậc 2

10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

17


Xác định độ dài bước (tk )
i) Thủ tục tìm chính xác theo tia:

tk = arg min{ϕk (t ) := f ( x + td ) :t > 0}
k

10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

k

18


Mệnh đề 4. Cho hàm toàn phương lồi chặt

1 T
T
f (x) = x Ax − b x + c,
2
A n × n đối xứng, xác định dương, b∈ℝn
trong đó,
k
n
và c∈ℝ. Cho x ∈ℝ và hướng giảm d k của hàm
x k . Khi đó, độ dài bước chính xác tk được
f tại
xác định bởi

( Ax − b) d
tk = −

>0
k T
k
(d ) Ad
k

10/6/2010

T

k

MaMH C02012 Chương 3: QHPT không ràng buộc

19


ii) Thủ tục quay lui
k +1
(xác định x
khi đã biết d k )
Mệnh đề 5.Cho hàm f khả vi trên ℝ , điểm x ∈ℝ
k
n
và véctơ d ∈ℝ thỏa mãn ∇f ( xk ), d k < 0 .Cho số
thực m1 ∈ (0,1) . Khi đó
n

k

n

∃ t0 > 0 : f ( x k + td k ) ≤ f ( x k ) + m1t ∇f ( x k ), d k , ∀t ∈ (0, t0 ].

10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

20


Thủ tục quay lui (Quy tắc Armijo)
k
k
n
Đầu vào: điểm x ∈ ℝ và hướng giảm d của
hàm f tại xk ;
k +1
k
k
Đầu ra: điểm x trên tia x + tk d , tk > 0
thỏa mãn f ( x k +1 ) < f ( x k )
- Bước 1: Tùy chọn m1 ∈(0,1) và α ∈(0,1) (chẳng
hạn α =1/ 2 ). Đặt tk :=1;
x k +1 := x k + t k d k và f ( x k +1 );
- Bước 2: Tính
f ( x k +1 ) ≤ f ( x k ) + m1tk ∇f ( x k ), d k
- Bước 3: If
k +1
Then dừng thủ tục (ta có x ).

10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

21


Else t k := α tk và quay về Bước 2.

10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

22


1.

Ý tưởng

2.

Lược đồ chung

3.

Định nghĩa hướng giảm

4.

Xác định độ dài bước
+ Thủ tục tìm chính xác theo tia
+ Thủ tục quay lui

5.

Tốc độ hội tụ
Tuyến tính; Trên tuyến tính; Bậc 2

10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

23


Tốc độ hội tụ
{xk } ⊂ ℝn hội tụ đến x* ∈ ℝ n
Định nghĩa. Cho dãy

Dãy {xk } được gọi là:
*
Hội tụ đến x với tốc độ tuyến tính nếu
∃0 < γ < 1 ∃k0 sao cho ∀k > k0 : xk +1 − x* ≤ γ xk − x* ;
x * với tốc độ trên tuyến tính nếu
Hội tụ đến
∀k : xk +1 − x* ≤ ck xk − x* ; và ck → 0 ;
x * với tốc độ hội tụ bậc hai nếu
Hội tụ đến
∃γ > 0, ∃ k0 : x

10/6/2010

k +1

* 2

−x ≤γ x −x
*

k

MaMH C02012 Chương 3: QHPT không ràng buộc

∀k > k0 .
24


Phương pháp Gradient
(tại mỗi bước lặp k, chọn hướng giảm d k = −∇f ( xk ) )
Thuật toán 1(TT Gradient với thủ tục tìm chính xác theo tia)
Bước khởi đầu.
Chọn trước số ε > 0 đủ nhỏ. Xuất phát từ một điểm
tùy ý x0 ∈ℝn có ∇f (x0 ) ≠ 0 ; Đặt k := 0;
Bước lặp k (k=0,1,2,…)
k +1
k
k
(k1 ) Tính x := x − t k ∇ f ( x ), trong đó
k
k

tk = arg min{ϕ k (t ) := f ( x − t∇f ( x )), t > 0}
10/6/2010

MaMH C02012 Chương 3: QHPT không ràng buộc

25