Một số phương pháp giải bài toán quy hoạch phi tuyến
Bạn đang xem bản rút gọn của tài liệu. Xem và tải ngay bản đầy đủ của tài liệu tại đây (2.78 MB, 67 trang )
BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC BÁCH KHOA HÀ NỘI
---------------------------------------
VŨ MINH TÂM
MỘT SỐ PHƯƠNG PHÁP
GIẢI BÀI TOÁN QUY HOẠCH PHI TUYẾN
LUẬN VĂN THẠC SĨ KHOA HỌC
Toán Công Nghệ
NGƯỜI HƯỚNG DẪN KHOA HỌC:
TS. Nguyễn Phương Anh
Hà Nội – 2010
LỜI CẢM ƠN
Tôi xin trân trọng cảm ơn TS. NGUYỄN PHƢƠNG ANH, ngƣời đã tận tình
hƣớng dẫn, chỉ bảo và giúp đỡ tôi trong quá trình tìm hiểu và thực hiện đề tài này.
Tôi xin trân trọng cảm ơn các thầy, cô trong khoa Toán-Tin ứng dụng, các bạn học
viên Toán Công Nghệ khóa 2008-2010 đã giúp tôi lựa chọn đề tài. Tôi xin trân
trọng cảm ơn anh em phòng kỹ thuật công ty VNNPLUS đã khích lệ động viên, và
tạo điều kiện để hoàn thành luận văn. Và cuối cùng, tôi xin gửi lời cảm ơn đến vợ
tôi, ngƣời luôn bên tôi trong mọi khó khăn, giúp tôi có thêm thời gian hoàn thành
đƣợc bản luận văn này.
Hà Nội, ngày 20 tháng 10 năm 2010
Học viên: Vũ Minh Tâm
1
MỤC LỤC
LỜI NÓI ĐẦU ....................................................................................................... 4
Chƣơng 1: KIẾN THỨC CƠ SỞ ............................................................................. 6
1.1 Khai triển Taylor ....................................................................................... 6
1.2 Đạo hàm theo hƣớng .................................................................................. 6
1.3 Hàm lồi ...................................................................................................... 6
1.4 Điều kiện tối ƣu bài toán không ràng buộc................................................... 7
1.5 Định lý Karush-Kuhn-Tucker (KKT) ............................................................ 7
1.6 Phƣơng pháp hƣớng giảm ........................................................................... 9
1.7 Tốc độ hội tụ ............................................................................................ 12
1.8 Phƣơng pháp Newton................................................................................ 12
1.9 Phƣơng pháp quasi-Newton ....................................................................... 14
Chƣơng 2: CÁC PHƢƠNG PHÁP GIẢI BÀI TOÁN QUY HOẠCH TOÀN
PHƢƠNG............................................................................................................ 17
2.1 Phƣơng pháp không gian hạt nhân (Null Space) giải bài toán quy hoạch
toàn phƣơng với ràng buộc đẳng thức tuyến tính ......................................... 17
2.1.1 Phát biểu bài toán .............................................................................. 17
2.1.2 Ý tƣởng.............................................................................................. 17
2.1.3 Phƣơng pháp giải............................................................................... 19
2.1.4 Ví dụ.................................................................................................. 21
2.2 Phƣơng pháp tập hoạt động (Active Set) giải bài toán quy hoạch toàn
phƣơng với ràng buộc bất đẳng thức tuyến tính .......................................... 23
2.2.1 Phát biểu bài toán .............................................................................. 23
2.2.2 Ý tƣởng.............................................................................................. 23
2
2.2.3 Phƣơng pháp Active Set...................................................................... 24
2.2.4 Thuật toán Active Set.......................................................................... 26
2.2.5 Ví dụ.................................................................................................. 28
2.2.6 Kết quả hội tụ .................................................................................... 32
Chƣơng 3: PHƢƠNG PHÁP SQP GIẢI BÀI TOÁN QUY HOẠCH PHI TUYẾN..... 36
3.1 Phƣơng pháp Newton-Lagrange................................................................. 36
3.2 Phƣơng pháp Wilson-Han-Powell .............................................................. 43
3.3 Hiệu ứng Maratos...................................................................................... 50
3.4 Bƣớc hiệu chỉnh bậc 2 ............................................................................... 52
Chƣơng 4: KẾT QUẢ SỐ ..................................................................................... 57
4.1 Công cụ sử dụng........................................................................................ 57
4.2 Kết quả của một số bài toán cụ thể ............................................................. 60
KẾT LUẬN .......................................................................................................... 65
TÀI LIỆU THAM KHẢO ...................................................................................... 66
3
LỜI NÓI ĐẦU
Lý thuyết tối ƣu là một ngành của Toán học ứng dụng có nhiều ứng dụng
hiệu quả và rộng rãi trong các ngành kỹ thuật, quản lý, kinh tế và tài chính.
Bài toán quy hoạch phi tuyến đóng vai trò quan trọng trong lý thuyết điều
khiển tối ƣu. Phƣơng pháp SQP (Sequential Quadratic Programming) là một trong
những phƣơng pháp thông dụng, hiệu quả để giải bài toán quy hoạch phi tuyến và
không thể thiếu trong các thƣ viện tối ƣu lớn nhƣ NAG, LANCELOT… Ý tƣởng
của phƣơng pháp là tách bài toán phi tuyến ban đầu thành một dãy các bài toán quy
hoạch toàn phƣơng, các bài toán con này đƣợc giải quyết bằng phƣơng pháp
Không gian hạt nhân (cho bài toán có ràng buộc đẳng thức) hoặc bằng phƣơng
pháp Tập hoạt động (cho bài toán có ràng buộc bất đẳng thức). Việc nghiên cứu
cải thiện phƣơng pháp này về mặt lý thuyết và tính toán đƣợc đề cập đến trong các
tài liệu [1], [3], [5],…
Mục đính chính của luận văn là tìm hiểu về cách tiếp cận phƣơng pháp SQP
và các kết quả hội tụ của phƣơng pháp. Nội dung luận văn này gồm có 4 chƣơng
chính:
Chƣơng I: Nhắc lại một số kiến thức cơ sở.
Chƣơng II: Tìm hiểu phƣơng pháp giải quyết bài toán con là bài toán quy
hoạch toàn phƣơng với các ràng buộc tuyến tính, cụ thể là phƣơng pháp Không
gian hạt nhân (Null space) giải các bài toán với ràng buộc đẳng thức và Tập hoạt
động (Active set) giải quyết các bài toán với ràng buộc bất đẳng thức.
Chƣơng III: Giới thiệu về SQP với các phƣơng pháp Newton-Lagrange,
phƣơng pháp Wilson-Han-Powell. Phần sau của chƣơng tập trung vào tìm hiểu tốc
4
độ hội tụ của thuật toán, và các hiệu ứng không tốt đến thuật toán (hiệu ứng
Maratos) cũng nhƣ phƣơng pháp khắc phục (hiệu chỉnh bậc hai).
Chƣơng IV: Trình bày các kết quả số đạt đƣợc bao gồm: lập trình thuật toán
SQP, lập trình các bài toán con sử dụng các phƣơng pháp Không gian hạt nhân và
phƣơng pháp Tập hoạt động. Một số ví dụ cụ thể cũng đƣợc đƣa ra.
5
Chương 1.
Kiến thức cơ sở
Chƣơng 1 trình bày các kiến thức cơ sở là nền tảng cần thiết để tìm hiểu các
phƣơng pháp tối ƣu phi tuyến. Nội dung của chƣơng đƣợc tham khảo từ các tài liệu
[2], [7], [8].
Khai triển Taylor
1.1.
khả vi liên tục tại lân cận nào đó của điểm
Xét hàm n biến
Khi đó, với
trong đó
và
.
đủ nhỏ, ta có thể khai triển:
là một vô cùng bé bậc cao hơn
đƣợc gọi là khai triển Taylor cấp một của hàm
tại
khi
. Khai triển này
.
Đạo hàm theo hướng
1.2.
Cho hàm
xác định trên
và một véc tơ
. Giới hạn
nếu tồn tại đƣợc gọi là đạo hàm theo hƣớng d của hàm f
tại điểm
và ký hiệu là
.
Nhƣ đã biết, nếu f khả vi tại
thì
.
1.3.
Hàm lồi
Hàm
với mọi
đƣợc gọi là hàm lồi xác định trên tập lồi
và
.
6
nếu
Đạo hàm theo hướng của hàm lồi: Nếu
là một hàm lồi xác định trên tập
thì nó có đạo hàm theo mọi hƣớng
lồi
và
1.4.
tại mọi điểm
.
Điều kiện tối ưu của bài toán không ràng buộc
Xét bài toán tối ƣu sau:
trong đó
là một hàm số trong lớp
Điều kiện cần bậc 1: Cho
phƣơng của
trên
thì
.
thuộc lớp
.
Điều kiện đủ bậc 1: Cho
thuộc lớp
là một điểm cực tiểu địa phƣơng của
trên
thì
thuộc lớp
1.5.
là một hàm lồi. Khi đó
. Nếu
thuộc lớp
xác định dƣơng thì
là một cực tiểu địa
nửa xác định dƣơng.
và ma trận
Điều kiện đủ bậc 2: Cho
Nếu ma trận
và
là một điểm cực tiểu toàn cục của
Điều kiện cần bậc 2: Cho
phƣơng của
là một cực tiểu địa
. Nếu
và
thỏa mãn
.
là cực tiểu địa phƣơng chặt của f.
Định lý Karush-Kuhn-Tucker (KKT)
Xét bài toán quy hoạch phi tuyến:
với điều kiện
trong đó
,
là tập nghiệm của hệ:
7
(
)
với f, gi và hj là các hàm số khả vi bất kỳ xác định trên Rn.
Định nghĩa. Điều kiện chính quy đƣợc thỏa mãn tại x0 nếu có một trong các điều
kiện sau:
i)
Các hàm hj, j = 1,…,k và gi , i = 1,…,m đều là các hàm afin;
ii)
Các hàm hj, j = 1,…,k là afin; các hàm gi, i = 1,…,m là lồi và
điều kiện Slater sau đây đƣợc thỏa mãn:
iii)
Các véc tơ
là độc lập
tuyến tính (Với I(x 0)
{i {1,…,m} |
của ràng buộc
, i= 1,…,m, thỏa mãn chặt tại x0).
} là tập các chỉ số
Định lý KKT: Cho các hàm f , gi , i = 1,…,m và hj , j = 1,…,k là các hàm khả vi
liên tục trên một tập mở chứa X. Giả sử
toán (
là điểm cực tiểu địa phƣơng của bài
) và điều kiện chính quy đƣợc thỏa mãn tại
. Khi đó điều kiện KKT sau
đúng:
i)
ii)
, i = 1,…,m và
Tồn tại các số
, j = 1,…,k,
i = 1,…,m và các số
, j = 1,…,k sao cho
và
iii)
.
8
1.6.
Phương pháp hướng giảm
Xét bài toán quy hoạch không ràng buộc
trong đó
là hàm phi tuyến, khả vi trên
.
Ý tƣởng cơ bản của phƣơng pháp hƣớng giảm để giải bài toán
mục tiêu
là: Xuất phát từ một điểm bất kỳ
…,
, ta xây dựng một dãy điểm
,… sao cho
hội tụ đến điểm dừng
và dãy
với hàm
hàm lồi, thì điểm
của hàm , tức
. Nếu
là
chính là nghiệm cực tiểu toàn cục của bài toán.
Tiếp theo, luận văn trình bày lƣợc đồ chung của phƣơng pháp hƣớng giảm và các
khái niệm liên quan.
a. Lược đồ chung
Bƣớc khởi đầu.
Xuất phát từ một điểm tùy ý
Bƣớc lặp , (
. Nếu
. Gán
)
thỏa mãn
( hoặc
đủ nhỏ) thì dừng thuật
toán.
Trái lại, tìm
. Gán
sao cho
Quay lại bƣớc lặp .
9
;
Trong lƣợc đồ trên,
là hƣớng giảm của
dài bƣớc. Sự lựa chọn hƣớng dịch chuyển
tại
là độ
và số thực
và độ dài bƣớc
khác nhau cho ta
các thuật toán cụ thể tƣơng ứng với các phƣơng pháp giảm khác nhau.
b. Hướng giảm
Định nghĩa. Cho
tồn tại
là hƣớng giảm của hàm
. Ta gọi
sao cho với mọi thỏa mãn
.
là hƣớng giảm của hàm khả vi
tại
.
Mệnh đề 1.1. Cho hàm
, điểm
khả vi trên
thì d là hƣớng giảm của
Mệnh đề 1.2. Cho hàm lồi
đó,
nếu
ta có
Sau đây là các điều kiện để một véc tơ
một điểm
tại
khả vi trên
tại
, điểm
và điểm
khả vi trên
là một hƣớng giảm của
tại
. Nếu
.
khi và chỉ khi là hƣớng giảm của
Hệ quả 1.1. Cho hàm
và hƣớng
và hƣớng
tại
. Khi
.
. Nếu
thì
.
c. Xác định độ dài bước
Trong lƣợc đồ chung, giả sử
là hƣớng giảm của hàm
tại điểm
, điểm lặp
tiếp theo đƣợc xác định bởi công thức
với
là số thực dƣơng. Lƣợc đồ trên chƣa cho biết cách xác định
Thông thƣờng, chúng ta xác định
nhƣ thế nào ?
theo thủ tục tìm kiếm chính xác theo tia hoặc
theo thủ tục quay lui. Trong thực tế tính toán, ngƣời ta hay sử dụng thuật toán quay
lui.
10
Mệnh đề 1.3. Cho hàm
mãn
, điểm
khả vi trên
và véc tơ
thỏa
. Khi đó
. Cho số thực
sao cho
.
Mệnh đề 1.3 là cơ sở của thủ tục quay lui xác định điểm
giảm
của hàm
tại
khi đã biết hƣớng
.
Điều kiện
với
đƣợc gọi là điều kiện Armijo. Điều kiện này thỏa mãn với
và
đủ nhỏ (theo mệnh đề
1.3).
Thủ tục quay lui sau cho phép xác định điểm lặp tiếp theo
kiện Armijo thỏa mãn nhƣng độ dài bƣớc
sao cho điều
không quá bé.
Thủ tục quay lui
Đầu vào: điểm
Bƣớc 1. Tùy chọn
và hƣớng giảm
của hàm
(thông thƣờng, hay chọn
và
Đặt
Bƣớc 2. Tính
và
;
Bƣớc 3. Nếu
là điểm dừng.
Thì Dừng thủ tục, và ta có
Trái lại
tại điểm
và quay về Bƣớc 2;
11
;
).
Tốc độ hội tụ
1.7.
Với các thuật toán sử dụng chiến lƣợc xây dựng một dãy điểm tiến dần đến
nghiệm, ngƣời ta cần phải xem thuật toán có hội tụ hay không? Và nếu hội tụ thì
hội tụ nhanh hay chậm ?
Định nghĩa: Cho dãy
- hội tụ đến
hội tụ đến
:
;
với tốc độ trên tuyến tính nếu
và
- hội tụ đến
đƣợc gọi là :
với tốc độ tuyến tính nếu
sao cho
- hội tụ đến
. Dãy
;
với tốc độ hội tụ bậc hai nếu
sao cho
1.8.
.
Phương pháp Newton
Cho một hàm số
là hàm số thuộc lớp
. Ta xét bài toán tối ƣu
không ràng buộc:
Theo giả thiết, tại mọi điểm xk cho trƣớc thì giá trị của
là hoàn toàn xác định. Vậy với
đủ bé, ta có thể xấp xỉ
công thức Taylor:
Ta tìm
và véc tơ gradient
là nghiệm của bài toán xấp xỉ sau:
12
theo
Áp dụng điều kiện tối ƣu bậc 1 đối với hàm số
theo biến
ta có:
,
hay
nếu
Đặt
là ma trận không suy biến.
, ta thấy phƣơng pháp này tƣơng đƣơng với việc dùng phƣơng
pháp Newton để giải phƣơng trình
. Giả thiết rằng ma trận Hessian
là xác định dƣơng với mọi x nằm trong miền lân cận của
đƣợc sẽ hội tụ về
, khi
nằm trong vùng lân cận của
, dãy
.
Thuật toán Newton
Bƣớc khởi tạo: Chọn điểm khởi đầu
. Đặt k:=0;
Bƣớc k:
Tìm các hƣớng di chuyển
bằng cách giải phƣơng trình:
.
Xác định độ dài bƣớc t bằng thủ tục quay lui.
Đặt:
Nếu
.
thì dừng thuật toán và đƣa ra nghiệm là
Trái lại, k = k+1, quay về bƣớc lặp k.
13
.
nhận
1.9.
Phương pháp quasi-Newton
Chúng ta biết rằng phƣơng pháp Newton là phƣơng pháp có tốc độ hội tụ bậc
hai. Tuy nhiên, phƣơng pháp Newton có độ phức tạp tính toán cao do phải tính ma
trận Hessian và giải hệ phƣơng trình tuyến tính
. Phƣơng pháp
quasi-Newton sẽ chỉ tính gradient mà không tính ma trận Hessian, xây dựng nên
một thuật toán có các bƣớc lặp dễ tính hơn nhƣng tốc độ hội tụ chậm hơn. Mệnh đề
dƣới chỉ ra hƣớng tìm kiếm
Mệnh đề 1.4. Gọi
từ
để thuật toán đạt đƣợc tốc độ hội tụ siêu tuyến tính.
là dãy các hƣớng tìm kiếm sao cho dãy
và
đƣợc sinh ra
thỏa mãn các tính chất sau:
.
.
.
với mọi k .
xác định dƣơng và
Giả sử rằng
là liên tục Lipschitz ở
trên S. Khi đó:
hội tụ siêu tuyến tính
,
với
là hƣớng Newton của hàm f tại
Mệnh đề 1.5. Với các giả thiết của Mệnh đề 1.4, gọi
Hessian và nếu
, thì
là ma trận xấp xỉ ma trận
hội tụ siêu tuyến tính
.
Mối liên hệ giữa
,
, và
đƣợc mô tả nhƣ sau:
Khai triển xấp xỉ Taylor bậc hai của hàm
14
.
tại
và đặt:
,
với
(1.1)
. Từ đó suy ra:
là xấp xỉ ma trận Hessian
.
Từ phƣơng trình (1.1), chúng ta cũng có
Taylor bậc 1 tại
do đó, bằng khai triển
ta có:
.
hay
.
Từ đó suy ra
hay
,
với
(1.2)
và
Nhân cả hai vế của (1.2) với
.
ta đƣợc:
>0 khi và chỉ khi ma trận
. Điều này có nghĩa là
là xác định dƣơng.
Thông thƣờng, để cập nhật ma trận
từ ma trận
, ngƣời ta thƣờng dùng công
thức BFGS (Broyden, Fletcher, Goldfarb, và Shanno) (Xem trong [9]).
Thuật toán quasi-Newton
Bƣớc khởi tạo:
Chọn điểm khởi đầu x0, ma trận B0= I là ma trận đơn vị. Đặt k:=0.
Bƣớc k:
Tìm các hƣớng di chuyển
theo công thức
Tính độ dài bƣớc theo thủ tục quay lui.
15
.
Cập nhật ma trận
bằng công thức BFGS:
trong đó
Gán
Nếu
.
.
thì dừng thuật toán và
.
Trái lại, gán k := k+1.Quay trở lại bƣớc lặp k.
Chƣơng 1 trình bày các kiến thức cơ sở là nền tảng cần thiết để tìm hiểu các
phƣơng pháp tối ƣu phi tuyến nhƣ các điều kiện tối ƣu cho bài toán toán tối ƣu có
ràng buộc và bài toán tối ƣu không có ràng buộc, phƣơng pháp hƣớng giảm,
phƣơng pháp Newton, phƣơng pháp quasi-Newton,….
16
Chương 2. Các phương pháp giải bài toán quy hoạch toàn phương
có ràng buộc
Chƣơng 2 trình bày phƣơng pháp Không gian hạt nhân giải bài toán quy
hoạch toàn phƣơng với ràng buộc đẳng thức và phƣơng pháp Tập hoạt động giải
bài toán quy hoạch toàn phƣơng với ràng buộc bất đẳng thức. Nội dung của
Chƣơng 2 đƣợc tham khảo trong [1], [5] và [6].
2.1 Phương pháp Không gian hạt nhân (Null Space) giải bài toán quy hoạch
toàn phương với ràng buộc đẳng thức tuyến tính
2.1.1 Phát biểu bài toán
Xét bài toán quy hoạch toàn phƣơng:
trong đó
G
ran k A
m
là ma trận đối xứng xác định không âm, A là ma trận cấp
m
n (m
n
),
. Ta tìm thuật toán xác định nghiệm tối ƣu của bài toán ( Q ).
2.1.2 Ý tưởng
Hàm Lagrange tƣơng ứng với bài toán (Q) là:
L
1
T
x Gx
T
c x
T
(Ax
b ).
2
Vì bài toán (Q) có hàm mục tiêu là hàm lồi với ràng buộc afin nên
của bài toán (Q) khi và chỉ khi
là điểm KKT, tức là tồn tại
điều kiện KKT:
17
x
là nghiệm
thoả mãn
x
T
L
Gx
c
A
L
Ax
b
0,
0
hay
Giả sử
x
Gx
c
Ax
b.
T
A
là điểm gần với
0
(2.1)
của bài toán (Q). Đặt
d
x
x,
khi đó bài toán ( Q )
trở thành:
với
và
b
b
Thật vậy, thay thế
x
d
g
G x
c
m in
Ax.
x
1
vào bài toán ( Q ) ta có:
T
(d
x ) G (d
x)
b
T
x)
c (d
x)
2
A(d
m in
1
T
d Gd
2
1
xG d
2
Ad
m in
1
Ax
T
d Gd
2
b
T
g d
2
Ad
1
b.
18
T
d Gx
1
2
T
x Gx
T
c d
T
c x
2.1.3 Phương pháp giải
Sau đây ta sẽ giải bài toán (QD).
Đặt
L (d ,
)
1
T
T
d Gd
T
g d
(Ad
là hàm Lagrange tƣơng ứng với bài
b )
2
toán ( Q D ). Khi đó điều kiện KKT của bài toán ( Q D ) là:
d
L
Gd
g
A
L
Ad
b
0
Gd
g
Ad
b
Gd
A
Ad
0
T
G
A
A
0
d
x
A
T
T
T
0
0
g
b
g
d
(2.2)
.
Ta thấy rằng, nếu
b
x
thì hệ (2.2) chính là điều kiện KKT của bài toán
(QD) tƣơng ứng với bài toán gốc ( Q ). Do vậy, nếu
(QD) với nhân tử Largrange
nhân tử Largrange
thì
x
d
x
d
là nghiệm của bài toán
là nghiệm của bài toán ( Q ) với
.
Để giải hệ (2.2) ta xét một ma trận cơ sở Z của không gian hạt nhân
nhƣ vậy
Z
là ma trận cấp
n
(n
m)
thoả mãn
19
AZ
0
.
K er A
của
A
,
Mệnh đề 2.1. Nếu ma trận
A
có
ra n k A
và nếu ma trận
m
T
(đƣợc gọi là
Z GZ
ma trận Hessian rút gọn) xác định dƣơng thì ma trận của hệ (2.2) là không suy
biến và tồn tại duy nhất một cặp véc tơ
là nghiệm của hệ (2.2). Đặc biệt,
d ,
bài toán ( Q ) có nghiệm duy nhất.
Chứng minh:
tồn tại một cặp véc tơ
Ma trận của hệ (2.2) là không suy biến
sao cho hệ:
,
khi và chỉ khi
và
Thật vậy, nhân
0
u
T
v
u
G
T
T
v
A
vào hai vế của phƣơng trình (2.3) ta có:
u
T
u Gu
A
Ngoài ra,
.
T
T
Au
nên
T
T
u A v
T
u
K er A
T
u Gu
u
Z
T
A v
T
T
Z GZ
(2.4)
u Gu,
và nhƣ vậy tồn tại
Z là ma trận cơ sở của Ker A). Thay
0
T
v Au
v
0
0
(2.3)
T
. Do
Z GZ
R
u
n
m
sao cho
vào (2.4) ta đƣợc
Z
là ma trận xác định dƣơng nên
=0. Khi đó, từ phƣơng trình thứ nhất của hệ (2.3):
0
. Vì
ra n k A
m
nên
v
0
. Vậy
và
(Vì
T
Gu
A v
0
suy ra
0
suy ra
.
Ma trận của hệ (2.2) có tồn tại ma trận nghịch đảo, do đó, hệ (2.2) có nghiệm duy
nhất là
và bài toán (Q) có nghiệm duy nhất là
Một phƣơng pháp giải hệ (2.2) khi ma trận
Space Method. Giả sử
cấp
n
m
Z
sao cho ma trận
T
Z GZ
xác định dƣơng đƣợc gọi là Null
là một ma trận cơ sở của
Y Z
.
K er A
là ma trận vuông cấp
20
n
và giả sử Y là ma trận
không suy biến (để đơn
giản phép tính toán ta có thể chọn ma trận
I
).
Khi đó
d
AY
YdY
G YdY
GZdZ
g
ZdZ
b
A YdY
Vì
ra n k A
A Y Z
m
m
Zd z
với
A
T
và
m
AY AZ
m
dY
ma
AY 0
n m
. Vì
AZ
G YdY
GZdZ
A
AYdY
b.
R , dZ
0
để bổ sung vào ma trận
Y
R
trận
0
g
Z
T
là ma trận có hạng bằng
m
suy
, hay
dY
AY
biến
T
T
Z GZdZ
T
Z
T
Z GZdZ
Z G YdY
Theo giả thiết, ma trận Hessian
là ma trận cỡ
.
T
A
Z
T
T
Z GZ
T
Z
(vì
g
T
g
,
AZ
0
).
(2.6)
đối xứng và xác định dƣơng nên ta có thể
giải hệ (2.6) bằng phƣơng pháp Cholesky (xem trong [7] ) để tính đƣợc
Với
Nhân
T
đã tìm đƣợc ta sẽ tính d theo công thức
dY , d Z
Y
Y Gd
T
nên
vào hai vế phƣơng trình thứ nhất của hệ (2.5) ta đƣợc:
Z G YdY
suy ra
(2.5)
không
không suy biến. Từ phƣơng trình (2.5) ta sẽ tính đƣợc
Tiếp theo, nhân
sao cho
nên hệ (2.2) trở thành:
T
là
Y Z
Z
d
YdY
ZdZ
d
Z
.
.
vào hai vế phƣơng trình thứ nhất của hệ (2.2) ta có:
Y
T
A
T
Y
T
g
(AY )
T
Giải phƣơng trình (2.7) ta tìm đƣợc
Y
T
g
(2.7)
Gd .
(do A Y là ma trận không suy biến). Do đó,
ta sẽ tìm đƣợc nghiệm tối ƣu của bài toán (Q) là
2.1.4 Ví dụ
21
.
Xét bài toán quy hoạch toàn phƣơng:
2
m i n f ( x ) = 2 x1
v .đ .k
4 x1 x 2
x1
x2
4
x1
x3
10.
2
2 x1 x 3
2 x2
2 x2 x3
2
5 x3
1 0 x1
26 x2
2 x3
Nhƣ vậy ta có bài toán (Q) với:
2
2
G
2
2
1
1
1
5
10
, c
x
0
AZ
0
0
26 , A
1
1
1
0
4
0
, b
1
10
2
T
Chọn
Vì
1
0
, giả sử
nên ta có thể chọn
gần nghiệm tối ƣu của bài toán là
Z
T
1
1
1
. Ta có:
.
4
b
b
Ax
b
(do
10
10
Ax
0
) và
g
Gx
c
c
26
(do
Gx
0
). Chọn
1
1
3
3
2
Y
3
2
1
3
AY
I
dY
đại lƣợng đã biết vào hệ (2.6) ta tính đƣợc
1 .6 0 7 8 .
dZ
T
YdY
x
d
,
ta có
3
2
3
.
Giải phƣơng trình thứ hai của hệ (2.5) ta dƣợc
d
1
ZdZ
3 .0 5 8 8
0 .9 4 1 2
6 .9 4 1 2
T
x
Y
T
3 .0 5 8 8
g
Gd
0 .9 4 1 2
(4
T
10)
. Thay giá trị của các
Khi đó
suy ra
và
6 .9 4 1 2
( 2 3 .2 9 4 1 -3 0 .5 8 8 2 )
T
.Từ đó,
22
.
Phương pháp Tập hoạt động (Active Set) giải bài toán quy hoạch toàn
2.2
phương với ràng buộc bất đẳng thức tuyến tính
2.2.1 Phát biểu bài toán
Xét bài toán:
với G là ma trận đối xứng, xác định dƣơng, và
Giả sử
là một điểm chấp nhận đƣợc của bài toán
.
là tập chỉ số các ràng buộc hoạt động (active) của
Gọi
.
Ta trình bày phƣơng pháp tập hoạt động (active set method) xác định nghiệm tối
ƣu của bài toán
.
2.2.2 Ý tưởng
Cho
x
là nghiệm của bài toán
. Nếu ta biết các ràng buộc active tại
x
, thì
x
là nghiệm của bài toán ràng buộc đẳng thức:
Do chúng ta không biết trƣớc đƣợc
nhật
từ tập chỉ số
nên phƣơng pháp Tập hoạt động sẽ cập
.
23
2.2.3 Phương pháp Active Set
Hàm Lagrange tƣơng ứng với bài toán
là:
.
Giả sử
là điểm KKT bài toán
. Khi đó, tồn tại
(2.8)
là nhân tử Lagrange (với
) sao cho điều kiện sau đƣợc thỏa mãn:
(2.9)
Phƣơng pháp tập hoạt động dựa trên kết quả của mệnh đề sau:
Mệnh đề 2.2. Nếu
thỏa mãn các điều kiện của hệ (2.9) với
là ma trận nửa xác định dƣơng, thì
,
, và G
là một nghiệm toàn cục của bài toán
.
Chứng minh:
Giả sử
Vì
là một điểm chấp nhận đƣợc của
, suy ra
, nghĩa là
với mọi
với mọi
.
Nhân cả hai vế của phƣơng trình thứ nhất của hệ (2.9) với
, vì
Đặt
. Xét hiệu
, ta có:
với mọi
.
:
,
do ma trận G là ma trận nửa xác định dƣơng.
Vậy,
, suy ra
là điểm cực tiểu toàn cục của bài toán
24
.
.
