Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC KHOA HỌC

ĐÀO THU THỦY

PHƯƠNG PHÁP CHIẾU ĐẠO HÀM
GIẢI BÀI TOÁN TỐI ƯU LỒI VÀ
ÁP DỤNG VÀO BÀI TOÁN CHẤP NHẬN TÁCH

LUẬN VĂN THẠC SĨ TOÁN HỌC

THÁI NGUYÊN - 2015


ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC KHOA HỌC

ĐÀO THU THỦY

PHƯƠNG PHÁP CHIẾU ĐẠO HÀM
GIẢI BÀI TOÁN TỐI ƯU LỒI VÀ
ÁP DỤNG VÀO BÀI TỐN CHẤP NHẬN TÁCH

Chun ngành: Tốn ứng dụng
Mã số:

60 46 01 12

LUẬN VĂN THẠC SĨ TOÁN HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC

GS.TSKH. LÊ DŨNG MƯU

THÁI NGUYÊN - 2015


i

Mục lục

Danh mục các ký hiệu, các chữ viết tắt

iii

mở đầu

1

1

Kiến thức chuẩn bị

4

1.1

Không gian Hilbert . . . . . . . . . . . . . . . . . . . . . .

4

1.1.1

Không gian tiền Hilbert . . . . . . . . . . . . . . .

4

1.1.2

Không gian Hilbert . . . . . . . . . . . . . . . . . .

7

1.2

2

Tập lồi, hàm lồi . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.1

Tập lồi . . . . . . . . . . . . . . . . . . . . . . . . 10

1.2.2

Hàm lồi . . . . . . . . . . . . . . . . . . . . . . . . 15

Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng
vào bài toán chấp nhận tách

24

2.1

Bài toán tối ưu lồi . . . . . . . . . . . . . . . . . . . . . . . 24

2.2

Thuật toán chiếu đạo hàm . . . . . . . . . . . . . . . . . . . 32

2.3

2.2.1

Toán tử chiếu lên tập lồi trong khơng gian Hilbert . . 32

2.2.2

Trình bày thuật toán . . . . . . . . . . . . . . . . . 40

2.2.3

Định lý hội tụ . . . . . . . . . . . . . . . . . . . . . 41

2.2.4

Ví dụ minh họa . . . . . . . . . . . . . . . . . . . . 43

Áp dụng vào bài toán chấp nhận tách . . . . . . . . . . . . . 45
2.3.1

Phát biểu bài toán chấp nhận tách . . . . . . . . . . 45

ii
2.3.2

Áp dụng phương pháp chiếu đạo hàm giải bài toán
chấp nhận tách . . . . . . . . . . . . . . . . . . . . 46

Tài liệu tham khảo

54


iii

Danh mục các ký hiệu, các chữ viết tắt
H

không gian Hilbert thực

R

Tập số thực R

[a, b]

Đoạn đóng của tập hợp số thực với các đầu mút a, b và
a
(a, b)

Khoảng mở của tập hợp số thực với các đầu mút a, b và
a
∀

Với mọi

∃

Tồn tại

,

Tích vơ hướng

.

Chuẩn

I

Ánh xạ đồng nhất

PD (x)

Hình chiếu của x lên D

⊥

Vng góc

⊂

Nằm trong

∩

Giao

⊕

Tổng trực tiếp


1

Mở đầu
Tối ưu hóa được khởi nguồn như một ngành của Tốn học, có rất nhiều
ứng dụng trong quy hoạch tài nguyên, thiết kế chế tạo máy, điều khiển tự
động, quản trị kinh doanh...trong việc tạo nên các hệ hỗ trợ ra quyết định
trong quản lý và phát triển các hệ thống lớn.
Chính vì vậy, các lĩnh vực của tối ưu hóa ngày càng trở nên đa dạng mang
nhiều tên gọi khác nhau như Quy hoạch toán học, Điều khiển tối ưu, Vận trù
học, Lý thuyết trị chơi...Hiện nay mơn học Tối ưu hóa được đưa vào giảng
dạy trong nhiều chương trình đào tạo đại học cho các ngành khoa học cơ
bản. Một trong những bài toán quan trọng của Tối ưu hóa là bài tốn tối ưu
lồi. Trong luận văn này ta sẽ xét bài toán tối ưu lồi trong không gian Hilbert
và một phương pháp cơ bản để giải bài toán này là phương pháp chiếu đạo
hàm. Thuật toán chiếu đạo hàm trong nhiều đề tài luận văn khác cịn có tên

gọi là thuật tốn gradient là khá phổ biến trong lý thuyết tối ưu. Tính thơng
dụng của thuật toán này bắt nguồn từ phép chiếu của các điểm trên miền
ràng buộc hoặc các miền ràng buộc xấp xỉ. Phép chiếu này có thể được thực
hiện dễ dàng trên máy tính với một số cấu trúc của miền ràng buộc như hình
hộp, hình cầu, thậm chí là đa diện. Thơng qua đó, ta nghiên cứu sâu hơn về
phương pháp chiếu đạo hàm trong việc giải bài toán chấp nhận tách cũng là
một bài tốn có nhiều ứng dụng và đang được nhiều người quan tâm nghiên
cứu.
Cho H là một khơng gian Hilbert thực với tích vơ hướng ., . và chuẩn


2
.

tương ứng. Cho D là một tập lồi, đóng, khác rỗng trong H và f : D →

R lồi trên D. Trong luận văn này ta sẽ xét hai bài toán:
Bài toán thứ nhất là bài toán tối ưu lồi: Tìm
x∗ ∈ D : f (x∗ ) ≤ f (x) ∀x ∈ D
hoặc viết tương đương min{f (x) : x ∈ D}.
Bài toán thứ hai là bài toán chấp nhận tách:
Cho C ⊂ Rn và D ⊂ Rm là các tập lồi đóng, khác rỗng. Tìm
x∗ ∈ C : Ax∗ ∈ D
trong đó A : Rn → Rm là tốn tử tuyến tính liên tục.
Mục đích của luận văn là:
- Tổng hợp lại kiến thức cơ bản nhất về bài tốn tối ưu lồi trong khơng gian
Hilbert.
- Trình bày phương pháp chiếu đạo hàm giải bài toán tối ưu lồi trong không
gian Hilbert.
- Áp dụng phương pháp chiếu đạo hàm vào bài toán chấp nhận tách.

Nội dung của luận văn gồm hai chương:
Chương 1: Kiến thức chuẩn bị. Chương này tác giả tập trung trình bày
lại kiến thức cơ bản về khơng gian Hilbert và giải tích lồi.
Chương 2: Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp
dụng vào bài toán chấp nhận tách. Chương này tác giả trình bày hai thuật
tốn để giải bài tốn tối ưu lồi và bài toán chấp nhận tách.
Luận văn này được hoàn thành tại trường Đại học Khoa học, Đại học
Thái Nguyên dưới sự giúp đỡ và hướng dẫn tận tình của GS.TSKH Lê Dũng
Mưu. Qua đây, tác giả xin bày tỏ lịng kính trọng và biết ơn sâu sắc tới Thầy,
người đã dành nhiều thời gian và tâm huyết để hướng dẫn và tạo điều kiện
cho tác giả trong suốt thời gian làm luận văn.


3
Trong quá trình học tập và làm luận văn, từ bài giảng của các Giáo sư,
Phó Giáo sư cơng tác tại Viện Tốn học, Viện Cơng nghệ Thơng tin, các thầy
cô trong trường Đại học Khoa học, Đại học Thái Nguyên, tác giả đã trau dồi
thêm rất nhiều kiến thức phục vụ cho việc nghiên cứu và công tác của bản
thân. Tác giả xin gửi lời cảm ơn chân thành đến các thầy cô.
Cuối cùng tác giả xin gửi lời cảm ơn tới gia đình, bạn bè, lãnh đạo đơn
vị công tác và đồng nghiệp đã luôn động viên, giúp đỡ và tạo điều kiện tốt
nhất cho tác giả trong quá trình học tập, nghiên cứu và làm luận văn.
Thái Nguyên, tháng 12 năm 2015
Học viên
Đào Thu Thủy


4

Chương 1

Kiến thức chuẩn bị
Trong chương này, ta sẽ trình bày lại một số kết quả sẽ được dùng cho
chương sau. Đó là kiến thức cơ bản về khơng gian Hilbert và giải tích lồi.
Nội dung trong chương được trích dẫn chủ yếu từ tài liệu tham khảo [1], [2],
[3], [4], [5], [6].

1.1

Khơng gian Hilbert

Trong tốn học, khơng gian Hilbert (Hilbert Space) là một dạng tổng
qt hóa của khơng gian Euclid mà không bị giới hạn về vấn đề hữu hạn
chiều. Đó là một khơng gian vectơ có tích vơ hướng. Hơn nữa, nó thỏa mãn
một yêu cầu nữa là tính đầy đủ để chắc chắn rằng giới hạn là tồn tại khi
cần làm các định nghĩa khác nhau trong tính tốn vi tích phân dễ dàng hơn.
Khơng gian Hilbert đóng vai trị quan trọng trong việc hình thức hóa tốn
học cơ học lượng tử. Các khơng gian Hilbert được đặt tên theo David Hilm là tốn tử tuyến tính liên tục. Khi đó, bài tốn chấp nhận
tách là bài tốn tìm nghiệm tối ưu của bài tốn tối ưu (P1 ) sao cho ảnh của
nó qua ánh xạ A là nghiệm của bài toán tối ưu (P2 ).

2.3.2 Áp dụng phương pháp chiếu đạo hàm giải bài toán chấp
nhận tách
Cho C, D là hai tập lồi đóng trong khơng gian Rn và Rm . Ta ký hiệu PC
và PD là toán tử chiếu lên tập C và D. Với mọi x ta lấy
Sx = x + γAT (PD − I)Ax

(2.10)

và T x = PC (Sx).

Khi đó, ta ký hiệu dãy xk được cho bởi
xk+1 = T xk ,
với x0 là một điểm xuất phát.
Mệnh đề 2.4. Vectơ x∗ trong C là điểm bất động của ánh xạ T nghĩa là
T x∗ = x∗ khi và chỉ khi x∗ là nghiệm của bài toán tối ưu lồi
min { PD (A x) − Ax ; x ∈ C} .

(P3 )

Chứng minh. Giả sử x∗ là cực tiểu của hàm PD (A x) − Ax trên x ∈ C.
Thì
PD (A x∗ ) − Ax∗ ≤ PD (A x) − Ax ≤ q − Ax


47
với mọi x ∈ C, q ∈ D. Chọn q = PD (A x∗ ) ta thấy rằng
PD (A x∗ ) − Ax∗ ≤ Ax − PD (A x∗ )
với mọi x ∈ C, nghĩa là A x∗ = PA(C) (PD (A x∗ )). Theo tính chất của hình
chiếu ta có:
Ax − Ax∗ , Ax∗ − PD (A x∗ ) ≥ 0,
với mọi x ∈ C, từ đây
x − Sx∗

2

= x − x∗

2

+ 2γ Ax − Ax∗ , Ax∗ − PD (A x∗ )

ta có x∗ là cực tiểu của hàm x − Sx∗ trên x ∈ C, hoặc là x∗ = PC (Sx∗ ) =
T x∗ .
Bây giờ ta giả sử T x∗ = x∗ . Thì x∗ = PC (Sx∗ ), do đó theo tính chất của
hình chiếu ta có
x − x∗ , x∗ − Sx∗ ≥ 0
với mọi x ∈ C. Do đó,
Ax − Ax∗ , Ax∗ − PD (A x∗ ) ≥ 0,
với mọi x ∈ C. Ta cũng có
PD (A x∗ ) − PD (A x), Ax∗ − PD (A x∗ ) ≥ 0.
Cộng hai bất đẳng thức lại ta được
PD (A x) − Ax, PD (A x∗ ) − Ax∗ ≥ PD (A x∗ ) − Ax∗
Áp dụng bất đẳng thức Cauchy ta có:
PD (A x) − Ax ≥ PD (A x∗ ) − Ax∗ .

2

.


48
Bây giờ ta có định lý về sự hội tụ của thuật tốn xây dựng dãy xk .
Định lí 2.9. (Định lý hội tụ) Cho F là tập nghiệm của bài toán tối ưu lồi
(P3 ). Giả sử F khác rỗng. Khi đó, dãy lặp
(2.11)

xk+1 = PC (xk + γAT (PD − I)Axk )

với γ ∈ (0, L2 ) và L là giá trị riêng lớn nhất của ma trận AT A, hội tụ đến
nghiệm của bài toán (P3 ) với mọi điểm xuất phát x0 .

Chứng minh. Giả sử F khác rỗng và x∗ là một phần tử của F . Thì T x∗ =
x∗ = PC (Sx∗ ) và
x∗ − xk+1 = PC (Sx∗ ) − PC (Sxk ) ≤ Sx∗ − Sxk .
Ta chỉ ra rằng
Sx∗ − Sxk ≤ x∗ − xk .
Theo định nghĩa của S(x) ta có:
Sx∗ − Sxk

2

2

= x∗ − xk + γAT (PD − I)A x∗ − γAT (PD − I)A xk

Biểu diễn vế phải ta được
Sx∗ − Sxk

2

= x∗ − x k

2

+2γ Ax∗ − Axk , PD Ax∗ − PD Axk + Axk − Ax∗
+γ 2 AT (PD − I)Ax∗ − AT (PD − I)Axk
≤ x∗ − xk

2

− 2γ Ax∗ − Axk

2

2

+2γ Ax∗ − Axk , PD Ax∗ − PD Axk .
Dùng
(PD − I)A x∗ − (PD − I)A xk

2

= PD (Ax∗ ) − PD (Axk )

2

−2 A x∗ − A xk , PD (Ax∗ ) − PD (Axk ) + A x∗ − A xk

2

.

.


49
Ở dòng trên ta thấy
Sx∗ − Sxk

2

2

≤ x∗ − xk
2

+γ 2 ( PD Ax∗ − PD Axk

+ (2γ − γ 2 L) Ax∗ − Axk

2

− Ax∗ − Axk , PD Ax∗ − PD Axk )

(2γ − γ 2 L) Ax∗ − Axk , PD Ax∗ − PD Axk .
Từ tính chất của hình chiếu ta có
PD (Ax∗ ) − PD (Axk )

2

− A x∗ − A xk , PD (Ax∗ ) − PD (Axk ) ≤ 0.

Theo bất đẳng thức Cauchy và tính khơng giãn của tốn tử chiếu PD ta được
Ax∗ − Axk , PD Ax∗ − PD Axk ≤ Ax∗ − Axk

2

.

Từ 2γ − γ 2 L ≥ 0, ta có
Sx∗ − Sxk

2

≤ x∗ − xk

2

.

Chính xác hơn, ta có
x ∗ − xk

2

2

− x∗ − xk+1

2

≥ γ 2 L( Ax∗ − Axk , PD Ax∗ − PD Axk − PD Ax∗ − PD Axk )
+(2γ − γ 2 L)( Ax∗ − Axk
Do đó, dãy

x∗ − xk

2

2

− Ax∗ − Axk , PD Ax∗ − PD Axk ).

là giảm (nên dãy xk bị chặn). Ta cũng có

Ax∗ − Axk , PD Ax∗ − PD Axk − PD Ax∗ − PD Axk

2

→ 0,

và
Ax∗ − Axk

2

− Ax∗ − Axk , PD Ax∗ − PD Axk

→ 0,

do hai dãy không âm.
Đặt x∗∗ là một điểm tụ bất kỳ của dãy xk . Thì ta có
Ax∗ − Ax∗∗ , PD Ax∗ − PD Ax∗∗ = PD Ax∗ − PD Ax∗∗

2

,


50
và

Ax∗ − Ax∗ , PD Ax∗ − PD Ax∗∗ − Ax∗ − Ax∗∗

2

,

nghĩa là
Ax∗ − Ax∗ ∗ = PD Ax∗ − PD Ax∗∗ .
Theo tính chất của hình chiếu ta có
PD Ax∗ − Ax∗ = PD Ax∗∗ − Ax∗∗ .
Vậy x∗∗ thuộc F . Thay x∗ ∈ F bằng x∗∗ , chúng ta được dãy là giảm và có
một dãy con hội tụ đến 0 nên dãy đó hội tụ đến 0.
Sau đây tơi xin trình bày hai bước của một ví dụ để minh họa cho thuật
tốn:
Ví dụ 2.3. Cho C, D là các tập lồi đóng, khác rỗng và
C = x = (x1 , x2 , x3 ) : x21 + x22 + x33 ≤ 1
D = y T = (y1 , y2 ) : 0 ≤ y1 ≤ 1; 1 ≤ y2 ≤ 2 .


Với A : R3 → R2 là ánh xạ tuyến tính liên tục và A = 

1 0 1

01 0
∗
giờ ta sẽ đi tìm x∗ ∈ C : A x
∈ D Đầu
 tiên ta tìm L để chọn γ.

 1 0





2 0
1 0 1 
.
 0 1 
Ta có: A.AT = 
=


0 1
01 0
1 0
Nên L = max(2, 1) = 2.
⇒ γ ∈ 0,
Chọn γ =

2
2
1
2.

= (0, 1) .

Bước lặp 1.
Chọn x0 = (0, 0, 0) ∈ C.



 . Bây


51
0
T
0
0
Suy ra x1 = P
C x + γ.A
 . PD (Ax ) − Ax
1 0 1
 (0, 0, 0) = 0.
Ta có: Ax0 = 
01 0

.

PD (Ax0 ) = PD (0) = (0, 1)T .

PD (Ax0 ) − Ax0 = (0, 1)T− (0, 0)T = (0, 1)T . 
 
0
1 0
 


0
 



AT . PD (Ax0 ) − Ax0 =  0 1  .   =  1  .
 


1
0
1 0
   
0
0
   
   
γ.AT . PD (Ax0 ) − Ax0 = 12 .  1  =  21  .
   
0
0
     
0
0
0
     
     
x0 + γ.AT . PD (Ax0 ) − Ax0 =  0  +  12  =  12  ∈ C.
     
0
0
0
   

0
0
   
   
PC x0 + γ.AT . PD (Ax0 ) − Ax0 = PC  21  =  12  .
   
0
0
 
0
 
 
⇒ x1 =  21  .
 
0
 
0
 
 
Bước lặp 2: Với x1 =  12  .
 
0
. PD
(Ax1 ) − Ax1 .
Suy ra x2 = PC x1 + γ.AT

 0
 



1 0 1  1 
0
  =  .
Ta có: Ax1 = 
1
 2 
01 0
2
0


52


PD (Ax1 ) = PD 

0



 = (0, 1)T .

1
2

PD (Ax1 ) − Ax1 = 

0
1





−


0





=

1
2

0
1
2



.





0
1 0
 
 0

 


AT PD (Ax1 ) − Ax1 =  0 1    =  21  .
 
 1

2
0
1 0
   
0
0
   
   
γAT PD (Ax1 ) − Ax1 = 12  12  =  14  .
   
0
0
     
0
0
0
     
     

x1 + γAT PD (Ax1 ) − Ax1 =  21  +  41  =  34  ∈ C.
     
0
0
0
   
0
0
   
   
⇒ PC x1 + γAT PD (Ax1 ) − Ax1 = PC  43  =  34  .
   
0
0
 
0
 
 
⇒ x2 =  34  .
 
0
Cứ như vậy ta xây dựng được dãy lặp xk hội tụ đến nghiệm của bài toán
ban đầu.






53

Kết luận
Luận văn nghiên cứu về phép chiếu khoảng cách lên tập lồi đóng trong
khơng gian Hilbert và ứng dụng của nó trong việc giải bài tốn tối ưu lồi và
bài toán chấp nhận tách.
Cụ thể luận văn đề cập đến những vấn đề sau:
1. Chứng minh sự tồn tại và tính duy nhất của phép chiếu lên tập lồi đóng
trong khơng gian Hilbert thực.
2. Áp dụng phép chiếu khoảng cách để chứng minh sự tồn tại nghiệm và
phương pháp giải bài tốn tối ưu lồi trong khơng gian hữu hạn chiều.
3. Giới thiệu thuật toán chiếu đạo hàm.
4. Giời thiệu bài toán tối ưu lồi, bài toán chấp nhận tách và áp dụng
phương pháp chiếu đạo hàm để giải hai bài tốn này.
5. Đưa ra được một số ví dụ minh họa cụ thể.


54

Tài liệu tham khảo
Tiếng Việt
[1] Nguyễn Thị Bạch Kim (2008), Giáo trình các phương pháp tối ưu, Nhà
xuất bản Đại học Bách khoa.
[2] Đỗ Văn Lưu và Phan Huy Khải (2000), Giải tích lồi, Nhà xuất bản
Khoa học và Kỹ thuật Hà Nội.
[3] Lê Dũng Mưu (1993), Các phương pháp tối ưu, Nhà xuất bản Khoa
học và Kỹ thuật.
[4] Lê Dũng Mưu, Nguyễn Văn Hiền - Nguyễn Hữu Điển (2015), Nhập
mơn giải tích lồi ứng dụng, Nhà xuất bản Đại học Quốc gia Hà Nội.
[5] Trần Vũ Thiệu - Nguyễn Thị Thu Thủy (2011), Giáo trình tối ưu phi
tuyến, Nhà xuất bản Đại học Quốc gia Hà Nội.

[6] Hoàng Tụy (2005), Hàm thực và Giải tích hàm, Nhà xuất bản Đại học
Quốc gia Hà Nội.

Tiếng Anh
[7] Byrne C., (2002), "Iterative oblique projection onto convex sets and the
split feasibility problem", Inverse Problem, 18, pp. 441 - 453.


55
[8] Muu L.D., (2008) Optimization Theory, Lecture notes, Institute of
Mathematics, VAST.