Một số giải thuật cho các bài toán tối ưu và ứng dụng (tt)

BỘ GIÁO DỤC VÀ ĐÀO TẠO
ĐẠI HỌC HUẾ
TRƯỜNG ĐẠI HỌC SƯ PHẠM

LÊ QUANG THÙY

MỘT SỐ GIẢI THUẬT CHO CÁC BÀI TOÁN
TỐI ƯU LỒI VÀ ỨNG DỤNG

Demo Version
Select.Pdf
Chuyên -ngành:
TOÁN SDK
GIẢI TÍCH
Mã số: 60 46 01 02

LUẬN VĂN THẠC SĨ TOÁN HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC
TS. NGUYỄN MẬU NAM

Huế, năm 2014


LỜI CAM ĐOAN
Tôi xin cam đoan đây là công trình nghiên cứu
của riêng tôi, các số liệu và kết quả nghiên cứu
nêu trong luận văn là trung thực, được các đồng
tác giả cho phép sử dụng và chưa từng được công
bố trong bất kì một công trình nào khác.
Lê Quang Thùy

Demo Version - Select.Pdf SDK

ii


LỜI CẢM ƠN

Luận văn này được hoàn thành dưới sự hướng dẫn tận tình, chu đáo của thầy
giáo TS. Nguyễn Mậu Nam. Trong khoảng thời gian gần một năm thực hiện luận
văn, ngoài việc tiếp thu rất nhiều kiến thức, tôi còn học được ở thầy một tác phong
làm việc nghiêm túc, một phương pháp nghiên cứu khoa học thực thụ. Thầy là
người dẫn dắt tôi đến với con đường nghiên cứu và truyền cho tôi niềm đam mê
toán học. Tôi xin được bày tỏ lòng biết ơn sâu sắc cũng như mong muốn có được
cơ hội tiếp tục học tập và nghiên cứu dưới sự hướng dẫn của Thầy.
Xin đặc biệt cảm ơn thầy giáo PGS.TS. Nguyễn Hoàng và thầy giáo PGS.TS.
Huỳnh Thế Phùng là những người đã truyền thụ cho tôi rất nhiều kiến thức về
Giải tích hàm, Giải tích lồi, Lý thuyết các bài toán cực trị,... Đây là cơ sở, là nền
tảng quan trọng cho tôi trong suốt quá trình làm luận văn.
Xin được bày tỏ lòng biết ơn đến quý thầy cô giáo trong khoa Toán trường Đại
học Sư phạm Huế cùng thầy giáo PGS.TS. Phan Nhật Tĩnh là những người đã tận
tình giảng dạy và luôn động viên để tôi hoàn thành luận văn này.

Demo Version - Select.Pdf SDK

Xin cảm ơn Huyện ủy, UBND huyện Quảng Ninh, lãnh đạo Phòng Giáo dục
và Đào tạo huyện Quảng Ninh và toàn thể các đồng chí trong đơn vị đã tạo điều
kiện thuận lợi giúp đỡ để tôi hoàn thành khóa học.
Cuối cùng xin gửi lời cảm ơn sâu sắc đến những người thân, các anh chị và
các bạn học viên cao học khóa XXI đã luôn quan tâm giúp đỡ tôi trong suốt thời

gian học tập.

Lê Quang Thùy

iii


MỤC LỤC
Trang
TRANG PHỤ BÌA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

i

LỜI CAM ĐOAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

ii

LỜI CẢM ƠN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
MỤC LỤC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

1

MỞ ĐẦU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

3

CHƯƠNG I. KIẾN THỨC CHUẨN BỊ . . . . . . . . . . . . . . . . . . .

5

1.1 Hàm khả vi . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

5

1.2 Hàm lồi . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

7

1.3 Hàm khoảng cách . . . . . . . . . . . . . . . . . . . . . . . . . . 10

Demo Version - Select.Pdf SDK

1.4 Dưới vi phân . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.5 Bài toán tối ưu . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
CHƯƠNG II. CÁC THUẬT TOÁN . . . . . . . . . . . . . . . . . . . . . 20
2.1 Phương pháp dưới vi phân . . . . . . . . . . . . . . . . . . . . . . 20
2.1.1

Thuật toán dưới vi phân . . . . . . . . . . . . . . . . . . . 20

2.1.2

Sự hội tụ của thuật toán dưới vi phân . . . . . . . . . . . . 20

2.1.3

Phương pháp dưới vi phân cho bài toán có ràng buộc . . . 25

2.2 Kỹ thuật làm trơn và phương pháp vi phân cải tiến Nesterov . . . . 26
2.2.1

Kỹ thuật làm trơn Nesterov . . . . . . . . . . . . . . . . . 26

2.2.2

Thuật toán vi phân cải tiến Nesterov . . . . . . . . . . . . 29

2.2.3

Sự hội tụ của thuật toán vi phân cải tiến Nesterov . . . . . 33

2.3 Phương pháp Majorization-minimization (MM) . . . . . . . . . . 34
2.3.1

Thuật toán MM . . . . . . . . . . . . . . . . . . . . . . . 34

2.3.2

Sự hội tụ của thuật toán MM . . . . . . . . . . . . . . . . 35
1


2.4 Phương pháp vi phân proximal . . . . . . . . . . . . . . . . . . . 39
2.4.1

Ánh xạ proximal . . . . . . . . . . . . . . . . . . . . . . . 39

2.4.2

Thuật toán vi phân proximal . . . . . . . . . . . . . . . . 40

2.4.3

Sự hội tụ của thuật toán vi phân proximal . . . . . . . . . 40

2.4.4

Thuật toán vi phân proximal cải tiến . . . . . . . . . . . . 43

CHƯƠNG III. ỨNG DỤNG . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.1 Ứng dụng vào bài toán Điểm chung . . . . . . . . . . . . . . . . . 46
3.1.1

Bài toán Điểm chung . . . . . . . . . . . . . . . . . . . . 46

3.1.2

Giải bài toán Điểm chung bằng thuật toán dưới vi phân . . 46

3.1.3

Giải bài toán Điểm chung bằng thuật toán MM . . . . . . 48

3.1.4

Ví dụ minh họa . . . . . . . . . . . . . . . . . . . . . . . 51

3.2 Ứng dụng vào bài toán Phân loại tuyến tính . . . . . . . . . . . . . 52
3.2.1

Bài toán Phân loại tuyến tính (PLTT) . . . . . . . . . . . . 52

3.2.2

Giải bài toán PLTT bằng thuật toán vi phân cải tiến Nesterov 54

3.2.3

Giải bài toán PLTT bằng thuật toán MM . . . . . . . . . . 55

3.2.4

Ví dụ minh họa . . . . . . . . . . . . . . . . . . . . . . . 58

Version
Select.Pdf
SDK
3.3 ỨngDemo
dụng vào
bài toán- Đầy
đủ hóa ma
trận . . . . . . . . . . . . . 58
3.3.1

Chuẩn hạt nhân . . . . . . . . . . . . . . . . . . . . . . . 58

3.3.2

Bài toán Đầy đủ hóa ma trận . . . . . . . . . . . . . . . . 62

3.3.3

Giải bài toán Đầy đủ hóa ma trận bằng phương pháp vi
phân proximal . . . . . . . . . . . . . . . . . . . . . . . . 62

3.3.4

Ví dụ minh họa . . . . . . . . . . . . . . . . . . . . . . . 65

KẾT LUẬN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
TÀI LIỆU THAM KHẢO . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

2


MỞ ĐẦU
Phương pháp dưới vi phân được Naum Z. Shor và một số các tác giả khác
giới thiệu và nghiên cứu vào những năm 1960 để giải quyết các bài toán tối ưu lồi
không trơn. Với Ω ⊂ Rn là một tập lồi và f : Rn → R là một hàm lồi trên Ω,
phương pháp dưới vi phân để giải bài toán tối ưu có ràng buộc
minimize f (x), x ∈ Ω
như sau: Cho trước dãy số dương (αk ) và x1 ∈ Rn , thành lập dãy (xk ) theo công
thức
xk+1 := Π(xk − αk vk ; Ω),
với vk ∈ ∂f (xk ) và Π(u; Ω) là phép chiếu từ điểm u đến tập Ω; xem [10], [17].
Phương pháp dưới vi phân có nhiều ưu điểm như yêu cầu bộ nhớ thấp, tốc độ
hội tụ không phụ thuộc nhiều vào số chiều của không gian, có thể áp dụng được
vào nhiều bài toán tối ưu không trơn khác nhau thì hạn chế của phương pháp này
là tốc độ hội tụ chậm. Một câu hỏi đặt ra là làm thế nào để cải thiện tốc độ hội tụ

Demo Version - Select.Pdf SDK

của phương pháp dưới vi phân. Trong những năm gần đây, rất nhiều bài báo đã đề
cập đến việc cải tiến tốc độ hội tụ của phương pháp này; xem [2], [5], [18].
Một ý tưởng khác để giải quyết bài toán tối ưu không trơn là sử dụng kỹ thuật
làm trơn để xấp xỉ bài toán không trơn bằng một bài toán trơn. Sau đó áp dụng
các phương pháp tối ưu trơn khác nhau để tìm nghiệm xấp xỉ cho bài toán không
trơn ban đầu. Nesterov là một trong những người đã có nhiều đóng góp quan trọng
trong lĩnh vực này, ông đã đưa ra phương pháp vi phân cải tiến để áp dụng cho
bài toán tối ưu trơn với hàm mục tiêu có đạo hàm Lipschitz. So với tốc độ hội
tụ O(1/k) khi áp dụng phương pháp vi phân cổ điển cho các bài toán nói trên,
phương pháp vi phân cải tiến của ông có tốc độ hội tụ là O(1/k 2 ). Nesterov cũng
đưa ra một phương pháp làm trơn để xấp xỉ hàm mục tiêu không trơn với một hàm
trơn có đạo hàm Lipschitz. Sau đó áp dụng phương pháp vi phân cải tiến Nesterov
để giải quyết gần đúng bài toán ban đầu. Phương pháp vi phân cải tiến và kỹ thuật
làm trơn của Nesterov đã được áp dụng thành công cho nhiều bài toán tối ưu khác
nhau; xem [3], [6], [19].
3


Đối với bài toán tối ưu trơn, ngoài việc sử dụng các phiên bản khác nhau của
phương pháp vi phân cải tiến, người ta còn dùng phương pháp MM. Ý tưởng chính
của phương pháp MM là xấp xỉ hàm mục tiêu với một hàm khác có nhiều tính chất
tốt hơn. Sau đó, thông qua hàm này để tìm nghiệm xấp xỉ của bài toán ban đầu;
xem [11]. Đây là phương pháp được áp dụng nhiều trong kỹ thuật và trong lĩnh
vực Machine learning.
Ngoài ra, nếu hàm mục tiêu là tổng của một hàm lồi có đạo hàm Lischitz với
một hàm lồi không trơn, người ta đưa ra phương pháp vi phân proximal; xem [16].
Sau khi cải tiến, phương pháp này có tốc độ hội tụ là O(1/k 2 ), vì vậy nó được áp
dụng rộng rãi cho các bài toán tối ưu không trơn, đặc biệt là bài toán Đầy đủ hóa

ma trận và bài toán Phục hồi hình ảnh.
Dựa trên công cụ của Giải tích lồi và Lý thuyết tối ưu cùng với việc sử dụng
phần mềm Matlab, trong luận văn này chúng tôi đề xuất nghiên cứu: "Một số giải
thuật cho các bài toán tối ưu lồi và ứng dụng". Toàn bộ nội dung của luận văn
được trình bày thành ba chương.
Chương I trình bày những kiến thức cơ bản của Giải tích lồi và Lý thuyết tối
ưu để làm cơ sở cho các chứng minh ở chương II. Một số kết quả ở đây chỉ được

Demo Version - Select.Pdf SDK

chúng tôi nêu ra mà không chứng minh cụ thể.

Chương II tập trung nghiên cứu phương pháp dưới vi phân, kỹ thuật làm trơn
và phương pháp vi phân cải tiến Nesterov, phương pháp MM và phương pháp vi
phân proximal. Các phương pháp trên được trình bày có hệ thống và được chứng
minh một cách chi tiết. Bên cạnh đó, chúng tôi cũng đưa ra một số hình ảnh minh
họa nhằm làm rõ vấn đề đang tiếp cận.
Chương III là phần áp dụng của các thuật toán được nêu ở chương II. Nội dung
chính của chương này là ứng dụng của thuật toán dưới vi phân và thuật toán MM
để giải bài toán Điểm chung; thuật toán vi phân cải tiến Nesterov và thuật toán
MM để giải bài toán Phân loại tuyến tính; thuật toán vi phân proximal để giải bài
toán Đầy đủ hóa ma trận. Trong chương này, ngoài việc nghiên cứu để đưa ra các
thuật toán cụ thể cho từng bài toán nêu trên, chúng tôi cũng sẽ chỉ ra tốc độ hội
tụ cho từng thuật toán để thấy rõ hiệu quả khi áp dụng. Tất cả các thuật toán trên
được chúng tôi kiểm chứng và minh họa bằng phần mềm Matlab.

4