Nghiên cứu mô hình tối ưu lồi cho một số bài toán phân lớp nhị phân

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC VINH

NGUYỄN THỊ TỐ MI

NGHIÊN CỨU MƠ HÌNH TỐI ƯU LỒI CHO
MỘT SỐ BÀI TOÁN PHÂN LỚP NHỊ PHÂN

LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN

LONG AN, 2017


BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC VINH

NGUYỄN THỊ TỐ MI

NGHIÊN CỨU MƠ HÌNH TỐI ƯU LỒI CHO MỘT SỐ
BÀI TỐN PHÂN LỚP NHỊ PHÂN
Chun ngành: Cơng nghệ thơng tin
Mã số: 60480201

LUẬN VĂN THẠC SĨ CÔNG NGHỆ THÔNG TIN

Người hướng dẫn khoa học: TS. LÊ HỒNG TRANG

LONG AN, 2017


1

LỜI CAM ĐOAN
Tơi xin cam đoan đây là cơng trình nghiên cứu của riêng tôi và được sự
hướng dẫn của Tiến sĩ Lê Hồng Trang. Các số liệu, kết quả nêu trong luận
văn là trung thực và những số liệu trong các bảng biểu phục vụ cho việc phân
tích, nhận xét, đánh giá được chính tác giả thu thập từ các nguồn khác nhau có
ghi rõ trong phần tài liệu tham khảo.
Ngồi ra, trong luận văn cịn sử dụng một số nhận xét, đánh giá cũng
như số liệu của các tác giả khác, cơ quan tổ chức khác đều có trích dẫn và chú
thích nguồn gốc.
Tơi xin cam đoan rằng mọi sự giúp đỡ cho việc thực hiện luận văn này
đã được cảm ơn và các thơng tin trích dẫn trong Luận văn đã được chỉ rõ
nguồn gốc.
Học viên thực hiện Luận văn

Nguyễn Thị Tố Mi


2

LỜI CẢM ƠN
Để thực hiện và hoàn thành Luận văn cao học ‘‘Nghiên cứu mơ hình tối
ưu lồi cho một số bài toán phân lớp nhị phân“, em xin gửi lời cảm ơn và biết
ơn chân thành đến các thành viên đã giúp đỡ em trong quá trình thực hiện
luận văn.
Trước tiên, em xin cảm ơn Khoa Công Nghệ Thông Tin Trường Đại
Học Vinh đã mở lớp liên kết giảng dạy tại Long An để em có cơ hội tham gia
khóa học này, em xin cảm ơn Trường Đại học Kinh tế - Công nghiệp Long
An đã phối hợp với Trường Đại học Vinh để tạo mọi điều kiện cơ sở vật chất
tốt nhất để hỗ trợ chúng em hoàn thành khóa học cao học (2015-2017). Bên

cạnh đó, em cũng xin gửi lời cảm ơn chân thành đến quý thầy cô đã tham gia
giảng dạy các bộ môn trong suốt khóa học của em. Đặc biệt, em xin gửi lời
cảm ơn và biết ơn sâu sắc đến thầy Tiến sĩ Lê Hồng Trang đã nhiệt tình
hướng dẫn, góp ý nhận xét, động viên và dành rất nhiều thời gian, tâm huyết
để nghiên cứu giúp đỡ em có thể hồn thành được luận văn cao học này. Bên
cạnh đó, em cũng xin gửi lời cảm ơn đến gia đình, bạn bè đồng nghiệp vẫn
luôn giúp đỡ và tạo điều kiện cho em dành thời gian hoàn thành luận văn cao
học của mình.
Trong lời cảm ơn này, em cũng xin kính chúc quý thầy cô Khoa Công
Nghệ Thông Tin, quý thầy cô Phòng Sau Đại học trường Đại học Vinh và quý
thầy cô Khoa liên kết đào tạo Trường Đại học Kinh tế - Cơng nghiệp Long
An nhiều sức khỏe, ln hồn thành tốt mọi công tác chuyên môn và những
công tác khác trong sự nghiệp giáo dục của quý thầy cô.
Trong quá trình thực hiện luận văn, mặc dù dành nhiều thời gian nghiên
cứu và được hỗ trợ rất nhiều từ Tiến sĩ Lê Hồng Trang nhưng sẽ không tránh
khỏi những thiếu sót và hạn chế về kiến thức nên em hy vọng quý thầy cô sau
khi
tham khảo luận văn sẽ có những góp ý nhận xét gửi đến em để em có thể
chỉnh sửa kịp thời và hồn thiện luận văn của mình hơn nữa.
Em xin chân thành cảm ơn!
Tân An, ngày 20 tháng 02 năm 2017.
Học viên

Nguyễn Thị Tố Mi


3

MỤC LỤC
LỜI CAM ĐOAN ............................................................................................. 1

LỜI CẢM ƠN ................................................................................................... 2
MỤC LỤC ......................................................................................................... 3
DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT ....................................... 5
DANH MỤC CÁC HÌNH ................................................................................. 6
DANH MỤC CÁC BẢNG................................................................................ 6
MỞ ĐẦU ........................................................................................................... 7
1.1. Đặt vấn đề ............................................................................................ 13
1.2. Các kiến thức cơ bản về tập lồi và hàm lồi .......................................... 13
1.2.1. Tập lồi ........................................................................................... 13
1.2.2. Tính tách rời của các tập lồi .......................................................... 18
1.2.3. Hàm lồi .......................................................................................... 18
1.3. Bài toán tối ưu lồi ................................................................................. 22
1.3.1. Tối ưu dạng chuẩn (standard form)............................................... 22
1.3.2. Tối ưu lồi (convex optimization) .................................................. 23
1.3.3. Tối ưu tuyến tính (linear optimization) ......................................... 25
1.3.4. Tối ưu bậc hai (quadractic optimization) ...................................... 26
1.4. Bài toán phân lớp nhị phân .................................................................. 28
1.4.1. Giới thiệu Phân lớp (classification) .............................................. 28
1.4.2. Một số hướng tiếp cận để giải bài tốn phân lớp nhị phân ........... 28
Chương 2: MƠ HÌNH TỐI ƯU LỒI CHO CÁC BÀI TOÁN PHÂN LỚP NHỊ
PHÂN .............................................................................................................. 30
2.1. Phân lớp cơ bản .................................................................................... 30
2.1.1. Giới thiệu....................................................................................... 30
2.1.2. Hướng tiếp cận phân lớp cơ bản ................................................... 30
2.1.3. Ví dụ phân lớp cơ bản ................................................................... 31
2.2. Phân lớp dạng Robust .......................................................................... 31
2.2.1. Giới thiệu....................................................................................... 31
2.2.2. Hướng tiếp cận phân lớp dạng Robust .......................................... 32
2.2.3. Ví dụ phân lớp nhị phân dạng Robust........................................... 33
2.3. Phân lớp mơ hình Logistic ................................................................... 34

2.3.1. Giới thiệu....................................................................................... 34
2.3.2. Hướng tiếp cận phân lớp mơ hình Logistic .................................. 34
2.3.3. Ví dụ phân lớp nhị phân mơ hình Logistic ................................... 36
2.4. Phân lớp Support Vector Classifer....................................................... 36
2.4.1. Giới thiệu....................................................................................... 36
2.4.2. Mơ hình Support Vector Classifer ................................................ 37
2.4.3. Ví dụ phân lớp Support Vector Classifer (SVM) ......................... 39
2.5. Phân lớp bậc hai ................................................................................... 40


4

2.5.1. Giới thiệu....................................................................................... 40
2.5.2. Hướng tiếp cận phân lớp bậc hai .................................................. 40
2.5.3. Ví dụ phân lớp bậc hai .................................................................. 42
2.6. Phân lớp đa thức ................................................................................... 42
2.6.1. Giới thiệu....................................................................................... 42
2.6.2. Hướng tiếp cận phân lớp đa thức .................................................. 43
2.6.3. Ví dụ phân lớp đa thức .................................................................. 44
Chương 3: XÂY DỰNG ỨNG DỤNG PHÂN LỚP NHỊ PHÂN .................. 45
3.1. Giới thiệu phân lớp với thuật toán Support Vector Machine .............. 45
3.2. Giới thiệu cơng cụ mơ hình hóa CVX ................................................. 48
3.3. Thực thi một số ứng dụng số phân lớp nhị phân tuyến tính ................ 50
3.4. Đánh giá thực nghiệm .......................................................................... 55
3.5. Ứng dụng lọc thư spam với thuật toán Support Vector Machine ........ 58
3.6. Nhận xét và đề xuất .............................................................................. 66
KẾT LUẬN ..................................................................................................... 67
TÀI LIỆU THAM KHẢO ............................................................................... 68

5

DANH MỤC CÁC KÝ HIỆU, CÁC TỪ VIẾT TẮT
SVM
Support Vector Machine (Máy vec-tơ hỗ trợ)
SDP

Semi-Definite Programing
Bất đẳng thức theo từng thành phần

domf

Miền xác định

C, D

Tập lồi

epi f

Đồ thị trên

f  x 

Đạo hàm bậc nhất

2 f  x 

Đạo hàm bậc hai

Sn

Hàm bậc hai

s.t.

Subject to (thỏa mãn)


6

DANH MỤC CÁC HÌNH
Hình 1. 1: Bao lồi. ........................................................................................... 14
Hình 1. 2: Tổ hợp nón. .................................................................................... 15
Hình 1. 3: Siêu phẳng. ..................................................................................... 15
Hình 1. 4: Nửa khơng gian. ............................................................................. 16
Hình 1. 5: Đa diện. .......................................................................................... 17
Hình 1. 6: Siêu phẳng hỗ trợ. .......................................................................... 17
T
Hình 1. 7: Siêu phẳng x | a x  b tách C và D . .......................................... 18





Hình 1. 8: Xấp xỉ bậc nhất của hàm f ........................................................... 20
Hình 1. 9: Đồ thị trên. ..................................................................................... 21
Hình 1. 10: Điều kiện tối ưu với f0 khả vi. ...................................................... 25
Hình 1. 11: Tập phương án là một đa diện. .................................................... 26
Hình 1. 12: Bài tốn cực tiểu một hàm bậc hai lồi trên một đa diện. ............. 27

Hình 1. 13: Ví dụ phân lớp nhị phân. .............................................................. 28
Hình 1. 14: Mơ hình phân lớp tuyến tính. ....................................................... 29
Hình 2. 1: Phân lớp cơ bản. ............................................................................. 31
Hình 2. 2: Giải pháp của bài tốn phân biệt tuyến tính Robust. ..................... 34
Hình 2. 3: Phân lớp nhị phân qua mơ hình logistic......................................... 36
Hình 2. 4: Phân lớp tuyến tính qua quy hoạch tuyến tính. .............................. 37
Hình 2. 5: Phân lớp tuyến tính qua phương pháp phân lớp hỗ trợ vector với
........................................................................................................... 39
Hình 2. 6: Phân lớp bậc hai với điều kiện là P 0 . ........................................ 42
Hình 2. 7: Mức độ tối thiểu của phân lớp đa thức trong không gian 2 . ...... 44
Hình 3. 1: Mơ hình phân lớp trong Khai phá dữ liệu...................................... 47
Hình 3. 2: Ví dụ dữ liệu chưa phân lớp. .......................................................... 48
Hình 3. 3: Phân lớp đơn giản sử dụng một hàm affine. .................................. 51
Hình 3. 4: Phân lớp nhị phân qua bài toán tối ưu. .......................................... 52
Hình 3. 5: Phân lớp nhị phân tuyến tính sử dụng Support Vector Classifier. 54
Hình 3. 6: Thời gian chạy của ba trình giải khi M, N nhỏ. ............................. 56
Hình 3. 7: Thời gian chạy của ba trình giải khi M, N lớn. .............................. 57
DANH MỤC CÁC BẢNG
Bảng 3. 1: Thời gian và nghiệm thực thi trên 10 bộ dữ liệu ngẫu nhiên. ....... 55
Bảng 3. 2: So sánh kết quả lọc trích email spam từ các thuật toán. ................ 61
Bảng 3. 3: Kết quả phân lớp............................................................................ 63
Bảng 3. 4: Sự kết hợp các thuật toán phân lớp ............................................... 65
Bảng 3. 5: Kết quả kết hợp các thuật toán lọc thư spam. ................................ 65


7

MỞ ĐẦU
1. Lý do chọn đề tài
Tối ưu hóa là một trong các lĩnh vực kinh điển của toán học có ảnh

hưởng đến các ngành khoa học – cơng nghệ và kinh tế - xã hội. Trong thực tế,
tối ưu là một công cụ quan trọng trong khoa học quyết định và phân tích các
hệ thống vật lý đặc biệt khi muốn tìm giải pháp tối ưu cho một bài toán hay
vấn đề nào cần xác định các mục tiêu là các đại lượng đo được như lợi nhuận,
thời gian, năng lượng,…dựa trên các đặc trưng của hệ thống từ đó xác định
phương án để tối ưu mục tiêu cần tìm. Phương án tối ưu là phương án hợp lý
nhất, tốt nhất, tiết kiệm chi phí, tài nguyên, nguồn lực mà lại cho hiệu quả
cao.
Bài toán tối ưu lồi là một trong các bài toán cơ bản của bài toán tối ưu,
bài toán đã tạo ra một tiền đề, mở ra một hướng giải quyết mới cho các bài
toán trong ngành khoa học kỹ thuật máy tính hiện nay. Trong đó, việc xây
dựng mơ hình tối ưu lồi cho các bài toán phân lớp nhị phân là vấn đề cấp bách
cần nghiên cứu và ứng dụng rộng rãi. Về phương diện tính tốn có rất nhiều
phương pháp để phân lớp bài tốn nhị phân tuy nhiên, việc sử dụng mơ hình
tối ưu lồi để xây dựng các ứng dụng phân lớp nhị phân tuyến tính đã và đang
được chú ý phát triển.
Phân lớp nhị phân tuyến tính là một khái niệm tổng quát về phân lớp
tuyến tính của Fisher, một phương pháp được sử dụng trong thống kê
(statistics), nhận dạng mẫu (Pattern Recognition), học máy (Learning
Machine), khai phá dữ liệu (Data Mining) để tìm một sự kết hợp tuyến tính
của các tính năng đặc trưng để tách hai lớp của các đối tượng hoặc sự kiện.
Kết quả của sự kết hợp này là tách hai tập điểm bằng một siêu phẳng.
Với lý do muốn tìm hiểu, nghiên cứu các mơ hình tối ưu lồi (Covex
Optimization) và ứng dụng vào bài tốn phân lớp, đồng thời tìm hiểu các
phương pháp dùng để phân lớp bài toán phân lớp mà cụ thể là bài toán phân
lớp nhị phân, được sự đồng ý của thầy Tiến sĩ Lê Hồng Trang nên tôi đã chọn
và thực hiện luận văn Nghiên cứu mơ hình tối ưu lồi cho bài toán phân lớp
nhị phân.

8

2. Lịch sử vấn đề
Trãi qua quá trình hình thành và phát triển việc phân lớp đã trở nên đơn giản
hơn với con người thông qua nhiều phương pháp và kỹ thuật khác nhau. Tuy
nhiên, việc sử dụng kỹ thuật phân lớp nhị phân tuyến tính bằng cách sử dụng
mơ hình Tối ưu lồi là một hướng đi mới và tiềm năng hơn. Qua đó, người
dùng có thể linh động lựa chọn một số phương pháp phân lớp tuyến tính hay
phi tuyến. Đặc biệt, các ứng dụng phân lớp này đều có thể chạy trên mơi
trường Matlab và cơng cụ mơ hình CVX.
3. Đối tượng và phạm vi nghiên cứu
3.1. Đối tượng
3.1.1. Nghiên cứu lý thuyết
Nghiên cứu bài toán tối ưu toán học, cụ thể là tối ưu lồi.
Nghiên cứu bài toán phân lớp nhị phân, cụ thể là các phương pháp phân lớp
nhị phân như phân lớp nhị phân tuyến tính và phân lớp nhị phân phi tuyến.
3.1.2. Nghiên cứu thực nghiệm
Nghiên cứu sử dụng cơng cụ lập trình Matlab và công cụ CVX để xây dựng
và thực thi ứng dụng minh họa cho bài toán phân lớp nhị phân tuyến tính với
phương pháp phân lớp nhị phân Support Vector Machine.
3.2. Phạm vi
Luận văn tập trung nghiên cứu việc ứng dụng mơ hình tối ưu lồi cho một số
bài tốn phân lớp nhị phân và các ví dụ minh họa.
Trong phạm vi luận văn này, tập trung nghiên cứu nhằm thể hiện một ứng
dụng cụ thể với phương pháp phân lớp nhị phân Support Vector Machine.
4. Mục đích, nhiệm vụ nghiên cứu
Luận văn sẽ tập trung thực hiện những mục đích sau đây:
4.1. Mục đích tổng qt
Nghiên cứu mơ hình tối ưu lồi cho một số bài tốn phân lớp nhị phân.

9

4.2. Mục đích cụ thể
(i) Nghiên cứu mơ hình tối ưu lồi.
(ii) Nghiên cứu bài toán phân lớp nhị phân.
(iii) Nghiên cứu việc áp dụng mơ hình tối ưu lồi để giải một số bài toán phân
lớp nhị phân tuyến tính và phân lớp nhị phân phi tuyến.
(iv) Nghiên cứu cơng cụ tính tốn số (Matlab và CVX) cho mơ hình tối ưu lồi.
(v) Xây dựng ứng dụng và sử dụng phương pháp phân lớp nhị phân tuyến tính
Support Vector Machine để thực thi một ứng dụng minh họa.
5. Phương pháp nghiên cứu
Luận văn chủ yếu được thực hiện bằng 02 phương pháp sau:
5.1. Phương pháp offine
- Nghiên cứu mô hình Tối ưu lồi và bài tốn phân lớp nhị phân trong cuốn
sách Stephen Boyd & Lieven Vandenberghe, Convex Optimization,
Cambridge University Press, 2004.
- Trao đổi báo cáo với giáo viên hướng dẫn, bạn bè các nội dung đã tìm đọc
sau khi nghiên cứu.
5.2. Phương pháp online
Nghiên cứu công cụ mô hình CVX thơng qua website:
/>Nghiên cứu cơng cụ lập trình Matlab qua website:
/>5. Đóng góp của luận văn
- Luận văn đã xây dựng nên các phương pháp phân lớp thông qua các mơ
hình Tối ưu lồi.
- Áp dụng các phương pháp phân lớp tuyến tính và phương pháp phân lớp phi
tuyến để minh họa cho bài toán phân lớp nhị phân với mơ hình Tối ưu lồi.


10

- Xây dựng và thực thi ứng dụng trên môi trường cơng cụ lập trình Matlab và
cơng cụ mơ hình CVX để minh họa cho bài toán phân lớp nhị phân tuyến tính.
- Luận văn cũng đánh giá được quá trình thực thi bài tốn tối ưu lồi qua 03
trình giải SDPT3, Sedumi, và Mosek khi bộ dữ liệu lớn và nhỏ.
6. Cấu trúc của luận văn
Luận văn được thực hiện trong 03 chương cụ thể:
CHƯƠNG 1: TỔNG QUAN
Trong chương này sẽ trình bày sự cần thiết của việc nghiên cứu mơ hình tối
ưu lồi và bài tốn phân lớp nhị phân; Giới thiệu tổng quan về các khái niệm
kiến thức cơ bản tập lồi, làm hồi; Giới thiệu về các bài toán tối ưu lồi; Giới
thiệu bài toán phân lớp nhị phân. Nội dung của Chương 1 được trình bày như
sau:
1.1.

Đặt vấn đề

1.2.

Các kiến thức cơ bản về tập lồi và hàm lồi
1.2.1. Tập lồi
1.2.2. Tính tách rời của các tập lồi
1.2.3. Hàm lồi

1.3.

Bài toán tối ưu lồi
1.3.1. Tối ưu dạng chuẩn (standard form)
1.3.2. Tối ưu lồi (convex optimization)
1.3.3. Tối ưu tuyến tính (linear optimization)

1.3.4. Tối ưu bậc hai (quadractic optimization)

1.4.

Bài toán phân lớp nhị phân
1.4.1. Giới thiệu
1.4.2. Một số hướng tiếp cận để giải bài toán phân lớp nhị phân


11

CHƯƠNG 2: MƠ HÌNH TỐI ƯU LỒI CHO CÁC BÀI TỐN PHÂN
LỚP NHỊ PHÂN
Trong chương này sẽ trình bày các phương pháp dùng để phân lớp nhị phân
tuyến tính được sử dụng phổ biến hiện nay như là phân lớp cơ bản, phân lớp
dạng Robust, Phân lớp mơ hình Logistic, Phân lớp Support Vector Classifer
và các phương pháp dùng để phân lớp nhị phân phi tuyến như là phân lớp bậc
hai, phân lớp đa thức mà cụ thể là sẽ giới thiệu về các phương pháp đó, hướng
tiếp cận và ví dụ minh họa cho từng phương pháp với cơng cụ lập trình
Matlab và cơng cụ CVX. Nội dung của Chương 2 được trình bày như sau:
2.1.

Phân lớp cơ bản
2.1.1. Giới thiệu
2.1.2. Hướng tiếp cận phân lớp cơ bản
2.1.3. Ví dụ phân lớp cơ bản

2.2.

Phân lớp dạng Robust

2.2.1. Giới thiệu
2.2.2. Hướng tiếp cận phân lớp dạng Robust
2.2.3. Ví dụ phân lớp nhị phân dạng Robust

2.3.

Phân lớp mơ hình Logistic
2.3.1. Giới thiệu
2.3.2. Hướng tiếp cận phân lớp mơ hình Logistic
2.3.3. Ví dụ phân lớp nhị phân mơ hình Logistic

2.4.

Phân lớp Support Vector Classifer
2.4.1. Giới thiệu
2.4.2. Mơ hình Support Vector Classifer
2.4.3. Ví dụ phân lớp Support Vector Classifer

2.5. Phân lớp bậc hai
2.5.1. Giới thiệu


12

2.5.2. Hướng tiếp cận phân lớp bậc hai
2.5.3. Ví dụ phân lớp bậc hai
2.6. Phân lớp đa thức
2.6.1. Giới thiệu
2.6.2. Hướng tiếp cận phân lớp đa thức
2.6.3. Ví dụ phân lớp đa thức

CHƯƠNG 3: XÂY DỰNG ỨNG DỤNG PHÂN LỚP NHỊ PHÂN
Trong chương này sẽ giới thiệu về mơ hình phân lớp Support Vector
Machine, cơng cụ mơ hình CVX sau đó xây dựng ứng dụng phân lớp nhị phân
mà cụ thể là trên mơ hình Support Vector Machine, hàm affine, phân lớp
tuyến tính qua bài tốn tối ưu. Demo minh họa ứng dụng số phân lớp nhị
phân đó với cơng cụ lập trình Matlab và cơng cụ mơ hình CVX. Sau đó, đánh
giá nhận xét kết quả và đề xuất hướng phát triển trong thời gian sắp tới. Nội
dung của Chương 3 được trình bày như sau:
3.1. Giới thiệu
3.2. Mơ hình Support Vector Machine
3.3. Giới thiệu cơng cụ mơ hình hóa CVX
3.4. Thực thi một số ứng dụng số phân lớp nhị phân
3.5. Nhận xét và đề xuất


13

Chương 1: TỔNG QUAN
Trong chương này sẽ trình bày sự cần thiết của việc nghiên cứu mơ hình tối
ưu lồi và bài toán phân lớp nhị phân; Giới thiệu tổng quan về các khái niệm
kiến thức cơ bản tập lồi, làm hồi; Giới thiệu về các bài toán tối ưu lồi; Giới
thiệu bài toán phân lớp nhị phân. Nội dung của Chương 1 được trình bày như
sau:
1.1. Đặt vấn đề
Tối ưu (Optimization) là một công cụ quan trọng trong khoa học quyết định
và phân tích các hệ thống vật lý.
Để sử dụng tối ưu ta cần:
 Xác định các mục tiêu (objective) là các đại lượng đo được như lợi
nhuận, thời gian, năng lượng,…
 Các mục tiêu dựa trên các đặc trưng của hệ thống, gọi là các biến

(variables) tức là đại lượng chưa biết.
 Tìm các giá trị của biến để tối ưu (optimize) mục tiêu.
Bài toán tối ưu lồi là một trong các bài toán cơ bản của bài toán tối ưu, bài
toán đã tạo ra một tiền đề, mở ra một hướng giải quyết mới cho các bài tốn
trong ngành khoa học kỹ thuật máy tính hiện nay.
1.2. Các kiến thức cơ bản về tập lồi và hàm lồi
1.2.1. Tập lồi
 Tập affine (affine set)
Đường (line)
Cho x1 , x2 

n

, đường thẳng x1 , x2 là tập tất cả các điểm

x   x1  1    x2 ,  
Tập affine là tập chứa đường đi qua hai điểm phân biệt bất kỳ trong tập
đó.


14

 Tập lồi
Đoạn thẳng (line segment)
Cho x1 , x2 

n

, đoạn thẳng giữa x1 và x2 là tập tất cả các điểm

x   x1  1    x2 , 0    1 .
Tập lồi (convex set) là tập chứa hai đoạn thẳng giữa hai điểm phân biệt
bất kỳ trong tập đó.
x1 , x2  C, 0    1, thì x   x1  1    x2  C

 Tổ hợp lồi (convex combination)
Cho x1 , x2 ,..., xk 

n

,

x  1 x1  2 x2 ,...,k xk ,
được gọi là một tổ hợp lồi của x1 , x2 ,..., xk , với

1  2  ...  k  1, i  0
 Bao lồi (convex hull)
Conv S là tập tất cả các tổ hợp lồi của các điểm trong S

Hình 1. 1: Bao lồi.
Bao lồi (convex hull) là tập lồi nhỏ nhất chứa S .
 Tổ hợp nón (conic combination)
Cho x1 , x2 ,..., xk 

n

,


15

x  1 x1  2 x2 ,
được gọi là một tổ hợp nón (khơng âm) của x1 và x2 , với 1 ,2  0.

Hình 1. 2: Tổ hợp nón.
 Nón lồi (convex cone)
Nón lồi là một tập chứa tất cả các tổ hợp nón của các điểm trong tập đó.
 Siêu phẳng (hyperplane)





T
Siêu phẳng là tập dạng x | a x  b với a  0 .

Hình 1. 3: Siêu phẳng.
 Nửa không gian (halfspace)





T
Nửa không gian là tập dạng x | a x  b , với a  0 .


16

Hình 1. 4: Nửa khơng gian.

Trong đó:
- a là vector pháp tuyến.
- Siêu phẳng là affine và lồi, nửa không gian là lồi.
 Đa diện (polyhedra)
Đa diện là tập nghiệm của một số hữu hạn các phương trình và bất phương
trình tuyến tính

Ax b, Cx  d ,
Trong đó A 

mn

,C 

pn

(compomentwise inequality).

và

là bất đẳng thức theo từng thành phần


17

Hình 1. 5: Đa diện.
Một đa diện là giao của một tập hữa hạn các nửa không gian và siêu phẳng.
 Siêu phẳng hỗ trợ (supporting hyperplane)
Siêu phẳng hỗ trợ của tập C tại một điểm biên x0 là

x | a

T

x  aT x0  ,

Trong đó a  0 và a x  a x0 với mọi x  C .
T

T

Định lý
Nếu C là lồi, thì ln tồn tại một siêu phẳng hỗ trợ tại bất kỳ một điểm biên
nào của C .

Hình 1. 6: Siêu phẳng hỗ trợ.


18

1.2.2. Tính tách rời của các tập lồi
Định lý:
Nếu C và D là hai tập lồi khác rỗng và phân biệt, thì ln tồn tại a≠0 và b sao
cho:

aT x  b với x  C , aT x  b , với x  D





T
Hình 1. 7: Siêu phẳng x | a x  b tách C và D .

Hình 1.7 thể hiện thơng qua hình học siêu phẳng tách hai tập C và D .
1.2.3. Hàm lồi
Định nghĩa

f:

n



là lồi nếu dom f (miền xác định) là một tập lồi và
f ( x  1    y)   f  x   1    f  y  ,

với mọi x, y  domf , 0    1 .


19

Lưu ý:
 f là lõm (convace) nếu  f là lồi.
 f là lồi ngặt (strictly convex) nếu dom f là lồi và
f ( x  1    y)   f  x   1    f  y  , với mọi

x, y  domf , x  y,0    1.

 Hàm lồi trên

o Hàm lồi
 Hàm affine a x  b trên
 Hàm mũ: e

ax

, với a, b .

, với a  .

 Hàm trị tuyệt đối: x

p

 Hàm lũy thừa: x trên

, với p  1 .

trên


, với   1 hoặc   0 .

o Hàm lõm
 Hàm affine a x  b trên

, với a, b 

 Hàm lũy thừa: x trên



 Hàm logarit: log x trên

, với 0    1.



.

 Các hàm affine là lồi và lõm.
 Các hàm chuẩn (norm) là lồi.
Ví dụ:

.


20

T
 Hàm affine f ( x)  a x  b trên

 Hàm chuẩn (norm): x p 



n

x
i 1 i

với a, b 
p



1

p

.

, p  1 , nếu p =2, ta có

chuẩn ơclit (Euclidean).
 Tính chất của hàm lồi
- Điều kiện bậc nhất:
Tính khả vi (differentiable) – có thể lấy đạo hàm: f là một hàm khả vi nếu

dom f là mở và gradient
 f  x  f  x  f  x  
f  x   
,
,...,


x

x
xn 

2
 1

tồn tại với mỗi x  dom f .
Một hàm khả vi f với dom f là lồi nếu và chỉ nếu

f  y   f  x   f  x   y  x  với mọi x, y  dom f .
T

Hình 1. 8: Xấp xỉ bậc nhất của hàm f .
- Điều kiện bậc hai:
Tính khả vi hai lần (twice differentiable)

f là một hàm khả vi hai lần nếu dom f là mở và Hessian

 f  x ij 
2

tồn tại với mỗi x  dom f .

2 f  x
xi x j

, i, j  1,..., n.


21

Cho hàm khả vi hai lần f với dom f là lồi,
2

 f là lồi nếu và chỉ nếu  f  x  0 với mọi x  dom f .

 Nếu 2 f  x  0 với mọi x  dom f , thì f là lồi ngặt.
Ví dụ hàm bậc hai (quadratic)
T
T
n
Xét hàm f  x   1 2 x Px  q x  r với P  S . Ta có

f  x   Px  q, 2 f  x   P.

f  x  là lồi nếu P 0 .

 Hàm bình phương tối thiểu (least-square)
Xét hàm f  x   Ax  b 2 . Ta có
2

f  x   2 AT  A x  b  , 2 f  x   2 AT A .
f  x  là lồi với A bất kỳ.

 Đồ thị trên (epigraph)
Cho hàm f :

n



, đồ thị trên của f được thể hiện dưới hình 1.8



epi f   x, t  

n 1

| x  dom f , f  x   t

Hình 1. 9: Đồ thị trên.
Tính chất:

f là lồi nếu và chỉ nếu epi f là một tập lồi.


22

1.3. Bài toán tối ưu lồi
1.3.1. Tối ưu dạng chuẩn (standard form)
min f 0  x 
s.t. fi  x   0 , i  1,..., m,
hi ( x)  0 , i  1,..., p,

 x

n

là biến tối ưu



f0 :

n



là hàm ràng buộc đẳng thức



fi :

n



là hàm ràng buộc bất đẳng thức

Giá trị tối ưu (optimal value)

p*  inf  f0  x  | fi  x   0, i  1,...,m, h i  x   0, i  1,..., p
 p*   nếu tập phương án rỗng (infeasible problem).
 p*   nếu bài tốn khơng bị chặn dưới (unbounded below)


Điểm tối ưu và tối ưu địa phương

x là một phương án nếu

x  dom f0 và thõa mãn các ràng buộc.

*
Một phương án x là tối ưu nếu f0  x   p ; X opt là tập các điểm tối ưu.

x là tối ưu địa phương (locally optimal) nếu tồn tại một r  0 sao cho x là
điểm tối ưu của:

min f 0  z 
s.t.

f i  z   0, i  1,..., m,

hi  z   0, i  1,..., p,
zx

2

 r.


23



Bài toán khả thi (feasibility problem)

find x
s.t. fi  x   0, i  1,..., m,
hi  x   0, i  1,..., p.
 Bài toán trên là trường hợp đặc biệt của bài toán tối ưu tổng quát với
f0  x   0 :

min

0

s.t. fi  x   0, i  1,..., m,
hi  x   0, i  1,..., p.
 p*  0 nếu tập phương án khác rỗng, mọi phương án x là tối ưu.
 p*   nếu tập phương án là rỗng.
1.3.2. Tối ưu lồi (convex optimization)
Dạng chuẩn
min
s.t.

f0  x 
f i  x   0,

aiT x  bi ,

i  1,..., m,

i  1,..., p.

 f0 , f1 ,..., f m là các hàm lồi.
 Các ràng buộc đẳng thức là các hàm affine.
Dạng ma trận
min
s.t.

f0  x 

f i  x   0,

i  1,..., m,

Ax  b.

Tính chất quan trọng: Tập phương án của một bài tốn tối ưu lồi là lồi.
Ví dụ: