Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng vào bài toán chấp nhận tách (LV thạc sĩ)

ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC KHOA HỌC

ĐÀO THU THỦY

PHƯƠNG PHÁP CHIẾU ĐẠO HÀM
GIẢI BÀI TOÁN TỐI ƯU LỒI VÀ
ÁP DỤNG VÀO BÀI TOÁN CHẤP NHẬN TÁCH

LUẬN VĂN THẠC SĨ TOÁN HỌC

THÁI NGUYÊN - 2015


ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC KHOA HỌC

ĐÀO THU THỦY

PHƯƠNG PHÁP CHIẾU ĐẠO HÀM
GIẢI BÀI TOÁN TỐI ƯU LỒI VÀ
ÁP DỤNG VÀO BÀI TOÁN CHẤP NHẬN TÁCH

Chuyên ngành: Toán ứng dụng
Mã số:

60 46 01 12

LUẬN VĂN THẠC SĨ TOÁN HỌC

NGƯỜI HƯỚNG DẪN KHOA HỌC

GS.TSKH. LÊ DŨNG MƯU

THÁI NGUYÊN - 2015


i

Mục lục

Danh mục các ký hiệu, các chữ viết tắt

iii

mở đầu

1

1

Kiến thức chuẩn bị

4

1.1

Không gian Hilbert . . . . . . . . . . . . . . . . . . . . . .

4

1.1.1

Không gian tiền Hilbert . . . . . . . . . . . . . . .

4

1.1.2

Không gian Hilbert . . . . . . . . . . . . . . . . . .

7

1.2

2

Tập lồi, hàm lồi . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.1

Tập lồi . . . . . . . . . . . . . . . . . . . . . . . . 10

1.2.2

Hàm lồi . . . . . . . . . . . . . . . . . . . . . . . . 15

Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp dụng
vào bài toán chấp nhận tách

24

2.1

Bài toán tối ưu lồi . . . . . . . . . . . . . . . . . . . . . . . 24

2.2

Thuật toán chiếu đạo hàm . . . . . . . . . . . . . . . . . . . 32

2.3

2.2.1

Toán tử chiếu lên tập lồi trong không gian Hilbert . . 32

2.2.2

Trình bày thuật toán . . . . . . . . . . . . . . . . . 40

2.2.3

Định lý hội tụ . . . . . . . . . . . . . . . . . . . . . 41

2.2.4

Ví dụ minh họa . . . . . . . . . . . . . . . . . . . . 43

Áp dụng vào bài toán chấp nhận tách . . . . . . . . . . . . . 45
2.3.1

Phát biểu bài toán chấp nhận tách . . . . . . . . . . 45

ii
2.3.2

Áp dụng phương pháp chiếu đạo hàm giải bài toán
chấp nhận tách . . . . . . . . . . . . . . . . . . . . 46

Tài liệu tham khảo

54


iii

Danh mục các ký hiệu, các chữ viết tắt
H

không gian Hilbert thực

R

Tập số thực R

[a, b]

Đoạn đóng của tập hợp số thực với các đầu mút a, b và
a
(a, b)

Khoảng mở của tập hợp số thực với các đầu mút a, b và
a
∀

Với mọi

∃

Tồn tại

,

Tích vô hướng

.

Chuẩn

I

Ánh xạ đồng nhất

PD (x)

Hình chiếu của x lên D

⊥

Vuông góc

⊂

Nằm trong

∩

Giao

⊕

Tổng trực tiếp


1

Mở đầu
Tối ưu hóa được khởi nguồn như một ngành của Toán học, có rất nhiều
ứng dụng trong quy hoạch tài nguyên, thiết kế chế tạo máy, điều khiển tự
động, quản trị kinh doanh...trong việc tạo nên các hệ hỗ trợ ra quyết định
trong quản lý và phát triển các hệ thống lớn.
Chính vì vậy, các lĩnh vực của tối ưu hóa ngày càng trở nên đa dạng mang
nhiều tên gọi khác nhau như Quy hoạch toán học, Điều khiển tối ưu, Vận trù
học, Lý thuyết trò chơi...Hiện nay môn học Tối ưu hóa được đưa vào giảng
dạy trong nhiều chương trình đào tạo đại học cho các ngành khoa học cơ
bản. Một trong những bài toán quan trọng của Tối ưu hóa là bài toán tối ưu
lồi. Trong luận văn này ta sẽ xét bài toán tối ưu lồi trong không gian Hilbert
và một phương pháp cơ bản để giải bài toán này là phương pháp chiếu đạo
hàm. Thuật toán chiếu đạo hàm trong nhiều đề tài luận văn khác còn có tên

gọi là thuật toán gradient là khá phổ biến trong lý thuyết tối ưu. Tính thông
dụng của thuật toán này bắt nguồn từ phép chiếu của các điểm trên miền
ràng buộc hoặc các miền ràng buộc xấp xỉ. Phép chiếu này có thể được thực
hiện dễ dàng trên máy tính với một số cấu trúc của miền ràng buộc như hình
hộp, hình cầu, thậm chí là đa diện. Thông qua đó, ta nghiên cứu sâu hơn về
phương pháp chiếu đạo hàm trong việc giải bài toán chấp nhận tách cũng là
một bài toán có nhiều ứng dụng và đang được nhiều người quan tâm nghiên
cứu.
Cho H là một không gian Hilbert thực với tích vô hướng ., . và chuẩn


2
.

tương ứng. Cho D là một tập lồi, đóng, khác rỗng trong H và f : D →

R lồi trên D. Trong luận văn này ta sẽ xét hai bài toán:
Bài toán thứ nhất là bài toán tối ưu lồi: Tìm
x∗ ∈ D : f (x∗ ) ≤ f (x) ∀x ∈ D
hoặc viết tương đương min{f (x) : x ∈ D}.
Bài toán thứ hai là bài toán chấp nhận tách:
Cho C ⊂ Rn và D ⊂ Rm là các tập lồi đóng, khác rỗng. Tìm
x∗ ∈ C : Ax∗ ∈ D
trong đó A : Rn → Rm là toán tử tuyến tính liên tục.
Mục đích của luận văn là:
- Tổng hợp lại kiến thức cơ bản nhất về bài toán tối ưu lồi trong không gian
Hilbert.
- Trình bày phương pháp chiếu đạo hàm giải bài toán tối ưu lồi trong không
gian Hilbert.
- Áp dụng phương pháp chiếu đạo hàm vào bài toán chấp nhận tách.

Nội dung của luận văn gồm hai chương:
Chương 1: Kiến thức chuẩn bị. Chương này tác giả tập trung trình bày
lại kiến thức cơ bản về không gian Hilbert và giải tích lồi.
Chương 2: Phương pháp chiếu đạo hàm giải bài toán tối ưu lồi và áp
dụng vào bài toán chấp nhận tách. Chương này tác giả trình bày hai thuật
toán để giải bài toán tối ưu lồi và bài toán chấp nhận tách.
Luận văn này được hoàn thành tại trường Đại học Khoa học, Đại học
Thái Nguyên dưới sự giúp đỡ và hướng dẫn tận tình của GS.TSKH Lê Dũng
Mưu. Qua đây, tác giả xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới Thầy,
người đã dành nhiều thời gian và tâm huyết để hướng dẫn và tạo điều kiện
cho tác giả trong suốt thời gian làm luận văn.


3
Trong quá trình học tập và làm luận văn, từ bài giảng của các Giáo sư,
Phó Giáo sư công tác tại Viện Toán học, Viện Công nghệ Thông tin, các thầy
cô trong trường Đại học Khoa học, Đại học Thái Nguyên, tác giả đã trau dồi
thêm rất nhiều kiến thức phục vụ cho việc nghiên cứu và công tác của bản
thân. Tác giả xin gửi lời cảm ơn chân thành đến các thầy cô.
Cuối cùng tác giả xin gửi lời cảm ơn tới gia đình, bạn bè, lãnh đạo đơn
vị công tác và đồng nghiệp đã luôn động viên, giúp đỡ và tạo điều kiện tốt
nhất cho tác giả trong quá trình học tập, nghiên cứu và làm luận văn.
Thái Nguyên, tháng 12 năm 2015
Học viên
Đào Thu Thủy


4

Chương 1

Kiến thức chuẩn bị
Trong chương này, ta sẽ trình bày lại một số kết quả sẽ được dùng cho
chương sau. Đó là kiến thức cơ bản về không gian Hilbert và giải tích lồi.
Nội dung trong chương được trích dẫn chủ yếu từ tài liệu tham khảo [1], [2],
[3], [4], [5], [6].

1.1

Không gian Hilbert

Trong toán học, không gian Hilbert (Hilbert Space) là một dạng tổng
quát hóa của không gian Euclid mà không bị giới hạn về vấn đề hữu hạn
chiều. Đó là một không gian vectơ có tích vô hướng. Hơn nữa, nó thỏa mãn
một yêu cầu nữa là tính đầy đủ để chắc chắn rằng giới hạn là tồn tại khi
cần làm các định nghĩa khác nhau trong tính toán vi tích phân dễ dàng hơn.
Không gian Hilbert đóng vai trò quan trọng trong việc hình thức hóa toán
học cơ học lượng tử. Các không gian Hilbert được đặt tên theo David Hilbert,
người nghiên cứu chúng trong ngữ nghĩa của phương trình tích phân.

1.1.1

Không gian tiền Hilbert

Định nghĩa 1.1. Không gian tiền Hilbert (hay còn gọi là không gian Unita
hoặc không gian với tích vô hướng) là một cặp (H, ., . ); trong đó: H là


5
không gian tuyến tính thực và ., . là ánh xạ được xác định như sau:

., . : H × H → R
(x, y) → x, y .
Với x, y là tích vô hướng của hai vectơ x và y thỏa mãn các điều kiện
sau:
1) x, y = y, x , ∀x, y ∈ H.
2) x + y, z = x, z + y, z , ∀x, y, z ∈ H.
3) αx, y = α x, y , ∀x, y ∈ H; α ∈ R.
4) x, x ≥ 0 ∀x ∈ H; x, x = 0 ⇔ x = 0.
Ví dụ 1.1. Lấy H = C[0,1] là không gian các hàm liên tục trên [0, 1] nhận giá
trị thực với x, y ∈ H biểu thức x, y =

1

x(t)y(t)dt xác định một tích vô

0

hướng trên C[0,1] .

Khi đó không gian này là một không gian tiền Hilbert và thường kí hiệu là
L
C[0,1]
.

Dưới đây là một số định lý quan trọng trong không gian tiền Hilbert.
Định lí 1.1. Cho (H, ., . ) là không gian tiền Hilbert. Khi đó,
x =

x, x

hay x

2

= x, x

, ∀x ∈ H

là một chuẩn trên H hay chuẩn sinh bởi tích vô hướng.
Nhận xét 1.1. (H, . ); x

=

x, x , ∀x ∈ H là không gian định

chuẩn.
Định lí 1.2. (Bất đẳng thức Schwarz) Cho (H, ., . ) là không gian tiền
Hilbert. Với ∀x, y ∈ H ta luôn có bất đẳng thức sau:
| x, y | ≤ x . y


6
hay
| x, y |2 ≤ x, x . y, y .
Dấu “ = ” xảy ra khi và chỉ khi x, y phụ thuộc tuyến tính.
Định lí 1.3. (Điều kiện bình hành) Cho (H, ., . ) là không gian tiền
Hilbert. Với ∀x, y ∈ H ta suy ra chuẩn trong một không gian tiền Hilbert
phải thỏa mãn điều kiện:
x+y

2

+ x−y

2

=2

x

2

+ y

2

.

Đẳng thức này có nghĩa là: tổng bình phương các cạnh của một hình bình
hành bằng tổng bình phương của hai đường chéo, cho nên thường gọi là điều
kiện bình hành.
Định lí 1.4. Giả sử (H, . ) là một không gian định chuẩn trên trường R
trong đó đẳng thức bình hành nghiệm đúng với ∀x, y ∈ H:
x+y

2

+ x−y

2

=2

x

2

+ y

2

.

Khi đó, ta đặt
1
x+y 2+ x−y 2 .
4
., . là một tích vô hướng trên H và ta có x 2 = x, x ∀x ∈ H.
x, y =

Nhận xét 1.2. - Từ định nghĩa và các định lý trên ta thấy rằng: tích vô hướng
x, y là một hàm liên tục đối với x và y. Các điều kiện 2), 3) có nghĩa là:
x, y là một phiếm hàm song tuyến tính trên H và bất đẳng thức Schwarz
cho thấy phiếm hàm này bị chặn.
- Vì một không gian tiền Hilbert là không gian định chuẩn, nên mọi khái
niệm và sự kiện về không gian định chuẩn đều áp dụng cho nó. Nói riêng
một không gian tiền Hilbert có thể không đầy đủ hay đầy đủ.
- Một không gian tiền Hilbert không đủ bao giờ cũng có thể bổ sung cho
thành không gian Hilbert.

7

1.1.2

Không gian Hilbert

Định nghĩa 1.2. Nếu (H, ., . ) là không gian tiền Hilbert và đầy đủ đối với
chuẩn sinh từ tích vô hướng thì được gọi là không gian Hilbert.
Cũng tương tự như không gian tiền Hilbert, với trường R ta có không
gian Hilbert thực. Từ nay, trong luận văn này ta thống nhất kí hiệu H là một
không gian Hilbert thực.
Một số ví dụ về không gian Hilbert
1) Rn là không gian Hilbert thực với tích vô hướng
n

x, y =

x i yi
i=1

trong đó x = (x1 , x2 , ..., xn ), y = (y1 , y2 , ..., yn ) ∈ Rn .
2) Trong C[a, b] các hàm thực liên tục trên [a, b] thì ánh xạ
b

(x, y) → x, y =

x(t)y(t)dt
a

là một tích vô hướng.
Không gian (C[a, b], ., . ) là không gian Hilbert.
3) Xét không gian:
∞
2

l =

|xn |2 x < +∞

x = (xn )n ⊂ R

.

n=1

Ta đã biết l2 là không gian Banach với chuẩn x =

∞

|xn |2 .

n=1

Với x = (xn )n∈R , y = (yn )n∈R ∈ l2 , nhờ bất đẳng thức Cauchy – Schwarz
ta có:

2

∞

x n yn
n=1

≤ x

2

y

2

< +∞.


8
∞

Dễ kiểm tra rằng x, y =

n=1
∞

nó sinh bởi chuẩn x =

xn yn xác định một tích vô hướng trong l2 và
|xn |2 .

n=1

Vậy l2 là một không gian Hilbert.
4) Cho (X, A, µ) là một không gian độ đo và E ∈ A. Xét không gian




2
2
L (E, µ) = f : E → A/ |f | dµ < ∞


E

|f |2 dµ

ta đã biết L2 (E, µ) là một không gian Banach với chuẩn f =

1
2

E

Hơn nữa, với f, g ∈ L2 (E, µ), từ bất đẳng thức Holder về tích phân, ta có:


 12 

|f g| dµ ≤ 

|f |2 dµ . 

E

E

 12
|g|2 dµ < +∞.
E

Ta dễ dàng kiểm tra được f, g =

f gdµ xác định một tích vô hướng trong
E

L2 (E, µ) và L2 (E, µ) là không gian Hilbert thực.
Một số định lý quan trọng trong không gian Hilbert
Định lí 1.5. Cho H là một không gian Hilbert. Khi đó:
., . : H × H → R
là một hàm liên tục.
Định nghĩa 1.3. Hai vectơ x, y trong không gian Hilbert H được gọi là trực
giao với nhau nếu x, y = 0, kí hiệu x⊥y.
Định nghĩa 1.4. Một hệ {en } các phần tử của không gian Hilbert H gọi là
hệ trực chuẩn nếu ei , ej = δij .

.


9

 1 khi i = j

Với δij =
gọi là ký hiệu Kronecker.
 0 khi i = j
Nhận xét 1.3. Nếu hệ {en } là một hệ trực chuẩn thì với mọi x ∈ H số
ξi = x, ei gọi là hệ số Fouier của x đối với ei và chuỗi

∞
i=1 ξi ei

gọi là

chuỗi Fouier (hay khai triển Fouier) của x theo hệ {en }.
Định lí 1.6. (Bất đẳng thức Bessel) Cho hệ {en } là một hệ trực chuẩn trong
không gian Hilbert H. Khi đó với mọi x ∈ H thì:
∞
i=1

ξi2 ≤ x

2

.

Định lí 1.7. Cho hệ {en } là một hệ trực chuẩn trong không gian Hilbert H.
Khi đó với mọi x ∈ H thì chuỗi Fouier

∞
i=1 ξi ei

hội tụ và (x −

∞
i=1 ξi ei ) ⊥en ∀n.

Định lí 1.8. Hệ trực chuẩn {en } trong không gian Hilbert H là một hệ độc
lập tuyến tính.
Định lí 1.9. (Định lý Smit ) Nếu {xn } là một dãy độc lập tuyến tính trong
không gian Hilbert thì tồn tại hệ trực chuẩn {en } ⊂ H sao cho:
Lin{e1 , e2 , ..., en } =Lin{x1 , x2 , ..., xn }
với Lin{x} là không gian con sinh bởi x.
Định lí 1.10. (Đẳng thức Pythagore) Nếu {x1 , x2 , ..., xn } là hệ trực giao
trong không gian Hilbert H thì
2

n

xi
i=1

n

xi 2 .

=
i=1


10
Định lí 1.11. Giả sử {xn } là hệ trực giao trong không gian Hilbert H. Khi
∞

∞

xn hội tụ khi và chỉ khi chuỗi

đó, chuỗi
n=1

xn

2

hội tụ và

n=1
2

∞

xn

∞

xn 2 .

=
n=1

n=1

Nhận xét 1.4. Nếu {en }là hệ trực chuẩn ta có:
2

∞

αn en

∞

αn 2 .

=
n=1

n=1

Định nghĩa 1.5. Một hệ trực chuẩn {en } gọi là đầy đủ khi có vectơ 0 mới
trực giao với tất cả các phần tử của hệ:
x⊥en (n = 1, 2, ...) ⇒ x = 0.
Định lí 1.12. (Định lý Riesz – Fischer) Cho {en } là một hệ trực chuẩn đầy
đủ trong không gian Hilbert H. Nếu một dãy số {ξ} thỏa mãn điều kiện
∞

ξi2 < ∞ thì sẽ có một vectơ duy nhất x ∈ H nhận các ξi làm hệ số

i=1

Fourier và

∞

x=

ξi e i ,
i=1

1.2
1.2.1

∞

x

2

ξi2 .

=
i=1

Tập lồi, hàm lồi
Tập lồi

Định nghĩa 1.6. Cho hai điểm a, b ∈ H. Tập tất các điểm x ∈ H có dạng
x = (1 − λ)a + λb, 0 ≤ λ ≤ 1
được gọi là đoạn thẳng (đóng) nối a và b và được ký hiệu là [a, b].


11
Định nghĩa 1.7. Một tập D được gọi là tập affine nếu D chứa mọi đường

thẳng đi qua hai điểm bất kì x, y ∈ D, tức là:
∀x, y ∈ D ⇒ λx + (1 − λ)y ∈ D.
Định lí 1.13. Tập D = ∅ là tập affine ∈ D và
A(x0 ) := j : gj (x0 ) = 0
là tập chỉ số tích cực.
Gọi S(x0 ) là tập nghiệm của hệ tuyến tính sau:
∇hi (x0 ), d = 0, i = 1, ..., k,
∇gj (x0 ), d ≤ 0, j ∈ A(x0 ),
Ta dễ dàng thấy rằng
D(x0 ) ⊆ S(x0 ).


29
Chúng ta nói nghiệm tối ưu địa phương là x0 nếu
S(x0 ) = D(x0 ).
Ta có định lý sau:
Định lí 2.5. (Định lý Kuhn - Tucker) Giả sử các hàm f , gj ; hi đều là những
hàm khả vi liên tục. Gọi x∗ là nghiệm tối ưu của (P) và thỏa mãn S(x0 ) =
D(x0 ). Khi đó, tồn tại nhân tử Lagrange
λ∗ = λ∗1 , λ∗2 , ..., λ∗m ≥ 0; µ∗ = µ∗1 , µ∗2 , ..., µ∗m

(2.4)

sao cho thỏa mãn đạo hàm triệt tiêu
m

m
∗

∗

∇f (x ) +

∗

µ∗i ∇hi (x∗ ) = 0

λj ∇gj (x ) +
j=1

(2.5)

i=1

và độ lệch bù
λ∗j gj (x∗ ) = 0; ∀j = 1, m.

(2.6)

Ngược lại nếu (P) là quy hoạch lồi (tức f , gj lồi và hi affine) thì (2.4), (2.5), (2.6)
là điều kiện đủ để x∗ là nghiệm tối ưu (toàn cục) của (P).
Chứng minh. Dùng khai triển Taylor
f (x∗ + λd) = f (x∗ ) + ∇f (x∗ ), λd + r (λd) ,
chúng ta có ∇f (x∗ ), d ≥ 0 với tất cả d ∈ D(x∗ ).
Từ D(x∗ ) = S(x∗ ), chúng ta có
∇f (x∗ ), d ≥ 0
với mọi d ∈ S(x∗ ).
Áp dụng bổ đề Farkar với ma trận A có hàng
−∇gj (x∗ ), j ∈ A(x∗ ), ∇hi (x∗ ), −∇hi (x∗ ), i = 1, 2, 3, ..., k.

30
Chúng ta có các số λ∗j ≥ 0, j ∈ A(x∗ ) và αj∗ ≥ 0, βj∗ ≥ 0, i = 1, 2, ..., k
sao cho
k

λ∗j ∇gj (x∗ )

∗

∇f (x ) +
j∈A(x∗ )

αj∗ − βj∗ ∇hi (x∗ ) = 0.

+
i=1

Lấy λ∗j = 0 với mọi j ∈
/ A(x∗ ) và µ∗j = αj∗ − βj∗ với mọi i chúng ta có (2.5)
và (2.6).
Bây giờ ta giả sử f , gj lồi và hi là affine với mọi i. Ta thấy (2.4) (2.5) và
(2.6) là điều kiện đủ để x∗ ∈ D là nghiệm tối ưu của (P).
Thật vậy, nếu x∗ không là nghiệm tối ưu của (P) thì tồn tại x ∈ D sao cho
f (x) < f (x∗ ).
Nếu d = x − x∗ = 0 thì
f (x∗ + td) − f (x∗ )
< 0.
∇f (x ), d = lim
t

∗

Trong một trường hợp khác, λ∗j gj (x∗ ) = 0 với mọi i. Chúng ta có λ∗j = 0
nếu j ∈
/ A(x∗ ).
Cùng lúc, từ x ∈ D chúng ta có
∇gj (x∗ ), x − x∗ ≤ gj (x) − gj (x∗ ) ≤ 0 , ∀j ∈ A(x∗ ).
Như vậy
λ∗j ∇gj (x∗ ), d ≤ 0 ∀j.
Do hi là hàm affine nên theo tính chất của hàm affine, với mọi i chúng ta có
∇hi (x∗ ), d = 0.
Do đó, với mỗi µi ,
µ∗i ∇hi (x∗ ), d = 0 ∀i,


31
kết hợp tất cả lại ta được
m
∗

k

λ∗j

∇f (x ), d +

∗

µ∗i ∇hi (x∗ ), d < 0

∇gj (x ), d +

j=1

i=1

điều này mâu thuẫn với (2.5). Từ đó suy ra điều phải chứng minh.
Hệ quả 2.3. Đối với bài toán không ràng buộc thì (2.5) trở thành nguyên lý
Fermat
0 = ∇f (x∗ ).
Định nghĩa 2.6. Một vectơ d = 0 được gọi là hướng giảm của hàm f tại
x0 ∈ Rn . nếu:
∃λ0 > 0 : f (x0 + λd) ≤ f (x0 ) ∀λ ∈ [0, λ0 ] .
Bổ đề 2.1. Nếu ∇f (x0 ) = 0 thì vectơ d = −∇f (x0 ) là hướng giảm.
Chứng minh. Theo khai triển Taylor ta có:
f (x0 + λd) = f (x0 ) + λ d, ∇f (x0 ) + ϑ(λ).
Với ϑ(λ) là đại lượng tiến đến 0 nhanh hơn λ và
ϑ(λ)
→0
|λ|
khi |λ| → 0.
Thay d = −∇f (x0 ) ta được
f (x0 +λd) = f (x0 )+λ −∇f (x0 ), ∇f (x0 ) +ϑ(λ)−λ ∇f (x0 )
⇒ f (x0 + λ∇f (x0 )) ≤ f (x0 ) khi λ > 0 đủ nhỏ.
Do đó, −∇f (x0 ) là hướng giảm.

2

≤ f (x0 )+ϑ(λ).

32

2.2
2.2.1

Thuật toán chiếu đạo hàm
Toán tử chiếu lên tập lồi trong không gian Hilbert

Định nghĩa 2.7. Cho D = ∅ (không nhất thiết lồi) và một điểm y ∈ H, đặt
dD (x) := inf x∈D x − y .
Ta nói dD (y) là khoảng cách từ y tới D. Nếu tồn tại x0 ∈ D sao cho dD (y) =
x0 − y thì ta nói x0 là hình chiếu của y trên D. Kí hiệu là: PD (y) hoặc
đơn giản là P (y) nếu không cần nhấn mạnh đến tập chiếu D.
Chú ý: Nếu D = ∅ thì dD (y) hữu hạn, vì
0 ≤ dD (y) ≤ y − x , ∀x ∈ D.
Mệnh đề 2.1. Cho D là một tập lồi đóng khác rỗng. Khi đó:
i) Với mọi y ∈ H, x0 ∈ D hai tính chất sau là tương đương:
a) x0 = PD (y).
b) y − x0 = ND (x0 ),
trong đó, tập hợp
ND (x0 ) := w / wT (x − x0 ) ≤ 0 ∀x ∈ D
là nón pháp tuyến (ngoài) của D tại x0
ii) Với mọi y ∈ H, hình chiếu của y trên D luôn tồn tại và duy nhất.
iii) Nếu y ∈
/ D thì PD (y) − y, x − PD (y) = 0 là siêu phẳng tựa của D tại
PD (y) và tách hẳn y khỏi D, tức là:
PD (y) − y, x − PD (y) ≥ 0, ∀x ∈ D
và
PD (y) − y, y − PD (y) < 0. .

33
iv) Ánh xạ y → PD (y) có các tính chất sau:
a) PD (x) − PD (y) ≤ x − y ; ∀x, ∀y. (tính không giãn)
b) PD (x) − PD (y), x − y ≥ PD (x) − PD (y)

2

. (tính đồng bức)

Chứng minh. i) Giả sử có a). Lấy x ∈ D và λ ∈ (0, 1).
Đặt xλ := λx + (1 − λ)x0 .
Do x, x0 ∈ D và D lồi nên xλ ∈ D.
Hơn nữa do x0 là hình chiếu của y nên
x0 − y ≤ y − xλ .
Hay
x0 − y

2

≤ λ(x − x0 ) + (x0 − y)

2

.

Khai triển vế phải, ước lượng và chia hai vế cho λ > 0 ta có:
λ x − x0

2

+ 2(x − x0 , x0 − y) ≥ 0.

Điều này đúng với mọi x ∈ D và λ ∈ (0, 1).
Do đó khi cho λ tiến đến 0, ta được
x0 − y, x − x0 ≥ 0, ∀x ∈ D.
Vậy y − x0 ∈ ND (x0 ).
Bây giờ giả sử có b). Với mọi x ∈ D có:
0 ≥ (y − x0 )T (x − x0 ) = (y − x0 )T (x − y + y − x0 )
= y − x0

2

+ (y − x0 )T (x − y).

Từ đây và b), dùng bất đẳng thức Cauchy-Schwarz ta có:
y − x0

2

≤ (y − x0 )T (y − x) ≤ y − x0

y−x .


34
Suy ra
y − x0 ≤ y − x , ∀x ∈ D.
và do đó x0 = p(y).

ii) Do dD (y) = inf x∈D x − y nên theo định nghĩa của cận dưới đúng (infimum), tồn tại một dãy xk ∈ D sao cho
lim xk − y = dD (y) < +∞.
k

Vậy dãy xk bị chặn, do đó nó có một dãy con xkj hội tụ đến một điểm
x0 nào đó.
Do D đóng nên x0 ∈ D.
Vậy
x0 − y = lim xkj − y = lim xk − y = dD (y).
j

k

Chứng tỏ x0 là hình chiếu của y trên D.
Bây giờ ta chỉ ra tính duy nhất của hình chiếu. Thật vậy, nếu tồn tại 2 điểm
x0 và x1 đều là hình chiếu của y trên D, thì
y − x0 ∈ ND (x0 ), y − x1 ∈ ND (x1 ).
Tức là
x0 − y, x1 − x0 ≥ 0
và
x1 − y, x0 − x1 ≥ 0.
Cộng hai bất đẳng thức này ta suy ra
x0 − x1 ≤ 0
và do đó
x0 = x1 .


35
iii) Do y − x0 ∈ ND (x0 ) nên
x0 − y, x − x0 ≥ 0, ∀x ∈ D.

Vậy
x0 − y, x = x0 − y, x0
là một siêu phẳng tựa của D tại x0 . Siêu phẳng này tách y khỏi D vì y = x0
nên
x0 − y, y − x0 = − x0 − y

2

< 0.

iv) Theo phần ii) ánh xạ x → P (x) xác định khắp nơi.
Do z − P (z) ∈ ND (P (z)) với mọi z nên áp dụng với z = x và z = y ta có:
x − P (x), P (y) − P (x) ≤ 0
và
y − P (y), P (x) − P (y) ≤ 0.
Cộng hai bất đẳng thức lại sẽ được
P (y) − P (x), P (y) − P (x) + x − y ≤ 0.
Từ đây và theo bất đẳng thức Cauchy – Schwarz, suy ra:
P (x) − P (y) ≤ x − y .
Để chứng minh tính đồng bức, áp dụng tính chất b) của i) lần lượt với P (x)
và P (y) ta có:
P (x) − x, P (x) − P (y) ≤ 0
y − p(y), P (x) − P (y) ≤ 0.
Cộng hai bất đẳng thức ta được:
P (x) − P (y) + y − x, P (x) − P (y)
= P (x) − P (y), y − x + P (x) − P (y)

2

≤ 0.

36
Chuyển vế ta có:
P (x) − P (y), x − y ≥ P (x) − P (y)

2

.

Đây chính là tính đồng bức cần được chứng minh.

Định lí 2.6. Giả sử M là một không gian con đóng của không gian Hilbert
H. Khi đó mỗi phần tử x ∈ H được biểu diễn một cách duy nhất x = y + z
trong đó y ∈ M với y là phần tử của M gần x nhất (tức là: x − y ≤
x − u ∀u ∈ M ) và z ∈ M ⊥ (với M ⊥ = {x ∈ H; x⊥M }: gọi là phần bù
trực giao của M) được gọi là hình chiếu trực giao của x lên M.
Chứng minh. Nếu x ∈ M thì ta đặt y = x, z = 0. Nếu x ∈
/ M thì M là lồi
đóng nên tồn tại duy nhất y ∈ M sao cho
x − y = d(x, M ).
Đặt z = x − y, ta có x = y + z.
Ta phải chứng minh
z ∈ M ⊥.
Thật vậy, với mọi α ∈ K, u ∈ M ta có:
z = x − y ≤ x − (y + αu) = z − αu .
Chọn
α = z, u ; u = 1.
Ta có
0 ≤ − | z, u |2 .

Suy ra
z, u = 0, ∀u ∈ M, u = 1.


37
Vậy
z ∈ M ⊥.
Bây giờ ta chứng minh sự biểu diễn là duy nhất.
Giả sử: x = y1 + z1 , ∀y1 ∈ M, z1 ∈ M ⊥ . Khi đó
y − y1 = z1 − z
nên y − y1 ∈ M và y − y1 ∈ M ⊥ .
Ta suy ra
y − y1 , y − y1 = 0.
Vậy
y = y1 ⇒ z = z1 .
Từ tính duy nhất biểu diễn ta có thể viết H = M ⊕ M ⊥ . Định lý được chứng
minh.
Định nghĩa 2.8. Giả sử M là một không gian con đóng của không gian
Hilbert H. Xét toán tử: P : H → H. P được định nghĩa bằng cách với mọi
x ∈ H, ta lấy P x = y, trong đó x = y + z (y ∈ M, z ∈ M ⊥ ). Ta gọi P là
phép chiếu trực giao hay toán tử chiếu từ không gian H lên không gian con
đóng M.
Nhận xét 2.4. - Ký hiệu I là toán tử đồng nhất trên H ta có
z = x − y = x − P x = (I − P )x
nên I − P là toán tử chiếu từ không gian H lên không gian con đóng M ⊥ .
- Với mọi x ∈ H ta có x

2

= y

2

+ z 2 , do y⊥z. Như vậy P x =

y ≤ x nghĩa là P liên tục và P ≤ 1. Nếu M = {0} ta lấy y ∈ M thì
P y = y nên P ≥ 1, tức là P = 1.