Giải thuật cho bài toán tối ưu không trơn trong chỉnh hóa thưa và ứng dụng

ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC SƯ PHẠM
——————————–

NGUYỄN THỊ LIÊU NOA

GIẢI THUẬT
CHO BÀI TỐN TỐI ƯU KHƠNG TRƠN
TRONG CHỈNH HĨA VÀ ỨNG DỤNG

LUẬN VĂN THẠC SĨ TOÁN HỌC

Đà Nẵng - 2017


ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC SƯ PHẠM
——————————–

NGUYỄN THỊ LIÊU NOA

GIẢI THUẬT
CHO BÀI TỐN TỐI ƯU KHƠNG TRƠN
TRONG CHỈNH HĨA THƯA VÀ ỨNG DỤNG

Chuyên ngành: Giải tích
Mã số: 60.46.01.02

LUẬN VĂN THẠC SĨ TOÁN HỌC

Người hướng dẫn khoa học:

TS. Phạm Quý Mười

Đà Nẵng - 2017


LỜI CAM ĐOAN

Tơi xin cam đoan đây là cơng trình nghiên cứu của riêng tôi.
Các số liệu, kết quả nêu trong luận văn là trung thực và chưa từng được
ai cơng bố trong bất kì cơng trình nào khác.
Tác giả

Nguyễn Thị Liêu Noa


LỜI CẢM ƠN

Lời đầu tiên tác giả xin gửi lời cảm ơn đến Ban Giám Hiệu Trường Đại
học Sư phạm - Đại học Đà Nẵng đã tạo điều kiện thuận lợi cho tác giả
trong suốt quá trình học và làm luận văn này.
Tác giả xin gửi lời cảm ơn sâu sắc tới giáo viên hướng dẫn, TS. Phạm
Quý Mười, đã tận tình hướng dẫn trong suốt quá trình thực hiện và hoàn
thiện luận văn.
Tác giả cũng xin gửi lời cảm ơn chân thành nhất đến các thầy cô đã
trực tiếp giảng dạy tác giả trong suốt quá trình học tập và các q thầy cơ
trong khoa Tốn của Trường Đại học Sư phạm Đà Nẵng đã giúp đỡ trong
thời gian qua.
Cuối cùng, tác giả cũng xin gửi lời cảm ơn đến các thành viên trong
lớp Giải tích K31 đã xây dựng một tập thể lớp đồn kết, gắn bó và giúp
đỡ lẫn nhau trong tồn bộ khóa học.

Tác giả

Nguyễn Thị Liêu Noa


MỤC LỤC
MỞ ĐẦU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
CHƯƠNG 1. KIẾN THỨC CƠ SỞ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1. KHÔNG GIAN HILBERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2. HỆ TRỰC CHUẨN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.3. TOÁN TỬ TUYẾN TÍNH LIÊN TỤC VÀ TỐN TỬ COMPACT . . . . . 9
1.4. HÀM SỐ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.5. DƯỚI VI PHÂN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.6. HÀM PHẠT CĨ TÍNH CHẤT THƯA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.7. TOÁN TỬ CO RÚT MỀM . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
CHƯƠNG 2. CÁC GIẢI THUẬT CHO BÀI TOÁN TỐI ƯU KHƠNG
TRƠN TRONG CHỈNH HĨA THƯA . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
2.1. ĐIỀU KIỆN CÓ NGHIỆM CỦA BÀI TOÁN . . . . . . . . . . . . . . . . . . . . . . . 20
2.2. PHƯƠNG PHÁP KIỂU GRADIENT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.2.1. Tính chất hội tụ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.2. Các tiêu chuẩn chọn kích thước bước . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.2.3. Giải thuật kiểu Gradient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.3. GIẢI THUẬT CẢI TIẾN CỦA BECK . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
CHƯƠNG 3. MỘT SỐ VÍ DỤ VÀ ỨNG DỤNG . . . . . . . . . . . . . . . . . . 35
3.1. BÀI TỐN TỐI ƯU KHƠNG TRƠN HAI BIẾN . . . . . . . . . . . . . . . . . . . 35
3.1.1. Bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35


MỤC LỤC
3.1.2. Chương trình Matlab cho giải thuật kiểu Gradient . . . . . . . . . . . . . . . . . 35

3.1.3. Chương trình Matlab cho giải thuật cải tiến của Beck . . . . . . . . . . . . . . 36
3.1.4. Sự hội tụ và nghiệm số của các giải thuật . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2. PHƯƠNG TRÌNH TÍCH PHÂN LOẠI 1 . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.2.1. Bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.2.2. Rời rạc bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
3.2.3. Áp dụng chỉnh hóa thưa cho bài tốn . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.2.4. Chương trình Matlab cho giải thuật kiểu Gradient . . . . . . . . . . . . . . . . . 41
3.2.5. Chương trình Matlab cho giải thuật cải tiến của Beck . . . . . . . . . . . . . . 42
3.2.6. Minh họa nghiệm số và sự hội tụ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

KẾT LUẬN VÀ KIẾN NGHỊ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
TÀI LIỆU THAM KHẢO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46

4


BẢNG KÍ HIỆU

: Tập các số thực
: Tập các số thực mở rộng
: Không gian tiền Hilbert hoặc không gian Hilbert
n chiều
x
: Chuẩn của x
K
: Chuẩn của toán tử K
H
: Khơng gian Hilbert
Sτ
: Hàm co rút

Sτ
: Tốn tử co rút mềm
δ
f
: Dữ liệu xấp xỉ của f
x := y
: x được định nghĩa bằng y
∀x
: Với mọi x
∃x
: Tồn tại x
x, y
: Tích vơ hướng của x và y
(X, ., . ) : Không gian tiền Hilbert
(X, . ) : Không gian định chuẩn
C[a, b]
: Không gian của các hàm liên tục trên [a,b]
L(X, Y ) : Không gian gồm tất cả các ánh xạ tuyến tính bị chặn
từ X vào Y
K(x, r) : Hình cầu tâm x, bán kính r
int(M ) : Phần trong của M
cl(M )
: Bao đóng của M
2
L (a, b) : Khơng gian các hàm bình phương khả tích trên (a, b)
SpanA
: Khơng gian con sinh bởi tập A
C(f, α) : Tập mức dưới của f với mức α
∂f
: Dưới vi phân của hàm f

R
R
Rn


DANH SÁCH CÁC HÌNH VẼ

Số hiệu hình vẽ
Tên hình vẽ
Trang
2.1
Đồ thị của hàm Θ(v), Θs (v, u) và Js (u)
22
n
3.1
Sự hội tụ của Θ(x ) ứng với n=50
37
n
3.2
Sự hội tụ của Θ(x ) ứng với n=100
38
n
3.3
Sự hội tụ của Θ(v )
44


1

MỞ ĐẦU

1. Lịch sử vấn đề và lý do chọn đề tài
Tối ưu là một trong những lĩnh vực kinh điển của tốn học, có ảnh
hưởng đến hầu hết các lĩnh vực khoa học - công nghệ và kinh tế - xã hội.
Trong thực tế, việc tìm nghiệm tối ưu cho một bài tốn nào đó chiếm một
vai trị hết sức quan trọng.
Bài tốn tối ưu có thể phát biểu như sau: Tìm min f (x) trong đó, f (x)
x∈D

là hàm mục tiêu, x là nghiệm của bài toán, D được biểu diễn như là tập
các ràng buộc thỏa mãn một số tính chất cho trước của bài tốn. Khi đó,
tồn tại x∗ ∈ D đem lại giá trị nhỏ nhất cho hàm mục tiêu, lúc này ta nói

x∗ là nghiệm tối ưu của bài tốn. Để tìm nghiệm số cho bài tốn tối ưu,
chúng ta cần có một giải thuật phù hợp. Đối với mỗi giải thuật, cần phải
xây dựng cơ sở lý thuyết của giải thuật, chứng minh tính hữu hạn hay hội
tụ của nó.
Ngày nay, do nhu cầu phát triển không ngừng của khoa học kỹ thuật,
ngày càng xuất hiện nhiều bài toán với hàm mục tiêu f (x) là khơng trơn
(khơng có đạo hàm) [10], [14]. Ví dụ như các phương pháp chỉnh hóa thưa,
chỉnh hóa biến phân cho bài toán ngược, đều dẫn đến các bài tốn tối ưu
khơng trơn [14].
Phương pháp chỉnh hóa thưa được nghiên cứu trong 10 năm trở lại
đây. Phương pháp này đã và đang được ứng dụng trong nhiều lĩnh vực
khác nhau như xử lí ảnh, xác định tham số của phương trình đạo hàm
riêng,. . . [12].
Với mong muốn nghiên cứu và tìm hiểu bài tốn tối ưu khơng trơn, đặc
biệt là bài toán tối ưu xuất hiện trong lĩnh vực chỉnh hóa thưa nên tơi
chọn đề tài nghiên cứu: “Giải thuật cho bài tốn tối ưu khơng trơn

trong chỉnh hóa thưa và ứng dụng”. Đề tài nhằm nghiên cứu sự tồn


2

tại nghiệm, các điều kiện cần và đủ cho nghiệm của bài toán. Đặc biệt, đề
tài dành phần lớn cho việc nghiên cứu hai giải thuật để giải bài toán này.
2. Mục đích nghiên cứu
Nghiên cứu và xây dựng giải thuật cho các bài tốn tối ưu khơng trơn
trong chỉnh hóa thưa và chứng minh các tính chất hội tụ của nó. Từ đó,
ứng dụng vào để giải một số ví dụ cụ thể.
3. Đối tượng và phạm vi nghiên cứu
Bài tốn tối ưu khơng trơn trong chỉnh hóa thưa.
Các giải thuật cho các bài tốn tối ưu khơng trơn: Giải thuật kiểu
Gradient và giải thuật cải tiến của Beck.
4. Phương pháp nghiên cứu
Với đề tài: “Giải thuật cho bài tốn tối ưu khơng trơn trong
chỉnh hóa thưa và ứng dụng” tôi đã sử dụng các phương pháp nghiên
cứu sau:
Thu thập, phân tích và tổng hợp tài liệu.
Phân loại và hệ thống hóa lý thuyết.
Trao đổi với giáo viên hướng dẫn.
5. Ý nghĩa khoa học và thực tiễn
Đề tài sẽ trình bày chi tiết cở sở lý thuyết và các giải thuật để giải các
bài tốn tối ưu khơng trơn trong chỉnh hóa thưa. Luận văn có thể sẽ là
tài liệu tham khảo cho các sinh viên, học viên cao học và những người có
nhu cầu tìm hiểu về các bài tốn tối ưu khơng trơn trong chỉnh hóa thưa.
6. Cấu trúc luận văn
Luận văn gồm 3 chương:
Chương 1: Kiến thức cơ sở.

Trong chương này, chúng tơi trình bày các khái niệm, định lý cơ bản về
giải tích hàm và giải tích lồi. Một số tính chất của hàm phạt có tính chất
thưa, tốn tử co rút mềm sẽ sử dụng trong luận văn.


3

Chương 2: Các giải thuật cho bài toán tối ưu khơng trơn trong
chỉnh hóa thưa.
Trong chương này, luận văn sẽ nghiên cứu hai giải thuật để giải bài
toán tối ưu khơng trơn trong chỉnh hóa thưa: Giải thuật kiểu Gradient và
giải thuật cải tiến của Beck. Luận văn tập trung vào chứng minh các tính
chất hội tụ của các phương pháp này trong khơng gian Hilbert và cách
chọn kích thước bước của mỗi giải thuật.
Chương 3: Một số ví dụ và ứng dụng.
Trong chương này, luận văn sẽ áp dụng hai giải thuật để giải một số bài
toán cụ thể và xem xét các tính chất hội tụ đã được nghiên cứu lý thuyết
trong Chương 2.


4

CHƯƠNG 1

KIẾN THỨC CƠ SỞ

Trong chương này, chúng tôi nhắc lại một số khái niệm, định lý cơ bản
về giải tích hàm và giải tích lồi. Các tính chất, định lý được nêu ở đây
chúng tôi không chứng minh và các chứng minh của chúng có thể tham
khảo trong các tài liệu cơ bản về giải tích hàm và giải tích lồi, chẳng hạn

như trong [1], [2], [3], [11].
Chương này cũng đề cập đến một số tính chất của hàm phạt có tính
chất thưa, tốn tử co rút mềm. Các tính chất này được sử dụng trong
Chương 2 và đã được nghiên cứu trong các tài liệu [10], [14].
1.1. KHÔNG GIAN HILBERT
Định nghĩa 1.1.1. (Tích vơ hướng). Cho X là khơng gian vectơ trên
trường số thực R. Tích vơ hướng xác định trong X là một ánh xạ:

., . : X × X → R
(x, y) → x, y
thỏa mãn các điều kiện sau đây:
i) x, x ≥ 0, ∀x ∈ X và

x, x = 0 ⇔ x = 0,
ii) x, y = y, x ∀x, y ∈ X ,
iii) x + x , y = x, y + x , y , ∀x, x , y ∈ X ,
iv) λx, y = λ x, y

∀x, y ∈ X, ∀λ ∈ R.

Số x, y được gọi là tích vơ hướng của hai vectơ x và y . Một không gian
vectơ X cùng với tích vơ hướng ., . được gọi là khơng gian tiền Hilbert,
kí hiệu là (X, ., . ) hoặc ngắn gọn lại là X nếu tích vơ hướng đã được xác
định rõ.


5

Nhận xét 1.1.2. Từ các tính chất i), ii) ta suy ra được các tính chất:
v) x, y + y = x, y + x, y , ∀x, y, y ∈ X ,

vi) x, λy = λ x, y ∀x, y ∈ X, ∀λ ∈ R.
Định nghĩa 1.1.3. (Chuẩn). Cho X là không gian vectơ trên trường số
thực R. Một chuẩn trên X là ánh xạ

. :X→R
thỏa mãn các tính chất sau đây:
i) x > 0, ∀x ∈ X với x = 0,
ii) αx = |α| x , ∀x ∈ X và α ∈ R,
iii) x + y ≤ x + y , ∀x, y ∈ X .
Một không gian vectơ X trên trường số thực R với chuẩn . được gọi
là khơng gian định chuẩn trên trường R, kí hiệu là (X, . ) hoặc được viết
ngắn gọn lại là X nếu chuẩn đã được xác định rõ.
Tính chất (iii) được gọi là bất đẳng thức tam giác. Áp dụng đồng nhất
thức x = (x − y) + y và y = (y − x) + x từ hai kết quả này ta được bất
đẳng thức tam giác thứ hai x − y ≤ x − y , ∀x, y ∈ X .
Định lí 1.1.4. Cho (X, ., . ) là không gian tiền Hilbert. Ánh xạ

.

:

X → R được định nghĩa như sau:
x, x , ∀x ∈ X

x :=
là một chuẩn.

Từ Định nghĩa 1.1.3 ta có các tính chất sau:
1. Bất đẳng thức Cauchy – Schwarz: | x, y | ≤ x . y ,
2. x + y

2

+ x−y

2

=2

x

2

+ y

2

(đẳng thức hình bình hành).

Ví dụ 1.1.5. 1) Rn là không gian tiền Hilbert n chiều trên R với tích vơ
n

hướng x, y :=

xk y k .
k=1

2) Khơng gian C[a, b] của các hàm liên tục trên [a,b] là một không gian

6

tiền Hilbert trên R với tích vơ hướng
b

x (t) y (t)dt,

(x, y)L2 :=

x, y ∈ C [a, b] .

a

Chuẩn tương ứng được gọi là chuẩn Euclidean và được kí hiệu như sau:
b

x

L2

:=

|x (t)|2 dt,

(x, x)L2 =

x ∈ C [a, b] .

a

Ta kí hiệu:

K (x, r) := {y ∈ X : y − x < r}
là hình cầu tâm x ∈ X , bán kính r.
Định nghĩa 1.1.6. Cho X là không gian định chuẩn trên trường R.
a) Một tập con M ⊂ X được gọi là bị chặn nếu tồn tại r > 0 sao cho

M ⊂ K(x, r). Tập M ⊂ X được gọi là tập mở nếu với mọi x ∈ M tồn tại
ε > 0 sao cho K(x, ε) ⊂ M . Tập M ⊂ X được gọi là tập đóng nếu phần
bù X\M là tập mở.
b) Dãy (xk )k ⊂ X được gọi là bị chặn nếu tồn tại c > 0 sao cho xk ≤ c

∀k . Dãy (xk )k ⊂ X được gọi là hội tụ nếu tồn tại x ∈ X sao cho x − xk
hội tụ đến 0 trong R. Ta kí hiệu lim xk = x. Dãy (xk )k ⊂ X được gọi
k→∞

là dãy Cauchy nếu với mỗi ε > 0 tồn tại N ∈ N sao cho xm − xk < ε

∀m, k ≥ N .
c) Cho (xk )k ⊂ X là một dãy, x ∈ X được gọi là điểm tụ nếu tồn tại
một dãy con (xkn )n hội tụ đến x.
d) Tập M ⊂ X được gọi là compact nếu mọi dãy trong M đều có điểm
tụ trong M.
Ta có các tập:

int(M ) := {x ∈ M | ∃ε > 0 : K (x, ε) ⊂ M } ,
được gọi là phần trong của M và

cl(M ) :=

x ∈ M | ∃(xk )k ⊂ M : x = lim xk ,

được gọi là bao đóng của M .

k→∞


7

Định lí 1.1.7. Cho X là khơng gian định chuẩn trên R và M ⊂ X .
a) M là đóng nếu và chỉ nếu M = cl(M ) và M là mở nếu và chỉ nếu

M = int(M ).
b) Nếu M = X là khơng gian con tuyến tính, khi đó int(M ) = ∅ và
cl(M) cũng là khơng gian con tuyến tính.
c) Trong khơng gian hữu hạn chiều, mọi khơng gian con là đóng.
d) Mọi tập compact là đóng và bị chặn. Trong không gian hữu hạn chiều,
ngược lại cũng đúng (theo định lí Bolzano-Weierstrass): Trong khơng gian
định chuẩn hữu hạn chiều, mọi tập đóng và bị chặn là compact.
Định nghĩa 1.1.8. (Không gian Banach, không gian Hilbert)
Một không gian định chuẩn X trên trường số thực R được gọi là đầy
đủ hoặc không gian Banach nếu mọi dãy Cauchy đều hội tụ trong X . Một
không gian tiền Hilbert đầy đủ được gọi là khơng gian Hilbert.
Ví dụ 1.1.9. 1) Không gian Rn là không gian Hilbert với tích vơ hướng
chính tắc.
2) Trong l2 với x = (xk ), y = (yk ), ta định nghĩa
∞

xk yk ,

x, y :=
k=1
2

thì ., . là tích vơ hướng, (l , ., . ) là không gian Hilbert.
Định nghĩa 1.1.10. (Không gian tách). Không gian định chuẩn X được
gọi là tách nếu tồn tại một tập con trù mật đếm được M ⊂ X sao cho
cl(M ) = X .
Ví dụ 1.1.11. 1) Không gian Rn là một không gian tách và tập con đếm
được M là tập tất cả các vectơ với hệ số hữu tỉ.
2) L2 (a, b) và C[a,b] đều là khơng gian tách, tập M có thể lấy là tập
các đa thức với hệ số hữu tỉ.
1.2. HỆ TRỰC CHUẨN
Trong phần này, ta cho X là không gian Hilbert tách trên trường số
thực R.


8

Định nghĩa 1.2.1. (Hệ trực chuẩn). Một tập đếm được các phần tử
A = {xk : k = 1, 2, 3, ...} được gọi là hệ trực chuẩn nếu:
1. xk , xj = 0, ∀k = j .
2. xk = 1, ∀k ∈ N.
A được gọi là đầy đủ hoặc hệ trực chuẩn cực đại nếu khơng có hệ trực
chuẩn B với A ⊂ B và A = B .
Có thể sử dụng bổ đề Zorn’s để chỉ ra rằng mọi khơng gian Hilbert tách
đều có một hệ trực chuẩn cực đại. Hơn nữa, từ đại số tuyến tính ta biết
rằng mọi tập đếm được các phần tử độc lập tuyến tính của X có thể trực
giao.
Cho bất kỳ một tập A ⊂ X . Khi đó

n

αk xk : α ∈ R, xk ∈ A, n ∈ N

span A :=
k=1

là khơng gian con của X sinh bởi A.
Định lí 1.2.2. Cho A = {xk : k = 1, 2, 3, ...} là hệ trực chuẩn. Khi đó
a) Mọi tập con hữu hạn của A đều độc lập tuyến tính.
b) Nếu A hữu hạn, A = {xk : k = 1, 2, 3, ..., n} thì với mọi x ∈ X tồn
tại duy nhất hệ số α ∈ R, k = 1, 2, ..., n, sao cho
n

x−

αk xk ≤ x − a , ∀a ∈ span A
k=1

hệ số αk được cho bởi αk = x, xk , ∀k = 1, ..., n.
c) ∀x ∈ X , ta có bất đẳng thức Bessel:
∞

2

| x, xk |2 ≤ x ,
k=1
∞

x, xk xk hội tụ trong X .

và chuỗi
k=1

d) A là đầy đủ nếu và chỉ nếu spanA là trù mật trong X.
e) A là đầy đủ nếu và chỉ nếu với mọi x ∈ X , ta có phương trình


9

Parseval sau đây:

∞

| x, xk |2 = x 2 .
k=1

f) A là đầy đủ nếu và chỉ nếu với mọi x ∈ X có một khai triển Fourier
∞

x=

x, xk xk ,
k=1

trong đó, sự hội tụ được hiểu theo chuẩn của X . Trong trường hợp này,
phương trình Parseval là đúng:
∞

x, xk

x, y =

y, xk .

k=1

1.3. TỐN TỬ TUYẾN TÍNH LIÊN TỤC VÀ TOÁN TỬ COMPACT
Định nghĩa 1.3.1. Cho X, Y là hai khơng gian tuyến tính định chuẩn
trên trường R. Ánh xạ A : X → Y là liên tục tại x0 ∈ X nếu với mọi dãy

(xn ) ⊂ X mà xn → x0 thì Axn → Ax0 . Ánh xạ A được gọi là liên tục
trên X nếu nó liên tục tại mọi điểm x ∈ X .
Định lí 1.3.2. Cho X, Y là hai khơng gian tuyến tính định chuẩn và A là
tốn tử tuyến tính từ X vào Y . Khi đó, các mệnh đề sau tương đương:
a) A liên tục trên X .
b) A liên tục tại điểm x0 ∈ X .
c) A liên tục tại 0.
d) Tồn tại một số M dương sao cho với mọi x ∈ X , ta có Ax ≤

M x (nghĩa là A bị chặn).
Định nghĩa 1.3.3. Cho A là một tốn tử tuyến tính liên tục từ khơng
gian tuyến tính định chuẩn X vào Y . Theo Định lí 1.3.2 ln tồn tại số
M > 0 sao cho Ax ≤ M x với mọi x ∈ X , nên ta định nghĩa chuẩn

A như sau:
A = inf {M > 0 : ∀x ∈ X, Ax ≤ M x } .


10

Định lí 1.3.4. Cho A là một tốn tử tuyến tính liên tục từ khơng gian
tuyến tính định chuẩn X vào Y . Khi đó
Ax
A = sup
= sup Ax = sup Ax .
x
x=0
x ≤1
x =1
Định nghĩa 1.3.5. (Toán tử compact). Cho X, Y là hai khơng gian
định chuẩn. Tốn tử tuyến tính bị chặn K : X → Y được gọi là tốn
tử compact nếu nó biến mỗi tập bị chặn S thành tập compact tương đối

K(S).
Tập M ⊂ X được gọi là tập compact tương đối nếu mỗi dãy bị chặn
(yi ) ⊂ M đều có điểm tụ trong cl(M ), tức là bao đóng cl(M ) là compact.
Định lí 1.3.6. (a) Nếu K1 và K2 là hai tốn tử compact đi từ X vào Y ,
khi đó K1 + K2 và λK1 cũng là compact, ∀λ ∈ R.
(b) Cho Kn : X → Y là một dãy của tốn tử compact giữa hai khơng
gian Banach X và Y . Giả sử K : X → Y bị chặn và Kn hội tụ đến K
theo chuẩn của toán tử. Tức là:

Kn − K := sup
x=0

Kn x − Kx
→ 0 (n → ∞),
x

khi đó, K cũng là compact.
(c) Nếu L ∈ L(X, Y ) và K ∈ L(Y, Z) và L hoặc K là compact thì KL
cũng là compact.
(d) Giả sử An ∈ L(X, Y ) hội tụ từng điểm đến A ∈ L(X, Y ), tức là
An x → Ax, ∀x ∈ X . Nếu K : Z → X là compact thì An K − AK → 0,
nghĩa là toán tử An K hội tụ đến AK trong chuẩn của tốn tử.
Định lí 1.3.7. (a) Giả sử k ∈ L2 ((c, d) × (a, b)). Tốn tử K : L2 (a, b) →
L2 (c, d) được định nghĩa như sau:
b

(Kx)(t) :=

k(t, s)x(s)ds,

t ∈ (c, d), x ∈ L2 (a, b)

(1.1)

a
2

là compact từ L (a, b) vào L2 (c, d).
(b) Giả sử k liên tục trên [c, d] × [a, b]. Khi đó, K được xác định bởi
(1.1) cũng là compact như một toán tử từ C[a, b] vào C[c, d].


11

1.4. HÀM SỐ
Định nghĩa 1.4.1. (Hàm coercive). Cho X là không gian định chuẩn.

Hàm f : X → R được gọi là coercive nếu với mọi dãy {xn } ⊂ X mà
xn → +∞ thì f (xn ) → +∞.
Định nghĩa 1.4.2. (Hàm liên tục Lipschitz). Cho X, Y là hai không
gian định chuẩn, ánh xạ f : X → Y . Ta lấy tập mở A ⊂ X . Khi đó, f
được gọi là liên tục Lipschitz trên tập con mở A nếu tồn tại một hằng số

L sao cho
f (x) − f (y) ≤ L x − y , ∀x, y ∈ A.
L được gọi là hằng số Lipschitz.
Nếu A = X , thì ta nói f liên tục lipschitz trên X.
Định nghĩa 1.4.3. (Đạo hàm Fréchet). Cho X và Y là hai không
gian định chuẩn trên trường số thực R, U ⊂ X là tập mở, x
ˆ ∈ U và
T : X ⊃ U → Y là một ánh xạ.
a) T được gọi là liên tục tại x
ˆ nếu ∀ε > 0, ∃δ > 0 thì T (x) − T (ˆ
x) ≤

ε, ∀x ∈ U với x − xˆ ≤ δ.
b) T được gọi là khả vi Fréchet tại x
ˆ ∈ U nếu tồn tại một toán tử tuyến
tính bị chặn A : X → Y phụ thuộc vào x
ˆ sao cho:
1
T (ˆ
x + h) − T (ˆ
x) − Ah = 0.
lim
h→0 h
Ta đặt T (ˆ

x) := A. Đặc biệt T (ˆ
x) ∈ L(X, Y ).
c) Ánh xạ T được gọi là khả vi Fréchet liên tục tại x
ˆ ∈ U nếu T là khả
vi Fréchet trong lân cận V của x
ˆ và ánh xạ T : V → L (X, Y ) là liên tục
tại x
ˆ.
Tính liên tục và tính khả vi của ánh xạ tùy thuộc vào các chuẩn trong
X và Y , điều này trái ngược với trường hợp hữu hạn chiều. Nếu T khả vi
tại x
ˆ thì ánh xạ tuyến tính bị chặn A trong (b) ở Định nghĩa 1.4.3 là duy
nhất. Vì thế, T (ˆ
x) := A hoàn toàn xác định. Nếu T khả vi tại x thì T
cũng liên tục tại x. Trong trường hợp hữu hạn chiều X = Rn và Y = Rm
ánh xạ tuyến tính bị chặn T (ˆ
x) chính là ma trận Jacobian.


12

Ví dụ 1.4.4. Cho f : [c, d] × [a, b] × R → R liên tục và khả vi liên tục với
ba đối số. Giả sử ánh xạ T : C[a, b] → C[c, d] được xác định như sau:
b

f (t, s, x (s)) ds, t ∈ [c, d] , x ∈ C [a, b] .

T (x) (t) :=
a

Khi đó, T là liên tục khả vi Fréchet với đạo hàm
b

∂
f (t, s, x (s)) ds, t ∈ [c, d] , x ∈ C [a, b] .
∂x

(T (x) z) (t) :=
a

Định lí 1.4.5. a) Cho T, S : X ⊃ U → Y là khả vi Fréchet tại x ∈ U .
Khi đó T + S và λT cũng là khả vi Fréchet với mọi λ ∈ R và

(T + S) (x) = T (x) + S (x), (λT ) (x) = λT (x).
b) Cho T : X ⊃ U → V ⊂ Y và S : Y ⊃ V → Z là khả vi Fréchet tại

x ∈ U và T (x) ∈ V . Khi đó, ST cũng là khả vi Fréchet tại x và
(ST ) (x) = S (T (x)) T (x) ∈ L(X, Z) (vì S (T (x)) ∈ L(Y, Z), T (x) ∈
L(X, Y )).
c) Trường hợp đặc biệt: Nếu T : X → Y là khả vi Fréchet tại x
ˆ∈X
thì ψ : R → Y được định nghĩa bởi:

ψ(t) := T (tˆ
x)
cũng khả vi Fréchet tại mọi điểm t ∈ R và ψ (t) = T (tˆ
x)ˆ
x∈Y.
Chú ý rằng ban đầu ψ (t) ∈ L(R, Y ). Trong trường hợp này, ánh xạ
tuyến tính ψ (t) : R → Y với ψ (t) ∈ Y.

Định lí 1.4.6. Cho T : X × Z → Y là liên tục khả vi Fréchet với đạo
∂
∂
hàm riêng ∂x
T (x, z) ∈ L (X, Y ) và ∂z
T (x, z) ∈ L (Z, Y ). Hơn nữa, cho
∂
T (ˆ
x, zˆ) = 0 và ∂x
T (ˆ
x, zˆ) : Z → Y là đẳng cự. Khi đó, tồn tại một lân
cận U của x
ˆ và một hàm khả vi Fréchet ψ : U → Z sao cho ψ (ˆ
x) = zˆ và
T (x, ψ (x)) = 0, ∀x ∈ U . Đạo hàm riêng ψ ∈ L (X, Z) cho bởi
−1
∂
∂
ψ =−
T (x, ψ (x))
T (x, ψ (x)) , x ∈ U.
∂z
∂x

Trường hợp đặc biệt sau là rất quan trọng


13

ˆ = 0 và

Cho Z = Y = R, T : X × R → R và T x
ˆ, λ

ˆ =0
xˆ, λ
ˆ và
Khi đó, tồn tại lân cận U của x
ˆ và hàm khả vi Fréchet ψ (ˆ
x) = λ
T (x, ψ (x)) = 0, ∀x ∈ U và
∂
1
ψ (x) = − ∂
T (x, ψ (x)) ∈ L (X, R) = X , x ∈ U.
∂x
T
(x,
ψ
(x))
∂λ
Với X là không gian đối ngẫu của X .
∂
∂z T

Cho X là một không gian Hilbert. M là một tập con lồi khác rỗng của
X và phiếm hàm nhận giá trị thực mở rộng trên M :

f : M → R := [−∞, ∞] .
Các tập dưới đây:

domf := {x ∈ M |f (x) < ∞} ; epi f := {(x, γ) ∈ M × R|f (x) ≤ γ}
lần lượt được gọi là miền hữu hiệu và trên đồ thị của f . Ngoài ra, với mỗi
α ∈ R, ta gọi tập mức dưới của hàm f là:

C (f ; α) := {x ∈ M |f (x) ≤ α} = {x ∈ M | (x, α) ∈ epi f } .
Định nghĩa 1.4.7. (Hàm lồi). Cho X là không gian Hilbert, M ⊂ X là
tập con lồi khác rỗng. Khi đó, phiếm hàm tuyến tính f : M → R được gọi
là hàm lồi nếu epi f là tập lồi.
Hàm f được gọi là hàm lõm nếu −f là hàm lồi.
Nhận xét 1.4.8. 1. Nếu f lồi thì domf lồi.
2. Nếu f lồi thì C (f ; α) lồi với mọi α ∈ R.
3. Nếu f : X → R là hàm lồi và f (x0 ) > −∞ với x0 ∈ int dom f thì
f (x) > −∞ ∀x ∈ X .
Mệnh đề 1.4.9. f : X → (−∞, +∞] . Lúc đó, f lồi nếu và chỉ nếu

f (λx + (1 − λ) y) ≤ λf (x) + (1 − λ) f (y) , ∀x, y ∈ X, λ ∈ (0, 1) .
Ví dụ 1.4.10. Cho hàm f (x) = ax + α, a ∈ X , α ∈ R.

∀x, y ∈ X , ∀λ ∈ (0, 1) ta có:
f [λx + (1 − λ)y] = a[λx + (1 − λ)y] + α
= λax + (1 − λ)ay + α


14

= λax + λα + (1 − λ)ay + (1 − λ)α
= λ(ax + α) + (1 − λ)(ay + α)
= λf (x) + (1 − λ)f (y)
Vậy f là hàm lồi trên X .

∀x, y ∈ X , ∀λ ∈ (0, 1) ta lại có:
−f [λx + (1 − λ)y] = −a[λx + (1 − λ)y] − α
= −λax − (1 − λ)ay − α
= −λax − λα − (1 − λ)ay − (1 − λ)α
= −λ(ax + α) − (1 − λ)(ay + α)
= −λf (x) − (1 − λ)f (y)
Vậy −f là hàm lồi trên X .
Suy ra f là một hàm lõm trên X .
Định nghĩa 1.4.11. (Hàm nửa liên tục dưới). Một hàm f : X → R
được gọi là nửa liên tục dưới tại x0 nếu

lim inf f (x) ≥ f (x0 ) .
x→x0

f được gọi là nửa liên tục dưới yếu nếu nó nửa liên tục dưới tại mọi x ∈ X.
1.5. DƯỚI VI PHÂN
Định nghĩa 1.5.1. Cho X là không gian Hilbert, X ∗ là không gian liên
hợp của X . Giả sử f là một hàm lồi, chính thường trên khơng gian Hilbert

X và x0 ∈ dom f . Một phiếm hàm x∗ ∈ X ∗ được gọi là dưới Gradient của
f tại x0 nếu
f (x) ≥ f (x0 ) + x∗ , x − x0 , ∀x ∈ X.
Về mặt hình học, điều đó có nghĩa rằng hàm affine

ϕ (x) := f (x0 ) + x∗ , x − x0 , x ∈ X
có đồ thị là một siêu phẳng tựa của epif tại điểm (x0 , f (x0 )). Tập hợp
tất cả các dưới Gradient của f tại x0 được gọi là dưới vi phân của f tại


15

điểm đó và được kí hiệu là ∂f (x0 ). Vậy

∂f (x0 ) = {x∗ ∈ X ∗ |f (x) − f (x0 ) ≥ x∗ , x − x0 , ∀x ∈ X} .
Nếu ∂f (x0 ) là tập khác rỗng ta nói f khả dưới vi phân tại x0 . Để thuận
tiện ta cũng quy ước ∂f (x0 ) = ∅ nếu x0 ∈
/ dom f .
1.6. HÀM PHẠT CĨ TÍNH CHẤT THƯA
Cho H là khơng gian Hilbert với chuẩn . , {ϕk }k∈Λ là cơ sở trực
chuẩn của H. Khi đó, hàm phạt có tính chất thưa Φ : H → R ∪ {∞} được
định nghĩa bởi:

|uk |,

Φ (u) :=

(1.2)

k∈Λ

trong đó, uk := u, ϕk .
Bổ đề 1.6.1. Hàm phạt có tính chất thưa Φ định nghĩa bởi (1.2) có các
tính chất như sau:
1) Φ khơng âm, lồi và nửa liên tục dưới yếu.
2) Tồn tại một hằng số C , sao cho ∀u ∈ H

Φ (u) ≥ C 1/2 u .
Từ đó, suy ra Φ là coercive, Φ (u) → ∞ khi u → ∞.
3) Nếu {un }n∈N ⊂ H hội tụ yếu đến u ∈ H và Φ (un ) hội tụ đến Φ(u).
Khi đó, Φ (un − u) hội tụ đến 0.

Chứng minh. 1) Hiển nhiên Φ không âm, lồi và nửa liên tục dưới yếu vì
với mỗi k ∈ Λ thì |uk | là không âm, lồi và hàm liên tục dưới yếu.

|uk | =

2) Ta có Φ (u) =
k∈Λ

⇒ Φ (u) ≥

| u, ϕk |
k∈Λ

| u, ϕk | ≥
k∈Λ

| u, ϕk |

2

1
2

1

≥ C2 u .

k∈Λ

Vậy Φ (u) ≥ C 1/2 u .

3) Giả sử Φ (un ) → Φ (u).
Ta có lim sup Φ (un − u)

= lim sup [2 (Φ (un ) + Φ (u)) − 2 (Φ (un ) + Φ (u)) + Φ (un − u)]


16

[2 | ϕk , un | + 2 | ϕk , u | − | ϕk , un − u |]

= 4Φ (u) − lim inf
k∈Λ

[2 | ϕk , un | + 2 | ϕk , u | − | ϕk , un − u |]

Ta có − lim inf
k∈Λ

lim inf [2 | ϕk , un | + 2 | ϕk , u | − | ϕk , un − u |].

≤−
k∈Λ
n

Ta lại có {u }n∈N hội tụ yếu đến u ∈ H nên ϕk , un → ϕk , u ∀k ∈ Λ

lim inf [2 | ϕk , un | + 2 | ϕk , u | − | ϕk , un − u |]

⇒−
k∈Λ

= −4

| ϕk , u |
k∈Λ

n

⇒ lim sup Φ (u − u) ≤ 4Φ (u) − 4

| ϕk , u | = 4Φ (u) − 4Φ (u) = 0
k∈Λ

Vậy lim sup Φ (un − u) = 0.
1.7. TOÁN TỬ CO RÚT MỀM
Cho hàm co rút S : R → R

Sτ (x) = sgn (x) max (|x| − τ, 0) .

(1.3)

Định nghĩa 1.7.1. Toán tử co rút mềm S : H → H được xác định bởi:

Sτ ( u, ϕk ) ϕk ,

Sτ (u) =

(1.4)

k∈Λ

hàm Sτ được cho ở (1.3) và {ϕk }k∈Λ là cơ sở trực chuẩn của H.
Bổ đề 1.7.2. Toán tử co rút mềm được định nghĩa ở (1.4) là không dãn,
tức là
Sτ (u) − Sτ (v) ≤ u − v , ∀u, v ∈ H.
Chứng minh của bổ đề này có thể xem trong [9, Bổ đề 2.2].
Bổ đề 1.7.3. Cho {un } , {v n } , {hn } là các dãy trong H và {β n } là dãy
thực dương sao cho

un = Sβ n (v n − β n hn ) .
Nếu un , v n hội tụ yếu đến u∗ , hn hội tụ yếu đến h∗ và β n > 0, lim β n =
n→∞

∗

β > 0. Khi đó
u∗ = Sβ ∗ (u∗ − β ∗ h∗ ) .


17

Chứng minh. Từ giả thiết, ta có

un = Sβ n (v n − β n hn ) ,
hoặc

unk = sgn (vkn − β n hnk ) max (|vkn − β n hnk | − β n , 0) , ∀k ∈ Λ.
Ta đặt

(1.5)

Γ1 := {k ∈ Λ : |u∗k − β ∗ h∗k | > β ∗ }
Γ2 := {k ∈ Λ : |u∗k − β ∗ h∗k | < β ∗ }
Γ3 := {k ∈ Λ : |u∗k − β ∗ h∗k | = β ∗ }

Vì vkn − β n hnk → u∗k − β ∗ h∗k và |vkn − β n hnk | − β n → |u∗k − β ∗ h∗k | − β ∗ khi

n → ∞ (k cố định), ta có
• Nếu k ∈ Γ1 thì vkn −β n hnk , u∗k −β ∗ h∗k cùng dấu và |vkn − β n hnk |−β n > 0
khi n đủ lớn và do đó hai vế của (1.5) có giới hạn và
u∗k = sgn (u∗k − β ∗ h∗k ) max (|u∗k − β ∗ h∗k | − β ∗ , 0) , ∀k ∈ Γ1 ,
hoặc

u∗k = Sβ ∗ (u∗k − β ∗ h∗k ) , ∀k ∈ Γ1 .
• Nếu k ∈ Γ2 thì |vkn − β n hnk | − β n < 0 khi n đủ lớn. Như vậy, unk = 0 khi
n đủ lớn. Khi đó, ta có u∗k = 0 và ta có kết luận
u∗k = Sβ ∗ (u∗k − β ∗ h∗k ) , ∀k ∈ Γ2 .
• Nếu k ∈ Γ3 thì vkn − β n hnk và u∗k − β ∗ h∗k cùng dấu và khác 0 khi n đủ
unk
u∗k
lớn. Như vậy, sgn(vn −β
→
n
∗
nh )
sgn(uk −β ∗ h∗k ) khi n → ∞. Vì thế, ở công thức
k
k
(1.5) ta kết luận rằng max (|vkn − β n hnk | − β n , 0) cũng hội tụ và bằng 0 vì
|vkn − β n hnk | − β n → 0. Khi đó, ta suy ra rằng u∗k = 0 và

u∗k = Sβ ∗ (u∗k − β ∗ kk∗ ) , ∀k ∈ Γ3 .
Cuối cùng, ta có

u∗k = Sβ ∗ (u∗k − β ∗ h∗k ) , ∀k ∈ Γ1 ∪ Γ2 ∪ Γ3 = Λ.
Điều này, tương đương với u∗ = Sβ ∗ (u∗ − β ∗ h∗ ).
Bổ đề 1.7.4. Cho {hn } ⊂ H bị chặn đều và {dn } ⊂ H hội tụ yếu đến 0.
Nếu β n ∈ β, β và lim Sβ n (hn + dn ) − Sβ n (hn ) − dn = 0 thì dn →
n→∞
0 khi n → ∞.
Chứng minh. Vì {hn } bị chặn đều, ta đặt tập hữu hạn Γ0 ⊂ Λ sao cho