Bài toán tối ưu không trơn trong bài toán ngược và ứng dụng

ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC SƯ PHẠM
——————————–

PHẠM NGỌC THÁI

BÀI TỐN TỐI ƯU KHƠNG TRƠN TRONG
BÀI TỐN NGƯỢC VÀ ỨNG DỤNG

LUẬN VĂN THẠC SĨ KHOA HỌC

Đà Nẵng - 2017


ĐẠI HỌC ĐÀ NẴNG
TRƯỜNG ĐẠI HỌC SƯ PHẠM
——————————–

PHẠM NGỌC THÁI

BÀI TỐN TỐI ƯU KHƠNG TRƠN TRONG
BÀI TỐN NGƯỢC VÀ ỨNG DỤNG

Chun ngành: Tốn Giải tích
Mã số: 60.46.01.02

LUẬN VĂN THẠC SĨ KHOA HỌC

Người hướng dẫn khoa học:
TS. Lê Hồng Trí

Đà Nẵng - 2017


LỜI CAM ĐOAN

Tơi cam đoan đây là cơng trình nghiên cứu của riêng tôi. Các số
liệu, kết quả nêu trong luận văn là trung thực và chưa từng được ai cơng
bố trong bất kỳ cơng trình nào khác.
Tác giả
PHẠM NGỌC THÁI


LỜI CẢM ƠN

Lời đầu tiên, tác giả xin gửi lời cảm ơn chân thành tới thầy giáo hướng
dẫn, TS. Lê Hồng Trí, người đã tận tình hướng dẫn tác giả trong suốt
thời gian qua. Với sự giúp đỡ của thầy, tác giả mới có thể hồn thành được
luận văn này.
Tác giả cũng xin gửi lời cảm ơn đến TS. Phạm Quý Mười về những trao
đổi, thảo luận và các góp ý của thầy trong suốt quá trình làm luận văn
này.
Tác giả trân trọng gửi lời cảm ơn đến tất cả quý thầy lãnh đạo Khoa
Toán - Trường Đại học Sư phạm - Đại học Đà Nẵng cùng quý thầy cô giáo
đã tận tình dạy bảo tác giả trong suốt thời gian học tập của khóa học.
Đồng thời, tác giả cũng xin gửi lời cảm ơn đến các anh chị học viên lớp
Giải tích K31 đã nhiệt tình giúp đỡ tác giả trong quá trình học tập. Tác
giả muốn gửi lời cảm ơn đến người bạn cùng lớp, Nguyễn Thị Liêu Noa,
đã hỗ trợ và giúp đỡ tác giả, phần nghiệm số trong luận văn này.
Tác giả
PHẠM NGỌC THÁI

MỤC LỤC
MỞ ĐẦU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
CHƯƠNG 1. KIẾN THỨC CƠ SỞ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1. KHÔNG GIAN HILBERT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.2. HỆ TRỰC CHUẨN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3. TỐN TỬ TUYẾN TÍNH BỊ CHẶN VÀ TỐN TỬ COMPACT . . . . 9
1.4. HÀM SỐ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
1.5. DƯỚI VI PHÂN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
CHƯƠNG 2. BÀI TỐN TỐI ƯU KHƠNG TRƠN VÀ CÁC

GIẢI THUẬT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.1. BÀI TOÁN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2. ĐIỀU KIỆN CÓ NGHIỆM VÀ ĐIỀU KIỆN CẦN CỦA NGHIỆM . . 16
2.3. GIẢI THUẬT GIẢM GRADIENT . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

2.3.1. Tốc độ hội tụ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
2.3.2. Tiêu chuẩn lựa chọn stepsizes . . . . . . . . . . . . . . . . . . . . . . 25
2.3.3. Giải thuật giảm Gradient . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.4. GIẢI THUẬT CẢI TIẾN NESTEROV . . . . . . . . . . . . . . . . . . . . . . . . . . 27
CHƯƠNG 3. ỨNG DỤNG VÀ VÍ DỤ . . . . . . . . . . . . . . . . . . . . . . . 32
3.1. BÀI TOÁN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.2. ÁP DỤNG CHỈNH HÓA THƯA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3.3. VÍ DỤ ÁP DỤNG . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33


MỤC LỤC
3.3.1. Bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
3.3.2. Rời rạc bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

3.3.3. Áp dụng chỉnh hóa thưa . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
3.3.4. Minh họa nghiệm số và sự hội tụ . . . . . . . . . . . . . . . . . . . 35
KẾT LUẬN VÀ KIẾN NGHỊ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
TÀI LIỆU THAM KHẢO . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

4


BẢNG KÍ HIỆU

R
x, y
K
x
(X, . )
Rn
(X, . X )
H
x L2
C [a, b]
L [X, Y ]
A∗
KL
X, Y
R
∂f
∀x

: Trường các số thực
: Tích vơ hướng của x và y

: Chuẩn của tốn tử K
: Chuẩn của x
: Không gian tiền Hilbert của X
: Không gian tiền Hilbert n chiều
: Không gian định chuẩn của X
: Không gian Hilbert
: Chuẩn Ơclit
: Không gian của các hàm liên tục trên [a,b]
: Không gian gồm tất cả các tốn tử tuyến tính bị chặn từ X vào Y
: Toán tử liên hợp của A
: Tập {kl | k ∈ K, l ∈ L}
: Không gian Hilbert thực
: Tập mở rộng của tập số thực R
: Dưới vi phân của hàm f
: với mọi x


1

MỞ ĐẦU

1. Lịch sử vấn đề và lý do chọn đề tài
Hiện nay, khi mơ hình hóa các vấn đề thực tiễn đặt ra trong nhiều lĩnh
vực khoa học kỹ thuật thường dẫn đến nghiên cứu các bài toán tối ưu
khơng trơn (tức là hàm mục tiêu khơng có đạo hàm). Điều này đã thúc
đẩy việc nghiên cứu các bài tốn tối ưu khơng trơn, một lĩnh vực được
quan tâm rất lớn và có những bước phát triển rất mạnh trong vài thập
niên gần đây.
Trong lĩnh vực bài toán ngược, phương pháp chỉnh hóa kiểu Tikhonov
thường dẫn đến việc nghiên cứu bài toán tối ưu dạng:

min Θ (u) := F (u) + Φ (u) .
u∈H

(1)

Trong đó, F là hàm khả vi liên tục nhưng Φ là hàm nửa liên tục dưới
nhưng khơng khả vi.
Đây là dạng bài tốn đã được nghiên cứu bởi nhóm tác giả Phạm Quý
Mười, Đinh Nho Hào, Peter Maass và Michael Pidcock đưa ra trong bài
báo [10]. Một vài trường hợp cụ thể của bài toán cũng được nghiên cứu
trong luận án tiến sĩ của Phạm Quý Mười [11].
Về giải thuật để giải Bài toán (1), phương pháp được nghiên cứu nhiều
nhất là giải thuật giảm Gradient và các giải thuật cải tiến của nó. Bên
cạnh đó, Newtơn nửa trơn và phương pháp tựa Newtơn nửa trơn cũng
được sử dụng để tính tốn đối với bài toán ngược.
Với mong muốn nghiên cứu bài toán trên cũng như một số giải thuật
tìm nghiệm xấp xỉ của bài tốn, tơi chọn đề tài “Bài tốn tối ưu khơng
trơn trong bài toán ngược và ứng dụng”. Với đề tài này, tôi dự định nghiên
cứu sự tồn tại nghiệm của bài toán, điều kiện cần cho nghiệm của bài toán.
Đặc biệt, đề tài tập trung vào nghiên cứu và áp dụng hai giải thuật cơ
bản: Giải thuật giảm Gradient và giải thuật cải tiến của Nesterov.


2

2. Mục đích nghiên cứu
Mục tiêu của đề tài là nghiên cứu, tìm hiểu Bài tốn tối ưu (1) và các
thuật toán cho bài toán tối ưu này. Ứng dụng các giải thuật cho một số
bài toán cụ thể.

3. Đối tượng và phạm vi nghiên cứu
Bài tốn tối ưu khơng trơn min Θ (u) := F (u) + Φ (u).
u∈H

Các giải thuật cho các Bài tốn tối ưu khơng trơn (1)
+ Giải thuật giảm Gradient,
+ Giải thuật cải tiến Nesterov.
4. Phương pháp nghiên cứu
Với đề tài: “Bài toán tối ưu khơng trơn trong bài tốn ngược và
ứng dụng” tơi đã sử dụng các phương pháp nghiên cứu sau:
- Thu thập, tổng hợp các tài liệu liên quan đến nội dung đề tài luận
văn.
- Phân tích, nghiên cứu các tài liệu thu thập được để thực hiện đề tài.
- Tham gia các buổi seminar của thầy hướng dẫn để trao đổi các kết
quả đang nghiên cứu.
5. Ý nghĩa khoa học và thực tiễn
Nội dung chính của đề tài là nghiên cứu cở sở lý thuyết và các giải
thuật để giải các bài tốn tối ưu khơng trơn trong bài tốn ngược. Luận
văn có thể được dùng làm tài liệu tham khảo cho sinh viên, học viên cao
học và những ai có nhu cầu tìm hiểu về bài tốn tối ưu khơng trơn trong
bài toán ngược.


3

6. Cấu trúc luận văn
Luận văn “Bài toán tối ưu khơng trơn trong bài tốn ngược và
ứng dụng” được trình bày theo cấu trúc như sau:
Mở đầu
Chương I: Kiến thức cơ sở

Chúng tôi nhắc lại một số khái niệm, định nghĩa, định lí cơ bản của Giải
tích hàm. Các tính chất, định lí được nêu ở đây chúng tơi khơng chứng
minh. Mặt khác, luận văn cũng nhắc lại một số tính chất của hàm lồi, hàm
coercive. Các tính chất này được dùng trong chương tiếp theo.
Chương II: Bài toán tối ưu không trơn và các giải thuật
Chương này sẽ giới thiệu về bài tốn tối ưu khơng trơn xuất hiện trong
chỉnh hóa bài tốn ngược. Trước hết, luận văn nêu giả thiết cho bài toán,
phát biểu và chứng minh các bổ đề, định lí về điều kiện có nghiệm và điều
kiện cần của nghiệm. Nội dung chính của chương này là giới thiệu giải
thuật giảm Gradient và giải thuật cải tiến của Nesterov cũng như xem xét
tốc độ hội tụ của hai giải thuật.
Chương III: Ứng dụng và ví dụ
Áp dụng hai giải thuật giảm Gradient và giải thuật cải tiến của Nesterov
đã nghiên cứu ở trên để tìm nghiệm xấp xỉ của phương trình K (x) = y .
Áp dụng chỉnh hóa thưa để tìm nghiệm xấp xỉ của phương trình vi phân
cấp một và ví dụ minh họa.


4

CHƯƠNG 1

KIẾN THỨC CƠ SỞ

Trong chương này, chúng tôi nhắc lại một số khái niệm, định nghĩa,
định lí cơ bản của Giải tích hàm. Các tính chất, định lí được nêu ở đây
chúng tôi không chứng minh. Về chứng minh của chúng có thể tham khảo
trong các tài liệu [1, 2].
Mặt khác, luận văn cũng nhắc lại một số tính chất của hàm lồi, hàm
coercive. Các tính chất này được dùng trong chương tiếp theo.

1.1. KHÔNG GIAN HILBERT
Định nghĩa 1.1.1. (Tích vơ hướng, khơng gian tiền Hilbert)
Cho X là một khơng gian vectơ trên trường số thực R. Tích vơ hướng
trong X là một ánh xạ

., . : X × X → R
thỏa mãn các tính chất sau đây:
(i) y + y, z = x, z + y, z , ∀x, y, z ∈ X,
(ii) αx, y = α x, y , ∀x, y ∈ X, ∀α ∈ R,
(iii) x, y = y, x , ∀x, y ∈ X,
(iv) x, x ≥ 0, ∀x ∈ X và x, x = 0 ⇔ x = 0.
Một không gian vectơ X trên R cùng với tích vơ hướng ., . được gọi
là một khơng gian tiền Hilbert trên R. Kí hiệu: (X, , ., ) hoặc được viết
ngắn gọn là X nếu tích vơ hướng đã được xác định rõ.
Nhận xét 1.1.2. Từ Định nghĩa 1.1.1 ta dễ dàng suy ra được các tính
chất sau:
(v) x, y + y = x, y + x, y

∀x, y, y ∈ X ,

(vi) x, λy = λ x, y ∀x, y ∈ X, ∀λ ∈ R.


5

Định nghĩa 1.1.3. (Chuẩn)
Cho X là một không gian vectơ trên trường số thực R. Một chuẩn trên
X là một ánh xạ

. :X→R

thỏa mãn các tính chất sau đây:
(i) x > 0, ∀x ∈ X , x = 0,
(ii) αx = |α| x , ∀x ∈ X và ∀α ∈ R,
(iii) x + y ≤ x + y , ∀x, y ∈ X .
Một không gian vectơ X trên R cùng với chuẩn . được gọi là không
gian định chuẩn trên R. Kí hiệu: (X, . ) hoặc được viết ngắn gọn . nếu
chuẩn được xác định.
Định lí 1.1.4. Cho (X, . ) là một không gian tiền Hilbert. Ánh xạ . :

X → R được định nghĩa như sau:
x :=

x, x , x ∈ X,

là một chuẩn.
Hơn nữa, ta có:
(iv) | x, y | ≤ x
2

(v) x ± y
(vi) x + y

2

y , ∀x, y ∈ X (Bất đẳng thức Cauchy - Schwarz),
2

= x

+ y

+ x−y

2

2

± x, y , ∀x, y ∈ X ,

=2 x

2

+ 2 y 2 , ∀x, y ∈ X .

Ví dụ 1.1.5.
(a) Rn là khơng gian tiền Hilbert n chiều trên R với tích vơ hướng
x, y := nk=1 xk yk .
(b) Định nghĩa tập

2

của dãy xác định bởi
∞

2

=

x2k < ∞ .

(xk ) ⊂ R :

(1.1)

k=1

Khi đó,

2

là một khơng gian tuyến tính.

Từ bất bất đẳng thức (xk + yk )2 ≤ 2x2k + 2yk2 , ∀k , ta có:

x, y :=

∞
k=1 xk yk ,

x = (xk ) , y = (yk ) ∈

2

,


6

là một tích vơ hướng trên

2

.

(c) Khơng gian C [a, b] của các hàm thực liên tục trên [a, b] là một
khơng gian tiền Hilbert trên R với tích vơ hướng.
b

x, y

L2

x (t)y (t)dt, x, y ∈ C [a, b] .

:=

(1.2)

a

Chuẩn tương ứng được gọi là chuẩn Euclidean và được kí hiệu như sau:
b

x

L2

=

x, x

L2

|x (t)|2 dt, x ∈ C [a, b] .

=

(1.3)

a

(d) Không gian vectơ C [a, b] như ở Ví dụ (c), ta giới thiệu một chuẩn
bởi:

x

∞

:= max |x (t)| , x ∈ C [a, b] ,

(1.4)

a≤t≤b

được gọi là chuẩn Supremum cũng là một không gian định chuẩn.

Mỗi không gian định chuẩn là một không gian tôpô sinh bởi chuẩn đó,
tức là chúng có thể định nghĩa các tập mở, đóng và compact; các dãy hội
tụ; các hàm liên tục. Hình cầu tâm x ∈ X và bán kính r > 0 xác định bởi:

K (x, r) = {y ∈ X : y − x < r}, K [x, y] = {y ∈ X : y − x ≤ r}.
Định nghĩa 1.1.6. Cho X là một không gian định chuẩn trên trường số
thực R.
(a) Một tập con M ⊂ X được gọi là bị chặn nếu tồn tại r > 0 thì

M ⊂ K (x, r). Tập M ⊂ X được gọi là tập mở nếu với mọi x ∈ M tồn
tại ε > 0 sao cho K (x, ε) ⊂ M . Tập M ⊂ X được gọi là tập đóng nếu
phần bù X\M là tập mở.
(b) Dãy (xk )k ⊂ X được gọi là bị chặn nếu tồn tại c > 0 sao cho
xk ≤ c với mọi k. Dãy (xk )k ⊂ X được gọi là hội tụ nếu tồn tại x ∈ M
sao cho x − xk hội tụ đến 0 trong R. Khi đó, kí hiệu lim xk = x hoặc
k→∞


7

xk → x khi k → ∞. Dãy (xk )k ⊂ X được gọi là dãy Cauchy nếu với mỗi
ε > 0 tồn tại N ∈ N sao cho xm − xk < ε, với mọi m, k ≥ N .
(c) Cho (xk )k ⊂ X là một dãy. x ∈ X được gọi là điểm tụ nếu tồn tại
một dãy con (xkn )n hội tụ đến x.
(d) Tập M ⊂ X được gọi là compact nếu mọi dãy trong M đều có điểm
tụ trong M.
Ví dụ 1.1.7.
Cho X = C [0, 1] trên R và xk (t) = tk , t ∈ [0, 1] , k ∈ N. Dãy (xk )
hội tụ đến 0 với chuẩn Euclidean . L2 được nêu trong (1.3). Với chuẩn
supremum . ∞ của (1.4). Tuy nhiên, dãy này không hội tụ đến 0.
Người ta chứng minh được rằng một tập M là đóng nếu và chỉ nếu giới
hạn của mọi dãy (xk )k ⊂ M là một phần tử của M .
Ta kí hiệu các tập:

int (M ) := {x ∈ M : ∃ω > 0, K (x, ε) ⊂ M }
và

cl (M ) :=

x ∈ X : ∃(xk )k ⊂ M, x = lim xk ,
k→∞

tương ứng được gọi là phần trong và bao đóng của M.
Tập M ⊂ X được gọi là trù mật trong X nếu cl (M ) = X .
Định lí 1.1.8. Cho X là một khơng gian hữu hạn chiều với chuẩn . 1
và . 2 . Khi đó, cả hai chuẩn là tương đương, tức là tồn tại hằng số c2 ≥

c1 > 0 sao cho c1 x

1

≤ x

2

≤ c2 x 1 , ∀x ∈ X .

Định lí 1.1.9. Cho X là một khơng gian định chuẩn trên trường số thực
R và M ⊂ X là tập con.
(a) M là đóng nếu và chỉ nếu M = cl (M ) và M là mở nếu và chỉ nếu

M = int (M ).
(b) Nếu M = X là một khơng gian con tuyến tính thì int (M ) = φ và

cl (M ) cũng là một không gian con tuyến tính.


8

(c) Trong không gian hữu hạn chiều, mọi không gian con là đóng.
(d) Mọi tập compact là đóng và bị chặn. Trong không gian hữu hạn
chiều, điều ngược lại cũng đúng theo (Định lí Bolzano - Weierstrass): Trong
một khơng gian định chuẩn hữu hạn chiều, mọi tập đóng và bị chặn là
compact.
Định nghĩa 1.1.10. (Không gian Banach, không gian Hilbert)
Một không gian định chuẩn X trên R được gọi là đầy đủ hoặc không
gian Banach nếu mọi dãy Cauchy đều hội tụ trong X . Một không gian
tiền Hilbert đầy đủ được gọi là một không gian Hilbert.
1.2. HỆ TRỰC CHUẨN
Cho X là không gian Hilbert tách trên trường số thực R.
Định nghĩa 1.2.1. (Hệ trực chuẩn). Một tập đếm được các phần tử
A = {xk : k = 1, 2, 3, ...} được gọi là một hệ trực chuẩn nếu:
(i) xk , xj = 0, ∀k = j .
(ii) xk = 1, ∀k ∈ N.

A được gọi là đầy đủ hoặc hệ trực chuẩn cực đại nếu khơng có hệ trực
chuẩn B với A ⊂ B và A = B .
Có thể sử dụng Bổ đề Zorn để chỉ ra rằng mọi khơng gian Hilbert tách
đều có một hệ trực chuẩn cực đại. Hơn nữa, từ đại số tuyến tính ta biết
rằng mọi tập đếm được các phần tử độc lập tuyến tính của X có thể trực
chuẩn hóa.
Cho bất kỳ một tập A ⊂ X . Khi đó
n

αk xk : α ∈ R, xk ∈ A, n ∈ N

span A :=
k=1

là không gian con của X sinh bởi A.
Định lí 1.2.2. Cho A = {xk : k = 1, 2, 3, ...} là hệ trực chuẩn. Khi đó,
(a) Mọi tập con hữu hạn của A đều độc lập tuyến tính.


9

(b) Nếu A hữu hạn, tức là A = {xk : k = 1, 2, ..., n}, thì với mọi x ∈ X
tồn tại duy nhất hệ số αk ∈ R, k = 1, 2, ..., n, sao cho
n

x−

αk x k ≤ x − a

∀a ∈ span A.

k=1

hệ số αk được cho bởi αk = x, xk với k = 1, ....., n.
(c) ∀x ∈ X , bất đẳng thức Bessel như sau:
∞

| x, xk |2 ≤ x 2 ,

k=1
∞

x, xk xk hội tụ trong X .

và chuỗi
k=1

(d) A là đầy đủ nếu và chỉ nếu spanA là trù mật trong X.
(e) A là đầy đủ nếu và chỉ nếu với mọi x ∈ X có một khai triển Fourier
∞

x=

(x, xk ) xk ,
k=1

trong đó sự hội tụ được hiểu theo chuẩn của X. Trong trường hợp, phương
trình Parseval là đúng.
∞

x, y =

x, xk

y, xk .

k=1

1.3. TỐN TỬ TUYẾN TÍNH BỊ CHẶN VÀ TOÁN TỬ COMPACT

Định nghĩa 1.3.1. Cho X, Y là hai khơng gian tuyến tính định chuẩn
trên trường R. Ánh xạ A : X → Y gọi là liên tục tại x0 ∈ X nếu với mọi
dãy (xn ) ⊂ X mà xn → x0 thì Axn → Ax0 . Ánh xạ A được gọi là liên tục
trên X nếu nó liên tục tại mọi điểm x ∈ X .
Định nghĩa 1.3.2. (Sự bị chặn, chuẩn của A)
Cho X và Y là hai không gian định chuẩn và A : X → Y là một tốn
tử tuyến tính. Tốn tử tuyến tính A được gọi là bị chặn nếu tồn tại c > 0
sao cho

Ax ≤ c x , ∀x ∈ X .


10

Định lí 1.3.3. Các khẳng định sau là tương đương:
(a) A bị chặn,
(b) A là liên tục khi x = 0, tức là xj → 0 kéo theo Axj → 0,
(c) A là liên tục tại mọi điểm x ∈ X .
Không gian L (X, Y ) gồm tất cả ánh xạ tuyến tính bị chặn từ X vào

Y với chuẩn của tốn tử là một khơng gian định chuẩn, tức là chuẩn của
tốn tử thỏa mãn tính chất (i), (ii) và (iii) của Định nghĩa 1.1.3. Cho
B ∈ L (X, Y ) và A ∈ L (X, Y ), khi đó ta có:
AB ∈ L (X, Y ) và AB ≤ A

B .

Định nghĩa 1.3.4. Cho A là một tốn tử tuyến tính liên tục từ khơng
gian tuyến tính định chuẩn X vào Y . Theo Định nghĩa 1.3.2 luôn tồn tại
số M > 0 sao cho Ax ≤ M x với mọi x ∈ X , nên ta định nghĩa chuẩn

A như sau:

A = inf {M > 0 : ∀x ∈ X, Ax ≤ M x } .
Định lí 1.3.5. Cho A là một tốn tử tuyến tính liên tục từ khơng gian
tuyến tính định chuẩn X vào Y . Khi đó
Ax
A = sup
= sup Ax = sup Ax .
x
x=0
x ≤1
x =1
Định lí 1.3.6. (a) Cho k ∈ L2 ((c, d) × (a, b)). Tốn tử
b

k (t, s)x (s) ds, t ∈ (c, d) , x ∈ L2 (a, b) ,

(Ax) (t) :=

(1.5)

a

là xác định, tuyến tính và bị chặn từ L2 (a, b) → L2 (c, d). Hơn nữa,
d b

A

L2

|k (t, s)|dsdt.

≤
c a

(b) Cho k là liên tục trên [c, d] × [a, b]. Khi đó, A cũng là đơn ánh,
tuyến tính và bị chặn từ C [a, b] → C [c, d] và
b

A

∞

= max
t∈[c,d] a

|k (t, s)|ds.


11

Chúng ta có thể mở rộng định lí này đến tốn tử tích phân với nhân
suy biến yếu. Ta nói rằng nhân k được gọi là suy biến yếu trên [a, b] × [a, b]
nếu k được xác định và liên tục ∀t, s ∈ [a, b] , t = s, và tồn tại hằng số
c > 0 và α ∈ [0, 1) sao cho

|k (t, s)| ≤ c|t − s|−α , ∀t, s ∈ [a, b] , t = s.
Định lí 1.3.7. Cho k là nhân suy biến yếu trên [a, b]. Khi đó, tốn tử tích
phân A xác định bởi (1.6) với [c, d] = [a, b], là đơn ánh và bị chặn như một
toán tử trong L2 (a, b) cũng như trong C [a, b].

Trường hợp đặc biệt Y = R, ta kí hiệu X := L (X, R) là khơng gian
đối ngẫu của X .
Định lí 1.3.8. (Riesz - Fischer) Cho X là một không gian Hilbert. Với
mỗi x ∈ X , hàm số fx (y) := (y, x) , y ∈ X , xác định một ánh xạ tuyến
tính bị chặn từ X vào R, tức là fx ∈ X . Hơn nữa, cho mỗi f ∈ X tồn
tại một và chỉ một x ∈ X với f (y) = (y, x) , ∀y ∈ X và

= x .
f := sup |f (y)|
y
y=0

Định lí 1.3.9. (Toán tử liên hợp)
Cho A : X → Y là tốn tử tuyến tính và bị chặn giữa hai khơng
gian Hilbert. Khi đó, tồn tại một và chỉ một tốn tử tuyến tính bị chặn
A∗ : X → Y với tính chất

(Ax, y) = (x, A∗ y) , ∀x ∈ X, ∀y ∈ Y .
Toán tử A∗ : Y → X được gọi là toán tử liên hợp của A. Cho X = Y ,
toán tử A gọi là tự liên hợp nếu A∗ = A.
Ví dụ 1.3.10. Cho X = L2 (a, b) , Y = L2 (c, d) và k ∈ L2 ((c, d) × (a, b)).
Tốn tử liên hợp A∗ của tốn tử tích phân .
b

k (t, s)x (s) ds, t ∈ (c, d) , x ∈ L2 (a, b),

(Ax) (t) =
a

12

được cho bởi

(A∗ y) (t) =

d

k (s, t)y (s) ds , t ∈ (a, b) , y ∈ L2 (c, d).
c

Định nghĩa 1.3.11. (Toán tử compact).
Cho X, Y là hai khơng gian định chuẩn. Tốn tử K : X → Y được
gọi là tốn tử compact nếu nó biến mỗi tập bị chặn S thành tập compact
tương đối K (S) .
Chúng ta nói rằng một tập hợp M ⊂ Y được gọi là compact tương đối
nếu mỗi dãy bị chặn (yj ) ⊂ M có một điểm tụ trong cl (M ), tức là bao
đóng cl (M ) là compact. Tập hợp tất cả các toán tử compact từ X vào Y
là một khơng gian con đóng của L (X, Y ).
Định lí 1.3.12. (a) Nếu K1 và K2 là các tốn tử compact thì K1 + K2 và
λK1 với mỗi λ ∈ R cũng là toán tử compact.
(b) Cho Kn : X → Y là một dãy của toán tử compact từ không gian
Banach X vào không gian Banach Y và K : X → Y bị chặn. Giả sử rằng
Kn hội tụ đến K theo chuẩn toán tử, tức là

Kn − K := sup
x=0

Kn x−Kx
x

→ 0 (n → ∞).

Khi đó K cũng là tốn tử compact.
(c) Nếu L ∈ L (X, Y ) và K ∈ L (Y, Z) và L hoặc K là tốn tử compact
thì KL cũng là toán tử compact.
(d) Cho An ∈ L (X, Y ) hội tụ theo từng điểm đến một toán tử A ∈
L (X, Y ), tức là An x → Ax, ∀x ∈ X . Nếu K : X → Z là tốn tử compact
thì An K − AK
tốn tử.

→ 0, tức là toán tử An K hội tụ đến AK theo chuẩn

Định lí 1.3.13. (a) Cho k ∈ L2 ((c, d) × (a, b)). Tốn tử K : L2 (a, b) →

L2 (c, d) xác định bởi
b

k (t, s)x (s) ds, t ∈ (c, d) , x ∈ L2 (a, b) ,

(Kx) (t) :=
a

(1.6)


13

là toán tử compact từ L2 (a, b) vào L2 (a, b).
(b) Cho k là liên tục trên [c, d]×[a, b] hoặc suy biến yếu trên [a, b]×[a, b]

(trong trường hợp này [c, d] = [a, b]). Khi đó K được xác định bởi (1.1)
cũng là toán tử compact từ C [a, b] vào C [c, d].
1.4. HÀM SỐ
Định nghĩa 1.4.1. (Hàm liên tục Lipschitz)
Cho (X, . X ) và (Y, . Y ) là hai không gian định chuẩn. Một hàm
f : X → Y được gọi là liên tục Lipschitz nếu tồn tại một số thực L ≥ 0
sao cho ∀x1 , x2 ∈ X

f (x1 ) − f (x2 ) ≤ L x1 − x2 .
L được gọi là hằng số Lipschitz.
Định nghĩa 1.4.2. (Hàm coercive)
Cho X là không gian định chuẩn. Hàm số f : X → R được gọi là
coercive nếu với mọi dãy {xn } ⊂ X và xn → +∞ thì f (xn ) → +∞.
Định nghĩa 1.4.3. (Đạo hàm Fréchet)
Cho X và Y là hai không gian định chuẩn trên trường số thực R, U ⊂ X
là tập con mở, x ∈ U và T : X ⊃ U → Y là một ánh xạ.
(a) T được gọi là liên tục tại x nếu với mọi ε > 0 tồn tại δ > 0 sao cho
T (x) − T (x) ≤ ε, ∀x ∈ U thỏa mãn x − x ≤ δ .
(b) T được gọi là khả vi Fréchet tại x ∈ U nếu tồn tại tốn tử tuyến
tính bị chặn A : X → Y sao cho:
1
T (x + h) − T (x) − Ah = 0.
(1.7)
lim
h→0 h
Ta viết T (x) := A. Đặc biệt, T (x) ∈ L (X, Y ).
(c) Ánh xạ T được gọi là khả vi liên tục Fréchet tại x ∈ U nếu T khả
vi Fréchet trong lân cận V của x và ánh xạ T : V → L (X, Y ) là liên tục
trên x.

14

Tính liên tục và tính khả vi của ánh xạ phụ thuộc vào chuẩn trên X
và Y , điều này trái ngược trong trường hợp hữu hạn chiều. Nếu T khả vi
tại x thì ánh xạ tuyến tính bị chặn A trong (b) ở Định nghĩa 1.5.3 là duy
nhất. Nếu T khả vi tại x khi đó T cũng liên tục tại x. Trong trường hợp
hữu hạn chiều X = Rn và Y = Rm ánh xạ tuyến tính bị chặn T (x) chính
là ma trận Jacobian.
Định lí 1.4.4. (a) Cho T, S : X ⊃ U → Y khả vi Fréchet tại x ∈ X . Khi
đó, T + S và λT cũng khả vi Fréchét với mọi λ ∈ K và

(T + S) (x) = T (x) + S (x), (λT ) (x) = λT (x).
(b) Cho T : X ⊃ U → V ⊂ Y và S : Y ⊃ V → Z khả vi Fréchet tại

x ∈ U và T (x) ∈ V tương ứng. Khi đó, ST cũng khả vi Fréchet trên x và
(ST ) (x) = S (T (x)) T (x) ∈ L (X, Y ).
Do S (T (x)) ∈ L (Y, Z) và T (x) ∈ L (X, Y )
(c) Nếu T : X → Y là khả vi Fréchet tại x ∈ X thì hàm Ψ : K → Y
xác định bởi Ψ (t) := T (tx), t ∈ K, khả vi tại mọi điểm t ∈ K và Ψ (t) =
T (tx) x ∈ Y . Chú ý rằng đầu tiên Ψ (t) ∈ L (K, Y ). Trong trường hợp
này, ánh xạ tuyến tính Ψ (t) : K → Y với Ψ (t) ∈ Y .
Cho H là một không gian Hilbert. M là một tập con lồi khác rỗng của

H và phiếm hàm nhận giá trị thực mở rộng trên M :
f : M → R := [−∞, ∞] .
các tập dưới đây:

domf := {x ∈ M |f (x) < ∞} ,
epi f := {(x, γ) ∈ M × R|f (x) ≤ γ}

lần lượt được gọi là miền hữu hiệu và trên đồ thị của f . Ngoài ra, với
mỗi α ∈ R , ta gọi tập mức dưới của hàm f là:

C (f ; α) := {x ∈ M |f (x) ≤ α} = {x ∈ M | (x, α) ∈ epi f } .


15

Hàm f được gọi là chính thường nếu domf = φ và f (x) > −∞ với
mọi x ∈ M .
Định nghĩa 1.4.5. (Hàm lồi)
Cho H là một không gian Hilbert. Hàm f : M → R được gọi là hàm
lồi trên M nếu epi f là tập lồi và được gọi là hàm lõm nếu −f là hàm lồi.
Nhận xét 1.4.6. 1. Nếu f lồi thì domf lồi.
2. Nếu f lồi thì C (f ; α) lồi với mọi α ∈ R.
3. Nếu f : H → R là hàm lồi và f (x0 ) > −∞ với x0 ∈ int dom f thì
f (x) > −∞ ∀x ∈ H.
Mệnh đề 1.4.7. f : H → (−∞, +∞] . Lúc đó f lồi nếu và chỉ nếu

f (λx + (1 − λ) y) ≤ λf (x) + (1 − λ) f (y) , ∀x, y ∈ H, λ ∈ (0, 1) .
Định nghĩa 1.4.8. (Hàm nửa liên tục dưới)
Một hàm f : H → R được gọi là nửa liên tục dưới tại x0 nếu

lim inf f (x) ≥ f (x0 ) .
x→x0

f được gọi là nửa liên tục dưới nếu nó nửa liên tục dưới tại mọi x ∈ H.
1.5. DƯỚI VI PHÂN
Định nghĩa 1.5.1. Giả sử f là một hàm lồi, chính thường trên khơng
gian Hilbert H và x0 ∈ dom f . Một phiếm hàm x ∈ H được gọi là dưới

gradient của f tại x0 nếu

f (x) ≥ f (x0 ) + x − x0 , x , ∀x ∈ H.
Tập hợp tất cả các dưới gradient của f tại x0 được gọi là dưới vi phân
của f tại điểm đó và được kí hiệu là ∂f (x0 ). Vậy

∂f (x0 ) = {x ∈ H |f (x) − f (x0 ) ≥ x − x0 , x , ∀x ∈ H} .
Nếu ∂f (x0 ) là tập khác rỗng ta nói f khả dưới vi phân tại x0 . Để thuận
tiện ta cũng quy ước ∂f (x0 ) = ∅ nếu x0 ∈
/ dom f .


16

CHƯƠNG 2

BÀI TỐN TỐI ƯU KHƠNG TRƠN VÀ CÁC GIẢI THUẬT

Chương này sẽ giới thiệu về bài toán tối ưu khơng trơn xuất hiện trong
chỉnh hóa bài tốn ngược. Trước hết, luận văn nêu giả thiết cho bài toán,
phát biểu và chứng minh các bổ đề, định lí về điều kiện có nghiệm và điều
kiện cần của nghiệm. Nội dung chính của chương này là giới thiệu giải
thuật giảm Gradient và giải thuật cải tiến của Nesterov cũng như xem xét
tốc độ hội tụ của hai giải thuật.
2.1. BÀI TOÁN
Chúng ta xét bài tốn tối ưu khơng trơn dạng

min Θ (u)
u∈H

(2.1)

trong đó Θ (u) := F (u) + Φ (u) .
Ở đây H là một không gian Hilbert, F : H → R là một hàm trơn,
nhưng không nhất thiết phải lồi, Φ : H → R là một hàm lồi nhưng có thể
khơng trơn. Khi nghiên cứu Bài tốn (2.1) chúng ta thường quan tâm đến
việc tìm câu trả lời cho các câu hỏi cơ bản sau:
(1) Khi nào bài tốn có nghiệm?
(2) Điều kiện cần và đủ của nghiệm?
(3) Làm thế nào để tìm nghiệm?
Trong các phần tiếp theo của chương này, chúng ta sẽ tìm câu trả lời
cho các câu hỏi trên.
2.2. ĐIỀU KIỆN CÓ NGHIỆM VÀ ĐIỀU KIỆN CẦN CỦA
NGHIỆM
Đầu tiên, chúng ta tập trung nghiên cứu các điều kiện để Bài tốn (2.1)
có nghiệm. Để nhận được kết quả như thế ta cần các giả thiết sau:


17

Giả định 2.2.1. (1) Φ là một hàm dương, lồi chính thường, nửa liên tục
dưới yếu và coercive với Dom (Φ) = φ.
(2) F bị chặn dưới và nửa liên tục dưới yếu. Khơng mất tính tổng qt,
ta giả thiết F (u) ≥ 0, ∀u ∈ H.
(3) F là liên tục Lipschitz khả vi Fréchet, tức là nó khả vi Fréchet và
tồn tại một hằng số L sao cho

F (u) − F (u ) ≤ L u − u , ∀u, u ∈ H.
(4) Nếu {un } hội tụ yếu đến u sao cho {Θ (un )} là đơn điệu giảm, thì
tồn tại một dãy con {unj } sao cho

{F (unj )} → F (u) .
Nhận xét 2.2.2. 1. Điều kiện (1) và (2) kéo theo rằng Bài toán (2.1) có
ít nhất một cực tiểu, xem Bổ đề 2.2.4.
2. Điều kiện (3) và (4) của Giả định 2.2.1 ta áp dụng để chứng minh sự
hội tụ của giải thuật giảm Gradient.
Nhận xét 2.2.3. 1. Điều kiện (3) của Giả định 2.2.1 ta có:

|F (v) − F (u) − F (u) , v − u | ≤

L
2

v − u 2 , ∀v, u ∈ H.

Thật vậy, ta có:

|F (v) − F (u) − F (u) , v − u |
1

F (u + t (v − u)) , v − u dt − F (u) , v − u

=
0
1

F (u + t (v − u)) − F (u) , v − u dt

=
0

1

≤
0

L v − u 2 tdt =

L
2

v − u 2.

2. Điều kiện (4) của Giả định 2.2.1 suy ra rằng tập Et = {u ∈ H : Φ (u) ≤ t}
là compact với mỗi t ∈ R và F liên tục. Thật vậy, un hội tụ yếu đến u và
Θ (un ) là đơn điệu giảm. Khi đó, {Φ (un )}n∈N bị chặn và {un } ⊂ Et với


18

một số t > 0. Vì Et compact nên có một dãy con {unj } sao cho unj → u.
Vì F liên tục ta có F (unj ) → F (u).
Bổ đề 2.2.4. (Điều kiện có nghiệm)
Giả sử Bài tốn (2.1) thỏa mãn các giả thiết (1) và (2) của Giả định
2.2.1. Khi đó, Bài tốn (2.1) có ít nhất một nghiệm.
Chứng minh. Vì F và Φ bị chặn dưới nên inf Θ > −∞. Gọi {un } là dãy
cực tiểu, tức Θ {un } → inf Θ. Vì Θ coercive nên {un } bị chặn. Do đó, tồn
tại dãy con {unk } hội tụ đến u∗ ∈ H.
Vì Θ nửa liên tục dưới nên

Θ (u∗ ) ≤ lim inf Θ (unk ) = inf Θ.

k→∞

Do đó, u∗ là một điểm cực tiểu của Θ.

Để đưa ra tiêu chuẩn điều kiện cần của nghiệm, trước hết chúng ta cần
định nghĩa toán tử “Proximal” như sau:
Định nghĩa 2.2.5. (Toán tử Proximal)
Cho Φ : H → R là hàm lồi, chính thường, nửa liên tục dưới, v ∈ H và
λ ∈ R+ . Khi đó, tốn tử proximal của Φ được xác định như sau:
u−v 2
PλΦ (v) = arg min
+ λΦ (u) .
(2.2)
u∈H
2
Chú ý rằng, định nghĩa trên là hoàn toàn hợp lệ. Bởi vì:
Từ Giả định 2.2.1 và Φ suy ra rằng với mỗi y ∈ H và s > 0, hàm
1
1
v → Ψ (v) = v − y 2 + Φ (v) ,
2
s
là lồi chặt và nửa liên tục dưới yếu. Hơn nữa, Φ là chính thường,

Dom(Φ) = φ và như vậy cho v0 ∈ Dom (Φ) và v0∗ ∈ ∂Φ (v0 ) ta có
Φ (v) ≥ Φ (v0 ) + v0∗ , v − v0 , ∀v ∈ H.
Từ đây suy ra: Ψ (v) → ∞ khi v → ∞, tức là Ψ là hàm coercive. Do
đó Ψ có duy nhất một điểm cực tiểu.