MỘT số PHƯƠNG PHÁP HIỆU CHỈNH GIẢI hệ PHƯƠNG TRÌNH TOÁN tử

ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

ĐẶNG VĂN HIẾU

MỘT SỐ PHƯƠNG PHÁP HIỆU CHỈNH
GIẢI HỆ PHƯƠNG TRÌNH TOÁN TỬ

LUẬN VĂN THẠC SĨ KHOA HỌC

Hà Nội - 2011


ĐẠI HỌC QUỐC GIA HÀ NỘI
TRƯỜNG ĐẠI HỌC KHOA HỌC TỰ NHIÊN

ĐẶNG VĂN HIẾU

MỘT SỐ PHƯƠNG PHÁP HIỆU CHỈNH
GIẢI HỆ PHƯƠNG TRÌNH TOÁN TỬ

Chuyên ngành: Toán học tính toán
Mã số: 604630

LUẬN VĂN THẠC SĨ KHOA HỌC

Người hướng dẫn khoa học:
GS.TSKH Phạm Kỳ Anh

Hà Nội - 2011

LỜI CẢM ƠN
Để hoàn thành bản luận văn này tôi đã nhận được sự giúp đỡ to lớn của
các Thầy, Cô giáo, gia đình và bạn bè xung quanh.
Tôi xin bày tỏ lòng kính trọng và biết ơn sâu sắc tới thầy giáo hướng dẫn
GS.TSKH Phạm Kỳ Anh, Khoa Toán - Cơ - Tin học, Trường đại học khoa
học tự nhiên, ĐHQG Hà Nội. Trong quá trình giảng dạy cũng như hướng dẫn,
thầy đã ân cần, động viên, giúp đỡ chỉ bảo tận tình cho tôi.
Tôi cũng gửi lời cảm ơn tới các Thầy, Cô trong Khoa Toán - Cơ - Tin học,
Phòng sau đại học, Trường Đại học khoa học tự nhiên, ĐHQG Hà Nội đã dạy
dỗ, giúp đỡ tôi trong suốt quá trình học tập, đặc biệt là các Thầy, Cô trong
Seminar của Bộ môn Toán học tính toán đã có những ý kiến đóng góp quý
báu giúp cho bản luận văn hoàn chỉnh hơn.
Ngoài ra tôi cũng xin gửi lời cảm ơn tới các bạn đồng nghiệp đã giúp đỡ,
động viên tôi trong quá trình thực hiện luận văn này.
Cuối cùng, tôi xin gửi lời cảm ơn tới gia đình đã sinh thành, nuôi dưỡng
và động viên tôi rất nhiều trong thời gian qua.
Dù đã cố gắng hết sức nhưng luận văn không thể tránh khỏi những thiếu
sót. Mọi ý kiến đóng góp tôi xin được đón nhận với lòng biết ơn chân thành.
Hà Nội, ngày 23 tháng 11 năm 2011
Học Viên

Đặng Văn Hiếu

1


Mục lục
Lời cảm ơn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Bảng kí hiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

Mở đầu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1 Hiệu chỉnh đa tham số - sự hội tụ và tốc độ hội tụ

7

1.1 Đặt bài toán . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 Các kết quả về tính ổn định . . . . . . . . . . . . . . . . . . 8
1.3 Tốc độ hội tụ . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.4 Hiệu chỉnh đa tham số trong không gian Hilbert . . . . . . . 16
1.5 Mối liên hệ giữa phương pháp nhân tử Lagrange và phương pháp hiệu chỉnh đa t
2 Phương pháp hiệu chỉnh đa tham số Tikhonov

22

2.1 Nhắc lại bài toán . . . . . . . . . . . . . . . . . . . . . . . 22
2.2 Một số kết quả . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.3 Ví dụ minh họa . . . . . . . . . . . . . . . . . . . . . . . . 34
3 Phương pháp chỉnh lặp song song dạng Gauss - Newton
3.1 Giới thiệu . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2 Sự hội tụ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
3.3 Ví dụ minh họa . . . . . . . . . . . . . . . . . . . . . . . . 46
Kết luận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
Tài liệu tham khảo

54
2

37

BẢNG KÍ HIỆU
∆u Toán tử Laplace của u
L2(Ω) Không gian các hàm bình phương khả tích trên Ω
H k(Ω) Không gian Sobolev
D(F ) Miền xác định của toán tử F
∂Ω Biên của Ω
J(x)
Phiếm hàm ổn định
M
Tập các phần tử chấp nhận được
D(x, x) Khoảng cách Bregman giữa x và x
Br(x†) Hình cầu mở tâm x† bán kính r
. 2 Chuẩn Euclid
< ., . > Tích vô hướng trong không gian X
< ., . >X ∗,X Tích đỗi ngẫu trong X
Y j∗
Không gian liên hợp của không gian Y j
F ∗ Toán tử liên hợp của toán tử F
L(X ,Y ) Không gian các ánh xạ tuyến tính từ X vào Y
L(x,  ) Hàm Lagrange
F (x) Đạo hàm Fréchet của toán tử F tại x
T〈 (x) Phiếm hàm làm trơn Tikhonov
IRGNM Phương pháp lặp Gauss-Newton
PIRGNM Phương pháp lặp song song dạng Gauss-Newton
′

3


MỞ ĐẦU

Nhiều bài toán khoa học kĩ thuật dẫn đến việc giải phương trình
F (x) = y,
trong đó F : X → Y là toán tử (tuyến tính hoặc phi tuyến), X ,Y là các không
gian Banach. Bài toán trên được gọi là đặt chỉnh, nếu
1. Phương trình luôn có nghiệm duy nhất với mọi y ∈ Y .
2. Nghiệm phụ thuộc liên tục vào các dữ liệu F, y.
Khi đó ta có nhiều phương pháp giải bài toán trên. Tuy nhiên trong thực tế
không phải lúc nào bài toán cũng đặt chỉnh, tức là
1. Tồn lại y ∈ Y để phương trình vô nghiệm hoặc có nhiều hơn một nghiệm.
2. Nghiệm không phụ thuộc liên tục vào các dữ liệu F, y.
Các bài toán đặt không chỉnh rất khó giải do có sai số của dữ liệu và phải
tính toán gần đúng trên máy tính. Khi đó ta cần có chiến lược hiệu chỉnh để
giải bài toán trên. Nói nôm na, ta sẽ thay bài toán đặt không chỉnh bằng một
họ các bài toán đặt chỉnh phụ thuộc tham số mà nghiệm của chúng hội tụ đến
nghiệm của bài toán đặt không chỉnh khi tham số hiệu chỉnh dần tới không.
Trong các bài toán nhận dạng đa tham số, ta phải xác định x, khi biết các
dữ liệu gần đúng yi của yi, tức là phải giải hệ phương trình (thông thường là
đặt không chỉnh)
Fi(x) = yi , i = 1, ..., l.
Nếu xem y như là một véc tơ y = (y1 , y2 , ..., yl ), với yi ∈ Yi,  như là
một véctơ nhiễu  = (1, 2, ..., l )T ∈ Rl (mức nhiễu) thì hệ phương trình
toán tử trên đưa về một phương trình toán tử trong không gian tích
F (x) = y .

4


Trong nhiều trường hợp việc xét hệ phương trình thay cho một phương
trình trong không gian tích với bộ tham số hiệu chỉnh cho kết quả khả quan.
Sau đây là hai ví dụ đưa về hệ phương trình toán tử đặt không chỉnh.

Ví dụ 1. (Bài toán khôi phục hệ số của phương trình từ ánh xạ Dirichlet Neumann)
Ứơc lượng hệ số q ≥ 0 từ phương trình vi phân riêng
−∆u + qu = 0, x ∈ Ω ⊂ Rd ,
với điều kiện biên Neumann g = ∂ u
các giá trị Dirichlet của u trên biên ∂ Ω là f0, f1, . . . , f p−1 và đo đạc được các
giá trị Neumann gi = ∂ ui
∂ v trên biên ∂ Ω tương ứng. Khi đó ta viết lại bài toán
Fi(q) = gi, i = 0, ..., p − 1,
trong đó Fi : D(Fi) ⊂ L2(Ω) → H −1/2(∂ Ω) là toán tử phi tuyến ánh xạ q tới
∂ ui

i

i


−∆u + qu = 0, x ∈ Ω ⊂ Rd
Bài toán ước lượng q ui từ hệ trên∂ Ωđặt không chỉnh (xem [5]).
≥ 0 = fi, x ∈ là .
Ví dụ 2. (Bài toán ước lượng mômen phi tuyến).
Bài toán ước lượng mômen phi tuyến là tìm hàm u ∈ L2(Ω) trên miền bị
chặn Ω ⊂ Rd thỏa mãn hệ phương trình tích phân phi tuyến
gi =

Ω

ki(x, u(x))dx ∈ Rm, i = 1, ..., p,

với các nhân trơn ki : Ω × R → Rm và các véctơ gi cho trước (i = 1, ..., p).
Ta đưa về bài toán

Fi(u) = gi, i = 1, ..., p,
trong đó Fi : L2(Ω) → Rm là toán tử phi tuyến đưa u vào Ω ki(x, u(x))dx. Đây
cũng là bài toán đặt không chỉnh (xem [5]).
5


Đã có nhiều phương pháp giải hệ phương trình toán tử đặt không chỉnh.
Ngoài các phương pháp lặp xoay vòng như Landweber - Kaczmarz, Newton Kaczmarz, đường dốc Kaczmarz, một nhóm các nhà khoa học tại Trường Đại
học khoa học tự nhiên, ĐHQG Hà Nội đã đề xuất các phương pháp chỉnh lặp
song song: Newton hiệu chỉnh song song, Gauss - Newton hiệu chỉnh song
song, phương pháp chiếu điểm gần kề song song, phương pháp CQ - song
song giải hệ phương trình toán tử. Đăc điểm của các phương pháp này là hai
quá trình hiệu chỉnh và phân rã song song được thực hiện đồng thời và tương
thích với nhau.
Luận văn này sẽ trình bày ba phương pháp giải hệ phương trình toán tử
đặt không chỉnh: Phương pháp cực tiểu phiếm hàm ổn định với hạn chế độ
lệch trong mức sai số cho phép. Phương pháp cực tiểu phiếm hàm làm trơn
Tikhonov và phương pháp Gauss - Newton hiệu chỉnh song song.
Nội dung chính của bản luận văn bao gồm các vấn đề sau đây:
1. Thiết lập tính đặt chỉnh của bài toán tối ưu có ràng buộc liên kết với hệ
phương trình toán tử đặt không chỉnh.
2. Đánh giá tốc độ hội tụ của phương pháp hiệu chỉnh đa tham số trong
trường hợp tổng quát.
3. Thiết lập mối liên hệ giữa phương pháp nhân tử Lagrange và phương
pháp hiệu chỉnh đa tham số.
4. Nghiên cứu phương pháp hiệu chỉnh đa tham số Tikhonov và đánh giá
tốc độ hội tụ.
5. Trình bày phương pháp chỉnh lặp song song dạng Gauss - Newton.
Các vấn đề 1 − 3 được trình bày trong bài báo của Torsten Hein [2]. Phần
5 được nghiên cứu trong công trình của Phạm Kỳ Anh và Vũ Tiến Dũng [1].

Phần 4 là các kết quả do học viên phát triển dựa theo tài liệu của Torsten Hein
[2], Nguyễn Bường và Nguyễn Đình Dũng [3].

6


Chương 1

Hiệu chỉnh đa tham số - sự
hội tụ và tốc độ hội tụ
Trong chương này, chúng tôi đề cập tới phương pháp hiệu chỉnh đa tham số
do Torsten đề xuất dựa trên việc cực tiểu phiếm hàm ổn định với điều kiện
độ lệch của các phương trình nằm trong giới hạn sai số cho phép, bao gồm
các bổ đề về tính ổn định và định lý về tốc độ hội tụ. Cuối chương, chúng tôi
giới thiệu hai thuật toán giải bài toán tối ưu và mối liên hệ giữa phương pháp
hiệu chỉnh đa tham số và phương pháp nhân tử Lagrange. Nội dung chính của
chương được trình bày theo dựa theo tài liệu [2].

1.1 Đặt bài toán
Cho X ,Y j, ( j = 1, ..., l) là các không gian Banach phản xạ. Để đơn giản, chuẩn
trong các không gian X ,Y j cùng được kí hiệu là . . Fj : D(Fj) ⊂ X → Y j( j =
1, ..., l) nói chung là các toán tử phi tuyến. Đặt D = lj=1 D(Fj), giả sử D = ∅.
Nếu vế phải cho là chính xác ta có hệ sau
Fj(x) = y j ( j = 1, ..., l), x ∈ D.

(1.1.1)

Tuy nhiên dữ liệu y j thường bị nhiễu bởi yj : ||yj − y j|| ≤  j khi đó ta chỉ
có phương trình
Fj(x) = yj

( j = 1, ..., l), x ∈ D.
7

(1.1.2)


Trong ứng dụng thì bài toán (1.1.2) thường là bài toán đặt không chỉnh.
Ngay cả khi các hệ (1.1.1) và (1.1.2) giải được duy nhất thì nghiệm của (1.1.2)
cũng không chắc phụ thuộc liên tục vào dữ liệu. Nghĩa là nếu x† là nghiệm
duy nhất của (1.1.1) và x là nghiệm duy nhất của (1.1.2) thì ||x† − x || có
thể lớn tùy ý khi  j( j = 1, ..., l) đủ nhỏ.
Chiến lược hiệu chỉnh. Xét phiếm hàm ổn định J : D ⊂ X → R mà tính
chất của nó được liệt kê trong mục 1.2 và thay (1.1.2) bởi bài toán tối ưu có
ràng buộc sau
(1.1.3)

x∈ D

J(x) j → minj j

F (x) −Tikhonov,
y ≤  , ta
j =thay
1, ...,(1.1.2)
l.
Trong lý thuyết hiệuchỉnh
bằng bài toán cực tiểu
phiếm hàm
l

2

∑  j Fj (x) − yj

Yj

j=1

+ J (x) → min,
x∈D

(1.1.4)

trong đó  j > 0( j = 1, ..., l) là các tham số hiệu chỉnh.
Khi dùng phương pháp Lagrange để giải bài toán (1.1.3) ta có thể xem
các tham số  j > 0( j = 1, ..., l) như các nhân tử Lagrange. Các hằng số 〈 j =
1
chỉnh đa tham số.

1.2 Các kết quả về tính ổn định
Ta sẽ chỉ ra tính đặt chỉnh của bài toán (1.1.3). Cụ thể ta sẽ thiết lập một số
điều kiện để bài toán (1.1.3) có nghiệm duy nhất x phụ thuộc liên tục vào
các dữ liệu yj , j = 1, ..., l. Ta sẽ chỉ ra rằng cách tiếp cận bài toán (1.1.3) cũng
gần giống như việc chứng minh sự tồn tại, tính ổn định và hội tụ của điểm
cực tiểu x〈 của phiếm hàm Tikhonov
2

F (x) − y

Y

8

+ 〈 J(x),

(1.2.1)


ở đây J(x) = ||x − x∗| |2 hoặc J(x) = ||D(x − x∗)| |2, trong đó D là toán tử tuyến
tính đóng.
Sau đây là một số giả thiết đối với toán tử Fj, ( j = 1, ..., l) và phiếm hàm
ổn định J(x):
A1. Với dữ liệu chính xác thì hệ (1.1.1) có nghiệm x†, tức là Fj(x†) = y j, ( j =
1, ..., l).
A2. Fj, ( j = 1, ..., l) là các toán tử liên tục và đóng yếu (xn ∈ D(Fj), xn ⇀
x, Fj(xn) ⇀ y j thì x ∈ D(Fj) và Fj(x) = y j).
A3. Phiếm hàm J : D ⊂ X → R không âm và nửa liên tục dưới yếu (xn ⇀ x
thì J(x) ≤ lim
n→∞(inf J(xn))).
A4. Tập
A(C) :=

l

x ∈ X : J(x) +

∑ Fj(x) ≤ C

j=1

bị chặn trong X với mọi C ≥ 0.
A5. Nếu xn ⇀ x và J(xn) → J(x) thì xn → x.
Nhận xét. Giả thiết A1 là một giả thiết tự nhiên đối với bài toán nhận
dạng, tức là nếu có quan sát chính xác y j, ( j = 1, ..., l) thì ta có thể giả thiết
có bộ "tham số" x† ∈ D thỏa mãn hệ (1.1.1). Nhưng điều này có thể không
còn đúng khi dữ liệu bị nhiễu yj , ( j = 1, ..., l). Tức là nghiệm của (1.1.2) có
thể không tồn tại.
Kí hiệu
M = x ∈ X : Fj(x) − yj

Yj

≤  j, ( j = 1, ..., l) (1.2.2)

là tập các phần tử chấp nhận được. Vì x† ∈ M , ∀ ≥ 0 nên M = Ø. Ngoài
ra vì Fj liên tục nên M là tập đóng.
Bây giờ ta chứng minh sự tồn tại nghiệm x của (1.1.3).
Bổ đề 1.2.1. Với các điều kiện (A1) − (A4) thì luôn tồn tại nghiệm x của
(1.1.3).
9


Chứng minh. Giả sử {xn} ⊂ M là dãy cực tiểu sao cho: J(xn+1) ≤ J(xn)
và lim J(xn) = inf J(x). Ta có: J(xn) ≤ J(x0), ∀n ≥ 0.
Từ (1.2.2) ta cóx∈D
Fj(xn) ≤ yj +  j ≤ y j + 2 j, j = 1, ..., l.
Đặt C := J(x0) + ∑

l

j=1

y j + 2 j .

Suy ra xn ∈ A(C).
Do đó {(xn, F1(xn) , ..., Fl (xn)}n là bị chặn trong không gian Banach phản xạ
X × Y1 × ... × Yl.
Suy ra, tồn tại dãy {xnk } sao cho xnk ⇀ x và Fj(xnk ) ⇀ y j, (1 ≤ j ≤ l).
Theo (A2) thì Fj(x) = y j và ta có
Fj(xnk ) − yj ⇀ y j − yj = Fj(x) − yj ,
Theo tính nửa liên tục dưới yếu của chuẩn,suy ra
Fj (x) − yj ≤ lim inf F (xnk ) − yj ≤  j, (1 ≤ j ≤ l) ,
k→∞

chứng tỏ x ∈ M .
Theo (A3) và xnk ⇀ x suy ra J (x) ≤ lim inf J (xnk ). Từ đó x là nghiệm của
k→∞
(1.1.3).⊠
(n)

(n)

Bổ đề 1.2.2. Cho các điều kiện (A1) − (A4). Hơn nữa {y j } với y j − yj ≤
(n) (n)

(n)

c j , c j → 0 (n → ∞) . Gọi {xn } là dãy nghiệm của (1.1.3) ứng với yj = y j
(n)

và  j + c j .
Khi đó
1. Tồn tại dãy con {xnk } ⇀ x là nghiệm của (1.1.3).
2. Nếu x là nghiệm duy nhất thì xn ⇀ x .

10


Chứng minh
1. Với mỗi n ∈ N, đặt
(n)

(n)

M = {x ∈ X : Fj(x) − ynj ≤  j + 2c j , ( j = 1, ..., l)},
(n)

(n)

(n)

suy ra x ∈ M ∀n và M → M , (M ⊂ M ).
Do đó
J(xn ) ≤ J(x ) ∀n. (∗)
Như lập luận trong Bổ đề 1.2.1.,tồn tại dãy {xnk } sao cho
xnk ⇀ x ∈ M ,
suy ra J(x ) ≤ J(x) ≤ lim inf J(xnk ) ≤ J(x ), (**)
k→∞
Do đó J(x) = J(x ).
Vậy x là nghiệm của (1.1.3).

2. Nếu bài toán (1.1.3) có nghiệm duy nhất x thì x = x , từ đó suy ra sự hội
tụ yếu của dãy {xn } về x . ⊠
Bổ đề 1.2.3. Giả sử có các giả thiết của Bổ đề 1.2.2. Nếu thêm điều kiện
(A5) thì {xn } hội tụ mạnh về x .
Chứng minh. Hiển nhiên từ (*) và (**) cùng với xn ⇀ x , suy ra lim J(xn ) =
J(x ). Kết hợp với (A5) ta có ngay điều phải chứng minh.⊠

n→∞

Cuối cùng chúng ta muốn chứng minh sự hội tụ của nghiệm của (1.1.3)
tới nghiệm x† của (1.1.1) khi  j → 0, (1 ≤ j ≤ l).
Định nghĩa 1.2.1. x† được gọi là nghiệm J − min của (1.1.1) nếu
J(x†) = min{J(x) : Fj(x) = y j, 1 ≤ j ≤ l}.
Từ Bổ đề 1.2.1. và 1.2.3. suy ra x hội tụ tới nghiệm J − min của hệ (1.1.1)
(n)

khi  → 0. Nếu thay  j + c j bởi  j và yj bởi y j và lặp lại chứng minh của
Bổ đề 1.2.2., ta thu được kết quả sau.
Bổ đề 1.2.4. Cho các điều kiện (A1) − (A4) và  j → 0, tức là (yj →
y j, 1 ≤ j ≤ l). Nếu x là nghiệm của (1.1.3) thì tồn tại dãy con {x } hội tụ
yếu tới nghiệm J − min x† của (1.1.1). Hơn nữa, nếu nghiệm J − min x† là
duy nhất thì x ⇀ x†. Nếu thêm điều kiện (A5) thì x → x†.
11


1.3 Tốc độ hội tụ
Định nghĩa 1.3.1. Giả sử J là hàm lồi và khả vi Fréchet với J′(x) ∈ X ∗, ∀x ∈
D. Khoảng cách Bregman giữa x, x ∈ D là D(x, x) xác định bởi
D(x, x) := J(x) − J(x)− < J′(x), x − x >X ∗,X ,
trong đó < ., . >X ∗,X là tích đối ngẫu trong X.

Sau này, để đơn giản, ta sẽ bỏ các kí tự X ∗, X trong tích đối ngẫu.
Nhận xét. Từ tính lồi của hàm J(x) suy ra D(x, x) ≥ 0. Nếu J(x) lồi chặt
thì D(x, x) > 0, ∀x = x.
Trước khi nghiên cứu tốc độ hội tụ của phương pháp hiệu chỉnh đa tham
số ta xét thêm điều kiện sau

A6. ∃ : 0 ≤  < 1 và  = (1, 2, ..., l )T ∈ Rl với  j ≥ 0, ( j = 1, ..., l) thỏa
mãn
′

†

†

J (x ), x − x

l

†

≤  D(x, x ) +

∑  j Fj(x) − Fj(x†)
j=1

(1.3.1)

∀x ∈ Br(x†) ∩ D với Br(x†) = x ∈ X : x − x† < r , r > 0 đủ lớn.
Điều kiện A6 rất tổng quát và bao gồm các điều kiện nguồn, điều kiện nón
pháp tuyến vv...

đó

Định lý 1.3.1. Giả sử có các giả thiết (A1) − (A6);  := (1, ..., l )T , khi
D(x , x†) ≤

2

1−
trong đó . 2 là chuẩn Euclid trong Rl .

2

Chứng minh. Do x† ∈ M ∀ ≥ 0 nên J(x ) ≤ J(x†).
Ta có
D(x , x†) = J(x ) − J(x†) − J′(x†), x − x† ,
suy ra
D(x , x†) ≤ J′(x†), x − x†
12

.


Theo (A6), ta suy ra
l

D(x , x†) ≤  D(x , x†) +
j=1∑  j Fj(x ) − Fj(x†)
l

≤  D(x , x†) +j=1∑  j Fj(x ) − yj + yj − y j

l

∑  j j
≤  D(x , x†) + 2 j=1
≤  D(x , x†) + 2 
Do đó

2

2

D(x , x†) ≤

2
2

1−
Nhận xét. Để thiết lập tốc độ hội tụ trong X ta cần đặt thêm điều kiện lên
các toán tử Fj hoặc/và hàm J(x). Chẳng hạn giả sử J(x) là hàm lồi mạnh với
hệ số  > 0, tức là

J(tx + (1 − t)y) ≤ tJ(x) + (1 − t)J(y) − 2 t(1 − t) x − y

2

, ∀t ∈ [0; 1].

Suy ra x − y 2 ≤ 2 D(x, y) = C.D(x, y) với C = 2 .
Từ đây kết hợp với (1.3.2) ta có
2

x − x†

X

≤ C.D(x , x+) ≤

2C
1−

2

.2.

Từ đó ta có đánh giá tốc độ hội tụ trong X .
Mặt khác nếu J(x) = x − x∗ 22 thì D(x, x) = x − x 2.
2

.  2.
Từ (1.3.2), ta được x − x† = D(x , x†) ≤ 1− 
2
Ta xét một số trường hợp đặc biệt của giả thiết (A6). Giả thiết này đạt
được nếu ta có điều kiện nguồn sau
†

J ′(x ) =

l

∑ G∗j w j, w j ∈ Y j∗, (1 ≤ j ≤ l),

j=1

trong đó G j ∈ L(X ,Y j ) là xấp xỉ tuyến tính của Fj với phần dư là
r j(x, x†) := Fj(x) − Fj(x†) − G j(x − x†). (1.3.4)
13

(1.3.3)


Sau đây là 3 ví dụ điển hình.
Hệ quả 1.3.1. Giả sử (1.3.3) thỏa mãn với
l

r j (x, x†) ≤ C j .D(x, x†) và C := j∑ 1= w j

.C j < 1

Y j∗

thì điều kiện (A6) nghiệm đúng với  = C và  j = w j

Y j∗

, 1 ≤ j ≤ l.

Chứng minh. Ta có
l

J′(x†), x − x†

X ∗,X

=∑

G∗j w j, x − x†

j=1

X ∗,X

l

=∑
j=1w j, G j(x − x†)

Y j∗,Y j

l

≤∑
j=1w j

Y j∗

G j(x − x†)

Yj

l

≤∑
j=1w j

Y j∗

Fj(x) − Fj(x†) + r j(x, x†)

l

≤∑
j=1w j

l

Y j∗

Fj(x) − Fj(x†) +

∑ wj

j=1

C j D(x, x†)

Y j∗

Từ đó suy ra điều phải chứng minh. ⊠
Nhận xét. Nếu J(x) = x − x∗ 2 và Fj khả vi Fréchet thì các giả thiết của
Hệ quả 1.3.1 giống các giả thiết trong phương pháp hiệu chỉnh Tikhonov,
trong đó G j = F ′(x†) : X → Y j là liên tục Lipschitz. Điều này chứng tỏ (1.3.1)

là khái quát hóa của các giả thiết quen biết để chứng minh tốc độ hội tụ. Mặt
khác tính liên tục Lipschitz của đạo hàm Fréchet không phải là điều kiện cần
để phương pháp hiệu chỉnh hội tụ. Do đó nó có thể được thay bởi các giả thiết
khác.
Hệ quả 1.3.2. Giả sử (1.3.3) thỏa mãn với
r j(x, x†)

Yj

≤ C j Fj(x) − Fj(x†)
14

Yj

,1≤j≤l


thì điều kiện (A6) nghiệm đúng với  = 0 và  j = w j

Y j∗

(C j + 1), 1 ≤ j ≤ l.

Chứng minh. Như trên ta có
l

J′(x†), x − x†
l

≤∑

j=1w j

Y j∗

X ∗,X

≤∑
j=1w j

Cj + 1

Y j∗

.

Fj(x) − Fj(x†) + r j(x, x†)

Fj(x) − Fj(x†)

Từ đó suy ra điều phải chứng minh. ⊠
Hệ quả 1.3.3. Giả sử (1.3.3) thỏa mãn với
r j(x, x†)

Yj

≤ C j G j(x − x†)

Yj

,1≤j≤l

với C j < 1 thì điều kiện (A6) nghiệm đúng với  = 0 và  j = w j
C j)−1, 1 ≤ j ≤ l.
Chứng minh. Ta có r j(x, x†) := Fj(x) − Fj(x†) − G j(x − x†).
Suy ra
G(x − x†) − r j(x, x†) ≤ Fj(x) − Fj(x†) ≤ G(x − x†) + r j(x, x†) .
Do đó
(1 − C j) G(x − x†) ≤ Fj(x) − Fj(x†) ≤ (1 + C j) G(x − x†) .
Theo cách chứng minh của hệ quả (1.3.1) ta có
l

J′(x†), x − x†
l wj

X ∗,X

≤∑
j=1w j

Y j∗

. G j(x − x†)

Y j∗

≤∑
j=1 1−C j Fj(x) − Fj(x†)
Từ đó suy ra điều phải chứng minh.⊠
15

Yj

Y j∗

(1 −


1.4 Hiệu chỉnh đa tham số trong không gian Hilbert
Ta xét bài toán (1.1.3) với X ,Y j là các không gian Hilbert.
Giả sử J(x) := P(x) 2 trong đó P : X → Z là toán tử phi tuyến. Ta sử dụng
phương pháp nhân tử Lagrange giải bài toán (1.1.3).
Xét hàm Lagrange
l

L(x,  ) := J(x) +

∑j=1 j( Fj(x) − yj

2
Yj

−  j2), (1.4.1)

hoặc hàm Tikhonov
l

T (x) := J(x) +

∑j=1 j Fj(x) − yj

2
Yj

.

(1.4.2)

Ta có thuật toán tìm nghiệm của bài toán (1.1.3) như sau [16]
Thuật toán 1
(0)

(0)

1. Cho x0 ∈ X ,  (0) = (1 , ..., l ) ≥ 0; k := 0.
2. Tìm nghiệm xk+1 của bài toán T (k) (x) → min.
3. Đặt

(k+1)

(k)

:=  j max 

 Fj(x+1) − y




 j


, ∑  , ( j = 1, ..., l) (0 < ∑ <<
1) ,
(1.4.3)

với  > 0 cố định bất kì.
4. Nếu  (k+1) −  (k) < T OL thì dừng thuật toán, ngược lại đặt k := k + 1
và quay lại bước 2.
Định lý 1.4.1. Nếu  (k) →  và xk → x ∈ D ⊂ X khi k → ∞ thì (x ,  ) ∈
X × Rl là điểm yên ngựa của hàm Lagrange (1.4.1) và do đó x là nghiệm
của (1.1.3).
Trước khi đi vào chứng minh định lý 1.4.1 ta có bổ đề sau
16


Bổ đề 1.4.2. Cặp (x ,  ) ∈ D × Rl+ là điểm yên ngựa của hàm Lagrange
(1.4.1) ứng với bài toán (1.1.3) nếu x = x làm cực tiểu phiếm hàm Tikhonov
(1.4.2) ứng với tham số hiệu chỉnh  =  và thỏa mãn
2

 j( Fj(x ) − yj

j = 1, ..., l,

−  j2) = 0

(1.4.4)

và thêm điều kiện
2

Fj(x ) − yj

nếu  j = 0 j = 1, ..., l. (1.4.5)

≤  j2

Chứng minh. Theo định nghĩa điểm yên ngựa ta có
L(x ,  ) ≤ L(x ,  ) ≤ L(x,  ) ∀x ∈ D, ∀ ∈ Rl+.
Bất đẳng thức thứ hai tương với
l

J x +

∑ j
j=1

2

Fj(x ) − yj

l

2

−  j ≤ J (x)+

∑j=1 j Fj(x) − yj

2

2

− j ,

hay T x ≤ T (x) ∀x ∈ D . Điều này đúng theo giả thiết x làm cực tiểu
phiếm hàm Tikhonov (1.4.2).
Bất đẳng thức thứ nhất tương đương với
l

∑

j=1

2

 j −  j Fj(x ) − yj

2

−  j ≥ 0 ∀ ∈ Rl+.

Do giả thiết (1.4.4) và (1.4.5) nên bất đẳng thức cuối này luôn đúng. Vậy Bổ
đề 1.4.2 được chứng minh. ⊠
Bây giờ ta đi chứng minh Định lý 1.4.1. Ta kiểm tra các giả thiết của Bổ
đề 1.4.2.
Theo cách xây dựng các dãy { k} và {xk } thì các giới hạn  và x của phép
lặp (1.4.3) thỏa mãn T x ≤ T (x) với mọi x ∈ D, tức là x làm cực tiểu
phiếm hàm Tikhonov (1.4.2) ứng với  =  . Hơn nữa cặp (x ,  ) thỏa mãn


j

 j =  jmax 

yj
 F x − 



17

j

,∑ 
, 1 ≤ j ≤ l. (1.4.6)





2

Do 0 < ∑ ≪ 1, nên từ (1.4.6) suy ra hoặc  j = 0 hoặc Fj x − yj
Điều này suy ra giả thiết (1.4.4) của Bổ đề 1.4.2.
Tiếp tục kiểm tra giả thiết (1.4.5). Giả sử có chỉ số j nào đó sao cho
2

F j x − y j


tức là Fj x − yj


=  j2.

>  j2 và  j = 0,

>  j và  j = 0. Khi đó tồn tại k0 = k0( j) sao cho

Fj xk − yj >  j với mọi k ≥ k0 (do Fj liên tục và tính liên tục của
chuẩn). Do đó
j



k

max 

  F x − y

j

, ∑ > 1.


1
k k0. Cho k → ∞, suy ra
Theo (1.4.3), suy ra  k+>  kj > 
0 j với

mọi ≥

 j = lim  kj >  kj0 > 0. Điều này vô lý vì  j = 0. Vậy giả thiết (1.4.5) thỏa
k→∞

mãn. Áp dụng Bổ đề 1.4.2, Định lý 1.4.1 được chứng minh. ⊠
Nhược điểm của thuật toán 1
1. Phải giải bài toán tối ưu phi tuyến trên mỗi bước lặp.
2. Do phép lặp (1.4.3) hội tụ chậm nên cần thực hiện nhiều bước lặp.
Sau đây ta trình bày thuật toán lặp Gauss - Newton để tìm nghiệm xấp xỉ
của bài toán (1.1.3).
Xét bài toán
x∈ D

J(x) j = P(x)j 2Z
j → min

Ta dựng hàm Tikhonov
 F (x) − y ≤  , j = 1, ..., l.
l

T (x) := J(x) +

∑j=1 j Fj(x) − yj

2
Yj

.

Giả thiết Fj(x) và P(x) là các hàm khả vi Fréchet với các đạo hàm Fj (x)
′
và P (x). Giả sử đã biết xk , ta đi tìm xk+1 = xk + ∆x bằng cách tuyến tính hóa
18

′


′

Fj xk + ∆x ≈ Fj xk + Fj xk ∆x
P xk + ∆x ≈ P xk + P′ xk ∆x.
Ta đưa về bài toán tìm cực tiểu của dạng toàn phương
T (k) (x
k + ∆x) ≈∆x√(∆x) → min
trong đó
l

2

√(∆x) = P′(xk )∆x + P(xk )

+

Z

(k)
′
∑


j
F
j
(x

k
j=1

2

)∆x − yj − Fj(xk )

Yj .

Tìm ∆x là nghiệm của phương trình ∂√

∂√

′

′

l

+2

∑
j=1

(k) ′

′
 j Fj∗(xk

′

)Fj (xk )∆x + Fj∗(xk ) yj − Fj(xk )

=0

điều này tương đương với
P′∗ (xk )P′(xk ) +
=

l

(k)

∑  j Fj∗(xk )Fj (xk ) ∆x
′

′

j=1

l

(k)

∑
 j Fj∗(xk ) yj − Fj(xk ) − P ∗(xk )P(xk ). (1.4.7)

j=1
′

′

Khi đó ta có thuật toán 2
(0)

(0)

1. Cho x0 ∈ X ,  (0) = (1 , ..., l ) ≥ 0; k := 0
2. Giải (1.4.4) tìm ∆x. Đặt xk+1 = xk + ∆x.
(k+1)

(k+1)

3. Tìm  (k+1) = (1 , ..., l ) theo công thức (1.4.3).
4. Nếu  (k+1) −  (k) < T OL1 và ∆x X < T OL2 thì dừng thuật toán,
ngược lại, đặt k := k + 1 và quay lại bước 2.
19


Sự hội tụ của phương pháp chỉnh lặp Gauss - Newton được nghiên cứu trong
[7, 8, 9, 10]. Trong chương 3, sẽ trình bày kĩ hơn về phương pháp chỉnh lặp
song song Gauss - Newton [1].

1.5 Mối liên hệ giữa phương pháp nhân tử Lagrange và phương pháp hiệu chỉnh đa tham
số
Ta sẽ chỉ ra rằng Thuật toán 1 liên quan mật thiết với phương pháp nhân tử
Lagrange cho bài toán tối ưu với ràng buộc bất đẳng thức. Cho X là không

gian Banach, ta xét bài toán
 J(x) → min


g j(x) ≤ 0, j = 1, ..., l,

(1.5.1)


với hàm mục tiêu J : X → R và các hàm ràng buộc g j : X → R, j = 1, ..., l. Với
mỗi nhân tử Lagrange  = (1, ..., l )T ∈ Rl , ( j ≥ 0) và hằng số c > 0, đặt
M(x,  , c) := J(x) + 1

l

2c

∑

max 0,  j + cg j(x)

j=1

2

−  j2 . (1.5.2)

Sau đây là phương pháp nhân tử Lagrange. Cho  k ≥ 0; ck > 0. Ta tìm
nghiệm xk của bài toán
M(x,  k, ck) → min, x ∈ X .

(1.5.3)

Và cập nhật nhân tử Lagrange
(k)

Với ck được chọn theo một quy tắc nào đó (thông thường ta chọn là dãy tăng:
ck+1 ≥ ck).
Ta có một số thay đổi nhỏ so với bài toán trên là thay tham số đơn c ∈ R
bằng véctơ tham số c = (c1, ..., cl )T ∈ Rl với c j > 0 và thay hàm (1.5.2) bởi
l
1
2
M(x,  , c) := J(x) + ∑ 2c j max 0,  j + c jg j(x)
−  j2 . (1.5.5)
j=1
20


Cho  > 0, đặt


g j(x) := 2 j

Fj(x) − yj

− j  ; c2
j := 2
jj

Yj

.

Do đó
M(x,  , c) := J(x)+ ∑

l

j=1

= J(x) + ∑

l
j=1

j

1
2c j



Fj(x) − yj

max 0,  j +  j

−  j2



−  j

max 0,  j +  j


−  j2



−  j



= J(x) + ∑  j2  j max 0, 1 + 
 2 

l

= J(x) + ∑  j 2 
j=1

j

 0,



Fj(x) − yj

Yj


max 

= J(x) + ∑  j Fj(x) − yj




 
 


−  j2

l


− 1

j=1

2
Yj

Kết quả này trùng với hàm Lagrange trong (1.4.1) với  = 1. Hơn nữa ta
cập nhật (1.5.4) và đi đến
(k+1)

(k)

(k)



(k)

Fj(x) − yj

Yj

(k)

= max 
0,  j +  j


=  j (k)
max 0, Fj(x) Y−j yj

 j

Yj



 .

 






 ∑ = 0.
Kết quả này trùng với (1.4.3) khi

21





−  j


Chương 2

Phương pháp hiệu chỉnh đa
tham số Tikhonov
Trong chương này, chúng tôi đề cập tới phương pháp hiệu chỉnh đa tham
số Tikhonov dựa trên việc cực tiểu phiếm hàm làm trơn Tikhonov, trong đó
phiếm hàm có chứa tham số 〈 và các tham số -  j, ( j = 1, ..., l). Phần này tôi
phát triển dựa theo cách tiếp cận tổng quát của Torsten [2] để mở rộng các kết
quả đã biết của Nguyễn Bường và Nguyễn Đình Dũng [3], bao gồm các định
lý: Định lý 2.2.1, Định lý 2.2.2, Định lý 2.2.3, Mệnh đề 2.2.4 về sự tồn tại và
tính ổn định của nghiệm. Cuối chương là hai định lý: Định lý 2.2.5, Định lý
2.2.6 về tốc độ hội tụ của nghiệm.

2.1 Nhắc lại bài toán
Cho X ,Y j, ( j = 1, 2, . . . , l) là các không gian Banach phản xạ, Fj : D(Fj) ⊂
l
D(Fj) = ∅. Ta cần giải hệ sau
X → Y j là các toán tử (phi tuyến), D := j=1
Fj(x) = y j, x ∈ D, ( j = 1, 2, . . . , l).

(2.1.1)

Trong trường hợp dữ liệu có nhiễu, yj : yj − y j ≤  j, ( j = 1, 2, . . . , l) ta có
hệ mới
(2.1.2)
Fj(x) = yj , x ∈ D, ( j = 1, 2, . . . , l).
22


Phương pháp hiệu chỉnh đa tham số Tikhonov
Xét bài toán cực tiểu hóa phiếm hàm làm trơn Tikhonov
T〈 (x) =

l

2

j=1

Yj

∑  j Fj(x) − yj

+ 〈 J(x) → min, (2.1.3)
x∈D

trong đó 〈 > 0;  = (1, ..., l )T ,  j > 0,  ∞ = 1, phiếm hàm ổn định
J : D ⊂ X → R và véctơ hiệu chỉnh 〈 = (〈1, ..., 〈l )T ; 〈 j = 〈j , j = 1, 2, . . . , l.
Định nghĩa. x† được gọi là nghiệm J − min của bài toán (2.1.1) nếu x†
thỏa mãn (2.1.1) và
J(x†) = min{J(x) : x ∈ S}
trong đó S := {x ∈ D : Fj(x) = y j, j = 1, 2, . . . , l}.
Mục tiêu của chương này là thiết lập tính đặt chỉnh của bài toán (2.1.3)
với các điều kiện (A1)-(A5), tức là chứng minh bài toán (2.1.3) luôn có duy
nhất nghiệm x〈 phụ thuộc liên tục vào dữ liệu đã cho. Ngoài ra thêm một vài
điều kiện bổ sung về hàm Fj(x) và J(x) ta sẽ có đánh giá tốc độ hội tụ của
phương pháp theo khoảng cách Bregman.

2.2 Một số kết quả
Sau đây là một số kết quả chính thu được cho phương pháp hiệu chỉnh Tikhonov.
Định lý 2.2.1. Với các điều kiện (A1) − (A4) thì bài toán (2.1.3) luôn có
ít nhất một nghiệm x〈 .
Chứng minh. Đặt d = inf T〈 (x). Khi đó tồn tại dãy cực tiểu {xn} ⊂ D, sao
x∈D

cho d = lim T〈 n→∞
(xn). Nói riêng dãy {T〈 (xn)} là dãy bị chặn, nghĩa là, tồn tại
R > 0 sao cho 0 ≤ T〈 (xn) ≤ R ∀n ∈ N. Điều này tương đương với
l

∑  j Fj(xn) − yj

j=1

2

+ 〈 J(xn) ≤ R ∀n ∈ N.
23