Luận văn Thạc sĩ: Xấp xỉ nghiệm của phương trình toán tử và phương pháp Newton

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC SƯ PHẠM TP.HCM
KHOA TỐN


LUẬN VĂN THẠC SĨ
ĐỀ TÀI:

XẤP XỈ NGHIỆM CỦA PHƯỜNG
TRÌNH TOÁN TỬ VÀ PHƯƠNG
PHÁP NEWTON
GVHD : TS. NGUYỄN CAM
SVTH : PHAN THÀNH ĐƠNG

TP.HCM, 2007


LỜI CẢM ƠN

Tôi xin chân thành cảm ơn thầy Nguyễn Cam người đã tận tình hướng
dẫn và giúp đỡ trong suốt quá trình làm luận văn. Tôi xin chân thành cảm
ơn Ban gián hiệu, Phòng tổ chức cán bộ và tổ Toán của trường Cao Đẳng Sư
Phạm Long An đã tạo điều kiện thuận lợi cho tôi theo học lớp cao học. Tôi
xin chân thành cảm ơn các bạn học viên trong lớp cao học khóa 15 đã hỗ
trợ cho tôi trong suốt khóa học.
Tác giả luận văn

Phan Thành Đông


MỞ ĐẦU

1. LÝ DO CHỌN ĐỀ TÀI
Trong thực tế đa phần các bài toán được đưa về bài toán tìm nghiệm của một phương
trình hoặc hệ phương trình. Việc tìm nghiệm chính xác của phương trình là một nhiệm vụ vô
cùng khó khăn và có khi không thể thực hiện được, nhưng ta có thể tìm lời giải xấp xỉ của các
phương trình này đến độ chính xác cần thiết để đáp ứng được nhu cầu thực tế. Từ những nhu
cầu thực tế đó, luận văn “ Xấp xỉ nghiệm của phương trình toán tử và phương pháp Newton”
nghiên cứu việc xây dựng lời giải xấp xỉ của một số phương trình và hệ phương trình.
2. MỤC ĐÍCH
Bằng các kiến thức cơ bản của giải tích hàm và đại số tuyến tính, luận văn đưa ra lời giải
xấp xỉ của một số bài toán với những điều kiện cụ thể.
3. ĐỐI TƯỢNG VÀ PHẠM VI NGHIÊN CỨU
Nội dung của luận văn là giới thiệu và áp dụng phương pháp Newton để xây dựng lời
giải xấp xỉ nghiệm của phương trình f  x   0 , trong đó f là ánh xạ đi từ E vào E , với

E   n hoặc E là các không gian tuyến tính định chuẩn vô hạn chiều. Với những điều kiện
thích hợp thì dãy lặp: x k 1  x k 1   k f  x k  ; xk 1  xk  f/1  xk  f  xk  ; x k 1  x k   k  x k 

x k 1  x k   k H 1  x k  f  x k  , với xo tùy ý trong E, các dãy lặp này hội tụ về nghiệm của
phương trình. Luận văn gồm ba chương:
Chương 1 dành cho việc giới thiệu phương pháp Newton và một số kiến thức cần thiết để
trình bày cho các chương sau.
Chương 2 với nội dung áp dụng phương pháp Newton để trình bày cách xây dựng lời giải
xấp xỉ của nghiệm của một phương trình hoặc một hệ phương trình trong không gian hữu hạn
chiều.
Chương 3 dành cho việc trình bày mở rộng các kết quả trong chương 2
trên không gian định chuẩn tổng quát với các định lý của Kantorovich.
4. PHƯƠNG PHÁP NGHIÊN CỨU
Trên cơ sở nghiên cứu các kết quả trong giáo trình Constructive Real
Analysis của giáo sư Allen A.Goldstein và các giáo trình giải tích hàm khác luận văn đã xây
dựng được lời giái xấp xỉ của một số phương trình và hệ phương trình.

Chương 1:
GIỚI THIỆU PHƯƠNG PHÁP NEWTON
1.1. ĐẶT VẤN ĐỀ
Chúng ta xét việc tìm căn bậc hai của số dương a bằng phép tính toán lặp đơn giản, được

1
a
cho bởi công thức như sau: xn 1   xn   . Công thức này là kết quả của phương pháp
2
xn 
Newton mà ta sẽ giới thiệu ở phần sau.

a thì sai số tương đối của xấp xỉ này được cho bởi công thức

Nếu xn xấp xỉ
Định lý

i) Giả sử a và xo là các số dương

1
a
ii) Ta xác định dãy  xn  bởi xn 1   xn  
2
xn 
iii) Đặt  n 

xn  a
a

. Thì

1  2 
a)  n1   n  n  0,1,2,..
2  1  n 
b)  n  0 n  0,1,2,..
c)   0 :

xn
 xn  xn1      n   , n  N
a

Chứng minh
a) Do (iii) xn  a  n  1 , dùng (ii) ta được:


 1 n2 
1
a
xn 1   a  n  1 
  a 1 

2 
a  n  1 
 2 1   n  
Cũng do (iii):


x  a

x 
 a  n 1   xn1
a 1   n1   a  1  n1


a 
 a


Nên ta có:  n1 

1 n2
2 1  n

Vậy a) được chứng minh

xn  a
a


b) Từ iii)   o 

xo  a
a

 xo  a  o  1

  o  1  0 (vì xo  0, a  0 )

1   o2 

 1  
0
2  1  o 
1 n2
Suy ra  n  0, n bằng phương pháp quy nạp (vì  n1 
)
2 1  n
c) Từ ii) ta có:

xn
xn2  a
1
a
a
xn 1  xn 
 xn  xn1 


2
2 xn
2 2 xn
2 xn
xn
1 xn 2  a
  xn  xn 1  
a
2 a
Do giả thiết trong c) ta có:



xn
 xn  xn1   
a

xn 2  a
 2  2   2
a
2

Do đó xn 2  a 1  2   2   xn2
xn  a
  n   n   với n = 1, 2, 3, …;(do b) nên  n   n )
a
1.2. PHÁP LẶP VÀ ĐIỂM BẤT ĐỘNG (iteration and fixed points)
Định nghĩa 1.2.1
Cho I   a; b và f là hàm số liên tục trên I lấy giá trị trong I. Ta gọi x  I là điểm bất động của
f nếu f  x   x
Bổ đề 1.2.1
Mọi hàm liên tục f đi từ I vào chính nó luôn có một điểm bất động
Chứng minh
Nếu a  I không là điểm bất động thì f  a   a (vì f  a   a )
Nếu b  I không là điểm bất động thì f  b   b (vì f  b   b )
Đặt h  x   f  x   x , ta có: h  a   f  a   a  0, h  b   f  b   b  0
mà h liên tục nên có z  I thỏa h  z   0 hay f  z   z
Định nghĩa 1.2.2


Một ánh xạ đi từ I vào chính nó gọi là ánh xạ co nếu tồn tại 0  q  1 sao cho với mọi cặp điểm

x, y  I thì f  x   f  y   q x  y
Định lý 1.2.1
Cho f là ánh xạ co trên I . Đặt xn 1  f  xn  với xo  I thì f có điểm bất động duy nhất z thỏa:
dãy xn  z và xn1  z  qn 1 xo  z
Chứng minh
Do tính chất của ánh xạ co nên f là hàm liên tục từ I vào chính nó
Theo bổ đề 1.2.1 thì f có điểm bất động, ta gọi là z
Ta có:
xn1  z  f  xn   f  z  q xn  z  q f  xn1   f  z   q2 xn1  z  ...  qn1 xo  z Ta thiết lập được

công thức: xn1  z  qn 1 xo  z , với n  0
hơn nữa do 0 < q < 1 nên lim xn  z
n 

Chứng minh sự duy nhất
Giả sử hàm số đã cho có hai điểm bất động khác nhau là z1 vaø z2
Ta có: 0  z1  z2  f  z1   f  z2   q z1  z2  z1  z2 (mâu thuẩn)
Do đó z1  z2 .
Bổ đề 1.2.2
Cho hàm số f có đạo hàm liên tục trên I và f là ánh xạ đi từ I vào chính nó.
Nếu f   x   1 trên I thì f là ánh xạ co.
Chứng minh
Áp dụng định lý giá trị trung bình cho cặp x, y tùy ý thuộc I ta có:

f  x   f  y   f    x  y với  là số nằm giữa x và y
Do max f   x   1 nên f là ánh xạ co.
xI

Giả sử h là hàm đơn điệu trên I, h có đạo hàm dương liên tục, giả sử h có nghiệm z thuộc

phần trong (interior) của I thì h  a   0  h  b  . Ta định nghĩa hàm: F  x   x   h  x  nếu F là
ánh xạ đi từ I vào chính nó ta phải có

a  F  x   b, x  I . Nếu   0 thì


F  a   a và F  b   b , do đó với   0, đủ nhỏ thì a  F  x   b, x  I , hơn nữa bởi vì
F   x   1   h  x  và h  x   0 nên với   0, đủ nhỏ thì F   x   1
Định lý 1.2.2

1
Giả sử h  C1  a, b , h  a  .h  b   0 và tồn tại hai số  ,  sao cho 0<  h  x   , x  I



Đặt dãy: xn 1  xn   h  xn  với xo tùy ý thuộc I thì xn  z (với z là nghiệm của h) và

xn1  z  1   

n 1

xo  z

Chứng minh
Đặt F  x   x   h  x  , chú ý rằng z là điểm bất động của F khi và chỉ khi h  z   0
do 0     h  x   1  0  1   h  x   1    1 , với mọi x  I
nên 0  F  x   1    1, x   a; b ; F là hàm đơn điệu tăng trên [a;b]
Do h  a  h  b   0 và h đơn điệu tăng trên [a;b] nên h  a   0 và h  b   0
từ đây ta có: F  a   a và F  b   b ( vì   0 )
do F đơn điệu tăng nên a  F  x   b, x   a; b . Hơn nữa F '  x   1    1 áp dụng định lý

1.2.1 và bổ đề 1.2.2 ta được: xn  z và xn1  z  1   

n 1

xo  z

Chú ý rằng nghiệm z trong định lý là duy nhất bởi vì F có duy nhất điểm bất động. Nếu h là ánh
xạ đơn điệu giảm thì –h là ánh xạ đơn điệu tăng và có nghiệm giống như nghiệm của h.
Xét ví dụ
Cho hàm : h  x   x 2   , a  0, giả sử    a2 ; b2  thì h  a   0, h  b   0, và

0  2a  h  x   2b,x   a; b
Theo định lý 1.2.2 ở trên,

1


dãy xn 1   xn   xn 2     tiến về  với xo tùy ý thuộc  a, b 
2b


 a
và ta có: xn1     1  
 b

n 1

xo   .

1.3. PHƯƠNG PHÁP NEWTON

Giả sử h thỏa giả thiết của định lý 1.2.2, đặt   x  
sử h  C 2  a; b ta có F '  x  

Phép lặp xn 1  F  xn   xn 

h ''  x  h  x 
 h '  x  

2

1
, F  x   x    x  h  x  , hơn nữa giả
h ' x 

.

h  xn 
được gọi là phương pháp Newton.
h '  xn 

Theo định lý 1.2.1 và bổ đề 1.2.2, ta có sự hội tụ của dãy

 xn 

với điều kiện

F '  x   q  1, x   a; b và F là ánh xạ đi từ  a; b  vào chính nó.
Gọi z là điểm bất động của F và viết

xn  z  F  xn1   F  z   F ' n  xn1  z  tức là
xn  z 

h ''  n  h  n 
 h '  n  

xn1  z

2

ở đây  n là số nằm giữa xn 1 và z
Cho  xn   z, khai triển h quanh nghiệm của nó ta nhận được:

h  n   h  z   h  n   h '  n   n  z  h '  n  xn1  z
 h  n   h '  n  xn1  z
ở đây  n nằm giữa  n và z. Đặt: Bn 

2

h ''  n  h '  n 
 h '  n  

2

và đặt B  sup Bn

thì xn  z  B xn 1  z . Quan sát ta thấy khi n   thì Bn 

n

h ''  z 
h ' z

Xét ví dụ sau đây
Nếu áp dụng phương pháp Newton vào hàm số: h  x   x 2   , h'  x   2 x

h  xn 
xn2   1 

thì ta được công thức: xn 1  xn 
 xn 
  xn  
h '  xn 
2 xn
2
xn 
Với  cho trước ta chọn đoạn  a; b sao cho hàm F của phương pháp Newton là ánh xạ co.
Cách chọn a, b như sau:
Với 0  a 2    b 2 , b 

a2  

và 3a 2   , chẳng hạn chọn a  , b  3a
2a
2


h x
x2   x2  

thì ta có: Với x   a; b  a  F  x   x 
x

 b để có được điều này
h ' x 
2x
2x
ta cần chứng minh giá trị max và min của F trên [a;b] thuộc vào [a;b].

1
 

Ta có F '  x    1  2  vaø F''  x   3  0 ,
2
x 
x
nên F '

    0 và F    

   a; b  .

do đó : maxF phải xảy ra tại điểm x = a hoặc x = b
bởi vì F ' chỉ triệt tiêu tại duy nhất điểm thuộc  a; b 

a
nhưng F  a  

2



2a

ta còn có min F  x   F

b

b
và F  b  

  

2



2b

 b ( vì   b2 ) nên max F  b .

   a; b .

Vậy a  min F  x   max F  x   b
Từ giả thiết 3a 2   ta suy ra được 

1

nên: 1   1  2
2

a


a2

 3

  1 
 1
   1  2   1  2
x  2
b
 2

 1
 ,
 2

do đó F '  x   1 trên [a, b]
Vậy F là ánh xạ co trên  a ; b 
Chú ý rằng nếu chúng ta chọn xo bởi

xo    1   , thì với a 


2

và b  max 3a,   1 thì xo   a; b

1.4. ÁNH XẠ TỰA CO (subcontractor)

Định nghĩa
Một ánh xạ tựa co là một ánh xạ đi từ khoảng hữu hạn I vào chính nó thỏa:
i) Với x, y  I  f  x   f  y   x  y
ii) Nếu x  f  x  thì f  f  x    f  x   f  x   x
Định lý 1.4.1
Giả sử f là một ánh xạ tựa co. Chọn xo tùy ý trong I, đặt xn 1  f  xn  thì  xn  có giới hạn là
điểm bất động của f


Định lý này sẽ được chứng minh trong phần định lý điểm bất động của ánh xạ tựa co của khơng
gian mê tríc tổng qt trong 1.5
Bổ đề 1.4.1
Giả

0

f C1  a; b; 0  f '  x   1

sử

f ' x   1

và

tại

một

số

x

thuộc

a; b thì

1 b
f '  t  dt  1
b  a a

Chứng minh
Do f ' liên tục trên  a , b  nên  z   a; b  : f '  z   min f '  x 
a;b

Từ

giả

thiết

x   a , b  : 0  f '  x   1

ta

có:

0  f ' z  q  1

Do

f 'liên tục trên  a; b nên tồn tại khoảng mở

N  I : x  N  f '  x  

1  q 
2

Đặt   N  là độ đo của N thì:



b

a

f '  t  dt   f '  t  dt 
N

1 q
 f '  t  dt    N  2   b  a     N  

I \N

1  q 
  N 
 1   b  a   b  a
 2

Vậy: 0 

( vì

1 q
1 0 )
2

b
1
f '  t  dt  1 .

ba a

Hệ quả
Giả sử h  C 1  a; b ; h  a  h  b   0, 0    h '  x  

1



và với mỗi khoảng con I ' của  a, b  , tồn

tại x thuộc I ' sao cho h '  x   0
đặt xn 1  xn   h  xn  với xo tùy ý trong  a, b thì dãy  xn  hội tụ về nghiệm của h.
Chứng minh
Với F  x   x   h  x  thì x   a; b  ta có 0  F '  x   1   h '  x   1 và ta cũng có

a  F  x   b do đó: F  x   F  y   x  y , x , y   a; b 
(vì F  x   F  y   F '   x  y  x  y )
Chọn xo  I ,
nếu xo là nghiệm của h ( hay là điểm bất động của F) thì dãy  xn  hội tụ về xo (đã chứng minh

trong định lý 1.2.2)


nếu F  xo   xo thì do bổ đề 1.4.1 trên ta có:

x2  x1  F  F  xo    F  xo   F  x1   F  xo  
 x1  xo

1
x1  xo



x1
xo

F '  t  dt  x1  xo  F  xo   xo

Vậy F thỏa điều kiện của ánh xạ tựa co, áp dụng định lý 1.4.1 trên ta suy ra dãy  xn  hội tụ về z,
với z là điểm bất động của F mà điểm bất động của F chính là nghiệm của h. Vậy  xn  hội tụ về
z và h  z   0 .
1.5. KHÔNG GIAN MÊ TRÍC
1.5.1. Các định nghĩa
Định nghĩa 1.5.1
Một không gian mê tríc là một cặp gồm một tập hợp M và một hàm số thực không âm d,

d : MxM   , hàm d thỏa ba điều kiện sau:

i) d  x; y   0 nếu và chỉ nếu x  y
ii) d  x; y   d  y; x  , x , y  M

iii) d  x; y   d  y; z   d  x; z  , x, y, z  M
Một không gian mê tríc được định nghĩa như trên được ký hiệu là (M,d).
Định nghĩa 1.5.2
Một ánh xạ F đi từ không gian mê tríc M vào chính nó được gọi là một ánh xạ co trên M nếu
có một số q < 1 sao cho với mọi cặp x, y  M thì d  Fx , Fy   qd  x , y 
Để tiện cho việc trình bày sau này ta viết:





F  F  x    F 2 x, F F  F  x    F 3 x ,..
1.5.2. Định lý điểm bất động của ánh xạ co


Cho (M, d) là khơng gian mê tríc đầy đủ, và F là ánh xạ co trên M. Chọn xo là phần tử tùy ý





của M. Thì dãy F n xo hội tụ về z, với z là điểm bất động duy nhất của F .
Chứng minh
Đặt F n xo  xn , với hai số tự nhiên m, n và m  n thì









d  xn , xm   d F n xo , F m xo  qd F n1 xo , F m 1 xo  .. 





 q n d xo , F m  n xo  q n d  xo , x m  n 
Ta có: d  xo , xs   d  xo , x1   d  x1 , x2   ..  d  xs1 , xs 
s

hay d  xo , xs    d  xi1 , xi 
i 1

m n

do đó q n d  xo , xm n   qn  d  xi1 , xi 
i 1

Mặt khác chúng ta có: i  1 thì









d  xi1 , xi   d F i1 xo , F i xo  qd F i2 xo , F i1 xo  ..  qi 1d  xo , x1 
Do đó: d  xn , xm   d  xn , xn1   d  xn1 , xn 2   ..  d  xm1 , xm  
m n

 q n d  xo , x1   qn1d  xo , x1   ..  q m1d  xo , x1   q n d  xo , x1   qi1
i 1



nhưng

q

i 1

i 1



1
1
nên d  xn , xm   q n d  xo , x1 
1 q
1 q

Vậy  xn  là dãy Cauchy trong không gian đầy đủ M nên x n   z  M
Bởi vì F là ánh xạ co trên M nên nó liên tục trên M do đó: z  lim xn 1  lim F  xn   F  z 
n

Tính duy nhất
Giả sử có hai điểm bất động z1 , z2 và z1  z2 khi đó:

n


0  d  z1 , z2   d  F  z1  , F  z2    qd  z1 , z2   d  z1 , z2  ( vô lý).
Vậy định lý được chứng minh xong 
Hệ quả

F : M  M , (M, d) là không gian mê tríc đầy đủ. Nếu tồn tại số tự nhiên n sao cho F n là ánh
xạ co trên M thì F có điểm bất động duy nhất.
Chứng minh
Do F n là ánh xạ co trên M nên theo định lý ánh xạ co F n có duy nhất điểm bất động, ta gọi là z.
Ta có Fz  FF n z  F n Fz nên Fz là điểm bất động của F n mà điểm bất động của F n là duy nhất

 Fz  z  z là điểm bất động của F
Giả sử có z1  z thỏa Fz1  z1
thì F n  z1   z1 nên z1 là điểm bất động của F n
do đó z1  z . Tính duy nhất đã được chứng minh.
1.5.3. Định lý điểm bất động của ánh xạ tựa co
Đặt Q : M  M , M Là không gian mê tríc thỏa:

i) d  Qx,Qy   d  x , y 





ii) Nếu x  Qx thì d Qx, Q 2 x  d  x, Qx 

iii) Q có miền giá trị là tập compact.

 

Khi đó với mỗi x thuộc M, dãy Q n x hội tụ về điểm bất động của Q
Chứng minh
Do giả thiết i) nên ta có thể viết:







 



d Q n x, Q n 1 x  d QQ n1 x, QQ n x  d Q n 1 x , Q n x  ..  d  x, Qx 




Do đó d Q n x,Q n1 x



 là dãy số thực không tăng, bi chặn dưới bởi 0 nên nó có giới hạn.







Do iii) Q n  x   Q  M  : compact  tồn tại dãy con Q nk x hội tụ về phần tử y  Q  M 



Do d Q n x, Q n1 x

 hội tụ, nên mọi dãy con d  Q

nk

  



x, Q nk 1 x và d Q nk 1 x, Q nk 2 x đều hội

tụ và có cùng một giới hạn.









Ta có: lim d Q nk x , Q nk 1 x  lim d Q nk x ,QQ nk x  d  y, Qy 
k 

k 







 







do đó: d  y, Qy   lim d Q nk 1 x, Q nk 2 x  lim d QQ nk x, Q 2Q nk x  d Qy,Q 2 y
k 

n

( do Q liên tục)
từ ii) ta suy ra y = Qy





do Q nk x hội tụ về y nên: với   0 cho trước ta chọn N > 0 thỏa d Q N x , y   thì









d Q N n x , y  d Q N  n x , Q N  n y 









 d Q N  n1 x, Q N  n1 y  ..  d Q N x, y   ( do i))





do đó Q n  x  hội tụ về y.
Vậy định lý đã được chứng minh xong.

Chương 2:
PHƯƠNG PHÁP NEWTON VÀ LỜI GIẢI XẤP XỈ CỦA
PHƯƠNG TRÌNH TRONG KHÔNG GIAN HỮU HẠN
CHIỀU
Trong chương này chúng ta nghiên cứu việc ứng dụng của phương pháp Newton trong
việc xây dựng lời giải xấp xỉ của nghiệm của phương trình trong không gian hữu hạn chiều.
2.1. CÁC ĐỊNH NGHĨA
Một tập con S của không gian mêtríc  n có tính chất, mỗi cặp điểm x, y thuộc S thì đoạn
thẳng nối giữa hai điểm x, y thuộc S, S được gọi là tập lồi. Nói cách khác tập S gọi là tập lồi
nếu x, y thuộc S thì  x   y cũng thuộc S với  ,  là hai số không âm và     1 . Bao lồi
của tập S là giao của tất cả các tập lồi chứa S.
Một hàm số f : S   n   , với S là tập lồi, thỏa:

x, y  S : f   x   y    f  x    f  y  ;  ,   0;     1 , thì f được gọi là một hàm lồi
(convex function).
Cho F là ánh xạ đi từ  n vào chính nó, mà các thành phần của F thuộc lớp C 1   n  .
Jacobian của ánh xạ F tại z thuộc

 n là ma trận J với các thành phần là:

 Fi  z  

 1  i  n;1  j  n  và được ký hiệu là J(z). Do đó J(z)x là ký hiệu của tích của ma

x

j 


trận J(z) và véc tơ n chiều x.
Định lý giá trị trung bình
Cho hàm f  C1  S  với S là tập lồi của  n với phần trong không rỗng, ta có:

f  z   f  y   f    , z  y  ; z, y  S trong đó  thuộc đoạn thẳng nối giữa z và y, còn
 f

f
f
f    
  ,   ,...,    là véc tơ n chiều (gọi là Gradient của f tại  ), và
x 2
xn
 x1

n

f
f   , z  y   
   zi  yi  .
x
i 1

i

Để cho gọn từ đây trở đi ta ký hiệu L(x,y) là đoạn thẳng mở nối giữa hai điểm x, y.


2.2. CHUẨN
n

2

Ta đã có hàm khoảng cách d(x,y) trên  n , d 2  x , y     xi  yi  .
i 1

n

1
2

1

2
Hàm d  x,0     xi   x   x, x 2 được gọi là một chuẩn
 i1 

Chuẩn là mê tríc thỏa các điều kiện sau đây:
i) x  d  x,0   0 nếu và chỉ nếu x = 0
ii) x  y  x  y (bất đẳng thức tam giác)
iii)  x   x ,   
Bất kỳ hàm số nào đi từ  n vào   thỏa ba tính chất i), ii), iii) được gọi là một chuẩn.
Gọi A là ma trận cấp m.n, và x là véc tơ n chiều. Ma trận A diễn tả một ánh xạ tuyến tính đi từ

 n vào  n .
Ta định nghĩa chuẩn A là số M bé nhất thỏa bất đẳng thức Ax  M x với mọi x, tất nhiên
số A luôn tồn tại bởi vì tập các số thực M được chọn bị chặn dưới bởi 0.
Do đó: A  inf B : Ax  B x , x   n 
Ta có kết quả sau:

 Ax

A  sup 
: x  0   sup Ax : x  1 .
 x


2.3. ĐỊNH LÝ GIÁ TRỊ TRUNG BÌNH MỞ RỘNG
Cho F :  n   n , S là tập lồi trong  n , giả sử F có Jacobian tại mỗi điểm của S. Thì





2

Fz  Fy  sup J   :   L  z, y  z  y , với x   x , x 
Chứng minh
n

Áp dụng định lý giá trị trung bình đối với hàm số thực

 F  y  u (trong đó
i

i

ui là các thành

i 1

phần của véc tơ của véc tơ đơn vị u).
n

ta được:

Do đó:

  n

F
y

F
z
u

 i   i    i    Fi    ui , y  z  trong đó   L  y, z và phụ thuộc vào u.

i 1

  i1

n

n

i 1

i 1

  Fi  y   Fi  z   ui   ui Fi   , y  z 


2

1
2



 u   Fi   , y  z    J   y  z   J   y  z 

 i 1
n





 sup J    ,  L  y, z  y  z
Giả sử F  y   F  z  ta chọn u 

F  y   F  z
F  y   F  z

n

1
  Fi  y   Fi  z  ui  F  y   F  z 

i 1

thì

n

 F  y   F  z
i

i

2

 F  y   F  z

i 1

Ta được điều phải chứng minh.
2.4. CHẶN PHỔ
Cho A là ma trận cấp n.n, với thành phần là các số thực, và A* là ma trận chuyển vị của
ma trận A, A* có được bằng cách đổi chổ giữa dòng và cột của ma trận A. Ta gọi A là ma trận
đối xứng nếu A  A* .
Cho A là ma trận đối xứng, ta có dạng toàn phương của ma trận A là hàm số:
n

n

x   x, Ax   x * Ax   xi Aij x j
i 1 j 1

Các số   min  x, Ax  : x  1;   max  x , Ax  : x  1 được gọi là các chặn theo phổ của A.
Do ánh xạ ., A. là ánh xạ liên tục và tập S   x : x  1 là tập compact nên hàm ., A. sẽ đạt
max và min trên S. Nếu   0 thì A được gọi là xác định dương, nếu   0 thì A gọi là bán xác
định dương, nếu   0 và   0 thì A gọi là không xác định. Xác định âm và bán xác định âm
được định nghĩa tương tự.
Định lý
Giả sử A là ma trận đối xứng. Khi đó

sup

  x, Ax  :



x  1  sup Ax : x  1  A

Chứng minh
Áp dụng bất đẳng thức Schwarz ta có:  x , Ax   x Ax  A , x : x  1
Đặt sup  x , Ax   sup  ,     , thì   A
Ta chứng minh   A
Ta có:


Ax

2

1
1
  4  Ax , Ax   2  Ax, Ax   2  A2 x , x  

4
4
*



(do :  Ax , Ax    Ax   Ax   x * A*







  Ax  



 x * A* A x  x * A2 x   x, A2 x    A2 x , x  )
1
1
  2  Ax , x    Ax, Ax    A2 x , x   2  A2 x, Ax  
4

 2

1
2
2





Ax
,
x
Ax
,
Ax
A
x
,
x
A
x
,
Ax










 2 







1
 A x, x    A x, A 1 x    A  1 Ax , x    A  1 Ax , A 1 x  
4

















 A x ,  x    A x , A 1 x    A  1 Ax , x    A( 1 Ax ), A 1 x  

 

 


1
 A   x  , x  A 1 x    A  1 Ax , x  A 1 x  


4
  A x , x  A 1 x    A  1 Ax , x  A 1 x  
 



















1 
A  x   1 Ax ,  x  A 1 x    A  x   1 Ax ,  x  A 1 x  




4



1
  x   1 Ax
4



 2 2
2
 x   2 Ax 







2



   x   1 Ax

2

2

  4 2   x



2

  1 Ax

2





Ở đây  là số dương tùy ý. Khi Ax  0 thì hàm số cuối cùng đạt min khi  2 

Ax
x

, nên

 2 x  Ax
2

từ đây ta có: Ax    Ax . x   Ax   x    A
Vậy A  
Mà theo kết quả ở trên thì A  sup  Ax , x  1
nên ta có: sup

  x, Ax  :



x  1  sup Ax : x  1  A

Bổ đề 2.4.1
Giả sử A là ma trận đối xứng, các véc tơ đơn vị làm cực đại, cực tiểu ánh xạ ., A. là các véc tơ
riêng của A.


Chứng minh
Gọi f và  là hai hàm số thực thuộc lớp C 1   n 
Điều kiện cần để điểm x   x   n :   x   0 sao cho hàm f đạt max hoặc min tại đó là tồn tại
số  sao cho f  x     x   0 (1)
2

Đặt f  x    x, Ax  ,  x   1  x thì ta có:



f x 
xk
xk

n

n

n

n

n

 xi  Aij x j   Akj x j   xi Aik  2 Akj x j
i 1

j 1

j 1

i 1

j 1

(do A là ma trận đối xứng)
do đó f  x   2 Ax ,  x   2 x
từ công thức (1) cho ta: Ax   x với x  1
bởi vì tồn tại các véc tơ đơn vị mà tại đó . , A. đạt các cực trị nên kéo theo tồn tại các véc tơ x
và số  thỏa Ax   x, với x  1 .
Vậy bổ đề đã được chứng minh 
Bổ đề 2.4.2
Giả sử A là ma trận đối xứng, số  là giá trị riêng của A ( Ax   x ) nếu và chỉ nếu  2 là giá
trị riêng của A* A ( A* Az   2 z ).
Chứng minh





Giả sử A* Az   2 z  A 2   2 I z  0 với  2  0 thì

 A   I  A   I  z  0   A   I  A   I  z
Có bốn khả năng xảy ra:

 A   I  z  0;  A   I  z  0;  A   I   A   I  z   0;  A   I   A   I  z  0
Trong bất kỳ trường hợp nào thì  hoặc  cũng là giá trị riêng của A. Hơn nữa nếu  2  0 thì

 z, A* Az   0   Az, Az  0  Az  0
Ngược lại: Nếu Ax   x thì A* Ax   A* x   Ax   2 x .
Bổ đề được chứng minh xong.
Bổ đề 2.4.3
Cho A là ma trận đối xứng với chặn phổ là  ,  . Thì I   A  max  1   , 1    với I là
ma trận đơn vị.
Chứng minh


Nếu   0 và x  1 thì

   x , Ax     1     x , Ix    x , Ax   1   .
mà  x , Ix    x , Ax    x,  I   A  x 
nên: 1     x ,  I   A  x   1     x,  I   A  x   max  1   , 1   
Vì: 1   ,1   là các chặn phổ của ma trận đối xứng I   A nên theo định lý trên Ta có:

I   A  max  1   , 1   
Nếu   0 thì  ,  đổi thứ tự cho nhau trong bất đẳng thức trên, nghĩa là ta có:

1     x,  I   A  x   1  

Do đó ta cũng có: I   A  max  1   , 1    .
Nhận xét: Nếu  ,  ,   0 thì hàm f     max  1   , 1    có giá trị nhỏ nhất tại

2
.


Chứng minh
Đặt f1     1   , f2  x   1  
Khi   0 , ta vẽ đồ thị của hai hàm số này trên cùng một hệ trục tọa độ:

f1
f2

1

M
O

1

1







Khi đó hàm f đạt min tại M, hoành độ của M là nghiệm của phương trình:

1     1      

2
 

2.5. CỰC TIỂU HÓA HÀM SỐ

 2 f u 
Ta gọi Hessian của hàm f tại u   n là ma trận với các thành phần
với
xi x j

1  i  n,1 

j  n


Định lý
Giả sử f là hàm thuộc lớp C 2   n  sao cho phổ của Hessian của f là bị chặn dưới bởi   0 và bị

1
 2

chặn trên bởi  với mọi x thuộc  n . Ta định nghĩa tập I   ;      với 0    .

 


 

 

Xét dãy x k 1  x k  f x k với   I và xo là phần tử tùy ý thuộc  n . Khi đó dãy x k hội
tụ về z sao cho f  z   f  x  với mọi x thuộc  n .
Chứng minh
Ta tìm điểm z sao cho f  z   0.
Đặt G  y   y  f  y  thì Gi  y   yi  

f  y 
xi

Rõ ràng nếu   0 , y là điểm bất động của G khi và chỉ khi y là nghiệm của phương trình:

f  y   0
Gi  y  yi
2 f  y 
Đạo hàm của hàm Gi  y  theo biến x j được viết:


x j
x j
x j xi
Hiển nhiên

yi
y
 0 nếu i  j và i  1 nếu i = j
x j
x j

Ta có JG  y   I   H  y  với JG  y  là ma trận Jacobain của G tại y, I là ma trận đơn vị, H(y) là
ma trận Hessian của f tại y.
Do đó: JG  y   I   H  y  , do bổ đề 2.4.3 ta có:

jG  y   max  1   ; 1   
Với   I thì 1    1  ; 1    1  
Thật vậy:

*   I     

2



       2    1    1    1  

 1    1  
* với    

2



 

2



  thì ta cũng có bất đẳng thức thứ hai (làm tương tự).

Nên JG  y   q  1 với q  max 1  ;1    1   ; y   n
Theo định lý giá trị trung bình ta có:






Gy  Gz  sup JG   :   L  y, z  y  z  q y  z , nên G là ánh xạ co.

 

Theo định lý điểm bất động của ánh xạ co ta có: Dãy x n 1  G x n hội tụ về điểm bất động z
của G, do đó có f  z   0
Theo khai triển Taylor, tồn tại   L  x , z  :

1
 x  z, H   x  z  
2
xz  1
1
2  x z
= xz 
, H   .
  xz
2
xz  2
 xz

f  x   f  z   f  z  , x  z  

2

 f  x   f  z  0  f  x   f  z
Định lý đã được chứng minh xong 
Hệ quả
Cho F là ánh xạ đi từ  n vào chính nó, và có J F liên tục, đối xứng, xác định dương và có phổ
bị chặn trên bởi  và bị chặn dưới bởi  . Thì F có nghiệm duy nhất z, và dãy lặp

 

x n1  x n   F x n hội tụ về z với tốc độ của một cấp

1
 2

số nhân với mọi    ;    , 0    .

 

Chứng minh
Đặt: G  y   y   F  y 

 Gi  y   yi   Fi  y  

Gi  y 
x j



F  y 
yi
 i
x j
x j

 JG  y   I   .J F  y 
 JG  y   I   J F  y 
Mà giả thiết cho JF  y  là ma trận đối xứng xác định dương và bị chặn phổ trên và dưới bởi

 ,  (nên   0 )
Theo bổ đề 2.4.3, ta có: I   JF  y   max  1   , 1   

1
 2

Với   I   ,    ,0    như trong định lý ta có:

 

1    1   , 1    1  
Do đó: JG  y   q  1 với q  max 1   ,1    1    1


Theo định lý giá trị trung bình ta có:





G  y   G  z   sup JG   :   L  y, z  y  z  q y  z
nên G là ánh xạ co, theo định lý ánh xạ co ta có G có điểm bất động duy nhất z và dãy

 

x k 1  G x k hội tụ về z

 

mà do cách đặt G nên điểm bất động z của G chính là nghiệm của F và dãy x k 1  G x k hội tụ
với tốc độ là cấp số nhân với công bội q  1   (như trong định lý điểm bất động trong không
gian mê tríc).
Ứng dụng
Cho A là ma trận cấp m.n, rankA = n, do đó m  n . Gọi y là véc tơ m-thành phần, x là véc tơ nthành phần. Đặt F  x   Ax  y , . là chuẩn Euclide trên  n . Bây giờ ta tìm min của F.
m

 n

Ta có: F 2  x   Ax  y   Ax  y, Ax  y      Aij x j  y j 
i 1  j 1

2

2

Ta chỉ cần tìm min của F2
m
m n

F 2
2 F 2
 2  Aij x j  yi  Aik và
 2 Aik Ais  2 A* A
Ta có:
xs xk
xk
i 1
i 1 j 1





mà A* A



*

*

 

 A* A*



sk

 A* A nên A*A là ma trận đối xứng
2

m

 n

mặt khác  x, A* Ax    Ax   Ax      Aij x j   0
i 1  j 1

*

nếu x  0 thì Ax  0 (do rankA = n)   x , A* Ax   0  A * A xác định dương.
1
2



Với M    Aij 2  thì ta có Ax  M x
 i j

ta có: với x  En : x  1 thì:

 x, A* Ax    x , A* Ax   x A* Ax 
1

1

 m n
 m n

2 2
2 2
   A* A  x    A* A   
ij
ij
 j 1 i1

 j1 i 1








áp dụng định lý trên: với    



2



  ,0   

1



thì dãy


   với x

x k 1  x k   F 2 x k

o

tùy ý, hội tụ về z thỏa F 2  z   0

Vậy F đạt min tại z.
Ý nghĩa hình học của phần ứng dụng: Cho trước véc tơ m-chiều y ta luôn tìm được véc tơ nchiều x để cho khoảng cách giữa Ax và y là ngắn nhất.
2.6. KỸ THUẬT GRADIENT
2.6.1. Đặt vấn đề
Định lý trước đã được chứng minh là một trường hợp đặt biệt của một
định lý tổng quát. Các giả thiết có được là quá mạnh và chúng ta thường không có được nó.
Nhưng chúng ta có thể làm tốt hơn khi các giả định yếu hơn như sau:

 

Dãy lặp mà chúng ta thảo luận là x k 1  x k  f x k . Bởi vì f  x  là hướng mà theo

 

hướng này hàm f tăng nhanh trong lân cận của x, nên chúng ta có khi  đủ nhỏ và f x k  0



    f  x  . Ngoại trừ khi chúng ta chọn  để f đạt minimize, điều này sẽ tác

động đến sự giảm của f với điều kiện f  x   0 . Nếu f  x  giảm liên tục, chỉ có các x xuất
thì f x k  f x k

k

k

k



k

  . Từ các gợi ý

hiện trong suốt quá trình của dãy lập thuộc vào tập S  x   n : f  x   f x o

này chúng ta chỉ cần đòi hỏi chặn theo phổ của H trên S. Thật vậy, ta thấy rằng nếu



 k   ,


2


   và H  x   ox  S thì f x k là dãy số giảm, nếu f bị chặn dưới thì f x k
o


 

 

   hội tụ về 0, hơn nữa H(x) không cần xác định dương

hội tụ dưới về một giới hạn và f x k
trên S.
Bổ đề

Cho f là một hàm số xác định trên một lân cận của điểm z trong  n . Giả sử f xác định tại z
và f  z   0 . Thì khi đó tồn tại z ' thuộc  n sao cho f  z '   f  x 
Chứng minh
Đặt u     z  f  z  , g     f  u    

f  u     dui 
du 
.
 f  u     , 
d 
d 
xi
i 1
n

Khi đó: g '     

n f z
f  u  0   duI

2
   f  z     
.
f  z  0
 0  


xi
xi 
d
i 1
i 1 xi 
n

g ' 0  


Do g khả vi tại 0 nên:

  0,   0 : 0     

g    g  0 



 g ' 0  

1
Chọn    g '  0  ,0     và đặt z '  z  f  z 
2

Thì: f  z '   g       g  0    g '  0   g  0  


2

g ' 0  g  0  f  z .

Bổ đề đã được chứng minh xong.
2.6.2. Phương pháp Gradient



  . H  x  là ký hiệu Hessian của f

Cho hàm f xác định trên  n , đặt S  x   n : f  x   f x o

tại x, f thuộc C 2  S  . Do S là tập không mở nên ta giả sử các đạo hàm riêng tồn tại trên tập mở
chứa S.
Định lý
Giả sử f bị chặn dưới, chọn x o tùy ý trong  n và giả sử f thuộc C 2  S  . Giả sử có

1

o  0 : H  x 

o

, x  S .

Chọn

,k

0     o và

thỏa

   k  2 o  

và

đặt

 

x k 1  x k   k f x k thì:

 

   hội tụ về 0 và  f  x  hội tụ dưới về một giới hạn

i) x k  S, f x k

k

 

ii) Giả sử S bị chặn thì mọi điểm dính (cluster point) z của x k đều thỏa f  z   0 . Nếu

f  x  có nghiệm duy nhất trên S thì  x k  hội tụ về z và f đạt min tại z

2

iii) Giả sử tồn tại   0 sao cho  y, H  x  y    y , y   n , x  S , Giả sử S là tập lồi. Thì có

 

duy nhất điểm z để f đạt min tại z, và x k hội tụ về z với tốc độ của một cấp số nhân có công
bội bé hơn hoặc bằng 1  
iv) Giả sử (iii) với   0 và S bị chặn. Gọi D là đường kính của khối cầu chứa S. Thì

 

 

 

f x k  f x k D  f  z   f x k