Luận văn:PHƯƠNG PHÁP HÀM CHẮN VÀ PHƯƠNG PHÁP HÀM PHẠT trong các bài toán tối ưu Chương 1

Chơng 1

Những kiến thức chuẩn bị
Chơng này nhắc lại vắn tắt một số kiến thức cơ bản cần thiết về giải tích lồi
(tập lồi, hàm lồi và tính chất), về bài toán tối u phi tuyến (các điều kiện cần và đủ
của tối u). Do các bài toán tối u có ràng buộc thờng đợc đa về các bài toán không
ràng buộc, nên ở đây cũng nêu lại một số phơng pháp hay đợc dùng để tìm cực
tiểu tự do của hàm n biến (građiên, građiên liên hợp, Newton). Nội dung trình
bày ở chơng này chủ yếu dựa trên các tài liệu [1], [4], [5].

1.1. Tập Afin và tập lồi
1.1.1. Tập afin. Trớc hết là những khái niệm liên quan tới tập afin.
Định nghĩa 1.1. Một tập M |Rn đợc gọi là tập afin nếu
a, b M, |R a + (1 - )b M,
tức là hễ M chứa hai điểm nào đó thì M chứa cả đờng thẳng qua hai điểm ấy.
Một số tính chất cơ bản của các tập afin:
Nếu M là tập afin thì a + M = {a + x : x M} cũng là tập afin a |Rn.
M là tập afin chứa gốc khi và chỉ khi M là một không gian con của |Rn.
Giao của một họ bất kỳ tập afin cũng là tập afin.
Nếu x1, , xk thuộc tập afin M thì mọi tổ hợp afin của các điểm này

cũng thuộc M, nghĩa là
xi M (i = 1, , k), 1 + + k = 1 1x1 + + kxk M.
Một tập afin bất kỳ có dạng M = {x : Ax = b} với A |Rmìn, b |Rm.

Ngợc lai, mọi tập có dạng trên đều là tập afin. (Đó là tập nghiệm của
một hệ phơng trình tuyến tính).
Bao afin của một tập E là giao của tất cả các tập afin chứa E, ký hiệu
aff(E). Đó cũng là tập afin nhỏ nhất chứa E.
Từ các tính chất của tập afin suy ra:

6


x aff(E) x =

k

i x i , xi E,
i =1

k

i
i =1

= 1.

Có thể thấy: một tập M là afin khi và chỉ khi M = x0 + L với x0 M và
L là một không gian con. L đợc xác định một cách duy nhất và đợc gọi là không
gian con song song với M. (M nhận đợc bằng cách tịnh tiến L tới x0).
Thứ nguyên (số chiều) của một tập afin M là số chiều của không gian con
song song với nó.
Định nghĩa 1.2. Một tập afin trong |Rn có thứ nguyên n - 1 đợc gọi là một
siêu phẳng. Có thể thấy siêu phẳng là tập có dạng H = {x : <a, x> = } với a |
Rn (a 0), |R (Đó là tập nghiệm của một phơng trình tuyến tính trong |Rn).
Một tập k điểm x1, x2, , xk gọi là độc lập afin nếu k - 1 véctơ x 2 - x1, ,
xk - x1 độc lập tuyến tính. Qua n điểm độc lập afin trong |R n có một siêu phẳng
duy nhất. Một tập có dạng H = {x : <a, x> } (hay H = {x : <a, x> < }) đợc
gọi là một nửa không gian đóng (mở).

1.1.2. Tập lồi. Sau đây là một số khái niệm liên quan đến tập lồi.
Định nghĩa 1.3. Tập hợp C |Rn đợc gọi là lồi nếu
a, b C, 0 1 a + (1 - )b C,
tức là hễ C chứa hai điểm nào đó thì nó chứa cả đoạn thẳng nối hai điểm ấy.
Có thể thấy tập hợp rỗng, toàn không gian |Rn, mọi tập afin, siêu phẳng, nửa
không gian (đóng, mở), hình cầu, đều là những tập lồi. Trong |R 2, các hình
tam giác, hình vuông, hình tròn, hình êlip đều là các tập hợp lồi. Tuy nhiên, đờng
tròn hay hình vành khăn không phải là tập hợp lồi.
Thứ nguyên hay số chiều của một tập lồi C là thứ nguyên của bao afin của
C. Trong |Rn một tập lồi thứ nguyên n đợc gọi là tập lồi thứ nguyên đầy đủ.
Sau đây là một số tính chất cơ bản của các tập lồi:
Giao của một họ bất kỳ tập lồi cũng là tập lồi.

7


Nếu C, D là tập lồi thì C + D = {x + y : x C, y D}, C = {x : x

C} và C D = C + (-1)D cũng là tập lồi. Nếu C |Rn, D |Rm là tập
lồi thì tích C ì D = {(x, y) : x C, y D} |Rn ì |Rm cũng là tập lồi.
Nếu x1, x2, , xk thuộc một tập lồi C thì mọi tổ hợp lồi của các điểm

này cũng thuộc C, nghĩa là
xi C, i 0 (i = 1, , k) 1 + + k = 1 1x1 + + kxk C.
Nếu tập lồi C |Rn không giới nội thì có véctơ t |Rn (t 0) sao cho

với mọi x C tia x + t, 0 nằm trọn trong C. Một véctơ t nh thế gọi
là một phơng vô hạn của tập lồi C.
Cho một tập bất kỳ E |Rn. Giao của tất cả các tập lồi chứa E đợc gọi là
bao lồi của E, ký hiệu conv(E). Đó là tập lồi nhỏ nhất chứa E. Có thể thấy:

conv(E) trùng với tập tất cả các tổ hợp lồi của các phần tử thuộc E.
Bao đóng của một tập lồi cũng là tập lồi.

Cho C |Rn là một tập lồi. Điểm x C gọi là điểm cực biên của C nếu x
không thể biểu diễn dới dạng một tổ hợp lồi của hai điểm phân biệt bất kỳ khác
của C, nghĩa là không tồn tại hai điểm y, z C, y z sao cho
x = y + (1 - )z với 0 < < 1.
Mệnh đề 1.1 (Định lý tách). Hai tập lồi khác rỗng, không có điểm chung
C, D trong |Rn (C D = ) có thể tách đợc bởi một siêu phẳng, nghĩa là tồn tại
véctơ t |Rn (t 0) và số |R sao cho các bất đẳng thức sau đợc thoả mãn:
<t, x> <t, y> với mọi x C và mọi y D.
1.2. Hàm lồi, lồi chặt và lồi mạnh

1.2.1. Hàm lồi và tính chất
Định nghĩa 1.4. Một hàm f(x) xác định trên một tập lồi C |Rn đợc gọi là
lồi trên C nếu với mọi x, y C và mọi số thực [0, 1] ta có
f[x + (1 - )y] f(x) + (1 - )f(y).
8


Nếu bất đẳng thức trên thoả mãn với dấu < với mọi x y, 0 < < 1 thì f(x)
đợc gọi là lồi chặt. Hàm f(x) gọi là lõm (lõm chặt) nếu - f(x) là lồi (lồi chặt).
Có thể chứng minh rằng hàm f(x) là lồi trên C khi và chỉ khi
a) Tập epi f {(x, t) |Rn+1 : x C, f(x) t} là tập lồi trong |Rn+1, hoặc
m

b) f( k x k )
k =1

m

k f (x k )

với mọi xk C, k 0, k và

k =1

m

k

= 1, trong

k =1

đó m là một số nguyên 2 (bất đẳng thức Jensen).
Một số ví dụ quen thuộc về hàm lồi:
Hàm tuyến tính afin f(x) <c, x> + là hàm vừa lồi, vừa lõm, vì với

mọi x, y |Rn và với mọi ta có f[x + (1 - )y] = f(x) + (1 - )f(y).
Tuy nhiên hàm đó không phải là hàm lồi chặt hay lõm chặt.
Dạng toàn phơng nửa xác định dơng f(x) <x, Cx> là một hàm lồi.
Hàm chuẩn f(x) ||x|| =

< x, x > , x |Rn, là hàm lồi.

Hàm khoảng cách từ điểm x |Rn tới một tập hợp lồi, đóng cho trớc C

|Rn: f(x) inf
yC ||x y|| cũng là hàm lồi.

Một số tính chất đáng chú ý của hàm lồi:

Mọi tổ hợp tuyến tính không âm của các hàm lồi là hàm lồi và là lồi
chặt nếu ít nhất một trong các hàm đó là lồi chặt.
Nếu f(x) lồi thì f(Ax + b) cũng lồi, trong đó A là một ma trận vuông cấp
n và b |Rn.
Nếu các hàm fi(x), i = 1, 2, , m là lồi (nói riêng là tuyến tính afin) thì
hàm f(x) = 1max
fi(x) cũng lồi.
i m
Nếu f(x) là một hàm lồi trên tập lồi C thì với bất kỳ số thực |R các
tập mức dới sau đây đều là tập lồi (có thể rỗng):
C {x C : f(x) < }, C {x C : f(x) }.

9


Hơn nữa, nếu f(x) + <x, Px> với P là ma trận xác định dơng thì
C, C là tập giới nội (bị chặn).
Điều ngợc lại nói chung không đúng: Một hàm số có mọi tập hợp mức dới
là lồi thì không nhất thiết là một hàm lồi. Ví dụ: Hàm f(x) =

x , x |R, có mọi

tập hợp mức dới lồi, nhng bản thân hàm đó không lồi trên toàn bộ |R. Vì thế, ngời ta mở rộng khái niệm hàm lồi thành hàm tựa lồi, đó là các hàm f : |R n [,
+] sao cho các tập mức dới L = {x |Rn : f(x) } là lồi với mọi |R.
Hàm f(x) gọi là tựa lõm nếu f(x) là tựa lồi. Tất nhiên hàm lồi (lõm) cũng là tựa
lồi (tựa lõm), nhng điều ngợc lại nói chung không đúng.
Với x, d |Rn cố định, ta ký hiệu () f(x + d). Khi đó ta có
Mệnh đề 1.2. Hàm f(x) là lồi khi và chỉ khi hàm một biến () f(x + d)

là lồi theo với mọi x, d |Rn.

1.2.2. Hàm lồi khả vi
Nếu f(x) là hàm khả vi liên tục trên một tập hợp C |Rn thì với mỗi x C
ta xác định véctơ cột n thành phần:
f ( x ) f ( x )
f ( x )
f ( x ) =

,
, ,
x 2
x n
x1

T

và gọi nó là véctơ građiên của hàm f tại điểm x. Véctơ f(x) vuông góc với đờng đồng mức của hàm f đi qua điểm x. Hớng của véctơ này là hớng tăng nhanh
nhất của f tại x nên còn đợc gọi là hớng dốc nhất.
Ta gọi đạo hàm theo hớng d |Rn của hàm f tại điểm x |Rn là giá trị số
f ( x + d ) f ( x )
f(x, d) = lim
+
0


nếu giới hạn này tồn tại (hữu hạn hay vô hạn). Có thể thấy rằng nếu hàm f khả vi
liên tục thì
f(x, d) = <f(x), d> và '() = <f(x + d), d> với mọi x, d |Rn.
Hơn nữa, nếu f hai lần khả vi liên tục thì "() = <d, P(x + d)d>, trong đó

10


2f (x )
P(x) =
x i x j

n ìn

là ma trận vuông đối xứng cấp n, gọi là ma trận Hessian của f tại x.
Để nhận biết hàm lồi, ngời ta còn sử dụng các tiêu chuẩn sau:
Mệnh đề 1.3. Các điều sau đây là tơng đơng:


f(x) là hàm lồi trên toàn |Rn.



Hàm số '() <f(x + d), d> không giảm theo .



f(y) f(x) <f(x), y x> với mọi x, y |Rn.



Ma trận các đạo hàm riêng cấp hai 2f(x) nửa xác định dơng với mọi x,
nghĩa là <2f(x)d, d> 0 x, d |Rn.

Định nghĩa 1.5. Giả sử hàm lồi f(x) xác định tại điểm x 0 và có giá trị hữu

hạn. Véctơ g đợc gọi là dới građiên của f tại x0 nếu có bất đẳng thức
f(x) f(x0) <g, x x0> với mọi x |Rn.
Có thể chứng minh rằng nếu f(x) liên tục tại x0 thì tại đó có tồn tại véctơ dới
građiên và tập các véctơ dới građiên tại x0 là một tập hợp lồi, đóng và bị chặn.
Nếu f(x) khả vi tại x0 thì f(x0) là dới građiên duy nhất của f tại x0. Vì thế, khái
niệm dới građiên là mở rộng của khái niệm đạo hàm (građiên).
Với hàm lồi chặt ta cũng có các tính chất tơng tự nh trong Mệnh đề 1.3.
Mệnh đề 1.4. Các điều sau đây là tơng đơng:
a) f(x) là hàm lồi chặt.
b) f(y) f(x) > <f(x), y x>, x, y |Rn, x y.
c) <f(x + d), d> là hàm tăng chặt theo .

Hệ quả 1.1. Hàm toàn phơng f(x) + ẵ<x, Cx> là lồi khi và
chỉ khi ma trận C nửa xác định dơng. (Do 2f(x) C x).
1.2.3. Hàm lồi mạnh và tính chất

11


Định nghĩa 1.6. Hàm f(x) xác định trên tập lồi C |Rn đợc gọi là lồi
mạnh, nếu tồn tại hằng số > 0 (hằng số lồi mạnh) sao cho với mọi x, y C và
mọi [0, 1] ta có bất đẳng thức:
f[x + (1 )y] f(x) + (1 )f(y) (1 ) x y 2.

(1.1)

Có thể chứng minh rằng hàm f(x) lồi mạnh khi và chỉ khi hàm f(x) .||x||2
là lồi. Rõ ràng hàm lồi mạnh thì lồi chặt, nhng điều ngợc lại không chắc đúng.
Các hàm lồi mạnh có vai trò đặc biệt quan trọng trong nghiên cứu các bài
toán tối u. Sau đây sẽ xét các hàm lồi mạnh hai lần khả vi liên tục.

Mệnh đề 1.5. Nếu f(x) là hàm hai lần khả vi liên tục thì điều kiện lồi mạnh
(1.1) tơng đơng với điều kiện
<2f(x)d, d> m||d||2, m > 0 với mọi x, d |Rn.

(1.2)

Hệ quả 1.2. Hàm toàn phơng xác định dơng f(x) = + ẵ <x, Cx> là
hàm lồi mạnh trên toàn |Rn. Ngợc lại, mọi hàm bậc hai lồi mạnh xác định trên
toàn |Rn là dạng toàn phơng xác định dơng.
Tập C |Rn đợc gọi là lồi chặt nếu x, y C, x y, mọi điểm
x + (1 )y với 0 < < 1,
đều là điểm trong của C.
Tập C |Rn gọi là lồi mạnh nếu tồn tại hằng số > 0 sao cho
x, y C và ||z|| ||x y||2 ẵ (x + y) + z C.
Có thể thấy tập lồi mạnh thì lồi chặt, nhng ngợc lại không chắc đúng. Ví
dụ: tập C = {(x, y) |R2 : y ex} là tập lồi chặt nhng không lồi mạnh.
Cho trớc điểm tuỳ ý x0 |Rn. Xét tập mức dới C = {x |Rn: f(x) f(x0)}.
Mệnh đề 1.6. Nếu f(x) là một hàm lồi mạnh hai lần khả vi liên tục thì C là
một tập hợp lồi mạnh, đóng và bị chặn.
Mệnh đề 1.7. Nếu ma trận 2f(x) thoả mãn điều kiện (1.2) thì tồn tại ma
trận nghịch đảo [2f(x)]1 và <[2f(x)]1d, d>

12

1
||d||2.
m


Hơn nữa, nếu ma trận 2f(x) bị chặn, nghĩa là

<2f(x)d, d> M.||d||2.
thì

<[2f(x)]1d, d>

m
||d||2.
M2

1.2.4. Cực trị của hàm lồi
Cho hàm số thực f(x) xác định trên một tập khác rỗng C |Rn. Ta nói x0
C là điểm cực tiểu địa phơng của f trên C nếu tồn tại số > 0 sao cho f(x0)
f(x) với mọi x C thoả mãn ||x x0|| < . Ta nói x0 C là điểm cực tiểu toàn
cục của f trên C nếu f(x0) f(x) với mọi x C.
Các khái niệm cực đại địa phơng, cực đại toàn cục đợc định nghĩa tơng
tự. Mệnh đề sau đây nêu một tính chất rất đáng chú ý của hàm lồi:
Mệnh đề 1.8. Cho f(x) là một hàm lồi xác định trên tập lồi C. Nếu x0 C
là một điểm cực tiểu địa phơng của f trên C thì x0 cũng là điểm cực tiểu toàn cục
của f trên C.
Hơn nữa: x0 C là điểm cực tiểu của f trên C khi và chỉ khi
<f(x0), x x0> 0 với mọi x C.
Hàm lồi chặt có nhiều nhất một điểm cực tiểu.

Mệnh đề 1.9. Cho f(x) là một hàm khả vi liên tục trên một tập mở chứa C.
Nêú C là tập lồi đóng, khác rỗng và f lồi mạnh trên C (nói riêng, f là dạng toàn
phơng xác định dơng) thì f có duy nhất một cực tiểu trên C.

1.3. Chỉ số điều kiện của ma trận
Xét hệ tuyến tính Ax = b, với A là ma trận vuông cấp n không suy biến và b
là véctơ trong |Rn, b 0. Hệ đợc gọi là đặt không chỉnh nếu những nhiễu nhỏ

trong hệ gây nên những thay đổi tơng đối lớn trong lời giải đúng của hệ. Ngợc
lại, hệ đợc gọi là đặt chỉnh.
Ví dụ 1.1. Xét hệ phơng trình tuyến tính sau đây:
0,835x + 0,667y = 0,168 b1,
13


0,333x + 0,266y = 0,067 b2.
Nghiệm đúng của hệ là x* = 1 và y* = - 1. Nếu thay b 2 = 0,067 bằng 0,066
thì lời giải trở thành x* = - 666 và y* = 834!!!
Tình huống này có thể xẩy ra, chẳng hạn khi các số b 1 và b2 là các kết quả
của một thí nghiệm và đợc đọc từ mặt số đồng hồ của một dụng cụ đo. Giả sử
đồng hồ đợc đọc với sai số cho phép là 0,001.
Bây giờ vấn đề là làm thế nào đo đợc mức không chỉnh này. Muốn thế, ta
ký hiệu x* là lời giải của hệ tuyến tính Ax = b và ta thay b thành b + b. Khi đó,
lời giải mới có thể viết thành x* + x. Ta có A(x* + x) = b + b = Ax* + b
sao cho Ax = b và x = A-1b. Vì thế
||x|| ||A-1||.||b||.

(1.3)

Do Ax* = b nên ta có ||b|| = ||Ax*|| ||A||.||x*||, từ đó
1/ ||x*|| ||A||/ ||b||.

(1.4)

Khi đó, từ (1.3) và (1.4) ta rút ra
||x||/ ||x*|| ||A||.||A-1||.||b||/ ||b||.
Tơng tự, nếu ta thay A bởi A và nếu x là lời giải mới thì
||x||/ ||x|| ||A||.||A-1||.||A||/ ||A||.

Trong cả hai trờng hợp ta thấy sự thay đổi tơng đối của x bị chặn bởi thay
đổi tơng đối của dữ liệu, nhân với ||A||.||A -1||. Tích ||A||.||A-1|| càng lớn thì sự thay
đổi tơng đối càng rộng.
Định nghĩa 1.7. Cho A là một ma trận vuông cấp n không suy biến. Giá trị
của tích ||A||.||A-1|| đợc gọi là chỉ số điều kiện của A và ký hiệu là cond(A).
Để ý rằng chỉ số điều kiện của A luôn luôn lớn hơn hay bằng 1. Thật vậy,
1 = ||AA-1|| ||A||.||A-1|| = cond(A).
Với hệ tuyến tính cho ở ví dụ 1.1 chỉ số điều kiện của A là
||A||.||A-1|| = 1,502 ì 1.168.000 1,7 ì 106.
Mệnh đề 1.10. Cho A là ma trận đối xứng (cấp n) xác định dơng. Khi đó,
14


cond(A) = 1(A)/ n(A),
trong đó 1(A) và n(A) lần lợt là giá trị riêng lớn nhất và nhỏ nhất của A.

1.4. Bài toán tối u phi tuyến
:Xét bài toán tối u phi tuyến
(P)

min {f(x) : hi(x) = 0, i = 1, , m; gj(x) 0, j = 1, , p},

trong đó f, hi, i = 1, , m, và gj, j = 1, , p, là các hàm hai lần khả vi liên tục
(thuộc lớp C2). Ký hiệu h(x) = (h1(x), , hm(x))T |Rm và g(x) = (g1(x), ,
gp(x))T |Rp. Điểm x thoả mãn h(x) = 0 và g(x) 0 gọi là một điểm (lời giải)
chấp nhận hay một phơng án của bài toán (P). Tập các phơng án
D = {x |Rn : h(x) = 0, g(x) 0}
gọi là miền ràng buộc của bài toán. Đó là một tập hợp lồi khi h i (i = 1, , m) là
các hàm afin và gj (j = 1, . , p) là các hàm lồi. Giả thiết D khác rỗng. Một phơng án đạt cực tiểu của hàm f đợc gọi là một phơng án (lời giải) tối u.
Khi đó, ta nói mỗi phơng trình hi(x) = 0 là một ràng buộc đẳng thức, mỗi

bất phơng trình gj(x) 0 là một ràng buộc bất đẳng thức.
Hàm Lagrange tơng ứng với bài toán (P) đợc xác định nh sau:
L(x, à, ) = f(x) + h(x)Tà + g(x) T.
trong đó x |Rn, à |Rm và |Rp, 0.
Giả sử x* là một điểm chấp nhận của (P), ta ký hiệu
I(x*) = {j : 1 j p, gj(x*) = 0}.
Bài toán (P) đợc gọi là chính qui tại điểm x* (hay x* là điểm chính qui
của (P)) nếu hệ {h1(x*), , hm(x*) và gj(x*), j I(x*)} độc lập tuyến tính.

Điều kiện cần tối u (Định lý Karush - Kuhn - Tucker). Giả sử x*
D là điểm cực tiểu địa phơng của f trên D và x* là điểm chính qui của (P).
Khi đó, có những nhân tử à* |Rm và * |Rp thoả mãn:
f(x*) + h(x*)Tà* + g(x*)T* = 0,
15


g(x*)T* = 0, * 0,
h(x*) = 0, g(x*) 0 (do x* D).

Điều kiện đủ tối u cấp hai. Nếu (x*, à*, *) thoả mãn các điều kiện
h(x*) = 0, g(x*) 0 (nghĩa là x* D)
xL(x*, à*, *) f(x*) + h(x*)Tà* + g(x*)T* = 0


j gj(x*) = 0, j = 1, , p, * 0


j > 0 khi gj(x*) = 0 (điều kiện bù chặt)
2

dT x L(x*, à*, *)d > 0, d D(x*), d 0,

trong đó D(x*) = {d : hi(x*)Td = 0, i = 1, , m, gj(x*)Td = 0, j I(x*)}
thì x* là một điểm cực tiểu địa phơng của bài toán (P).
1.5. Cực tiểu tự do của hàm n biến
Thông thờng, việc giải các bài toán có ràng buộc đợc qui về việc giải một
dãy bài toán không ràng buộc. Vì thế trong mục này sẽ trình bày tóm tắt một số
phơng pháp chính tìm cực tiểu không ràng buộc của hàm số nhiều biến số. Đáng
chú ý là các phơng pháp građiên, građiên liên hợp và phơng pháp Newton quen
thuộc hay đợc dùng nhiều để tìm cực tiểu tự do của hàm n biến.

1.5.1. Phơng pháp građiên
Bài toán: min {f(x) : x |Rn} với giả thiết f khả vi liên tục (thuộc lớp C1).
Chọn tuỳ ý điểm x1 |Rn. Chọn trớc số > 0, 0 < < 1, 0 < < 1.
Thủ tục lặp: xk+1 = xk - kf(xk), k > 0, k = 1, 2, với k đợc chọn theo:
a) Phơng pháp quay lui: k là giá trị đầu tiên trong dãy , , 2, 3
thoả mãn f(xk+1) f(xk) - k|| f(xk) ||2, hoặc
b) Phơng pháp dò tìm chính xác: k đạt min {f(xk - f(xk)) : 0}.
Sự hội tụ của phơng pháp građiên đợc khẳng định trong hai mệnh đề sau.
Mệnh đề 1.11. Giả thiết hàm f(x) bị chặn dới và građiên f(x) thoả mãn:
16


||f(x) - f(y)|| L.||x y||, x, y |Rn
với L > 0 là một hằng số và k đợc chọn theo phơng pháp nêu trên. Khi đó, với
bất kỳ điểm ban đầu x1, dãy lặp {xk} có tính chất: ||f(xk)|| 0 khi k .
Mệnh đề 1.12. Giả thiết hàm f(x) hai lần khả vi liên tục và ma trận đạo
hàm bậc hai thoả mãn:
m||y||2 <2f(x)y, y> M||y||2, M m > 0, x, y |Rn.
Dãy {xk} xây dựng theo phơng pháp građiên, với k chọn theo cách đã nêu. Khi

đó, với bất kỳ x1 ta có xk x*, f(xk) f(x*), trong đó x* là điểm cực tiểu (duy
nhất) của f(x). Đồng thời, có đánh giá về tốc độ hội tụ của dãy lặp:
f(xk+1) f(x*) qk[f(x1) f(x*)],
||xk+1 x*|| Cqk/2, C < , 0 < q < 1.

1.5.2. Phơng pháp građiên liên hợp
Bài toán: min {f(x) = <c, x> + 12 <x, Gx>} với G đối xứng, xác định dơng.
Định nghĩa 1.8. Các hớng d1, d2, . . . , dk 0 gọi là liên hợp với nhau đối
với ma trận G nếu <di, Gdj> = 0 với mọi i, j = 1, 2, . . . , k và i j.
Chọn tuỳ ý điểm x1 |Rn. Hớng tìm ban đầu d1 = - f(x1).
Bớc lặp: k = 1, 2, :
Xác định xk+1 = xk + kdk, k > 0 đạt cực tiểu của hàm một biến
() = f(xk + dk), 0.
Chọn hớng dk+1 liên hợp với d1, , dk dới dạng:
dk+1 = - gk+1 + kdk với k = ||gk+1||/ ||gk|| và gk = f(xk).
Đặt k k + 1. Tiến hành bớc lặp k mới.
Phơng pháp građiên liên hợp cho cực tiểu của hàm lồi bậc hai f(x) sau
không quá n bớc lặp.

1.5.3. Phơng pháp Newton
17


Bài toán: min{f(x): x |Rn} với giả thiết f hai lần khả vi liên tục (thuộc C2).
Chọn tuỳ ý điểm x1 |Rn.
Thủ tục lặp: xk+1 = xk - k[2f(xk)]-1.f(xk), k > 0, k = 1, 2,
Chọn k theo phơng pháp quay lui hoặc đạt
min{f(xk - [2f(xk)]-1.f(xk)) : 0}.
Sự hội tụ của phơng pháp Newton đợc nêu trong mệnh đề sau.
Mệnh đề 1.13. Dãy xk xây dựng theo phơng pháp Newton với k chọn theo

cách đã nêu sẽ hội tụ tới điểm cực tiểu x* với tốc độ trên tuyến tính nếu f(x)
thoả mãn:
m||y||2 <2f(x)y, y> M||y||2, m > 0, x, y |Rn,
với tốc độ bậc hai ||xk+1 xk|| (L/m)||xk x*||2 nếu 2f(x) thoả mãn thêm điều
kiện Lipschitz:
||2f(x) - 2f(y)|| L.||x y||, x, y |Rn.

1.6. Tốc độ hội tụ
Một trong những thớc đo hiệu quả thực thi của một thuật toán là tốc độ hội
tụ của nó. Trong mục này ta sẽ đề cập tới một số khái niệm liên quan đến các
kiểu hội tụ khác nhau. Các khái niệm này sẽ đợc trích dẫn ở hai chơng sau.
Giả sử {xk} là một dãy điểm trong |R n hội tụ tới x*. Ta nói sự hội tụ là
tuyến tính nếu có hằng số r (0. 1) sao cho
x k +1 x
x k x

r với mọi k đủ lớn.

Điều này có nghĩa là khoảng cách tới x* giảm dần, sau mỗi lần lặp giảm ít
nhất một hệ số hằng số < 1. Chẳng hạn, dãy 1 + (0,5) k hội tụ tuyến tính tới 1. Lu
ý là kiểu hội tụ này đợc định nghĩa thông qua tỉ số của hai sai số liên tiếp.
Sự hội tụ đợc gọi là trên tuyến tính nếu
18


lim

k

x k +1 x

k

x x



= 0.

Chẳng hạn, dãy xk = 1 + k-k hội tụ trên tuyến tính tới x* = 1. Thật vậy, ta có
x k +1 x
x k x

k
( k +1)
kk
1
k
(
k
+
1
)


=
=
=
ì

(k + 1) k +1

k + 1 k + 1
k k

1
1
1
1
1
ì k +1 k =
ì

0ì
= 0 khi k .
k
e
k +1 ( k )
k + 1 (1 + 1k )
Sự hội tụ đợc gọi là bậc hai nếu có hằng số dơng M sao cho
x k +1 x
k

x x

2

M với mọi k đủ lớn,

trong đó M không cần thiết nhỏ hơn 1. Ví dụ dãy 1 + (0,5) 2k hội tụ bậc hai tới 1.
Tốc độ hội tụ phụ thuộc vào r và phần nào vào M. Giá trị r và M phụ thuộc
không chỉ vào thuật toán mà còn vào tính chất của từng bài toán cụ thể. Nhng dù

r và M thế nào thì suy cho cùng sự hội tụ bậc hai bao giờ cũng nhanh hơn sự hội
tụ tuyến tính.
Rõ ràng là một dãy hội tụ bậc hai sẽ hội tụ trên tuyến tính và một dãy hội tụ
trên tuyến tính sẽ hội tụ tuyến tính. Ta cũng có thể định nghĩa tốc độ hội tụ cao
hơn (bậc ba, bậc bốn, ), nhng đó không phải là các từ hay đợc dùng trong thực
tiễn. Tổng quát, ta nói sự hội tụ của dãy là bậc p (với p > 1) nếu có hằng số dơng
M sao cho
x k +1 x
k

x x

p

M với mọi k đủ lớn.

Nh đã biết, các phơng pháp tựa Newton có tôc độ hội tụ trên tuyến tính, còn
các phơng pháp Newton có tốc độ hội tụ bậc hai. Trái lại, các thuật toán građiên
chỉ hội tụ với tốc độ tuyến tính và khi bài toán đặt không chỉnh thì hằng số hội tụ
r gần 1.

19


Tóm lại. Chơng này đã nhắc lại các khái niệm về tập lồi, hàm lồi, hàm
tựa lồi, hàm lồi chặt và hàm lồi mạnh, cùng một số tính chất cơ bản của chúng.
Khái niệm về chỉ số điều kiện của ma trận cũng đợc nói tới. Các phơng pháp cơ
bản tìm cực tiểu tự do của hàm nhiều biến cùng với sự hội tụ của chúng, cũng đợc nêu tóm tắt: phơng pháp građiên, građiên liên hợp, phơng pháp Newton. Các
phơng pháp này sẽ cần đến ở các chơng sau, khi giải các bài toán tối u có ràng
buộc (đẳng thức hoặc bất đẳng thức).

20