Phương pháp bình phương cực tiểu báo cáo đề tài nghiên cứu khoa học cấp trường

PHƯƠNG PHÁP BÌNH PHƯƠNG CỰC TIỂU
BÁO CÁO ĐỀ TÀI NGHIÊN CỨU KHOA HỌC CẤP TRƯỜNG
Chủ nhiệm đề tài: Huỳnh Thanh Tồn

TP Hồ Chí Minh - 2017

.

1 / 24


Tổng quan đề tài

Khái niệm bình phương cực tiểu bắt nguồn từ cơng trình tiên phong
của Gauss và Legendre trong khoảng đầu thế kỷ 19. Bình phương cực
tiểu được sử dụng nhiều trong thống kê hiện đại và mơ hình tốn
học.
Các bài tốn có nhu cầu sử dụng phương pháp bình phương cực tiểu:
giải hệ phương trình, tìm đường cong phù hợp nhất ứng với dải dữ liệu
cho trước (curve fitting), tìm phương trình hồi quy trong thống kê ...

2 / 24


Tổng quan đề tài
Bài tốn giải hệ phương trình tuyến tính Ax = b với A ∈ Rm×n ,
b ∈ Rm , x ∈ Rn . Trường hợp Ax = b vô nghiệm
+ Phương pháp khử Gauss không đưa ra nghiệm chính xác.
+ Phương pháp thay thế: tìm x¯ ∈ Rn sao cho x¯ là gần nhất để trở
thành nghiệm theo nghĩa khoảng cách Euclide, tức là A¯
x − b 2 nhỏ

nhất. Nghiệm x¯ trong trường hợp này được gọi là nghiệm bình
phương cực tiểu (least squares solution), xem [3].

3 / 24


Tổng quan đề tài
Bài tốn giải hệ phương trình tuyến tính Ax = b với A ∈ Rm×n ,
b ∈ Rm , x ∈ Rn . Trường hợp Ax = b vô nghiệm
+ Phương pháp khử Gauss không đưa ra nghiệm chính xác.
+ Phương pháp thay thế: tìm x¯ ∈ Rn sao cho x¯ là gần nhất để trở
thành nghiệm theo nghĩa khoảng cách Euclide, tức là A¯
x − b 2 nhỏ
nhất. Nghiệm x¯ trong trường hợp này được gọi là nghiệm bình
phương cực tiểu (least squares solution), xem [3].

3 / 24


Tổng quan đề tài
Bài tốn tìm đường cong khớp nhất với dữ liệu cho trước.
Giả sử với dữ liệu (ti , yi )i=1..m , ta cần tìm đường cong g (xj , t)j=1..n
sao cho g (ti ) ≈ yi . Đặt χ2 =

m

[yi − g (xj , ti )]2 , phương pháp bình

i=1

phương cực tiểu là tìm các tham số xj sao χ2 là bé nhất.
Bài tốn tìm phương trình hồi quy trong thống kê

4 / 24


Tổng quan đề tài
Bài tốn tìm đường cong khớp nhất với dữ liệu cho trước.
Giả sử với dữ liệu (ti , yi )i=1..m , ta cần tìm đường cong g (xj , t)j=1..n
sao cho g (ti ) ≈ yi . Đặt χ2 =

m

[yi − g (xj , ti )]2 , phương pháp bình

i=1

phương cực tiểu là tìm các tham số xj sao χ2 là bé nhất.
Bài tốn tìm phương trình hồi quy trong thống kê

4 / 24


Các định nghĩa và định lý

Giả sử A ∈ Rm×n , b ∈ Rm , x ∈ Rn
Định nghĩa 1. (Hệ khơng nhất qn (inconsistent))
Hệ Ax = b khơng có nghiệm gọi là hệ không nhất quán.
Định nghĩa 2. (Nghiệm bình phương cực tiểu (least squares
solution))

Nghiệm x¯ của hệ khơng nhất quán Ax = b thỏa A¯
x −b
gọi là nghiệm bình phương cực tiểu.

2

nhỏ nhất

5 / 24


Các định nghĩa và định lý
Giả sử F : Rn → R, f : Rn → Rm và fi : Rn → R
Định nghĩa 3. (Bài tốn bình phương cực tiểu (least squares
problem))
Bài tốn bình phương cực tiểu là bài tốn tìm điểm cực tiểu địa
phương x ∗ của F (x) =

1
2

m

[fi (x)]2 , trong đó fi : Rn → R là hàm

i=1

cho trước và m > n.
Định nghĩa 4. (Điểm cực tiểu địa phương (local minimizer))
Cho số dương nhỏ δ và hàm số F (x). Điểm x ∗ gọi là điểm cực tiểu

địa phương của F (x) nếu F (x ∗ ) F (x), ∀x thỏa x − x ∗ < δ.

6 / 24


Các định nghĩa và định lý

Định nghĩa 5. (Điểm dừng (stationary point))
Điểm xs gọi là điểm dừng của F (x) nếu F (xs ) = 0.
Định nghĩa 6. (Ma trận xác định dương (positive definite matrix))
Ma trận đối xứng M ∈ Rn×n gọi là
+ Xác định dương nếu x T Mx > 0, ∀x ∈ Rn , x = 0.
+ Nửa xác định dương (positive semidefinite) nếu x T Mx
∀x ∈ Rn , x = 0.

0,

7 / 24


Các định nghĩa và định lý
Định nghĩa 7. Gradient của F là

∂F1
(x)

 ∂x1




 ..
= .
.



 ∂F
(x)
∂xn


F (x) =

∂F
(x)
∂xj

Định nghĩa 8. Ma trận Hessian của F là
F (x) =

∂2F
(x)
∂xi ∂xj

Định lý 1. Nếu x ∗ là một điểm cực tiểu địa phương của F (x) thì
F (x ∗ ) = 0.
Định lý 2. Nếu x là điểm dừng của F (x) và F (x) xác định dương
thì x là một cực tiểu địa phương của F (x) .
8 / 24

Nghiệm bình phương cực tiểu của hệ khơng nhất qn
Xét hệ phương trình khơng nhất qn Ax = b
Định lý 3. (Nghiệm bình phương cực tiểu)
Đặt S = {x ∈ Rn , b − Ax
x ∈ S ⇔ AT rx = 0

2

→ min} và rx = b − Ax. Khi đó

Chứng minh
(i) AT rx = 0 ⇒ x ∈ S
(ii) x ∈ S ⇒ AT rx = 0
Kết quả từ định lý 3: nghiệm bình phương cực tiểu của Ax = b là
nghiệm x¯ thỏa AT rx¯ = 0. Khi đó
AT rx¯ = 0 ⇔ AT (A¯
x − b) = 0 ⇔ AT A¯
x = AT b
9 / 24


Phương pháp đạo hàm cho bài tốn bình phương cực tiểu
1. Xấp xỉ bởi hàm tuyến tính
Giả sử g (xj , t) = α + βt là hàm cần tìm, trong đó (x1 , x2 ) = (α, β).
m

Đặt G (x) =

[α + βti − yi ]2 . Khi đó (α, β) được tìm từ hệ

i=1






∂G


mα +


=0


∂α
⇔
m
∂G




=0



ti


∂β

i=1

m

m

ti

β=

i=1

yi
i=1

m

m

ti2

α+
i=1

β=

yi ti

i=1

10 / 24


Phương pháp đạo hàm cho bài tốn bình phương cực tiểu
2. Xấp xỉ bởi hàm bậc 2
Giả sử g (xj , t) = α + βt + γt 2 là hàm cần tìm, trong đó
(x1 , x2 , x3 ) = (α, β, γ).
m

Đặt G (x) =
i=1

2

α + βti + γti2 − yi . Khi đó (α, β, γ) được tìm từ

hệ

m
m
m

2



mα
+

t
β
+
t
γ
=
yi
i

i
∂G




=
0


i=1
i=1
i=1


∂α




m

m
m
 ∂G
 m
2
3
=0 ⇔
ti α +
ti β +
ti γ =
yi ti
∂β




i=1
i=1
i=1
i=1




∂G


m
m
m

m




=0

2
3
4

∂γ

t
α
+
t
β
+
t
γ
=
yi ti2
i
i
i

i=1

i=1

i=1

i=1

11 / 24


Phương pháp đạo hàm cho bài tốn bình phương cực tiểu

3. Xấp xỉ bởi hàm mũ
Giả sử g (xj , t) = Ce At là hàm cần tìm, trong đó (x1 , x2 ) = (C , A).
Khi đó ln g (xj , t) = ln C + At
Đưa về bài tốn tìm hàm xấp xỉ tuyến tính g˜ (˜
xj , t) = α + βt, trong
đó x˜ = (α, β) = (ln C , A)

12 / 24


Phương pháp Gauss-Newton cho bài tốn bình phương cực
tiểu
Giả sử f : Rn → Rm , (m > n) là hàm liên tục, khả vi cấp 2 và hàm
F : Rn → R thỏa
1
F (x) =
2

m

[fi (x)]2 =
i=1

1
f (x)
2

2

1
= f T (x)f (x)
2

Thuật tốn Gauss-Newton tìm nghiệm bình phương cực tiểu
(i) Tính ma trận Jacobian J(x) của f và tìm hgn từ hệ phương trình
tuyến tính
J T Jhgn = −J T f
(ii) Bước lặp x = x + hgn .

13 / 24


Các bài tốn áp dụng
Bài tốn 1. Tìm hàm tuyến tính và hàm bậc hai khớp nhất với các dữ
liệu về độ lệch nhiệt độ trung bình tồn cầu từ năm 1991-2000 được cho
như bảng sau (xem [4])

14 / 24

Các bài toán áp dụng

Dùng phương pháp đạo hàm. (ti , yi ) là dữ liệu cho trước.
g1 (t) = 0.123 + 0.034t. g2 (t) = −0.4078 + 0.2997t − 0.0241t 2 .

15 / 24


Các bài tốn áp dụng
Bài tốn 2. Tìm đường cong khớp nhất với dải dữ liệu có chu kỳ về nhiệt
độ ghi nhận được ở Washington ngày 1/1/2001 được cho như bảng sau
(xem [3])

16 / 24


Các bài toán áp dụng
Dùng phương pháp giải hệ Ax = b với mơ hình
g (xj , t) = x1 + x2 cos 2πt + x3 sin 2πt. Kết quả thu được
g (t) = −1.95 − 0.7445 cos 2πt − 2.5594 sin 2πt

17 / 24


Các bài tốn áp dụng
Bài tốn 3. Tìm đường cong khớp nhất với dải dữ liệu về chiều cao và
trọng lượng trung bình của bé trai từ 2-11 tuổi được ghi nhận bởi trung
tâm kiểm soát dịch bệnh (Centers for Disease Control, CDC) năm 2002
như sau (U.S. National Health and Nutrition Examination Survey) (xem
[3])

18 / 24


Các bài toán áp dụng
Dùng phương pháp giải hệ Ax = b với mơ hình
+ Mơ hình 1: g1 (xj , t) = αe βt . Kết quả thu được g1 (t) = 2.0907e 2.0553t
+ Mơ hình 2: g2 (xj , t) = αt β . Kết quả thu được g2 (t) = 16.3044t 2.4199

19 / 24


Các bài tốn áp dụng

Bài tốn 4. Tìm đường cong khớp nhất với dải dữ liệu mô tả số lượng ô
tô hoạt động trên thế giới từ năm 1950 đến 1980 (xem [3])

20 / 24


Các bài toán áp dụng

Dùng phương pháp Gauss-Newton sau 5 bước lặp với điều kiện ban đầu
(x1 , x2 ) = (50, 0.1) và mơ hình g (xj , t) = x1 e x2 t

21 / 24


TI LIU THAM KHO
[1]

Ake Bjă
orck, Numerical Methods for Least Squares Problems, SIAM,
1996.
[2] K. Madsen, H.B. Nielsen, O. Tingleff, Methods for Non-linear Least
Squares Problems, Informatics and Mathematical Modelling Technical
University of Denmark.
[3] Timothy Sauer, Numerical Analysis, George Mason University.
[4] Kap, The Methods of Least Squares, lectures INF2320.
[5] Stephen Boyd, Least Squares, EE103 Stanford University.
XIN CÁM ƠN QUÝ THẦY CÔ

22 / 24


Phụ lục về phương pháp Gauss-Newton
Giả sử f : Rn → Rm , (m > n) là hàm liên tục, khả vi cấp 2 và hàm
F : Rn → R thỏa
F (x) =

1
2

m

[fi (x)]2 =
i=1

1
f (x)
2

2

1
= f T (x)f (x)
2

(1)

Ta có
Ma trận Jacobian của f : J(x) =

∂fi
∂xj (x) ij

Gradient của f : F (x) = J T (x)f (x)
Khai triển Taylor của f :
f (x + h) = f (x) + J(x)h + O( h 2 )

(2)

23 / 24