Ứng dụng một số thuật toán giải hệ bất phương trình tuyến tính vào bài toán phân loại

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC QUY NHƠN

ĐỒNG THỊ MAI DUNG

ỨNG DỤNG MỘT SỐ THUẬT TOÁN
GIẢI HỆ BẤT PHƯƠNG TRÌNH TUYẾN

TÍNH VÀO BÀI TOÁN PHÂN LOẠI

ĐỀ ÁN THẠC SĨ
KHOA HỌC DỮ LIỆU ỨNG DỤNG

Bình Định - Năm 2023

BỘ GIÁO DỤC VÀ ĐÀO TẠO
TRƯỜNG ĐẠI HỌC QUY NHƠN

ĐỒNG THỊ MAI DUNG

ỨNG DỤNG MỘT SỐ THUẬT TOÁN
GIẢI HỆ BẤT PHƯƠNG TRÌNH TUYẾN

TÍNH VÀO BÀI TOÁN PHÂN LOẠI

Chuyên ngành: Khoa học dữ liệu ứng dụng
Mã số: 8904648

Người hướng dẫn: TS. TRẦN NGỌC NGUYÊN

i

Lời cam đoạn

Tôi xin cam đoan nội dung trong luận văn “Ứng dụng một số thuật toán giải
hệ bất phương trình tuyến tính vào bài tốn phân loại” là do bản thân thực
hiện theo logic riêng dưới sự hướng dẫn của TS. Trần Ngọc Nguyên. Các nội dung và
kết quả sử dụng trong luận văn đều có trích dẫn và chú thích nguồn gốc rõ ràng.

Bình Định, tháng 11 năm 2023
Học viên thực hiện

Đồng Thị Mai Dung

ii

Lời cảm ơn

Lời đầu tiên tôi xin gởi đến TS. Trần Ngọc Nguyên lời cảm ơn sâu sắc về sự tận
tình giúp đỡ của thầy đối với tơi trong suốt khóa học, đặc biệt trong q trình làm
luận văn.

Tơi xin được bày tỏ lịng biết ơn đến tất cả các thầy cơ khoa Tốn và Thống kê
trường Đại Học Quy Nhơn, các giảng viên Trường DHKHTN-DHQG TPHCM đã nhiệt
tình giảng dạy chúng tơi trong suốt khóa học.

Xin được cảm ơn các vị lãnh đạo và chuyên viên Phòng Đào tạo sau đại học Trường
Đại Học Quy Nhơn đã tạo điều kiện thuận lợi cho tơi trong suốt q trình học.

Tơi cũng xin được cảm ơn gia đình tôi, các đồng nghiệp và các bạn học viên Cao
học khóa 24B đã hỗ trợ, động viên tơi trong suốt thời gian học.

Cuối cùng, với kiến thức còn hạn chế nên dù rất cố gắng nhưng chắc chắn luận văn
cịn nhiều sót. Kính mong các thầy cơ và các bạn đồng nghiệp đóng góp ý kiến để luận
văn cịn hồn chỉnh hơn.

Bình Định, tháng 11 năm 2023
Học viên thực hiện

Đồng Thị Mai Dung

iii

Mục lục

Lời cam đoan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i
Lời cảm ơn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ii
Mục lục . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii
Danh sách bảng . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vi
Danh sách hình vẽ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . vii
Danh mục ký hiệu, chữ viết tắt . . . . . . . . . . . . . . . . . . . . . . . . . viii

Lời mở đầu 1

Chương 1. Kiến thức chuẩn bị 3

1.1 Hệ bất phương trình tuyến tính . . . . . . . . . . . . . . . . . . . . . . 3

1.1.1 Hệ bất phương trình tuyến tính . . . . . . . . . . . . . . . . . . 3

1.1.2 Tập chỉ số I(x) . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

1.1.3 Hệ bất phương trình tuyến tính theo nghĩa bình phương nhỏ nhất 4

1.2 Bài tốn quy hoạch tồn phương . . . . . . . . . . . . . . . . . . . . . 8

1.3 Ma trận . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.3.1 Ma trận giả nghịch đảo . . . . . . . . . . . . . . . . . . . . . . . 9

1.3.2 Phân rã giá trị suy biến SVD . . . . . . . . . . . . . . . . . . . 9

1.3.3 Giả nghịch đảo Moore–Penrose . . . . . . . . . . . . . . . . . . 10

1.4 Không gian vec-tơ Euclide . . . . . . . . . . . . . . . . . . . . . . . . . 11

1.4.1 Bất đẳng thức Cauchy - Schwarz . . . . . . . . . . . . . . . . . 11

iv

1.4.2 Phép chiếu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.5 Biểu đồ hiệu suất . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

Chương 2. Một số thuật toán giải hệ bất phương trình tuyến tính 14

2.1 Sơ lược thuật toán Han và phiên bản hiệu quả hơn của thuật toán Han 14

2.1.1 Thuật toán Han đối với bài toán hệ bất phương trình tuyến tính 14

2.1.2 Thuật tốn Han đối với bài tốn bình phương nhỏ nhất tuyến tính 16

2.1.3 Một phiên bản hiệu quả hơn: thuật toán Bramley . . . . . . . . 17

2.2 Phương pháp chiếu liên tiếp . . . . . . . . . . . . . . . . . . . . . . . . 22

2.2.1 Bài tốn đối ngẫu của bất phương trình tuyến tính . . . . . . . 22

2.2.2 Giải quyết bài toán đối ngẫu . . . . . . . . . . . . . . . . . . . . 26

2.3 Thuật toán điểm trong . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

2.3.1 Giải hệ đối ngẫu . . . . . . . . . . . . . . . . . . . . . . . . . . 37

2.3.2 Lựa chọn độ dài bước . . . . . . . . . . . . . . . . . . . . . . . . 38

2.3.3 Phương pháp toàn phương thực tế . . . . . . . . . . . . . . . . 40

2.4 Thuật toán vùng tin cậy . . . . . . . . . . . . . . . . . . . . . . . . . . 42

2.4.1 Bài tốn khơng ràng buộc . . . . . . . . . . . . . . . . . . . . . 42

2.4.2 Bài toán phụ của phương pháp Newton . . . . . . . . . . . . . . 42

2.4.3 Bước lặp của phương pháp vùng tin cậy . . . . . . . . . . . . . 43

2.5 Thuật toán Newton bán trơn . . . . . . . . . . . . . . . . . . . . . . . . 45

2.5.1 Bài tốn phương trình phi tuyến . . . . . . . . . . . . . . . . . 45

2.5.2 Giải phương trình phi tuyến . . . . . . . . . . . . . . . . . . . . 45

Chương 3. Ứng dụng việc giải bất phương trình tuyến tính vào bài

tốn phân loại 47

3.1 Bài toán phân loại . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

3.2 Giải bài toán phân loại tuyến tính bằng hệ bất phương trình bình phương

nhỏ nhất . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48

v

Chương 4. Thực nghiệm số 52

4.1 So sánh hiệu suất giữa các thuật toán . . . . . . . . . . . . . . . . . . . 52

4.1.1 So sánh hiệu suất tính tốn (FLOPS) của 4 thuật toán . . . . . 52

4.1.2 So sánh thời gian chạy CPU của 7 thuật toán . . . . . . . . . . 55

4.1.3 Sự phụ thuộc của Thuật toán Dykstra vào số ràng buộc hoạt động 57

4.2 So sánh hiệu suất phân loại giữa thuật tốn SVM và thuật tốn giải hệ

bất phương trình tuyến tính bình phương nhỏ nhất . . . . . . . . . . . 58

Kết luận 61

Tài liệu tham khảo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

vi

Danh sách bảng

4.1 Kết quả so sánh hiệu suất tính tốn (FLOPS) của 4 thuật toán . . . . 53

vii

Danh sách hình vẽ

1.1 Biểu đồ hiệu suất so sánh ba phương pháp trên một tập hợp 132 bài toán 12
2.1 Phân rã trực giao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2 Phân rã cực . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3 Thuật toán Dykstra . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.4 Thuật toán Dykstra áp dụng cho b = (3, 3), C1 = {(x, y) ∈ R2|y ≤ 0} và

C2 = {(x, y) ∈ R2|x + 3y ≤ 0}. . . . . . . . . . . . . . . . . . . . . . . . 32
2.5 Thuật toán Dykstra áp dụng cho b = (0, 5), C1 = {(x, y)|(x − 2.5)2 +

(y − 2.5)2 ≤ 1.52} và C2 = {(x, y)|(x − 5)2 + (y − 3)2 ≤ 22}. . . . . . . . 32
4.1 So sánh hiệu suất của 4 thuật tốn dựa trên FLOPS (20 × 40) . . . . . 54
4.2 So sánh hiệu suất 4 thuật toán về mặt FLOPS với m = 2n . . . . . . . 54
4.3 So sánh hiệu suất 4 thuật toán về mặt FLOPS với m = 100n . . . . . . 55
4.4 So sánh hiệu suất về thời gian CPU của 7 thuật toán . . . . . . . . . . 56
4.5 Giá trị trung bình của FLOPS cho mỗi số ràng buộc hoạt động p . . . 57
4.6 Bài tốn có thể phân loại tuyến tính (◦ : A, + : B) . . . . . . . . . . . . 59
4.7 Bài toán hình vng (◦ : A, + : B) . . . . . . . . . . . . . . . . . . . . . 59
4.8 Bài toán tam giác (◦ : A, + : B) . . . . . . . . . . . . . . . . . . . . . . 60

viii

Danh mục ký hiệu, chữ viết tắt

A Ma trận A với kích thước m × n

AT Ma trận chuyển vị của một ma trận A

A−1 Ma trận nghịch đảo của A

A† Ma trận giả nghịch đảo của A

∇f (x) Gradient của f (x)

SVM Support Vector Machine

SVD Singular Value Decomposition

FLOPS Floating point operations per second

CPU Central Processing Unit

KKT Karush − Kuhn − Tucker

1

Lời mở đầu

Hệ bất phương trình tuyến tính đã xuất hiện từ khá lâu đời và có nhiều ứng dụng
mạnh mẽ trong các lĩnh vực. Cùng với sự phát triển đó, việc nghiên cứu các phương
pháp giải hệ bất phương trình tuyến tính ngày càng thu hút được sự quan tâm mạnh

mẽ của khơng những các nhà tốn học mà cịn các kỹ sư trong cơng nghiệp. Dựa trên
các cơng cụ khác nhau, đặc biệt là tối ưu hóa, một loạt các phương pháp giải các hệ
bất phương trình tuyến tính đã được đề xuất.

Nhằm hướng đến việc trình bày một cách hệ thống các thuật toán được dùng để
giải quyết các bài toán phân loại, dưới sự hướng dẫn của TS. Trần Ngọc Nguyên, tôi
chọn đề tài luận văn: "Ứng dụng một số thuật tốn giiar hệ bất phương trình tuyến
tính vào bài tốn phân loại"để nghiên cứu và phát triển.

Ngoài mục lục, danh mục các ký hiệu, phần mở đầu và phần kết luận, nội dung của
luận văn được chúng tơi trình bày trong 4 chương

Chương 1 Kiến thức chuẩn bị Chương này trình bày khái niệm cơ bản về ma
trận, không gian vec-tơ euclide, hệ bất phương trình tuyến tính làm cơ sở khoa học để
xây dựng thuật toán.

Chương 2 Một số thuật tốn giải hệ bất phương trình tuyến tính Chương
này nêu một số thuật tốn phổ biến và tối ưu thuật toán.

Chương 3 Ứng dụng việc giải bất phương trình tuyến tính vịa bài toán
phân loại Chương này giới thiệu về bài toán ứng dụng của việc giải hệ bất phương
trình tuyến tính trong lĩnh vực phân loại dữ liệu.

Chương 4 Thực nghiệm số Chương này trình bày về quá trình thực nghiệm, kết
quả và phân tích các thử nghiệm trên dữ liệu nhân tạo

Luận văn được hồn thành dưới sự hướng dẫn tận tình của Thầy Trần Ngọc Nguyên.
Học viên xin gửi lời cảm ơn chân thành đến Thầy đã ảnh hưởng dẫn và cung cấp nguồn

2

tài liệu cùng những kiến thức để học viên có thêm hiểu biết về đề tài. Học viên cũng
xin gửi lời cảm ơn đến Ban Giám hiệu Trường Đại học Quy Nhơn, Phòng Đào tạo Sau
đại học, Khoa Tốn và Thống kê cùng q Thầy Cơ giảng dạy lớp Cao học Khoa học
dữ liệu ứng dụng khóa 24B, đã tạo mọi điều kiện tốt nhất trong suốt thời gian học tập
và nghiên cứu thực hiện đề tài.

Mặc dù bản thân đã nỗ lực cố gắng hết sức để hoàn thành luận văn. Tuy nhiên, do
điều kiện về thời gian, kiến thức và kinh nghiệm nghiên cứu còn hạn chế nên chắc chắn
luận văn sẽ khơng thể tránh khỏi những thiếu sót nhất định. Học viên rất mong nhận
được những bình luận xét, góp ý của q thầy cơ và các bạn để luận văn được hoàn
thiện hơn.

Học viên xin chân thành cảm ơn!

Bình Định, tháng 11 năm 2023
Học viên thực hiện

Đồng Thị Mai Dung

3

Chương 1 Kiến thức chuẩn bị

Chương này giới thiệu về hệ bất phương trình tuyến tính theo nghĩa bình phương nhỏ
nhất và một số kiến thức được sử dụng trong đề án. Trong chương này tham khảo nội
dung từ các tài liệu [22] và [17].

1.1 Hệ bất phương trình tuyến tính

1.1.1. Hệ bất phương trình tuyến tính

Một hệ bất phương trình tuyến tính có thể được biểu diễn dưới hình thức ngắn gọn
như sau:

Định nghĩa 1.1.1. Ax ≤ b với A ∈ Rm×n, b ∈ Rm, x ∈ Rn. (1.1)

trong đó A = [aij]m×n là ma trận với các phần tử aij ∈ R, x = [x1, x2, . . . , xn]T là vec-tơ
biến tuyến tính, và b = [b1, b2, . . . , bm]T là vectơ hằng số.

Mặc dù bất kỳ quan hệ nào trong {>, ≥, <,̸ =} có thể thay thế cho quan hệ ≤, tuy
nhiên các quan hệ tương tự nhau nên trong đề án này chỉ xét trường hợp ≤.

Vec-tơ thỏa mãn hệ bất phương trình tuyến tính trên thì được gọi là nghiệm của hệ.

Định nghĩa 1.1.2. Khi không tồn tại bất kỳ vec-tơ nào thỏa mãn đồng thời tất cả các

4

bất phương trình trong hệ thì được gọi là hệ bất phương trình tuyến tính không
nhất quán.

1.1.2. Tập chỉ số I(x)

Trong trường hợp hệ bất phương trình tuyến tính khơng nhất qn, có nghĩa là tồn
tại ít nhất một chỉ số i mà điều kiện tương ứng không được thỏa mãn, tức là tập hợp
I(x) ⊂ {1, . . . , m} được xác định bởi:

I(x) = {i ∈ {1, . . . , m}, ⟨Ai, x⟩ > bi} (1.2)

khác rỗng đối với mọi x ∈ Rn.
Hơn nữa, giả sử rằng tập hợp I(x) = {i1, . . . , ip} được sắp xếp sao cho i1 < i2 < . . . < ip;
thì AI(x), bI(x) sẽ biểu thị ma trận con của A với các hàng Ai1, . . . , Aip và vectơ con của
b với các thành phần lần lượt là bi1, . . . , bip.

Với mọi y ∈ Rm, xác định y+ ∈ Rm bởi (y+)i = max {yi, 0}. Áp dụng cho (Aix − bi)+
ta có:

(Aix − bi)+ = max {Aix − bi, 0} .

Cơng thức này có nghĩa rằng nếu Aix ≤ bi, thì (Aix − bi)+ sẽ bằng 0; ngược lại, nếu
Aix > bi, thì (Aix − bi)+ sẽ bằng Aix − bi.

1.1.3. Hệ bất phương trình tuyến tính theo nghĩa bình phương nhỏ nhất

Hệ bất phương trình tuyến tính theo nghĩa bình phương nhỏ nhất có nghĩa là tìm vec-tơ
x sao cho tổng bình phương của sai số giữa các bất phương trình và các giá trị thực là
nhỏ nhất.

Định nghĩa 1.1.3. Hệ bất phương trình tuyến tính (1.1) theo nghĩa bình phương nhỏ

nhất có dạng:

minn f (x) = 1 ∥(Ax − b)+∥22 (1.3)

x∈R

5

Với mục tiêu là tìm một vectơ x sao cho tổng bình phương của Ax − b đạt giá trị

nhỏ nhất.

Định nghĩa 1.1.4. Nghiệm tối ưu của hệ theo nghĩa bình phương nhỏ nhất được định
nghĩa là vec-tơ x∗ trong không gian Rn sao cho tổng bình phương của sai số giữa các bất
phương trình và các giá trị thực tế là nhỏ nhất, tức là nghiệm của bài toán tối ưu sau:

m

min (aTi x − bi)+2 (1.4)

i=1

với x ∈ Rn,

trong đó:
ˆ x∗ là vec-tơ biến,
ˆ ai là hàng thứ i của ma trận A,
ˆ bi là thành phần thứ i của vec-tơ b.
Nghiệm tối ưu x∗ là nghiệm mà tổng bình phương sai số là nhỏ nhất trong số tất cả

các giải pháp có thể trong khơng gian Rn cho hệ bất phương trình tuyến tính đã cho.

Sau đây, ta xem xét một số tính chất cơ bản của hệ bất phương trình tuyến tính
mà sẽ được sử dụng trong đề án.

Mệnh đề 1.1.1. Một vectơ x∗ ∈ Rn là một nghiệm tối ưu của bài toán quy hoạch bậc
hai (1.1) khi và chỉ khi AT (Ax∗ − b)+ = 0.
Chứng minh. Điều kiện cần: Nếu x∗ là nghiệm tối ưu, theo điều kiện KKT (Karush −
Kuhn − Tucker), ta có:

ˆ Tính khả thi: Ax∗ ≤ b

6

ˆ Đạo hàm Lagrange: ∇f (x∗) + AT λ = 0, ở đây λ là các biến Lagrange.

ˆ Tính nón âm: λ ≥ 0

ˆ Sự bổ sung: λi(aTi x∗ − bi) = 0, ∀i

Ta có:

λiaiT x∗ = λibi ⇒ AT λ = AT (Ax∗ − b)+

Và do ∇f (x∗) + AT λ = 0, ta có:
AT (Ax∗ − b)+ = 0

Điều kiện đủ: Giả sử AT (Ax∗ − b)+ = 0, ta cần chứng minh x∗ là nghiệm tối ưu.
Đặt λ = (Ax∗ − b)+, ta có:

∇f (x∗) + AT λ = 0

Điều này, cùng với các điều kiện khác của KKT, cho thấy x∗ là nghiệm tối ưu.
Như vậy, mệnh đề đã được chứng minh.

Mệnh đề 1.1.2. Đối với mọi ma trận A ∈ Rm×n và vectơ b ∈ Rn, đều tồn tại nghiệm
bình phương nhỏ nhất cho Ax ≤ b. Vectơ dư tối ưu z∗ = (Ax∗ − b)+ là duy nhất và x là
nghiệm bình phương nhỏ nhất khi và chỉ khi (Ax − b)+ = z∗.

Cuối cùng, ta lưu ý rằng gradient của f là hàm Lipschitz cấp 1 trên toàn cục, với

hằng số Lipschitz là ∥A∥2.
Mệnh đề 1.1.3. ∥∇f (x) − ∇f (y)∥ ≤ ∥A∥2∥x − y∥, với mọi x, y ∈ Rn.

Chứng minh. Để chứng minh mệnh đề này, ta sẽ sử dụng bất đẳng thức Cauchy −
Schwarz và một số thuộc tính của đạo hàm.
Bắt đầu với bất đẳng thức Cauchy − Schwarz, ta có:

|⟨u, v⟩| ≤ ∥u∥∥v∥ với mọi u, v ∈ Rn

7
Áp dụng bất đẳng thức Cauchy − Schwarz cho ∇f (x) − ∇f (y) và x − y, ta có:

|⟨∇f (x) − ∇f (y), x − y⟩| ≤ ∥∇f (x) − ∇f (y)∥∥x − y∥

Bây giờ, ta cần xem xét ⟨∇f (x) − ∇f (y), x − y⟩. Sử dụng định nghĩa của đạo hàm, ta

có:

∇f (x) = lim f (x + t(x − y)) − f (x)

t→0 t

∇f (y) = lim f (y + t(x − y)) − f (y)

t→0 t

Do đó,

⟨∇f (x) − ∇f (y), x − y⟩ = ⟨lim f (x + t(x − y)) − f (x) − lim f (y + t(x − y)) − f (y) , x − y⟩

t→0 t t→0 t

= lim⟨ f (x + t(x − y)) − f (x) f (y + t(x − y)) − f (y)
− , x − y⟩
t→0 t t

= lim f (x + t(x − y)) − f (x) · (x − y) − f (y + t(x − y)) − f (y) · (x − y)

t→0 t t

= ∇f (x) · (x − y) − ∇f (y) · (x − y).

Quay trở lại bất đẳng thức Cauchy-Schwarz:

|⟨∇f (x) − ∇f (y), x − y⟩| ≤ ∥∇f (x) − ∇f (y)∥∥x − y∥

Áp dụng kết quả tính tốn trước đó, ta có:

|∇f (x) · (x − y) − ∇f (y) · (x − y)| ≤ ∥∇f (x) − ∇f (y)∥∥x − y∥

Giờ ta cần ước lượng ∥∇f (x) · (x − y) − ∇f (y) · (x − y)|. Sử dụng bất đẳng thức tam

8
giác, ta có:

∥∇f (x) · (x − y) − ∇f (y) · (x − y)∥ ≤ ∥∇f (x) · (x − y)∥ + ∥∇f (y) · (x − y)∥
= |∇f (x) · (x − y)| + |∇f (y) · (x − y)|
≤ ∥∇f (x)∥∥x − y∥ + ∥∇f (y)∥∥x − y∥

Tổng cộng, ta có:

∥∇f (x) − ∇f (y)∥∥x − y∥ ≥ |∇f (x) · (x − y) − ∇f (y) · (x − y)| ≥ 0

Do đó, ta có:

∥∇f (x) − ∇f (y)∥∥x − y∥ ≥ 0

Với điều kiện rõ ràng là ∥x − y∥ ≥ 0. Bây giờ, ta chia cả hai vế cho ∥x − y∥ (điều này
hợp lệ vì ∥x − y∥ > 0 khi x̸ = y), ta được:

∥∇f (x) − ∇f (y)∥ ≤ ∥A∥2∥x − y∥

Vậy chúng ta đã chứng minh Mệnh đề 1.1.3.

1.2 Bài toán quy hoạch tồn phương

Bài tốn quy hoạch tồn phương là một loại bài tốn tối ưu hóa, trong đó hàm mục
tiêu là một hàm bậc hai và chứa biến không âm s như sau:

minn 1 ∥Ax − b + s∥2
x∈R 2

với s ≥ 0.

9

1.3 Ma trận

1.3.1. Ma trận giả nghịch đảo

Một ma trận giả nghịch đảo A† của một ma trận A có kích thước m × n là một ma
trận có các tính chất của ma trận nghịch đảo của A nhưng không nhất thiết là ma trận
nghịch đảo chính xác.
Định nghĩa 1.3.1. Cơng thức biểu diễn ma trận giả nghịch đảo như sau:

A† = lim AT (AAT )kA

k→∞

hoặc

A† = lim A(AT A)kAT

k→∞

trong đó, AT là ma trận chuyển vị của A, và (AAT )k và (AT A)k là lũy thừa bậc k của
các ma trận tích AAT và AT A.

Ma trận giả nghịch đảo không phải luôn tồn tại. Nếu tồn tại, nó khơng duy nhất.
Một số phương pháp tính ma trận giả nghịch đảo bao gồm phân rã giá trị suy biến
SVD (Singular Value Decomposition) hoặc các phương pháp số khác.

1.3.2. Phân rã giá trị suy biến SVD

Định nghĩa 1.3.2. Phân rã giá trị suy biến SVD của A có dạng:

A = U ΣV T ,

trong đó
ˆ U là ma trận cột trực giao (m × m),

10
ˆ Σ là ma trận đường chéo (m × n) có các giá trị suy biến không âm trên đường

chéo,
ˆ V T là ma trận hàng trực giao chuyển vị (n × n).

1.3.3. Giả nghịch đảo Moore–Penrose

Một giả nghịch đảo Moore − Penrose A† của một ma trận A có kích thước m × n là
một ma trận có kích thước n × m thỏa mãn bốn đẳng thức sau:

ˆ AA†A = A
ˆ A†AA† = A†
ˆ (AA†)T = AA†
ˆ (A†A)T = A†A
Định nghĩa 1.3.3. Công thức biểu diễn giả nghịch đảo Moore − Penrose như sau:

A† = V Σ†U T ,

trong đó
ˆ U , Σ và V là các ma trận thu được từ phân tích giá trị suy biến của A,
ˆ Σ† là ma trận chéo có các phần tử bằng nghịch đảo của các phần tử khác không
trên đường chéo của Σ.

Ma trận giả nghịch đảo Moore − Penrose luôn tồn tại cho mọi ma trận A, không phụ
thuộc vào hạng của A.