BÀI tập lớn đại số TUYẾN TÍNH ỨNG DỤNG của PHÂN TÍCH SVD vào hệ THỐNG gợi ý TRONG MACHINE LEARNING

TRƯỜNG ĐẠI HỌC BÁCH KHOA
ĐẠI HỌC QUỐC GIA THÀNH PHỐ HỒ CHÍ MINH

BÀI TẬP LỚN
ĐẠI SỐ TUYẾN TÍNH
GVHD: Th.S Nguyễn Xuân Mỹ
LỚP: L09 - NHÓM: 9


BÀI TẬP LỚN ĐẠI SỐ TUYẾN TÍNH - Nhóm 9

ỨNG DỤNG CỦA PHÂN TÍCH SVD
VÀO HỆ THỐNG GỢI Ý TRONG
MACHINE LEARNING
NHÓM: 9


BÀI TẬP LỚN ĐẠI SỐ TUYẾN TÍNH - Nhóm 9

DANH SÁCH THÀNH VIÊN
L09 - NHÓM: 9

STT
1
2
3
4
5
6
7

Họ và tên
Phan Võ Vĩnh San
Lữ Như Quỳnh
Trương Minh Ngọc Quý
Huỳnh Gia Qui
Bùi Thị Thanh Sâm
Trần Hoàng Sơn
Thái Ngọc Rạng

MSSV
2110502
2110497
2114608
2112138
2014357
2114672
2110501


BÀI TẬP LỚN ĐẠI SỐ TUYẾN TÍNH - Nhóm 9

Mở đầu

Cơ sở
lý thuyết

Phương
pháp phân
tích SVD

NỘI DUNG

Ứng dụng
trong
machine
learning

Matlab


Chương 1:
MỞ ĐẦU


Chương 1: MỞ ĐẦU

Phân tích SVD

Machine
Learning
là gì

Ứng dụng SVD
vào
Machine
Learning


Chương 2:
CƠ SỞ LÝ THUYẾT

Chương 2: Cơ sở lý thuyết

Ma trận chuyển vị

 

Chuyển vị của A  aij mn là ma trận AT  aij nm cỡ n x m
thu được từ A bằng cách chuyển hàng thành cột.

2
A  
4

1 3

0 9  23

 2 4


T
A   1 0 
 3 9

32


Chương 2: Cơ sở lý thuyết

Phép nhân hai ma trận
A  (aij )m  p ; B  (bij ) p n

AB  C  (cij )với
mn



AB  ai 1 ai 2


cij  ai1b1 j  ai 2b2 j  ...  aipb pj

 b1 j 


*

 
  * b2 j *  

... aip 
 ... c ij ...

 
 

 
*


 b pj 


Chương 2: Cơ sở lý thuyết

Phép nhân hai ma trận
a. A(BC) = (AB)C;

b. A(B + C) = AB + AC;

c. (B + C)A = BA + CA;

d. ImA = A = AIm

e. k (AB) = (kA)B = A(kB). f. Nói chung AB  BA
g. Chuyển vị của một tích thì bằng tích các chuyển vị theo thứ
tự ngược lại:
(AB)T = BTAT


Chương 2: Cơ sở lý thuyết

Ma trận đơn vị
•
•
•
•

Là 1 ma trận vng

Các phần tử trên đường chéo chính = 1
Các phần tử cịn lại = 0
Kí hiệu: I.

1 0 0
‫ܫ‬3 = 0 1 0 , ‫ ܫ‬4 =
0 0 1

1
0
0
0

0
1
0
0

0
0
1
0

0
0
0
1


Chương 2: Cơ sở lý thuyết

Ma trận nghịch đảo
Cho ma trận vng A ∈ R݉×݉ , nếu tồn tại ma trận vng B ∈ R݉×݊ sao cho
AB= In, ta nói A khả nghịch và B được gọi là ma trận nghịch đảo của ma trận
A.
Nếu không tồn tại ma trận B thỏa điều kiện trên => A không khả nghịch.
A khả nghịch => ma trận nghịch đảo: A-1 .


Chương 2: Cơ sở lý thuyết

Ma trận đường chéo
Chỉ có các thành phần trên đường chéo chính khác 0.

Vết của ma trận vuông là tổng tất cả các phần tử trên đường
chéo chính của nó, ký hiệu trace(A).
Ví dụ: trace(A) = 1+2+3 = 6


Chương 2: Cơ sở lý thuyết

Ma trận tam giác
Ma trận tam giác trên:
• Ma trận vng.
• Tất cả thành phần nằm phía dưới đường chéo chính = 0.
Tương tự với ma trận tam giác dưới.


Chương 2: Cơ sở lý thuyết

Định thức
Chỉ ma trận vuông mới có định thức. Kí hiệu: det(A) hoặc det A.
Ma trận vng A bậc n:
• n = 1, det A là phần tử duy nhất của ma trận.
• n > 1:
Giả sử ta có một ma trận vng A bậc n.
- V ới n = 1, det(A) chính là phần tử duy nhất của ma trận đó.
- V ới n > 1, ta có cách tính định thức dựa trên khai triển hàng thứ i của ma trận:

‫= ܣ‬

‫ݔ‬11 ‫ݔ‬12 … ‫ݔ‬1݊
‫ݔ‬21 ‫ݔ‬22 … ‫ݔ‬2݊
… … ⋱ …
‫ ݉ݔ‬1 ‫ ݉ݔ‬2 … ‫݊݉ݔ‬

݊

=> det

‫ܣ‬

=

෍

−1

݅
+݆

ܽ
݆݅ det

‫݆݅ܣ‬

݆
=1

≤ ݊ bất kỳ và Aij là phần bù đại số của A ứ ng với phần tử
Trong đó 1 ≤ ݅
ở hàng i cột j.

1 bất kỳ, Aij là phần bù đại số của A ứng với phần tử hàng i cột j.


Chương 2: Cơ sở lý thuyết

Định thức
TÍNH CHẤT:
1. det ‫ = ܣ‬det ‫ܶܣ‬
2. Với ‫݃ܽ݅݀ = ܣ‬

ܽ1, ܽ2, …, ܽ݊ thì det ‫ܽ = ܣ‬1ܽ2…ܽ݊

3. Ma trận đơn vị det I = 1.
4. det ‫ = ܣܤ‬det ‫ ܣ‬det ‫ ܤ‬, A và B là hai trận vuông cùng chiều.
5. Định thức của một ma trận có một hàng (cột) bằng 0 thì bằng 0.
6. Ma trận khả nghịch khi và chỉ khi det(A) ≠ 0.
7. Nếu một ma trận khả nghịch:

det ‫ܣ‬−1 =

1

ƒ‫ܣ݁݀ ݐ‬


Chương 2: Cơ sở lý thuyết

Tổ hợp tuyến tính
Ch o
Ta

các

có

vé c

v éc

tơ

kh ác

kh ơng

Xé t

gọi

ma

Ta

có

Ta

nó i

Ta

có

là

mộ t

‫ܣ‬

trậ n

t hể

a 1,

…,

an

∈

R

v i
ết

tổ

=

lại

hợ p

[ܽ
1
,

b i
ểu

‫ݔ‬1 ܽ
1

tuy ến

ܽ

2 ,

thứ c

t í nh

…,

trê n

+

Ch o

các

là

mộ t

vé c

v éc

ܽ
]
݊
n h
ư

tơ

m
a

trậ n

k hác

tổ

hợ p

Xé t

gọi

ma

Ta

có

Ta

nó i

số

th ực

x1, … ,

x

n

∈

R.

∈

k h ơn g

a 1,

…,

… ‫݊ݔ‬
ܽ
݊

R݉ × ݊

và

‫ݔ‬

=

c ủa

a

1

,

… ,

[
‫ݔ‬1, ‫ݔ‬2 ,

an

..

…, ‫ݔ‬

]ܶ
݊

an

‫ݔ‬
‫ܣ‬

tí n h

∈

cá c

Rm

cột

v à c ác

củ a

số

A
.

th ực

x1, …, x n

∈ R.

tơ

là

mộ t

trậ n

th ể

c ác

+

co mbin ation)

sa u

tu yến

ܾ= ‫ݔ‬1 ܽ
1
được

và

‫ݔ‬2 ܽ
2

( line ar

ܾ=
b

m

tơ

ܾ=
đ ược

‫ܣ‬

v iế t

tổ

=

lạ i

hợ p

tuy ến

[ܽ
1, ܽ
2,

b iể u

thứ c

tính

…,

trê n

+

‫ݔ‬2 ܽ
2

+ … ‫ܽ݊ݔ‬
݊

( linea r co mbi nation )

ܽ
]
݊
n hư

∈

R݉ × ݊

và

‫ݔ‬

=

c ủa

a 1 , … , a n ..

[
‫ݔ‬1, ‫ݔ‬2 ,

…, ‫݊ ݔ‬
]ܶ

sa u
ܾ = ‫ܣݔ‬

b

là

mộ t

ma

trậ n

tổ

hợ p

tu yến

tín h

cá c

cột

củ a

A.

Cho các véc tơ khác khơng a 1, …, a n ∈ R m và các số thực x1,…, x n ∈ R.
Ta có véc tơ

ܾ= ‫ݔ‬1 ܽ1 + ‫ݔ‬2 ܽ
2 + … ‫ܽ݊ݔ‬
݊
được gọi là một tổ hợ p tuyến tính (linear combination) của a 1 , … , a n..
Xét ma trận

‫ܽ[ = ܣ‬1, ܽ2 , …, ܽ݊]

∈

R݉×݊ và ‫ݔ‬

= [‫ݔ‬1, ‫ݔ‬2 , …,‫ܶ]݊ ݔ‬

Ta có thể viết lại biểu thức trên như sau
ܾ= ‫ܣݔ‬
Ta nói b là một ma trận tổ hợ p tuyến tính các cột của A.


Chương 2: Cơ sở lý thuyết

Tập sinh
Tập hợp tất cả các véc tơ có thể biểu diễn được dưới dạng tổ hợp tuyến tính của
hệ đó. Ký hiệu là span (a1, …, an).
Phương trình:

0 = ‫ ݔ‬1 ܽ1 + ‫ ݔ‬2 ܽ2 + …‫݊ܽ݊ ݔ‬

• có nghiệm duy nhất ‫ݔ‬1 = ‫ݔ‬2 = … =‫ = ݊ ݔ‬0 => hệ độc lập tuyến tính.
• có nghiệm
=> hệ phụ thuộc tuyến tính.


Chương 2: Cơ sở lý thuyết

Cơ sở của một không gian véc tơ
Một hệ các véc tơ

{ܽ1, ܽ2 , …, ܽ݊} trong không gian véc tơ m chiều V = R m

được gọi là một cơ sở nếu nó thỏa mãn hai điều kiện sau:
1.

ܸ ≡ ݊ܽ‫ܽ( ݌‬
݊ ܽ‫ݏ‬1, ܽ2 , …, ܽ݊)

2.

{ܽ1, ܽ2 , …, ܽ݊} là một hệ độc lập tuyến tính

Khi đó, mọi véc tơ b ∈ V đều biểu diễn duy nhất qua cơ sở.

Chú ý: số véc tơ trong cơ sở phải bằng số chiều của không gian.


Chương 2: Cơ sở lý thuyết

Hạng của ma trận
Hạng của ma trận A là số lượng lớn nhất các hàng khác khơng của
ma trận A, ký hiệu: rank(A).
TÍNH CHẤT:

1.
2.
3.
4.
5.

Một ma trận có hạng bằng 0 khi và chỉ khi đó là ma trận 0
rank (A) = rank (AT)
Với A ∈ R݉×݊, thì rank(A) ≤ min (m, n)
rank (AB) ≤ min (rank (A), rank (B))
rank (A + B) ≤ rank (A) + rank (B)


Chương 2: Cơ sở lý thuyết

Hệ trực chuẩn, ma trận trực giao
Một hệ cơ sở

{ܽ1, ܽ2 , …, ܽ݊} ∈ R݉ được gọi là trực giao (orthogonal) nếu

mỗi véc tơ khác 0 và tích của hai véc tơ khác nhau bất kì bằng 0.

ܽ݅≠ 0; ݆ܽ݅ܶܽ= 0, ∀ 1 ≤ ݅≠ ݆≤ ݉
Một hệ cơ sở

{ܽ1, ܽ2 , …, ܽ݊} ∈ R݉ được gọi là trực chuẩn (orthonomal)

nếu nó là hệ trực giao và độ dài Euclid của mỗi véc tơ bằng 1

݆ܽ݅ܶܽ=

1, ݅= ݆
(*)
0, ݅≠ ݆


Chương 2: Cơ sở lý thuyết

Hệ trực chuẩn, ma trận trực giao
ĐỊNH NGHĨA:
Gọi ‫ܽ [ = ܣ‬1, ܽ2, …, ܽ݊]‫ݒ‬ớ ݅{ܽ1, ܽ2 , …, ܽ݊} ∈ R݉ là trực chuẩn, từ (*) suy ra
được

‫ܣ‬. ‫ܫ= ܣܶܣ = ܶܣ‬
Trong đó I là ma trận đơn vị bậc n.
Nếu một ma trận thỏa mãn điều kiện, ta gọi nó là ma trận trực giao
(orthogonal matrix).
Khơng có định nghĩa cho ma trận trực chuẩn.

Chương 2: Cơ sở lý thuyết

Trị riêng và véc tơ riêng
Cho một ma trận vng A ∈ Rn×n, một véc tơ x ∈ Rn (x ≠ 0) và một số vơ
hướng (có thể thực hoặc phức) λ.
Nếu Ax=λx thì ta nói λ và x là một cặp giá trị riêng, véc tơ riêng
(eigenvalue, eigenvector) của ma trận A.


Chương 2: Cơ sở lý thuyết

Trị riêng và véc tơ riêng
Cũng có ‫ ܣ‬−‫ = ݔ ߣܫ‬0, tức là x nằm trong khơng gian Null của ‫ ܣ‬−‫ߣܫ‬.
Vì x ≠ 0, nên ‫ ܣ‬−‫ ߣܫ‬là ma trận không khả nghịch.
Vậy det ‫ ܣ‬−‫ = ߣܫ‬0, hay λ là nghiệm của phương trình det ‫ ܣ‬−‫ = ߣܫ‬0 .
Định thức này là một đa thức bậc n của t, gọi là đa thức đặc trưng
(characteristic polynomial) của A, ký hiệu là pA(t).
Tập hợp tất cả các giá trị riêng của một ma trận cịn gọi là phổ (spectrum)
của ma trận đó.


Chương 2: Cơ sở lý thuyết

Chéo hóa ma trận

Giả sử x1,… , x n ≠ 0 là các véc tơ riêng của một ma trận vuông A ứng với
các giá trị riêng ߣ, …, ߣ݊ của nó.
Đặt P = diag (ߣ1, ߣ2 , …, ߣ݊) và ܺ = ‫ݔ‬1 ,‫ݔ‬2, …,‫ ݊ݔ‬, ta sẽ có AX=XA. Nếu
các giá trị riêng ‫ݔ‬1,‫ݔ‬2, …,‫ ݊ݔ‬là độc lập tuyến tính, ma trận X là một ma trận
khả nghịch.

‫ܺ ܲܺ = ܣ‬−1 ∗
Các véc tơ riêng x, thường được chọn sao cho ‫ =݅ ݔܶ݅ݔ‬1.
Cách biểu diễn một ma trận như (*) được gọi là eigendecomposition vì nó
tách ra thành tích của các ma trận đặc biệt dựa trên các véc tơ riêng và trị riêng.
Ma trận các giá trị riêng P là một ma trận đường chéo.