Luận văn thạc sĩ nghiên cứu phương pháp phân tích ma trận SVD và một số ứng dụng trong học máy

ĐẠI HỌC THÁI NGUYÊN

TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THƠNG

PINTHIP Anon

Nghiên cứu phương pháp phân tích ma trận SVD và một số ứng
dụng trong học máy

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

THÁI NGUN - 2019

Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN




ĐẠI HỌC THÁI NGUYÊN
TRƯỜNG ĐẠI HỌC CÔNG NGHỆ THÔNG TIN & TRUYỀN THƠNG

PINTHIP Anon

Nghiên cứu phương pháp phân tích ma trận SVD và một số ứng
dụng trong học máy

Chuyên ngành: Khoa học máy tính
Mã số: 8480101

LUẬN VĂN THẠC SĨ KHOA HỌC MÁY TÍNH

Người hướng dẫn khoa học: TS. Đàm Thanh Phương

THÁI NGUYÊN - 2019

Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN




L˝I CAM OAN
Tỉi xin cam oan: Lu“n v«n th⁄c sÿ chuyản ng nh Khoa hồc mĂy tnh,
tản ã t i Nghiản cứu phữỡng phĂp phƠn tch ma trn SVD v mºt sŁ øng
dưng trong håc m¡y l cỉng tr…nh nghi¶n cøu, t…m hi”u v tr…nh b y do
tæi thüc hi»n dữợi sỹ hữợng dÔn khoa hồc ca TS. m Thanh Phữỡng,
Trữớng i hồc Cổng nghằ Thổng tin v Truyãn thổng - ⁄i håc Th¡i Nguy¶n.
K‚t qu£ t…m hi”u, nghi¶n cøu trong lu“n v«n l ho n to n trung thüc,
khỉng vi phm bĐt cứ iãu g trong lut s hu tr‰ tu» v ph¡p lu“t Vi»t
Nam. N‚u sai, tæi ho n to n chu trĂch nhiằm trữợc phĂp lut.
TĐt cÊ c¡c t i li»u, b i b¡o, khâa lu“n, cæng cử phn mãm ca cĂc tĂc giÊ
khĂc ữổc sò dửng li trong lun vôn n y ãu ữổc ch dÔn tữớng minh vã tĂc
giÊ v ãu cõ trong danh mửc t i li»u tham kh£o.
Th¡i Nguy¶n, ng y 18 th¡ng 7 n«m 2019
T¡c gi£ lu“n v«n
Pinthip Anon

i


L˝IC MÌN
T¡c gi£ xin ch¥n th nh c£m ìn TS m Thanh Ph÷ìng, tr÷íng ⁄i håc Cỉng

ngh» thỉng tin v truyãn thổng - i hồc ThĂi Nguyản, l giĂo viản hữợng dÔn
khoa hồc  hữợng dÔn tĂc giÊ ho n th nh lun vôn n y, xin ữổc cÊm ỡn c¡c
thƒy, cỉ gi¡o tr÷íng ⁄i håc cỉng ngh» thỉng tin v truy•n thỉng nìi t¡c gi£
theo håc v ho n th nh chữỡng trnh cao hồc  nhiằt tnh giÊng d⁄y v
gióp ï.
Xin c£m ìn nìi t¡c gi£ cỉng t¡c ¢ t⁄o måi i•u ki»n thu“n lỉi ” t¡c gi£ ho n
th nh ch÷ìng tr…nh håc t“p.
V cuŁi cịng xin cÊm ỡn gia nh, bn b, ỗng nghiằp  ng vi¶n, gióp ï
t¡c gi£ trong suŁt thíi gian håc t“p, nghiản cứu v ho n th nh lun vôn
n

y.
Xin chƠn th nh c£m ìn.
Th¡i Nguy¶n, ng y 18 th¡ng 7 n«m 2019
T¡c gi£ lu“n v«n
Pinthip Anon

ii


DANHS CHHNHV

2.1 Minh håa ph¥n t‰ch SVD . . . . . . . . . . . . . . . . . . .

2.2 Bi”u di„n SVD d⁄ng thu gån. . . . . . . . . . . . . . . . . . .

3.1 V‰ dư v• SVD cho n†n £nh . . . . . . . . . . . . . . . . .

3.2 V dử vã utility matrix vợi hằ thng Gổi ỵ b i hĂt. C
ữổc ngữới dũng ¡nh gi¡ theo møc º tł 0 ‚n 5 sao.

d§u ? nãn m u xĂm ứng vợi viằc d liằu chữa tỗn t

cỡ s d liằu. Recommendation Systems cn phÊ

giĂ trà n y. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

3.3 Gi£ sß feature vector cho mØi item ữổc cho tron

cũng. Vợi mỉi user, chúng ta cn t…m mºt mỉ h…

øng sao cho mỉ h…nh thu ÷ỉc l tŁt nh§t. . . . . .

3.4 V‰ dư vã utility matrix dỹa trản s sao mt user ra

item. Mºt c¡ch trüc quan, h nh vi cıa u0 giŁng vỵi u1

u2; u3; u4; u5; u6. Tł â câ th” dü o¡n r‹ng u0 s‡ qua

‚n i2 v… u1 công quan t¥m ‚n item n y. . . . . . . . . .

3.5 V‰ dư mỉ t£ User-user Collaborative Filtering. a

trix ban u. b) Utility Matrix  ữổc chu'n ho¡. c) U

similarity matrix. d) Dü o¡n c¡c (normalized) rating

thi‚u. e) V‰ dư v• c¡ch dü o¡n normalized rating c

i1. f) Dü o¡n c¡c (denormalized) ratings cỈn thi‚u. .

3.6 Matrix Factorization. Utility matrix Y ữổc phƠn t

tch ca hai ma tr“n low-rank X v W . . . . . . . . . .

iii


DANH MƯC KÞ HI U,
TØVI TT T
R
Z
C
n

R

jj:jj
SV D
rank(A)
det(A)

AT
A

H

kAkF
diag(A)
trace(A)

sng(x)
@f
@x

rxf

iv


MƯC LƯC
Líi cam

oan. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
i

Líi c£m ìn . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ii
Danh s¡ch h…nh v‡ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
ii
Danh mửc kỵ hiằu, t vit t›t . . . . . . . . . . . . . . . . . . . . . . .
Mð

iv

ƒu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

Chữỡng 1. MáT Să KI N THC CHU N B. . . . . . . . . . . . . . . . . . 4 1.1. Mºt
sŁ ki‚n thøc v• ⁄i sŁ tuy‚n t‰nh . . . . . . . . . . . . . . . . . . . 4
1.2. Giợi thiằu vã håc m¡y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
Chữỡng 2. PHìèNG PH P PH N T CH MA TR N SVD . . . 23 2.1. Ph¥n t

‰ch ma tr“n SVD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2. Mºt sŁ bi‚n th” cıa SVD . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
Ch÷ìng 3. MáT Să NG DệNG CếA SVD TRONG HC M Y .
37
3.1. Ph¥n t‰ch SVD øng dưng trong n†n £nh. . . . . . . . . . . . . . . .

37

3.2. Ùng dưng SVD trong h» gỉi þ . . . . . . . . . . . . . . . . . . . . . . . . . . 39
K‚t lu“n chung . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
T i li»u tham kh£o. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63


v


M U
Nhng nôm gn Ơy, AI - Artificial Intelligence (Tr Tu» Nh¥n T⁄o), v cư
th” hìn l Machine Learning (Håc MĂy hoc MĂy Hồc) ni lản nhữ mt bng
chứng ca cuºc c¡ch m⁄ng cỉng nghi»p lƒn thø t÷ (1 - ng cỡ hỡi nữợc, 2 nông lữổng iằn, 3 - cỉng ngh» thỉng tin). Tr‰ Tu» Nh¥n T⁄o ang len läi v
o måi l¾nh vüc trong íi sŁng m câ th” chóng ta khỉng nh“n ra. Xe tü h nh
cıa Google v Tesla, h» thŁng tü tag khuæn m°t trong Ênh ca Facebook, trổ
lỵ Êo Siri ca Apple, hằ thng gổi ỵ sÊn ph'm ca Amazon, hằ thng gổi
ỵ

phim ca Netflix, m¡y chìi cí v¥y AlphaGo cıa Google DeepMind, . . . ,

ch¿ l mºt v i trong væ v n nhœng øng döng cıa AI/Machine Learning. [1].
Machine Learning l mºt t“p con cıa AI. Theo ành ngh¾a cıa Wikipedia,
Machine learning is the subfield of computer science that gives

computers the ability to learn without being explicitly programmed . Nâi ìn
gi£n, Machine Learning l mºt l¾nh vüc nhä cıa Khoa Håc MĂy Tnh, nõ
cõ khÊ nông tỹ hồc họi dỹa trản dœ li»u ÷a v o m khỉng cƒn ph£i ÷ỉc
l“p tr…nh cư th”.
Ch‰nh v… v“y, vi»c nghi¶n cøu ph¡t tri”n cĂc thut toĂn Hồc mĂy cụng
nhữ xƠy dỹng cĂc ứng dửng ang l mt ặi họi rĐt bức thit ca nhng ngữới
l m Khoa hồc mĂy tnh. Nãn tÊng toĂn håc cıa Machine Learning Ỉi häi
ph£i câ ki‚n thøc cì bÊn vã i s tuyn tnh, ti ữu, xĂc suĐt thng kả.
Viằc phƠn tch mt ma trn ra th nh t‰ch cıa nhi•u ma tr“n °c bi»t kh¡c
(Matrix Factorization ho°c Matrix Decomposition) mang l⁄i nhi•u ‰ch lỉi
quan trång. °c bi»t l trong c¡c thu“t to¡n Håc m¡y nh÷ gi£m sŁ chi•u dœ
li»u, n†n dœ li»u, t…m hi”u c¡c °c t‰nh cıa dœ li»u, gi£i c¡c h» ph÷ìng
tr…nh tuy‚n t‰nh, clustering, v nhi•u øng dưng kh¡c. Recommendation
Sys-tem cơng l mºt trong rĐt nhiãu ứng dửng ca Matrix Factorization.
SVD (singular value decomposition) l mºt d⁄ng khai tri”n cıa ma tr“n câ r§t
1


nhiãu ứng dửng trong nhng vĐn ã liản quan n nghàch £o v sŁ hâa c¡c dœ
li»u. Hi»n nay ph¥n tch SVD ca ma trn xuĐt hiằn rĐt nhiãu trong cĂc ứng
dửng thỹc t nhữ vã tn hiằu s, tnh cĂc giĂ tr xĐp x trong kắ thut,
cổng nghằ thổng tin, håc m¡y v ÷ỉc øng dưng trong c¡c cỉng cử tm
kim trản cĂc websites. Tuy nhiản, nghiản cứu lỵ thuyt liản quan n SVD i
vợi hồc viản cao hồc l vĐn ã mợi, chữa gn gụi v chữa d hiu cho hồc

viản cn nghiản cứu vã mÊng ã t i thó và n y. Do â em ¢ lüa chồn ã t i
Nghiản cứu phữỡng phĂp phƠn tch ma tr“n SVD v mºt sŁ øng döng
trong håc m¡y thüc hi»n l m lu“n v«n cao håc nh‹m mưc ‰ch ÷a ‚n cho
ng÷íi åc cơng nh÷ b£n th¥n nhœng ki‚n thức cỡ bÊn nhĐt vã khai trin SVD
v to mt cĂi nhn tng quan vã cĂch khai trin cụng nhữ mt s tnh

chĐt, hằ quÊ quan trồng liản quan n d⁄ng khai tri”n n y.[2], [8], [11].
• t i lu“n vôn n y s nghiản cứu mt trong nhng phữỡng phĂp Ma-trix
Factorization rĐt àp ca i s tuyn tnh. Phữỡng ph¡p â câ t¶n l Singular
Value Decomposition (SVD). Ta s‡ thĐy, mồi ma trn, khổng nhĐt thit l
vuổng, ãu cõ th ữổc phƠn tch th nh tch ca ba ma tr“n °c bi»t. Sau â
c¡c øng döng cö th” cıa SVD vã nn Ênh v hằ thng gổi ỵ s ữổc nghiản
cứu v Ăp dửng.
Ni dung ca lun vôn gỗm 3 ch÷ìng:
Ch÷ìng 1. C¡c ki‚n thøc cì sð
Ch÷ìng n y tr…nh b y c¡c ki‚n thøc chu'n bà cho vi»c nghiản cứu. õ l cĂc
kin thức giợi thiằu vã hồc m¡y; C¡c ki‚n thøc cì sð v• Image Compresstion
v

Recommendation System cụng nhữ cĂc kin thức cỡ s vã i s tuyn t

nh v giÊi tch ma trn.
1.1 Giợi thiằu vã håc m¡y
1.2 C¡c ki‚n thøc cì sð v• Image Compresstion v Recommendation System.

1.3 C¡c ki‚n thøc cì sð v• ⁄i s tuyn tnh Chữỡng
2. Phữỡng phĂp phƠn tch ma trn SVD
Ni dung chữỡng 2 tp trung v o vĐn ã ph¥n t‰ch ma tr“n SVD v c¡c
2


kin thức m rng vã SVD. Cử th nhữ sau:
2.1 PhĂt biu SVD.
2.2 CĂc kin thức m rng vã SVD
Chữỡng 3. Ùng dưng cıa SVD
Sau khi n›m rª c¡c nºi dung trong ch÷ìng 2, ch÷ìng 3 tr…nh b y k‚t qu£

øng döng SVD trong mºt sŁ b i to¡n håc m¡y. Cö th” câ c¡c nºi dung sau:
3.1 Image Compresstion
3.2 Recommendation System.
3.3 Mºt sŁ øng döng kh¡c.
Phƒn k‚t lu“n: Tâm tt cĂc kt quÊ Â t ữổc v thÊo lun hữợng phĂt trin tip
theo ca ã t i.

3


CHìèNG 1
MáT Să KI N THC CHU N B
Chữỡng n y tr…nh b y c¡c ki‚n thøc cì sð v• i s tuyn tnh; Giợi thiằu vã
hồc mĂy. Ơy l nhœng ki‚n thøc gióp cho vi»c hi”u v øng dưng cıa c¡c
ch÷ìng sau. C¡c ki‚n thøc trong ch÷ìng n y ÷æc tham kh£o tł c¡c t i li»u
[1], [2], [8], [10], [11].

1.1.
1.1.1.

Mºt sŁ ki‚n thøc v•

⁄i sŁ tuy‚n t‰nh

Chuy”n và v Hermitian
mn

nm

Cho A 2 R , ta nâi B 2 R

l chuy”n và (transpose) cıa A n‚u bij = aji;
81 i n; 1 j m. ToĂn tò chuyn v thữớng ữổc kỵ hiằu
bi ch T . V dử

3

2

x1

x=

4

5

A=

a

6
6

21

a :
22 .

:::

6

6

6

a

m1

a

m2

:::a

mn

6

4

Nu A
tr“n Łi xøng (symmetric matrix).
N‚u A l ma tr“n phøc, ph†p to¡n Chuy”n và li¶n hỉp (conjugate transpose) thüc hi»n i v tr v lĐy liản hổp phức ca cĂc phn tò. Chuyn
H

v liản hổp ca ma trn A ữổc kỵ hiằu l A v ồc l A Hermitian.

Cho A 2 C

mn

, ta nâi B 2 C

nm

l chuy”n và li¶n hỉp cıa A n‚u bij = aji 81

i n; 1 j m, trong â a l li¶n hỉp phøc cıa a. V‰ dö:
4

2

A=

1 + 2i 3 4i

3

4
2

2 + 3i

x=4

3

h

H

i

5)x = 2
3i 2i
2i
H
T
H
T
N‚u A, x l c¡c ma tr“n v v†c tì thüc th… A = A ; x = x .

N‚u chuy”n và li¶n hỉp cıa mºt ma tr“n phøc b‹ng ch‰nh nâ, A
th… ta nâi ma tr“n â l Hermitian.
1.1.2.

=A

Ph†p nh¥n hai ma tr“n

Cho hai ma tr“n A 2 R
C = AB 2 R

mp

i•u ki»n

mn

;B2R

np

, t‰ch cıa hai ma trn ữổc kỵ hiằu l

, trong õ phn tß ð h ng i cºt j cıa ma tr“n C ữổc tnh bi

cij =

h

H

aikbkj; 81

nhƠn hai ma trn l sŁ cºt cıa ma tr“n thø nh§t ph£i b‹ng s

ng ca ma trn thứ hai. Trong nh nghắa trản, chúng ãu bng n.
Tnh chĐt.
1.

Php nhƠn ma trn khổng cõ tnh chĐt giao hoĂn. Thổng thữớng AB
6= BA, thm ch khổng tỗn ti v khổng thọa mÂn iãu kiằn nhƠn.

2.

Php nhƠn ma trn cõ tnh chĐt kt hổp ABC = (AB)C = A(BC)

3.

Php nhƠn ma trn cõ tnh chĐt phƠn phŁi Łi vỵi ph†p cºng. A(B+C)
= AB+AC

4.

Chuy”n và cıa mºt t‰ch th… b‹ng t‰ch c¡c chuy”n và theo thø tü
ng÷ỉc l⁄i. T÷ìng tü cho Hermitian cıa mºt t‰ch.
T

T

T

(AB) = B A ;

H

H

H

(AB) = B A


Theo nh nghắa trản, bng cĂch coi vc tỡ l trữớng hổp c biằt ca ma trn, t
n

ch vổ hữợng cıa hai v†c tì (inner product) x; y 2 R ÷ỉc ành ngh¾a
5


l
n
Xi

T

T

x y=y x=

xiyi

=1

H

H

Chú ỵ, x y = y x

H

H

= y x. Chóng b‹ng nhau khi v ch¿ khi chóng l cĂc

s thỹc. Nu tch vổ hữợng ca hai vc tỡ kh¡c khỉng m b‹ng khỉng
th… chóng vng gâc vỵi nhau.
H

n

x x 0; 8x 2 C v… t‰ch cıa mºt sŁ phức vợi liản hổp ca nõ luổn l mt
s khổng ¥m.

Ph†p nh¥n cıa mºt ma tr“n vỵi mºt v†c tì l mºt v†c tì vỵi l v†c tì h ng thứ
ca
Ngo i ra, mt php nhƠn khĂc ữổc gồi l Hadamard (hay element - wise)
hay ữổc sò dửng trong hồc mĂy. Tch Hadamard ca hai ma trn cũng k
ch thữợc A; B 2 R
1.1.3.

Ma tr“n

1.1.3.1.

Ma tr“n

mn

ìn và v ma tr“n nghàch

£o

ìn và

÷íng ch†o ch‰nh cıa ma tr“n l t“p hỉp c¡c i”m câ ch¿ sŁ h ng v cºt
nh÷ nhau. Cư th”, n‚u A 2 R

mn

th… ÷íng ch†o ch‰nh cıa A bao gỗm fa 11;

a22; : : : ; appg, trong â p = minfm; ng.
Mºt ma tr“n ìn và b“c n l mºt ma tr“n °c bi»t trong R

nn

vỵi cĂc phn tò

trản ữớng cho chnh bng 1, cĂc phn tò cặn li bng 0. Ma trn ỡn v
thữớng kỵ hiằu l I (Identity matrix). Nu cn phƠn biằt rê ma trn ỡn v cĐp
n, ta kỵ hiằu In cho ma tr“n ìn và b“c n. V‰ dư c¡c ma tr“n ìn và b“c 3, b“c
4.

I3

N‚u A 2 R

m n

;B2R

n m

v

n

A; IB = B. Vỵi måi v†c tì x 2 R , ta câ Inx = x.
6


1.1.3.2.

Ma tr“n nghàch

£o

Cho mºt ma tr“n vuæng A 2 R

nn

, nu tỗn ti ma trn vuổng B 2 R

nn

sao

cho AB = In, th… ta nâi A l kh£ nghàch (invertible, nonsingular ho°c
nondegenerate) v B ÷ỉc gåi l ma tr“n nghàch Êo (inverse matrix) ca
mathbf A. Nu khổng tỗn ti ma trn B thọa mÂn iãu kiằn trản, ta nõi rng ma
tr“n A khæng kh£ nghàch (singular ho°c degenerate).
1

N‚u A l khÊ nghch, ta kỵ hiằu ma trn nghch Êo ca nâ l A . Ta câ
1

1

A A=AA =I
Ma tr“n nghàch Êo thữớng ữổc sò dửng giÊi hằ phữỡng trnh tuy‚n t
‰nh. Gi£ sß r‹ng A 2 R

nn

l mºt ma tr“n kh£ nghàch v mºt v†c tì b§t ký b 2

n

R . Khi â ph÷ìng tr…nh:

Ax = b
1

câ nghi»m duy nhĐt l x = A b. Tht vy, nhƠn bản trĂi cÊ hai phữỡng trnh
1

1

1

1

vợi A , ta cõ Ax = b , A Ax = A b , x = A b.

Khi A khæng kh£ nghàch hay khæng vuæng, ph÷ìng tr…nh tuy‚n t‰nh
câ th” khỉng câ nghi»m ho°c vỉ sŁ nghi»m.
Quy t›c t‰nh ma tr“n nghàch £o cıa ma tr“n t‰ch: (AB)
1.1.4.

Mºt sŁ ma tr“n

1.1.4.1.

Ma tr“n

1

1

1

=B A .

°c bi»t

÷íng ch†o

Ma tr“n ÷íng ch†o (diagonal matrix) l ma tr“n ch¿ cõ cĂc th nh phn
trản ữớng cho chnh l khĂc khỉng. Ma tr“n ìn và l ma tr“n ÷íng ch†o.
Mºt v i v dử khĂc:

h

1i ;

Vợi cĂc ma trn ữớng ch†o vuæng, thay v… vi‚t c£ ma tr“n, ta câ th ch liằt
kả cĂc th nh phn trản ữớng cho. V‰ dư, mºt ma tr“n ÷íng ch†o vng


7


mm

A2R

ữổc kỵ hiằu l diag (a11; a22; : : : ; amm) vợi aii l phn tò h ng thứ
i, cºt thø i cıa ma tr“n A.

T‰ch, tŒng cıa hai ma tr“n ÷íng ch†o vng cịng b“c l mºt ma tr“n
÷íng ch†o. Mºt ma tr“n ÷íng ch†o vng l kh£ nghch nu v ch nu mồi
phn tò trản ữớng cho ch‰nh l kh¡c khỉng. Nghàch £o cıa mºt ma tr“n
÷íng ch†o kh£ nghàch cơng l mºt ma tr“n ÷íng ch†o. Cö th”,
1

(diag (a1; a2; : : : ; an)) = diag
1.1.4.2. Ma tr“n tam gi¡c

Mºt ma tr“n vng ÷ỉc gåi l ma trn tam giĂc trản (upper triangular
matrix) nu tĐt cÊ cĂc th nh phn nm pha dữợi ữớng cho ch‰nh b‹ng 0.
T÷ìng tü, mºt ma tr“n vng ÷ỉc gåi l ma trn tam giĂc dữợi (lower
triangular matrix) nu tĐt cÊ cĂc th nh phn nm pha trản ữớng cho ch
‰nh b‹ng 0.
C¡c h» ph÷ìng tr…nh tuy‚n t‰nh m ma trn hằ s cõ dng tam giĂc

thữớng ữổc quan tƠm v chúng cõ th ữổc giÊi vợi chi ph tnh toĂn
thĐp (low computational cost). õ l cĂc phữỡng phĂp th xi ho°c
th‚ ng÷ỉc m khỉng cƒn dịng ma tr“n nghàch Êo.
1.1.5.

nh thức

1.1.5.1.

nh nghắa

nh thức ca mt ma trn vuổng A
Dữợi

Ơy l cĂch

ữổc kỵ hiằu l det(A) hoc det A.

nh nghắa quy n⁄p ành thøc theo b“c n cıa ma tr“n.

Vỵi n = 1, det(A) chnh l phn tò duy nhĐt cıa ma tr“n

â.

Vỵi mºt ma tr“n vng b“c n > 1:
2
3
a

11

6

6

a

12

: : : a1n

A=6

a

n1

X

.
..

6 :::
4

n

: : : a2n 7 7) det(A) =

6

6

7

7

a21 a22

a

i+j

j=1

( 1) aij det (Aij) (1.1.6)

::: 7
7
n2

5

: : : ann
n b§t ký v Aij l phƒn bị ⁄i s ca A ứng vợi phn tò

Trong õ 1 i
h ng i cºt j. Phƒn bò

⁄i sŁ n y l mºt ma tr“n con cıa A nh“n

8

÷ỉc tł


A b‹ng c¡ch xâa h ng thø i v cºt thứ j ca nõ.

Ơy l cĂch tnh nh thức

dỹa trản c¡ch khai tri”n h ng thø i cıa ma tr“n.
1.1.5.2.

1.

T‰nh ch§t

det(A) = det A

T

2. N‚u A = diag (a1; a2; : : : ; an) th… det(A) = a1a2 : : : an
3.

ành thøc cıa ma tr“n ìn và b‹ng 1.

4.

det(AB) = det(A) det(B) vỵi A, B l hai ma tr“n vng cịng chi•u.

5.

ành thøc cıa ma tr“n câ h ng (cºt) b‹ng 0 th… b‹ng 0.

6.

Ma tr“n kh£ nghàch khi v ch¿ khi ành thøc cıa nâ kh¡c 0.

7.

N‚u mºt ma tr“n kh£ nghàch, ành thøc cıa ma tr“n nghàch £o cıa nâ
b‹ng nghàch £o ành thøc cıa nâ.

det A

1

=

1.1.6.

TŒ hæp tuy‚n t‰nh, khæng gian sinh

1.1.6.1.

TŒ hæp tuy‚n t‰nh

m

Cho c¡c v†c tì kh¡c khỉng a1; : : : ; an 2 R v c¡c sŁ thüc x1; : : : ; xn 2 R,

v†c tì

b = x1a1 + x2a2 + + xnan
÷ỉc gåi l

mºt tŒ hỉp tuy‚n t‰nh (linear combination) cıa a1; : : : ; an. X†t

ma tr“n A = [a1; a2; : : : ; an] 2 R

mn

T

v x = [x1; x2; : : : ; xn] , bi”u thøc

(1.1.8) câ th” ÷ỉc vi‚t l⁄i th nh b = Ax. Ta nâi b l mºt tŒ hæp tuy‚n t‰nh
c¡c cºt cıa A.
Khæng gian sinh (span space) cıa mºt h» c¡c v†c tì l t“p hỉp t§t c£ cĂc
vc tỡ cõ th biu din ữổc dữợi dng t hổp tuyn tnh ca hằ õ. Kỵ hiằu
l

span (a1; : : : ; an).
N‚u ph÷ìng tr…nh

0 = x1a1 + x2a2 + + xnan
9


câ nghi»m duy nh§t x1 = x2 =
l

= xn = 0, ta nâi r‹ng h» fa1; a2; : : : ; ang

mºt h» ºc l“p tuy‚n t‰nh (linear independence). Ng÷ỉc li, nu tỗn ti

xi 6= 0 sao cho phữỡng trnh trản thọa mÂn, ta nõi rng õ l mt hằ phư
thuºc tuy‚n t‰nh (linear dependence).
1.1.6.2.

1.

T‰nh ch§t

Mºt h» l phư thuºc tuyn tnh nu v ch nu tỗn ti mt vc tì trong h» l
tŒ hỉp tuy‚n t‰nh cıa c¡c v†c tì cỈn l⁄i.

2.

T“p con kh¡c rØng cıa mºt h» ºc l“p tuy‚n t‰nh l mºt h» ºc l“p tuy‚n t
‰nh.

3.

T“p hæp c¡c cºt cıa mºt ma tr“n kh£ nghàch t⁄o th nh mºt h» ºc l“p
tuy‚n t‰nh

4.

N‚u A l mºt ma tr“n cao (sŁ h ng lỵn hìn sŁ cºt, m > n) th tỗn ti vc tỡ
b sao cho Ax = b væ nghi»m.

5.

N‚u n > m th… h» n vc tỡ bĐt ký trong khổng gian m chiãu ln phư
thuºc tuy‚n t‰nh.

1.1.6.3.

Cì sð cıa mºt khỉng gian

Mºt h» c¡c v†c tì fa1; : : : ; angtrong khỉng gian vc tỡ m chiãu V = R

m

ữổc gồi l mt cỡ s nu hai iãu kiằn sau ữổc thọa m¢n:
1.

V span (a1; : : : ; an)

2.

fa1; : : : ; ang l mºt h» ºc l“p tuy‚n t‰nh.

Khi â måi v†c tì b 2 V •u bi”u di„n duy nhĐt qua cỡ s. Chú ỵ rng, ta cõ m
= n, ngh¾a l sŁ v†c tì trong cì sð bng s chiãu ca khổng gian.
1.1.6.4.

Range v Null space

Vợi mỉi ma tr“n A 2 R

m n

câ hai khæng gian con quan trång øng vỵi ma

tr“n n y

10


1. Range ca A,

ữổc nh nghắa l
m

n

R(A) = fy 2 R : 9x 2 R ; Ax = yg
Nâi c¡ch kh¡c, R(A) l t“p hæp c¡c i”m l tŒ hæp tuy‚n t‰nh cıa c¡c cºt
cıa A, hay ch‰nh l khæng gian sinh cıa c¡c cºt cıa A. R(A) l mºt
khæng gian con ca R

m

vợi s chiãu chnh bng s lữổng lợn nhĐt

cĂc ct ca A c lp tuyn tnh.
2. Null ca A, kỵ hiằu l N (A),

ữổc nh nghắa l

n

N (A) = fx 2 R : Ax = 0g
MØi v†c tì trong N (A) ch‰nh l mºt bº c¡c h» sŁ l m cho tŒ hæp tuy‚n
t‰nh c¡c cºt cıa A t⁄o th nh v†c tì khỉng.

R(A) v N (A) l c¡c khỉng gian v†c tì con câ sŁ chi•u thọa mÂn nh lỵ:
dim(R(A)) + dim(N (A)) = n
1.1.7.

Hng ca ma trn

Hng ca ma trn A ữổc nh nghắa l s lữổng lợn nhĐt cĂc ct c lp
tuyn tnh, kỵ hi»u l rank(A)
C¡c t‰nh ch§t:
1.

Mºt ma tr“n câ h⁄ng b‹ng 0 khi v ch¿ khi nâ l ma tr“n 0.

2.

rank(A) = rank A

3.

N‚u A 2 R

4.

rank(AB) min(rank(A); rank(B))

5.

rank(A + B) rank(A) + rank(B). i•u n y ch¿ ra r‹ng mºt ma tr“n câ h⁄ng

m n

T

, th… rank(A) min(m; n)

b‹ng k khổng ữổc biu din dữợi dng t hỡn k ma tr“n câ h⁄ng b‹ng 1.
Trong SVD, chóng ta s‡ th§y r‹ng mºt ma tr“n câ h⁄ng b‹ng k câ th” biu
din ữổc dữợi dng úng k ma trn cõ hng b‹ng 1.

11


6. BĐt flng thức Sylvester vã hng: Nu A 2 R

rank(A) + rank(B)
CĂc iãu kiằn dữợi

Ơy l tữỡng

n

m n

;B2R

n k

, th

rank(AB)

ữỡng, vợi A 2 R

n n

1.

A l mt ma trn kh£ nghàch

2.

det(A) 6= 0

3.

C¡c cºt cıa A t⁄o th nh mºt cì sð trong khỉng gian n chi•u

4.

rank(A) = n

1.1.8.
1.1.8.1.

H» trüc chu'n, ma tr“n trüc giao
ành ngh¾a

m

Mºt h» cì sð fu1; u2; : : : ; um 2 R g ÷ỉc gåi l trüc giao (orthogonal) n‚u
mØi v†c tì l kh¡c 0 v t‰ch cıa hai v†c tì kh¡c nhau b§t ký b‹ng 0:
T

ui 6= 0; ui uj = 081 i 6= j m
m

Mºt h» cì sð fu1; u2; : : : ; um 2 R g ÷ỉc gåi l trüc chu'n (orthonormal)
n‚u nâ l h» trüc giao v

º d i Euclidean cıa mØi v†c tì b‹ng 1:
8

Gåi U = [u1; u2
câ th” suy ra

trong â I l ma tr“n ìn và b“c n. N‚u mºt ma tr“n thäa m¢n i•u ki»n (1.1.15),
ta gåi nâ l ma tr“n trüc giao (orthogonal matrix). Khỉng câ ành ngh¾a
cho ma tr“n trüc chu'n.
H

H

N‚u mºt ma tr“n vng phøc U thäa m¢n UU = U U = I, ta nâi r‹ng U
l mºt ma tr“n Unitary.

12


1.1.8.2.

1.

T‰nh ch§t cıa ma tr“n trüc giao

1

T

U = U : Nghàch £o cıa mºt ma tr“n trüc giao ch‰nh l ma tr“n chuy”n
và cıa nâ.

2.

T

N‚u U l ma tr“n trüc giao th… chuy”n và cıa nâ U công l ma tr“n trüc
giao.

3. ành thøc cıa ma tr“n trüc giao b‹ng 1 ho°c
4.

1.

Ma tr“n trüc giao th” hi»n cho ph†p xoay mºt v†c tì. Gi£ sß câ hai v†c
m

mm

tì x; y 2 R v mºt ma tr“n trüc giao U 2 R
. Dịng ma tr“n n y ” xoay
hai v†c tì trản ta ữổc Ux; Uy. Tch vổ hữợng ca hai v†c tì
mỵi n y l
T

T

T

T

(Ux) (Uy) = x U Uy = x y
Nh÷ v“y, ph†p xoay khỉng l m thay i tch vổ hữợng ca hai vc tỡ.
^2 m r
5. Gi£ sß U R
; r < m l mºt ma tr“n con cıa ma tr“n trüc giao U
^T^

÷ỉc t⁄o bði r cºt cıa U, ta s‡ câ U U = Ir

1.1.9.

Bi”u di„n v†c tì trong c¡c h» cì sð kh¡c nhau

Trong khỉng gian m chi•u, tåa º cıa mØi i”m ÷ỉc x¡c ành düa tr¶n mºt
h» tåa º n o â. — c¡c h» tåa º kh¡c nhau, tåa º cıa i”m l kh¡c nhau.

T“p hỉp c¡c v†c tì e1; : : : ; em m mØi v†c tì ei câ óng mºt phƒn tß kh¡c
0 ð th nh phƒn thứ i v phn tò õ bng 1, ữổc gồi l h» cì sð ìn và (ho°c h» ch
‰nh t›c) trong khỉng gian m chi•u. N‚u x‚p c¡c v†c tì ei; i = 1; 2; : : : ; m
theo óng thø tü â, ta s‡ ÷ỉc ma tr“n ìn và m chi•u.
m

MØi v†c tì cºt x = [x1; x2; : : : ; xm] 2 R câ th” coi l mºt tŒ hỉp tuy‚n t
‰nh cıa c¡c v†c tì trong h» cì sð ch‰nh t›c

x = x1e1 + x2e2 + + xmem
Gi£ sß câ mºt h» cì sð kh¡c u1; u2; : : : ; um (c¡c v†c tì n y ºc l“p tuy‚n t
‰nh), bi”u di„n cıa v†c tì x trong h» cì sð mỵi n y câ d⁄ng
13


x = y1u1 + y2u2 + + ymum = Uy
T

vỵi U = [u1 : : : um]. Lóc n y, v†c tì y = [y 1; y2; : : : ; ym] ch‰nh l bi”u di„n
1

cıa x trong h» cì s mợi. Biu din n y l duy nhĐt v y = U x.
Trong c¡c ma tr“n âng vai trỈ nh÷ c¡c h» cì sð, c¡c ma tr“n trüc giao U

T

U = I ữổc quan tƠm nhiãu hỡn v nghch £o cıa chóng ch‰nh l chuy”n và
cıa chóng U

1

T

T

T

T

= U . Khi â y = U x, hay yi = x ui = u i x; i = 1; : : : ; m.
Trong khỉng gian hai hay ba chi•u, h» trüc giao t⁄o th nh mºt h» tröc tåa º
Descarter vng gâc.
Vi»c chuy”n Œi h» cì sð sß dưng ma tr“n trüc giao câ th” ÷ỉc coi nh÷
mºt ph†p xoay h» tröc tåa º. Nh…n theo mºt c¡ch kh¡c, ¥y cơng ch‰nh l
mºt ph†p xoay v†c tì dœ li»u theo chiãu ngữổc li, nu ta coi cĂc trửc tồa º
l cŁ ành.
Trong vi»c gi£m chi•u dœ li»u, chóng ta s‡ th§y øng dưng quan trång
cıa vi»c Œi cì sð.
1.1.10.

Trà riảng v vc tỡ riảng

1.1.10.1.

nh nghắa

Cho mt ma trn vuổng A
vổ hữợng (cõ th thỹc hoc phức) . Nu Ax = x, th… ta nâi v
c°p gi¡ trà ri¶ng, v†c tỡ riảng (eigenvalue, eigenvector) ca ma trn A
T nh nghắa ta công câ, (A

Null cıa A
det(A I) = 0, hay l nghi»m cıa ph÷ìng tr…nh det(A

I. V

thøc n y l

mº

polynomial) ca A, kỵ hiằu l p A(t). Tp hổp tĐt cÊ cĂc giĂ tr riảng ca mt
ma trn cặn gồi l phŒ (spectrum) cıa ma tr“n â.

14