A first course in linear algebra

A First Course in Linear Algebra

A First Course in Linear Algebra
by
Robert A. Beezer
Department of Mathematics and Computer Science
University of Puget Sound
Waldron Edition
Version 2.00 Content
July 16, 2008
Robert A. Beezer is a Professor of Mathematics at the University of Puget Sound, where he has been on the faculty
since 1984. He received a B.S. in Mathematics (with an Emphasis in Computer Science) from the University of
Santa Clara in 1978, a M.S. in Statistics from the University of Illinois at Urbana-Champaign in 1982 and a Ph.D.
in Mathematics from the University of Illinois at Urbana-Champaign in 1984. He teaches calculus, linear algebra
and abstract algebra regularly, while his research interests include the applications of linear algebra to graph theory.
His professional website is at .
Edition
Waldron Edition, July 16, 2008.
Based on Version 2.00.
Front Cover
“The Summer Chair”
c
 2008 by David R.D. Beezer. GNU Free Documentation License.
Gentium Font, SIL Open Font License.
Back Cover
Author photo by Ross Mulhausen.
Computer Modern Font, Public Domain.
Publisher
Robert A. Beezer
Department of Mathematics and Computer Science
University of Puget Sound

1500 North Warner
Tacoma, Washington 98416-1043
USA
c
 2004 by Robert A. Beezer.
Permission is granted to copy, distribute and/or modify this document under the terms of the GNU Free Docu-
mentation License, Version 1.2 or any later version published by the Free Software Foundation; with no Invariant
Sections, no Front-Cover Texts, and no Back-Cover Texts. A copy of the license is included in the appendix entitled
“GNU Free Documentation License”.
The most recent version of this work can always be found at .
To my wife, Pat.

Contents
Table of Contents vii
Contributors xv
Definitions xvii
Theorems xxi
Notation xxvii
Diagrams xxix
Examples xxxi
Preface xxxix
Acknowledgements xliii
Part C Core
Chapter SLE Systems of Linear Equations 3
WILA What is Linear Algebra? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
LA “Linear” + “Algebra” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
AA An Application . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

SSLE Solving Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
SLE Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
PSS Possibilities for Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
ESEO Equivalent Systems and Equation Operations . . . . . . . . . . . . . . . . . . . . . . . . . 13
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
MVNSE Matrix and Vector Notation for Systems of Equations . . . . . . . . . . . . . . . . . . . 23
RO Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
TSS Types of Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
CS Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
FV Free Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
vii
viii CONTENTS
HSE Homogeneous Systems of Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
SHS Solutions of Homogeneous Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
NSM Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
NM Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
NM Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67

NSNM Null Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
SLE Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
Chapter V Vectors 79
VO Vector Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
VEASM Vector Equality, Addition, Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . 79
VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
LC Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
LC Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
VFSS Vector Form of Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
PSHS Particular Solutions, Homogeneous Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . 100
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
SS Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
SSV Span of a Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
SSNS Spanning Sets of Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
LISV Linearly Independent Sets of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
LINM Linear Independence and Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . 127
NSSLI Null Spaces, Spans, Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130

EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
LDS Linear Dependence and Spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
LDSS Linearly Dependent Sets and Spans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
COV Casting Out Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
O Orthogonality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
CAV Complex Arithmetic and Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
IP Inner products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
N Norm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
OV Orthogonal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
GSP Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 165
V Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
Chapter M Matrices 169
CONTENTS ix
MO Matrix Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
MEASM Matrix Equality, Addition, Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . 169
VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
TSM Transposes and Symmetric Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
MCC Matrices and Complex Conjugation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
AM Adjoint of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181

MVP Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
MMEE Matrix Multiplication, Entry-by-Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
PMM Properties of Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
HM Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
MISLE Matrix Inverses and Systems of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . 195
IM Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
CIM Computing the Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
PMI Properties of Matrix Inverses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206
MINM Matrix Inverses and Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
NMI Nonsingular Matrices are Invertible . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
UM Unitary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
CRS Column and Row Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
CSSE Column Spaces and Systems of Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
CSSOC Column Space Spanned by Original Columns . . . . . . . . . . . . . . . . . . . . . . . . 221
CSNM Column Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
RSM Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 231
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239

LNS Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
CRS Computing Column Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
EEF Extended echelon form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 253
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
M Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259
Chapter VS Vector Spaces 261
VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
EVS Examples of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
VSP Vector Space Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
RD Recycling Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271
S Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
x CONTENTS
TS Testing Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
TSS The Span of a Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
SC Subspace Constructions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
LISS Linear Independence and Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
SS Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
VR Vector Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295

EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
B Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
B Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
BSCV Bases for Spans of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 306
BNM Bases and Nonsingular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
OBC Orthonormal Bases and Coordinates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 314
D Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
D Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
DVS Dimension of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
RNM Rank and Nullity of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
RNNM Rank and Nullity of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 323
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 325
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
PD Properties of Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
GT Goldilocks’ Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
RT Ranks and Transposes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
DFS Dimension of Four Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
DS Direct Sums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
VS Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 341
Chapter D Determinants 343
DM Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
EM Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343

DD Definition of the Determinant . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
CD Computing Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 351
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 352
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 353
PDM Properties of Determinants of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
DRO Determinants and Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
DROEM Determinants, Row Operations, Elementary Matrices . . . . . . . . . . . . . . . . . . . 359
DNMMM Determinants, Nonsingular Matrices, Matrix Multiplication . . . . . . . . . . . . . . . 360
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 363
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
D Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 365
Chapter E Eigenvalues 367
EE Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
EEM Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
CONTENTS xi
PM Polynomials and Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 369
EEE Existence of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
CEE Computing Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
ECEE Examples of Computing Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . 376
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 382
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 384
PEE Properties of Eigenvalues and Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
ME Multiplicities of Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
EHM Eigenvalues of Hermitian Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 395
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 396
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397

SD Similarity and Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399
SM Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399
PSM Properties of Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
D Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402
FS Fibonacci Sequences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 408
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
E Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 415
Chapter LT Linear Transformations 417
LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417
LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417
LTC Linear Transformation Cartoons . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421
MLT Matrices and Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421
LTLC Linear Transformations and Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . 425
PI Pre-Images . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428
NLTFO New Linear Transformations From Old . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436
ILT Injective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
EILT Examples of Injective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . 439
KLT Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442
ILTLI Injective Linear Transformations and Linear Independence . . . . . . . . . . . . . . . . . . 446
ILTD Injective Linear Transformations and Dimension . . . . . . . . . . . . . . . . . . . . . . . . 447
CILT Composition of Injective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . 447
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 449
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 450
SLT Surjective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453

ESLT Examples of Surjective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 453
RLT Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456
SSSLT Spanning Sets and Surjective Linear Transformations . . . . . . . . . . . . . . . . . . . . 460
SLTD Surjective Linear Transformations and Dimension . . . . . . . . . . . . . . . . . . . . . . . 462
CSLT Composition of Surjective Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . 462
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 462
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 464
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466
IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469
IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469
IV Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
SI Structure and Isomorphism . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475
RNLT Rank and Nullity of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . 476
SLELT Systems of Linear Equations and Linear Transformations . . . . . . . . . . . . . . . . . . 479
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 480
xii CONTENTS
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 481
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 483
LT Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487
Chapter R Representations 489
VR Vector Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489
CVS Characterization of Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493
CP Coordinatization Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 498
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 499
MR Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501
NRFO New Representations from Old . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506
PMR Properties of Matrix Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 510
IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 514

READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 520
CB Change of Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 529
EELT Eigenvalues and Eigenvectors of Linear Transformations . . . . . . . . . . . . . . . . . . . 529
CBM Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 530
MRS Matrix Representations and Similarity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 535
CELT Computing Eigenvectors of Linear Transformations . . . . . . . . . . . . . . . . . . . . . . 540
READ Reading Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547
EXC Exercises . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 548
SOL Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 549
OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553
TM Triangular Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553
UTMR Upper Triangular Matrix Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . 554
NM Normal Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557
OD Orthonormal Diagonalization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 558
NLT Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561
NLT Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561
PNLT Properties of Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . 565
CFNLT Canonical Form for Nilpotent Linear Transformations . . . . . . . . . . . . . . . . . . . . 569
IS Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577
IS Invariant Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577
GEE Generalized Eigenvectors and Eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . 580
RLT Restrictions of Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 583
JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593
GESD Generalized Eigenspace Decomposition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 593
JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 598
CHT Cayley-Hamilton Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 609
R Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 611
Appendix CN Computation Notes 613

MMA Mathematica . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613
ME.MMA Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613
RR.MMA Row Reduce . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613
LS.MMA Linear Solve . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 613
VLC.MMA Vector Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 614
NS.MMA Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 614
VFSS.MMA Vector Form of Solution Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 615
GSP.MMA Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616
TM.MMA Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616
MM.MMA Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 616
MI.MMA Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617
SAGE SAGE: Open Source Mathematics Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617
R.SAGE Rings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617
CONTENTS xiii
ME.SAGE Matrix Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 617
MI.SAGE Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 618
TM.SAGE Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 618
E.SAGE Eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 618
Appendix P Preliminaries 621
CNO Complex Number Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 621
CNA Arithmetic with complex numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 621
CCN Conjugates of Complex Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623
MCN Modulus of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624
SET Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
SC Set Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626
SO Set Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626
PT Proof Techniques . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629
D Definitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629
T Theorems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 629
L Language . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 630

GS Getting Started . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631
C Constructive Proofs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631
E Equivalences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 631
N Negation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 632
CP Contrapositives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 632
CV Converses . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 632
CD Contradiction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633
U Uniqueness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 633
ME Multiple Equivalences . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634
PI Proving Identities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634
DC Decompositions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 634
I Induction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 635
P Practice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636
LC Lemmas and Corollaries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 636
Appendix A Archetypes 639
A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 643
B . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 647
C . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 651
D . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 654
E . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 657
F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 660
G . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 665
H . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 669
I . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 673
J . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 677
K . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 681
L . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 684
M . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 687
N . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 689
O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 691

P . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 693
Q . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 695
R . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 698
S . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 701
T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 703
U . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 705
V . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 707
W . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 709
X . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 711
Appendix GFDL GNU Free Documentation License 715
xiv CONTENTS
1. APPLICABILITY AND DEFINITIONS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 715
2. VERBATIM COPYING . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716
3. COPYING IN QUANTITY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 716
4. MODIFICATIONS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 717
5. COMBINING DOCUMENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718
6. COLLECTIONS OF DOCUMENTS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718
7. AGGREGATION WITH INDEPENDENT WORKS . . . . . . . . . . . . . . . . . . . . . . . . . . 718
8. TRANSLATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718
9. TERMINATION . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 718
10. FUTURE REVISIONS OF THIS LICENSE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 719
ADDENDUM: How to use this License for your documents . . . . . . . . . . . . . . . . . . . . . . . . 719
Index
Contributors
Beezer, David. Belarmine Preparatory School, Tacoma
Beezer, Robert. University of Puget Sound />Bucht, Sara. University of Puget Sound
Canfield, Steve. University of Puget Sound
Hubert, Dupont. Cr´eteil, France
Fellez, Sarah. University of Puget Sound
Fickenscher, Eric. University of Puget Sound

Jackson, Martin. University of Puget Sound ˜martinj
Hamrick, Mark. St. Louis University
Linenthal, Jacob. University of Puget Sound
Million, Elizabeth. University of Puget Sound
Osborne, Travis. University of Puget Sound
Riegsecker, Joe. Middlebury, Indiana joepye (at) pobox (dot) com
Phelps, Douglas. University of Puget Sound
Shoemaker, Mark. University of Puget Sound
Zimmer, Andy. University of Puget Sound
xv
xvi CONTRIBUTORS
Definitions
Section WILA
Section SSLE
SLE System of Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
ESYS Equivalent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
EO Equation Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
Section RREF
M Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
CV Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
ZCV Zero Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
CM Coefficient Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
VOC Vector of Constants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
SOLV Solution Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
MRLS Matrix Representation of a Linear System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
AM Augmented Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
RO Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
REM Row-Equivalent Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
RREF Reduced Row-Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
RR Row-Reducing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

Section TSS
CS Consistent System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
IDV Independent and Dependent Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Section HSE
HS Homogeneous System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
TSHSE Trivial Solution to Homogeneous Systems of Equations . . . . . . . . . . . . . . . . . . . . . . 57
NSM Null Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Section NM
SQM Square Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
NM Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
IM Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Section VO
VSCV Vector Space of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
CVE Column Vector Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
CVA Column Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
CVSM Column Vector Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
Section LC
LCCV Linear Combination of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
Section SS
SSCV Span of a Set of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
xvii
xviii DEFINITIONS
Section LI
RLDCV Relation of Linear Dependence for Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . 123
LICV Linear Independence of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
Section LDS
Section O
CCCV Complex Conjugate of a Column Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
IP Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
NV Norm of a Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156

OV Orthogonal Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
OSV Orthogonal Set of Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
SUV Standard Unit Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
ONS OrthoNormal Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
Section MO
VSM Vector Space of m ×n Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
ME Matrix Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
MA Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
MSM Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
ZM Zero Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
TM Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
SYM Symmetric Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
CCM Complex Conjugate of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
A Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
Section MM
MVP Matrix-Vector Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
MM Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
HM Hermitian Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
Section MISLE
MI Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
Section MINM
UM Unitary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
Section CRS
CSM Column Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
RSM Row Space of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
Section FS
LNS Left Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
EEF Extended Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
Section VS
VS Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261

Section S
S Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
TS Trivial Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
LC Linear Combination . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 277
SS Span of a Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
Section LISS
RLD Relation of Linear Dependence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
LI Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
TSVS To Span a Vector Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
DEFINITIONS xix
Section B
B Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
Section D
D Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
NOM Nullity Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
ROM Rank Of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 322
Section PD
DS Direct Sum . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
Section DM
ELEM Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343
SM SubMatrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
DM Determinant of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
Section PDM
Section EE
EEM Eigenvalues and Eigenvectors of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367
CP Characteristic Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
EM Eigenspace of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
AME Algebraic Multiplicity of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376
GME Geometric Multiplicity of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 376
Section PEE

Section SD
SIM Similar Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399
DIM Diagonal Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402
DZM Diagonalizable Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402
Section LT
LT Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 417
PI Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428
LTA Linear Transformation Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 430
LTSM Linear Transformation Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . 431
LTC Linear Transformation Composition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432
Section ILT
ILT Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439
KLT Kernel of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 442
Section SLT
SLT Surjective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 453
RLT Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 456
Section IVLT
IDLT Identity Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469
IVLT Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 469
IVS Isomorphic Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 475
ROLT Rank Of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476
NOLT Nullity Of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476
Section VR
VR Vector Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489
Section MR
MR Matrix Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 501
xx DEFINITIONS
Section CB
EELT Eigenvalue and Eigenvector of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . 529
CBM Change-of-Basis Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 530

Section OD
UTM Upper Triangular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553
LTM Lower Triangular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 553
NRML Normal Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 557
Section NLT
NLT Nilpotent Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 561
JB Jordan Block . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 563
Section IS
IS Invariant Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 577
GEV Generalized Eigenvector . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 580
GES Generalized Eigenspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 580
LTR Linear Transformation Restriction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 584
IE Index of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 588
Section JCF
JCF Jordan Canonical Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 598
Section CNO
CNE Complex Number Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622
CNA Complex Number Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622
CNM Complex Number Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 622
CCN Conjugate of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 623
MCN Modulus of a Complex Number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 624
Section SET
SET Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
SSET Subset . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
ES Empty Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
SE Set Equality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 625
C Cardinality . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626
SU Set Union . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 626
SI Set Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 627
SC Set Complement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 627

Section PT
Theorems
Section WILA
Section SSLE
EOPSS Equation Operations Preserve Solution Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
Section RREF
REMES Row-Equivalent Matrices represent Equivalent Systems . . . . . . . . . . . . . . . . . . . . . . 27
REMEF Row-Equivalent Matrix in Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
RREFU Reduced Row-Echelon Form is Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
Section TSS
RCLS Recognizing Consistency of a Linear System . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
ISRN Inconsistent Systems, r and n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
CSRN Consistent Systems, r and n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
FVCS Free Variables for Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
PSSLS Possible Solution Sets for Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
CMVEI Consistent, More Variables than Equations, Infinite solutions . . . . . . . . . . . . . . . . . . . 52
Section HSE
HSC Homogeneous Systems are Consistent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
HMVEI Homogeneous, More Variables than Equations, Infinite solutions . . . . . . . . . . . . . . . . . 59
Section NM
NMRRI Nonsingular Matrices Row Reduce to the Identity matrix . . . . . . . . . . . . . . . . . . . . . 68
NMTNS Nonsingular Matrices have Trivial Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
NMUS Nonsingular Matrices and Unique Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
NME1 Nonsingular Matrix Equivalences, Round 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
Section VO
VSPCV Vector Space Properties of Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
Section LC
SLSLC Solutions to Linear Systems are Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . 90
VFSLS Vector Form of Solutions to Linear Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
PSPHS Particular Solution Plus Homogeneous Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . 100

Section SS
SSNS Spanning Sets for Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
Section LI
LIVHS Linearly Independent Vectors and Homogeneous Systems . . . . . . . . . . . . . . . . . . . . . 125
LIVRN Linearly Independent Vectors, r and n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
MVSLD More Vectors than Size implies Linear Dependence . . . . . . . . . . . . . . . . . . . . . . . . 127
NMLIC Nonsingular Matrices have Linearly Independent Columns . . . . . . . . . . . . . . . . . . . . 128
NME2 Nonsingular Matrix Equivalences, Round 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
BNS Basis for Null Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
xxi
xxii THEOREMS
Section LDS
DLDS Dependency in Linearly Dependent Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
BS Basis of a Span . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
Section O
CRVA Conjugation Respects Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
CRSM Conjugation Respects Vector Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . 153
IPVA Inner Product and Vector Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
IPSM Inner Product and Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
IPAC Inner Product is Anti-Commutative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
IPN Inner Products and Norms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
PIP Positive Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
OSLI Orthogonal Sets are Linearly Independent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
GSP Gram-Schmidt Procedure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
Section MO
VSPM Vector Space Properties of Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
SMS Symmetric Matrices are Square . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
TMA Transpose and Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
TMSM Transpose and Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
TT Transpose of a Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173

CRMA Conjugation Respects Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
CRMSM Conjugation Respects Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . 174
CCM Conjugate of the Conjugate of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
MCT Matrix Conjugation and Transposes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
AMA Adjoint and Matrix Addition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
AMSM Adjoint and Matrix Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
AA Adjoint of an Adjoint . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
Section MM
SLEMM Systems of Linear Equations as Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . 181
EMMVP Equal Matrices and Matrix-Vector Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
EMP Entries of Matrix Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
MMZM Matrix Multiplication and the Zero Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
MMIM Matrix Multiplication and Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
MMDAA Matrix Multiplication Distributes Across Addition . . . . . . . . . . . . . . . . . . . . . . . . . 187
MMSMM Matrix Multiplication and Scalar Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . 187
MMA Matrix Multiplication is Associative . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
MMIP Matrix Multiplication and Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188
MMCC Matrix Multiplication and Complex Conjugation . . . . . . . . . . . . . . . . . . . . . . . . . . 188
MMT Matrix Multiplication and Transposes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
MMAD Matrix Multiplication and Adjoints . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
AIP Adjoint and Inner Product . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
HMIP Hermitian Matrices and Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
Section MISLE
TTMI Two-by-Two Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
CINM Computing the Inverse of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . 199
MIU Matrix Inverse is Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
SS Socks and Shoes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
MIMI Matrix Inverse of a Matrix Inverse . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
MIT Matrix Inverse of a Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
MISM Matrix Inverse of a Scalar Multiple . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

Section MINM
NPNT Nonsingular Product has Nonsingular Terms . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
OSIS One-Sided Inverse is Sufficient . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
NI Nonsingularity is Invertibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
THEOREMS xxiii
NME3 Nonsingular Matrix Equivalences, Round 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
SNCM Solution with Nonsingular Coefficient Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 211
UMI Unitary Matrices are Invertible . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
CUMOS Columns of Unitary Matrices are Orthonormal Sets . . . . . . . . . . . . . . . . . . . . . . . . 212
UMPIP Unitary Matrices Preserve Inner Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
Section CRS
CSCS Column Spaces and Consistent Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
BCS Basis of the Column Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
CSNM Column Space of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
NME4 Nonsingular Matrix Equivalences, Round 4 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
REMRS Row-Equivalent Matrices have equal Row Spaces . . . . . . . . . . . . . . . . . . . . . . . . . 226
BRS Basis for the Row Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227
CSRST Column Space, Row Space, Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
Section FS
PEEF Properties of Extended Echelon Form . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
FS Four Subsets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
Section VS
ZVU Zero Vector is Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
AIU Additive Inverses are Unique . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
ZSSM Zero Scalar in Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
ZVSM Zero Vector in Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 267
AISM Additive Inverses from Scalar Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
SMEZV Scalar Multiplication Equals the Zero Vector . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
Section S
TSS Testing Subsets for Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274

NSMS Null Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
SSS Span of a Set is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
CSMS Column Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
RSMS Row Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
LNSMS Left Null Space of a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 282
Section LISS
VRRB Vector Representation Relative to a Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 294
Section B
SUVB Standard Unit Vectors are a Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 303
CNMB Columns of Nonsingular Matrix are a Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307
NME5 Nonsingular Matrix Equivalences, Round 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
COB Coordinates and Orthonormal Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309
UMCOB Unitary Matrices Convert Orthonormal Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . 311
Section D
SSLD Spanning Sets and Linear Dependence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
BIS Bases have Identical Sizes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
DCM Dimension of C
m
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
DP Dimension of P
n
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
DM Dimension of M
mn
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 320
CRN Computing Rank and Nullity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
RPNC Rank Plus Nullity is Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
RNNM Rank and Nullity of a Nonsingular Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
NME6 Nonsingular Matrix Equivalences, Round 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
Section PD

ELIS Extending Linearly Independent Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
xxiv THEOREMS
G Goldilocks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
PSSD Proper Subspaces have Smaller Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
EDYES Equal Dimensions Yields Equal Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
RMRT Rank of a Matrix is the Rank of the Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
DFS Dimensions of Four Subspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
DSFB Direct Sum From a Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
DSFOS Direct Sum From One Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
DSZV Direct Sums and Zero Vectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335
DSZI Direct Sums and Zero Intersection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
DSLI Direct Sums and Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
DSD Direct Sums and Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
RDS Repeated Direct Sums . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 337
Section DM
EMDRO Elementary Matrices Do Row Operations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 344
EMN Elementary Matrices are Nonsingular . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 346
NMPEM Nonsingular Matrices are Products of Elementary Matrices . . . . . . . . . . . . . . . . . . . . 346
DMST Determinant of Matrices of Size Two . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
DER Determinant Expansion about Rows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 348
DT Determinant of the Transpose . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 349
DEC Determinant Expansion about Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
Section PDM
DZRC Determinant with Zero Row or Column . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
DRCS Determinant for Row or Column Swap . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
DRCM Determinant for Row or Column Multiples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
DERC Determinant with Equal Rows or Columns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356
DRCMA Determinant for Row or Column Multiples and Addition . . . . . . . . . . . . . . . . . . . . . 357
DIM Determinant of the Identity Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
DEM Determinants of Elementary Matrices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359

DEMMM Determinants, Elementary Matrices, Matrix Multiplication . . . . . . . . . . . . . . . . . . . . 360
SMZD Singular Matrices have Zero Determinants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
NME7 Nonsingular Matrix Equivalences, Round 7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 361
DRMM Determinant Respects Matrix Multiplication . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
Section EE
EMHE Every Matrix Has an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 370
EMRCP Eigenvalues of a Matrix are Roots of Characteristic Polynomials . . . . . . . . . . . . . . . . . 374
EMS Eigenspace for a Matrix is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 374
EMNS Eigenspace of a Matrix is a Null Space . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
Section PEE
EDELI Eigenvectors with Distinct Eigenvalues are Linearly Independent . . . . . . . . . . . . . . . . . 387
SMZE Singular Matrices have Zero Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
NME8 Nonsingular Matrix Equivalences, Round 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
ESMM Eigenvalues of a Scalar Multiple of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
EOMP Eigenvalues Of Matrix Powers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
EPM Eigenvalues of the Polynomial of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 389
EIM Eigenvalues of the Inverse of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390
ETM Eigenvalues of the Transpose of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 390
ERMCP Eigenvalues of Real Matrices come in Conjugate Pairs . . . . . . . . . . . . . . . . . . . . . . . 391
DCP Degree of the Characteristic Polynomial . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
NEM Number of Eigenvalues of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392
ME Multiplicities of an Eigenvalue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392
MNEM Maximum Number of Eigenvalues of a Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
HMRE Hermitian Matrices have Real Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
HMOE Hermitian Matrices have Orthogonal Eigenvectors . . . . . . . . . . . . . . . . . . . . . . . . . 394
THEOREMS xxv
Section SD
SER Similarity is an Equivalence Relation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 400
SMEE Similar Matrices have Equal Eigenvalues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 401
DC Diagonalization Characterization . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402

DMFE Diagonalizable Matrices have Full Eigenspaces . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
DED Distinct Eigenvalues implies Diagonalizable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406
Section LT
LTTZZ Linear Transformations Take Zero to Zero . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420
MBLT Matrices Build Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
MLTCV Matrix of a Linear Transformation, Column Vectors . . . . . . . . . . . . . . . . . . . . . . . . 424
LTLC Linear Transformations and Linear Combinations . . . . . . . . . . . . . . . . . . . . . . . . . 425
LTDB Linear Transformation Defined on a Basis . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426
SLTLT Sum of Linear Transformations is a Linear Transformation . . . . . . . . . . . . . . . . . . . . 430
MLTLT Multiple of a Linear Transformation is a Linear Transformation . . . . . . . . . . . . . . . . . 431
VSLT Vector Space of Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432
CLTLT Composition of Linear Transformations is a Linear Transformation . . . . . . . . . . . . . . . 432
Section ILT
KLTS Kernel of a Linear Transformation is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . 443
KPI Kernel and Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
KILT Kernel of an Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 445
ILTLI Injective Linear Transformations and Linear Independence . . . . . . . . . . . . . . . . . . . . 446
ILTB Injective Linear Transformations and Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 446
ILTD Injective Linear Transformations and Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . 447
CILTI Composition of Injective Linear Transformations is Injective . . . . . . . . . . . . . . . . . . . 448
Section SLT
RLTS Range of a Linear Transformation is a Subspace . . . . . . . . . . . . . . . . . . . . . . . . . . 457
RSLT Range of a Surjective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 459
SSRLT Spanning Set for Range of a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . 460
RPI Range and Pre-Image . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461
SLTB Surjective Linear Transformations and Bases . . . . . . . . . . . . . . . . . . . . . . . . . . . . 461
SLTD Surjective Linear Transformations and Dimension . . . . . . . . . . . . . . . . . . . . . . . . . 462
CSLTS Composition of Surjective Linear Transformations is Surjective . . . . . . . . . . . . . . . . . . 462
Section IVLT
ILTLT Inverse of a Linear Transformation is a Linear Transformation . . . . . . . . . . . . . . . . . . 471

IILT Inverse of an Invertible Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 471
ILTIS Invertible Linear Transformations are Injective and Surjective . . . . . . . . . . . . . . . . . . 472
CIVLT Composition of Invertible Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . . 474
ICLT Inverse of a Composition of Linear Transformations . . . . . . . . . . . . . . . . . . . . . . . . 474
IVSED Isomorphic Vector Spaces have Equal Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . 476
ROSLT Rank Of a Surjective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477
NOILT Nullity Of an Injective Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . . . 477
RPNDD Rank Plus Nullity is Domain Dimension . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 477
Section VR
VRLT Vector Representation is a Linear Transformation . . . . . . . . . . . . . . . . . . . . . . . . . 489
VRI Vector Representation is Injective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 492
VRS Vector Representation is Surjective . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493
VRILT Vector Representation is an Invertible Linear Transformation . . . . . . . . . . . . . . . . . . . 493
CFDVS Characterization of Finite Dimensional Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . 493
IFDVS Isomorphism of Finite Dimensional Vector Spaces . . . . . . . . . . . . . . . . . . . . . . . . . 494
CLI Coordinatization and Linear Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 494
CSS Coordinatization and Spanning Sets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 495
Section MR