1-矩阵代数基础

矩阵的基本运算

矩阵与向量

矩阵和向量的符号表示

对角矩阵：$\mathbf{D}=\text{diag}(d_{11},...,d_{nn})$

单位矩阵：${\mathbf{I}}_{n\times n}$

零矩阵：${\mathbf{O}}_{m\times m}$

零向量：$0_n$

基本向量：$e_1=\left[\begin{array}{c}1\\ 0\\ ⋮\\ 0\end{array}\right],e_2=\left[\begin{array}{c}0\\ 1\\ ⋮\\ 0\end{array}\right],...$ ，故单位矩阵亦可表示为：$\mathbf{I}=[e_1,e_2,...,e_n]$ .

矩阵中元素的表示：

• $\mathbf{A}(i,:)$：矩阵 $\mathbf{A}$ 的第 $i$ 行；
• $\mathbf{A}(:,j)$：矩阵 $\mathbf{A}$ 的第 $j$ 列；
• $\mathbf{A}(p:q,r:s)$：由矩阵 $\mathbf{A}$ 的第 $p$ 行到第 $q$ 行、第 $r$ 列到第 $s$ 列组成的 $(p-q+1)\times (s-r+1)$ 的子矩阵；

向量的分类

• 物理向量
• 几何向量：物理向量的可视化
• 代数向量：物理向量的运算化工具
  • 常数向量
  • 函数向量
  • 随机向量：向量元素为随机变量或随机过程

矩阵的基本运算

矩阵 ${\mathbf{A}}_{m\times n}=[a_{ij}]$ 的转置：

• 转置记作 ${\mathbf{A}}_{n\times m}^T=[a_{ji}]$ ，
• 其复数共轭矩阵 ${\mathbf{A}}^{\ast }$ ¹的元素定义为 $[{\mathbf{A}}^{\ast }{]}_{ij}=a_{ij}^{\ast }$ ，即对每个元素都取复数共轭，
• （复）共轭转置记作 ${\mathbf{A}}^H$ ，是对复数共轭矩阵的转置：${\mathbf{A}}^H=\left[\begin{array}{cccc}{a}_{11}^{\ast }& a_{21}^{\ast }& \cdots & a_{m1}^{\ast }\\ a_{12}^{\ast }& a_{22}^{\ast }& \cdots & a_{m2}^{\ast }\\ ⋮& ⋮& & ⋮\\ a_{1n}^{\ast }& a_{2n}^{\ast }& \cdots & a_{mn}^{\ast }\end{array}\right]$ ，共轭转置又称 Hermitian 伴随/转置/共轭。
• 满足 ${\mathbf{A}}^T=\mathbf{A}$ 的正方实矩阵和 ${\mathbf{A}}^H=\mathbf{A}$ 的正方复矩阵分别称为对阵矩阵和 Hermitian 矩阵（复共轭对称矩阵）
• ${\mathbf{A}}^H=({\mathbf{A}}^T{)}^{\ast }=({\mathbf{A}}^{\ast }{)}^T$
• 一个 $m\times n$ 的分块矩阵 $\mathbf{A}$ 的共轭转置是一个由 $\mathbf{A}$ 的每个分块矩阵的共轭转置组成的 $n\times m$ 分块矩阵：${\mathbf{A}}^H=\left[\begin{array}{cccc}{A}_{11}^H& A_{21}^H& \cdots & A_{m1}^H\\ A_{12}^H& A_{22}^H& \cdots & A_{m2}^H\\ ⋮& ⋮& & ⋮\\ A_{1n}^H& A_{2n}^H& \cdots & A_{mn}^H\end{array}\right]$

矩阵的运算：

• 线性运算：加法、标量乘法。线性运算满足交换律、结合律、分配律。
• 矩阵乘法：$|\mathbf{AB}{|}_{ij}=\sum _{k=1}^n{a}_{ik}{b}_{kj},i=1,...,m;j=1,...,s$ 。乘法一般不满足交换律，但满足结合律和左（右）分配律。

矩阵的逆矩阵：

• $\mathbf{Ax}=\mathbf{y}$ 可以得到 $\mathbf{x}={\mathbf{A}}^{-1}\mathbf{y}$ .

矩阵共轭、转置、共轭转置、逆矩阵的性质：

1. 共轭、转置、共轭转置满足分配律：$(\mathbf{A}+\mathbf{B}{)}^{\ast }={\mathbf{A}}^{\ast }+{\mathbf{B}}^{\ast }$
2. 矩阵乘积的转置、共轭转置和逆矩阵满足
3. 共轭、转置和共轭转置等符号均可与求逆符号交换
4. 对任何矩阵 $\mathbf{A}$，${\mathbf{A}}^H\mathbf{A}$ 都是 Hermitian 矩阵

幂等矩阵 $\mathbf{A}$ 的定义及其性质：

• ${\mathbf{A}}^n=\mathbf{A}$ 对于 $n=1,2,3,...$ 成立，则为幂等矩阵
• $\mathbf{I}-\mathbf{A}$ 为幂等矩阵，但 $\mathbf{A}-\mathbf{I}$ 不一定为幂等矩阵
• 

若 ${\mathbf{A}}^2=\mathbf{A}\mathbf{A}=\mathbf{I}$ ，则称之为幂单矩阵（unipotent matrix）或对合矩阵（involutory matrix）：

• 对幂单矩阵 $\mathbf{A}$ ，有 $f(s\mathbf{I}+t\mathbf{A})=\frac{1}{2}[(\mathbf{I}+\mathbf{A})f(s+t)+(\mathbf{I}-\mathbf{A})f(s-t)]$

向量的线性无关性与非奇异矩阵

矩阵的初等变换

向量空间、线性映射与 Hilbert 空间

内积与范数

随机向量

矩阵的性能指标

逆矩阵与伪次矩阵

Moore-Penrose 逆矩阵

矩阵的直和与 Hadamard 积

Kronecker 积与 Khatri-Rao 积

向量化与句真话

稀疏表示与压缩感知

Footnotes

1. 注意，此处复数共轭的表示与本科阶段伴随矩阵的表示似乎发生了歧义，但实际前者指的是伴随（adjoint）变换，后者是伴随（adjugate）矩阵，这是由于翻译导致的，更详细的说明请参考：zhuanlan.zhihu.com/p/87330558 ↩