奇异值分解

概述

奇异值分解（Singular Value Decomposition，SVD）是线性代数中最重要的矩阵分解之一：任意 $m \times n$ 复矩阵 $A$ 均可分解为 $A = U\Sigma V^*$，其中 $U$（$m \times m$）和 $V$（$n \times n$）为酉矩阵，$\Sigma$（$m \times n$）为非负对角矩阵，对角元素 $\sigma_1 \geq \sigma_2 \geq \cdots \geq 0$ 称为奇异值。SVD 适用于任意（非方形、非对称）矩阵，揭示了矩阵作为线性映射的本质几何结构，是正规矩阵谱定理对一般矩阵的自然推广。其应用覆盖数值计算、数据科学、量子信息等核心领域。

关键内容

定义

对任意 $A \in \mathbb{C}^{m \times n}$（$m \geq n$），存在酉矩阵 $U \in \mathbb{C}^{m \times m}$，$V \in \mathbb{C}^{n \times n}$ 和非负对角矩阵

$$\Sigma = \operatorname{diag}(\sigma_1, \ldots, \sigma_n), \quad \sigma_1 \geq \sigma_2 \geq \cdots \geq \sigma_n \geq 0$$

使得 $A = U\Sigma V^$。列 $u_i$ 称为左奇异向量，列 $v_j$ 称为右奇异向量*，满足 $Av_i = \sigma_i u_i$。

奇异值的另一刻画：$\sigma_i(A) = \sqrt{\lambda_i(A^A)} = \sqrt{\lambda_i(AA^)}$（$A^*A$ 的特征值正平方根）。

历史渊源

年份	人物	贡献
1873	Beltrami	发现实方阵 SVD
1874	Jordan	独立发现（不同语言）
1889	Sylvester	进一步发展
1907	Erhard Schmidt	无穷维积分算子的 SVD 雏形
1936	Eckart & Young	低秩逼近最优性定理
1937	von Neumann	奇异值控制迹内积（Von Neumann迹不等式</td> </tr> <tr> <td>1965</td> <td>Golub & Kahan</td> <td>高效[[计算算法（Golub-Kahan双对角化）

几何意义

SVD 揭示了线性映射 $A: \mathbb{C}^n \to \mathbb{C}^m$ 的本质几何：

$$A = U\Sigma V^ = \sum_{i=1}^n \sigma_i u_i v_i^$$

含义：$A$ 等于 $n$ 个秩1矩阵的加权叠加，权重即奇异值。作用于输入空间的标准正交基 ${v_1,\ldots,v_n}$，输出得到沿 ${u_1,\ldots,u_n}$ 方向、放缩因子为 ${\sigma_1,\ldots,\sigma_n}$ 的向量。

关键性质

唯一性：奇异值唯一；当奇异值不等时，奇异向量唯一（到相位因子）
关系：$\sigma_i(A) = \sigma_i(A^*) = \sigma_i(UA) = \sigma_i(AV)$（$U,V$ 酉）
范数：$|A|F = \sqrt{\sum\sigma_i^2}$，$|A|_2 = \sigma_1$，$|A|* = \sum\sigma_i$（核范数）
秩：$\operatorname{rank}(A)$ = 非零奇异值个数

Eckart-Young 定理（最优低秩逼近）

定理（Eckart-Young 1936 / Schmidt 1907）：在秩不超过 $k$ 的矩阵中，$A$ 的最佳逼近为截断 SVD $A_k = \sum_{i=1}^k \sigma_i u_i v_i^*$，在 Frobenius 范数和谱范数下均成立：

$$|A - A_k|F = \sqrt{\sum{i=k+1}^n \sigma_i^2}, \quad |A - A_k|2 = \sigma{k+1}$$

推广（Mirsky 1960）：上述最优性对所有酉不变范数均成立（依赖Von Neumann迹不等式）。

这是信息压缩、降维、去噪的理论基础——保留最大的 $k$ 个奇异值等于保留矩阵中"最重要"的 $k$ 个成分。

与 Schur 分解的关系

对正规矩阵 $A$（$A^A = AA^$），SVD 退化为谱定理：奇异值 = |特征值|，$U = V$（同一组酉矩阵）。

对一般矩阵，SVD 是Schur分解的扩展： - Schur：$A = QTQ^$（方形矩阵，上三角 $T$，单个酉矩阵 $Q$） - SVD：$A = U\Sigma V^$（任意矩形矩阵，对角 $\Sigma$，两个酉矩阵）

奇异值与特征值的关系

对 $A \in \mathbb{C}^{n \times n}$，奇异值与特征值的关系由 Weyl 不等式（1949）刻画：

$$|\lambda_1(A)| \geq |\lambda_2(A)| \geq \cdots, \quad \prod_{i=1}^k |\lambda_i(A)| \leq \prod_{i=1}^k \sigma_i(A)$$

等号 $\Leftrightarrow$ $A$ 为正规矩阵时，$|\lambda_i| = \sigma_i$。

计算算法

Golub-Kahan 算法（1965）：先将 $A$ 化为双对角形式（bidiagonal form），然后应用QR算法到双对角矩阵。这是 LAPACK xGESVD 的核心流程，时间复杂度 $O(\min(m,n) \cdot mn)$。

随机化 SVD（Halko, Martinsson, Tropp, 2011）：对大规模矩阵（如 $10^6 \times 10^6$），用随机投影快速计算近似低秩 SVD，复杂度 $O(mn\log k)$（$k$ 为目标秩）。

现代应用

应用	具体用途
图像压缩	截断 SVD 保留最重要奇异成分
推荐系统	协同过滤的低秩矩阵分解
PCA	协方差矩阵 SVD 提取主成分
LSA（潜在语义分析）	文档-词矩阵 SVD 提取语义
矩阵补全	核范数最小化恢复低秩矩阵
信号处理	子空间方法（MUSIC，ESPRIT）去噪
量子信息	Schmidt 分解（量子纠缠度量）
数值线性代数	伪逆计算、最小二乘解、条件数估计

来源

raw/books/矩阵分析/11_von_neumann_trace_inequality_1937.md
raw/books/数值分析/22_golub_kahan_svd.md