极大极小定理
概述
Fischer 极大极小定理（Fischer Minimax Theorem，又称 Courant-Fischer 定理）是矩阵分析中最重要的单一定理之一，由恩斯特·菲舍尔于1905年证明：实对称矩阵的第 k 个特征值，等于 Rayleigh商 在所有 k 维子空间上的最小值再取最大值（max-min）。该定理将特征值从行列式的根（代数对象）彻底转化为变分优化问题（几何对象），绕开特征多项式，天然适用于无穷维推广，成为谱理论、数值线性代数、机器学习和量子力学的共同理论基础。
关键内容
定理精确陈述
设 A 为 n×n 实对称矩阵，特征值降序排列为 λ₁ ≥ λ₂ ≥ … ≥ λₙ。则对每个 k = 1, 2, …, n：
Max-min 形式： $$\lambda_k = \max_{\dim V = k} \;\min_{x \in V,\, x \neq 0} \frac{x^T A x}{x^T x}$$
Min-max 形式（等价）： $$\lambda_k = \min_{\dim W = n-k+1} \;\max_{x \in W,\, x \neq 0} \frac{x^T A x}{x^T x}$$
两种形式等价，文献中因特征值排序方向不同而选用不同形式。
特殊情形与 Rayleigh 的结果
这两个特殊情形正是瑞利勋爵1877年的结果。Fischer 的贡献在于将其推广到所有中间特征值。
证明的核心思想：维数论证
证明的关键步骤依赖一个简洁的线性代数事实：
若子空间 V（维数 k）与子空间 W（维数 n-k+1）的维数之和超过全空间维数 n，则 V∩W 必有非平凡交集。
具体地： 1. 谱分解：A = QΛQᵀ，Rayleigh商化为特征值的加权平均 2. 上界论证：任意 k 维子空间 V 与 span{v_k,…,v_n}（维数 n-k+1）必相交，交点处的 R(x) ≤ λ_k 3. 下界论证：取最优子空间 V* = span{v₁,…,v_k}，在此子空间上 min R(x) = λ_k
综合得等号。
与 Cauchy 交错定理的关系
Cauchy 交错定理（A 的特征值与其主子矩阵特征值交错分布）是 Fischer 定理的直接推论：将主子矩阵的 Rayleigh商视为 A 在某个 (n-1) 维子空间上的限制，即得交错不等式，且此推导远比 Cauchy 原始的行列式证明优雅。
Weyl 扰动不等式（应用）
Hermann Weyl（1912）利用 Fischer 定理的维数论证，证明了特征值扰动不等式：若 C = A + B，则
$$|\gamma_k - \alpha_k| \leq |B|$$
即特征值关于矩阵扰动是 Lipschitz 连续的。这一不等式是数值线性代数的基石。
Courant-Fischer 定理（无穷维推广）
Richard Courant（1920）将定理推广到无穷维 Hilbert 空间中的紧自伴算子，特别是椭圆 PDE 的特征值：
$$\lambda_k = \min_{\dim V = k} \max_{u \in V,\, u \neq 0} \frac{\int_\Omega |\nabla u|^2 dx}{\int_\Omega u^2 dx}$$
这是研究 Laplacian 特征值渐近分布（Weyl 定律）和有限元方法收敛性的基础。
鞍点视角（博弈论）
从优化/博弈论角度：一方（最大化者）选择子空间 V，另一方（最小化者）在 V 内选向量 x。特征值 λ_k 是这个二人零和博弈的鞍点值（saddle-point value）。这与冯·诺依曼极大极小定理在精神上一脉相承。
意义
解决的三大瓶颈
| 瓶颈 | 行列式方法 | Fischer 变分方法 | |------|---------|--------------| | 计算 | 行列式展开复杂，数值不稳定 | Rayleigh商计算简单，可做近似 | | 理论 | 难以推广到无穷维算子 | 维数论证不依赖有限维性 | | 估计 | 估计一个特征值需知其他特征值 | 每个特征值独立变分刻画 |
现代应用
| 领域 | 应用 |
|---|---|
| 主成分分析（PCA） | 最优 k 维投影子空间 = max-min 最优解 |
| Lanczos 算法 | 在 Krylov 子空间上计算 Rayleigh商极值 |
| 量子化学 | 基态能量的变分上界（Hylleraas-Undheim-MacDonald 定理） |
| 图谱理论 | Fiedler 值（代数连通度）的极大极小刻画 → 谱聚类 |
| 有限元 | 近似固有频率是真实频率的上界 |
| 信号处理 | MIMO 信道容量与奇异值分解</td>
</tr>
</tbody>
</table>
<h2 id="_10">局限性</h2>
<ol>
<li><strong>仅限对称/自伴情形</strong>：非对称[[矩阵特征值为复数，Rayleigh商不再实值，极大极小刻画失效
来源
相关 |