支持向量机

概述 (50-200字符)

支持向量机（SVM）是一种基于统计学习理论的监督学习分类器，通过最大化分类间隔实现最优决策边界。1995年由Corinna Cortes和Vladimir Vapnik提出，深度学习崛起前（1995-2012）统治机器学习领域。

关键内容 (≥300字符, 用双链)

1. 核心哲学：SVM不寻找任意分割线，而是最大化分类间隔（Margin）——距两类最近样本点距离之和最大的超平面。由VC维理论保证泛化能力最强。落在边界上的训练样本称为支持向量，SVM由此得名。
2. 硬间隔与软间隔：线性可分时用硬间隔SVM，最小化½‖w‖²；实际数据含噪声时用软间隔SVM，引入松弛变量ξᵢ和正则化参数C。C大→严格边界（低偏差高方差），C小→宽松边界（高偏差低方差）。
3. 核技巧：将低维非线性数据映射到高维空间实现线性可分，无需显式计算φ(x)，只需计算内积K(xᵢ,xⱼ)。常用核函数：线性核（文本分类）、多项式核（图像/NLP）、RBF/高斯核（通用最常用）、Sigmoid核（类神经网络）。
4. 与神经网络对比：SVM基于VC维理论有界泛化误差，凸优化保证全局最优，小数据效果好；神经网络经验主义驱动，非凸优化易陷局部最优，需大数据但GPU并行强。
5. 求解算法：通过拉格朗日对偶转化为对偶问题，用SMO算法（Sequential Minimal Optimization）求解。最优解满足KKT条件：αᵢ>0的样本即为支持向量，决定决策边界。
6. 早期发展：1992年的A Training Algorithm for Optimal Margin Classifiers (1992 论文)首次提出了最优边缘分类器的概念，为SVM的发展奠定了基础。

来源

• Support-Vector Networks — Cortes & Vapnik (1995), Machine Learning 20(3), 273-297
• ai_papers_timeline.md — 1992年SVM早期研究记录
• raw/articles/ai-papers/machine-learning/03_svm_1995.md — 详细解读与Python实现

相关

• A Training Algorithm for Optimal Margin Classifiers (1992 论文) — related_to
• Support-Vector Networks (1995 论文) — described_in
• Corinna Cortes — developed_by
• Vladimir Vapnik — developed_by
• 核技巧 — uses
• 最大间隔分类器 — part_of
• VC维理论 — based_on
• SMO算法 — implements
• 神经网络 — compares_to