最大间隔分类器

概述 (50-200字符)

最大间隔分类器是支持向量机的核心思想：对于线性可分数据，选择距两类最近样本点距离之和最大的超平面作为决策边界，由VC维理论保证泛化能力最强。

问题定义：线性可分数据存在无数条超平面可以分割两类——哪条最好？最大间隔分类器选择距两类最近点距离之和最大的那条超平面。间隔（Margin）定义为两个支持超平面（各类最近点所在超平面）之间的距离：间隔宽度=2/‖w‖。
支持向量：恰好落在间隔边界上的训练样本称为支持向量（Support Vectors），支持向量机由此得名。这些样本对决策边界有唯一贡献，非支持向量（αᵢ=0）对边界无影响。
最优化问题：硬间隔SVM的最小化目标：½‖w‖²（最大化间隔），约束：yᵢ(w·xᵢ+b)≥1（所有样本正确分类）。通过拉格朗日对偶转化为对偶问题求解。
VC维理论保证：Vapnik证明，最大间隔分类器的泛化误差有严格上界，间隔越大泛化能力越强。这是SVM区别于神经网络经验主义路线的理论基础。
软间隔扩展：实际数据含噪声和异常点时，引入松弛变量ξᵢ和正则化参数C，允许部分误分类以换取更宽松的边界和更好的泛化。