核技巧

概述 (50-200字符)

核技巧（Kernel Trick）是机器学习中将低维非线性不可分数据映射到高维空间实现线性可分的技术。无需显式计算高维映射φ(x)，只需计算核函数K(xᵢ,xⱼ)=φ(xᵢ)·φ(xⱼ)。

关键内容 (≥300字符, 用双链)

1. 核心思路：低维空间中非线性不可分的数据，通过映射函数φ(x)变换到高维特征空间后可能线性可分。核技巧的魔力在于：不需要显式计算φ(x)，只需计算内积K(xᵢ,xⱼ)=φ(xᵢ)·φ(xⱼ)，大幅降低计算复杂度。
2. 在支持向量机中的应用：将SVM对偶问题中的内积xᵢ·xⱼ替换为K(xᵢ,xⱼ)，预测公式变为：ŷ=sign(Σᵢ αᵢyᵢK(xᵢ,x)+b)。使SVM能够处理非线性分类问题。
3. 常用核函数：
4. 线性核：K(x,x')=x·x'，适用于高维稀疏数据（如文本分类）
5. 多项式核：K(x,x')=(γx·x'+r)ᵈ，适用于图像、NLP
6. RBF/高斯核：K(x,x')=exp(-γ‖x-x'‖²)，通用最常用
7. Sigmoid核：K(x,x')=tanh(γx·x'+r)，类神经网络行为
8. 计算优势：避免显式高维映射的维度灾难。例如RBF核隐含映射到无限维空间，但计算复杂度仅O(n²)，与原始空间相同。
9. 核函数选择：无统一最优核，需交叉验证选择。RBF核通常作为默认首选，线性核适合高维稀疏数据，多项式核适合结构化数据。

来源

• raw/articles/ai-papers/machine-learning/03_svm_1995.md — SVM核技巧详解与常用核函数对比

相关

• 支持向量机 — part_of
• RBF核 — type_of
• 多项式核 — type_of
• 线性核 — type_of
• 特征映射 — depends_on