决策边界

概述

分类模型在特征空间中划分的分界面，用于区分不同类别的数据点；感知机学习的本质就是寻找最优决策边界。

几何定义：决策边界是特征空间中一个将不同类别数据点分开的曲面。对于线性分类器，决策边界是一个超平面，由方程 $\mathbf{w} \cdot \mathbf{x} + b = 0$ 定义。在二维空间中它是一条直线，在三维空间中是一个平面。
感知机与决策边界：感知机（Perceptron）通过感知机学习规则反复调整权重，自动寻找一条决策边界。当数据线性可分时，感知机收敛定理保证感知机一定能在有限步内找到正确的边界。
线性不可分问题：当数据无法被任何直线或超平面分开时，称为线性不可分。经典的XOR 问题就是典型例子——四个点交替分布在正方形的四个角上，无论怎么画直线都无法正确分类。这暴露了单层感知机的根本局限。
超越线性边界：解决非线性决策边界需要更强大的模型。多层感知机通过叠加多层神经元可以学习任意复杂的非线性决策边界，这是深度学习能力的核心来源。支持向量机则通过核技巧将数据映射到高维空间来寻找线性边界。