线性分类器

概述

一类通过寻找线性决策边界（直线或超平面）将数据分为两类的机器学习模型，感知机是最简单的线性分类器，现代逻辑回归和SVM也属于此类。

关键内容

1. 基本定义：线性分类器学习一个线性函数 $f(\mathbf{x}) = \mathbf{w} \cdot \mathbf{x} + b$，通过判断 $f(\mathbf{x})$ 的正负来将输入样本分到两个类别之一。其决策边界是一个超平面 $\mathbf{w} \cdot \mathbf{x} = -b$。
2. 感知机作为线性分类器：感知机（Perceptron）本质上是最简单的线性二分类器。它通过感知机学习规则自动调整权重 $\mathbf{w}$ 和偏置 $b$，寻找一条能将两类数据分开的决策边界。
3. 能力边界——线性可分性：线性分类器只能解决线性可分的问题，即存在一条直线(二维)或超平面(高维)能将不同类别的数据完全分开。经典的XOR 问题就是线性不可分的，因此单层感知机无法解决。
4. 与现代模型的关系：逻辑回归、[支持向量机]的线性核版本都属于线性分类器家族。感知机是这一家族的最早成员，其迭代学习思想直接影响了后来的随机梯度下降（SGD）等优化方法。

来源

• paper_01_perceptron.md — 感知机能做什么章节

相关

• 感知机（Perceptron） — simplest instance
• 决策边界 — defines
• 支持向量机 — compares_to (both linear classifiers)
• XOR 问题 — limitation example
• 随机梯度下降（SGD） — optimization method