感知机学习规则

概述

Frank Rosenblatt 于 1958 年提出的感知机学习规则是历史上第一个让机器能够从数据中自动学习权重的算法，其核心思想是"错误驱动权重更新"——当预测错误时才调整权重，预测正确则保持不变。

关键内容

1. 算法原理：给定输入向量 x 和真实标签 y，当预测 ŷ 与真实值不匹配时，按照 w ← w + η·(y-ŷ)·x 的规则更新权重，其中 η 是学习率。这相当于沿着错误方向的小步长梯度更新。

2. 更新规则详解： ``` 初始化：权重 w_i 设为小随机数或零 对每个训练样本 (x, y_真实)：

   1. 计算预测：ŷ = sign(w · x)
   2. 如果预测正确（ŷ = y_真实），权重不变
   3. 如果预测错误，则更新权重：w_i ← w_i + η · (y_真实 - ŷ) · x_i ``` 其中 η 是学习率，控制每次调整的幅度。

3. 几何直观：权重更新相当于在特征空间中调整决策边界的方向，使错误分类的样本逐渐被正确分类。当所有样本都被正确分类时，算法收敛。

4. 收敛保证：感知机收敛定理保证，如果训练数据是线性可分的，感知机学习规则一定能在有限步内找到完美的分类超平面。

5. 与现代算法的关系：感知机学习规则是现代机器学习优化算法的鼻祖，其错误驱动的更新策略体现了梯度下降的核心思想，只是用符号函数而非连续损失函数。

来源

• paper_01_perceptron — 论文精读

相关

• 感知机（Perceptron） — implements
• Frank Rosenblatt — implements
• The Perceptron (1958 论文) — implements
• 梯度下降 — compares_to