偏差-方差分解
概述 (50-200字符)
将模型期望误差分解为偏差平方、方差和不可约噪声三部分，用于理解模型的欠拟合与过拟合行为及集成方法的有效性。
关键内容 (≥300字符, 用双链)
- 分解公式：期望误差 = 偏差² + 方差 + 不可约噪声。偏差衡量模型预测与真实值的系统偏离（欠拟合指标），方差衡量模型对训练数据变化的敏感度（过拟合指标），不可约噪声是数据本身的随机性。
- 单棵决策树的特性：完整生长的决策树偏差低（几乎完美拟合训练数据），但方差高（对训练数据噪声极敏感）。这正是单棵树不稳定的根源——训练数据稍有变化，整棵树结构就可能面目全非。
- 集成方差公式：T 棵相关系数为 ρ、方差各为 σ² 的树，集成方差 = ρ·σ² + (1-ρ)/T · σ²。当 T → ∞ 时，方差下限 = ρ·σ²，由树间相关性决定。Bagging（自举聚合） 通过独立训练降低方差，随机森林（Random Forests） 进一步通过随机特征子集降低 ρ。
- 随机森林的偏差-方差权衡：随机特征选择略微升高偏差（限制了每棵树的最优性），但显著降低树间相关性 ρ，使集成方差进一步降低，整体误差显著减小。
来源
- [Breiman, L. (2001). Random forests. Machine learning, 45(1), 5–32.] — 用偏差-方差分解分析随机森林的理论基础
相关
- 随机森林（Random Forests） — explains
- Bagging（自举聚合） — explains
- 过拟合 — relates_to
- 欠拟合 — relates_to