稀疏激活

概述

稀疏激活指神经网络中仅部分神经元在给定输入时被激活的现象。ReLU 激活函数天然产生约 50% 的稀疏性，有助于防止过拟合并提升计算效率。

关键内容

1. ReLU 产生的稀疏性：ReLU 函数 f(x) = max(0, x) 将所有负输入置为零。在训练中，约 50% 的神经元输出为零，形成稀疏激活模式。相比之下，Sigmoid激活函数 对所有输入都产生非零输出，所有神经元同时激活。
2. 稀疏性的优势：(1) 防止过拟合——稀疏表示迫使网络学习更鲁棒的特征，减少对单一神经元的依赖；(2) 计算效率——零激活可以跳过计算，减少浮点运算量；(3) 生物学合理性——大脑中同一时刻仅少量神经元活跃。
3. 在 AlexNet 中的体现：AlexNet 使用 ReLU 后，网络天然具有稀疏激活特性。这与 Dropout（随机失活） 的稀疏化效果互补——ReLU 在单样本层面产生稀疏，Dropout 在网络结构层面产生稀疏。
4. 现代意义：稀疏激活是 ReLU 成为深度学习默认激活函数的重要原因之一。后续的 Leaky ReLU、GELU 等变体都在保留稀疏性的同时试图缓解"死亡神经元"问题。

来源

• [raw/articles/ai-papers/foundations/paper_03_alexnet.md] — AlexNet 论文精读

相关

• ReLU激活函数 — produces
• Sigmoid激活函数 — contrasts_with
• AlexNet — demonstrated_in
• 过拟合（Overfitting） — helps_prevent
• Dropout（随机失活） — complementary_to