侧抑制

概述

侧抑制是神经科学中的现象——相邻神经元之间相互竞争抑制，使响应更强的神经元更加突出。AlexNet 的 LRN 归一化技术即受此启发。

关键内容

1. 生物学基础：在生物视觉系统中，视网膜和视觉皮层的相邻神经元通过侧抑制机制相互抑制。这使得边缘和对比度被增强——例如马赫带效应（Mach bands）就是侧抑制的视觉表现。
2. 在 CNN 中的模拟：局部响应归一化（LRN） 是侧抑制在人工神经网络中的模拟。LRN 对同一空间位置、相邻通道的激活值做归一化：响应大的通道被增强，响应小的通道被抑制。AlexNet 在 Conv1 和 Conv2 后使用 LRN。
3. 数学形式：LRN 公式为 aᵢ / (k + α·Σⱼ aⱼ²)^β，其中求和跨越相邻通道。AlexNet 使用 k=2, α=0.0001, β=0.75, 窗口大小 n=5。
4. 后续发展：侧抑制启发的 LRN 后来被 Batch Normalization 取代。BN 对整个 mini-batch 做统计归一化，效果更强且计算更高效。侧抑制作为生物学灵感到工程实现的桥梁，在 CNN 演化史上具有历史意义。

来源

• [raw/articles/ai-papers/foundations/paper_03_alexnet.md] — AlexNet 论文精读

相关

• 局部响应归一化（LRN） — inspired
• AlexNet — used_in
• Batch Normalization — superseded_by
• 神经科学 — biological_origin
• 卷积神经网络（CNN） — applied_in