3×3卷积核
概述
3×3卷积核是深度学习中使用最广泛的卷积核尺寸,特别在VGGNet架构中被系统性应用。通过多个3×3卷积的组合可以等效更大的感受野,同时保持较少的参数量并增加非线性激活次数。
关键内容
-
参数效率优势:两个连续的3×3卷积核的参数量为27C²(3×3²C²),而一个5×5卷积核的参数量为49C²。在获得相同感受野的同时,3×3组合减少了约45%的参数。
-
感受野等效性:两个3×3卷积的串联可以获得5×5卷积相同的感受野,三个3×3卷积串联等效于7×7卷积的感受野,公式为:n个3×3卷积的等效感受野大小为(2n+1)×(2n+1)。
-
非线性增强:相比于单个大卷积核,多个小卷积核串联可以在相同空间覆盖下引入更多非线性激活函数(如ReLU),增强网络的表达能力。
-
VGGNet中的应用:VGGNet首次系统性地证明了只使用3×3卷积核,通过增加网络深度可以显著提升性能,这一设计理念成为后续许多架构的基础。
-
现代应用:虽然3×3卷积仍然是CNN的基础组件,但在现代架构中通常与其他技术(如残差连接、批归一化)结合使用以进一步提升性能。
来源
- Very Deep Convolutional Networks for Large-Scale Image Recognition (2014 论文) — VGGNet原始论文
- raw/articles/ai-papers/foundations/paper_11_vggnet.md — 全文精读
相关
- 卷积神经网络(CNN) — part_of
- VGGNet — used_in
- 感受野 — affects
- 参数效率 — improves
- 非线性激活 — benefits_from
- 卷积运算 — relates_to
- 卷积神经网络(CNN) — relates_to
- AlexNet — compares_to
- GoogLeNet: Inception — compares_to