残差网络（ResNet）

概述

何恺明等人于2015年在微软亚洲研究院提出的深度网络架构，通过残差连接解决退化问题，使网络可训练至152层以上。ResNet 在 ILSVRC 2015 竞赛中获得图像分类、目标检测、图像定位三项冠军，并获得 CVPR 2016 最佳论文奖，成为 AI 历史上最具有影响力的网络架构之一。

关键内容

核心架构：残差网络通过引入残差连接（Residual连接）（skip connection/恒等捷径），将传统网络的直接映射 H(x) 重构为 H(x) = F(x) + x，其中 F(x) 是网络学习的残差。这一设计使梯度可以通过"梯度高速公路"直接流向浅层，解决了深层网络的梯度消失问题。
两种残差块：
BasicBlock（用于ResNet-18/34）：Conv3×3-BN-ReLU-Conv3×3-BN结构，简单高效。
Bottleneck（用于ResNet-50/101/152）：1×1降维-3×3-1×1升维结构，通过1×1卷积将计算量减少约40%，使更深的网络得以实现。
ResNet家族：
ResNet-18（11.7M参数, ~10% Top-5错误率）
ResNet-34（21.8M参数, 7.73% Top-5错误率）
ResNet-50（25.6M参数, 6.71% Top-5错误率，最常用版本）
ResNet-101（44.5M参数, 6.05% Top-5错误率）
ResNet-152（60.2M参数, 4.49% Top-5错误率，152层的超深网络）
退化问题的解决：退化问题（Degradation Problem）指更深层网络训练误差反而更高的现象。ResNet通过残差学习使网络在最优解接近恒等映射时只需将权重推向零，比学习恒等变换容易得多。实验表明，即使到1202层的超深网络仍能训练，这在普通网络中是不可能的。
竞赛成就：在ILSVRC 2015中获得图像分类、目标检测、图像定位三项第一，以及COCO 2015检测任务第一，同时获得CVPR 2016最佳论文奖，成为史无前例的"五冠王"。ResNet-152在ImageNet以3.57% Top-5错误率夺冠，首次超越人类图像识别水平（约5.1%）。
广泛影响：残差连接成为现代深度学习的默认范式，被Transformer、GPT、BERT、U-Net、神经ODE等架构广泛采用。后续衍生出DenseNet、SENet、ResNeXt、EfficientNet等变体，影响遍及计算机视觉、自然语言处理等所有深度学习领域。
理论解释：
梯度高速公路：提供了∂L/∂x = ∂L/∂y · (1 + ∂F(x)/∂x)的直接路径，保证梯度不会完全消失
隐式集成：相当于对指数级数量浅层路径进行集成
损失曲面平滑化：使优化过程更加稳定
维度不匹配处理：当输入输出维度不匹配时（如通道数翻倍、特征图尺寸减半），通过1×1投影卷积或补零操作调整跳跃连接的维度。
具体实验数据：在CIFAR-10上的实验显示，普通网络（Plain Network）在56层以上开始出现退化，而残差网络（ResNet）即使到1202层仍可训练。例如，56层ResNet的错误率为6.97%，而对应的plain网络错误率为7.20%。

来源

raw/articles/ai-papers/machine-learning/13_resnet_2015.md — 原始笔记文件
raw/articles/ai-papers/foundations/paper_05_resnet.md — 全文精读
https://arxiv.org/abs/1512.03385 — arXiv 论文原文

残差网络（ResNet）

概述

关键内容

来源

相关