损失景观平滑化

概述

BatchNorm 和 ResNet 等技术的共同效果：使神经网络的损失函数曲面更加平滑，便于优化。

关键内容

1. 损失景观概念：损失景观（Loss Landscape）是损失函数关于网络参数的几何形状。尖锐的景观（sharp minima）导致优化困难和泛化差；平滑的景观（flat minima）使梯度下降更稳定且泛化更好。
2. BatchNorm 的作用：通过归一化每层的激活值分布，BatchNorm 减少了内部协变量偏移，使得损失景观更加平滑，允许使用更大的学习率和更快的收敛。
3. 残差连接的作用：ResNet 的跳跃连接在损失景观中创建了更平滑的梯度流路径，使得超深网络（100+ 层）的优化成为可能。研究表明残差网络的损失景观比_plain_网络更加平滑且具有更少的局部最优。

损失景观平滑化是理解 BatchNorm 和 ResNet 为何有效的统一视角，解释了它们如何改善深层网络的优化动力学。

来源

• Batch Normalization — 平滑化机制
• 残差网络（ResNet） — 平滑化机制

相关

• Batch Normalization — achieves
• 残差连接（Residual Connection） — achieves
• 梯度消失 — mitigates
• 内部协变量偏移 — relates_to