对抗训练

概述

一种通过两个或多个模型相互竞争来优化目标函数的训练范式，在 GAN 中体现为生成器与判别器的零和博弈。

关键内容

1. 核心机制：对抗训练 将学习过程建模为博弈问题。在 生成对抗网络（GAN） 中，生成器 试图生成以假乱真的样本，判别器 试图正确区分真假样本。两者的目标函数相互对立，形成 零和博弈：一方的收益等于另一方的损失。
2. 数学形式：GAN 的对抗训练目标为 min_G max_D V(D, G)，其中判别器 D 最大化目标函数（正确分类），生成器 G 最小化目标函数（欺骗判别器）。实践中 G 使用非饱和目标 log D(G(z)) 以避免早期训练梯度饱和。
3. 训练挑战：对抗训练面临 模式崩塌（生成器收敛到单一输出）、训练不稳定（损失震荡）、梯度消失（判别器过强时生成器无梯度）等问题。Wasserstein距离（WGAN）和谱归一化等技术旨在稳定对抗训练过程。
4. 理论保证：在理想条件下（G 和 D 容量足够、每步 D 更新至最优），对抗训练收敛至 纳什均衡，此时生成分布等于真实分布，判别器无法区分真假（输出恒为 1/2）。

来源

• Generative Adversarial Nets (2014 论文) — 原始论文中提出的对抗训练框架

相关

• 生成对抗网络（GAN） — part_of
• 零和博弈 — uses
• 纳什均衡 — relates_to
• 模式崩塌 — relates_to
• 梯度消失 — relates_to
• Wasserstein距离 — extends