模式崩塌

概述

GAN 训练中生成器仅产生有限种类样本的失效模式，导致输出多样性严重不足，是对抗训练的核心难题之一。

关键内容

1. 现象描述：模式崩塌 指 生成对抗网络（GAN） 的 生成器 在训练过程中退化到只生成少数几种样本的状态。例如，训练生成人脸时，生成器可能只输出同一张脸的不同变体，而非多样化的人脸。这表明生成器找到了判别器的某个"盲点"并反复利用。
2. 成因分析：模式崩塌源于对抗训练的 零和博弈 本质。当生成器发现某类样本能有效欺骗判别器时，梯度更新会强化这一策略，导致生成器忽略数据分布的其他模式。判别器无法提供足够的梯度信号来引导生成器探索其他模式。
3. 解决方案：Wasserstein距离（WGAN）通过提供更平滑的梯度缓解模式崩塌；Minibatch Discrimination 让判别器能看到批次内样本的多样性；谱归一化限制判别器的 Lipschitz 常数，防止其过强；Unrolled GAN 让生成器考虑判别器的多步更新。
4. 与梯度消失的关系：模式崩塌和 梯度消失 是 GAN 训练中两个相关但不同的问题。梯度消失发生在判别器过强时（生成器梯度为零），而模式崩塌发生在生成器找到判别器的单一弱点时。两者都源于对抗博弈的不稳定性。

来源

• Generative Adversarial Nets (2014 论文) — 原始论文中提及的训练不稳定性
• 10_gan_2014.md — 源文件，含问题对照表

相关

• 生成对抗网络（GAN） — relates_to
• 对抗训练 — relates_to
• Wasserstein距离 — extends
• 梯度消失 — compares_to
• 零和博弈 — relates_to