纳什均衡
概述
博弈论中各方策略达到稳定状态的解,在 GAN 中对应生成分布等于真实分布、判别器无法区分真假的最优点。
关键内容
- 定义:纳什均衡 是博弈论的核心概念,由 John Nash 提出。在一个策略组合中,如果没有任何参与方可以通过单方面改变自己的策略而获得更好的结果,则该策略组合构成纳什均衡。对于两人博弈 (A, B),策略组合 (s_A, s_B) 是纳什均衡当且仅当:u_A(s_A, s_B) ≥ u_A(s_A, s_B) 对所有 s_A 成立,且 u_B(s_A, s_B) ≥ u_B(s_A, s_B) 对所有 s_B 成立。
- 在 GAN 中的意义:生成对抗网络(GAN) 的训练目标是达到纳什均衡。Goodfellow 在 Generative Adversarial Nets (2014 论文) 中严格证明了:当生成分布 p_g 等于真实数据分布 p_data 时,系统达到全局最优均衡,此时判别器 D(x) = 1/2(对任何输入都无法区分真假),全局损失 C(G) = -log 4。
- 收敛定理:论文证明若 G 和 D 有足够容量(能表示任意函数),且训练算法每步将 D 更新至最优,则算法收敛至 p_g = p_data 的纳什均衡。但这一理论条件在现实中无法满足——神经网络容量有限、优化算法非完美、训练步数有限。
- 实际挑战:由于无法达到理论纳什均衡,GAN 训练中出现 模式崩塌、损失震荡等问题。Wasserstein距离(WGAN)通过提供更有意义的梯度度量来改善收敛行为,谱归一化通过限制判别器的 Lipschitz 常数来稳定训练。
来源
- Generative Adversarial Nets (2014 论文) — 原始论文中的收敛定理
- 10_gan_2014.md — 源文件
相关
- 生成对抗网络(GAN) — relates_to
- 零和博弈 — relates_to
- 对抗训练 — relates_to
- 模式崩塌 — relates_to
- Wasserstein距离 — extends