扩散模型

概述

扩散模型是一种生成模型，通过逐步添加噪声到数据然后学习逆转这一过程来生成新样本。

关键内容

1. 扩散过程：前向扩散过程通过一系列马尔可夫步骤逐渐向数据添加高斯噪声，直到数据完全变成噪声；反向过程则学习逐步去噪，从纯噪声中恢复原始数据分布。

2. 训练目标：模型训练目标是学习预测每一步中添加的噪声，通过优化变分下界来实现有效的去噪过程学习。

3. 生成能力：扩散模型能够生成高质量的图像、音频和其他数据类型，相比GAN具有更好的稳定性，避免了模式崩塌问题，且生成质量优异。

4. 前向加噪与反向去噪：逐步添加高斯噪声破坏数据，然后训练神经网络学习反向去噪过程。

5. 训练稳定性：相比 生成对抗网络（GAN） 的对抗训练，扩散模型训练更稳定，不易出现 模式崩塌。

6. 应用扩展：从 DDPM 到 Stable Diffusion、DALL-E 2，扩散模型成为图像生成的主流范式。

来源

• ai_papers_timeline.md — 2020年扩散模型提出
• Denoising Diffusion Probabilistic Models (2020 论文) — Jonathan Ho等人在DeepMind的研究

相关

• Denoising Diffusion Probabilistic Models (2020 论文) — described_in
• Jonathan Ho — created_by
• DeepMind — developed_at
• DDPM — instance_of
• Variational Autoencoders — compares_to
• 生成对抗网络（GAN） — compares_to
• Stable Diffusion — extends_to
• Markov Chain — uses