深度信念网络

概述

深度信念网络是由多层受限玻尔兹曼机（RBM）堆叠而成的深层生成模型，能够进行有效的无监督预训练。

关键内容

1. 架构组成：DBN由多个受限玻尔兹曼机（RBM）层叠构成，底层是一个RBM，其余层作为有向信念网络。每一层RBM通过无监督学习进行贪婪逐层预训练。

2. 训练策略：采用贪婪逐层预训练（Greedy Layer-wise Pre-training）策略，先训练底层RBM，固定下层参数后再训练上层RBM，最后使用反向传播进行整体微调。

3. 历史意义：DBN的提出解决了深度网络训练困难的问题，开启了深度学习的复兴时代，为后续更深层网络的发展奠定了基础。

4. 逐层预训练：使用 RBM 逐层训练网络，每层学习上一层输出的特征表示。

5. 深度学习复兴：2006 年 Hinton 的论文展示了 DBN 可以克服 梯度消失 问题，引发了深度学习复兴。

6. 历史意义：为后续的 预训练-微调范式 和 BERT 等预训练模型奠定了思想基础。

来源

• ai_papers_timeline.md — 2006年深度学习复兴
• Reducing the Dimensionality of Data with Neural Networks (2006 论文) — Geoffrey Hinton和Ruslan Salakhutdinov的关键论文

相关

• Reducing the Dimensionality of Data with Neural Networks (2006 论文) — described_in
• Geoffrey E. Hinton — created_by
• Ruslan Salakhutdinov — collaborated_with
• Restricted Boltzmann Machine — composed_of
• Unsupervised Pre-training — implements
• Deep Learning Renaissance — instrumental_in
• 预训练-微调范式 — influenced
• 梯度消失 — addresses