遗忘门

概述

遗忘门是 LSTM 架构中的三个门控机制之一，用于控制记忆细胞中有多少旧信息需要被丢弃。遗忘门的输出值在 0 到 1 之间，决定保留多少先前的记忆状态。

关键内容

1. 功能机制：
2. 遗忘门决定记忆细胞中的信息有多少应该被保留或丢弃
3. 通过 sigmoid 函数计算输出值（0 表示完全丢弃，1 表示完全保留）
4. 当某个信息已经过时或不再重要时，遗忘门会输出较小的值，将这部分信息"冲走"

5. 如果信息仍然有用，遗忘门会保持较大的值，保护信息不被覆盖

6. 数学表达：

7. 遗忘门的计算公式为：fₜ = σ(Wf·[hₜ₋₁, xₜ] + bf)
8. 其中 hₜ₋₁ 是上一时刻的隐藏状态，xₜ 是当前时刻的输入

9. Wf 是遗忘门的权重矩阵，bf 是偏置项

10. 在 LSTM 中的作用：

11. 与输入门和输出门协同工作，实现选择性记忆
12. 配合常误差流（CEC）机制，确保重要的长期信息得以保留

13. 通过精确控制信息的保存与删除，提高 LSTM 对长期依赖的学习能力

14. 历史发展：

15. 遗忘门的概念最早在 1997 年 Hochreiter 和 Schmidhuber 的 LSTM 论文中提出
16. 2000 年 Gers 等人对该机制进行了重要的改进和补充
17. 现已成为现代 LSTM 的标准配置

来源

• 12-hochreiter-1997-lstm.md — 遗忘门概念和机制详解

相关

• LSTM — component_of
• 门控机制 — implements
• 常误差流（Constant Error Carousel） — interacts_with
• 输入门 — complements
• 输出门 — complements
• 记忆细胞 — controls