输出门

概述

输出门是 LSTM 架构中的三个门控机制之一，用于控制记忆细胞中的信息有多少可以输出到网络的其他部分。输出门决定当前记忆细胞中的哪些信息需要用于计算当前时刻的输出。

关键内容

1. 功能机制：
2. 输出门控制记忆细胞中的信息有多少可以输出到网络的其他部分
3. 通过 sigmoid 函数计算输出值（0 表示完全阻止，1 表示完全通过）
4. 有些信息虽然需要保存，但当前时刻并不需要使用，输出门会限制其流出

5. 输出门的决策会影响 LSTM 单元当前时刻的隐藏状态 hₜ

6. 数学表达：

7. 输出门的计算公式为：oₜ = σ(Wo·[hₜ₋₁, xₜ] + bo)
8. 首先计算潜在输出：h̃ₜ = tanh(Cₜ)
9. 最终的隐藏状态为：hₜ = oₜ ⊙ h̃ₜ

10. 其中 hₜ₋₁ 是上一时刻的隐藏状态，xₜ 是当前时刻的输入

11. 在 LSTM 中的作用：

12. 与遗忘门和输入门协同工作，实现选择性记忆
13. 决定从更新后的记忆中提取哪些信息作为当前时刻的输出
14. 控制记忆细胞对网络其他部分的影响程度

15. 确保 LSTM 在每个时间步只输出必要的信息

16. 与其他门的协作：

17. 与遗忘门协调工作，平衡信息的保存与删除
18. 与输入门配合，控制新信息的接收和旧信息的输出

19. 三门协同实现选择性记忆、选择性遗忘、选择性输出的完整闭环

20. 重要性：

21. 输出门的存在确保了记忆细胞中的信息不是强制输出的
22. 允许 LSTM 在某些时间步保留信息而不立即使用
23. 提高了 LSTM 处理复杂序列的灵活性和精度

来源

• 12-hochreiter-1997-lstm.md — 输出门概念和机制详解

相关

• LSTM — component_of
• 门控机制 — implements
• 记忆细胞 — accesses
• 遗忘门 — complements
• 输入门 — complements
• 隐藏状态 — produces