输入门
概述
输入门是 LSTM 架构中的三个门控机制之一，用于控制当前时刻有多少新信息可以流入记忆细胞。输入门决定新信息的重要性，并调节新信息进入记忆细胞的程度。
关键内容
- 功能机制：
- 输入门控制当前时刻的新信息流入记忆细胞的量
- 通过 sigmoid 函数计算输出值（0 表示完全阻止，1 表示完全通过）
- 当网络判断当前输入非常重要时，输入门会打开，允许新信息进入记忆细胞
-
如果当前输入无关紧要，输入门会关闭，保护已有记忆不受干扰
-
数学表达：
- 输入门的计算公式为：iₜ = σ(Wi·[hₜ₋₁, xₜ] + bi)
- 同时还有一个候选记忆值：C̃ₜ = tanh(Wc·[hₜ₋₁, xₜ] + bc)
- 最终更新的记忆细胞状态为：Cₜ = fₜ ⊙ Cₜ₋₁ + iₜ ⊙ C̃ₜ
-
其中 hₜ₋₁ 是上一时刻的隐藏状态，xₜ 是当前时刻的输入
-
在 LSTM 中的作用：
- 与遗忘门和输出门协同工作，实现选择性记忆
- 评估当前输入的价值，决定哪些信息值得存储
- 配合常误差流（CEC）机制，确保重要新信息能被有效保存
-
通过精确控制新信息的接收，提高 LSTM 对长期依赖的学习能力
-
与其他门的协作：
- 与遗忘门协调工作，平衡旧信息保留和新信息获取
- 配合输出门，决定何时使用当前的记忆信息
- 三门协同实现选择性记忆、选择性遗忘、选择性输出
来源
- 12-hochreiter-1997-lstm.md — 输入门概念和机制详解