LSTM

概述

长短期记忆（Long Short-Term Memory）是一种特殊的循环神经网络，通过记忆细胞和门控机制解决传统RNN的梯度消失问题，能够学习长期依赖关系。由Hochreiter和Schmidhuber于1997年提出，是深度学习序列建模的里程碑式创新。

关键内容

1. 核心创新：
2. 记忆细胞（Memory Cell）：提供专门的通道让信息可以无损地流过任意长的时间跨度
3. 门控机制：包含输入门、遗忘门和输出门，控制信息的流入、保存和流出

4. 常误差流（CEC）：通过自连接权重恒为1，确保误差信号在反向传播时不被缩放

5. 工作原理：

6. 输入门控制当前时刻有多少新信息可以流入记忆细胞
7. 遗忘门控制记忆细胞中有多少旧信息需要被丢弃
8. 输出门控制记忆细胞中的信息有多少可以输出到网络的其他部分

9. 每个时刻都进行"信息审计"——决定保留什么、丢弃什么、输出什么

10. 历史背景：

11. 1990年代初期，RNN无法学习超过10-20个时间步的依赖关系
12. 1991年Hochreiter在本科毕业论文中首次系统分析RNN梯度消失问题
13. 1994年Bengio等人进一步确认该问题

14. 1997年Hochreiter和Schmidhuber发表划时代论文，提出LSTM解决方案

15. 应用领域：

16. 语音识别：Google在2015年前后引入LSTM，使错误率下降近49%
17. 机器翻译：Google翻译在2016年全面切换到基于LSTM的系统，翻译质量出现质的飞跃
18. 金融预测：在捕捉股票价格、汇率等时间序列的长周期模式方面表现优越

19. 手写识别、音乐生成、文本生成、医疗时序数据分析等众多领域

20. 序列建模演化：

21. 2014年：GRU（门控循环单元）简化LSTM为两个门，参数更少，训练更快
22. 2014-2015年：注意力机制增强长距离依赖捕捉能力
23. 2017年：Transformer完全抛弃循环结构，采用自注意力机制

24. LSTM为Transformer的发展奠定了门控和选择性记忆的思想基础

25. 历史意义：

26. 解决了困扰RNN研究界近十年的梯度消失问题
27. 开创了门控网络的范式，影响了后续所有序列建模架构
28. 推动了深度学习的复兴，在深度学习低谷期产生实际成果
29. 论文被引用超过98,000次，是计算机科学领域被引用最多的论文之一
30. 在1997-2017年间成为序列建模的标准架构，驱动了无数AI产品的核心技术

来源

• 12-hochreiter-1997-lstm.md — LSTM历史、核心原理和应用详解
• Long Short-Term Memory (1997 论文) — 原始论文

相关

• Sepp Hochreiter — created_by
• Jurgen Schmidhuber — created_by
• 循环神经网络（RNN） — extends
• 梯度消失 — solves
• 门控机制 — implements
• 常误差流（Constant Error Carousel） — implements
• 遗忘门 — implements
• 输入门 — implements
• 输出门 — implements
• GRU — predecessor_to
• Transformer — predecessor_to
• 注意力机制 — predecessor_to