长期依赖问题

概述

长期依赖问题是序列建模中的一个根本挑战，指网络需要利用很久以前的信息来理解当前的输入，但传统方法无法有效实现这一点。

关键内容

1. 问题描述：
2. 网络需要利用很久以前的信息来理解当前的输入，但它做不到
3. 如在小说中，第一章埋下的伏笔可能到第二十章才体现其重要性

4. 传统RNN在处理这种跨时间的关联时表现很差

5. 在RNN中的表现：

6. RNN几乎无法学习超过10到20个时间步的依赖关系
7. 在读取长序列时，早期信息会在层层传递中被"稀释"殆尽

8. 网络无法建立长距离的模式关联

9. 根本原因：

10. 与梯度消失问题密切相关
11. 在反向传播过程中，误差信号沿时间传递时被权重矩阵连乘

12. 导致网络无法学习到长期的依赖关系

13. 解决方案：

14. LSTM通过记忆细胞和门控机制解决了此问题
15. 记忆细胞提供了专门通道让信息可以无损地流过任意长的时间跨度
16. 门控机制控制信息的选择性记忆、遗忘和输出

来源

• 12-hochreiter-1997-lstm.md — 长期依赖问题分析

相关

• 循环神经网络（RNN） — affects
• LSTM — solved_by
• 梯度消失 — related_to
• 时间序列分析 — occurs_in
• 序列建模 — occurs_in