内存墙

概述

现代计算机系统中，处理器计算速度与内存访问速度之间的巨大差距造成的性能瓶颈现象，是冯·诺依曼瓶颈在现代硬件环境下的具体体现。

关键内容

1. 形成原因：
2. 现代处理器可以在一个纳秒内完成一次运算
3. 但从主内存读取一个数据可能需要几十到上百纳秒

4. 这种速度差异形成了显著的性能瓶颈

5. 与冯·诺依曼瓶颈的关系：

6. 冯·诺依曼瓶颈描述了CPU与内存之间数据传输的根本限制

7. 内存墙是这一问题在现代硬件条件下的具体表现

8. 现代解决方案：

9. 复杂的缓存层次结构（L1、L2、L3 cache）
10. 数据预取技术
11. 乱序执行

12. 分支预测

13. 对大语言模型的影响：

14. 大语言模型的训练和推理都是极度内存密集的任务
15. 模型参数存储在内存中，推理过程需要频繁读取这些参数
16. 内存带宽已经成为限制LLM推理速度的主要瓶颈之一

来源

• 03-von-neumann-edvac — 第10.1节

相关

• 冯·诺依曼瓶颈 — related concept
• 冯·诺依曼架构 — source of the problem
• 缓存 — solution approach
• 大语言模型 — affected application area