Rainbow

概述

Rainbow（Hessel et al., DeepMind, AAAI 2018）将 DQN 的六大独立改进系统性地整合为一个算法：Double Q-learning、优先经验回放、Dueling Networks、多步回报、分布式 RL（C51）与 NoisyNets。在 Atari 57 游戏上以 44M 帧超越所有单一方法 200M 帧的性能，中位数人类归一化得分达 223%，是 value-based 深度 RL 的集大成之作。

关键内容

1. 六大组件与协同效应：各组件源于不同论文（2013-2017），Rainbow 首次系统验证它们相互正交且存在协同效应——组合性能远超各自独立性能之和。

2. 消融实验——组件重要性排序：移除优先经验回放导致最大性能下降（最重要），多步回报第二，C51第三，NoisyNets第四，Double Q 次之（分布式学习本身降低过估计），Dueling DQN在完整 Rainbow 中贡献最小。

3. 完整架构：84×84×4 帧 → 共享卷积 → NoisyLinear FC(512) → Dueling 分流（Value 流 + Advantage 流各输出 51 个原子分布）→ 合并为 Q 分布 → PER 采样 + n=3 步目标 + Double 目标计算，损失函数为带 IS 权重的 KL 散度。

4. KL 散度损失：Loss = Σ w_i · KL(Target_dist || Z_θ(s,a))，目标分布由目标网络 + n 步折扣 + Categorical Projection 生成；PER 优先级改为 KL 散度而非 TD 误差。

5. 实验结果：44M 帧时性能超过所有方法 200M 帧的结果；57 款游戏中 40 款（70%）超越人类；中位数得分 223% vs DQN 的 79%。

6. 方法论贡献：建立"系统性消融"作为评估改进组合的标准范式；Atari 57（扩展自 49）成为新标准测试集；证明 value-based 方法通过精心工程可与 policy gradient 方法竞争。

7. 局限性：仅支持离散动作空间；固定原子网格不适合所有分布；六组件叠加计算开销高；对 Montezuma's Revenge 等稀疏奖励游戏仍然无效。

来源

• rl_03_rainbow — Rainbow: Combining Improvements in Deep Reinforcement Learning (arXiv:1710.02298, AAAI 2018)

相关

• DQN — extends
• Double DQN — uses
• Dueling DQN — uses
• 优先经验回放 — uses
• C51 — uses
• NoisyNets — uses
• 多步回报 — uses
• DeepMind — part_of