生成式解码器

概述

Informer模型提出的解码器设计，通过一步并行生成完整预测序列，避免自回归模式下的误差累积和低效问题。

关键内容

1. 传统解码器问题：
2. 标准Transformer解码器采用自回归方式逐步生成输出
3. 需预测720个时间步则需串行执行720次前向传播

4. 效率极低且误差随步数不断累积

5. 生成式设计：

6. 将目标序列前半部分已知值作为"启动token"，类似NLP中的prompt
7. 解码器输入由两部分拼接：Start Token（目标序列之前的已知序列）和占位符（用零向量填充的目标预测位置）

8. 一次前向传播即可填充所有占位符，生成完整预测序列

9. 性能提升：

10. 推理速度提升数个数量级
11. 根本上避免自回归模式下的误差累积问题
12. 适用于长期预测任务

来源

• 15-informer-2021-transformer-time-series — Informer: 当 Transformer 叩开时间序列预测的大门
• [[]] —

相关

• Informer — part_of
• 自注意力蒸馏 — relates_to
• 时间序列预测 — relates_to
• Transformer解码器 — extends