级联推荐管道
概述
工业推荐系统的经典架构,将推荐流程分为召回→粗排→精排→重排多个独立优化阶段,过去十年主导了行业实践,但面临端到端优化困难和 Scaling 瓶颈。
关键内容
- 标准架构:以 YouTube 2016 年里程碑论文为蓝本,形成四阶段管道:
- 召回(Retrieval):从数十亿候选中快速筛选数千个,通常使用 双塔模型 或倒排索引,依赖 近似最近邻检索。
- 粗排(L1 Ranking):轻量模型将候选缩减到数百个。
- 精排(L2 Ranking):复杂模型(DLRM / DCN / DeepFM 等)精细排序,核心是 CTR 预估。
-
重排(L3 / Value Model):根据业务策略做最终调整。
-
核心问题:
- 独立优化:每层独立优化,召回层的好候选可能被排序层忽略,排序层高分可能被重排层否决。
- 信息损失:各阶段由不同团队维护,端到端优化几乎不可能,信息在传递中不断丢失。
-
Scaling 瓶颈:传统 DLRM 在约 200B 参数后性能饱和,无法通过增加计算量持续提升。
-
与 生成式推荐 的对比:HSTU / GR 将召回和排序统一到单一序列生成模型中,消除了级联管道的阶段间信息损失。通过 M-FALCON 实现端到端推理,在相同预算下处理 285 倍复杂度。
-
历史地位:级联管道是工业推荐系统过去十年的标准范式,其"分而治之"的设计在算力受限时代是务实选择。但随着算力增长和 推荐系统 Scaling Laws 的发现,其局限性日益凸显。
-
现实约束:尽管生成式推荐展示了端到端范式的优势,级联管道在可预见的未来仍将是大多数中小公司的主流选择——万亿参数模型的训练和部署门槛过高。