两阶段推荐架构
概述
推荐系统的标准架构范式：第一阶段候选生成从海量候选中快速筛选（高召回），第二阶段排序精细化打分（高精确），在效率与效果间取得平衡。
关键内容
-
架构总览：数十亿视频语料库 → 候选生成（缩小到数百个）→ 排序（精细化到数十个）→ 用户。核心思想是"漏斗模型"（Funnel Model）：第一阶段用相对简单的模型快速筛选，第二阶段用更复杂、特征更丰富的模型精排。两个阶段各司其职，在效率和效果之间取得精妙平衡。
-
候选生成阶段（Candidate Generation / 召回）：从数十亿候选集中快速筛选出数百个粗略候选。使用相对粗粒度的特征（如观看历史 embedding 平均、搜索历史、人口统计学），模型目标为高召回率。服务方式通常为 近似最近邻检索（ANN），在亚线性时间内完成检索。详见 候选生成。
-
排序阶段（Ranking / 精排）：对数百个候选进行精细化打分排序。可使用丰富得多的特征（因为计算量可控），包括候选视频 embedding、用户与候选视频的交互特征、候选来源特征、用户历史统计特征、视频特征等。模型目标为高精确率，服务方式为逐一打分。
-
历史渊源：信息检索领域早有"粗排 + 精排"的思想，但 Deep Neural Networks for YouTube Recommendations（RecSys 2016）是第一次在深度学习时代以完整系统的方式将其应用于推荐系统，并在全球最大的视频平台上验证了有效性。
-
架构演进：该范式后来被进一步细化为"召回 → 粗排 → 精排 → 重排"的四阶段流水线，但基本思想一脉相承。全球几乎所有大规模推荐系统——淘宝、抖音、快手、Netflix、Spotify、LinkedIn、Twitter（X）——都在某种程度上遵循这一架构。
-
现代演进（2016 → 2026）：候选生成从简单 DNN + ANN 发展为多路召回 + 图神经网络 + 序列模型；排序从 DNN + 手工特征发展为 Transformer + 自动特征交叉 + 多任务学习；特征从稀疏 ID + 简单统计发展为预训练 embedding + 实时特征 + 多模态特征；优化目标从单目标发展为多目标联合优化 + 约束优化。
-
为何端到端无法替代：尽管学术界不断提出端到端（end-to-end）的推荐方案，但在真实的超大规模场景下，两阶段架构在效率和效果之间的平衡仍然无可替代。当需要从数十亿候选中进行快速检索时，"embedding + ANN"范式是不可或缺的基础组件。
来源
- 07-youtube-dnn.md — Deep Neural Networks for YouTube Recommendations 深度解读