推荐系统基础模型

概述

类比 BERT 之于 NLP、ViT 之于 CV 的推荐系统愿景——通过大规模预训练获得通用推荐理解能力，通过 Prompt/指令适配具体场景。

关键内容

1. 概念提出：P5 论文（RecSys 2022）明确提出了"推荐系统基础模型"的愿景，类比 BERT 之于 NLP、ViT 之于计算机视觉，希望成为推荐系统领域的基础模型——通过大规模预训练获得通用的推荐理解能力，然后通过 Prompt 来适配具体的推荐场景。

2. 核心特征：

3. 大规模预训练：在海量推荐数据上预训练，获得通用的用户-物品交互理解能力
4. 任务无关性：同一模型可适配评分预测、序列推荐、解释生成等多种任务
5. Prompt/指令驱动：通过自然语言 Prompt 或指令调优适配下游场景

6. 迁移能力：支持跨域推荐、zero-shot/few-shot 泛化

7. 从浅层到深度到大模型：P5 论文描述了推荐系统的演进路径——从浅层模型（矩阵分解、协同过滤）到深度模型（NeuMF、Wide & Deep）再到大模型（基于 LLM 的统一推荐），这一预见在后续几年中确实成为了现实。

8. 技术路线：

9. P5 路线（2022）：基于 T5-small/base（60M-223M），Prompt 模板，全参数微调

10. 现代方案（2024-2025）：基于 LLaMA/Mistral/Qwen（7B-70B），指令调优，LoRA/QLoRA 参数高效微调

11. 挑战：推理效率（自回归解码延迟）；物品词汇表可扩展性；ID 语义鸿沟；工业落地兼容性。工业界对完全替代传统推荐模型持谨慎态度，更多将 LLM 作为辅助组件（特征增强、冷启动解决、用户意图理解）。

12. 后续工作：OpenP5 标准化基准平台、VIP5 多模态扩展、InstructRec 指令调优、TALLRec LLaMA 微调、LC-Rec 语义 ID、LLMRec 双表示、DEALRec 数据剪枝。

来源

• Shijie Geng et al. — P5: Recommendation as Language Processing, RecSys 2022 (arXiv:2203.13366)
• Wu et al. — A Survey on Large Language Models for Recommendation, ACM TOIS 2024

相关

• P5 论文 — 首次提出推荐系统基础模型愿景
• 生成式推荐 — 基础模型的核心范式
• T5 — P5 使用的基础模型骨干
• 多任务学习 — 基础模型的训练策略
• OpenP5 — 基础模型的标准化基准平台
• 指令调优 — 现代基础模型的适配方式
• 矩阵分解 — 推荐系统"浅层模型"时代
• NeuMF — 推荐系统"深度模型"时代
• Wide & Deep — 推荐系统"深度模型"时代