记忆与泛化
概述
推荐系统设计的核心概念框架，由 Wide & Deep 论文（2016）提出，将推荐挑战抽象为"记忆已知模式"与"泛化未知组合"的统一问题，影响后续所有主流推荐模型设计。
关键内容
- Memorization（记忆）定义：学习训练数据中频繁共现的特征或物品之间的相关性，并利用历史关联进行推荐。本质是"利用已知"，通过特征交叉（如交叉积变换）精确捕捉历史验证有效的模式。例如"安装微信的用户大概率也下载QQ"，模型通过交叉特征记住这一规律。
- Generalization（泛化）定义：基于特征之间的传递性和相关性，探索训练数据中很少出现或从未出现的新特征组合。本质是"推断未知"，通过嵌入表示将高维稀疏特征映射为低维稠密向量，在嵌入空间中通过相似性推断潜在关联。
- 记忆的优势与局限：优势在于对已知模式的高精度复现；局限在于无法泛化到未见过的特征组合——交叉积变换对训练数据中未出现的特征对恒为 0，完全无法提供信息。
- 泛化的优势与局限：优势在于处理新情况和长尾物品；局限在于当用户-物品交互矩阵非常稀疏且高秩时，可能"过度泛化"（over-generalize），推荐出相关性不高的物品。
- 记忆与泛化的互补性：理想的推荐系统应同时具备两种能力，像"既有丰富经验、又有灵活思维"的推荐专家。记忆确保已知模式的精确性，泛化确保新情况的适应性。
- 在 Wide & Deep 中的实现：Wide 组件（线性模型 + 交叉特征）负责记忆，Deep 组件（DNN + 嵌入）负责泛化，通过联合训练在统一框架中实现互补。
- 超越 Wide & Deep 的持久性：即使具体实现被更先进方法取代，这一概念框架依然适用。后续模型（DeepFM、DCN、xDeepFM 等）都在不同方式下解决"如何更好地平衡记忆与泛化"这一核心问题。
- 通俗类比：记忆如同"老中医"——凭借多年经验精准识别常见病症组合；泛化如同"AI 医生"——通过海量数据推理处理罕见病例。两者联合会诊，各取所长、互补短板。
来源
- Heng-Tze Cheng et al. — Wide & Deep Learning for Recommender Systems, DLRS 2016 (arXiv:1606.07792)