负采样 Negative Sampling

概述

从用户未交互的物品中选择负样本用于模型训练的策略，其质量直接影响排序模型的学习效果。

关键内容

1. BPR 中的均匀负采样：原始 BPR 从用户未交互物品集合 I \ I_u^+ 中均匀随机采样负样本 j，构建三元组 (u, i, j)。这种策略简单但信息量低，大多数随机负样本与正样本差距悬殊，模型可轻松区分，梯度趋近于零。

2. 假负样本问题：用户未交互的物品中有些实际是用户会喜欢的，将其作为负样本训练可能误导模型。这是隐式反馈场景固有的挑战。

3. 改进策略：

4. DNS (Dynamic Negative Sampling)：动态选择当前模型打分较高的未交互物品作为负样本，提供更有梯度的学习信号
5. Adversarial Negative Sampling：对抗式负采样，生成器学习选择难负样本，判别器学习区分
6. IRGAN：结合生成对抗网络的负采样框架

7. ANCE：近似最近邻负采样，从稠密检索中选择难负样本

8. 与对比学习的联系：对比学习中的负样本选择策略（如 mini-batch 内采样、hard negative mining）与推荐系统中的负采样有共通之处。InfoNCE 损失中的负样本质量直接影响表征学习效果。

9. 在 LLM 推荐中的应用：使用大语言模型生成更高质量的负样本，然后用 BPR Loss 或其变体进行训练，结合 LLM 的语义理解能力与 BPR 的排序优化框架。

来源

• BPR 论文 — Rendle et al. (2009) UAI 2009, 均匀负采样策略及局限性分析

相关

• BPR — uses
• 隐式反馈 — depends_on
• 对比学习 — relates_to