矩阵分解 Matrix Factorization
概述
推荐系统中通过将用户-物品交互矩阵分解为低维隐向量来学习用户和物品 latent 表示的核心技术。
关键内容
-
基本原理：将用户-物品评分矩阵 R ∈ R^(m×n) 近似分解为用户隐向量矩阵 W ∈ R^(m×k) 和物品隐向量矩阵 H ∈ R^(n×k)，使得 R ≈ WH^T，其中 k << min(m,n) 为隐向量维度。
-
预测公式：用户 u 对物品 i 的预测评分为 x̂_ui = ⟨w_u, h_i⟩ = Σ_f w_uf · h_if，通过隐向量内积捕捉用户-物品交互模式。
-
在 BPR 中的应用：BPR-MF 将矩阵分解与 BPR 优化准则结合，x̂_uij = ⟨w_u, h_i - h_j⟩，参数更新梯度为 ∂x̂_uij/∂w_u = h_i - h_j, ∂x̂_uij/∂h_i = w_u, ∂x̂_uij/∂h_j = -w_u。
-
传统优化方式：经典 MF 使用 pointwise 回归损失（如 MSE/SVD）优化，BPR 证明了同样的 MF 模型使用排序优化准则（BPR-OPT）能获得显著更好的排序质量。
-
隐向量维度选择：实验表明隐向量维度从 8 到 128 变化时，BPR-MF 始终优于 SVD-MF 和 WR-MF，维度增加通常带来性能提升但需防止过拟合。
-
与深度学习的关系：Rendle (2020) 指出经过精心调优的 MF + BPR 在许多标准数据集上仍能与复杂深度学习模型竞争，提醒研究者不应忽视优化目标的重要性。
-
Netflix Prize 与 MF 的崛起：2006-2009 年 Netflix Prize 竞赛中，矩阵分解方法从 FunkSVD（RMSE ~0.896）到 SVD++（0.8924）到 timeSVD++（< 0.8924），逐步超越传统近邻协同过滤。BellKor 团队最终以 RMSE 0.8567 赢得 100 万美元大奖，MF 是方案绝对主力。
-
Koren 的层次化建模框架：Koren, Bell, Volinsky (2009) 提出了由简到繁的 MF 框架：基本 MF → Bias 建模（$\hat{r}_{ui} = \mu + b_u + b_i + q_i^T p_u$）→ SVD++（融合隐式反馈）→ timeSVD++（时间动态）。这一框架构成了推荐系统领域长达十余年的技术基石。
-
优化方法：SGD（实现简单、收敛快）和 ALS（精确求解、适合并行、适合隐式反馈）是 MF 的两大主流优化方法。ALS 优化的 MF 成为了 Apache Spark MLlib 的标准推荐算法实现。
-
现代视角：MF 的隐因子向量本质上是 Embedding 的早期形式。从 MF 到 FM、Wide & Deep、NCF、BERT4Rec、双塔模型，"双向量 + 相似度"范式至今仍是推荐系统的骨架。
来源
- BPR 论文 — Rendle et al. (2009) UAI 2009, BPR-MF 实例化
- 04-matrix-factorization-for-recsys.md — 深度解读 Matrix Factorization Techniques for Recommender Systems