SASRec+
概述
SASRec+,2023 年提出的改进版 SASRec,通过替换损失函数为全物品 softmax 交叉熵,在公平比较条件下反超 BERT4Rec,揭示了损失函数而非架构是性能差异的关键。
关键内容
-
论文信息:来源于 "Turning Dross Into Gold Loss: is BERT4Rec really better than SASRec?"(Petrov & Macdonald, RecSys 2023)。
-
核心发现:BERT4Rec 相比 SASRec 的优势主要来自其损失函数(全物品 softmax 交叉熵),而非双向注意力本身。当 SASRec 使用相同的全物品 softmax 损失(称为 SASRec+)时,在大多数数据集上实际表现优于 BERT4Rec,且训练速度更快。
-
方法:将 SASRec 原始的"一正一负"二元交叉熵损失替换为全物品 softmax 交叉熵损失,利用更多负样本信息进行更充分的优化。
-
意义:这一发现深化了对模型设计中各组件贡献的理解,提醒研究者在比较不同模型时需要控制变量(尤其是损失函数),避免将损失函数的贡献错误归因于架构差异。