BST
概述
Behavior Sequence Transformer，阿里巴巴于 KDD 2019 发表的工业级 CTR 预估模型，直接将 SASRec 的 Transformer 架构应用于淘宝点击率预估系统，为数亿用户提供服务。
关键内容
-
论文信息：标题 "Behavior Sequence Transformer for E-commerce Recommendation in Alibaba"，阿里巴巴团队发表于 KDD 2019。BST证明了SASRec开创的Transformer架构不仅在序列推荐任务中有效，在CTR预估等其他推荐场景中同样具有强大潜力。
-
开发背景：阿里巴巴团队受SASRec成功的启发，将Self-Attention机制应用于淘宝的点击率预估系统。BST是SASRec在工业界应用的直接延伸。
-
核心创新：
- 行为序列建模：将用户的历史行为序列（如浏览、点击、购买）作为输入，使用Self-Attention机制建模用户兴趣的动态变化
- 多场特征融合：不仅处理行为序列，还融合了用户画像、广告特征等多种特征场
-
工业级优化：针对大规模线上系统的性能要求，进行了计算效率优化
-
核心方法：受 SASRec 启发，将用户行为序列通过 Transformer Encoder 进行编码，生成的序列表示与用户画像、物品特征等拼接后输入 CTR 预估模型。与 SASRec 的纯序列预测不同，BST 是多特征融合的工业级推荐模型。
-
架构特点：
- 借鉴SASRec：采用与SASRec类似的Self-Attention机制建模用户行为序列
- 特征嵌入：将用户行为、商品特征、上下文特征等统一映射到向量空间
- 注意力机制：计算当前广告与历史行为的相关性，动态聚合用户兴趣表示
-
工业部署：针对大规模在线服务进行了专门优化
-
工业应用：
- 阿里巴巴部署：BST在阿里巴巴的多个业务场景中得到应用
- 淘宝实践：直接部署于淘宝推荐系统，服务数亿用户
-
效果验证：在线A/B测试验证了显著的效果提升
-
工业应用（原文）：直接部署于淘宝推荐系统，服务数亿用户。证明了 Transformer 架构在大规模工业推荐场景中的可行性和有效性。
-
学术意义：BST证明了SASRec提出的方法论在工业界的实际价值，为学术界和工业界的结合提供了典型范例。展示了Transformer架构从序列推荐到点击率预估的可扩展性。
-
与 SASRec 的关系：BST 将 SASRec 的自注意力序列编码思想迁移到 CTR 预估场景，是 SASRec 工业影响力的最直接体现。两者架构相似，但 BST 增加了丰富的特征工程和工业级优化。BST直接受SASRec启发，将SASRec在序列推荐中的成功迁移到点击率预估场景，证明了Transformer架构在推荐系统中的普适性。
来源
- BST 原始论文 (KDD 2019)
- 阿里巴巴技术分享