低阶特征交互

概述

一阶特征重要性和二阶特征对之间的组合关系，可通过线性模型和因子分解机显式建模。

定义：低阶特征交互包括一阶（单个特征的独立重要性）和二阶（两个特征之间的组合关系）。例如"用户喜欢辣"是一阶特征，"喜欢辣 × 夏天 = 酸辣冷面"是二阶交互。
FM 建模：FM 通过为每个特征学习隐向量，用隐向量内积自动建模所有二阶特征交互，无需手工构造交叉特征。二阶项的计算复杂度通过数学变换从 O(kn²) 化简为 O(kn)。
DeepFM 中的角色：在 DeepFM 中，低阶交互由 FM 组件负责，包括一阶线性项 ⟨w, x⟩ 和二阶交叉项 Σ⟨V_i, V_j⟩ · x_i · x_j。FM 组件擅长显式建模低阶交互。
与高阶交互的互补：实验表明低阶和高阶交互都不可或缺。只考虑低阶交互的 FM，或只考虑高阶交互的 FNN/PNN，都不如同时考虑两者的 DeepFM。
局限性：FM 组件局限于二阶交叉，理论上可扩展到更高阶但计算复杂度指数级增长，实践中几乎不可行。AFM 通过注意力机制为不同特征交互赋予不同权重，解决了 FM 暴力枚举所有特征对的问题。