高阶特征交互

概述

三个及以上特征之间的非线性组合关系，通常通过 DNN 多层变换隐式学习，难以显式建模但表达能力强。

定义：高阶特征交互指三个及以上特征之间的组合关系，如"用户口味偏好 × 季节 × 用餐人数 × 聚会类型"这样的多因素联合影响。
学习方式：在 DeepFM 中，高阶交互由 DNN 组件通过多层非线性变换隐式学习。DNN 的每一层可以视为对前一层特征的进一步组合，层数越多能捕获的交互阶数越高。
与低阶交互的关系：低阶交互（一阶、二阶）捕获直接的线性关系和两两组合，高阶交互捕获更复杂的非线性模式。两者缺一不可——实验表明只考虑低阶的 FM 或只考虑高阶的 FNN 都不如同时考虑两者的 DeepFM。
黑盒问题：DNN 学习的高阶交互是完全隐式的"黑盒"过程，无法清楚知道模型学到了哪些具体的高阶交互模式。AutoInt 通过多头自注意力机制使交互学习更加透明。
维度级 vs 向量级：DeepFM 中 DNN 学习的是维度级（dimension-wise）交互，即 Embedding 向量被展平后逐维度进行全连接变换。xDeepFM 的 CIN 在向量级（vector-wise）进行交互，保留了更丰富的特征结构信息。