特征变换

概述

特征变换是机器学习中的一种常见操作，通过对输入特征应用线性或非线性变换来生成新的特征表示。在图神经网络中，特征变换通常通过权重矩阵实现节点嵌入的线性变换。

关键内容

1. 数学定义：
2. 线性特征变换：h = Wx + b，其中W为权重矩阵，b为偏置向量
3. 在图神经网络中，对节点嵌入e进行变换：e' = σ(W[e] + b)

4. 其中σ为激活函数，[e]表示邻域嵌入的聚合

5. 主要作用：

6. 提高特征的表达能力
7. 学习特征间的复杂关系
8. 降低特征维度或增加特征维度

9. 提取高级特征表示

10. 在图神经网络中的应用：

11. 对节点嵌入进行线性变换后再进行聚合
12. 在NGCF中用于变换邻居节点的嵌入表示

13. 通常与非线性激活函数结合使用

14. 在推荐系统中的特殊考虑：

15. 对于ID嵌入（如用户ID、物品ID），特征变换可能无益
16. ID嵌入本身不含丰富语义，变换后可能引入噪声

17. LightGCN研究表明，对ID嵌入的特征变换具有负面贡献

18. 优缺点分析：

19. 优点：增强模型表达能力，学习复杂模式
20. 缺点：增加模型复杂度和训练难度，可能引入过拟合

来源

• 15-lightgcn.md — LightGCN论文中分析特征变换在协同过滤中的负面作用

相关

• 图神经网络 — 特征变换的主要应用领域
• LightGCN — 移除特征变换的典型例子
• ID嵌入 — 特征变换可能不适用的场景
• 消融实验 — 评估特征变换贡献的方法