层组合

概述

层组合是图神经网络中的一种策略，通过将模型不同层的输出进行加权组合来生成最终的节点表示。这种方法旨在保留多尺度信息并缓解深层网络中的过度平滑问题。

关键内容

1. 基本定义：
2. 将网络中第0层到第K层的节点嵌入进行加权求和
3. 公式：e_u = Σ_k α_k * e_u^(k)，其中α_k为第k层的组合系数

4. 在LightGCN中常采用均匀权重α_k = 1/(K+1)

5. 设计动机：

6. 解决深层图网络中的信息丢失问题
7. 缓解过度平滑现象，保持节点嵌入的区分度

8. 捕获多尺度的邻域信息（第1层反映直接邻居，第2层反映二跳邻居等）

9. 核心优势：

10. 保留初始信息：第0层嵌入（ID嵌入）始终被保留
11. 捕获多尺度特征：不同层对应不同跳数的邻域信息
12. 缓解过平滑：低层嵌入的混入保持区分度

13. 隐式自连接：第0层嵌入的参与保留节点自身信息

14. 实现方式：

15. 均匀权重：所有层赋予相等权重
16. 学习权重：通过额外参数学习最优层权重

17. 注意力权重：根据层的重要性动态调整权重

18. 在推荐系统中的应用：

19. LightGCN通过层组合保留原始用户-物品交互信息
20. 允许模型同时利用直接邻居和高阶邻居信息
21. 在保持协同信号传播的同时防止嵌入过度平滑

来源

• 15-lightgcn.md — LightGCN论文中详细描述层组合策略

相关

• LightGCN — 层组合的典型应用实例
• 图神经网络 — 层组合的应用领域
• 嵌入平滑 — 层组合旨在解决的问题
• 邻域聚合 — 层组合聚合的对象