对称归一化

概述

对称归一化是图神经网络中的一种归一化技术，通过对邻接矩阵进行对称归一化处理来平衡不同节点度数的影响，确保信息传播的稳定性。

关键内容

1. 数学定义：
2. 对称归一化邻接矩阵：A_hat = D^(-1/2) A D^(-1/2)
3. 其中A为原始邻接矩阵，D为度矩阵（对角线为节点度数）

4. D^(-1/2)为度矩阵的负平方根（对角线为1/√d_i）

5. 归一化目的：

6. 防止度数大的节点在聚合过程中占主导地位
7. 保证信息传播的稳定性和收敛性

8. 减少图结构不平衡对模型性能的影响

9. 与其他归一化方法对比：

10. 左归一化（随机游走）：D^(-1) A，保留行和为1的性质
11. 右归一化：A D^(-1)，保留列和为1的性质

12. 对称归一化：D^(-1/2) A D^(-1/2)，同时考虑行和列的平衡

13. 在LightGCN中的应用：

14. 使用对称归一化邻接矩阵D^(-1/2) A D^(-1/2)进行信息传播
15. 形式为：e_u^(k+1) = Σ_{i∈N_u} (1/√(|N_u|·|N_i|)) · e_i^(k)

16. 保持了图的对称性质，有助于梯度传播

17. 优势特点：

18. 保持图的对称性，有助于保留图的结构性质
19. 防止梯度消失或爆炸，提高训练稳定性
20. 适用于各种类型的图结构（包括二部图）

来源

• 15-lightgcn.md — LightGCN论文中提及对称归一化邻接矩阵

相关

• 图神经网络 — 对称归一化的应用场景
• LightGCN — 应用对称归一化的典型模型
• 拉普拉斯矩阵 — 与对称归一化相关的图论概念
• 邻域聚合 — 对称归一化影响聚合操作