论文信息
论文标题:MaskGAE: Masked Graph Modeling Meets Graph Autoencoders
论文作者:Jintang Li, Ruofan Wu, Wangbin Sun, Liang Chen, Sheng Tian......
论文来源:2022,arXiv
论文地址:download
论文代码:download
1 Introduction
MAE 在图上的应用——2022 最潮的方法。
2 Related work and Motivation
2.1 GAE
GAEs采用了经典的编码器-解码器框架,旨在通过优化以下二进制交叉熵损失,从编码图的低维表示中进行解码:
$mathcal{L}_{mathrm{GAEs}}=-left(frac{1}{left|mathcal{E}^{+}right|} sumlimits _{(u, v) in mathcal{E}^{+}} log h_{omega}left(z_{u}, z_{v}right)+frac{1}{left|mathcal{E}^{-}right|} sumlimits _{left(u^{prime}, v^{prime}right) in mathcal{E}^{-}} log left(1-h_{omega}left(z_{u^{prime}}, z_{v^{prime}}right)right)right)$
其中,$mathcal{z}$ 代表低维隐表示,$f_{theta}$ 代表参数为 $theta$ 的 GNN encoder,$h_{omega}$ 代表参数为 $omega$ 的 GNN decoder,$mathcal{E}^{+}$ 代表 positive edges ,$mathcal{E}^{-}$ 代表 negative edges 。
2.2 Motivation
按照互信息的思想:希望最大化 k-hop 节点对子图之间的一致性,但是伴随着 $K$ 值变大,过平滑的问题越发明显,此时子图大小对节点表示的学习不利。因此有:
![论文解读(MaskGAE)《MaskGAE: Masked Graph Modeling Meets Graph Autoencoders》](http://www.itfaba.com/wp-content/themes/kemi/images/loading.gif)
分析了一堆废话................
后面呢,必然出现解决过平滑的策略。
Recall:解决过平湖的策略
-
- 残差;
- 谱图理论;
- 多尺度信息;
- 边删除;
3 Method:MaskGAE
出发点:MGM
$mathcal{G}_{text {mask }} cup mathcal{G}_{text {vis }}=mathcal{G}$
$mathcal{G}_{text {mask }}= left(mathcal{E}_{text {mask }}, mathcal{V}right)$
3.1 Masking strategy
Edge-wise random masking $(mathcal{T}_{text {edge }}$
$mathcal{E}_{text {mask }} sim operatorname{Bernoulli}(p)$
Path-wise random masking $(mathcal{T}_{text {path}}$
$mathcal{E}_{text {mask }} sim operatorname{Random} operatorname{Walk}left(mathcal{R}, n_{text {walk }}, l_{text {walk }}right)$
其中,$mathcal{R} subseteq mathcal{V}$ 是从图中采样的一组根节点,$n_{text {walk }}$ 为每个节点的行走次数,$l_{text {walk }}$ 为行走长度。
在这里,我们遵循度分布,抽样了一个节点的子集(例如,50%),没有替换作为根节点 $mathcal{R}$。这样的采样也可以防止图中存在的潜在的长尾偏差(即,更多的屏蔽边是那些属于高度节点的边)。
3.2 Encoder
- GCN Encoder
- SAGE Encoder
- GAT Encoder
3.2 Decoder
$h_{omega}left(z_{i}, z_{j}right)=operatorname{Sigmoid}left(z_{i}^{mathrm{T}} z_{j}right)$
$h_{omega}left(z_{i}, z_{j}right)=operatorname{Sigmoid}left(operatorname{MLP}left(z_{i} circ z_{j}right)right)$
$g_{phi}left(z_{v}right)=operatorname{MLP}left(z_{v}right)$
3.3 Learning objective
损失函数包括:
-
- Reconstruction loss:计算的是掩码边 $mathcal{E}^{+}=mathcal{E}_{text {mask }}$ 的重构损失;
- Regression loss:衡量的是节点度的预测与掩蔽图中原始节点度的匹配程度:
$mathcal{L}_{mathrm{deg}}=frac{1}{|mathcal{V}|} sumlimits _{v in mathcal{V}}left|g_{phi}left(z_{v}right)-operatorname{deg}_{text {mask }}(v)right|_{F}^{2}$
因此,总体损失为:
$mathcal{L}=mathcal{L}_{mathrm{GAEs}}+alpha mathcal{L}_{mathrm{deg}}$
4 Experiments
![论文解读(MaskGAE)《MaskGAE: Masked Graph Modeling Meets Graph Autoencoders》](http://www.itfaba.com/wp-content/themes/kemi/images/loading.gif)