基于结构学习和自监督图注意力的网络表示学习

摘要

网络表示学习是网络分析任务的基础，对于挖掘和分析真实网络数据具有重大意义。最近，图注意力网络（Graph Attention Networks, GAT）及其后续变体，在网络表示学习中表现出了卓越的性能。但是基于注意力的方法存在以下局限性：（1）只考虑节点的一阶邻居信息，忽略了高阶邻居节点。（2）模型缺乏可解释性。（3）没有考虑到图中噪声边问题。为解决这些问题，本文提出了一种基于结构学习和自监督图注意力的网络嵌入模型（Structural Learning-based Self-supervised Graph Attention Network,SL-SGAT），融合节点特征与结构信息，降低噪声边干扰，提升模型可解释性。SL-SGAT主要包含三部分：图结构学习、自监督注意力机制和特征聚合。图结构学习构建全局图结构网络。自监督注意力机制设置一个自监督关系预测任务，加入噪声边损失。特征聚合利用注意力系数进行加权聚合，得到最终的节点嵌入表示。本文所提模型在Cora、Citeseer和Pubmed三个数据集上进行节点分类实验，准确率分别为84.4%、74.4%、81.5%，与表现优异的GAT及后续变体模型相比，分别提高1.4%、2.9%、3.2%；在节点聚类实验中，聚类精度分别提高3.3%、3.4%、1.2%。可见，我们提出的算法可以得到更好的嵌入结果。

关键词

网络表示学习 / 图注意力网络 / 自监督学习 / 图结构学习 / 节点分类