稀疏超图结构下的双视图对比学习

Dual⁃view contrastive learning under sparse hypergraph structure

摘要

超图神经网络在处理复杂数据结构和捕捉节点之间的高阶关系方面已经取得了显著成果，然而，现实中的超图结构通常是稀疏的，即超边间公共节点较少，使超边之间的关联性较弱，进而限制了超图神经网络的消息传播性能.针对此问题，提出一种稀疏超图结构下的双视图对比学习算法DCSH（Dual⁃View Contrastive Learning under Sparse Hypergraph Structure），利用节点丰富的属性信息构造属性超图，补充结构超图在特征空间中缺失的语义相似性连接；设计了基于注意力机制的结构超图增强方法，改善结构超图的稀疏性；同时，考虑超边与目标节点语义的一致性，提出了基于注意力机制的方法计算超边对节点嵌入的影响力，以得到不同视图下的节点嵌入；最后，通过一种自适应融合机制对多视图节点嵌入进行融合，以发现各视图对最终节点表示的影响力.为了保持不同视图下超图结构的一致性，DCSH采用增强结构超图与原结构超图、属性超图之间的对比损失来优化模型.在八个标准数据集上与九种经典算法的实验对比，证实了提出方法的有效性.

Abstract

Hypergraph neural networks (HNNs) have achieved remarkable success in processing complex data structures and capturing higher⁃order relationships among nodes. However，real⁃world hypergraph structures are typically sparse，meaning the hyperedges share few common nodes，which weakens the associations between the hyperedges and consequently limits the message⁃passing performance of HNNs. To address this issue，we propose a dual⁃view contrastive learning algorithm for sparse hypergraphs (DCSH). DCSH leverages rich node attribute information to construct an attribute hypergraph，supplementing the missing semantic similarity connections in the feature space of the structural hypergraph. It designs an attention⁃based structural hypergraph enhancement method to mitigate the sparsity of the structural hypergraph. Simultaneously，considering the semantic consistency between the hyperedges and the target nodes，it introduces an attention⁃based method to compute the influence of the hyperedges on node embeddings，generating node embeddings under different views. Finally，an adaptive fusion mechanism integrates multi⁃view node embeddings to determine the contribution of each view to the final node representation. To maintain structural consistency across views，DCSH employs contrastive losses between the enhanced structural hypergraph and both the original structural hypergraph and the attribute hypergraph to optimize the model. Experimental comparisons with nine classical algorithms on eight benchmark datasets demonstrate the effectiveness of the proposed approach.

Graphical abstract

关键词

超图神经网络 / 对比学习 / 自适应融合 / 多视图 / 结构稀疏

Key words

hypergraph neural network / contrastive learning / adaptive fusion / multi⁃view / sparse structure

在现实世界的复杂系统中，实体之间往往通过成组的联合作用来执行某些功能，这种成组的交互关系可以用超图来建模^［1］.超图中的节点代表实体，超边表示实体之间的成组作用^［2］.例如，在社交网络中用户之间的好友关系，或者在推荐系统中用户在同一时间购买的多个产品^［3］，都可以被视作超边.这样的超边具有明显的成组特征，称为结构超图.

超图中的节点除成组交互关系之外，还具有丰富的领域属性信息，超图神经网络（HyperGraph Neural Networks，HNNs）利用这些特性，通过消息传递机制来学习和推理节点之间的复杂关系并得到节点的有效表示^［4］，广泛应用于推荐系统^［2］、生物信息学^［2］、社交网络分析^［5］和自然语言处理^［6］等领域.

现有的超图神经网络可分为静态和动态两种^［7］.静态超图神经网络使用固定的超图结构进行消息传递，如HGNN^［8］，HGNN+^［9］.当超图结构稀疏时，上述方法使消息传递仅在超边内部进行，导致最终得到的节点表示判别性不强^［10］.动态超图神经网络允许在表示过程中对超图结构进行动态调整^［11］，在一定程度上缓解了超图结构稀疏的问题，如TDHNN^［7］，HSL^［11］.上述方法主要通过挖掘节点与超边之间的隐藏关系来缓解超图结构稀疏的问题，然而这些隐藏关系的引入可能使超边内节点的类别不一致，从而影响最终的节点嵌入质量，因此，在聚合这类超边时，需要根据超边与节点之间的语义一致性对不同超边给予不同的权重.CHGNN^［12］，TriCL^［13］等构造了多个超图视图，并引入组级对比损失增强模型的学习能力.上述方法平均聚合每个视图下的节点嵌入，以得到最终节点表示进行下游任务，这可能会因不同视图中存在重复信息或噪声，对模型性能产生不利影响，因此，需要动态调整每个视图下节点嵌入的权重，发现各视图对最终节点表示的影响力.

针对超图结构稀疏影响模型性能的问题，本文提出了稀疏超图结构下的双视图对比学习算法DCSH （Dual⁃View Contrastive Learning under Sparse Hypergraph Structure），在结构和属性两种成组交互关系上进行消息传递，从而缓解超图结构稀疏给超图神经网络带来的不利影响.DCSH包括多视角超图构建、结构超图增强、多视图嵌入以及自适应融合四个模块.多视角超图构建模块利用节点丰富的属性信息构造属性超图，补充结构超图在特征空间中缺失的语义相似性连接；结构超图增强模块通过引入注意力机制，增加结构超图中节点与超边之间的关联性，以缓解结构超图的稀疏性；多视图嵌入模块考虑超边与目标节点语义的一致性，利用注意力机制计算超边对节点的重要性，在聚合超边信息时，对与节点不一致的超边设置较低的权重，从而得到两个视图下的节点嵌入；自适应融合模块通过增强高判别性节点嵌入在最终表示中的权重获得更适合下游任务的节点表示.

在八个常用的超图数据集上，与九个经典算法在节点分类任务上进行对比实验，结果表明，DCSH在大多数数据集上，和次优算法相比，展现了更好的性能.

1 相关工作

1.1　静态超图神经网络

静态超图神经网络通过固定的超图结构进行信息传播和特征学习.HGNN^［8］应用了超图的谱理论，使用拉普拉斯矩阵进行超图卷积.HGNN+^［9］设计了基于空域消息传递的两阶段超图卷积.HNHN^［14］使用两种不同的权重矩阵对节点和超边的表示进行更新.AllSet^［15］构造了两个对输入顺序不敏感的多集函数，可以灵活地更新节点和超边表示.

固定的超图结构通常只考虑显式的连接关系，忽略了隐式连接.隐式连接可以揭示潜在的关系和更深层次的联系^［11］，而这些是固定的超图结构无法捕捉的.因此，消息传递的效果可能会受到局限，无法完全反映节点之间的真实关系.

1.2　动态超图神经网络

动态超图神经网络能使超图结构发生动态变化，以捕获更多的隐藏信息用于表示学习.如DHGNN^［16］采用KNN和K⁃means对超图结构进行动态构建，以更好地捕捉数据中的高阶关系.TDHNN^［7］通过聚合节点嵌入获得超边嵌入，并利用超边与节点之间的注意力系数动态构建超图.HERALD^［17］通过节点与超边之间的伪欧几里得距离优化超图拉普拉斯矩阵，从而提高模型的表达能力.DHSL^［18］引入对偶优化框架的同时学习标签投影矩阵和超图结构.DeepHGSL^［19］使用多个超图卷积层中的隐藏表示来构建超图.HSL^［11］通过注意力机制发现节点与超边之间的隐藏连接来丰富超图结构的信息.MHSL^［20］通过节点流和超边流分别捕捉节点和超边的长程依赖关系生成节点和超边表示，进而动态构建超图结构.

当超图结构稀疏时，发现隐藏连接是极其重要的.上述工作通过发现超边和节点之间的关系，将节点加入与其相关度最高的前k个超边中来引入隐藏连接，这可能会向超边内引入无关节点，使超边内节点类别混乱，聚合内部类别混乱的超边信息会降低节点嵌入的判别性.因此，本文在聚合超边信息时考虑了超边与目标节点之间的语义一致性，对目标节点语义一致性较高的超边赋予较高的聚合权重.

1.3　基于对比学习的超图神经网络

对比学习通过对比正负样本，鼓励模型学习节点表示的细微差异，同时确保它们在不同视角下保持一致性^［21］.HyperGCL^［22］将对原始超图进行扰动得到的视图与利用变分自编码器生成的超图视图进行对比学习，提高了超图神经网络的泛化能力.MCHNN^［23］对原始超图进行扰动，生成多个负样本超图来增加负样本对的数量，以增强模型的表示能力.以上方法的对比视图通过随机删除原图中的节点或超边产生，这可能进一步加剧超图结构的稀疏性.DHCN^［24］利用超图构造线图，然后通过自监督学习最大化超图和线图两个通道间的互信息以得到更全面的表示，当超图结构稀疏时，线图也会受到影响，因此应该处理超图结构的这种稀疏性.

TriCL^［13］通过节点特征掩码和成员关系掩码生成对比视图，并利用节点间、组间及组与成员间的三向对比机制学习超图中节点和超边的表示.CHGNN^［12］通过移除超边、掩蔽节点等方法生成多个对比视图，设计聚类级和超边级对比损失增强模型的学习能力.HyGCL⁃AdT^［25］通过超边移除、节点丢弃等生成多个对比视图，采用节点级和社区级对比学习机制以及自适应温度优化来增强模型的表达能力.

以上方法对各视图的节点嵌入进行平均聚合以得到最终的节点表示，可能会因不同视图中存在重复信息或噪声对模型性能产生不利影响.构建有效的视图融合机制以降低噪声干扰，是多视图对比学习中的重要问题.

本文利用节点属性捕捉节点在特征空间上的高阶交互，补充结构超图在特征空间中缺失的语义相似性连接；再对结构超图进行增强，增加结构超图中节点与超边之间的关联性，以缓解结构超图的稀疏性；基于超边与目标节点的语义一致性得到节点嵌入，对语义一致性低的超边给予较低的权重；最后，通过自适应融合模块，发现各视图对最终节点表示的影响力并得到融合多视图信息的节点表示.

2 预备知识

超图表示为\mathit{H}=\left(V,E,\mathit{W},\mathit{X}\right)，其中，V=\left\{v_{\mathrm{1}},\cdots ,v_{\mathrm{n}}\right\}为节点集，E=\left\{e_{\mathrm{1}},\cdots ,e_m\right\}为超边集，每个超边e\in E都是V的一个子集.每个超边被赋予一个权重w,\mathit{W}\in {\mathit{ℝ}}^{\left|m\right|\times \left|m\right|}是超边权重的对角矩阵，\mathit{X}=\left\{{\mathit{x}}_{\mathrm{1}},\cdots ,{\mathit{x}}_n\right\}为节点的特征矩阵.关联矩阵表示超图的结构，记作\mathit{H}\in {\mathit{ℝ}}^{\left|n\right|\times \left|m\right|}，其元素如式（1）所示：

h\left(v,e\right)=\left\{\begin{array}{c}\begin{array}{ccc}\mathrm{1},& \mathrm{i}\mathrm{f}& v\in e\end{array}\\ \begin{array}{ccc}\mathrm{0},& \mathrm{i}\mathrm{f}& v\notin e\end{array}\end{array}\right.(1)

节点v\in V的度记作d\left(v\right)={\sum }_{e\in E}h\left(v,e\right),超边e\in E的度记作\delta \left(e\right)={\sum }_{v\in V}h\left(v,e\right).此外，{\mathit{D}}_{\mathrm{v}}\in {\mathit{ℝ}}^{\left|n\right|\times \left|n\right|}和{\mathit{D}}_{\mathrm{e}}\in {\mathit{ℝ}}^{\left|m\right|\times \left|m\right|}分别表示节点度和超边度的对角矩阵.

这里通过计算平均超边密度μ和平均节点密度ρ，说明结构超图的稀疏程度.

平均超边密度μ表示节点所连接超边的平均数量，如式（2）所示：

\mu =\frac{\mathrm{1}}{\left|V\right|}\sum _{v\in V}d\left(v\right)(2)

μ描述了超图的连通性或稀疏性.μ越小，说明超图中的节点连接越少，超图结构越稀疏；μ越大，表明超图结构越紧密.

平均节点密度ρ表示超边中包含的节点的平均数量，如式（3）所示：

\rho =\frac{\mathrm{1}}{\left|E\right|}\sum _{e\in E}\delta \left(e\right)(3)

ρ描述了超边的复杂性.ρ越大，说明超边包含越多的节点，具有越高的复杂性.

表1展示了用μ和ρ表示的常用超图数据集的结构稀疏程度.

3 稀疏超图结构下的双视图对比学习

本节提出一种稀疏超图结构下的双视图对比学习算法DCSH，利用多视图超图和对比学习缓解结构稀疏性对节点表示的影响.DCSH分为多视角超图构建、结构超图增强、多视图嵌入以及自适应融合四个模块.DCSH的框架如图1所示.

3.1　多视角超图构建

许多网络中的节点具有明显的成组特征，即存在结构超图（记作{\mathit{H}}^{\mathrm{S}}），用于刻画节点在拓扑层面上的成组作用关系.除拓扑结构外，节点通常还携带丰富的属性信息，导致多个节点在语义层面也展现出成组相似性.对这种语义成组相似性建模不仅能够增强节点在语义空间中的关联性，还能与结构超图共同对节点间拓扑关系与语义相似性联合建模，以更全面地表征节点间的交互机制，提升网络表达能力和预测精度.为了进一步捕捉节点在语义空间中的成组相似性，本文结合节点属性特征，基于k近邻算法构建属性超图（记作{\mathit{H}}^{\mathrm{F}}）.将各个节点和它最近的k个邻居构成超边，用于刻画网络中节点语义角度的成组交互关系.

在得到结构超图{\mathit{H}}^{\mathrm{S}}和属性超图{\mathit{H}}^{\mathrm{F}}后，利用超图神经网络HGNN+^［9］得到节点和超边在各视图下的嵌入表示.超边嵌入{\mathit{E}}^{\delta }和节点嵌入{\mathit{X}}^{\delta }的计算过程分别如式（4）和式（5）所示：

{\mathit{E}}^{\delta }={\mathit{W}}^{\delta }{\left({\mathit{D}}_e^{\delta }\right)}^{-\mathrm{1}}{\left({\mathit{H}}^{\delta }\right)}^{\mathrm{T}}\mathit{X}(4)

{\mathit{X}}^{\delta }=\sigma \left({\left({\mathit{D}}_v^{\delta }\right)}^{-\mathrm{1}}{\mathit{H}}^{\delta }{\mathit{W}}^{\delta }{\left({\mathit{D}}_e^{\delta }\right)}^{-\mathrm{1}}{\left({\mathit{H}}^{\delta }\right)}^{\mathrm{T}}\mathit{X}{\mathit{\Theta }}^{\delta }\right)(5)

其中，\sigma \left(\cdot \right)为激活函数，\delta \in \left\{S,F\right\}是视图标记，S表示结构超图视角，F表示属性超图视角， W^δ，{\mathit{D}}_e^{\delta }和{\mathit{D}}_v^{\delta }分别为对应视图的超边权重的对角矩阵、超边度矩阵和节点度矩阵，{\mathit{\Theta }}^{\delta }为可训练的权重矩阵.

3.2　结构超图增强

超图神经网络利用超边间连接传递信息，能够捕捉节点之间的复杂高阶关系，提升模型对数据的理解和分析能力.然而隐私保护、数据缺失、技术局限性等^［26］问题导致实际网络的超边中部分节点丢失，影响超图神经网络的消息传递.利用节点和超边在嵌入空间中的关系对超边进行补全，使结构超图更加完整，进而提升超图神经网络的性能，增强其对复杂数据关系的建模能力.

通过计算节点与超边之间的注意力系数来捕捉节点和超边之间的关系，以补全结构超图.此处采用与Transformer^［27］相同的注意力计算方法，该方法需用到两个可训练映射函数q\left(\cdot \right)和k\left(\cdot \right)，分别代表查询和键.首先，将节点嵌入和超边嵌入通过一个多层感知机（Multilayer Perceptron，MLP）对齐嵌入维度，再计算节点与超边间的注意力系数，如式（6）所示：

{\mathit{A}}_{i,j}^S=\frac{e^{q\left(\mathrm{M}\mathrm{L}\mathrm{P}\left({\mathit{X}}_i^S\right)\right)\cdot k{\left(\mathrm{M}\mathrm{L}\mathrm{P}\left({\mathit{E}}_j^S\right)\right)}^{\mathrm{T}}}}{{\displaystyle \sum _{r=\mathrm{1}}^{m^S}}{e}^{q\left(\mathrm{M}\mathrm{L}\mathrm{P}\left({\mathit{X}}_i^S\right)\right)\cdot k{\left(\mathrm{M}\mathrm{L}\mathrm{P}\left({\mathit{E}}_r^S\right)\right)}^{\mathrm{T}}}}(6)

其中，{\mathit{A}}_{i,j}^S为节点v_i 和超边e_j 之间的注意力系数，m^S 为结构超图的超边个数.

最终，增强后的结构超图如式（7）所示：

{\widehat{\mathit{H}}}^S={\mathit{H}}^S+\lambda \times to{p}_s\left({\mathit{A}}^S\right)(7)

其中，{\mathit{A}}^S为节点与超边之间的注意力矩阵，\lambda为组合系数，to{p}_s\left(\cdot \right)表示对于 A^S 的每一行保留前s个最大值，其余的设为零.将HGNN+得到的节点嵌入 X^S 和 X^F 作为多视图嵌入超图神经网络的输入，再使用增强后的结构超图{\widehat{\mathit{H}}}^S更新结构超图下的节点嵌入.

3.3　多视图嵌入

超边内节点类别较混乱时，超边嵌入代表性低，聚合这类超边信息使目标节点嵌入的判别性下降，应降低这类超边的聚合权重.当超边内节点与目标节点类别高度一致时，超边嵌入能较好地反映节点的共同特征，应增加其在聚合过程中的权重来提升目标节点嵌入的质量.

基于此，设计了一种基于注意力机制的计算方法，用于评估超边与节点的语义一致性.在超边聚合时，为每条超边分配不同的权重，从而获得在结构超图和属性超图下的节点嵌入{\widehat{\mathit{X}}}^S和{\widehat{\mathit{X}}}^F，具体如式（8）~（10）所示.首先，通过式（8）得到在两个视图下的超边嵌入：

{\widehat{\mathit{E}}}^{\delta }={\widehat{\mathit{W}}}^{\delta }{\left({\widehat{\mathit{D}}}_e^{\delta }\right)}^{-\mathrm{1}}{\left({\widehat{\mathit{H}}}^{\delta }\right)}^{\mathrm{T}}{\mathit{X}}^{\delta }(8)

然后，将超边嵌入和节点嵌入通过MLP映射到同一空间，通过式（9）计算超边e_i 对于节点v_j 的重要性：

{\mathit{I}}_{i,j}^{\delta }=\frac{e^{q\left(\mathrm{M}\mathrm{L}\mathrm{P}\left({\widehat{\mathit{E}}}_i^{\delta }\right)\right)\cdot k{\left(\mathrm{M}\mathrm{L}\mathrm{P}\left({\mathit{X}}_j^{\delta }\right)\right)}^{\mathrm{T}}}}{{\displaystyle \sum _{r=\mathrm{1}}^n}{e}^{q\left(\mathrm{M}\mathrm{L}\mathrm{P}\left({\widehat{\mathit{E}}}_i^{\delta }\right)\right)\cdot k{\left(\mathrm{M}\mathrm{L}\mathrm{P}\left({\mathit{X}}_r^{\delta }\right)\right)}^{\mathrm{T}}}}(9)

其中，n为节点个数，{\mathit{I}}^{\delta }为超边与节点之间的注意力矩阵.最后，在聚合超边嵌入时为每一条超边加权，如式（10）所示：

\begin{array}{l}{\widehat{\mathit{X}}}^{\delta }=\\ \sigma \left({\left({\widehat{\mathit{D}}}_v^{\delta }\right)}^{-\mathrm{1}}\left({\left({\mathit{I}}^{\delta }\right)}^{\mathrm{T}}\odot {\widehat{\mathit{H}}}^{\delta }\right){\widehat{\mathit{W}}}^{\delta }{\left({\widehat{\mathit{D}}}_e^{\delta }\right)}^{-\mathrm{1}}{\left({\widehat{\mathit{H}}}^{\delta }\right)}^{\mathrm{T}}{\mathit{X}}^{\delta }\widehat{\mathit{\Theta }}\right)\end{array}(10)

其中，{\widehat{\mathit{H}}}^F={\mathit{H}}^F，⊙表示哈达玛积，\widehat{\mathit{\Theta }}为可训练的权重矩阵.

3.4　自适应融合

有些节点在结构超图下判别性更高，而另一些节点在属性超图下判别性更高.为了体现节点在不同视图下的差异，设计了预分类任务为每个节点学习不同视图对最终表示的影响力权重，确保判别性更高的视图对最终节点表示的贡献更大.

对于每个视图，利用一个Softmax分类器对节点进行预分类，在得到节点的类别归属分布后，利用最大值与次大值的差异来表示该视图下节点嵌入的判别性.Softmax分类器如式（11）和式（12）所示：

{\mathit{O}}^S=Softmax\left(\mathrm{M}\mathrm{L}\mathrm{P}\left({\widehat{\mathit{X}}}^S\right)\right)(11)

{\mathit{O}}^F=Softmax\left(\mathrm{M}\mathrm{L}\mathrm{P}\left({\widehat{\mathit{X}}}^F\right)\right)(12)

假设节点i在结构超图视角下的类归属的表示为{\mathit{o}}_i^S，则结构超图下节点i的判别性计算如式（13）所示：

{\pi }_i^S=e^{\epsilon \left(\omega \mathrm{l}\mathrm{g}{o}_{i,m}^S+\left(\mathrm{1}-\omega \right)\mathrm{l}\mathrm{g}\left(o_{i,m}^S-o_{i,sm}^S\right)\right)}(13)

其中，o_{i,m}^S和o_{i,sm}^S分别表示{\mathit{o}}_i^S的最大值和次大值，\epsilon为缩放因子，\omega为平衡因子.类似地，属性超图下节点i的判别性为{\pi }_i^F.可以看出，最大值和次大值差异越大，节点的判别性越强，则该视图对节点i的最终表示影响越大.

对两个视图的判别性进行归一化，得到每个视图对节点i的权重，如式（14）所示：

{\beta }_i^S=\frac{{\pi }_i^S}{{\pi }_i^S+{\pi }_i^F} , {\beta }_i^F=\frac{{\pi }_i^F}{{\pi }_i^S+{\pi }_i^F}(14)

进而获得节点i最终的表示：

{\overline{\mathit{X}}}_i=\left[{\beta }_i^S\cdot {\widehat{\mathit{X}}}_i^S‖{\beta }_i^F\cdot {\widehat{\mathit{X}}}_i^F\right](15)

将所有节点表示汇总，得到节点表示矩阵\overline{\mathit{X}}，得到节点的预测类别\widehat{\mathit{Y}}，如式（16）所示：

\widehat{\mathit{Y}}=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}\left(Softmax\left(MLP\left(\overline{\mathit{X}}\right)\right)\right)(16)

3.5　模型训练

3.5.1　多视图对比损失

为了加强原始结构超图和增强后结构超图之间的关联性和一致性，设计了节点间的对比损失函数作为模型的辅助约束.将节点嵌入 X^S 和{\widehat{\mathit{X}}}^S通过线性层投影到同一空间，得到其对应的投影嵌入 Z^S 和{\widehat{\mathit{Z}}}^S，计算对比损失，如式（17）所示：

\begin{array}{l}{L}_{C{L}_{\mathrm{1}}}=-\frac{\mathrm{1}}{\mathrm{2}n}{\displaystyle \sum _{i=\mathrm{1}}^n}\left[\mathrm{l}\mathrm{g}\frac{e^{sim\left({\mathit{Z}}_i^S,{\widehat{\mathit{Z}}}_i^S\right)/\tau }}{e^{sim\left({\mathit{Z}}_i^S,{\widehat{\mathit{Z}}}_i^S\right)/\tau }+{\sum }_{l\ne i}{e}^{sim\left({\mathit{Z}}_i^S,{\widehat{\mathit{Z}}}_I^S\right)/\tau }}+\right.\\ \left.\mathrm{l}\mathrm{g}\frac{e^{sim\left({\widehat{\mathit{Z}}}_i^S,{\mathit{Z}}_i^S\right)/\tau }}{e^{sim\left({\widehat{\mathit{Z}}}_i^S,{\mathit{Z}}_i^S\right)/\tau }+{\sum }_{j\ne i}{e}^{sim\left({\widehat{\mathit{Z}}}_i^S,{\mathit{Z}}_j^S\right)/\tau }}\right]\end{array}(17)

计算结构超图和属性超图下得到的最终节点嵌入的对比损失，目的是让两个不同的超图结构学习到的嵌入尽可能保持一致，以提升模型的泛化能力.将{\widehat{\mathit{X}}}^S和{\widehat{\mathit{X}}}^F通过线性层投影到同一空间，得到其对应的投影嵌入{\widehat{\mathit{U}}}^S和{\widehat{\mathit{U}}}^F，计算对比损失，如式（18）所示：

\begin{array}{l}{L}_{C{L}_{\mathrm{2}}}=-\frac{\mathrm{1}}{\mathrm{2}n}{\displaystyle \sum _{i=\mathrm{1}}^n}\left[\mathrm{l}\mathrm{g}\frac{e^{sim\left({\widehat{\mathit{U}}}_i^S,{\widehat{\mathit{U}}}_i^F\right)/\tau }}{e^{sim\left({\widehat{\mathit{U}}}_i^S,{\widehat{\mathit{U}}}_i^F\right)/\tau }+{\sum }_{l\ne i}{e}^{sim\left({\widehat{\mathit{U}}}_i^S,{\widehat{\mathit{U}}}_I^F\right)/\tau }}\right.\\ +\left.\mathrm{l}\mathrm{g}\frac{e^{sim\left({\widehat{\mathit{U}}}_i^F,{\widehat{\mathit{U}}}_i^S\right)/\tau }}{e^{sim\left({\widehat{\mathit{U}}}_i^F,{\widehat{\mathit{U}}}_i^S\right)/\tau }+{\sum }_{j\ne i}{e}^{sim\left({\widehat{\mathit{U}}}_i^F,{\widehat{\mathit{U}}}_j^S\right)/\tau }}\right]\end{array}(18)

其中，式（17）和（18）中的sim\left(\mathit{u},\mathit{v}\right)是向量 u 和向量 v 的余弦相似度，\tau为温度参数.

3.5.2　分类损失

计算单一视图下节点嵌入的交叉熵损失，可以确保每个视图的信息既不会丢失，也不会被其他视图覆盖，从而实现信息的均衡利用.计算融合后节点嵌入的交叉熵损失可以提升模型的鲁棒性，减少冗余或噪声信息的干扰.

对每个嵌入{\widehat{\mathit{X}}}^S，{\widehat{\mathit{X}}}^F和\overline{\mathit{X}}，通过分类器得到各自的预测概率分布 p₁， p₂和 p₃，并计算交叉熵损失，如式（19）所示：

L_{CE}=-{\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{3}}} {\displaystyle \sum _{i=\mathrm{1}}^{n_l}}{\displaystyle \sum _{c=\mathrm{1}}^C}{y}_{i,c}\mathrm{l}\mathrm{g}{\left({\mathit{p}}_j\right)}_{i,c}(19)

其中，n_l 为有标记节点的个数，C为节点类别数，y_i，c 是节点i的真实标签在类别c上的独热编码值.如果节点i属于类别c，则y_i，c =1，否则y_i，c =0，{\left({\mathit{p}}_j\right)}_{i,c}是节点i属于类别c的预测概率.

最终的损失函数如式（20）所示：

L=\left(\mathrm{1}-\phi \right)L_{CE}+\phi \left(L_{C{L}_{\mathrm{1}}}+L_{C{L}_{\mathrm{2}}}\right)(20)

其中，\phi为平衡交叉熵损失和对比损失的超参数.

3.6　DCSH整体框架

算法

稀疏超图结构下的双视图对比学习

输入：结构超图{\mathit{H}}^S=\left(V,E,\mathit{W},\mathit{X}\right)，迭代次数T，最近邻数量k，参数s,\lambda ,\epsilon ,\omega ,\tau ,\phi ;

输出：节点的预测类别\widehat{\mathit{Y}}.

1.根据节点的属性特征 X，采用k近邻算法构建属性超图{\mathit{H}}^{\mathrm{F}}；

2.for t=\mathrm{0,1},\cdots ,T-\mathrm{1} do；

3. 根据式（4）和式（5）得到结构超图和属性超图下的节点嵌入{\mathit{X}}^S,{\mathit{X}}^F和超边嵌入{\mathit{E}}^S,{\mathit{E}}^F;

4. 根据式（6）计算结构超图下节点与超边间的注意力矩阵{\mathit{A}}^S;

5. 根据式（7）得到增强结构超图{\widehat{\mathit{H}}}^S;

6. 根据式（8）得到在增强结构超图和属性超图下的超边嵌入{\widehat{\mathit{E}}}^S,{\widehat{\mathit{E}}}^F;

7. 根据式（9）计算在两个视图下超边对节点的重要性；

8. 根据式（10）得到在两个视图下的节点嵌入{\widehat{\mathit{X}}}^S,{\widehat{\mathit{X}}}^F;

9. 根据式（14）计算每个视图对节点i的权重；

10. 根据式（15）为两个视图下的节点嵌入分配权重，获得节点i最终的表示；

11. 汇总所有节点表示，得到节点表示矩阵\overline{\mathit{X}};

12. 根据式（20）计算损失L;

13. 根据式（16）得到节点分类标签\widehat{\mathit{Y}};

14.结束.

4 实验

4.1　数据集

为了评估该算法的有效性，在八个公共数据集上进行了实验，表1给出了实验数据集的基本信息，其中，\left|V\right|为节点数，d为节点特征维度，m^{\mathrm{S}},m^{\mathrm{F}}分别为结构超图和属性超图的超边数，μ为平均超边密度，ρ为平均节点密度，C为类别数.

4.2　对比算法

将DCSH与九个对比算法进行比较，这些算法分为三类：（1）静态超图神经网络HGNN^［8］，HNHN^［14］和AllSet^［15］；（2）动态超图神经网络DHGNN^［16］，HSL^［11］和TDHNN^［7］；（3）基于对比的超图神经网络HyperGCL^［22］，CHGNN^［12］和HyGCL⁃AdT^［25］.

4.3　实验设置

使用节点分类准确率作为模型性能的评估指标.将数据集按1∶1∶8的比例划分为训练集、验证集、测试集.使用KNN构造属性超图，每个节点与其最相似的k个节点形成一条超边.对于数据集ModelNet40，由于其没有原始的结构超图，利用K⁃means方法对节点聚类得到结构超图，其中簇的个数为400.对比算法的超参数均采用默认的超参数，DCSH的超参数设置为k=\mathrm{10},\lambda =\mathrm{0.1},s=\mathrm{10},\epsilon =\mathrm{0.1},\omega =\mathrm{0.5},\tau =\mathrm{0.5},

\phi =\mathrm{0.2}.

4.4　实验结果与分析

表2展示了对比算法与DCSH在节点分类任务中的性能，表中黑体字表示性能最优，下画线表示性能次优.由表可见，DCSH在所有数据集上表现良好.

在Cora⁃C，Citeseer，Cora⁃A，Amazon和Pokec数据集上，μ和ρ普遍较低，说明这些网络的超边连接稀疏且超边内的节点较少，这种稀疏的结构使DCSH能发挥出较好的效果.在Pokec数据集上，DCSH的表现仅次于HyGCL⁃AdT，这是由于Pokec是一个社交网络，其超边代表了每个用户的全部好友关系，而HyGCL⁃AdT可对超边内节点的群体行为进行建模，所以对Pokec这种数据集更适用.

在20News和ModelNet40数据集上，由于高度密集的节点通过较为稀疏的超边扩散特征，导致节点特征过平滑，使不同HNNs的性能表现相似.但DCSH建立了属性视角下的超图结构，与结构超图联合行使作用，在一定程度上改善了模型的性能.

在Zoo数据集上，μ和ρ的值相对较高，表明该数据集的结构超图较密集，这种结构导致特征传播过程中出现一定程度的过平滑现象.这里体现了自适应融合模块的作用，当结构超图下的节点嵌入出现过平滑问题时，降低其权重可以改善最终节点表示，从而提升模型性能.

4.5　消融实验

为了验证DCSH算法不同组件对模型性能的影响，在Cora⁃C数据集上进行了消融实验，设计了六种不同的模型变体进行对比分析，如下所示.

（1） No_HS_Aug：移除结构超图增强模块；

（2） No_ Hedge_Weight：取消超边加权机制；

（3） No_Adapt_Fusion：移除自适应融合模块；

（4） No_Lcl：移除对比损失函数；

（5） Hyper_view：仅保留结构超图，去掉属性超图；

（6） Fea_view：仅保留属性超图，去掉结构超图；

（7） DCSH：保留所有模块.

图2展示了消融实验的结果.由图可见，模型在结构超图上的信息聚合能力显著优于属性超图.这一现象可以归因于属性信息通常仅能表征节点的表层特征，导致单纯基于属性构建的高阶关系难以有效捕获节点间复杂的潜在关联.将结构超图与属性超图相结合，模型的分类性能得到了显著提升，说明属性超图的构建能够有效补充结构超图的信息表征.当移除结构超图增强模块、超边加权机制、对比损失函数或自适应融合模块时，模型性能均出现不同程度的下降.这一系列的实验结果验证了各个模块在提升模型性能方面的重要作用，充分证明了DCSH模型设计的合理性和各功能模块的有效性.

4.6　参数分析

讨论属性超边规模k、结构增强系数\lambda、结构增强度s、缩放因子\epsilon、平衡因子ω、温度参数τ和平衡参数\phi对DCSH算法的影响.

4.6.1　属性超边规模 k

属性超边规模k决定了属性超图中每条超边的大小，在Cora⁃A，Cora⁃C和Citeseer数据集上进行节点分类实验，评估不同k对节点分类准确率的影响，实验结果如图3所示.由图可见，时，超边仅包含节点自身和极少数最近邻，无法充分反映节点在更广泛语义上下文中的关联；k\in \left[\mathrm{10,30}\right]时，性能较稳定，这是由于超边中包含了更多的节点，超边有足够的信息量来刻画更稳健的语义相似性组，超图的连通性也更好，有利于建模节点间的有效交互；k>\mathrm{30}时，会引入不相关的节点，超边代表的成组相似性变得模糊不清，导致性能下降.实验中设置k=\mathrm{10}.

4.6.2　结构增强系数\lambda

结构增强系数\lambda控制增强结构{\mathit{A}}^S对超图结构{\widehat{\mathit{H}}}^S的影响.\lambda =\mathrm{0}时，算法仅使用原始结构进行预测，不采用结构增强.图4展示了不同\lambda对分类性能的影响.由图可见，\lambda =\mathrm{0.1}时算法在不同数据集上能达到最好的分类性能.

4.6.3　结构增强度s

结构增强度s控制节点的结构增强程度，图5展示了s对DCSH算法的节点分类准确率的影响.由图可见，DCSH算法对s不敏感，实验中设置s=\mathrm{10}.

4.6.4　缩放因子\mathit{\epsilon }

在Cora⁃A，Cora⁃C和Cite⁃seer数据集上进行节点分类实验，评估不同的\epsilon对DCSH算法的节点分类准确率的影响，实验结果如图6所示.由图可见，\epsilon =\mathrm{0.1}时DCSH的分类准确率最高，随着\epsilon的增大，分类性能下降.实验中设置\epsilon =\mathrm{0.1}.

4.6.5　平衡因子ω

平衡因子ω控制最大值与次大值之间差距对节点判别性的影响.在Cora⁃A，Cora⁃C和Citeseer数据集上进行节点分类实验，并根据分类准确率评估不同ω对DCSH模型分类性能的影响，实验结果如图7所示.由图可见，DCSH模型的分类准确率对ω变化不敏感，本文实验将ω设为0.5.

4.6.6　温度参数τ

温度参数τ与对比学习中困难负样本关注度相关，图8展示了温度参数τ对所提DCSH模型性能的影响.可以看出，模型对τ变化不敏感，实验中将τ设为0.5.

4.6.7　平衡参数\mathit{\phi }

平衡参数\phi反映了交叉熵损失与对比损失在总损失函数中的权重比例，图9展示了平衡参数\phi对所提DCSH模型性能的影响.可以看出，当\phi=0.2时分类准确率最高，此时对比学习通过提供补充信息，帮助模型学习更具判别性的特征表示；当\phi>0.2时，准确率呈下降状态，这是由于对比损失主导训练过程，模型过度关注样本间的相似性，导致分类准确率下降.因此实验中取\phi=0.2.

4.7　各模块对模型性能的影响

为了验证结构超图增强和超边加权的有效性，以HGNN为基线，在Cora⁃C，Cora⁃A和Citeseer数据集上分别引入各模块，并通过准确率来观察模型性能是否提升.表3给出了各模块在不同数据集上的实验结果，其中，HS_Aug表示在HGNN中加入结构超图增强模块，Hedge_Weight表示在HGNN中加入超边加权模块.由表可见，实验结果验证了各模块的有效性.

4.8　稀疏结构超图

以Cora⁃A数据集为例，通过逐步稀疏化结构超图来进一步验证模型的有效性.具体地，首先随机删除结构超图中40%的节点，随后分别随机移除20%，50%和70%的超边以构建不同程度的稀疏结构超图，实验结果如图10所示.由图可见，即使在结构超图显著稀疏化的情况下，DCSH模型依然保持了最优的性能.

4.9　节点嵌入可视化

在Citeseer数据集上，首先移除结构超图中40%的节点，随后删除70%的超边.利用t⁃SNE方法对DCSH和CHGNN模型处理后的节点嵌入进行降维可视化，并通过Silhouette分数定量评估分类效果，结果如图11所示.由图可见，DCSH对不同类别的分离效果显著优于CHGNN，其更高的Silhouette分数充分证明了DCSH在处理稀疏超图结构时具有更强的表征学习能力.

5 结论

本文提出一种稀疏超图结构下的双视图对比学习算法用于节点分类，利用节点特征得到属性超图，补充结构超图在特征空间中缺失的语义相似性连接；在训练过程中，增加节点与超边之间的联系，动态地对结构超图进行增强；同时，考虑超边与目标节点语义的一致性，给每一条超边赋予不同的权重，以得到更好的节点嵌入；最后，通过节点在不同视图下的可判别性自适应调整两个视角下得到的节点嵌入，以得到最终节点表示用于下游的节点分类任务.在实验部分，使用八个数据集证明了算法的有效性.本文在超图结构稀疏影响超图神经网络消息传递方面做了一些有意义的探索，并取得了较好的结果.未来将通过大语言模型强大的理解和推理能力来改进本文提出的DCSH算法.具体地，尝试使用一个基于大语言模型的超边预测器来寻找缺失的重要超边，以恢复鲁棒的超图结构.

参考文献

[1] Gao Y， Zhang Z Z， Lin H J，et al. Hypergraph learning：methods and practices. IEEE Transactions on Pattern Analysis and Machine Intelligence，2022，44(5)：2548-2566.

[2] Kim S， Lee S Y， Gao Y，et al. A survey on hypergraph neural networks：An in⁃depth and step⁃by⁃step guide∥Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining.New York，NY，USA：Association for Computing Machinery，2024：6534-6544.

[3] Li M， Gu Y C， Wang Y，et al. When hypergraph meets heterophily：New benchmark datasets and baseline∥Proceedings of the 39th Annual AAAl Conferenceon Artificial Intelligence.Washington DC，USA：AAAI Press，2025：18377-18384.

[4] Bai S， Zhang F H， Torr P H S. Hypergraph convolution and hypergraph attention. Pattern Recognition，2021，110：107637.

[5] Jiao P F， Chen H Q， Bao Q，et al. Enhancing multi⁃scale diffusion prediction via sequential hypergraphs and adversarial learning∥Proceedings of the 38th AAAl Conferenceon Artificial Intelligence. Washington DC，USA：AAAI Press，2024：8571-8581.

[6] Ding K Z， Wang J L， Li J D，et al. Be more with less：Hypergraph attention networks for inductive text classification∥Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Online：Association for Computational Linguistics，2020：4927-4936.

[7] Zhou P， Wu Z Q， Zeng X X，et al. Totally dynamic hypergraph neural network∥Proceedings of the 32nd International Joint Conference on Artificial Intelligence. Macao，China：IJCAI，2023：2476-2483.

[8] Feng Y F， You H X， Zhang Z Z，et al. Hypergraph neural networks∥Proceedings of the 33rd AAAI Conference on Artificial Intelligence.Honolulu，HA，USA：AAAI Press，2019：3558-3565.

[9] Gao Y， Feng Y F， Ji S Y，et al. HGNN+：General hypergraph neural networks. IEEE Transactions on Pattern Analysis and Machine Intelligence，2023，45(3)：3181-3199.

[10] Saxena S， Ghatak S， Kolla R，et al. DPHGNN：A dual perspective hypergraph neural networks∥Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York，NY，USA：Association for Computing Machinery，2024：2548-2559.

[11] Cai D R， Song M X， Sun C X，et al. Hypergraph structure learning for hypergraph neural networks∥Proceedings of the 31st International Joint Conference on Artificial Intelligence. Vienna，Austria：IJCAI，2022：1923-1929.

[12] Song Y M， Gu Y， Li T Y，et al. CHGNN：A semi⁃supervised contrastive hypergraph learning network. IEEE Transactions on Knowledge and Data Engineering，2024，36(9)：4515-4530.

[13] Lee D， Shin K I. I'm me，we're us，and I'm us：Tri⁃directional contrastive learning on hypergraphs∥Proceedings of the 37th AAAI Conference on Artificial Intelligence，the 35th Conference on Innovative Applications of Artificial Intelligence，the 13th Symposium on Educational Advances in Artificial Intelligence. Washington DC，USA：AAAI Press，2023：8456-8464.

[14] Dong Y H， Sawin W， Bengio Y. HNHN：Hypergraph networks with hyperedge neurons. https://arxiv.org/abs/2006.12278，2020-06-22.

[15] Chien E， Pan C， Peng J H，et al. You are AllSet：A multiset function framework for hypergraph neural networks. https://arxiv.org/abs/2106.13264，2022-03-28.

[16] Jiang J W， Wei Y X， Feng Y F，et al. Dynamic hypergraph neural networks∥Proceedings of the 28th International Joint Conference on Artificial Intelligence. Macao，Chia：IJCAI，2019：2635-2641.

[17] Zhang J Y， Chen Y Z， Xiao X，et al. Learnable hypergraph laplacian for hypergraph learning∥ICASSP 2022-2022 IEEE International Conference on Acoustics，Speech and Signal Processing. Singapore：IEEE，2022：4503-4507.

[18] Zhang Z Z， Lin H J， Gao Y. Dynamic hypergraph structure learning∥Proceedings of the 27th International Joint Conference on Artificial Intelligence. Stockholm，Sweden：IJCAI，2018：3162-3169.

[19] Zhang Z Z， Feng Y F， Ying S H，et al. Deep hypergraph structure learning. https://arxiv.org/abs/2208.12547，2022-08-26.

[20] Lei F Y， Huang J H， Jiang J J，et al. Unveiling the potential of long⁃range dependence with mask⁃guided structure learning for hypergraph. Knowledge⁃Based Systems，2024，284：111254.

[21] Zhang D J， Nan F， Wei X K，et al. Supporting clustering with contrastive learning∥Proceedings of the 2021 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies. Online：Association for Computational Linguistics，2021：5419-5430.

[22] Wei T X， You Y N， Chen T L，et al. Augmentations in hypergraph contrastive learning：Fabricated and generative∥Proceedings of the 36th International Conference on Neural Information Processing Systems. Red Hook,NY,USA：Curran Associates Inc，2022：1909-1922.

[23] Liu L T， Huang F， Liu X，et al. Multi⁃view contrastive learning hypergraph neural network for drug⁃microbe⁃disease association prediction∥Proceedings of the 32nd International Joint Conference on Artificial Intelligence. Macao，China：IJCAI，2023：4829-4837.

[24] Xia X， Yin H Z， Yu J L，et al. Self⁃supervised hypergraph convolutional networks for session⁃based recommendation∥Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto,CA，USA：AAAI Press，2021：4503-4511.

[25] Qian Y Y， Ma T Y， Zhang C X，et al. Dual⁃level hypergraph contrastive learning with adaptive temperature enhancement∥Companion Proceedings of the ACM Web Conference. New York，NY，USA：Association for Computing Machinery，2024：859-862.

[26] Antelmi A， Cordasco G， Polato M，et al. A survey on hypergraph representation learning. ACM Computing Surveys，2023，56(1)：1-38.

[27] Vaswani A， Shazeer N， Parmar N，et al. Attention is all you need∥Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook,NY，USA：Curran Associates Inc，2017：6000-6010.

[28] Yadati N， Nimishakavi M， Yadav P，et al. HyperGCN：A new method of training graph convolutional networks on hypergraphs∥Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook，NY，USA：Curran Associates Inc，2019：1511-1522.

基金资助

国家自然科学基金(62072292)

山西省1331工程项目