基于大语言模型的标签引导鲁棒增强图表示学习

Label⁃guided robust enhanced graph pepresentation learning based on large language models

摘要

随着大数据技术的快速发展，现实世界中互相联系的事物构成了海量数据，能高效且抽象地表示实体及其间关系的数据结构图在多个领域得到了广泛应用，然而在现实世界中，图结构数据不仅包含丰富的关系信息，也不可避免地受到噪声干扰.图神经网络对对抗性扰动，尤其是针对图结构的拓扑扰动较敏感，易导致模型性能大幅下降.为此，提出一个基于大语言模型的标签引导图表示学习框架（Label⁃Guided Text⁃Attributed Graphs Representation Learning Frame⁃work with Large Language Models，LGFLLM），能够结合不同的图神经网络模型增强其鲁棒性，在受到拓扑扰动的噪声图场景下学习更优的节点表示.具体地，在文本属性图上，通过大语言模型的外部知识库为图中各节点生成预测标签，再结合节点属性识别删除图中的噪声边，并构建辅助边，在噪声场景下获取一个更可靠的图结构；最后，结合表示学习基座模型学习更鲁棒的节点表示.在三个包含文本属性的引文数据集上的实验结果表明，LGFLLM在噪声场景的节点分类任务上，和先进的方法相比，表现更优.

Abstract

With the advancement of big data technologies，interconnected entities in the real world generate massive amounts of data. As a data structure that efficiently and abstractly models entities and their relationships，graphs have been widely applied across various fields, and graph data mining has gradually become an important research direction in data science. However，real⁃world graph data not only contains rich relational information but is also inevitably subject to noise interference. Graph neural networks are particularly sensitive to adversarial perturbations，especially with regard to topological disturbances in graph structures，which can lead to significant drops in model performance. In this paper，we propose a Label⁃Guided text⁃attributed graphs representation learning Framework with Large Language Models (LGFLLM)，which is able to combine different graph neural network models and enhance their robustness for better node representations under topological perturbations. Specifically，on the textual attribute graph，the external knowledge base of the Large Language Models is used to generate predictive labels for each node in the graph，which is then combined with the node attribute to remove noisy edges in the graph and construct auxiliary edges to obtain a more reliable graph structure in noisy scenarios. Finally，more robust node representations are learned by combing with the base representation learning model. Experimental results on three citation datasets containing textual attributes show that LGFLLM performs better on the task of node classification in noisy scenarios than state⁃of⁃the⁃art methods.

Graphical abstract

关键词

图神经网络 / 文本属性图 / 大语言模型 / 对抗鲁棒性

Key words

graph neural networks / text⁃attributed graphs / large language model / adversarial robustness

现实世界中互相联系的事物构成海量的网络化数据，如用户账号间的社交网络^［1］、药物分子间的相互作用网络^［2］、交通路口间的车流网络^［3］等.图（Graph）是一种灵活而强大的数据结构，可以表示网络中实体（节点）及其间的关系（边）.对图结构数据的分析与挖掘在工业领域具有广阔的潜在价值，已成为数据挖掘领域重要的研究分支.图表示学习（Graph Representation Learning）将图中的节点映射到低维空间，以获取实体的低维嵌入，并应用于节点分类、链接预测等下游任务中.图神经网络（Graph Neural Networks，GNNs）是一类专门处理图结构数据的深度学习模型，在图数据建模方面表现出显著的性能.近年来卷积图神经网络因其泛化性和计算效率上的优势，在许多复杂图模型的构建中发挥着核心作用^［4］.随着图神经网络研究的推进，图结构数据中存在的噪声问题开始受到关注.

现实世界中，图的拓扑结构往往不可避免地受到噪声干扰.目前大多数图表示学习方法都在同配性假设^［5-6］下工作，即图中关联节点倾向于具有相似的特征与标签，模型的有效性依赖于一个无噪声干扰的图结构，在图受到扰动的情况下学习到的节点表示质量会大幅降低^［7-8］，但是图作为非欧数据（Non⁃Euclidean Data），在模型训练的过程中邻接的测试集节点与验证集节点的标签无法观测，难以直接在图结构中识别符合同配性假设的边.当前，针对图攻击带来的噪声场景，提出的鲁棒的图神经网络可划分为基于模型的方法和基于数据预处理的方法^［9］.基于模型的方法通过设计鲁棒的训练过程或模型架构来增强模型的鲁棒性^［10-11］.基于数据预处理的方法则侧重于通过训练阶段前进行的数据预处理过程来提高模型的鲁棒性^［12-13］.然而，当前许多网络包含图像、文本等复杂数据类型，利用这些信息来增强表示学习模型的鲁棒性仍有待进一步探索^［14］.

现实世界中许多网络都具有文本信息，这类带有文本的网络通常被称为文本属性图（Text⁃Attributed Graphs，TAGs）^［15］.在文本属性图中，节点是一个具有文本信息的实体，如论文实体或社交账号实体，边表示这些实体之间的关系.图1展示的文本属性引文数据集包含多个由论文实体构成的引用网络，每个论文节点都包含标题与摘要两条文本信息，这些文本信息为文本属性图提供了更丰富的原始信息.近期也出现了许多研究，尝试借助语言模型来利用图中的文本属性，并在小样本学习^［16］、推荐系统^［17］等领域取得成效.虽然已有一些表示学习模型利用文本信息与节点属性来学习更高质量的节点表示^［18-20］，但结合实体的文本与属性信息在噪声场景下增强模型的鲁棒性仍存在研究空间.

近期，大语言模型（Large Language Models，LLMs）的成效越来越受到关注，许多研究开始探索大语言模型在图数据上的应用.当前研究主要是利用大语言模型增强节点特征进而提升图表示学习的效果^［18］以及将图结构信息融入大语言模型^［21-23］.

鉴于此，本文在拓扑扰动的噪声场景下，在文本属性图上探索结合文本信息，借助大语言模型的外部知识库，结合不同的图神经网络模型，设计噪声鲁棒的图表示学习框架，以学习更高质量的节点表示.为此，提出了一个基于大语言模型的标签引导图表示学习框架（Label⁃Guided Text⁃Attributed Graphs Representation Learning Framework with Large Language Model，LGFLLM），通过大语言模型的外部知识库为图中各节点生成预测标签，再结合节点属性识别删除图中的噪声边，并构建辅助边，以增强噪声场景下的图结构.最后，结合不同的表示学习基座模型获取节点表示，应用在下游任务中.本文的主要工作如下.

（1）提出一种结合节点属性与标签信息增强图结构的图表示学习通用框架LGFLLM，结合不同的图神经网络模型增强其鲁棒性，在受到拓扑扰动的噪声场景下学习更优的节点表示.

（2）引入基于大语言模型的节点标签预测方法，借助大语言模型GPT⁃3.5的外部知识库为文本属性图中各节点生成可观测的标签信息，并应用在图结构增强过程中，更好地识别噪声边与相似节点，同时提高框架的模块化程度与兼容性.

（3）在三个包含文本属性的引文数据集上结合三个常见图表示学习模型进行了实验.实验结果表明，LGFLLM在噪声场景的节点分类任务上能够增强模型鲁棒性，和其他方法相比，表现更优.

1 相关工作

1.1　文本属性图表示学习

文本属性图中的节点通常携带文本格式的属性信息，广泛存在于商品网络、引文网络等现实应用场景^［24］，近期，研究者开始关注结合语言模型与图神经网络处理此类同时提供拓扑结构信息与文本信息的复杂图数据.依据对语言模型的使用方式，文本属性图表示学习方法可划分为使用语言模型作为预测器（Predictor）和使用语言模型作为增益器（Enhan⁃cer）两类^［25］.

使用语言模型作为预测器的方法将图结构信息融入语言模型，使其能够独立完成节点分类、链接预测等下游任务.例如，LLaGA^［22］设计邻域节点模板函数，将子图转换为保留结构信息的节点序列，再将编码后的节点嵌入序列输入语言模型来执行节点分类等任务.WalkLM^［26］采用带属性的随机游走算法来构建自动文本化程序，从图结构中提取文本序列，并使用在对语言模型的微调过程中.

使用语言模型作为增益器的方法通过其更强的文本建模能力与外部知识的引入，为图神经网络提供语义补充，从而提升其在各类下游任务中的表现.例如，TAPE^［18］使用大语言模型对节点文本进行扩充解释和初步标签预测，同时借助语言模型对文本内容进行编码，将得到的文本编码作为初始特征输入图神经网络来学习节点表示.AskGNN^［27］通过大语言模型的语境学习能力选择相关节点对样本，同时结合图神经网络的拓扑建模能力缓解小样本学习场景中的数据稀疏问题.

尽管已有研究尝试利用大语言模型引入外部知识进行数据预处理，以提升图神经网络的性能，但在文本属性图中进一步利用大语言模型增强图模型的鲁棒性仍有待深入探索.

1.2　拓扑扰动与鲁棒图神经网络

随着图神经网络在各类任务中取得广泛成功，其鲁棒性问题也受到关注.图结构数据本身存在不规则性与复杂性，实际的数据采集和测量过程中往往会引入噪声，导致图中产生自然性扰动.此外，在拓扑攻击场景下，攻击者也可通过添加、删除图中的边来扰乱图结构，进而影响图表示学习模型的效果.

这类针对拓扑结构的扰动不依赖于节点特征，仅通过结构层面的修改即可对模型造成干扰，因而具有更强的隐蔽性和攻击广度.例如，随机攻击（Random Attack，RA）方法通过在图中随机添加或删除边来进行结构扰动.Metattack^［28］通过修改图结构以最大化目标模型在训练过程中的损失，从而在不依赖模型内部信息的条件下削弱图神经网络的性能.DICE （Delete Internally Connect Externally）^［29］删除同类节点之间的边并随机添加不同类节点之间的边，以破坏原始图中类内连接密集、类间连接稀疏的同配性假设^［30］，进而降低表示学习模型的效果.

为了应对上述自然性与攻击性图扰动，近期有许多研究致力于构建鲁棒的图神经网络.根据防御策略的不同，这些方法大致分为两类：基于模型的鲁棒方法与基于数据预处理的鲁棒方法^［9］.基于模型的方法通常通过设计鲁棒的训练过程或模型结构来增强模型对结构扰动的抵抗能力.例如，RobustGCN^［10］在每层图卷积中引入高斯分布表示节点的隐藏状态，以缓解结构与特征扰动带来的负面影响.ProGNN^［11］引入低秩性、稀疏性和特征平滑性约束来对图结构进行迭代重构，同时采用交替优化策略联合更新图结构与GNNs参数，以削弱对抗性扰动的影响.NoisyGNN^［31］提出一种向模型结构中注入噪声以提升图神经网络鲁棒性的方法，在保证低计算开销的同时，可与多种GNN架构兼容.相较之下，基于数据预处理的方法侧重于在图进入模型之前对数据进行处理来提升鲁棒性.例如，SVD⁃GCN^［12］对邻接矩阵进行低秩奇异值分解，滤除高频扰动信息，以提升模型的抗扰动能力.Jaccard⁃GCN^［13］基于节点特征的Jaccard相似度，剔除特征差异过大的边，以优化图结构.这类方法具有轻量、高效的优势，适用于无需修改模型结构的实际场景.尽管已有方法从节点属性特征与图结构秩约束的角度对图结构进行优化以提升鲁棒性，但由于测试集节点标签在训练阶段不可观测，有效利用标签信息辅助鲁棒建模仍是有待深入探索的方向.

2 方法

本文提出的基于大语言模型的标签引导图表示学习框架LGFLLM如图2所示.LGFLLM借助文本属性图内的实体文本信息生成预测标签，结合节点特征比较节点对之间的相似度，搜索符合同配性假设的节点对，在受到拓扑攻击的噪声网络中对图结构进行增强.给定一个如图2a中的文本属性图G，其中每个节点都包含一个初始数值属性与一段文本信息，在图G受到扰动攻击后产生一定的噪声边，同时丢失一部分原始边.对于这样的噪声图，LGFLLM通过图2b中基于大语言模型的标签引导图增强过程对图结构进行增强，获取一个更加可靠的拓扑结构.之后，如图2c所示，将增强图应用在不同的图模型中学习节点表示.LGFLLM框架具有良好的扩展能力，可与多种图神经网络结合，增强模型的鲁棒性，在噪声场景下学习更高质量的节点表示.后文将对LGFLLM框架增强图结构的过程进行详细说明.

2.1　基于大语言模型的标签预测

给定文本属性图G=\left(V,E,X,\mathit{T}\right)，其对应邻接矩阵为\mathit{A}.在同配性假设下，图G中相互连接的节点对往往倾向于拥有相同的标签.对于不同数据集中包含的文本信息，借助大语言模型根据实体文本生成实体的预测分类标签.为了提升框架的模块化程度与兼容性，LGFLLM旨在通过API访问大语言模型，使用基于文本的输入和输出对大语言模型进行操作，而无需对大语言模型进行微调或访问其内部嵌入.因此，本文框架以提示词查询大语言模型，即指示大语言模型做出标签预测.具体地，LGFLLM为每篇论文节点v_i\in V根据其对应的文本信息t_i\in \mathit{T}构建提示词，包括论文的标题和摘要内容以及一个关于论文主题类别的预测问题.受TAPE^［18］的启发，本文采用GPT⁃3.5作为LGFLLM框架内使用的通用大语言模型，并在提示词的问题中要求对预测结果进行解释，以更好地利用大语言模型的推理能力.提示词的一般结构如表1所示.

查询大语言模型的结果是预测的实体标签序号和预测结果的文字说明，如表2所示.

本文针对不同的数据集设计不同的提示词描述，具体内容如表3所示.

在得到预测标签后，每个实体节点均在避免数据泄露（Data Leakage）的前提下获得一个可观测的大语言模型预测标签L^p=\left\{l_{\mathrm{1}}^p,l_{\mathrm{2}}^p,\dots ,l_{|V|}^p\right\}.这组标签将替代节点的真实标签，在后续的图结构增强过程中使用.

2.2　标签引导的图增强

当文本属性图G受到拓扑扰动后得到扰动图G^{\text{'}}，其包含噪声结构的邻接矩阵为{\mathit{A}}^{\text{'}}，本节旨在通过大语言模型预测标签L^p与各个节点的数值属性\mathit{X}得到一个健壮的图结构\tilde{\mathit{A}}.考虑到拓扑攻击者可能删除一些重要边或增加一些噪声边来降低模型性能，本节通过比较节点间的属性相似度与标签一致性移除识别到的噪声边以减轻恶意边对模型预测的影响.同时，识别一些具有相同标签的相似节点对，构建辅助边添加到{\mathit{A}}^{\text{'}}中.

受过往图鲁棒研究中使用节点数值特征进行结构纯化^［13］的启发，LGFLLM结合节点间的数值属性差异进行图结构增强.首先，对每个节点的属性向量进行l_{\mathrm{2}}范数归一化：

{\tilde{\mathit{x}}}_i=\frac{{\mathit{x}}_i}{{‖{\mathit{x}}_i‖}_{\mathrm{2}}},\forall i=\mathrm{1,2},\cdots ,n(1)

其中，{\mathit{x}}_i表示节点v_i的数值属性向量.对于节点对v_i和v_j归一化后的特征{\tilde{\mathit{x}}}_i和{\tilde{\mathit{x}}}_j，通过内积计算其弦相似度：

S_{ij}={\tilde{\mathit{x}}}_i^{\mathrm{T}}{\tilde{\mathit{x}}}_j(2)

在获得大语言模型预测标签L^p并计算各个节点对间的属性相似度矩阵\mathit{S}后，设置两个相似度阈值超参数{\delta }_{\mathrm{a}\mathrm{d}\mathrm{d}}与{\delta }_{\mathrm{d}\mathrm{e}\mathrm{l}}，定义两个辅助矩阵{\mathit{A}}^{\mathrm{a}\mathrm{d}\mathrm{d}}和{\mathit{A}}^{\mathrm{d}\mathrm{e}\mathrm{l}}：

A_{ij}^{\mathrm{a}\mathrm{d}\mathrm{d}}=\left\{\begin{array}{c}\mathrm{1},\mathrm{i}\mathrm{f}{S}_{ij}>{\delta }_{\mathrm{a}\mathrm{d}\mathrm{d}}\mathrm{a}\mathrm{n}\mathrm{d}{\mathit{A}}_{ij}^{\text{'}}=\mathrm{0}\mathrm{a}\mathrm{n}\mathrm{d}{l}_i^p=l_j^p\\ \mathrm{0},\mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}\right.(3)

(4)

其中，l_i^p表示节点i的大语言模型预测标签.从得到的辅助矩阵{\mathit{A}}^{\mathrm{a}\mathrm{d}\mathrm{d}}中筛选出具有相似数值属性且具有相同预测标签的节点对，从辅助矩阵{\mathit{A}}^{\mathrm{d}\mathrm{e}\mathrm{l}}中筛选出数值属性差异较大且具有不同预测标签的节点对.最后，通过两个辅助矩阵得到增强图结构\tilde{\mathit{A}}：

\tilde{\mathit{A}}={\mathit{A}}^{\text{'}}+{\mathit{A}}^{\mathrm{a}\mathrm{d}\mathrm{d}}-{\mathit{A}}^{\mathrm{d}\mathrm{e}\mathrm{l}}(5)

得到的增强后的图结构\tilde{\mathit{A}}可用于后续的图表示学习过程.

2.3　图模型训练

如图2c所示，最后一步使用增强后的图结构\tilde{\mathit{A}}与节点数值属性\mathit{X}训练图神经网络，并把真实节点标签与交叉熵损失函数作为优化目标：

\widehat{\mathit{Y}}=Softmax\left(GNN\left(\tilde{\mathit{A}},\mathit{X}\right)\right)(6)

{\mathrm{ℒ}}_{\mathrm{C}\mathrm{E}}=-{\sum }_{v_i\in {\mathit{𝒱}}_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}}{y}_i\mathrm{l}\mathrm{g}{\widehat{y}}_i(7)

由于GNN\left(\cdot \right)可灵活替换为各类图神经网络方法作为表示学习的基座模型，所以LGFLLM框架具有良好的可扩展性.其中，\widehat{\mathit{Y}}=\left\{{\widehat{y}}_{\mathrm{1}},{\widehat{y}}_{\mathrm{2}},\dots ,{\widehat{y}}_{\left|V\right|}\right\}为表示学习模型输出的预测标签分布，y_i是节点i的真实标签.

3 实验

结合三个常见的图神经网络来评测LGFLLM对于图鲁棒性增强的效果，在三个文本属性图数据集上学习节点表示并执行节点分类任务，同时对比大语言模型直接进行节点分类的效果.将结合LGFLLM框架的图表示学习模型与基线方法进行比较，最后，在噪声场景下对LGFLLM框架进行消融实验，以研究框架内各组成部分的作用，并从参数实验、可视化实验、效率评估等多个角度对LGFLLM框架进行分析.

3.1　实验设置

使用半监督的节点分类任务来评估LGFLLM框架的性能，并设置Micro⁃F1与Macro⁃F1为评估指标以衡量各方法的效果.为了确保结果的可靠性，每项实验进行五次并记录平均值及标准差，每次实验设置不同的随机种子.

实验选取He et al^［18］的文本属性图数据集并依照其数据集划分方法，以6∶2∶2的比例将节点分割为训练集、验证集与测试集.对于基线方法，遵循图扰动攻击与防御库DeepRobust^［32］提供的代码进行实验，选取不同的扰动率，在各个图数据集上通过RA方法与DICE^［29］攻击方法模拟自然噪声场景与对抗性扰动噪声场景，将不同的对比模型设置在同一噪声结构上进行比较，攻击方法中的超参数也遵循DeepRobust库提供的代码设置.为了实验的公平性，对比实验中所有使用GCN^［33］的模型均设置了相同的隐藏层向量维度.为了避免数据泄露问题，实验中采用GPT⁃3.5 Turbo作为生成预测标签L^p的大语言模型.

对于本文提出的LGFLLM框架，结合GCN模型根据验证集上的性能对超参数进行微调，对抗性扰动场景的图结构增强过程使用的相似度阈值超参数{\delta }_{\mathrm{a}\mathrm{d}\mathrm{d}}与{\delta }_{\mathrm{d}\mathrm{e}\mathrm{l}}在Pubmed数据集中均设置为0.7，在Citeseer数据集中设置为0.76与0.08，在Cora数据集中设置为0.8与0.07.

3.2　实验数据集

为了验证LGFLLM框架的有效性，在三个具有文本属性的图数据集上进行实验，包括两个计算机领域的学术引用数据集Cora和Citeseer以及一个医药领域的学术引用数据集Pubmed.这些数据集中，每个节点代表一篇学术论文，边表示论文之间的引用关系.

数据集的信息如表4所示.

Pubmed来源于医学领域，包含大量糖尿病研究的文献，并将论文分为三个主要主题：实验性糖尿病（Experimentally Induced Diabetes）、1型糖尿病（Diabetes Mellitus Type 1）和2型糖尿病（Diabetes Mellitus Type 2）.每篇文章均带有一个500维的属性向量.

Citeseer源自计算机与信息科学领域，包含来自六个不同领域的学术论文：智能体（Agents）、机器学习（Machine Learning）、信息检索（Information Retrieval）、数据库（Databases）、人机交互（Human⁃Computer Interaction）和人工智能（Artificial Intelligence）.每篇文章都由一个3703维的属性向量描述.

Cora是一个计算机科学领域论文数据集，包括七种论文标签：基于案例的推理（Case⁃Based）、遗传算法（Genetic Algorithms）、神经网络（Neural Networks）、概率方法（Probabilistic Methods）、强化学习（Reinforcement Learning）、规则学习（Rule Learning）和理论研究（Theory），涵盖了计算机科学研究的多个领域.每篇文章都具有一个对应的1433维属性向量.

3.3　对比方法

LGFLLM是一个基于大语言模型的通用框架，可增强图表示学习模型的鲁棒性.因此，选择三个经典的图神经网络ChebNet^［34］，GCN^［33］和GAT^［35］作为基座模型，以验证LGFLLM增强鲁棒性的能力.此外，为了更全面地评估LGFLLM增强鲁棒性后模型的抗扰动能力，还将其与多个先进的鲁棒图表示学习方法进行比较，包括Jaccard⁃GCN^［13］，SVD⁃GCN^［12］，RobustGCN^［10］和NoisyGNN^［31］.同时，为了实验的公平性，在对比过程中选用GCN作为LGFLLM的基座模型.各对比方法的详细描述如下.

ChebNet是一个基于图卷积的模型，通过引入切比雪夫多项式（Chebyshev Polynomials）来近似图拉普拉斯算子的谱卷积操作，通过局部的卷积操作来捕捉图结构中的全局信息.

GCN是一个基础的图模型，通过多个图卷积层神经网络聚合节点的临近节点信息学习节点表示，是本节对比实验中LGFLLM框架的基座模型.

GAT由带有掩码自注意力机制的层组成，对邻居节点分配自适应的动态权重并聚合，学习节点表示，常被用作防御图扰动的基线方法.

Jaccard⁃GCN是一种基于数据预处理的抗扰动方法，结合了图卷积网络与Jaccard相似度的思想，通过消除连接具有低Jaccard相似度的节点的边来对图结构进行预处理，以减小噪声干扰.在处理稀疏图数据时，Jaccard⁃GCN表现出较好的性能.

SVD⁃GCN是另一种基于数据预处理的抗扰动方法，将奇异值分解（Singular Value Decomposition，SVD）与图卷积网络相结合，用图的低秩近似对图结构进行去噪，从而更有效地捕捉图中的结构信息和节点之间的高阶关系.

RobustGCN是一种基于模型的抗扰动方法，在每一卷积层中采用高斯分布作为节点的隐藏层表示，自动地吸收图扰动对高斯分布方差的影响.同时，提出一种基于方差的注意力机制，根据节点邻域的方差在卷积过程中分配不同的权重，在噪声环境中学习更好的节点表示.

NoisyGNN提出一种通过在模型架构中引入噪声来增强GNNs鲁棒性的方法，并在理论上建立了噪声注入与GNNs鲁棒性增强之间的联系.在较低的时间复杂度下将具有模型无关性NoisyGNN与现有图模型相结合，提高了图扰动防御的效果.

3.4　对比实验

首先对大语言模型生成的节点标签预测结果进行测试，结果如表5所示.

由表可见，大语言模型对Pubmed数据集的标签预测效果最佳，这可能是由于Pubmed数据集中论文涉及的疾病种类数为三，易于大语言模型根据论文本文作出预测，而Citeseer和Cora数据集中论文的类别数为六和七，带来了更复杂的预测要求.将LGFLLM与ChebNet，GCN和GAT结合，在三个引文数据集上进行节点分类实验.在10%，20%，30%三个不同扰动率下对图结构进行RA与DICE攻击，在攻击后的扰动图上再次进行节点分类实验，对比观察LGFLLM增强图模型鲁棒性的能力.实验结果如表6和表7所示.

由表6和表7可见，首先，在图受到RA或DICE攻击后，LGFLLM在三个受扰动的数据集上给不同的图基座模型都带来了更优的节点分类效果，证明LGFLLM对于多种图模型都具有增强鲁棒性的能力.

其次，在扰动率为0的原始图结构上，结合本文框架的图模型在Pubmed与Citeseer数据集上同样具有更高的分类精度，这是由于Pubmed与Citeseer数据集内的原始图结构内存在噪声，证明LGFLLM对于不够优化的原始图结构同样具有增强效果.

此外，在扰动率更大的图结构中，LGFLLM给基座图模型带来了更高的分类精度提升.比如在扰动率为10%的DICE攻击下，结合本文框架给GCN模型在Pubmed数据集上的Micro⁃F1分数提升了4.33%，当扰动率提升到30%时，本文框架给GCN模型带来的Micro⁃F1分数的提升增加至9.31%，说明对于扰动程度高的图结构，LGFLLM的鲁棒性提升作用更加显著.

最后，结合表5中大语言模型生成预测标签的分类精度可以看出，结合LGFLLM的GCN取得了既优于原始GCN又高于大语言模型直接预测的分类精度，说明本文框架设计的标签引导图结构增强过程有效地结合了大语言模型生成的预测标签信息与原始的图信息，在增强后的图中学习到了更佳的节点表示.

将结合了LGFLLM框架的GCN模型与其他抗扰动图表示学习方法在受到扰动攻击的三个数据集上进行节点分类实验，实验结果如表8和表9所示，表中黑体字表示性能最优.

由表8和表9可见，无论是RA方法模拟的自然噪声场景还是DICE攻击模拟的扰动噪声场景，结合了LGFLLM的GCN模型在包含噪声的图结构上都具有最优的节点分类效果，体现了本文鲁棒增强图表示学习框架的良好效果.并且，和仅仅使用节点属性进行相似度衡量并改善图结构的Jaccard⁃GCN方法相比，本文提出的LGFLLM框架具有更高的分类精度，证明了LGFLLM在修改图结构时通过基于大语言模型生成的标签进行引导的有效性.

3.5　消融实验

为了确定框架各模块及标签引导机制的效果，设计了以下LGFLLM变体进行消融实验.

w/o.Add：该变体在增强图结构的过程中去除了辅助矩阵{\mathit{A}}^{\mathrm{a}\mathrm{d}\mathrm{d}}，不在识别出的相似节点间构建边，仅保留对噪声边的识别与去除.

w/o.Del：该变体在增强图结构的过程中去除了辅助矩阵{\mathit{A}}^{\mathrm{d}\mathrm{e}\mathrm{l}}，不对识别出的噪声边进行去除，仅在识别出的相似节点间构建新的边.

w/o.Predicted Labels：该变体在获取辅助矩阵{\mathit{A}}^{\mathrm{a}\mathrm{d}\mathrm{d}}与{\mathit{A}}^{\mathrm{d}\mathrm{e}\mathrm{l}}的过程中仅仅计算各个节点对间的属性相似度，而不使用大语言模型生成的预测标签来比较标签一致性，即在图增强过程中消除了标签引导作用.

在扰动率为20%的DICE攻击下，对三个数据集均进行了消融实验，结果如表10所示，表中黑体字表示性能最优.由表可见，和w/o.Add变体相比，完整的LGFLLM框架在受扰动的Cora数据集上的Micro⁃F1分数提高了0.74%.和w/o.Del变体相比，完整的LGFLLM框架在受扰动的Citeseer数据集上的Macro⁃F1分数提高了2.60%，证明了LGFLLM整体结构的有效性，并表明结合大语言模型生成的预测标签来增强图结构具有明显优势.此外，框架在去除大语言模型生成标签引导后的w/o.Predicted Labels变体中，性能出现了显著下降，在Pubmed和Cora数据集上的Micro⁃F1分数分别下降了2.08%和1.11%，进一步凸显了标签信息对于增强图模型鲁棒性的重要作用.

3.6　参数实验

在三个数据集上对超参数开展实验，包括图结构增强过程中使用的相似度阈值超参数{\delta }_{\mathrm{a}\mathrm{d}\mathrm{d}}与{\delta }_{\mathrm{d}\mathrm{e}\mathrm{l}}，从而评估它们对LGFLLM框架性能的影响.经过扰动率为20%的DICE攻击后，在扰动图上对以GCN为基座模型的LGF⁃LLM框架进行实验，在保持其他参数不变的情况下对每个特定参数调整取值，在每个参数数值上记录五次实验的平均值，实验结果如图3所示.

实验结果表明，LGFLLM框架的性能显著受到相似度阈值超参数{\delta }_{\mathrm{a}\mathrm{d}\mathrm{d}}与{\delta }_{\mathrm{d}\mathrm{e}\mathrm{l}}的影响.例如，当Pubmed数据集中相似度阈值超参数{\delta }_{\mathrm{d}\mathrm{e}\mathrm{l}}过低时LGFLLM无法有效识别扰动图中的噪声边，而当{\delta }_{\mathrm{d}\mathrm{e}\mathrm{l}}过高时删除的边过多，框架退化为仅依靠大语言模型预测标签的一致性进行噪声边识别.这时虽然能删除更多的噪声边，但也有可能删除一些有效边，造成分类精度的下降.依据参数实验结果，对于Pubmed数据集，当{\delta }_{\mathrm{a}\mathrm{d}\mathrm{d}}与{\delta }_{\mathrm{d}\mathrm{e}\mathrm{l}}设为0.7时性能最优；对于Citeseer数据集，当{\delta }_{\mathrm{a}\mathrm{d}\mathrm{d}}设置在0.75附近且{\delta }_{\mathrm{d}\mathrm{e}\mathrm{l}}设置在0.06~0.10时分类效果最佳；对于Cora数据集，{\delta }_{\mathrm{a}\mathrm{d}\mathrm{d}}适合设置为0.8，{\delta }_{\mathrm{d}\mathrm{e}\mathrm{l}}适合设置在0.07~0.09.

3.7　可视化实验

为了进一步评估LGFLLM框架对于增强图模型鲁棒性的效果，在三个基准图数据集以及它们的DICE攻击扰动图上对节点分类任务进行了可视化实验，记录LGFLLM框架增强的GCN在各个数据集上进行图扰动前后的预测结果，并生成混淆矩阵热力图.如图4所示，实验包括在原始图环境下的预测结果（Clean）、经过图扰动攻击后的预测结果（Perturbed）以及经过LGFLLM框架图增强处理后的预测结果（Defense）.在生成的混淆矩阵热力图中，行和列分别代表不同的类别标签，色阶的变化反映了每个类别的预测概率.说明应用对数尺度来增强热力图的细节，可使混淆矩阵的细微变化更加明显.

由图可见，在干净（Clean）环境下学习到的节点表示分类效果最佳，其混淆矩阵对角线颜色较深，预测准确性高.当图结构受到扰动后（Perturbed），分类准确性显著下降，混淆矩阵对角线颜色变浅，非对角线元素颜色加深，说明扰动对模型预测性能造成了明显负面影响.LGFLLM增强处理后（Defense），混淆矩阵对角线颜色恢复至接近未受扰动状态，非对角线区域的颜色变浅.说明本文框架能够有效增强图模型鲁棒性，抵御针对拓扑结构的扰动.

3.8　效率评估

为了评估本文提出的LGFLLM框架在实际应用中的计算效率，从理论分析与实证实验两个维度，对其在标签预测过程中的时间开销与部署成本进行量化评估.

LGFLLM通过设计提示词，调用大型语言模型对图中的每一个节点进行一次API请求，以生成该节点的预测标签.设图中节点数量为N，单次API调用的平均响应时间为T_{\mathrm{L}\mathrm{L}\mathrm{M}}，则整个预测标签生成过程的时间复杂度为\mathit{𝒪}\left(N\cdot T_{\mathrm{L}\mathrm{L}\mathrm{M}}\right).

以包含2708个节点的Cora数据集为例，选取其中前100个节点作为样本，按表3构造包含摘要信息、标题、问题描述、标签选项及输出格式要求的提示词，并调用OpenAI的GPT⁃3.5 Turbo接口进行标签预测实验.实验过程中记录API的平均响应时间以及输入提示词和模型生成输出的平均token长度.统计结果如表11所示.

根据OpenAI的官方定价标准（输入部分每1000 tokens收费0.0015 $，输出部分每1000 tokens收费0.002 $），在Cora数据集上部署LGFLLM框架的开销可估算为：

\begin{array}{l}Cost=\left(\left(\mathrm{334.94}\times \mathrm{0.0015}\mathrm{\$}\right)/\mathrm{1000}+\left(\mathrm{100.61}\times \mathrm{0.002}\mathrm{\$}\right)/\mathrm{1000}\right)\times \mathrm{2708}\approx \\ \mathrm{19054}\mathrm{\$}\end{array}(8)

在时间方面，统计得到的API调用平均响应时间估算，获得Cora数据集中全部节点的标签预测需要的时间为：

Time=\mathrm{2708}\times \mathrm{1.82}\mathrm{s}\approx \mathrm{82.14} \mathrm{m}\mathrm{i}\mathrm{n}\approx \mathrm{1.37} \mathrm{h}(9)

尽管引入大语言模型生成预测标签会带来一定的成本与时间开销，但在可接受范围内，且给模型鲁棒性带来显著增益，具备实际应用价值.

得到预测标签后，LGFLLM框架在标签引导的图增强过程中计算图中各节点间的属性相似度，以构建一个属性相似度矩阵并结合预测标签进行图结构增强.该步骤中，节点属性相似度计算以及对图结构进行修改的时间复杂度为\mathit{𝒪}\left(N^{\mathrm{2}}\right).

在Pubmed，Citeseer和Cora三个数据集受20%扰动率DICE攻击的图结构上，对原始GCN模型和使用了LGFLLM框架的GCN模型进行实验，分别记录对比实验的完整训练时间和节点分类结果，观察LGFLLM框架的效率与模型鲁棒性提升之间的关系，实验结果如图5所示.

由图可见，引入LGFLLM框架后，GCN模型在所有数据集的扰动图结构上均得到了更高的节点分类精度，获得了更佳的鲁棒能力.同时，LGFLLM框架带来的计算时间开销整体可控，仅在Pubmed上因较高的阈值超参数{\delta }_{\mathrm{d}\mathrm{e}\mathrm{l}}需要对噪声边进行更全面的识别而增加较多的计算时间，但同时，分类精度也获得了更明显的提升.

总体上，本文框架在图结构增强过程中引入了可控的计算开销，同时在训练阶段仍保持与原始图表示学习模型相当的计算复杂度.实验结果表明，这一过程带来的训练时间的增加是可接受的，而且在图扰动场景下为表示学习模型带来了显著的鲁棒性提升.

4 结论

针对图拓扑扰动带来的噪声问题，提出基于大语言模型的标签引导图表示学习框架LGF⁃LLM.通过结合节点的标签信息与属性特征在受扰动的图结构上进行图增强，提升基座模型的鲁棒性以学习更高质量的节点表示.由于图作为非欧结构数据，其中不可观测标签的测试集与验证集节点会阻碍对比节点间的标签，因此本文利用大语言模型的推测能力，针对文本属性图中的实体文本设计提示词，为每个节点生成可观测的标签信息，从而有效地识别扰动图中的相似节点对.最后，在多个公开数据集的扰动场景下对LGFLLM框架进行了实验，证明该鲁棒性增强框架能够有效提升多种图神经网络在扰动场景下的表示学习能力.

未来将关注优化大语言模型的调用过程，从本地化部署与调整提示词的角度出发，结合更多大语言模型，基于节点的文本属性，以更低的成本生成更优的预测标签，并针对更多类型扰动攻击，探索设计具有更强抗扰动能力的图鲁棒性增强框架.

参考文献

[1] Li X， Sun L， Ling M J，et al. A survey of graph neural network based recommendation in social networks. Neurocomputing，2023，549：126441.

[2] Mi J C， Zu Y， Wang Z Y，et al. ACDNet：Attention⁃guided collaborative decision network for effective medication recommendation. Journal of Biomedical Informatics，2024，149：104570.

[3] Rahmani S， Baghbani A， Bouguila N，et al. Graph neural networks for intelligent transportation systems：A survey. IEEE Transactions on Intelligent Transportation Systems，2023，24(8)：8846-8885.

[4] Wu Z H， Pan S R， Chen F W，et al. A compre⁃hensive survey on graph neural networks. IEEE Transactions on Neural Networks and Learning Systems，2021，32(1)：4-24.

[5] Gong S B， Zhou J J， Xie C X，et al. Neighborhood homophily⁃based graph convolutional network∥Proceedings of the 32nd ACM International Conference on Information and Knowledge Management. New York,NY,USA：Association for Computing Machinery，2023：3908-3912.

[6] Ma Y， Liu X R， Shah N，et al. Is homophily a necessity for graph neural networks?∥The 10th International Conference on Learning Represen⁃tations. Online：ICLR，2022：1-28.

[7] Dai H J， Li H， Tian T，et al. Adversarial attack on graph structured data∥Proceedings of the 35th International Conference on Machine Learning. Stockholm，Sweden：PMLR，2018：1115-1124.

[8] Jin W， Li Y X， Xu H，et al. Adversarial attacks and defenses on graphs. ACM SIGKDD Explorations Newsletter，2020，22(2)：19-34.

[9] Zheng Q K， Zou X， Dong Y X，et al. Graph robustness benchmark：Benchmarking the adversarial robustness of graph machine learning. https://arxiv.org/abs/2111.04314，2021-11-08.

[10] Zhu D Y， Zhang Z W， Cui P，et al.Robust graph convolutional networks against adversarial attacks∥Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York,NY,USA：Association for Computing Machinery，2019：1399-1407.

[11] Jin W， Ma Y， Liu X R，et al. Graph structure learning for robust graph neural networks∥Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery&Data Mining. New York,NY,USA：Association for Computing Machinery，2020：66-74.

[12] Peng S W， Sugiyama K， Mine T. SVD⁃GCN：A simplified graph convolution paradigm for recommen⁃dation∥Proceedings of the 31^st ACM International conference on Information & Knowledge Management.New York，NY，USA：Association for Computing Machinery，2022：1625-1634.

[13] Wu H J， Wang C， Tyshetskiy Y，et al. Adversarial examples for graph data：Deep insights into attack and defense∥Proceedings of the 28th International Joint Conference on Artificial Intelligence.Macao，China：AAAI Press，2019：4816-4823.

[14] Sun L C， Dou Y T， Yang C，et al. Adversarial attack and defense on graph data：A survey. IEEE Transactions on Knowledge and Data Engineering，2023，35(8)：7693-7711.

[15] Yang J H， Liu Z， Xiao S T，et al. Graphformers：GNN⁃nested transformers for representation learning on textual graph. Advances in Neural Information Processing Systems，2021，34：28798-28810.

[16] Pan B， Zhang Z， Zhang Y F，et al. Distilling large language models for text⁃attributed graph learning∥Proceedings of the 33rd ACM International Conference on Information and Knowledge Management. New York，NY，USA：Association for Computing Machinery，2024：1836-1845.

[17] Zhu J， Cui Y L， Liu Y M，et al. TextGNN：Improving text encoder via graph neural network in sponsored search∥Proceedings of the Web Conference 2021.New York，NY，USA：Association for Computing Machinery，2021：2848-2857.

[18] He X X， Bresson X， Laurent T，et al. Harnessing explanations：LLM⁃to⁃LM interpreter for enhanced text⁃attributed graph representation learning∥The 12th International Conference on Learning Represen⁃tations. Vienna,Austria：ICLR，2024：5711-5732.

[19] Zou T， Yu L， Huang Y F，et al. Pretraining language models with text⁃attributed heterogeneous graphs. https：//arxiv.org/abs/2310.12580,2023-10-23.

[20] Jin B W， Zhang Y， Zhu Q，et al. Heterformer：Transformer⁃based deep node representation learning on heterogeneous text⁃rich networks∥Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York,NY,USA：Association for Computing Machinery，2023：1020-1031.

[21] Dinh T A， Den Boef J， Cornelisse J，et al. E2EG：End⁃to⁃end node classification using graph topology and text⁃based node attributes∥2023 IEEE International Conference on Data Mining Workshops. Shanghai,China：IEEE，2023：1084-1091.

[22] Chen R J， Zhao T， Jaiswal A K，et al. LLaGA：Large language and graph assistant∥International Conference on Machine Learning. New York，NY，USA：PMLR，2024：7809-7823.

[23] Huang X W， Han K Q， Yang Y，et al. Can GNN be good adapter for LLMs?∥Proceedings of the ACM Web Conference.New York，NY，USA：Association for Computing Machinery，2024：893-904.

[24] Yan H， Li C Z， Long R S，et al. A comprehensive study on text⁃attributed graphs：Benchmarking and rethinking. Advances in Neural Information Processing Systems，2023，36：17238-17264.

[25] Chen Z K， Mao H T， Li H，et al. Exploring the potential of large language models (LLMs) in learning on graphs. ACM SIGKDD Explorations Newsletter，2024，25(2)：42-61.

[26] Tan Y C， Zhou Z H， Lü H，et al. WalkLM：A uniform language model fine⁃tuning framework for attributed graph embedding. Advances in Neural Information Processing Systems，2023，36：13308-13325.

[27] Hu Z Y， Li Y C， Chen Z Y，et al. Let's ask GNN：Empowering large language model for graph in⁃context learning∥Findings of the Association for Computational Linguistics：EMNLP 2024.Miami,FL,USA：Association for Computational Ling⁃uistics，2024：1396-1409.

[28] ZüGner D， GüNnemann S.Adversarial attacks on graph neural networks：Perturbations and their patterns∥The 7th International Conference on Learning Representations.New Orleans，LA，USA：ICLR，2019：1-15.

[29] Zügner D， Borchert O， Akbarnejad A，et al. Adversarial attacks on graph neural networks：Perturbations and their patterns.ACM Transactions on Knowledge Discovery from Data，2020，14(5)：1-31.

[30] Zhu J， Rossi R A， Rao A，et al. Graph neural networks with heterophily. Proceedings of the AAAI Conference on Artificial Intelligence，2021，35(12)：11168-11176.

[31] Ennadir S， Abbahaddou Y， Lutzeyer J F，et al. A simple and yet fairly effective defense for graph neural network. Proceedings of the AAAI Conference on Artificial Intelligence，2024，38(19)：21063-21071.

[32] Li Y X， Jin W， Xu H，et al.Deeprobust：A platform for adversarial attacks and defense. Proceedings of the AAAI Conference on Artificial Intelligence,2021，35(18)：16078-16080.

[33] Bonawitz K， Ivanov V， Kreuter B，et al. Practical secure aggregation for privacy⁃preserving machine learning∥Proceedings of 2017 ACM SIGSAC Conference on Computer and Communications Security.New York，NY，USA：Association for Computing Machinery，2017：1175-1191.

[34] Defferrard M， Bresson X， Vandergheynst P. Convolutional neural networks on graphs with fast localized spectral filtering. Advances in Neural Information Processing Systems，2016，29：3844-3852.

[35] Veličković P， Cucurull G， Casanova A，et al. Graph attention networks∥The 6th International Conference on Learning Representations.Vancouver，Canada：OpenReview.net，2018：1-12.

基金资助

国家重点研发计划(2019YFC1711009)