潜在语义聚类与图交互驱动的少样本文本分类

Latent Semantic Clustering and Graph Interaction Driven Few-Shot Text Classification

摘要

针对少样本长尾分类中尾部类别样本稀缺、预训练语言模型拟合不足及现有图方法依赖全局静态结构的问题，提出一种基于潜在语义聚类与图交互的文本分类方法。首先，利用标签描述对语言模型进行语义预热，使文本与标签对齐到统一表示空间；其次，通过无监督聚类构建可学习的潜在主题节点，作为文本与标签的语义中继，以缓解尾部类别语义稀疏；最后，为每个文本实例动态构建独立的异质子图，通过图神经网络聚合局部信息，并以交叉注意力机制增强文本表征。在5个基准数据集上的实验结果表明，该方法与BERT、RoBERTa、DeBERTa等3类基准微调模型结合后，宏平均F1值平均提升2.91个百分点、尾部类别宏平均F1值平均提升3.21个百分点，尾部性能提升更为显著，且显存开销远低于全局图方法，为少样本不平衡分类提供兼顾性能与效率的解决方案。

Abstract

To address the issues of scarce tail-class samples, insufficient fitting of pre-trained language models, and the reliance on global static structures in existing graph-based methods for few-shot long-tail classification, a text classification method based on latent semantic clustering and graph interaction is proposed. Firstly, the language model is semantically warmed up using label descriptions to align texts and labels into a unified representation space. Secondly, learnable latent topic nodes are constructed through unsupervised clustering to serve as semantic relays between texts and labels, thereby alleviating the semantic sparsity of tail categories. Finally, an independent heterogeneous subgraph is dynamically constructed for each text instance, local information is aggregated via a graph neural network, and text representations are enhanced through a cross-attention mechanism. Experimental results on 5 benchmark datasets demonstrate that after integrating the proposed method with 3 fine-tuned baseline models (BERT, RoBERTa, and DeBERTa), the macro F1 score of the models is improved by 2.91 percentage points, and the macro tail F1 score is improved by 3.21 percentage points, showing a more significant enhancement in tail performance. Furthermore, its memory overhead is significantly lower than that of global graph methods, offering an effective and efficient solution for few-shot imbalanced classification.

Graphical abstract

关键词

文本分类 / 语义聚类 / 图神经网络 / 预训练模型 / 类分布不均衡

Key words

text classification / semantic clustering / graph neural network / pre-trained model / class distribution imbalance

文本分类作为自然语言处理（Natural Language Processing, NLP）的基础任务，广泛应用于新闻分类^[1]、立场检测^[2]等领域。随着深度预训练语言模型（Pre-trained Language Model, PLM）^[3-4]的兴起，该领域取得了显著进展。然而在实际应用中，模型往往面临着少样本（Few-Shot）和长尾分布（Long-Tail Distribution）的严峻挑战。当某些类别仅有极少量标注样本时，依赖海量数据驱动的PLM难以在微调过程中建立鲁棒的判别边界，极易陷入过拟合或对频繁类别的偏好。

现有少样本学习方法，如元学习^[5]、提示学习^[6]与原型网络^[7]，虽部分缓解了数据稀缺问题，但仍面临本质性局限。首先，多数方法依赖单一原型表示类别，难以刻画同一标签下的细粒度语义差异。例如，“体育”类别中“高尔夫新闻”与“足球解说”的词汇分布迥异，强行压缩会丢失细粒度信息。其次，现有基于图神经网络（Graph Neural Network, GNN）的方法多采用直推式（Transductive）学习^[8]，需构建包含全部测试样本的全局图，计算开销大且无法适应动态的归纳式（Inductive）场景。

针对上述问题，提出一种基于潜在语义聚类与图交互的端到端网络（Latent-Induced Subgraph Network, LIS-Net），模拟人类在面对生僻概念时的认知过程：不仅仅依赖记忆（预训练知识），而是主动检索相关的上下文线索进行辅助推理。主要贡献在于：提出一种通过无监督聚类初始化并动态更新潜在主题节点的机制，以捕捉细粒度语义信息；设计基于检索的实例级子图构建方法，实现高效归纳式推理；通过交叉注意力机制实现PLM与GNN的深度交互，使文本表示能够融合结构化知识。实验表明，其在少样本场景下性能显著优于现有基线模型，并对长尾数据具有更强鲁棒性。

1 相关工作

1.1 少样本文本分类与PLM

少样本文本分类旨在仅凭极少量标注样本识别文本类别。早期的研究主要基于度量学习^[7]，它们试图在一个共享的度量空间中学习样本与类中心之间的距离。随着PLM如BERT^[3]、RoBERTa^[4]的出现，基于微调（Fine-Tuning）的方法成为主流。为进一步挖掘PLM的潜力，提示学习^[6]方法被提出，试图将分类任务重构为掩码预测或自然语言推理任务，以弥合预训练与下游任务的差异。

然而，上述方法大多存在一个共同的局限性：语义建模的单一性。它们通常假设每个类别可以被单一的原型或提示向量所代表，忽略了复杂的类内多样性（Intra-Class Diversity）。当一个类别包含多个语义子簇时，强制聚合会导致特征空间的过平滑。本文通过引入潜在主题（Latent Topics），来建模细粒度的语义变化，从而增强PLM在少样本场景下的判别能力。

1.2 GNN与文本图模型

GNN因其强大的关系推理能力，被广泛应用于文本分类任务。经典的TextGCN^[8]在构建包含文档和单词的全局异质图上取得成功。随后，BertGCN^[9]将PLM的上下文嵌入与图卷积模型结合，取得了显著进展。尽管效果显著，但这些方法多属于直推式学习，需要在训练阶段构建一个包含所有训练和测试节点的全局静态大图。这种设定存在两大缺陷：无法对新增样本进行即时推理（需重新构图训练），且易引入不相关的长距离噪声。

相比之下，归纳式方法为每个文本构建独立的文本图，具备更好的可扩展性。例如：TextING^[10]构建单词局部共现图；HyperGAT^[11]利用超图建模主题；DADGNN^[12]引入注意力扩散机制；PaSIG^[13]将PLM文本编码器纳入归纳式学习框架等。本文提出了一种归纳式的图构建策略：不为每个样本构建包含全局信息的图，而是动态检索与当前输入最相关的主题和标签节点，形成轻量级实例子图。该方法支持对未见样本的即时推理，并能有效过滤无关噪声，聚焦于局部关键语义交互。

2 LIS-Net方法

2.1 框架概览

针对少样本长尾文本分类中存在的特征稀疏与上下文缺失问题，提出一种基于潜在语义聚类与图交互的端到端网络（LIS-Net）。该框架的核心在于联合优化特征提取与结构化推理，架构如图1所示，主要由以下4个组件构成。1）语义预热：利用自然语言标签描述对编码器进行初步对齐，构建统一的特征空间；2）潜在主题更新：通过无监督聚类算法初始化主题表示，并在训练中动态更新；3）归纳式子图构建：摒弃构建全局静态图，改成为每个输入批次动态检索最相关的潜在主题与标签节点，构建轻量级的实例级子图；4）跨模态融合：在GNN聚合子图上下文信息的基础上，通过交叉注意力机制将结构化知识融合回文本表示，实现端到端的判别性增强。

2.2 语义预热

为使GNN能够在一个相对稳定的语义空间中运行，首先执行一个轻量级的预热（Warm-up）阶段。记输入文本集为\mathrm{𝒳}，标签集为\mathrm{𝒴}。对于每个标签y_k\in \mathrm{𝒴}，引入其自然语言描述d_k（例如标签“体育”对应描述为“关于体育赛事的新闻和报道”）。将原始训练样本(x_i,y_i)与标签描述样本(d_k,y_k)混合，构成增强训练集{\mathrm{𝒟}}_{\mathrm{a}\mathrm{u}\mathrm{g}}。

使用PLM（如RoBERTa）作为骨干编码器E(\cdot )。在预热阶段，优化标准的交叉熵损失：

{\mathrm{ℒ}}_{\mathrm{w}\mathrm{a}\mathrm{r}\mathrm{m}\mathrm{u}\mathrm{p}}=-\sum _{(x,y)\in {\mathit{𝒟}}_{aug}}lnP\left(y\left|E(x)\right.\right)（1）

式中，P(\cdot )表示真实类别概率分布。

该过程有两个关键作用：一是让PLM适应特定领域的文本分布；二是强制将标签描述映射到与文本实例相同的嵌入空间中，为后续的图构建提供可靠的距离度量标准。预热结束后，将标签描述的编码向量固定，作为标签节点的初始特征{\mathit{e}}_{\mathbf{l}\mathbf{a}\mathbf{b}\mathbf{e}\mathbf{l}}\in {\mathbb{R}}^{|\mathrm{𝒴}|\times d}。

2.3 潜在主题更新

在长尾少样本场景下，直接利用尾部类别的样本作为类中心往往存在偏差。为此，引入潜在主题概念。主题并非直接对应某个标签，而是代表数据在特征空间中的K个高密度聚类簇，它们捕捉了跨类别的细粒度语义模式。在预热后的所有文本嵌入上执行K-Means聚类，得到K个聚类中心，初始化为主题矩阵{\mathit{T}}^{(\mathrm{0})}\in {\mathbb{R}}^{K\times d}。这些主题节点将在后续训练中作为连接文本与标签的中间桥梁，补充稀疏样本的语义信息。

2.4 归纳式子图构建

对于当前训练批次中的每一个文本实例x_i，其嵌入向量为{\mathit{h}}_i=E(x_i)，使用如下步骤为其动态构建一个以x_i为中心的局部异质子图{\mathrm{𝒮}}_i=({\mathrm{𝒱}}_i,{\mathrm{ℰ}}_i)。

节点检索。子图的节点集合{\mathrm{𝒱}}_i包含3个部分：文本节点本身\{x_i\}、检索到的相关主题子集{\mathrm{𝒯}}_i\subset \mathit{T}以及相关标签子集{\mathrm{ℒ}}_i\subset \mathrm{𝒴}。此处采用基于余弦相似度的Top-K检索策略。1）主题检索：选取与{\mathit{h}}_i相似度最高的K_{\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}}个潜在主题；2）标签检索：与{\mathit{h}}_i相似度最高的K_{\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}个标签节点。这种策略确保子图仅包含与当前上下文最相关的信息，降低计算复杂度并减少无关噪声的干扰。

连边定义。在子图{\mathrm{𝒮}}_i中，定义3种类型的连边{\mathrm{ℰ}}_i。1）文本—主题边：连接x_i与其检索到的所有主题t\in {\mathrm{𝒯}}_i；2）文本—标签边：连接x_i与其检索到的所有标签l\in {\mathrm{ℒ}}_i，建立从文本到潜在标签的直接通道；3）标签—标签边：为引入标签间的先验依赖（如共现关系），预先计算一个全局的标签互近邻图。如果检索到的两个标签l_{\mathrm{a}},l_{\mathrm{b}}\in {\mathrm{ℒ}}_i在全局图中存在连接，则在子图中保留该边。

通过上述过程，将原本孤立的文本样本x_i转化为一个包含丰富上下文信息的结构化实例{\mathrm{𝒮}}_i。

2.5 动态图推理

构建好归纳式子图后，利用图结构信息来丰富文本的语义表示。不同于标准的GNN应用，LIS-Net引入动态的节点更新机制和融合策略。

1）动态主题更新。在训练过程中，潜在主题矩阵\mathit{T}需要适应特征空间的细微变化。简单的梯度更新容易导致模式塌缩，即多个主题收敛到同一个语义中心。为此，设计一种基于注意力的更新机制。对于一个批次中的文本嵌入{\mathit{H}}_{\mathrm{b}\mathrm{a}\mathrm{t}\mathrm{c}\mathrm{h}}和当前主题\mathit{T}，首先计算分配概率矩阵\mathit{P}：

P_{ij}=\mathrm{e}\mathrm{x}\mathrm{p}\left({\mathit{h}}_i\cdot {\mathit{t}}_j/\tau \right)/\sum _k\mathrm{e}\mathrm{x}\mathrm{p}\left({\mathit{h}}_i\cdot {\mathit{t}}_k/\tau \right)（2）

式中，\tau表示温度系数。主题更新通过聚合文本特征实现：{\mathit{T}}^{\text{'}}={\mathit{P}}^{\mathrm{T}}{\mathit{H}}_{\mathrm{b}\mathrm{a}\mathrm{t}\mathrm{c}\mathrm{h}}。

2）标签关联传播。标签之间的依赖关系并非总是静态的，往往受具体上下文影响。因此，设计一个门控传播层来动态调节标签间的信息流。对于标签节点u和其邻居v（v\in \mathrm{𝒩}(u)，其中\mathrm{𝒩}(u)表示节点u的邻居集合），计算门控系数：

{\alpha }_{uv}=\sigma \left(\gamma \cdot \mathrm{c}\mathrm{o}\mathrm{s}\left({\mathit{e}}_u,{\mathit{e}}_v\right)\right)（3）

式中：\gamma表示缩放因子；\sigma (\cdot )表示Sigmoid函数。更新后的标签表示为

{\mathit{e}}_u^{\text{'}}=\beta {\mathit{e}}_u+\left(\mathrm{1}-\beta \right)\sum _{v\in \mathrm{𝒩}(u)}{\alpha }_{uv}\left({\mathit{W}}_l{\mathit{e}}_v\right)（4）

式中：β表示可学习标量，用于自适应控制邻居标签信息与节点特征信息的融合比例；\mathit{W}表示标签关联权重矩阵。软门控机制允许模型根据语义相似度自动过滤掉不相关的噪声连接，增强标签表示的鲁棒性。

3）异质消息聚合。在子图{\mathrm{𝒮}}_i上，采用分层的异质聚合策略更新文本节点表示。在第s层，文本节点同时接收来自文本节点自身、邻居主题节点和邻居标签节点的消息：

\begin{array}{l}{\mathit{h}}_i^{(s+\mathrm{1})}=\mathrm{L}\mathrm{a}\mathrm{y}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}\left(\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\left({\mathit{W}}_s{\mathit{h}}_i^{(s)}+{\mathit{h}}_{topic}^{agg}+{\mathit{h}}_{label}^{agg}\right)\right),\\ {\mathit{h}}_{\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}}^{\mathrm{a}\mathrm{g}\mathrm{g}}=\sum _{t\in {\mathrm{𝒯}}_i}{\mathit{t}}_t,{\mathit{h}}_{\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}^{\mathrm{a}\mathrm{g}\mathrm{g}}=\sum _{l\in {\mathrm{ℒ}}_i}{\mathit{e}}_l\end{array}（5）

这种加性聚合高效地融合了多源上下文，生成包含结构化先验的图增强表示{\mathit{h}}_{\mathrm{G}\mathrm{N}\mathrm{N}}。

2.6 跨模态融合与联合优化

将GNN输出的上下文向量{\mathit{H}}_{\mathrm{G}\mathrm{N}\mathrm{N}}视为辅助知识，通过以下交叉注意力融合策略重新注入PLM的文本表示{\mathit{H}}_{\mathrm{P}\mathrm{L}\mathrm{M}}。首先，将{\mathit{H}}_{\mathrm{G}\mathrm{N}\mathrm{N}}分别投影到键（ K ）和值（ V ）空间。同时，将{\mathit{H}}_{\mathrm{P}\mathrm{L}\mathrm{M}}投影到查询（ Q ）空间，本文方法直接用{\mathit{H}}_{\mathrm{P}\mathrm{L}\mathrm{M}}作为 Q，以减少训练参数。

\left\{\begin{array}{l}\mathit{Q}={\mathit{H}}_{\mathrm{P}\mathrm{L}\mathrm{M}}\in {\mathbb{R}}^{N\times d_k};\\ \mathit{K}={\mathit{H}}_{\mathrm{G}\mathrm{N}\mathrm{N}}{\mathit{W}}_K\in {\mathbb{R}}^{M\times d_k},{\mathit{W}}_K\in {\mathbb{R}}^{d_k\times d_k};\\ \mathit{V}={\mathit{H}}_{\mathrm{G}\mathrm{N}\mathrm{N}}{\mathit{W}}_V\in {\mathbb{R}}^{M\times d_v},{\mathit{W}}_V\in {\mathbb{R}}^{d_k\times d_v}.\end{array}\right.（6）

之后，计算注意力权重，并应用于 V ：

\mathit{A}=\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(\mathit{Q},\mathit{K},\mathit{V})=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{\mathit{Q}{\mathit{K}}^{\mathrm{T}}}{\sqrt[]{d_k}}\right)\mathit{V}（7）

式中，\sqrt[]{d_k}表示缩放因子，防止内积过大导致梯度消失。最后，将注意力输出与原始{\mathit{H}}_{\mathrm{P}\mathrm{L}\mathrm{M}}相加（残差连接），然后进行层归一化，得到最终表征：

{\mathit{Z}}_{\mathrm{f}\mathrm{i}\mathrm{n}\mathrm{a}\mathrm{l}}=\mathrm{L}\mathrm{a}\mathrm{y}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}({\mathit{H}}_{\mathrm{P}\mathrm{L}\mathrm{M}}+\mathit{A})（8）

模型训练采用交叉熵损失函数进行优化，将表示{\mathit{Z}}_{\mathrm{f}\mathrm{i}\mathrm{n}\mathrm{a}\mathrm{l}}输入一个线性分类器，得到每个类别的logits：

\mathit{S}={\mathit{Z}}_{\mathrm{f}\mathrm{i}\mathrm{n}\mathrm{a}\mathrm{l}}{\mathit{W}}_{\mathrm{C}\mathrm{L}\mathrm{S}}+{\mathit{b}}_{\mathrm{C}\mathrm{L}\mathrm{S}}（9）

式中，{\mathit{b}}_{\mathrm{C}\mathrm{L}\mathrm{S}}表示用于分类预测的偏置向量。

随后对每个样本的logits进行Softmax操作，将其转换为概率分布：

{\widehat{y}}_{i,c}=\mathrm{e}\mathrm{x}\mathrm{p}\left(s_{i,c}\right)/{\displaystyle \sum _{j=\mathrm{1}}^C}exp\left(s_{i,j}\right)（10）

对每个样本计算预测概率分布与真实标签之间的交叉熵，并对所有样本取平均：

{\mathrm{ℒ}}_{\mathrm{C}\mathrm{L}\mathrm{S}}=-\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}{\displaystyle \sum _{c=\mathrm{1}}^C}\left(y_{i,c}\mathrm{l}\mathrm{n}\left({\widehat{y}}_{i,c}\right)\right)（11）

通过这种端到端训练机制，PLM的特征提取器、GNN和潜在主题矩阵同步更新，实现了语义理解与结构化推理的深度耦合。

3 实验

3.1 数据集选取与划分

在Ohsumed、20NG、R8、R52、AGNews这5个基准数据集上进行实验。为贴近实际应用场景，在划分训练集时遵循少样本设置，为每个类别采样至多10个训练样本；验证集和训练集设置较大的样本数并保持规模一致。为验证模型在类别不均衡场景下的泛化能力，采用一种基于幂律分布的长尾划分策略来构建训练集。具体流程如下。

1）类别频数统计。给定包含N个样本的数据集，其标签序列记为\{y_i{\}}_{i=\mathrm{1}}^N。首先统计每个类别的原始频数，并按照频数从高到低对类别进行排序，得到类别排名\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(c)。

2）长尾分布生成。对于排名为\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(c)的类别，其标记训练样本数量n_c由以下幂律关系决定：n_c\propto \mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}{(c)}^{-\alpha }。其中，\alpha为分布参数，控制长尾的倾斜程度。n_c被归一化到预设区间[K_{\mathrm{m}\mathrm{i}\mathrm{n}},K_{\mathrm{m}\mathrm{a}\mathrm{x}}]内，即

\begin{array}{l}{n}_c=\mathrm{m}\mathrm{a}\mathrm{x}\left(K_{min},\mathrm{m}\mathrm{i}\mathrm{n}\left(K_{max},\right.\right.\\ \left.\left.⌊K_{\mathrm{m}\mathrm{i}\mathrm{n}}+(K_{\mathrm{m}\mathrm{a}\mathrm{x}}-K_{\mathrm{m}\mathrm{i}\mathrm{n}})\cdot \mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}{(c)}^{-\alpha }⌋\right)\right)\end{array}（12）

式中：K_{\mathrm{m}\mathrm{i}\mathrm{n}}与K_{\mathrm{m}\mathrm{a}\mathrm{x}}分别表示每个类别最少与最多的训练样本数；⌊·⌋表示向下取整。确保高频类别获得较多标记样本，而低频类别样本量显著减少，形成长尾分布。

3）数据集划分。对于每个类别，随机选取n_c个样本作为训练集，其余样本进入候选池。候选池进一步按比例随机划分为验证集与测试集，同时保持各类别在数据中的原始分布，以反映真实评估场景。

4）参数设置。设\alpha =\mathrm{1.0}、K_{\mathrm{m}\mathrm{i}\mathrm{n}}=\mathrm{1}、K_{\mathrm{m}\mathrm{a}\mathrm{x}}=\mathrm{10}，验证集与测试集占原始语料比例均为10%，该划分方法使训练集呈现明显的类别不均衡，旨在考察模型在少量样本类别上的学习能力，同时通过验证集与测试集保持原始分布，以评估模型在均衡评价下的泛化性能。表1展示了采用长尾划分后各子集的样本数量统计。

3.2 基线方法

为全面评估LIS-Net的性能，选取3类基线方法进行对比。

1）直推式：TextGCN^[8]、BertGCN^[9]。

2）归纳式：TextING^[10]、HyperGAT^[11]、DADGNN^[12]、TextSSL^[14]、TextFCG^[15]与PaSIG^[13]。LIS-Net面向归纳式场景，所以重点与此类方法比较。

3）PLM：BERT^[3]、RoBERTa^[4]、DeBERTa^[16]。此组用于分析LIS-Net相对于基础PLM的性能增益。为确保公平，主要对比对象为同样基于PLM的BertGCN与PaSIG。

3.3 实验设置

为构建异构图，设置主题节点与标签节点的数目相同，文本—主题边的最近邻数K_{\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{i}\mathrm{c}}=\mathrm{2}，文本—标签边K_{\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}=\mathrm{2}，标签—标签边的连接数为3，以捕捉不同节点类型间关系。训练分为两个阶段：预热阶段使用较大批量B_{\mathrm{1}}=\mathrm{8}进行10轮微调；联合训练阶段则采用较小批量B_{\mathrm{2}}=\mathrm{4}进行10轮训练，并使用两层GNN进行信息传播。预热阶段中，PLM与分类器的学习率均设为2×10^-5；联合训练阶段中，PLM学习率保持为2×10^-5，而GNN、分类器及主题—标签映射模块的学习率调整为10^-3，以适配不同模块的训练动态。两个阶段均采用10^-2权重衰减以抑制过拟合。

本实验对所有基线模型均进行了严格复现。所有基线模型均采用官方开源代码实现，超参数设置遵循官方默认配置，且统一采用与本文方法一致的数据划分策略。对基于PLM的BertGCN和PaSIG，二者均选用bert-base-uncased作为基础PLM架构。为确保实验结果的可靠性与稳定性，每组模型训练过程均采用不同的随机数种子独立运行，最终实验结果为5组独立实验结果的平均值。所有实验均在NVIDIA Tesla V100S GPU硬件平台上完成。

3.4 评价指标

为全面评估模型在长尾分布下的性能，采用一套综合的评价体系，重点关注模型对整体及尾部类别的识别能力。整体性能采用宏平均F1值进行评估，该指标计算每个类别F1值的算术平均，对少数类别性能敏感，能够平等反映模型在所有类别上的表现；尾部类别性能则通过尾部类别宏平均F1值专门衡量。具体而言，首先将所有类别按其训练样本数量从多到少排序，并均等划分为头部、中部和尾部3个区段。本文指标仅计算尾部区段（即样本最少的1/3类别）的宏平均F1值，从而直接反映模型对稀疏、困难类别的分类能力。通过结合整体宏平均F1值与尾部类别宏平均F1值，该体系能够多维度、公平地比较不同方法，尤其凸显模型在提升长尾数据中尾部类别性能的有效性。

3.5 性能比较

为全面评估所提LIS-Net方法的有效性，与基线方法在长尾类别划分下进行了系统性比较，如表2所示。其中：F1表示宏平均F1值；Tail F1表示尾部类别宏平均F1值。加粗数字表示当前指标的最优结果。分析表明，长尾分布对所有模型的性能均构成严峻挑战，而LIS-Net框架展现出较强的改善能力。在多个PLM基线上，引入LIS-Net后，Tail F1获得显著提升。如以RoBERTa为基座时，在20NG和R52数据集上，Tail F1分别由27.33%、48.94%提升至32.57%、54.02%。这说明LIS-Net通过构建“文本—主题—标签”异构图，为样本稀疏的尾部类别建立了更丰富的语义关联，促进知识从头部向尾部转移。

在长尾场景下，采用PLM作为节点编码器的BertGCN与PaSIG的性能差异显著。BertGCN凭借直推式学习与完整的单词交互媒介，仍保持相对稳定，其Tail F1在多数据集中处于中等偏上水平。而PaSIG因依赖训练集内单词构建子图，在数据极度稀疏时长尾性能严重衰退，凸显了在少样本长尾任务中维持图结构媒介完整性的关键作用。

值得注意的是，部分PLM模型（如DeBERTa）在长尾设置下性能大幅下降，Tail F1多趋近于零，反映了类别不均衡对模型的直接损害。与之相比，融合LIS-Net的DeBERTa版本在AGNews上展现出强大的纠偏能力，将Tail F1从59.11%显著提升至76.48%，说明LIS-Net不仅能增强图结构鲁棒性，还可帮助PLM有效抵御长尾分布的负面影响。

总体而言，LIS-Net在长尾场景中发挥稳定与提升作用。实验表明，成功的关键在于融合PLM的深层语义理解与一个能应对数据稀疏的、结构完整的图学习框架。LIS-Net通过构建文本异构图，有效避免了依赖有限词汇建图的缺陷，从而在长尾场景下取得优越性能。

3.6 消融研究

为深入分析LIS-Net各核心组件的贡献，在长尾划分场景下进行系统性消融研究。以RoBERTa-base为基座模型，通过逐一移除关键模块，在5个数据集上进行性能评估，结果如表3所示。其中：GNN表示GNN模块；CA表示跨模态融合模块；LD表示标签描述初始化；LP表示标签传播；TE表示主题更新。

1）w/o GNN。移除GNN后，模型退化为仅基于PLM与标签描述的检索基线，性能全面下降。例如在R52上，F1由66.1%降至64.0%，Tail F1由52.3%降至51.2%。这表明GNN通过子图消息聚合，有效整合了主题与标签的上下文知识。

2）w/o CA。将交叉注意力替换为残差连接导致性能衰退，例如在AGNews上Tail F1由74.2%降至25.5%，表明交叉注意力能够实现动态、有选择的知识融合，其交互能力优于简单的残差连接。

3）w/o LD。移除语义预热模块会损害性能，尤其是尾部类别。例如在R8上Tail F1由59.3%降至12.8%，即使在训练中联合优化，仍与完整模型存在差距。这凸显了标签描述对构建可靠图结构的基础性作用。

4）w/o LP。移除标签关联传播模块会引起轻微但普遍的下降，例如在AGNews上Tail F1从74.2%降至72.5%。利用标签间依赖关系有助于优化标签表示，对达到最优性能是必要的。

5）w/o TE。固定潜在主题而不进行动态更新同样会导致性能下滑，例如在R8上Tail F1由59.3%降至51.8%。这证明了动态更新能使主题节点自适应地捕捉细粒度语义，避免静态聚类偏差。

各组件均对模型性能具有明确贡献，尤其以标签描述初始化和跨模态融合机制的影响最为显著，如图2所示。

3.7 敏感性分析

系统分析LIS-Net在潜在主题数、GNN层数及近邻连接数3个核心结构参数下的鲁棒性。所有实验均在长尾场景下基于RoBERTa-base进行。

1）潜在主题数。将主题数设为类别数的1倍、2倍和3倍。图3显示，模型性能对主题数变化高度鲁棒。例如：在R8与R52数据集上，不同设置下的Tail F1完全一致；在20NG上仅出现不足0.5个百分点的轻微波动。潜在主题数的选择基于语义覆盖度与计算效率的综合考量。一方面，主题作为跨类别共享的语义基，当数量与类别数同量级时，已能有效建模类内子簇与类间重叠模式。另一方面，将主题数从1倍增至3倍，模型性能无明显提升，但子图构建与推理开销线性增长。因此，选取1倍类别数作为默认配置。

2）GNN层数。图4显示，部分数据集的性能随GNN层数呈现“倒U型”变化，最优层数因不同数据集而异。例如，AGNews在2层时取得最优Tail F1，而R8则在4层时表现最佳。总体来看，1层性能普遍较差，2层在多数数据集上表现稳健，可作为通用推荐配置。

3）近邻连接数。文本—标签连接数K_{\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}从1增至2时，性能在多数据集上有显著提升，继续增加则趋于稳定。标签—标签连接数在1~5范围内变化时，性能波动极小，说明标签间先验依赖对模型影响有限。文本—主题连接数在初步测试中显示出极低的敏感性，因此在后续分析中不做讨论。

综合分析表明，潜在主题数与标签—标签连接数均为高鲁棒性参数；GNN层数与文本—标签连接数存在明确最优区间，推荐默认配置分别为2层和K_{\mathrm{l}\mathrm{a}\mathrm{b}\mathrm{e}\mathrm{l}}=\mathrm{2}。实验结果验证了模型中注意力与动态聚合机制的有效性，能够在参数宽范围内保持稳定性能，降低了实际应用中的调参负担。

3.8 计算效率分析

为验证LIS‑Net在计算开销和可扩展性方面的性能，对多种代表性文本图模型在不同数据集下的总体训练时间与显存占用范围（训练阶段的峰值显存消耗）进行对比评估，其中时间和显存均以[最小值，最大值]的形式报告，如表4所示。

从表4可以看出，不同范式的模型在计算开销上呈现出明显差异。传统的直推式全图模型TextGCN在小规模数据集上的时间较短，但随着数据规模增大，其显存占用可超过4 GB，且难以支持在线增量样本的快速推理。基于PLM的直推式方法BertGCN由于同时维护全局文档—词图和大规模Transformer参数，其显存需求在所有模型中最高，超过11 GB，训练时间也显著长于其他方法。在归纳式图模型中，TextSSL与TextFCG由于引入复杂的图结构学习或密集的消息传递，其时间开销在大规模数据集上明显增加；相对而言，TextING、HyperGAT、DADGNN和PaSIG在时间和显存上更为轻量。

LIS‑Net在计算效率上处于一个折中且可接受的区间。与单纯微调PLM相比，LIS‑Net在引入潜在主题和实例级子图构建后，时间与显存开销有所增加，这是由于图构建和GNN推理引入了额外计算；但得益于归纳式的局部子图设计，LIS‑Net无需维护全局文档—词图，其显存占用远低于BertGCN，且随着数据规模增大，时间与内存的增长更为平缓。与归纳式方法横向比较，LIS‑Net的时间开销高于DADGNN和PaSIG，但低于TextSSL和TextFCG，同时在显存占用方面始终保持在2 GB左右的量级，在单卡GPU上即可稳定运行。

从可扩展性角度看，LIS‑Net通过“按需检索+实例级子图”的机制，将图构建与消息传递的复杂度从与语料规模线性相关，转化为与批次大小和近邻数相关，使得模型可以在不重新构建全局图的情况下，对新增样本进行快速归纳式推理。这一特性使得LIS‑Net在长尾场景下不仅能够提升尾部类别的识别性能，同时在大规模数据集和在线推理环境中具有更好的工程适用性。

4 结束语

针对少样本长尾文本分类中样本稀缺与类别分布不均衡的双重挑战，提出一种基于潜在语义聚类与图交互的端到端网络（LIS-Net）。该方法引入可学习的潜在主题节点作为语义中继，通过归纳式的实例子图构建动态连接文本、主题与标签，并利用交叉注意力等深度融合机制实现图结构化知识与PLM语义表示的协同增强。在多个基准数据集上的实验表明，LIS-Net在长尾场景下显著提升了对尾部类别的识别能力，其性能增益主要源于语义空间的充分预热、图结构信息的有效利用以及各组件间的深度协同。系统的消融与敏感性分析进一步验证了模型设计的合理性与鲁棒性。本研究为少样本不平衡学习提供了一种融合深度语义理解与结构化关系推理的有效途径。

尽管LIS-Net在少样本长尾分类中取得显著提升，但仍存在局限。首先，联合优化PLM与GNN带来额外计算开销；其次，无监督聚类初始化可能影响收敛效率；最后，当前验证主要限于英文标准场景。未来工作将聚焦模型轻量化、引入外部知识增强尾部泛化，并拓展至跨语言、跨模态等复杂场景。

参考文献

[1] 陈静，周刚，但文皓.知识增强的异质图注意力虚假信息检测方法［J］.信息工程大学学报，2025，26（3）：323-329.

[2] 卢银鹏，郭凯威，卢记仓，等.基于上下文学习和语义检索增强的零样本立场检测方法［J］.信息工程大学学报，2025，26（2）：196-202.

[3] DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）. Stroudsburg， USA： ACL， 2019：4171-4186.

[4] LIU Y H， OTT M， GOYAL N， et al. RoBERTa： a robustly optimized BERT pretraining approach［DB/OL］. （2019-07-26）［2026-01-14］.

[5] FINN C， ABBEEL P， LEVINE S. Model-agnostic meta-learning for fast adaptation of deep networks［DB/OL］. （2017-07-18）［2026-01-14］.

[6] LIU X， JI K X， FU Y C， et al. P-tuning： prompt tuning can be comparable to fine-tuning across scales and tasks［C］//Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， USA： ACL， 2022：61-68.

[7] SNELL J， SWERSKY K， ZEMEL R. Prototypical networks for few-shot learning［C］//Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， USA： Curran Associates Inc.， 2017：4080-4090.

[8] YAO L， MAO C S， LUO Y. Graph convolutional networks for text classification［C］//Proceedings of the 33th AAAI Conference on Artificial Intelligence. Palo Alto， USA： AAAI Press， 2019：7370-7377.

[9] LIN Y X， MENG Y X， SUN X F， et al. BertGCN： transductive text classification by combining GNN and BERT［C］//Findings of the Association for Computational Linguistics： ACL-IJCNLP 2021. Stroudsburg， USA： ACL， 2021：1456-1462.

[10] ZHANG Y F， YU X L， CUI Z Y， et al. Every document owns its structure： inductive text classification via graph neural networks［C］//Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， USA： ACL， 2020：334-339.

[11] DING K Z， WANG J L， LI J D， et al. Be more with less： hypergraph attention networks for inductive text classification［C］//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， USA： ACL， 2020：4927-4936.

[12] LIU Y H， GUAN R C， GIUNCHIGLIA F， et al. Deep attention diffusion graph neural networks for text classification［C］//Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， USA： ACL， 2021：8142-8152.

[13] WANG S Y， ZHOU G， LU J C， et al. Pre-trained semantic interaction based inductive graph neural networks for text classification［C］//Proceedings of the 31st International Conference on Computational Linguistics. Stroudsburg， USA： ACL， 2025：812-827.

[14] PIAO Y H， LEE S， LEE D， et al. Sparse structure learning via graph neural networks for inductive document classification［C］//Proceedings of the 36th AAAI Conference on Artificial Intelligence. Palo Alto， USA： AAAI Press， 2022：11165-11173.

[15] WANG Y Z， WANG C X， ZHAN J Y， et al. Text FCG： fusing contextual information via graph learning for text classification［J］. Expert Systems with Applications， 2023，219：No.119658.

[16] HE P C， LIU X D， GAO J F， et al. DeBERTa： decoding-enhanced BERT with disentangled attention［DB/OL］. （2021-10-06）［2026-01-14］.

基金资助

河南省自然科学基金(222300420590)