基于大模型的藏文词性标注方法研究

Study on Tibetan Part-of-Speech Tagging Methods Based on Large Language Models

摘要

针对藏文大语言模型在自然语言处理中的词性标注任务适应性问题，采用标签监督适应方法。以Tibetan-LLaMA2为基础模型，通过深入挖掘其强大的生成能力和丰富的语义表示特性，将最后一层提取的潜在表示映射到词性标签空间，实现精确标注。实验结果显示，无掩码标签监督方法在藏文词性标注数据集中的F1分数达97.1%，并快速适应不同粒度输入（如音节和词），彰显了大模型在复杂语言结构处理上的强大灵活性。

Abstract

To address the issue of adaptability of the Tibetan large language model to the part-of-speech tagging task in natural language processing, a label-supervised adaptation method was employed in this paper. Based on Tibetan-LLaMA2 as the basic model, by delving into its powerful generative ability and rich semantic representation characteristics, the latent representations extracted at the last layer are mapped to the part-of-speech label space to achieve accurate annotation. Experimental results show that the F1 score of the maskless label-free supervision method in the Tibetan part-of-speech annotation dataset reaches 97.1%, demonstrating its ability to quickly adapt to different granularity inputs (such as syllables and words), and highlighting the strong flexibility of the large language model in processing complex language structures.

Graphical abstract

关键词

藏文词性标注 / 大语言模型 / 标签监督 / 一体化

Key words

Tibetan part-of-speech annotation / large language models / label supervision / integration

引 言

近年来，大语言模型（Large Language Models， LLM）技术在产业落地与学术研究方面均取得了显著进展，已成为相关领域的重要研究热点与应用焦点^[1]。以OpenAI的GPT-3^[2]、Meta的LLaMA^[3]，以及Anthropic发布的Claude等为代表的千亿级参数模型，通过海量数据训练，能够有效捕捉长距离依赖关系和复杂语义特征，显著提升了自然语言处理任务的自动化水平，并在文本生成、机器翻译、问答系统等任务中展现出卓越的性能。与此同时，LLM在序列标注任务（如命名实体识别、词性标注）中的表现也受到广泛关注，其强大的上下文建模能力为传统方法提供了新的优化方向。

随着愈来愈多的通用大模型的开发和利用，研究重点逐渐转向面向垂直领域的大语言模型。垂直领域模型能够更好地适应特定领域的语言特点和数据分布，从而在特定任务中取得更优的性能。词性标注任务作为自然语言处理中的一项重要的基础性任务，旨在识别文本中各个词汇的语法角色，是词法分析、句法分析和信息抽取^[4]的重要组成部分，为后续的语义分析、机器翻译、文本生成等任务提供基础支持。然而，词性标注任务的性能高度依赖于语言的特性和标注数据的质量，尤其是在藏文等形态复杂、资源稀缺的语言中，这一任务面临更大的挑战。

在藏文词性标注研究方面，传统方法主要依赖机器学习技术，如李亚超等^[5]采用最大熵模型并融合音节特征构建了藏文词性标注系统；格桑加措^[6]基于隐马尔可夫模型开展了相关研究；康才畯^[7]则提出了基于条件随机场的藏语分词标注一体化模型，为词法分析提供了新的技术路径。随着神经网络方法的兴起，王康^[8]将BiLSTM+CRF架构引入藏文处理领域，并结合CNN与IDCNN进行多特征融合，显著提升了标注性能。近年来，预训练语言模型进一步推动了该领域的发展，索朗次仁^[9]基于BERT模型并结合藏文子词词典的遮蔽预训练方法，有效提升了藏文分词和词性标注任务的性能。此外，在藏文大语言模型探索方面，杨毛加^[10]训练了基于LLaMA2的藏文大语言模型，展现出优异的长文本理解与生成能力，为藏文自然语言处理任务提供了新的方向。

目前，在藏文信息处理方面，尚未有基于大语言模型的藏文词性标注研究。藏文作为一种形态丰富、语法独特的语言，其词性标注任务不仅需要处理复杂的词汇形态变化，还需要克服标注数据稀缺、标注规范不统一等问题。传统方法（如基于规则或统计学习的方法）在处理藏文词性标注时往往表现有限，难以应对复杂的语言现象。尽管近年来基于神经网络的方法在藏文词性标注中取得了一定进展，但其性能仍受限于模型的表征能力和数据规模。基于上述问题，本文利用Tibetan-Llama2大语言模型，使用不同粒度的藏文词性标注数据集，通过标签监督的方法进行微调，测试大模型在藏文词性标注任务中的性能。实验结果表明，消除因果掩码的标签监督方法显著提升了词性标注的准确性，并展现出良好的泛化能力和适应性，为藏文自然语言处理提供了新的技术路径。

1 研究方法

LLaMA（Large Language Model Meta AI）是由Meta AI研发的开源大规模语言模型，其核心架构采用仅包含解码器的Transformer结构。该模型利用自注意力机制对输入序列进行建模，能够在生成输出时充分整合输入序列的上下文信息。在位置编码设计上，LLaMA引入了旋转位置嵌入（Rotary Positional Embedding, RoPE），以增强模型对词序关系的建模能力。此外，为进一步提升计算效率，LLaMA采用了分组查询注意力（Grouped Query Attention, GQA）机制，通过优化注意力计算过程显著降低了计算开销，从而提升了模型的推理速度。上述架构特性使LLaMA在具备强大语言理解与生成能力的同时，保持了较高的计算效率。

随着大模型技术的发展，指令调整已成为广泛采用的策略，通过对大语言模型进行基于自然语言指令调整，增强了其在下游任务中的适应能力。然而，指令调整通常需要将原始数据转换为符合指令格式的结构化数据，这一过程较为繁琐且耗时。相比之下，标签监督适应架构能够直接利用已有的标注数据进行训练，因其数据格式与预训练阶段保持一致，显著简化了数据预处理流程并提升了训练效率。鉴于标签监督方法在提升训练效率方面的潜力，本文在标签监督LLaMA（LS-LLaMA）及无因果掩码标签监督LLaMA（LS-unLLaMA）框架的基础上，构建了适用于Tibetan-Llama2-7B与TiLamb-7B^[11]模型的4种变体，旨在优化模型在藏语词性标注任务中的性能。具体实现中，通过提取Tibetan-Llama模型最后一层的潜在表示，并将其映射至标签空间以计算交叉熵损失；同时，采用低秩适应（Low-Rank Adaptation, LoRA）方法以降低模型微调过程中的计算复杂度与损失，从而有效提升了训练效率。图1展示了标签监督适应的结构及流程，并与传统LLaMA方法在数据处理与模型结构方面的差异进行了对比。

1.1 标签监督 LLaMA

基于标签监督的微调框架中，使用Tibetan-Llama的AutoTokenizer对输入文本进行预处理与分词。该分词器首先对原始文本进行标准化处理，随后基于预训练时学习的子词单元对文本进行切分。每个子词单元根据词汇表被映射为对应的整数索引，形成模型的输入序列。这些索引通过嵌入层转换为稠密的向量表示，为下游计算提供语义特征。最终，该向量序列被送入基于LLaMA架构的Llama For Token Classification模型^[12]。该模型在预训练的LLaMA基础上引入了一个专门用于词性分类的线性输出层，通过微调使其能够充分利用LLaMA的上下文表征能力来完成序列标注任务，具体计算过程如下：

T=Tokenizer\left(S\right)（1）

H_{tkn}=LlamaForTenClf\left(T\right)（2）

式中，S为输入文本序列，T为分词器分词后的序列，包含标记序列，H_tkn 为隐状态高维向量表示。获得隐含表示后，通过全连接层和softmax层将向量表示映射到标签空间，以获得每个标签的概率分布。交叉熵损失是根据输出logit和真实标签计算损失值，训练过程中通过最小化这一损失来优化模型参数，计算其公式如下：

L=-\frac{\mathrm{1}}{N}{\sum }_{i=\mathrm{1}}^N{\sum }_{c=\mathrm{1}}^C{y}_{(i,c)}log\left(p_{(i,c)}\right)（3）

式中，N为样本数量，C为类别数量，y_(i,c) 为第i个样本的真实标签，p_(i,c) 为第i个样本预测的概率分布。为进一步提高正确标签的预测概率，采用LoRA^[13]策略来微调LLaMA模型。LoRA的核心思想是在Transformer层的注意力机制中引入低秩矩阵，通过优化这些少量的额外参数来适应下游任务，而保持原始预训练参数不变。这种方法不仅大幅降低了需要训练的参数数量和计算开销，还能有效缓解全参数微调可能导致的过程拟合问题，使模型在保持原有语言理解能力的基础上，快速适应特定领域的标注任务。

1.2 无掩码的标签监督LLaMA

基于自注意力机制的大语言模型（如LLaMA）中，因果掩码（Causal Masking）通过构造上三角矩阵，将未来标记的位置权重设置为极小数（如负无穷），从而限制当前标记仅能关注其左侧的上下文信息。这一机制在自回归文本生成任务中至关重要，有效模拟了人类逐词生成语言的过程。然而，在词性标注等需要对文本上下文进行整体理解的序列标注任务中，因果掩码会强制将自注意力层的双向依赖关系约束为单向依赖，导致模型无法利用后续标记的语义信息，从而损失关键的语言特征并限制模型的表征能力。

已有研究证实，基于因果掩码学习得到的标记表示在序列标注任务中的性能显著低于无掩码约束的表示^[12]。这表明传统因果掩码在需要全面把握上下文关联的任务中存在明显局限性。为解决这一问题，在Llama For Token Classification模型中移除了因果掩码，使模型能够同时关注当前位置的上下文标记，从而提取更具全局感知能力的深层语义表示。注意力机制计算公式如下：

H_{tkn}^{\text{'}}=unmasked\_LlamaForTenClf\left(T\right)（4）

通过对比两种掩码机制的注意力模式（图2），可以观察到掩码策略对模型学习能力与任务表现的显著影响。采用因果掩码的模型在预测时仅能依赖历史标记信息，这种单向约束限制了模型对全局上下文的理解，导致其在处理复杂语言结构时难以捕捉关键的语言依赖关系，从而降低了标注结果的连贯性与准确性。相比之下，无因果掩码的模型能够同时访问当前位置之前与之后的全部标记信息，通过利用完整的上下文语义，可显著提升序列标注任务中的表征能力与预测性能。

2 实验结果及分析

2.1 实验环境

本究采用LoRA方法对模型进行微调，具体如表1所示。LoRA通过只更新模型的部分参数，显著降低了对硬件资源的需求，使得更多研究人员能够参与到大语言模型的研究中，所有实验均使用单张A10-32GB显卡进行模型微调。

2.2 实验数据集

在自然语言处理中，词性标注任务主要存在两种典型实现路径：一种是在分词结果基础上进行独立标注，另一种则将分词与词性标注整合为一体化建模。独立标注方法通常以词为基本标注单元，能够充分利用词汇层级的语义特征；一体化方法则采用音节级标注单元，有效避免了分阶段处理中可能存在的错误传递问题^［14］。本研究基于大语言模型技术，针对藏文这一特定语言场景，系统比较了独立标注与一体化标注两种范式在词性标注任务中的性能表现。

本研究遵循国家标准GB/T 36337-2018《信息处理用藏语词类标记集》^［15］，采用其中定义的23个大类的词性体系。为适应实际标注需求，对部分标签形式进行了简化处理。该体系中，15类词性由单个英文字母表示，其余8类（状态词（zt）、拟声词（oo）、叹词（ee）、成语（xx）、语素（ii）、标点符号（ww）、非藏文（ot）和梵文（sk））原为双字母标记。为统一格式，本文取其首字母作为简写标记。其中，拟声词与非藏文首字母均为“o”，为避免冲突，将非藏文标记调整为“t”。

目前，尚未有公开的大规模藏文词性标注数据集可供使用。为此，本研究通过人工整理与标注，结合神经网络模型自动标注与人工校对的方式，构建了专门用于大模型训练的藏文词性标注数据集。该数据集共包含约10万条句子，涵盖110万个词汇，语料主要选自藏文中小学统编教材及《旋努达美》等经典藏文文学作品。教材文本语法规范且覆盖基础词汇，文学作品则提供了丰富的句法与修辞结构。数据分布分析表明，名词、动词、形容词等实词以及属格、位格、具格等格助词和连词构成主体，符合藏语语法特点与实际使用规律。

为适配大模型训练，本文将原始标注数据转换为标签监督格式，每条数据由藏文单元（词或音节）与对应的数字标签组成，并以JSON结构存储。标签体系完整覆盖23类词性（表2），满足模型训练需求。数据按8:1:1的比例划分为训练集、测试集和验证集，确保实验评估的有效性与可比性。

此外，通过对训练集和测试集的统计分析发现，量词、状态词、拟声词、叹词、词缀和梵文词等词性类别的样本占比极低（≤1%）。这种数据不平衡问题会导致模型难以充分学习这些低频词性的区分性特征，在实际预测中表现为两个典型问题：一是召回率显著偏低，二是容易将这些低频词性错误标注为高频词性（如名词、动词等）。特别是在跨领域文本中，这种误标现象更为突出，如测试句子“ཧོ་ཧོ་_n རང་ཚོད་_n མ་_d ཐུབ་_v ངོ་རེ་ཚ_n །_w”中，叹词“ཧོ་ཧོ་”被误标为名词。

2.3 实验对比与分析

为系统验证本文提出模型的有效性与泛化能力，本研究选取了当前主流的藏语词性标注方法进行对比分析，涵盖独立标注与一体化标注两类典型范式。参照模型均选已公开发表且训练数据规模与本研究相当的代表性方法。此外，为深入探究大语言模型在不同数据条件下的适应能力，专门设计了多组对比实验，分别考察模型在不同训练数据规模和不同标注粒度下的性能表现，具体实验结果如表3所示。

表3展示了不同标注方式下各模型的性能表现。在音节级一体化词性标注任务中，LS-Tibetan-unllama2-Syllable模型相比基于BiLSTM的3种传统变体模型（BiLSTM+CRF、BiLSTM+CNN+CRF、BiLSTM+IDCNN+CRF）表现出显著优势，其F1分数分别高出11.8、11.3和11.0个百分点。这说明LS-Tibetan-unllama2-Syllable模型能够更有效地捕捉藏文文本中的复杂特征，进而提升标注性能。与TiBERT模型相比，该模型的F1分数提高了7.1个百分点；而在 TiBERT 基础上集成BiLSTM+CRF模块后，模型F1分数达到92.5%，与LS-Tibetan-unllama2-Syllable模型仅相差0.3个百分点。实验结果表明，LS-Tibetan-unllama2-Syllable模型在一体化标注任务上具有明显优势，其性能优于TiBERT预训练模型，且与判别式模型TiBERT+BiLSTM+CRF的结果较为接近。

在词级独立标注任务中，LS-Tibetan-unLLaMA2-Word模型取得了97.1%的F1分数，表现出卓越的性能。相较于同类模型LS-unTilamb-Word（92.1%），其F1分数提升了5个百分点，并且超过了现有藏文 BERT模型的最佳结果（97.0%）^[9]。这一突破进一步验证了unLLaMA2架构在藏文自然语言处理任务中的有效性。该模型在词级标注任务上的优势主要源于其对上下文信息及多义词含义的更佳捕捉能力；同时，词级标签数量较音节级减少一半，降低了模型的选择复杂度，使其能够更专注于有限类别的优化，从而提升了精确率与召回率，最终实现F1分数的提高。

2.4 消融实验

为评估因果掩码机制对藏文词性标注任务的影响，本文设计了消融实验。消融实验作为一种重要的模型分析方法，能够有效识别复杂系统中各组件对整体性能的贡献程度^[16]。实验分别基于LS-LLaMA（保留因果掩码）和LS-unLLaMA（移除因果掩码）两种架构，以准确率、召回率和F1分数作为评估指标，结果如表4所示。

从表4中可以看出，相较于基准模型LS-Tilamb-Syllable和LS-Tibetan-llama2-Syllab-le，消除因果掩码的LS-unTilamb-Syllable和LS-Tibetan-unllama2-Syllable在F1值上分别提升了34.5%和15.7%。说明消除因果掩码对模型的标注效果具有显著的积极影响，增强了模型对上下文的理解能力，从而在词性标注任务中发挥了重要作用。这一发现进一步证实了全局依赖关系在解决序列标注任务中的关键作用，能够更全面地捕捉上下文信息。此外，Tilamb模型的词汇表规模小于Tibetan-Llama2，导致其无法覆盖所有常用的藏语词汇，从而影响了模型的性能表现。相比之下，Tibetan-Llama2凭借更大的词汇量，能够更好地处理多样化的语言现象，在性能上更为优越。

结 语

本研究基于标签监督微调框架，成功构建了面向藏文词性标注任务的大语言模型。通过系统对比LS-LLaMA（保留因果掩码）与LS-unLLaMA（去除因果掩码）两种架构，发现后者在词级标注任务中表现较好，F1值达到97.1%，显著优于现有基准方法，为藏文词法分析研究提供了有效的技术路径和性能参考。展望未来，本研究还可从以下方面进一步深化：一方面，应着力扩充多领域、多风格的训练语料，特别是加强对低频词性实例的采集与重采样，以提升模型对不平衡语言现象的适应能力；另一方面，可将本方法拓展至命名实体识别、语义角色标注等更多藏文序列标注任务中，验证其泛化性能。通过持续优化数据构建与模型训练机制，有望推动藏文信息处理技术体系的整体发展。

参考文献

[1] 刘洋,许乾坤,刘畅,等.基于典籍跨语言的自动词性标注大语言模型研究[J].情报资料工作,2025,46(2):82-90.

[2] Brown T, Mann B, Ryder N, et al. Language models are few-shot learners[C]. Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook, NY: Curran Associates Inc., 2020: 1877-1901.

[3] Touvron H, Martin L, Stone K, et al. Llama 2: Open foundation and fine-tuned chat models[J]. arXiv preprint arXiv, 2023(7):9288.

[4] 张航,文斌.基于HMM+CRF词性标注的实体抽取方法[J].计算机与数字工程,2023,51(12):2929-2933.

[5] 李亚超,江静,加羊吉,等.TIP-LAS:一个开源的藏文分词词性标注系统[J].中文信息学报,2015,29(6):203-207.

[6] 格桑加措.基于HMM模型的藏语词性标注研究[J].信息通信,2020(5):46-47.

[7] 康才畯.藏语分词与词性标注研究[D].上海:上海师范大学,2014.

[8] 王康.基于神经网络的藏语分词与词性标注研究[D].兰州:兰州大学,2020.

[9] 索朗次仁.基于预训练语言模型的藏文分词与词性标注研究[D].拉萨:西藏大学,2023.

[10] 杨毛加,柔特,才智杰,等.基于参数高效微调的藏文大模型研究[J].中文信息学报,2024,38(12):106-115.

[11] Zhuang W H, Sun Y, Zhao X B. TiLamb: A Tibetan large language model based on incremental Pre-training[C]. Proceedings of the 23rd Chinese National Conference on Computational Linguistics (Volume 1: Main Conference), 2024: 254-267.

[12] Li Z X, Li X M, Liu Y Z, et al. Label supervised Llama Finetuning[J]. arXiv preprint arXiv, 2023(10):1208.

[13] Hu E J, Shen Y, Wallis P, et al. Lora: Low-rank adaptation of large language models[J]. ICLR, 2022,1(2):3.

[14] 袁里驰.基于BERT-BiLSTM-CRF的中文分词和词性标注联合方法[J].小型微型计算机系统,2023,44(9):1906-1911.

[15] 国家市场监督管理总局. 全国信息技术标准化技术委员会信息处理用藏语词类标记集（ GB/T 36337-2018）[S].北京:中国标准出版社,2018.

[16] 常博林,袁义国,李斌,等.融合部首信息的古汉语自动分词与词性标注一体化分析[J].数据分析与知识发现,2024,8(11):102-113.

基金资助

国家自然科学基金项目(62166034)

藏语智能全国重点实验室建设项目(2025-ZJ-J08)