融合词性提示学习的大语言模型依存句法分析

摘要

[目的]针对大语言模型(LLMs)在依存句法分析任务上的性能尚未得到系统性探索的问题进行研究.[方法]首先设计多种提示策略对富资源语言中文和低资源语言越南语进行全面的LLMs依存句法分析性能评估，用于确定LLMs中蕴含句法知识的程度；然后将词性信息作为外部知识来构建提示模板，进一步激活LLMs对于词法和句法的理解能力，提高依存句法分析的性能.[结果]实验结果表明，LLMs在富资源语言中文上的句法解析能力更强，而对于低资源语言越南语的解析能力较弱.通过对比实验，证明了外部词法知识的融入可以进一步提高其句法分析的能力，其中带标签依存分数(LAS)在中文上提升了13.11%,在越南语上提升了2.26%.[结论]设计合理的提示策略可以显著提升LLMs在句法分析任务上的表现，且在不同提示策略下，词性信息的加入对模型性能均产生了积极的影响.

关键词

大语言模型 / 依存句法分析 / 词性信息 / 提示策略

基金资助

国家自然科学基金(62306129,U21B2027,62366027,62266028); 云南省基础研究计划项目(202401CF07121,202401BC070021,202301AS070047); 云南省重大科技专项计划项目(202103AA080015,202202AD080003,202203AA080004); 昆明理工大学“双一流”创建联合项目(202301BE070001-027,202201BE070001-021); 云南省高新技术产业项目(201606)