大语言模型的汉语框架语义分析能力评估

摘要

大语言模型的出现对自然语言处理产生了广泛的影响，已有研究表明大语言模型在各类下游任务中具有出色的Zero-shot及Few-shot能力，而对于大语言模型的语义分析能力的评估仍然比较缺乏。因此，本文基于汉语框架语义分析中的三个子任务：框架识别、论元范围识别和论元角色识别，分别在Zero-shot及Few-shot设定下评估了ChatGPT、Gemini和ChatGLM三个大语言模型在CFN2.0数据集上的语义分析能力，并与目前基于BERT(Bidirectional Encoder Representations from Transformers)的SOTA模型进行了比较。在框架识别任务中，大语言模型的准确率仅比SOTA模型低0.04；但在论元范围识别与论元角色识别任务上，大语言模型表现不佳，与SOTA(State of the Art)模型相比，F1分数分别相差0.13和0.39。以上结果表明，大语言模型虽具备一定的框架语义分析能力，但进一步提升大语言模型的语义分析能力仍然是一个具有挑战性的工作。

关键词

大语言模型 / 框架识别 / 论元范围识别 / 论元角色识别