三支提示知识的持续学习方法研究

摘要

当前基于预训练模型和提示微调的持续学习范式受到了广泛的关注.然而，该范式在选取提示时未考虑知识的不确定性，若选取对任务有负作用的不确定性提示将导致模型性能下降.如何有效处理不确定性提示成为提升模型性能的关键.本文结合三支决策理论，提出了一种基于三支提示知识的持续学习方法，将可学习的参数化提示作为知识构建三支决策知识系统，对提示知识做出接受、拒绝和延迟的决策，相应地将其划分为正知识、负知识和不确定性知识，并在持续学习过程中累积正知识、丢弃负知识、更新不确定性知识，构建提示知识库并利用其帮助新任务的学习.本文在经典持续学习数据集上进行了全面的实验，并取得了优秀的表现.

关键词

三支决策 / 不确定性 / 提示微调 / 知识迁移 / 持续学习

基金资助

国家自然科学基金项目(62476228)资助; 四川省科技计划项目(MZGC20240153)资助; 西南财经大学交子金融科技创新研究院项目(kjcgzh20230103,kjcgzh20230201)资助