面向少样本的知识与数据的跨模态特征融合模型

摘要

在少样本学习中，纯数据驱动式学习容易出现过拟合和泛化能力下降等问题，而知识与数据的融合不足也会导致模型性能受限.因此，本文针对少样本学习问题，提出了一种深度跨模态特征融合模型（KDFM）以融合领域知识和结构化数据特征，进而提升下游任务的性能. KDFM采用多特征交互框架：首先，基于知识图谱建模领域中用语义表达的知识的模态，利用TransE算法提取知识节点的嵌入表示；其次，将结构化的数据模态映射为图网络，通过多通道图卷积网络捕捉特征间的高阶关联；最后，设计注意力机制动态对齐知识嵌入与数据特征，实现跨模态信息的自适应融合.本文将所提模型分别在材料回归和医学分类两个少样本数据集上进行了验证.相比其他纯数据驱动的模型，所提模型在各项回归和分类任务上均取得了较好的结果.消融实验结果表明了所提模型的知识建模部分和跨模态融合部分的有效性.这也说明KDFM通过多特征协同建模与高效融合策略，在一定程度上解决了少样本下模型泛化能力弱，知识与数据模态融合困难的问题.

关键词

少样本 / 混合驱动 / 知识图谱 / 图卷积网络 / 特征融合

基金资助

国家重点研发计划资助项目(2021YFB3702402); 中央高校基本科研业务费(FRF-DF-23-003)