引入交叉注意力的多模态装备实体对齐

摘要

多模态装备实体对齐旨在发现不同多模态装备知识图谱中等价的装备实体.现有对齐方法通常以固定或动态权重融合多模态信息，忽略了模态间的信息交互.为此，本文提出一种基于交叉注意力机制和冗余抑制的多模态装备实体对齐(CAMMEA)方法.该方法通过引入交叉注意力机制，动态地捕捉模态间的相互依赖性，增强信息交互，实现更精确的模态融合.此外，考虑到不同知识图谱间结构上的差异对实体对齐效果的影响，设计了一个冗余信息抑制模块，抑制对齐无关信息，缓解由于装备知识图谱结构差异所带来的负面影响.最后，在私有数据集EMMEAD和公开数据集FB15K-DB15K、FB15K-Yago15K上进行的实验，验证了CAMMEA的有效性.结果表明，CAMMEA在实验数据集上Hits@1的表现相较于基线模型分别提升了3.20%、2.22%和1.91%.

关键词

多模态知识图谱 / 实体对齐 / 交叉注意力机制 / 知识融合

基金资助

国家重点研发计划项目（2021YFB2600600）资助; 北京信息科技大学校科研基金项目（2023XJJ15,2023XJJ17）资助