FGITA:一种基于细粒度对齐的多模态命名实体识别框架

摘要

命名实体识别任务旨在识别出非结构化文本中所包含的实体并将其分配给预定义的实体类别中.随着互联网和社交媒体的发展，文本信息往往伴随着图像等视觉模态信息出现，传统的命名实体识别方法在多模态信息中表现不佳.近年来，多模态命名实体识别任务广受重视.然而，现有的多模态命名实体识别方法中，存在跨模态知识间的细粒度对齐不足问题，文本表征会融合语义不相关的图像信息，进而引入噪声.为了解决这些问题，提出了一种基于细粒度图文对齐的多模态命名实体识别方法(FGITA:A Multi-Modal NER Frame based on Fine-Grained Image-Text Alignment).首先，该方法通过目标检测、语义相似性判断等，确定更为细粒度的文本实体和图像子对象之间的语义相关性；其次，通过双线性注意力机制，计算出图像子对象与实体的相关性权重，并依据权重将子对象信息融入到实体表征中；最后，提出了一种跨模态对比学习方法，依据图像和实体之间的匹配程度，优化实体和图像在嵌入空间中的距离，借此帮助实体表征学习相关的图像信息.在两个公开数据集上的实验表明，FGITA优于5个主流多模态命名实体识别方法，验证了方法的有效性，同时验证了细粒度跨模态对齐在多模态命名实体识别任务中的重要性和优越性.

关键词

多模态 / 命名实体识别 / 信息抽取 / 知识图谱 / 对比学习