多维协同与标签导向交叉注意力胸部数字化报告生成

摘要

针对现有放射学报告生成模型在表征细粒度解剖结构特征和对齐跨模态细粒度特征方面的局限性，提出具有多维协同与标签导向交叉注意力胸部数字化报告生成（MSLANet）模型。首先，在视觉特征提取网络之后引入多维协同注意力模块，通过融合多维度的视觉特征来提高解剖纹理识别能力。随后，在编码器之前引入标签导向交叉注意力模块，通过将疾病标签集与交叉注意力机制相结合，实现图像-报告对之间的精细配准。最后，在报告生成阶段加入多层聚合模块，以充分利用不同编码器层的编码表征，从而提高生成报告的准确性和细节丰富度。为了验证方法的有效性，在两个公开数据集IU X-Ray和MIMIC-CXR上进行对比实验。本文方法在IU X-Ray数据集上，BLEU-1、BLEU-2和BLEU-3指标分别达到0.505、0.345和0.251，较现有大多数同任务有所提升；在MIMIC-CXR数据集上相比RMAP模型，BLEU-2、BLEU-3、METEOR和ROUGE-L分别提升0.5%、0.2%、0.2%和0.5%，验证本文模型的有效性。

关键词

报告生成 / 多维协同 / 标签集 / 交叉注意力 / 多层聚合