对比增强的关联记忆网络用于医学图像报告生成

摘要

在现有的医学影像诊断报告自动生成模型中，仅利用输入图像的视觉特征来提取相应的语义特征，并且生成词之间关联较弱和缺乏上下文信息等问题。为了解决上述问题，提出一种对比增强的关联记忆网络模型，通过对比学习提高模型区分不同图像的能力，设计了注意力增强关联记忆模块根据上一时间步生成的单词来持续更新，以加强生成医学图像报告中生成词之间的关联性，使得本模型可以为医学图像生成更准确的病理信息描述。在公开IU X-Ray数据集和私有胎儿心脏超声数据集上的实验结果表明，提出的模型在Cider评估指标方面明显优于以前的一些模型(与经典的AOANet模型相比较，在IU X-Ray上Cider指标提升了51.9%,在胎儿心脏超声数据集上Cider指标提升了3.0%)。

关键词

医学图像报告生成 / 关联记忆网络 / 双层LSTM / 上下文信息 / 对比学习

基金资助

国家自然科学基金项目(62076044); 重庆英才计划项目(cstc2022ycjh-bgzxm0160)