跨模态对比学习的医学影像报告自动生成方法

摘要

医学影像报告自动生成领域因图像与文本在不同语义空间中的分布差异，导致模态之间映射困难，从而出现误判、漏判、以及报告描述缺乏专业性与流畅性等问题.为此，本文提出一种基于跨模态对比学习的自动生成方法.首先，通过检索和比较医学图像与其相关病史信息，获取图像差异，然后结合患者病史语义特征生成初步报告.接着，将初步报告输入跨模态语义同步记忆单元，记忆单元中存储输入图像与真实报告特征信息，计算报告与记忆单元样本点之间对比损失，不仅缩小生成报告与正样本之间距离，还扩大与负样本间距离，以优化视觉-文本特征提取器，最终生成优化后与图像信息高度一致的报告.实验结果表明，与DeltaNet模型相比，在IU X-Ray和MIMIC-CXR两个基准数据集上，BLEU-4和CIDEr指标分别提升1.3%和11.5%,表明本文方法可以有效提升报告准确性与可读性.

关键词

医学影像报告生成 / 跨模态 / 对比学习 / 语义对齐

基金资助

福建省自然科学基金面上项目(2022J01119)资助;福建省自然科学基金面上项目(2022J01116)资助; 闽江学院福建省信息处理与智能控制重点实验室开放基金项目(MJUKF-IPIC202405)资助