前后文记忆矩阵引导的胸部放射影像报告生成模型

刘利军, 张云峰, 黄青松

doi:10.13229/j.cnki.jdxbgxb.20230341

吉林大学学报(工学版) ›› 2024, Vol. 54 ›› Issue (08) : 2355 -2363. DOI: 10.13229/j.cnki.jdxbgxb.20230341

前后文记忆矩阵引导的胸部放射影像报告生成模型

刘利军, 张云峰, 黄青松

作者信息 +

Author information +

文章历史 +

PDF

摘要

针对现有的放射影像报告生成方法主要关注前文信息在报告生成过程中的指导作用，忽略了后文信息在报告描述生成中的作用，存在语义信息不完整、关键信息缺失等问题，提出了一种前后文记忆矩阵引导的胸部放射影像报告生成模型（RadRG）。为了在生成过程中获得更丰富的语义信息，提出记忆矩阵生成模块（MA），使用记忆矩阵记录报告的模式信息和语义信息，并使用门控单元对其进行调控，以防止训练过程中出现梯度消失或信息爆炸。将本文模型在IU X-Ray和MIMIC-CXR公开数据集上进行了测试，实验结果表明：与现有主流模型对比，本文模型在BIEU指标达到了2.6%的提升。