CRAKUT:融合对比区域注意力机制与临床先验知识的U-Transformer用于放射学报告生成

摘要

目的 提出一种对比区域注意力和先验知识融合的U型Transformer模型（CRAKUT），旨在解决文本分布不均衡、缺乏上下文临床知识以及跨模态信息转换等问题，提升生成报告的质量，辅助影像科医生诊断工作。方法 CRAKUT包括3个关键模块：对比注意力图像编码器，利用数据集中常见的正常影像提取增强的视觉特征；外部知识注入模块，融合临床先验知识；U型Transformer，通过U型连接架构完成从视觉到语言的跨模态信息转换。在图像编码器中引入的对比区域注意力机制，通过强调正常与异常语义特征之间的差异，增强了异常区域的特征表示。此外，文本编码器中的临床先验知识注入模块结合了临床历史信息及由ChatGPT生成的知识图谱，从而提升了报告生成的上下文理解能力。U型Transformer在多模态编码器与报告解码器之间建立连接，融合多种类型的信息以生成最终的报告。结果 在2个公开的CXR数据集（IU-Xray和MIMIC-CXR）对CRAKUT模型进行评估，结果显示，CRAKUT在报告生成任务中实现了当前最先进的性能。在MIMIC-CXR数据集，CRAKUT取得了BLEU-4分数0.159、ROUGE-L分数0.353、CIDEr分数0.500；在IU-Xray数据集上，METEOR分数达到0.258，均优于以往模型的表现。结论 本文提出的方法在临床疾病诊断和报告生成中具有巨大的应用潜力。

关键词

胸部X光 / 对比区域注意力 / 临床先验知识 / 跨模态交互 / U-Transformer模型