基于多层次多尺度注意力融合网络的多模态眼底疾病诊断模型

摘要

针对单模态眼底图像提取眼底特征的局限性，提出一个基于多层次多尺度注意力融合网络的多模态眼底疾病诊断模型.首先，分别针对彩色眼底图像和视网膜光学相干断层成像设计多层次注意力网络和多尺度注意力网络，并在特征层进行融合得到融合特征；其次，将两种模态的损失函数加权，与融合特征的损失函数相加，提取模态的独特和互补信息，以提高眼底疾病诊断的准确率.在数据集MMC-AMD和GAMMA上进行评估的实验结果表明，该模型优于当前主流模型，诊断效果优越.

关键词

医学图像分类 / 眼底疾病诊断模型 / 多模态分类 / 注意力机制