基于特征解耦与融合的不完全多模态骨肿瘤图像分类

摘要

目的 提出了一种基于特征解耦与融合的骨肿瘤分类模型，用于合理处理模态缺失并融合多模态信息，以提升分类准确率。方法 设计解耦补全模块，先提取包含已有模态的局部与全局信息的骨肿瘤图像特征，再将该特征分解为共享特征和特定特征。利用共享特征作为缺失模态特征的补全表示，从而减少因模态差异带来的补全偏差。考虑到模态差异可能会使多模态信息难以融合，采用基于交叉注意力机制的融合模块。提升模型学习跨模态信息的能力并对特定特征进行充分融合，从而提高骨肿瘤分类的准确性。结果 实验采用在南方医科大学第三附属医院收集的骨肿瘤数据集进行训练和测试。在7种可用模态组合中，本文方法中骨肿瘤分类的平均AUC、准确率、特异性分别为0.766、0.621、0.793，与现有的模态缺失处理方法相比分别提高了2.6%、3.5%、1.7%。全模态情况下骨肿瘤分类效果最佳，AUC为0.837；仅有MRI模态时AUC仍能达到0.826。结论 本文方法能合理地处理模态缺失并有效融合多模态信息，在多种复杂的缺失情境下表现出良好的骨肿瘤分类性能。

关键词

骨肿瘤分类 / 多模态图像 / 模态缺失 / 特征解耦 / 注意力融合