基于融合去噪的多模态脑肿瘤MR图像分割

摘要

针对多模态脑肿瘤MR图像分割面临模态融合困难和融合过程中易产生噪声的问题及模态处理后全局和局部特征提取不充分造成分割精度降低的问题.首先设计了结合ViT(vision Transformer)和反卷积(transposed convolution)的模块,用于实现多模态MR图像的高效融合与深度去噪.然后创建了融合Transformer skip connection模块(TSC),利用Transformer的多头交叉注意力机制,对传统跳跃连接进行了革新,用于捕获融合去噪后模态特征图的全局和局部特征,进一步提升分割精度.最后在公开数据集BraTS2021上的实验结果表明,该方法在分割肿瘤时,精度达到了88.39%,Dice指数为83.44%,Hausdorff距离仅为2.356 6.

关键词

脑肿瘤MR / 融合去噪 / U-Net / Transformer / 图像分割