基于跨模态融合的玻璃类似物分割方法

摘要

玻璃和镜子等物体因缺乏明显纹理和形状，使得传统语义分割方法难以有效识别，影响视觉任务准确性.为了解决这个问题提出了一种基于Transformer的RGBD跨模态融合方法，用于玻璃类似物的分割.该方法采用Transformer网络，通过跨模态融合模块提取RGB和深度特征的自注意力，并利用多层注意力机制（MLP）整合RGBD特征，实现3种注意力特征的融合. RGB和深度特征被反馈到各自分支，以增强网络的特征提取能力.最终，语义分割解码器结合4个阶段的融合特征输出玻璃类似物的分割结果 .结果表明，本文方法与EBLNet方法相比在GDD,Trans10k和MSD数据集上的交并比分别提高1.64%,2.26%,7.38%，与PDNet方法比较在RGBD-Mirror数据集上交并比提高了9.49%，验证了其有效性.

关键词

注意力 / 语义分割 / 玻璃类似物 / 跨模态 / 深度估计