3分支多层次Transformer特征交互的RGB–D显著性目标检测

孟令兵; 袁梦雅; 时雪涵; 刘晴晴; 程菲; 黎玲利; 何术锋

doi:10.15961/j.jsuese.202200555

工程科学与技术 ›› 2023, Vol. 55 ›› Issue (06) : 245 -256. DOI: 10.15961/j.jsuese.202200555

3分支多层次Transformer特征交互的RGB–D显著性目标检测

孟令兵, 袁梦雅, 时雪涵, 刘晴晴, 程菲, 黎玲利, 何术锋

作者信息 +

Author information +

文章历史 +

摘要

RGB深度图像（RGB–D）显著性目标检测是计算机视觉领域的研究任务之一，很多模型在简单场景下取得了较好的检测效果，却无法有效地处理多目标、深度图质量低下及显著性目标色彩与背景相似等复杂场景。因此，本文提出一种3分支多层次Transformer特征交互的RGB–D显著性目标检测模型。首先，提出一个跨模态坐标注意力模块，该模块通过采用坐标注意力抑制RGB图像和深度图的噪声信息，从而提取出更为显著的特征信息用于后续解码。其次，通过特征融合模块将高层的3层特征图调整到相同的分辨率送入Transformer层，有效地获取远距离显著性目标之间的关联关系和整幅图像的全局信息。然后，提出一个多层次特征交互模块，该模块有效地聚合多层次信息进行特征交互，从而能够更精准地定位显著性目标的位置，同时对显著性目标的边界进行细化。最后，设计一个密集扩张特征细化模块，利用密集扩张卷积获取丰富的多尺度特征，有效地应对显著性目标数量和尺寸变化。将模型在5个公开的基准数据集上与19种主流模型相比，实验结果表明：本文方法在多个测评指标上有较好的提升效果，提高了在特定复杂场景下的检测精度；从P–R(precision–recall)曲线、F–measure曲线和显著图也可以直观看出，本文方法取得了较好的检测结果，生成的显著图更完整、清晰，相比其他模型更加接近真值图。