基于特征融合及多尺度上下文提取的实时语义分割

摘要

针对实时语义分割算法常用的双分支结构存在空间分支和上下文分支特征融合不充分、多尺度上下文信息提取不全面等问题，提出基于特征融合及多尺度上下文提取的实时语义分割网络。设计空间-多尺度双向注意力融合模块，使用空间注意力机制和多尺度特征融合模块实现双分支交互融合，促进空间特征以及语义特征在双分支上的流动；在上下文分支末端设计了串联聚合金字塔池化模块，更精确地捕捉细节信息；聚合空间分支不同阶段特征，增强模型对图像特征的全面理解能力，促进深层特征与浅层特征的深度融合；使用多尺度注意力特征融合模块引导空间分支和上下文分支融合。实验结果表明，构建的网络在Cityscapes数据集上平均交并比(mean intersection over union, MIoU)达到78.0%,推理速度为104.5 Frame/s;在CamVid数据集上，MIoU达到75.9%,推理速度为224.6 Frame/s。

关键词

实时语义分割 / 特征融合 / 注意力机制 / 多尺度上下文提取