引入3D平面向注意力的实时立体匹配算法

摘要

深度学习技术在立体匹配算法领域中表现出良好的性能，现有方法通常使用类U-Net结构进行特征提取，并且仅利用3D卷积进行成本聚合.然而，类U-Net结构的下采样过程可能会丢失图像的某些细节信息，而3D卷积的操作忽略了图像整体结构信息，使算法在无纹理和重复纹理区域效果不佳.此外，现有模型往往难以同时保证算法的精度和实时性.针对以上问题，本文构建了一个基于3D平面向注意力的实时立体匹配网络，该网络首先利用上下文细节融合模块对类U-Net结构生成的特征进行补充，以增强特征表达能力.其次，通过基于3D平面向注意力的成本聚合，在有效获取全局信息的同时极大地降低了模型的计算量.最后，利用视差细化模块解决了因感受野过大导致的视差图边界平滑问题.实验结果表明，所提算法在保证实时性的同时，较大幅度地提高了模型的匹配精度.

关键词

立体匹配 / 深度学习 / 注意力机制 / 信息融合

基金资助

国家自然科学基金项目（62273239）资助; 上海市“科技创新行动计划”国内科技合作项目（20015801100）资助