基于语义辅助和深度时序一致性约束的自监督单目深度估计

摘要

通过使用相邻帧之间的光度一致性损失代替深度标签作为网络训练的监督信号，基于图像序列训练的自监督单目深度估计方法近年来受到了广泛的关注.光度一致性约束遵循了静态世界假设，而单目图像序列中存在的运动目标违反该假设，进而影响自监督训练过程中相机位姿估计精度和光度损失函数的计算精度.通过检测并移除运动目标区域，可在得到与目标运动解耦的相机位姿的同时，消除运动目标区域对光度损失计算精度的影响.为此，本文提出了一种基于语义辅助和深度时序一致性约束的自监督单目深度估计网络.首先，使用离线的实例分割网络检测可能违反静态世界假设的动态类别目标，并移除对应区域输入位姿网络从而得到与物体运动解耦的相机位姿.其次，基于语义一致性和光度一致性约束，检测动态类别目标的运动状态，使得运动区域的光度损失不影响网络参数的迭代更新.最后，在非运动区域施加深度时序一致性约束，显式对齐当前帧的估计深度值与相邻帧的投影深度值，进一步细化深度预测结果 .在KITTI、DDAD以及KITTI Odometry数据集上的实验验证了所提方法与以往的自监督单目深度估计方法相比具有更出色的性能表现.

关键词

单目深度估计 / 自监督学习 / 运动目标 / 时序一致性

基金资助

国家自然科学基金资助项目（62171184,62273139,62106072）,国家自然科学基金区域联合重点项目（U23A20385）; 国防预研项目（JCY2021206B015）