多尺度自注意力和局部匹配的光流估计方法

摘要

为了解决光流估计中存在的感受野受限和边缘模糊问题，提出了一种多尺度自注意力和局部特征匹配的光流估计模型。该模型在循环全对域变换(recurrent all-pairs field transforms, RAFT)模型的基础上进行改进。首先，在特征提取模块中添加多尺度自注意力机制，利用多尺度自注意力学习远距离像素之间的依赖关系，得到图像特征信息；其次，在低级光流上采样的过程中添加局部匹配模块，得到高分辨率的光流；然后，在光流估计数据集上完成模型训练；最后，对训练好的模型进行消融实验和对比实验。结果表明：所提模型在MPI Sintel Clean数据集上和MPI Sintel Final数据集上平均端点误差(average end point error, AEPE)分别为1.18和1.67,在KITTI-2015数据集上平均端点误差和异常光流百分比(flow error of all, Fl-all)分别为1.01和3.40%,均优于RAFT模型。所提光流估计模型具有较高的光流估计准确性，能够为依赖高精度运动信息的计算机视觉任务提供有效支持。

关键词

计算机神经网络 / 光流估计 / 注意力机制 / 上采样 / 局部匹配