顾及动态目标的快速视频拼接

摘要

动态目标的场景实时视频拼接是视频拼接中的难点，当运动对象经过视频拼接缝时易发生伪影和错位，而复杂的配准和融合算法又难以满足实时性要求。为了解决该问题，提出了一种顾及动态目标的快速视频拼接算法。针对采集的视频帧，通过ORB算法进行帧间稀疏特征点匹配，YOLOv5分割出左右两帧中的可能运动目标（汽车和行人），再结合光流法判断整个目标区域是否为运动目标区域，然后去除运动目标影响，基于静止区域的特征匹配点对进行帧间单映射H阵估计，得到高精确H矩阵。最后通过最佳缝合线进行影像融合时，基于前面检测出的运动目标区域，使缝合线规避运动目标区域，同时在左右两边分别针对动态目标区域进行更新。算法测试结果表明，每两帧（分辨率1 280×720）平均拼接速度可达61 ms，拼接效果好于APAP和ELA算法，且具有更快的拼接速度，最终实现了能顾及动态目标影响的快速视频拼接。

关键词

YOLOv5 / 稀疏特征点匹配 / 视频拼接 / 最佳缝合线 / 运动目标检测

基金资助

广西自然科学基金(2020GXNSFAA19091); 桂林电子科技大学研究生教育创新计划（2023YCXS222）