基于多层级视频Transformer的视觉自动定位方法

邹琦萍; 李博涛; 陈赛安; 郭茜; 张桃红

工程科学与技术 ›› 2024, Vol. 56 ›› Issue (06) : 34 -43.

邹琦萍, 李博涛, 陈赛安, 郭茜, 张桃红

作者信息 +

Author information +

文章历史 +

摘要

工业自动化产线中，设备的异常检测直接决定加工质量，由机械臂和搭载于机械臂前端的工业相机构成的视觉系统可以有效监测此类异常。本文使用六轴机械臂搭载工业相机对工件表面进行成像，获取由模糊到清晰再到模糊的视频序列，以此选出最清晰的视频帧作为自动加工中有聚焦要求的距离指导，以进行聚焦异常修正，从而实现自动定位。提出一种基于多层级视频Transformer的视频分类模型多级视频Transformer(MLVT)用于高语义级别的视频表征学习，并用于选出视频序列中成像最清晰的帧。首先，提出一种具有多种感受野的token划分方法多级标记（MLT），能够将原始视频数据按2D图像补丁、3D图像补丁、帧和片段这4个层级划分成token序列，并在加入位置编码之后送入多级编码器（MLE）方法进行注意力的计算。为了缓解多层级的tokens带来的计算代价和收敛速度慢的问题，MLE引入一种逐层的可变形注意力机制逐层可变形注意力机制（LWLA），以一种可学习的方式代替全局注意力进行特征相似性的计算。最终，该方法3个版本的模型在本文的视频数据集上分别取得了87.2%、88.6%、88.9%的分类准确率，在与同参数量级的主流视频Transformer实验对比中均表现了最优的性能，有效地完成了从视频序列中选择出最清晰帧的任务，能够为下游视觉任务的性能提供强有力保障。