基于混合像素编码器和代理注意力的实时实例分割模型

摘要

最近基于Transformer的模型在视觉任务上表现出色，其推理精度大大超越了传统卷积神经网络(convolutional neural network, CNN)模型，然而在推理速度方面却表现欠佳。提出一种基于Transformer的轻量级实时实例分割模型FastInst-HA。首先模型采用混合像素编码器来融合多个特征层之间的图像信息，以增强网络对于不同尺度图像的特征提取能力，并为后续初始查询提供更多语义信息。在Transformer解码器中引入代理注意力(Agent-attention)来替换传统的自注意力(Self-attention)预测每个实例的类别。代理注意力避免q和k之间进行成对相似性计算，将自注意力的复杂性从二次方降低到线性，从而大大提升了模型的推理速度。实验结果表明，FastInst-HA在COCO数据集上能够在38.9 FPS的实时速度下实现38.2的平均精度(average precision, AP),在推理速度和精度上超过了大多数实时实例分割模型。

关键词

实例分割 / Transformer / 轻量级 / 注意力机制 / 编码器 / 解码器

基金资助

上海市科技计划项目(25ZR1401144)