面向3D目标检测的多模态生成式图像数据增强的研究

摘要

针对传统生成式图像数据增强算法丢失3D属性信息，无法应用于自动驾驶领域3D目标检测任务的问题，提出了一种基于稳定扩散模型的多模态图像生成算法，并基于该算法设计了一种面向3D目标检测的数据增强方法。算法通过增加多模态输入进一步约束图像的生成过程。算法设计了一种多模态特征在线生成模块，在线提取场景描述、语义分布和深度特征等信息；同时针对多模态特征融合网络设计了一种增强型门控自注意力模块，精准地捕捉潜在特征空间中的深度信息，从而保留图像的3D属性信息，实现对图像纹理、颜色以及光照等2D特征的针对性修改。基于算法出色的深度保持特性，将新图像与3D伪标签结合，构成新的图像样本，实现对图像样本的数据增强。在nuScenes公开数据集上3D检测结果表明，算法针对公交车、卡车等体积较大类别的3D属性保留效果较好，AP值分别提高了17.2%和14.1%,同时mAP提高了6.8%,NDS提高了3.4%。

关键词

数据增强 / 稳定扩撒 / 图像生成 / 目标检测 / 特征融合