基于实例判别与特征增强的单图三维模型检索

摘要

为减小图像检索三维模型算法中图像域和模型域间的模态差距，提出一种由4个模块组成的神经网络算法模型。数据交换模块通过一定概率交换图像和三维模型数据，使图像域网络具有模型域特征学习能力，模型域网络具有图像域特征学习能力，初步减小模态差距。特征对齐模块有实例样本判别损失函数和图像模型配对损失函数，进一步对齐图像域和模型域。实例判别损失函数将每个实例视为独立个体类，对其进行分类，使相同实例的图像和三维模型的特征相似。图像模型配对模块旨在拉近相同实例的图像和三维模型，推远不同实例的图像和三维模型。基于对比学习在图像域中增加特征增强模块，提高图像域内特征区分性。试验结果表明，提出的算法在3个常见数据集Pix3D、 CompCars和StanfordCars上取得良好效果，检索精度较现有经典方法提高4.5%。实现图像域和三维模型域对齐，减小模态差距，提高图像检索三维模型精度。

关键词

三维模型检索 / 度量学习 / 对比学习 / 多模态 / 跨模态检索

基金资助

国家自然科学基金资助项目(62102163); 山东省高等学校青年创新团队发展计划资助项目; 山东省科技型中小企业创新能力提升工程资助项目(2023TSGCO244)