自适应深度一致与跨频注意力的多视立体网络

邢航; 王刚; 王岩; 侯明辉

doi:10.19292/j.cnki.jdxxp.2025.04.008

吉林大学学报(信息科学版) ›› 2025, Vol. 43 ›› Issue (04) : 724 -735. DOI: 10.19292/j.cnki.jdxxp.2025.04.008

自适应深度一致与跨频注意力的多视立体网络

邢航, 王刚, 王岩, 侯明辉

作者信息 +

Author information +

文章历史 +

PDF

摘要

针对当前深度学习在三维重建中难以从图像中提取全面的场景信息，以及未充分考虑视图间的深度一致性问题，提出具有自适应深度一致性和跨频注意力的多视图立体网络(ADCFA-MVSNet:Multi-View Stereo with Adaptive Depth Consistency and Cross-Frequency Attention)。跨频注意力(CFA:Cross-Frequency Attention)模块整合图像内高频和低频信息，以及跨视图的全局场景信息，能更加全面地提取图像特征。自适应深度一致性(AD:Adaptive Depth Consistency)模块精确捕捉场景中的几何结构，动态考虑不同视图对深度一致性的贡献，在不同尺度上增强深度一致性。其创新之处在于利用全面的图像信息，确保几何一致性，从而在3D重建任务中取得优异的表现。实验结果表明，在DTU(Technical University of Denmark)数据集上精确度为0.319,完整度为0.285,整体得分为0.302,优于其他对比方法。在BlendedMVS数据集上，EPE(End-Point-Error)得分为0.27, e1得分为5.28, e3得分为1.84,同样优于对比方法。证明了ADCFA-MVSNet在提升多视图三维重建的完整度和精度方面的有效性，提高了多视图重建质量，取得了良好的重建效果。