一种基于S3IM改进的Aleth-NeRF网络

摘要

作为一种面向低光照环境的神经辐射场(neural radiance field, NeRF)改进方法，Aleth-NeRF能够以RGB格式低光图像作为输入并获得较好的三维重建与新视角合成效果，但仍存在渲染图像模糊、几何结构细节表达不准确等问题。针对上述不足，提出一种改进的Aleth-NeRF网络结构，在渲染分支中引入高斯卷积层对低光照图像及渲染结果进行平滑处理，以抑制噪声并增强特征表达能力；同时设计一种改进型随机结构相似性(stochastic structural similarity, S3IM)损失函数，通过强化结构相似性约束，提升网络对场景几何信息的建模能力。实验结果表明，在多个低光照场景数据集上，所提方法在保持峰值信噪比(peak signal-to-noise ratio, PSNR)基本不变的情况下，有效提升了结构相似性(structural similarity, SSIM)和感知图像相似性(learned perceptual image patch similarity, LPIPS)指标，其中SSIM平均提升0.003,LPIPS平均降低0.006。渲染结果在细节表达与几何一致性方面均优于原方法，验证了所提方法的有效性与鲁棒性。

关键词

神经辐射场 / 低光照成像 / 三维重建 / 图像渲染 / 结构相似性 / 深度学习

基金资助

国家自然科学基金青年项目(62101312); 陕西科技大学科研启动项目(2020BJ-18)