ViT与光度约束驱动的胸腔镜场景三维重建算法

摘要

为了提升胸腔镜手术中可视化水平，辅助医生进行精确操作，提出一种手术场景的三维重建算法.首先，利用视觉变换器（ViT）对胸腔镜图像进行深度估计；然后，结合图像金字塔采用光度约束方法预测相机位姿；最后，通过截断带符号距离函数（TSDF）对场景表面进行重建.胸腔镜图像数据集上的实验结果表明：本文方法在深度估计上实现了绝对误差为0.056、均方根误差为3.843的最佳表现；在位姿估计上旋转误差和平移误差分别为0.071 4和0.002 8，效果均优于其他方法 .与现有技术相比，本文方法在三维重建精度和术中可视化指导方面均具有显著优势，为胸腔镜微创手术提供了直观、可靠的术中参考信息，具有潜在临床应用价值.

关键词

胸腔镜图像 / ViT / 深度估计 / 光度约束 / 位姿预测 / 视觉三维重建