融合视角感知与三平面优化的唐卡主尊单视图三维重建

Single-View 3D Reconstruction of the Principal Deity in a Thangka Using Integrating View-Aware Perception and Three-Plane Optimization

摘要

唐卡主尊以散点透视与晕染技法在二维平面上营造三维深度感，形成了纹理细节与几何结构高度耦合的艺术特征。这一特征使得通用单视图三维重建方法在直接应用时，易出现拓扑粘连、细节丢失、纹理模糊、几何扭曲及视角不一致等一系列问题。针对上述问题，文章提出一种基于视角感知与三平面优化的重建框架VAWA-3D。该框架在新视角生成阶段，通过视角感知编码增强空间约束，并设计多尺度权重适配UNet网络以协同优化纹理细节与整体结构；在网格重建阶段，引入三平面一致性校验机制以修正几何映射偏差。在自建的3D-Thangka唐卡数据集及公开数据集上的实验结果表明，该方法在关键指标上显著优于主流方法，其结构相似性（SSIM）、学习感知图像相似度（LPIPS）和倒角距离（CD）值分别达到0.907、0.129和0.183，有效验证了该方法在唐卡主尊的高保真三维重建任务中的有效性。

Abstract

Through the use of scattered perspective and color shading techniques, the principal deity in a Thangka is rendered with a sense of three-dimensional depth on a two-dimensional plane, resulting in an artistic characteristic where textural details and geometric structures are highly intertwined. This characteristic leads to a series of issues, such as topological adhesion, loss of detail, blurred textures, geometric distortion, and inconsistent viewpoints, when generic single-view 3D reconstruction approaches are applied directly. To address these issues, this paper proposes a viewpoint-aware and optimized three-plane reconstruction framework called VAWA-3D. During novel view synthesis, the framework strengthens spatial constraints via viewpoint-aware encoding and equips the UNet network with multi-scale adaptive weights to jointly optimize texture details and global geometric structures. In the mesh reconstruction stage, a three-plane consistency verification mechanism is introduced to rectify deviations in geometric mapping. Experiments conducted on the self-built 3D-Thangka dataset and public benchmarks demonstrate that the proposed method outperforms state-of-the-art alternatives by a notable margin on core evaluation metrics with SSIM, LPIPS, and CD values of 0.907, 0.129, and 0.183, respectively, effectively validating the efficiency of our approach in the task of high-fidelity 3D reconstruction of the main figure in Thangka paintings.

Graphical abstract

关键词

单视图三维重建 / 唐卡数字化 / 新视角生成 / 三平面优化 / 视角一致性

Key words

single-view 3D reconstruction / Thangka digitization / novel view synthesis / three-plane optimization / view consistency

引 言

唐卡是藏族文化的核心视觉载体与非物质文化遗产，融合了历史、艺术等多重价值。唐卡画师通过精妙的线条造型、空间布局与色彩渲染，在二维平面上塑造出具有立体感与空间深度的主尊形象。

近年来，单视图三维重建技术逐步形成了“扩散模型生成多视图^[1-5]”与“端到端模型重建网络^[6-8]”两阶段主流范式，推动了三维重建从传统几何建模向数据驱动式建模的深刻转变，从图像到三维的跨模态转换已成为文化遗产数字化的主流方向^[9-12]。2023年，Liu等^[13]提出的Zero-1-to-3（Zero-shot one image to 3D object）首次基于Stable Diffusion框架^[14]，通过合成数据集微调与CLIP嵌入的双分支编码^[15]，实现了开放类别的零样本新视图生成，验证了2D扩散模型中的3D几何先验；然而，扩散模型中容易出现视角不一致的问题，为此Shi等^[16]提出的Zero123++（a single image to consistent multi-view diffusion base model）进行了专门优化，采用3×2网格拼接、切换线性噪声调度以及缩放参考注意力等策略，优化了多视图联合分布的建模与特征对齐，进而提升了生成结果的连贯性与质量；Wang等^[17]提出的CRM则在扩散模型生成多视图的基础上进一步优化，通过引入CCM（Canonical Coordinate Map）补足几何信息，实现了更高质量的纹理细节与几何结构协同重建，丰富了扩散模型生成多视图范式的技术路径。

随着大规模三维数据集^[18-21]与Transformer架构^[22]的发展，Hong等^[23]提出的LRM（Large reconstruction model for single image to 3D）大型重建模型利用Transformer网络将图像tokens映射到隐式三平面，实现了高质量的单视图三维重建；而Tochilkin等^[24]提出的TripoSR（Fast 3D object reconstruction from a single image）则在LRM架构的基础上，引入DINOv1训练编码器与多尺度Transformer解码器，通过掩码损失抑制漂浮伪影，最终实现了在0.5s内完成高质量重建，且能直接输出带纹理的网格，较好地平衡了效率与精度。

然而，上述方法主要针对通用设计范式，将其直接迁移至兼具复杂艺术纹理与严格几何规范的唐卡图像时，仍面临三大核心问题：一是纹理与几何协调困难，唐卡中繁复纹理与严谨几何高度耦合，通用扩散模型的UNet主干网络^[25]难以协同优化，易导致重建结果出现纹理模糊与几何畸变；二是跨视角一致性不足，唐卡对整体对称性与法相庄严具有极高要求，现有方法在多视图序列生成过程中常出现不一致现象，如伪影问题；三是三平面特征映射存在失真现象，由于输入视图存在差异，LRM等模型的三平面特征表示对输入变化极为敏感，同时缺乏显式一致性约束，最终重建精度无法满足任务需求。

针对上述挑战，本文提出融合视角感知与三平面优化的唐卡主尊单视图三维重建框架（VAWA-3D），该框架围绕视角一致性、纹理与几何特征平衡以及三平面优化3个方面展开研究：首先，提出了一种视角感知条件编码机制，通过高维周期性编码，对相机视角参数进行显式条件注入，为多视图生成过程提供精确的空间约束；其次，设计了一种面向纹理-几何平衡的多尺度权重适配UNet网络，通过集成权重适配模块，引导网络浅层聚焦唐卡精细纹理，深层专注保持全局几何结构，提高纹理与几何特征的提取；最后，在LRM重建流程中引入基于余弦相似度的三平面特征一致性校验模块，对局部不一致和结构偏差进行修正，从而提升重建模型的几何合理性与视觉真实度。

本文旨在运用计算机视觉技术，对唐卡主尊进行单视图三维重建，其核心在于从二维绘画中逆向解析并可视化其内在的三维结构信息，以实现对画师立体创作意图的数字化还原。本研究可应用于沉浸式文化传播与数字文创开发，实现从静态图像到可交互、可再创的数字资源的转化。

1 网络模型

针对唐卡主尊单视图三维重建中存在的纹理-几何失衡、视角不一致以及三平面特征偏差等问题，本文提出名为VAWA-3D的重建框架，如图1所示。该框架包括3个核心模块：

（1）输入预处理模块（图1A）：对输入的单张唐卡图像进行标准化处理和主尊主体分割，有效消除复杂背景对后续重建任务的干扰。

（2）多视角生成模块（图1B）：采用改进的Zero123++框架，通过视角感知条件编码与多尺度权重适配UNet网络，强化扩散模型的视角空间约束与特征提取，生成高保真、强一致性的多视角图像序列。

（3）三维网格重建模块（图1C）：将生成的多视角图像输入改进的LRM模型，结合三平面一致性校验机制进行优化，最终输出几何结构合理、纹理细节丰富的高保真三维网格模型。

1.1 输入预处理模块

唐卡图像存在尺寸差异，需进行统一标准化处理。此外，主尊与背景常存在边缘模糊、色彩相近的问题，导致可靠的主尊分割成为实现高质量三维重建的关键步骤。为此，本文设计了一套输入预处理流程，主要包括尺寸标准化与主尊主体分割，以为后续模型提供规范的输入数据。

进行尺寸标准化时，假设给定输入图像I_{in}，原始尺寸为宽度W_{in}\times高度H_{in}，最简宽高比为a：b（\frac{W_{in}}{H_{in}}=\frac{a}{b}，a、b为互质正整数）。首先，将I_{in}按比例缩放至中间尺寸W_{scal}=\mathrm{320}\times a\mathrm{、}{H}_{scal}=\mathrm{320}\times b，以保持宽高比；接着，从缩放后的图像中心区域裁剪出320×320像素的标准输入I_{resize}。过程如公式（1）所示：

I_{resize}[w,h]=I_{scal}\left[⌊⌊\frac{W_{scal}-\mathrm{320}}{\mathrm{2}}⌋+w,⌊\frac{H_{scal}-\mathrm{320}}{\mathrm{2}}⌋+h⌋\right]（1）

式中，w，h∈[0, 319]，为裁剪后图像的像素坐标（320×320像素的坐标范围），⌊·⌋表示向下取整运算，确保像素坐标为整数。

为减少繁复背景纹样对主体三维重建的干扰，本文采用SAM（Segment Anything Model）对标准化后的图像I_{resize}进行主尊分割，获得参考图像。该过程能精准分离主尊与背景，降低无关视觉信息对模型学习过程的影响，使后续三维重建模型更加关注主体对象的几何结构与表面纹理的学习，从而在数据输入端提升重建的精度与效率。

1.2 多视角生成模块

1.2.1 视角感知条件编码

唐卡主尊的对称性与法相庄严性要求极高，因此多视角生成阶段的关键是解决跨视角的几何和纹理一致性不足问题。传统生成方法缺乏对相机姿态参数的显式建模与引入，导致生成过程空间约束不足，易产生几何扭曲或伪影问题。此外，视角参数本质上具有周期性，而传统编码方式无法有效表征这种周期性视角特征，致使模型难以理解和生成跨视角连续、一致的纹理与几何特征，造成特征断裂。

为解决上述问题，本文提出基于周期位置编码的视角感知条件编码，将6个均匀间隔方位角与固定20°、-10°仰角作为可学习显式控制条件，采用可导正弦余弦函数捕捉视角循环等价关系，映射为高维特征向量，为扩散模型提供精确稳定的空间约束。

为使视角参数在高维特征空间中实现多尺度、无冗余、平滑过渡的编码表达，本文引入指数衰减型维度缩放系数。该机制借鉴Transformer位置编码思想，通过逐层衰减的缩放因子，让角度信息在不同特征维度上均匀展开，在保证粗粒度视角变化可被稳健识别的同时也保留细粒度角度差异的可区分性，使视角编码与图像特征分布兼容。缩放系数的计算公式如下：

div\_ter{m}_k=\mathrm{e}\mathrm{x}\mathrm{p}\left(k\cdot \frac{-\mathrm{l}\mathrm{n}(\mathrm{10000.0})}{d_{model}}\right)（2）

式中，k为视角编码张量索引，用于有序区分方位角与仰角在高维特征中的维度位置；d_{model}为参考图像特征维度，保障视角编码与参考特征维度匹配；\mathrm{l}\mathrm{n}(\mathrm{10}\mathrm{000.0})为标准预设值，通过指数衰减使缩放系数呈梯度变化，避免高频分量过度震荡，增强高维空间中角度差异的可区分性。

方位角与仰角需先转为张量形式，并扩展至输入图像的批次大小，再分别通过正弦、余弦函数适配角度循环特性生成连续特征，最终形成三维视角编码张量，计算分为以下两个部分：

（1）对于方位角物理量参数azimuth，使用正弦函数编码，结果置于偶数索引位置，公式如下：

view\_enc[b,\mathrm{1,2}k]=\mathrm{s}\mathrm{i}\mathrm{n}\left(azimut{h}_b\cdot div\_ter{m}_k\right)（3）

（2）对于仰角物理量参数elevation，使用余弦函数编码，结果置于奇数索引位置，公式如下：

view\_enc[b,\mathrm{1,2}k+\mathrm{1}]=\mathrm{c}\mathrm{o}\mathrm{s}\left(elevatio{n}_b\cdot div\_ter{m}_k\right)（4）

式中，b为批次索引，对应单张输入图像，k为维度索引，确保覆盖所有维度，azimut{h}_b和elevatio{n}_b分别为第b个样本的方位角和仰角；最终生成的视角编码张量view\_enc与图像特征维度对齐，具备良好的可导性与可比性，为后续视角一致性生成提供了有效的空间引导。

1.2.2 多尺度权重适配UNet网络

UNet是图像生成领域的主流架构，其各层级的功能定位存在固有差异：浅层网络感受野较小，擅长捕捉局部纹理细节；深层网络感受野较大，专注于提取全局几何结构。传统方法中对所有层级施加均等权重的策略，在处理唐卡这类对细节纹理和整体结构均有极高要求的图像时，易导致生成的图像出现细节模糊或结构畸变的失衡问题。

为解决此问题，本文设计了一种多尺度权重适配UNet网络。该架构引入“细节-结构”双维度权重适配机制，以量化分配网络在不同深度上的关注重点，适配唐卡图像的特征提取需求。具体而言，该机制引导网络浅层凭局部感知优势精准捕获服饰纹样、法器装饰等高精度纹理细节，同时驱动深层网络通过大感受野聚合全局特征，构建主体对象的整体结构。本文网络结构如图2所示。

多尺度权重适配UNet的工作流程如下：首先，单张唐卡参考图像经图像编码器映射为潜在特征；随后，遵循扩散模型原理，向该潜在特征注入随时间步t演进的高斯噪声；最终，含噪潜在特征与时间步t，以及由1.2.1节所述的视角感知编码特征进行深度融合，形成含噪声规律与视角约束的联合输入，送入本文网络进行去噪处理。

本方法的关键在于对UNet的自注意力模块实施“细节-结构”导向的层级化权重适配，激励浅层聚焦局部纹理、深层统筹全局几何。具体原则如下：

（1）感受野匹配原则：UNet前两层感受野较小，匹配唐卡纹理高频分量尺度；随着网络层逐步加深，感受野扩大，更适合主尊几何结构建模。因此，取浅层阈值L_{shallow}=L_{deep}=\mathrm{2}，将网络划分为纹理分支与结构分支，实现特征解耦。

（2）增益稳定性原则：增益因子1.2是在梯度稳定区间内通过理论约束确定的最小有效增益，可在保证梯度平稳的前提下增强对应分支的特征响应强度，同时规避梯度爆炸与纹理伪增强(见2.5.2节超参数分析)。

基于上述原则，本文构建的层级加权机制分别如下：

（1）浅层模块加权：对于层级索引I{L}_{shallow}(L_{shallow}=\mathrm{2})的模块，通过一个大于1的权重增益因子（1.2）强化其自注意力输出，使其更专注于唐卡服饰、法器等部位的精细纹理，计算公式如下：

W_{I,detail}=\mathrm{1.2}\times \frac{\mathrm{1}}{\mathrm{1}+\mathrm{e}\mathrm{x}\mathrm{p}(I-L_{shallow})}（5）

W_{I,structure}=\mathrm{1}-W_{I,detail}（6）

式中，I为层级索引，L_{shallow}为浅层层级阈值（取值为2），系数“1.2”为细节权重增益因子。

（2）深层模块加权：对于层级索引I\ge L_{deep}(L_{deep}=\mathrm{2})的模块，使用增益因子1.2强化其自注意力输出，确保主体姿态的准确性，公式如下：

W_{I,structure}=\mathrm{1.2}\times \frac{\mathrm{1}}{\mathrm{1}+\mathrm{e}\mathrm{x}\mathrm{p}(L_{deep}-I)}（7）

W_{I,detail}=\mathrm{1}-W_{I,structure}（8）

（3）中间层与特征交互机制：中间层作为网络瓶颈，承担着全局特征聚合与信息重构的关键角色。为保障参考图像特征与目标视角编码在解码过程中能有效引导生成，本网络采用一种“写入-读取”机制。在下采样过程中，参考特征与视角编码被存储于一个特征字典中，在上采样过程中，相关层级从中读取这些信息，并与当前层的特征及目标视角编码进行融合。中间层的注意力权重默认为1.0，以确保特征的有效对齐。

该多尺度权重适配UNet网络通过上述层级化注意力强化机制，能够最大程度发挥不同层级的特征提取潜能，实现唐卡新视角生成中纹理细节与几何姿态的高保真还原，为后续三维重建提供高质量、强一致性的多视角输入。

1.3 三维网格重建模块

为将高保真、强一致的多视角图像序列映射为规范的三维网格模型，本文基于大型重建模型LRM框架，并针对其原生三平面特征表示缺乏显式一致性校验、易导致几何扭曲的问题，引入了三平面一致性校验与微调机制，以确保重建结果满足唐卡主尊几何对称与纹理连贯的严苛要求。整体流程如图3所示，其中包含以下4个核心步骤：

步骤1：三平面特征提取。多视角图像序列首先通过视觉Transformer编码器提取图像令牌，随后由三平面编码器将其映射为分辨率{\mathrm{96}}^{\mathrm{3}}的标准化三平面(XY,YZ,XZ)特征。此步骤为三维空间建立了基础的离散特征表示。

步骤2：跨平面一致性校验。为量化特征一致性，本步骤计算不同视角下三平面中对应位置特征的余弦相似度。给定两个视角V_i和V_{\mathrm{j}}(i\ne j)及其在三平面p\in \{XY,YZ,XZ\}上同一空间位置的特征向量{\vec{F}}_{V_i,p}和{\vec{F}}_{V_j,p}，其相似度按公式（9）计算。若相似度低于阈值（本文设定为0.85），则将该区域标记为矛盾区域，需进行微调，如公式（10）所示。

\mathrm{c}\mathrm{o}\mathrm{s}\theta =\frac{{\vec{F}}_{V_i,p}\cdot {\vec{F}}_{V_j,p}}{\Vert {\vec{F}}_{V_i,p}{\Vert }_{\mathrm{2}}\times \Vert {\vec{F}}_{V_j,p}{\Vert }_{\mathrm{2}}}（9）

式中，{\vec{F}}_{V_i,p}\cdot {\vec{F}}_{V_j,p}表示两特征向量的点积，用于衡量向量方向一致性；\Vert {\vec{F}}_{V_i,p}{\Vert }_{\mathrm{2}},\Vert {\vec{F}}_{V_j,p}{\Vert }_{\mathrm{2}}分别为两特征向量的L2范数，用于归一化向量长度对相似度的影响。

Consistency(V_{\mathrm{1}},V_{\mathrm{2}},p)=\left\{\begin{array}{ll}Consistent& ,\mathrm{c}\mathrm{o}\mathrm{s}\theta \ge \mathrm{0.85}\\ Inconsistent& ,\mathrm{c}\mathrm{o}\mathrm{s}\theta \mathrm{0.85}\end{array}\right.（10）

其中，Consistency(V_{\mathrm{1}},V_{\mathrm{2}},p)为视角V_{\mathrm{1}}与V_{\mathrm{2}}在平面p对应区域的一致性判定结果。

步骤3：矛盾区域特征微调。对于识别出的不一致的区域，以其为中心选取\mathrm{3}\times \mathrm{3}\times \mathrm{3}的局部邻域。筛选该邻域内一致性置信度高（即不属于连续不一致区域）的特征构成“可信特征集”K。通过加权平均法对矛盾特征向量进行更新，权重由各可信特征与参考特征的相似度归一化所得，如公式（11）所示。微调后需递归进行一致性校验，直至所有区域满足一致性要求。

w_k=\frac{\mathrm{c}\mathrm{o}\mathrm{s}{\theta }_k}{{\sum }_{m\in k}|\mathrm{c}\mathrm{o}\mathrm{s}{\theta }_m|},{\vec{F}}_{err}={\sum }_{m\in k}{w}_k\cdot {\vec{F}}_k（11）

式中，k为可信特征集索引集合，\mathrm{c}\mathrm{o}\mathrm{s}{\theta }_k为可信特征与参考视角特征的相似度，w_k为归一化权重，{\vec{F}}_k为可信特征集中第k个特征的特征向量，{\vec{F}}_{err}为微调后的特征向量。

步骤4：形变损失约束。为避免微调引入过度形变，本文定义形变损失函数如公式（12）所示，以约束微调后特征与邻域特征的平滑过渡，从而保证生成网格表面的连续性。

L_{Deform}=\frac{\mathrm{1}}{\mathrm{3}K}{\sum }_p\left[{\sum }_{k=\mathrm{1}}^K\left(\begin{array}{c}{\sum }_{i=\mathrm{1}}^{G-\mathrm{1}}{\sum }_{j=\mathrm{1}}^G\left|{\vec{F}}_{V_i,p}(k,i,j)-{\vec{F}}_{V_i,p}(k,i+\mathrm{1},j)\right|\\ +{\sum }_{i=\mathrm{1}}^G{\sum }_{j=\mathrm{1}}^{G-\mathrm{1}}\left|{\vec{F}}_{V_i,p}(k,i,j)-{\vec{F}}_{V_i,p}(k,i,j+\mathrm{1})\right|\end{array}\right)\right]（12）

式中，p\in \{XY,YZ,XZ\}（遍历三平面），k为微调区域总数，G为三平面特征张量分辨率，{\vec{F}}_{V_i,p}(k,i,j)表示视角V_i在平面p的第k个微调区域中坐标(i,j)处的特征向量。

最终，经过上述流程优化后的三平面特征被送入FlexiCubes解码器，生成三维网格模型。

1.4 损失函数

为全面监督三维重建过程，本模型的总体损失函数由RGB损失（L_{MSE}^{RGB}）、感知损失（L_{LPIPS}）和深度损失（L_{MSE}^{Depth}）三部分加权组成，公式如下：

L=L_{MSE}^{RGB}(x,x^{GT})+{\lambda }_{LPIPS}{L}_{LPIPS}(x,x^{GT})+{\lambda }_{depth}{L}_{MSE}^{Depth}(x_{depth},x_{depth}^{GT})（13）

式中，RGB损失（L_{MSE}^{RGB}）采用均方误差（MSE）约束像素级颜色保真度，计算公式如（14）所示：

L_{MSE}^{RGB}=\frac{\mathrm{1}}{N}{{\sum }_{i=\mathrm{1}}^N\left(x_i-x_i^{GT}\right)}^{\mathrm{2}}（14）

式中，N为图像总像素数，x_i为重建图中第i个像素值，x_i^{GT}为真实图像对应像素值。

感知损失（L_{LPIPS}）利用预训练VGG网络衡量图像间的感知相似度，以提升视觉纹理真实感，计算公式如下：

L_{LPIPS}=\frac{\mathrm{1}}{L}{{\sum }_{l=\mathrm{1}}^L‖{\mathrm{\varphi }}_l(x)-{\mathrm{\varphi }}_l(x^{GT})‖}_{\mathrm{2}}^{\mathrm{2}}（15）

式中，L为特征层数量，{\varphi }_l(·)表示第l层特征提取函数，{‖·‖}_{\mathrm{2}}^{\mathrm{2}}为特征向量的L2范数平方。

深度损失（L_{\mathrm{M}\mathrm{S}\mathrm{E}}^{\mathrm{D}\mathrm{e}\mathrm{p}\mathrm{t}\mathrm{h}}）同样采用MSE约束重建深度图与真实深度图的像素级偏差，以确保几何结构的准确性，计算公式如下：

L_{MSE}^{Depth}=\frac{\mathrm{1}}{N}{{\sum }_{j=\mathrm{1}}^N\left(d_j-d_j^{GT}\right)}^{\mathrm{2}}（16）

式中，N为图像总像素数，d_j表示重建深度图中第j个像素的深度值，d_j^{GT}表示真实深度图中第j个像素的深度值。

RGB损失作为重建基础，其权重固定为1。为平衡监督目标，避免感知损失对纹理细节的过度约束，设{\lambda }_{LPIPS}=\mathrm{0.1}；同时，为强调唐卡主尊的几何对称性与结构准确性，赋予深度损失更高的优先级，设{\lambda }_{\mathrm{d}\mathrm{e}\mathrm{p}\mathrm{t}\mathrm{h}}=\mathrm{0.5}。此权重配置确保了模型在颜色、纹理和几何三个维度的优化均衡。

2 实验设置

2.1 数据集

本研究采用Objaverse-lvis与Google Scanned Objects (GSO)数据集作为通用场景下训练与测试的基础数据。为保证数据质量，对原始数据进行了严格筛选与清洗，人工剔除了不包含有效纹理贴图、几何姿态不合理或包含多个难以分离的独立物体等三类低质量对象。具体而言，从Objaverse-lvis约4万个三维模型数据中，筛选得到约2.8万个高质量实例用于模型训练。

然而，此类通用三维数据集的样本分布与特征表征难以匹配唐卡所特有的复杂艺术纹理与严谨几何规范。为此，课题组构建了专用的3D-Thangka数据集。以二维唐卡图像为输入，经人工标注、主尊分割、深度增强、视角预测、初始三维生成及人工精修等六步流程，共制作200尊高质量主尊三维模型，涵盖大日如来、文殊菩萨、金刚萨埵、绿度母、白度母、四臂观音、宗喀巴、莲花生大师等典型形象。图4展示了3D-Thangka数据集中12类主尊形象的部分示例，从左至右依次呈现：带纹理的完整模型、无纹理的网格模型（白模）及对应纹理贴图的视觉效果。

为训练多视角生成模型，本研究基于Blender构建标准化渲染流程，对Objaverse-lvis与3D-Thangka数据集的三维模型进行了统一预处理操作。将输入的glb格式模型通过包围盒计算居中至世界原点，并缩放至直径1.0的尺度，确保不同模型的渲染尺度一致以完成场景初始化。相机系统采用固定参数配置：设定焦距为35 mm，图像分辨率为512×512。视角场以唐卡主尊正面为条件视角，绕世界坐标系Z轴逆时针旋转30°作为首张旋转视角，后续图像以60°等角递增进行渲染，共生成7个视角，实现水平方向360°全覆盖。渲染引擎选用Cycles物理级路径追踪模式，配置单区域光照明与RGBA透明背景输出，保证图像几何细节与纹理特征的一致性，为多视角生成模型提供标准化、可复现的训练数据。渲染结果示例如图5所示。

2.2 评价指标

三维重建的质量评价需兼顾外观呈现与拓扑结构合理性，这与仅关注视觉效果的二维图像评价有本质区别。为此，本文构建了一个多维度综合评价体系，选取了4个核心指标，分别从像素精度、结构一致性、感知相似性和几何精度4个层面系统量化模型性能。

（1）峰值信噪比PSNR：基于均方误差计算像素级差异，数值越高，表明图像的细节与纹理还原质量越好。

（2）结构相似性SSIM：从亮度、对比度、结构3个维度衡量重建模型渲染的图像与原始物体图像之间的吻合度，其值越接近1，表明整体结构与局部纹理排布的一致性越强。

（3）学习感知图像相似度LPIPS：通过预训练神经网络提取特征并计算差异，数值越低，感知层面的相似度越高，能有效弥补传统指标不足的问题。

（4）倒角距离CD：通过计算两片点云间双向最近邻距离的平均值来度量几何差异，数值越小，表明三维几何形状的匹配度越高。

2.3 实验环境

实验基于PyTorch 2.1.0框架，采用两阶段训练范式（新视角生成模型与重建模型），硬件环境配置为 Intel Xeon Gold 6330 CPU与NVIDIA A100（80GB显存）GPU。

第一阶段：新视角生成模型训练。将渲染多视角图像背景设为纯透明，以消除冗余背景干扰，帮助扩散模型聚焦有效特征的学习；训练批次为6，学习率为1e-5。

第二阶段：三维重建模型训练。输入数据为3D模型与渲染的图像，图像背景为纯透明；训练批次为6，使用AdamW优化器，初始学习率为4e-5，经余弦退火衰减至0。

2.4 实验结果与分析

2.4.1 对比实验

为全面评估VAWA-3D框架的性能，根据其两阶段流程，分别在二维新视角生成与三维网格重建两个层面，与当前主流方法进行了系统性对比。基线方法根据其技术范式分为两类：①新视角生成方法：以生成多视图图像为核心，包括Zero123++^[16]和CRM^[17]。②端到端重建方法：直接从单图像重建网格，包括 LRM^[23]和TripoSR^[24]。

（1）新视角生成质量对比

本实验旨在评估VAWA-3D框架中多视角生成模块（见1.2节）的性能。将其与专门的新视角生成方法（Zero123++，CRM）进行比较，定性分析生成的多视图序列在纹理细节和跨视角几何一致性方面的优劣。图6展示了VAWA-3D与基线方法的生成效果对比。

实验表明，Zero123++因缺乏显式的视角一致性约束，易出现纹理模糊和几何结构扭曲，如释迦牟尼的法器出现空间错位；CRM通过引入CCM补足几何信息，但同样未彻底解决多视角一致性问题，导致正面与背面颜色存在偏差。相比之下，VAWA-3D通过视角感知编码与多尺度权重适配机制，有效促进了跨视角的纹理与几何对齐，生成了细节更清晰、空间结构更合理的多视角图像序列。

（2）三维重建质量对比

本实验旨在评估完整VAWA-3D框架（即多视角生成+网格重建）的最终输出质量。为此，在GSO数据集上，将该框架与端到端重建方法（LRM，TripoSR）以及同样具备完整流程的CRM模型进行定量与定性的综合对比。所有方法的输入均为单张RGB图像，输出为带纹理的三维网格。评价指标（PSNR, SSIM, LPIPS, CD）均基于最终重建的网格渲染图像与真实三维模型的渲染图像进行计算。定量结果如表1所示，结合图7的可视化分析，可得出以下结论：TripoSR在PSNR(23.37)上表现最佳，显示出其良好的纹理保真度，但其几何补全能力较弱，对未见区域的重建完整性不足。CRM在感知相似度指标LPIPS(0.150)上表现优异，但PSNR较低，在纹理生成方面存在模糊现象。LRM的重建效率高，但因缺乏强几何先验，其重建结果容易出现结构扭曲和不一致问题，各项指标均有提升空间。

本文方法(VAWA-3D)的SSIM和LPIPS值分别为0.907和0.129，均取得最优结果，表明其在保持结构一致性和感知质量方面的优势。同时，通过三平面一致性校验机制有效修正几何偏差，其CD值（0.183）显著低于对比方法，实现了纹理细节与几何规整性的最佳平衡。值得注意的是，TripoSR的PSNR（23.37）略高于本方法（22.99），这归因于其采用了激进的纹理平滑策略，通过牺牲纹理锐利度来最小化逐像素误差。然而，本方法在更注重结构保真与感知质量的SSIM、LPIPS和CD指标上全面领先，更符合唐卡主尊重建的文化保真需求。

2.4.2 消融实验

（1） 关键组件贡献分析

为验证VAWA-3D中的3个核心组件的有效性，本文在3D-Thangka数据集上展开消融实验。以完整框架为基准，设置如下4种对比条件：①剔除视角感知编码（w/o VAM）、②剔除多尺度权重适配（w/o MSW）、③剔除三平面一致性校验（w/o PCC）、④全模块协同（VAWA-3D）。定量比较结果如表2所示，可视化对比如图8所示。具体分析如下：

①剔除视角感知编码（w/o VAM）：移除该模块后，模型缺失显式相机视角约束，跨视角几何与纹理一致性显著下降。重建模型颈部出现明显错位与扭曲（图8），各项指标全面下降，其中CD值由0.162退化至0.175（降幅8.0%）（表2），表明视角一致性对几何精度的影响最为直接。

②剔除多尺度权重适配（w/o MSW）：移除该机制后，UNet网络恢复均等权重模式，浅层纹理捕捉与深层几何建模的差异化增强失效。重建模型的纹理细节与几何结构均出现较大波动（图8），LPIPS值由0.109升至0.135（退化23.9%），感知质量下降最为显著，同时CD值由0.162升至0.168（表2），表明纹理-几何平衡机制对几何精度亦有影响。

③剔除三平面一致性校验（w/o PCC）：移除该模块后，三平面特征映射失去修正机制，复杂区域易出现几何失真、结构断裂问题，如图8中主尊饰品出现明显断裂。PSNR仅为19.05（表2），难以输出规整三维模型。

④全模块协同（VAWA-3D）：三者协同形成互补优化机制，VAM保障多视角几何一致性，MSW平衡纹理细节与几何还原度，PCC修正残留的几何映射偏差。在全模块融合下，模型取得最优指标（表2），重建结果在纹理细节、几何结构与整体庄严性上均达到最佳平衡。

（2）超参数敏感性分析

多尺度权重配比(细节增益α，结构增益β)是控制UNet浅层纹理提取与深层几何建模平衡的核心超参数。本节从感受野匹配、梯度平衡、特征解耦效果3个维度对权重配比的作用机理进行分析。实验设置3组权重：a(1.1:0.9)、b(1.2:0.8)、c(1.3:0.7)。定量结果如表3所示，定性对比如图9所示。具体分析结果如下：

①感受野匹配：UNet浅层的感受野较小，与唐卡纹饰、法器边缘等局部高频特征尺度匹配。权重比1.2:0.8使浅层细节增益达到1.2，有效放大匹配优势；1.1:0.9增益不足，无法充分利用浅层局部感知能力；1.3:0.7增益过大，导致浅层对噪声过度响应，产生纹理伪增强。

②梯度平衡：1.2:0.8配比下，浅层梯度范数与深层梯度范数之比为1.2:0.8，保持了下采样与上采样路径的梯度平衡；1.1:0.9时深层梯度主导，几何稳定但纹理细节被抑制；1.3:0.7时浅层梯度过强，纹理主导但几何易扭曲。1.2:0.8恰好处于最优边界。

③特征解耦：1.2:0.8配比下，各层注意力权重分布平稳，无梯度消失或异常放大，特征通道贡献度分散，实现了纹理与几何的有效解耦；1.1:0.9时权重趋于同质化；1.3:0.7时特征冲突加剧。

综上，1.2:0.8兼顾唐卡纹理密度与几何对称性，使UNet分层聚焦纹理与几何特征，解决了纹理与几何的失衡问题。这一结果与1.2.2节的理论分析一致，验证了该超参数设计的合理性。

2.5 局限性分析

尽管VAWA-3D在多数唐卡主尊重建任务中表现良好，但在一些极端场景中仍受限，失效案例如图10所示，分析如下：

（1）输入质量不足：当输入的唐卡图像分辨率过低或主尊占比过小时，模型难以提取足够特征，导致面部、法器细节模糊与几何畸变，如图10中的宗喀巴画像。

（2）信息缺失与歧义：对于主尊人物关键部位严重遮挡、姿态非常规或主尊与背景边界模糊的唐卡图像，模型无法从有限视觉线索中稳健推理3D结构，导致法器残缺、立体感缺失及姿态扭曲，如图10中的六臂大黑天与狮面空行母画像。

（3）计算资源需求较高

当处理六臂大黑天、狮面空行母等主尊与背景高度繁杂的图像时，模型在特征提取与扩散生成阶段对算力要求显著提高，普通消费级硬件上难以快速推理，不利于轻量化部署与实时交互场景应用。

3 结 论

针对唐卡等平面文化遗产单视图三维重建中存在的细节丢失、几何扭曲及视角不一致等问题，本文提出了VAWA-3D重建框架。该框架以两阶段范式为基础，核心创新包括：（1）视角感知编码，增强空间约束以提高多视角生成的一致性；（2）多尺度权重适配UNet网络，平衡唐卡繁复纹理与规整几何的特征提取；（3）三平面一致性校验，检测并修正几何映射偏差。定性与定量实验表明，VAWA-3D在唐卡主尊的重建保真度与几何准确性上均优于现有主流方法，验证了其针对文化遗产数字化特殊需求的优越性与有效性。

本研究的主要局限性在于模型参数规模较大，对计算资源的需求较高，加之面对极端遮挡或非典型风格样本时鲁棒性仍有一定的提升空间。未来工作将围绕两个方向展开：一是探索知识蒸馏等轻量化技术，以降低部署门槛；二是研究如何融入唐卡构图先验知识，以期在更少数据依赖下实现更高精度的纹理与几何重建，从而为文化遗产的数字化存档与活化利用提供更坚实的方法支持。

参考文献

[1] Yu Q, Li X, Tang Y, et al. Fancy123: One image to high-quality 3D mesh generation via plug-and-play deformation[C]. Proceedings of the Computer Vision and Pattern Recognition Conference. 2025: 595-604.

[2] Li P, Zheng W, Liu Y, et al. Pshuman: Photorealistic single-image 3D human reconstruction using cross-scale multiview diffusion and explicit remeshing[C]. Proceedings of the Computer Vision and Pattern Recognition Conference, 2025: 16008-16018.

[3] Wu K, Liu F, Cai Z, et al. Unique3D: High-quality and efficient 3D mesh generation from a single image[J]. Advances in Neural Information Processing Systems, 2024, 37: 125116-125141.

[4] Wang P, Shi Y. Imagedream: Image-prompt multi-view diffusion for 3D generation[PP/OL]. V1. arXiv (2023-12-02) [2026-06-22]. DOI:10.48550/arXiv.2312.02201 .

[5] Tang J, Chen Z, Chen X, et al. Lgm: Large multi-view gaussian model for high-resolution 3D content creation[C]. European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2024: 1-18.

[6] Wei X, Zhang K, Bi S, et al. Meshlrm: Large reconstruction model for high-quality meshes[PP/OL]. V2. arXiv (2025-01-23) [2026-06-22]. DOI:10.48550/arXiv.2404.12385 .

[7] Wang J, Chen M, Karaev N, et al. Vggt: Visual geometry grounded transformer[C]. Proceedings of the Computer Vision and Pattern Recognition Conference, 2025: 5294-5306.

[8] Boss M, Huang Z, Vasishta A, et al. Sf3D: Stable fast 3D mesh reconstruction with uv-unwrapping and illumination disentanglement[C]. Proceedings of the Computer Vision and Pattern Recognition Conference, 2025: 16240-16250.

[9] Hu Q, Wang J, Peng X, et al. Three-dimensional reconstruction image generation of traditional Chinese painting elements[J]. Engineering Applications of Artificial Intelligence, 2025, 158: 111417.

[10] Zhang S, Wang W, Lu B, et al. High-fidelity 3D buddhist sculpture reconstruction from single images using domain-adaptive diffusion[J]. npj Heritage Science, 2025, 13(1): 670.

[11] Du Y, Lercari N. Statue Diff: Regionally enhanced cross-scale diffusion for single-view 3D reconstruction of classical statues[J]. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2025, 48: 429-434.

[12] Liu Y, Shen T, Huo L, et al. Dense 3D reconstruction of ancient architectural heritage by integrating cross-view geometric prior and semantic enhancement[J]. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2025, 48: 873-880.

[13] Liu R, Wu R, Van Hoorick B, et al. Zero-1-to-3: Zero-shot one image to 3D object[C]. Proceedings of the IEEE/CVF International Conference on Computer Vision, 2023: 9298-9309.

[14] Rombach R, Blattmann A, Lorenz D, et al. High-resolution image synthesis with latent diffusion models[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern recognition, 2022: 10684-10695.

[15] Radford A, Kim J W, Hallacy C, et al. Learning transferable visual models from natural language supervision[C]. International Conference on Machine Learning. PmLR, 2021: 8748-8763.

[16] Shi R, Chen H, Zhang Z, et al. Zero123++: A single image to consistent multi-view diffusion base model[PP/OL]. V1. arXiv (2023-10-23) [2026-06-22]. DOI:10.48550/arXiv.2310.15110 .

[17] Wang Z, Wang Y, Chen Y, et al. Crm: Single image to 3D textured mesh with convolutional reconstruction model[C]. European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2024: 57-74.

[18] Deitke M, Schwenk D, Salvador J, et al. Objaverse: A universe of annotated 3D objects[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2023: 13142-13153.

[19] Wu T, Zhang J, Fu X, et al. Omniobject3d: Large-vocabulary 3D object dataset for realistic perception, reconstruction and generation[C]. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2023: 803-814..

[20] Downs L, Francis A, Koenig N, et al. Google scanned objects: A high-quality dataset of 3D scanned household items[C]. 2022 International Conference on Robotics and Automation (ICRA). IEEE, 2022: 2553-2560.

[21] Chang A X, Funkhouser T, Guibas L, et al. Shapenet: An information-rich 3d model repository[PP/OL]. V1. arXiv (2015-12-09) [2026-06-22]. DOI:10.48550/arXiv.1512.03012 .

[22] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[PP/OL]. V7. arXiv (2023-08-02) [2026-07-09]. DOI:10.48550/arXiv.1706.03762 .

[23] Hong Y, Zhang K, Gu J, et al. Lrm: Large reconstruction model for single image to 3D[C]. International Conference on Learning Representations, 2024: 50678-50702.

[24] Tochilkin D, Pankratz D, Liu Z, et al. Triposr: Fast 3D object reconstruction from a single image[PP/OL]. V1. arXiv (2024-03-04) [2026-06-22]. DOI:10.48550/arXiv.2403.02151 .

[25] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]. International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham: Springer International Publishing, 2015: 234-241.

基金资助

国家自然科学基金项目(62166035)

甘肃省自然科学基金项目(25JRRA991)

中央高校基本科研业务费项目(31920240091)

中央高校基本科研业务费项目(31920250006)