基于生成式投影插值的双域CBCT稀疏角度重建方法

A dual-domain cone beam computed tomography sparse-view reconstruction method based on generative projection interpolation

摘要

目的 为了解决稀疏角度CBCT重建的图像伪影问题，本文提出了一种基于生成式投影插值的双域CBCT重建框架（DualSFR-Net）。 方法 提出的DualSFR-Net方法主要包含3个模块：生成式投影插值模块、域转换模块和图像恢复模块。生成式投影插值模块包括一个基于生成对抗网络的稀疏投影插值网络（SPINet）和一个全角度投影恢复网络（FPRNet）。其中，SPINet针对稀疏角度投影数据进行投影插值合成全角度投影数据，FPRNet则是对合成全角度投影数据进一步修复。域转换模块引入重建和前投影算子实现双域网络的前向和梯度回传过程。图像恢复模块包含一个图像恢复网络FIRNet，对域转换后的图像进行微调以去除残留的伪影和噪声。 结果 在牙科CT数据集上进行的验证实验结果显示，本研究提出的DualSFR-Net在稀疏采样协议下能够重建出高质量的CBCT图像；定量上，所提出DualSFR-Net方法在稀疏2倍和4倍协议下在PSNR指标上相对于现有同类最优方法分别提高了0.6615和0.7658，在SSIM指标上分别提高了0.0053和0.0134。 结论 本研究提出的基于生成式投影插值的双域CBCT稀疏角度重建方法DualSFR-Net能够有效地去除条纹伪影，改善图像质量，成功实现了对CBCT稀疏角度双域成像网络的高效联合训练。

Abstract

Objective To propose a dual-domain CBCT reconstruction framework (DualSFR-Net) based on generative projection interpolation to reduce artifacts in sparse-view cone beam computed tomography (CBCT) reconstruction. Methods The proposed method DualSFR-Net consists of a generative projection interpolation module, a domain transformation module, and an image restoration module. The generative projection interpolation module includes a sparse projection interpolation network (SPINet) based on a generative adversarial network and a full-view projection restoration network (FPRNet). SPINet performs projection interpolation to synthesize full-view projection data from the sparse-view projection data, while FPRNet further restores the synthesized full-view projection data. The domain transformation module introduces the FDK reconstruction and forward projection operators to complete the forward and gradient backpropagation processes. The image restoration module includes an image restoration network FIRNet that fine-tunes the domain-transformed images to eliminate residual artifacts and noise. Results Validation experiments conducted on a dental CT dataset demonstrated that DualSFR-Net was capable to reconstruct high-quality CBCT images under sparse-view sampling protocols. Quantitatively, compared to the current best methods, the DualSFR-Net method improved the PSNR by 0.6615 and 0.7658 and increased the SSIM by 0.0053 and 0.0134 under 2-fold and 4-fold sparse protocols, respectively. Conclusion The proposed generative projection interpolation-based dual-domain CBCT sparse-view reconstruction method can effectively reduce stripe artifacts to improve image quality and enables efficient joint training for dual-domain imaging networks in sparse-view CBCT reconstruction.

Graphical abstract

关键词

CBCT / 稀疏角度成像 / 双域网络

Key words

cone beam computed tomography / sparse-view scan technology / dual-domain network

锥束计算机断层扫描系统（CBCT）在牙科^［1］、放疗^［2］、介入成像^［3］等临床领域获得广泛应用。然而，CBCT扫描对人体带来的X射线辐射损伤风险是不容忽视的重点问题，本着最低合理可行（ALARP）^［4］的原则，现代CBCT需要朝着更低辐射剂量的方向发展，以进一步降低患者的辐射损伤风险。现有主流的低剂量CBCT扫描方式有两种：低管电流、稀疏角度扫描。低管电流扫描是通过降低X光子照射量来减少辐射剂量。但是，此类方法受到硬件的限制，当X光子照射量想进一步降低时，可能会发生“光子饥饿”效应，即X光子量已经降低到无法穿透物体或者穿过的X光子量极低，导致探测器不能探测到有效、充足的X光信号，且易受到量子噪声与系统电子噪声影响，无法对测量信号进行精确的物理建模。稀疏角度扫描不仅可以减少患者接受射线照射的次数，而且可以加快数据采集的速度，因此在CBCT成像中被广泛利用。

在CBCT图像重建中，主流的重建算法是FDK重建算法^［5］，而FDK算法对测量数据的完备性有较高的要求，稀疏角度扫描难以支撑其重建出高质量的图像，主要原因是所获得的投影数据不满足奈奎斯特采样定律，此时利用欠采样的投影数据进行图像重建则变成了CT成像领域中不适定的逆问题，重建得到的图像存在条纹伪影，边缘不清晰，细节纹理信息丢失以及强噪声等问题，严重影响临床医生对病情的诊断。利用稀疏角度采样的投影数据，设计一种有效的CBCT稀疏角度重建方法具有非常重要的临床价值。

针对稀疏角度CT成像问题，研究人员提出的解决方案大致可以分为：⑴投影插值方法：利用深度网络合成缺少的投影数据，再利用FBP方法进行图像重建^{［6， 7］}，然而投影插值方法很难估计出接近真实分布的完整投影，容易在图像中引入二次伪影，且图像分辨率难以保证；⑵图像后处理方法：学习从稀疏角度CBCT图像到全角度CBCT图像的映射^［8-12］，然而图像域后处理方法没有利用投影域中丰富的先验信息，难以恢复解析重建过程中丢失的图像结构信息，且难以对真实伪影分布进行准确建模；⑶迭代展开方法利用深度学习技术将传统的迭代重建模型展开成可学习的网络，通过端对端训练，获得优秀的重建性能^［13-15］，然而迭代展开方法不可避免地需要多次引入前反投影操作，尽管结合CNN的迭代重建模型取代了正则项与平衡参数的更新过程，降低了人工选择参数与正则化项的实验成本，但是其迭代过程中依然存在非常高的复杂度与计算成本，尤其是三维的CBCT成像系统；⑷投影-图像双域学习方法结合了投影域和图像域的优点，同时避免了迭代重建方法的高昂计算成本^［16-21］。通过深度学习方法设计双域网络，在双域之间同步进行优化与处理，能充分发挥图像先验知识的作用，实现了数据保真性的双重约束，这种方法在恢复细微结构和减少伪影方面相较于单域处理能够展现出更出色的性能。既往研究者们在CBCT双域成像问题上做过一些探索并且取得了令人鼓舞的性能，然而这些工作中的域转换方式是不可微的^{［22， 23］}，投影域和图像域的数据分离处理，通过级联方式构成了“伪”双域网络，因而在深度学习框架中无法通过标准的反向传播算法直接优化双域子网络的参数。在主流的CT域转换策略中，学习型域转换需要利用全连接层来端到端地学习投影数据到图像数据的参数映射，尽管能够在平行束和扇形束等CT模态成像问题上实现精准域转换^{［20， 21］}，但是对于CBCT而言，其投影域和图像域都是3D规格，重建过程中的参数映射需要庞大的计算资源支持，因此并不适合CBCT双域网络。而传统型域转换通过引入前反投影算子来完成双域网络的前向和梯度回传过程，从而规避掉学习型域转换所需的庞大的参数计算图存储^［24-26］。构建一种可微分的域转换模块，更适合于设计CBCT双域网络，其参数学习集中在更新投影域和图像域子网络中。

鉴于此，我们提出了一种基于生成式投影插值的双域CBCT稀疏角度重建方法DualSFR-Net。DualSFR-Net包括3个模块，分别是投影插值模块，域转换模块和图像恢复模块。具体地，投影插值模块包括一个基于生成对抗网络的稀疏投影插值网络SPINet和一个全角度投影恢复网络FPRNet，稀疏投影插值网络SPINet针对稀疏角度投影数据进行投影插值，获得全角度下的完备投影数据，全角度投影恢复网络FPRNet针对完备角度投影数据进行整体恢复，以消除插值后相邻角度投影数据间的冗余差异，提高插值数据的真实性；在域转换模块中，利用传统型可微分域转换模块来实现双域联动；图像恢复模块包含一个图像恢复网络FIRNet，对域转换后的图像进行微调以去除残留的伪影和噪声。此外，考虑到稀疏成像形成的条纹伪影在空间分布中的不均匀性，我们设计了一种伪影感知的损失函数，使网络能够重点关注条纹伪影较重的区域，从而更加高效地进行稀疏角度成像。

1 材料和方法

1.1 总体框架

本研究所提出的双域CBCT稀疏角度重建框架DualSFR-Net的结构由投影插值模块、域转换模块和图像恢复模块组成（图1），其中投影插值模块基于稀疏采样的投影数据来插值出完整角度下的投影数据；域转换模块用可微分域转换方法实现双域联动，保证了全扫描区域图像的回传梯度的精度；图像恢复模块对域转换后的重建图像进一步微调以去除残留的伪影和噪声。我们将详细展开描述各个模块。

1.1.1 投影插值模块

投影域插值模块包含2个子网络，分别是稀疏投影插值网络（SPINet）和全角度投影恢复网络（FPRNet）。基于给定的稀疏采样投影数据P_s\in R^{M\times C\times V_s}，其中M是初始投影数据的排数，C是探测器通道数，V_s是稀疏采样的投影角度数，SPINet旨在对P_s进行精确的插值处理，以生成数量上等同于全角度采集的完备投影数据P_f\in R^{M\times C\times V_f}，其中V_f代表完备投影角度数。

SPINet框架（图2）由生成器G，判别器D，和感知损失计算器VGG Net组成。其中G由编码器（Encoder）和解码器（Decoder）构成，编码器负责提取图像中的特征并编码成更高层次的表征，而解码器则负责将这些编码的特征重新构建成恢复后的图像。编码器采用了4个卷积层，每一层的卷积核大小为3×3，步长为2，其中第一层卷积层的卷积核数量设置为64，随后的每层卷积核数量翻倍，直至达到512，以增加网络的表示能力，每个卷积层后跟随一个批量归一化层和ReLU激活函数，以增强网络的非线性能力和稳定性。解码器的结构与编码器相呼应，采用了逐渐上采样（转置卷积）的方式来重建图像，每一层的卷积核大小为3\times3，步长为1，输出层采用了1×1卷积核，来调整输出通道数，匹配目标输出维度。为了更好地保留细节信息以及促进梯度的流动，类似于UNet^［27］，我们在编码器-解码器之间采用了跳跃连接的策略，该策略已在多个成像任务中表现出有效的性能提升^{［28， 29］}。D包含6个卷积层，前2个卷积层有64个卷积核，随后的2个卷积层有128个，最后的2个卷积层有256个，与生成器类似，所有的卷积层中的卷积核大小为3\times3。在卷积层后，紧随的是两个全连接层，其中第一个全连接层输出大小为1024，第二个全连接层输出大小为1，以匹配目标输出维度。与Yang等^［30］提出的WGAN-VGG类似，本研究中的感知损失计算器VGG Net是基于预训练的VGG-19网络^［31］来实现，其分别提取生成器生成的投影图像以及标签投影图像的特征，来计算特征之间的差异，该差异将通过标准反向传播算法来更新生成器的参数，从而使生成器达到更好的性能。

总体来说，生成器的目标是利用稀疏采样下相邻等间隔角度的2D投影图像集\left\{P_s^i,P_s^{i+d}\right\}，来生成其投影图像集在对应物理几何中正中间角度的投影图像P_{s+}^{i+d/\mathrm{2}}，其中i为角度索引，d为稀疏采样的倍数，P_s^i\in R^{M\times C}。SPINet的损失函数为：

\begin{array}{l}{\mathrm{ℒ}}_{SPINet}=-\mathrm{E}\left[D\left(P_f\right)\right]+\mathrm{E}\left[D\left(G\left(P_s\right)\right)\right]+\alpha \mathrm{E}\left[{\left({‖\nabla D\left(G\left(P_s\right),P_{gt}\right)‖}_{\mathrm{2}}-\mathrm{1}\right)}^{\mathrm{2}}\right]\\ +\beta {\mathrm{E}}_{VGG}[\frac{\mathrm{1}}{T}{‖VGG\left(\mathrm{G}\left(P_s\right)\right)-VGG(P_f)‖}_{\mathrm{2}}]\end{array}（1）

其中，前两项分别为针对判别器和生成器的Wasserstein距离估计，第三项为正则化项，第四项为VGG Net计算的感知损失，\alpha和\beta是超参数用来平衡损失函数的权重，P_{gt}是标签投影数据，T是图像中的总像素数。在SPINet的训练过程中，生成器和判别器是交替优化的，即固定一个，更新另一个，从而完成整体训练。

在本研究中，为了更加灵活地进行网络设置，减少计算资源消耗，我们使用了预训练策略，在整体框架训练过程中冻结SPINet的网络参数，SPINet通过对稀疏采样的投影数据P_s进行遍历处理，得到生成的插值投影P_{s+}，再整合所有稀疏角度投影以及稀疏角度数据生成的中间2D投影，得到全角度下的完备投影数据P_f=\{P_s^{\mathrm{1}},P_{s+}^{\mathrm{2}},\dots ,P_s^{V_f}\}。

紧随SPINet后，全角度投影恢复网络FPRNet进一步处理SPINet插值得到的完备投影数据P_f。FPRNet的目标是通过网络模型优化这些插值投影数据各角度间的连续性和一致性，确保每个角度的投影数据都尽可能地反映实际的物理情况，从而提高整体插值全角度数据的真实性和可靠性。本研究设计了一个3D网络来处理完整角度的投影数据，其网络结构等同于本研究中的图像恢复网络。FPRNet处理SPINet插值后的投影数据，最终得到进一步恢复的全角度插值投影数据P_f^{\text{'}}。

1.1.2 可微分域转换模块

本研究设计了一种改进的可微分域转换模块来完成双域模型从投影域到图像域重建的前向过程，以及梯度回传过程。受锥角影响，这种依赖物理成像系统特性的传统型域转换的精度会遭遇下降，尤其是图像纵向两端的大锥角区域^［24］。本研究重点关注CBCT稀疏角度成像技术，为了避免锥角对域转换精度的影响，我们在双域网络的数据流中只考虑物理几何中锥形X射线能够全角度完全扫描的图像层。

将DualSFR-Net中的可微分域转换模块表示为DDT，DDT的目标是在前向过程中重建由投影插值模块插值及恢复出的全角度投影数据P_f^{\text{'}}以得到重建图像I，以及在反向过程中作为全连接层将梯度从图像域回传到投影域。该过程可表示为：

I=DD{T}_{forward}\left(P_f^{\text{'}}\right)（2）

Gra{d}_{in}=DD{T}_{backward}\bullet Gra{d}_{out}（3）

其中，DD{T}_{forward}和DD{T}_{backward}分别代表前向和反向过程，其操作由第三方重建和前投影算子分别完成，Gra{d}_{out}为来自图像域的梯度，Gra{d}_{in}为回传到投影域的梯度。通过设计可微分域转换模块，一个完全端到端可训练的CBCT 双域成像网络得以实现，且无需存储大量可学习参数，这对于CBCT稀疏角度成像问题而言是非常关键的。

1.1.3 图像域后处理模块

对于域转换后的CBCT图像I，仍然可能会存在由插值算法限制和解析重建算法等因素引起的伪影和噪声。因此，在域转换模块后，我们设计了一个图像恢复模块来进一步提高I的质量。具体来说，图像恢复模块包含一个图像恢复网络FIRNet（图3），FIRNet采用3D Unet^［27］作为骨干网络，并针对CBCT稀疏角度成像任务进行了轻量版的优化。FIRNet在编码器部分包含5个层级，每一层级包含2个有3×3×3大小卷积核的卷积层，其中第1层的卷积核数量为16，并依次递增到256，在每一层级的卷积层后，紧随的是批量归一化层，ReLU激活函数和窗口为2×2×2的最大池化层。解码器亦是5个层级，与编码器相对应，卷积核数量从256依次递减到16。在编码器和解码器层级之间引入了跳跃连接，从而使得编码器的特征图直接与解码器的对应层级能够直接进行串联，增强了网络的特征表示能力。网络的最后输出层采用了1×1×1的卷积，以将特征图的通道数调整为与原始输入图像相同，确保了输出图像的通道一致性。

1.1.4 损失函数

DualSFR-Net的总损失函数由投影插值模块和图像恢复模块计算的双域损失组成。其中，投影插值模块的投影损失是基于全角度投影恢复网络FPRNet输出的恢复投影和真值投影数据之间进行计算的，我们使用了最小平方误差L2范数，该投影损失可以表示为：

{\mathrm{ℒ}}_{proj}={‖P_f^{\text{'}}-P_{gt}‖}_{\mathrm{2}}^{\mathrm{2}}（4）

对于图像恢复模块，Bera等 ^［32］曾在低剂量CT成像任务上提出噪声感知损失，通过考虑CT图像中的空气区域和非均匀噪声特性，能够更加有效和高效地指导网络学习。在本研究中，考虑到稀疏角度重建导致的条纹伪影在空间分布上呈现非均匀性，且伪影强度与局部图像信号的变化密切相关，我们设计了一种伪影感知的均方误差损失函数{\mathrm{ℒ}}_{aa-MSE}。{\mathrm{ℒ}}_{aa-MSE}首先通过一个大小为5\times5，标准差为1.5的高斯窗W_{Gaussian}评估重建图像与真实图像的分布差异，对其进行卷积处理，以感知图像中的伪影分布G：

G=W_{Gaussian}\odot \left(\left|I-I_{gt}\right|\right)（5）

然后对该伪影分布G进行运算得到伪影感知因子{\tau }_{artifact}：

{\tau }_{artifact}=\sigma \left(\sqrt[]{\frac{\mathrm{1}}{M}{\sum }_{i=\mathrm{1}}^M{\left(G_i-\frac{\mathrm{1}}{M}{\sum }_{i=\mathrm{1}}^M{G}_i\right)}^{\mathrm{2}}}\right)（6）

其中，\sigma (\bullet )代表softmax操作，M为图像中总像素数，i为像素索引。将{\tau }_{artifact}同传统的均方误差函数进行结合，使得伪影感知较重的区域在总损失中占有更大的比重：

{\mathrm{ℒ}}_{aa-MSE}=\frac{\mathrm{1}}{M}{\sum }_{i=\mathrm{1}}^M{\tau }_{artifact}*{\left(I_{\mathrm{F}\mathrm{I}\mathrm{R}\mathrm{N}\mathrm{e}\mathrm{t}}\left(i\right)-I_{gt}\left(i\right)\right)}^{\mathrm{2}}（7）

其中，I_{\mathrm{F}\mathrm{I}\mathrm{R}\mathrm{N}\mathrm{e}\mathrm{t}}代表FIRNet输出图像，I_{gt}代表标签图像。通过这种设计，网络在训练过程中能够重点关注条纹伪影较重的区域，以针对性地抑制图像中的条纹伪影，从而获得更好的稀疏角度重建结果。

DualSFR-Net的总损失函数{\mathrm{ℒ}}_{total}表达如下：

{\mathrm{ℒ}}_{total}={‖P_f^{\text{'}}-P_{gt}‖}_{\mathrm{2}}^{\mathrm{2}}+\alpha \bullet \frac{\mathrm{1}}{M}{\sum }_{i=\mathrm{1}}^M{\tau }_{artifact}*{\left(I_{\mathrm{F}\mathrm{I}\mathrm{R}\mathrm{N}\mathrm{e}\mathrm{t}}\left(i\right)-I_{gt}\left(i\right)\right)}^{\mathrm{2}}（8）

其中，\alpha为超参数，来控制不同损失函数组成的权重。

1.2 实验设计

1.2.1 数据集

本研究的实验数据来自菲森公司的牙科CT（CBCT Matrix5000，FUSSEN）数据集，扫描管电压为85 kVp，管电流为9 mA，曝光时间为16 s。每个病人图像的尺寸为640×640×46，其中，46是层数，图像像素为0.2 mm×0.2 mm，层厚为0.2 mm。探测器阵列规格为38×640，其中，38为排数，640为通道数，每个探测器单元大小为0.4 mm×0.4 mm。DSO为364 mm，DSD为702 mm。在该锥束几何中，不受锥角伪影影响的区域层数为32层。将原始图像视作标签图像，以执行锥束仿真，其中全扫描曝光角度数为360，那么稀疏两倍扫描曝光角度数为180，稀疏四倍曝光扫描角度数为90。随机选择40套病人数据作为训练集，10套病人数据作为测试集。

1.2.2 实施配套

本实验是在配备有2.10 GHz Inter Xeon E5-2683 CPU和1块48 GB显存的NVIDIA GPU RTX A6000显卡上进行的。Python版本为3.8.15，CUDA版本为12.0，基于1.13.0版本的Pytorch框架。其他依赖包均在以上环境下进行安装配置。

本实验使用Adam优化器^［33］来执行优化过程，其中动量设置为0.9。总训练轮数为1000，batch size设置为1，即一例病人的投影-图像配对数据。初始学习率设置为5×10^-4，每100个epoch下降为原来的一半，当下降到1×10^-6时不再变化。

1.2.3 对比方法与评估指标

针对本研究中的投影插值性能和稀疏角度成像性能选取了几种现有经典或基于CNN的最优方法进行对比。

针对投影图像生成任务，本研究的投影插值网络SPINet是基于生成对抗网络模型设计的，为了比较其生成投影的性能，我们选取的对比方法分别是DSI方法^［7］和PDCNN方法^［22］。其中DSI方法通过在弦图空间和定向插值中执行双方向优化迭代来生成更多缺失角度的投影。PDCNN为DualCNN方法^［22］中的一部分，专门用来做CBCT的投影插值，其具体网络结构参见原文。

针对稀疏角度成像任务，我们选取的对比方法分别是SART统计迭代重建方法，基于TV（Total Variation）总变分约束方法，FBPConvNet图像后处理方法^［34］和双域网络DualCNN方法^［22］。SART迭代重建方法通过代数方式求解线性方程组来重建图像，旨在从一系列经过不同角度采集的二维X射线投影中恢复出三维物体的内部结构，考虑到计算资源与重建效果的平衡，对于稀疏2倍的数据我们迭代运算5次，稀疏4倍的数据迭代运算10次。基于TV总变分约束方法的核心思想是最小化图像的总变分，即图像梯度的L1范数，它常被用作正则化项，添加到重建的目标函数中，以平衡数据保真度和图像的平滑度，这里与SART方法相结合，其迭代运算的次数保持跟SART相同。FBPConvNet图像后处理方法是用于CT图像后处理的经典方法，在本研究中，利用稀疏投影经过解析重建算法重建后的图像与标签图像对其进行配对训练。双域网络方法DualCNN为一个双域级联网络，分别对插值后的投影（PDCNN）进行FDK重建，再在重建图像的基础上做图像恢复。上述基于深度学习的对比方法都是参照原文中的参数设置进行训练和测试的。

为了定量评估所提出方法的性能，本研究选取了3个指标：峰值信噪比（PSNR）、结构相似度指数（SSIM）和均方根误差（RMSE）。PSNR用来对被测量图像进行噪声评估，SSIM用来评估被测试图像与真值图像之间的纹理相似度，RMSE用来评估被测试图像与真值图像之间的误差。上述3个指标的计算公式为：

PSNR=\mathrm{10}\bullet log\left(\frac{I_{g{t}_{max}}^{\mathrm{2}}}{{‖I_{dual}-I_{gt}‖}_{\mathrm{2}}^{\mathrm{2}}}\right)（9）

SSIM=\frac{\left(\mathrm{2}{\mu }_{I_{dual}}{\mu }_{I_{gt}}+{\epsilon }_{\mathrm{1}}\right)\left(\mathrm{2}{\sigma }_{I_{dual}}{\sigma }_{I_{gt}}+{\epsilon }_{\mathrm{2}}\right)}{\left({\mu }_{I_{dual}}^{\mathrm{2}}+{\mu }_{I_{gt}}^{\mathrm{2}}+{\epsilon }_{\mathrm{1}}\right)\left({\sigma }_{I_{dual}}^{\mathrm{2}}+{\sigma }_{I_{gt}}^{\mathrm{2}}+{\epsilon }_{\mathrm{2}}\right)}（10）

RMSE=\sqrt[]{\frac{\mathrm{1}}{R}{\left(I_{dual}-I_{gt}\right)}^{\mathrm{2}}}（11）

其中，I_{g{t}_{max}}表示I_{gt}中的最大值，R为图像中的总像素数。

2 结果

2.1 投影生成结果

本研究基于牙科CT稀疏投影数据分别使用DSI，PDCNN和提出的SPINet方法，在稀疏2倍和稀疏4倍的情况下进行了验证实验，各个投影插值方法的目标是从稀疏角度投影预测插值到360个角度投影。

本研究使用PSNR，SSIM和RMSE定量评估（表1）。在3个量化指标上，无论是稀疏2倍还是稀疏4倍，所提出的SPINet方法总是高于其他三种对比方法，这表明了SPINet在投影插值性能上的优越性。良好的插值预测结果为DualSFR-Net中接下来的后续模块提供了重要先验信息。

2.2 稀疏角度重建结果

我们首先展示所提出的DualSFR-Net以及选取的几种对比方法在稀疏2倍情况下的成像结果（图4）。左上角的蓝色虚线框给出了放大的ROI图像。由于稀疏采样获得的投影数据不满足奈奎斯特采样定律，FDK重建算法得到的图像中含有严重的条纹伪影，图像质量遭到严重破坏。SART方法经过多次迭代运算后，能够减轻部分条纹伪影，但是图像中仍然还有残留伪影，且多次运算消耗的计算成本限制了其进一步临床应用。基于TV总变分约束的方法虽然能比SART方法去除更多的条纹伪影，但是导致了图像过平滑，且在细节结构信息保持方面不如SART方法。DSI方法可用的先验知识有限，其投影方向插值结果与真实数据相比存在较大误差，尽管能够去除部分伪影，但是图像存在过模糊的现象。FBPConvNet图像后处理方法和双域网络DualCNN方法相比较前几种传统方法在伪影去除方面表现得好，但是在图像细节保留方面做的仍然不够出色，如图4的ROI图像中红色箭头所指处，丢失了真实图像中原本存在的结构。与上述方法相比，我们提出的DualSFR-Net方法不仅能有效去除稀疏角度重建所导致的条纹伪影，还能最大程度地保留原始图像中的解剖结构信息，特别是在纹理丰富的区域，且牙齿结构与周围软组织的对比度有一定程度上的提升。

此外，图5列出了各个方法的重建结果与真值图像之间的差异图像，其中传统方法SART，TV和DSI产生了与真值图像之间较大的差异，这体现在残留的条纹伪影和图像边缘部分，FBPConvNet和DualCNN方法在伪影抑制方面有明显改善，但是与真值图像之间仍然存在结构性的差异。对比之下，我们提出的DualSFR-Net方法与真值图像之间的差异最小，且没有产生新的伪影，取得了高质量的成像效果。

图6为稀疏4倍情况下的重建结果，展示所选取的图像层数和稀疏2倍的结果保持一致。由于可用的投影角度数严重不足，FDK算法重建结果含有比稀疏2倍更严重的条纹伪影。SART和TV方法能去除部分条纹伪影，但是残留伪影较多，且出现不同程度的过平滑。DSI方法在稀疏4倍的情况下可用先验信息相对2倍更少，因此在插值时产生的误差会变得更大，重建图像中引入了较多的二次伪影。FBPConvNet和DualCNN方法能够去除大部分条纹伪影，但是仍然有残留，且丢失了部分结构细节信息。相比之下，我们提出的DualSFR-Net方法展现出与稀疏2倍相似的成像结果，在伪影去除，细节保留和对比度提升方面相对其他方法展现出一定的优越性。图7为稀疏4倍情况下各个方法的重建结果与真值图像之间的差异图像，其中我们提出的DualSFR-Net方法与真值图像之间的差异仍然保持最小。

此外，表2列出了稀疏2倍和稀疏4倍情况下各个方法的定量比较结果，其中我们提出的DualSFR-Net方法在PSNR、SSIM和RMSE指标上实现了最佳性能，这进一步印证了所提出的方法在CBCT稀疏角度成像方面展现的高效性能。

2.3 消融实验结果

2.3.1 模型组件消融学习

本研究分别展示了单纯投影插值模块，和单纯图像恢复模块的实验结果。单纯投影插值模块意味着只有SPINet在投影域进行插值，并利用解析重建算法直接重建得到图像结果，其中损失函数只有投影域的约束。单纯图像恢复模块意味着直接利用FIRNet来恢复稀疏角度投影下用解析重建算法重建出来的图像，其中损失函数使用了本文中所提出的用于图像域约束的伪影感知均方误差损失。图8左上角给出了ROI区域的放大图像，尽管通过投影插值能获得在数量上等同于完整投影数据的维度，但容易产生插值误差，因此在重建图像中会包含错误信息，且由于设置的完整角度同样有限，重建图像中仍然有残留条纹伪影。直接利用图像恢复模块能去除大部分伪影，但是丢失了图像中部分结构信息，组织边缘不够清晰，如图中红色箭头所指处。DualSFR-Net结合了双域处理的优点，在伪影去除和细节结构保持方面均表现出色，这得益于投影插值和图像恢复的双重贡献。

表3展示了对单域模块的定量验证结果，其中双域模块在PSNR，SSIM和RMSE上均表现最优，这充分说明了两个双域模块对模型最终性能的贡献。

2.3.2 损失函数

本研究使用了投影域的投影插值损失{\mathrm{ℒ}}_{proj}和图像域的伪影感知的均方误差损失函数{\mathrm{ℒ}}_{aa-MSE}的双重联合损失，其中伪影感知的均方误差损失函数{\mathrm{ℒ}}_{aa-MSE}相对于传统像素级的均方误差损失能够更好地促进网络对目标任务的关注度，提升模型去伪影的能力。其中，{\mathrm{ℒ}}_{aa-MSE}在总损失函数中的权重\mathrm{\alpha }较为关键，我们分别设置其为0.1，1，10和50进行了验证，测试集的PSNR结果随权重\mathrm{\alpha }的变化如图9中的曲线所示，可以看到当\mathrm{\alpha }=\mathrm{10}时，得到了最高的测试PSNR结果，因此我们在本文中将\mathrm{\alpha }设置为10。

为了验证{\mathrm{ℒ}}_{aa-MSE}相对传统像素级的均方误差损失在伪影去除和图像细节结构信息保持方面的优势，我们将其替换为均方误差损失{\mathrm{ℒ}}_{MSE}，并同样给予权重为10，与投影域的损失构成双重约束。其测试结果如图10所示，左上角给出了放大的ROI区域，如图中红色箭头所指处，尽管利用像素级的均方误差损失{\mathrm{ℒ}}_{MSE}在伪影去除方面表现得不错，但是丢失了牙齿区域中一些细节结构信息。对比之下，利用本文提出的{\mathrm{ℒ}}_{aa-MSE}损失的不仅能够消除图像中的伪影，还确保了在去伪影的同时能有效保持图像细微结构信息，这在那些对恢复质量要求较高的应用场景中能显示出其独特的优势。定量的比较结果在表3中的第四行列出，其中，使用{\mathrm{ℒ}}_{aa-MSE}的结果在3个定量指标上均要优于{\mathrm{ℒ}}_{MSE}，这进一步证明了所设计的伪影感知的均方误差损失对DualSFR-Net的稀疏角度成像性能方面的卓越贡献。

3 讨论

本研究提出了一种基于生成式投影插值的双域CBCT稀疏角度重建方法DualSFR-Net用于去除条纹伪影。该方法从伪影产生的源头出发，通过投影插值模块来估计出缺失的投影角度数据，投影插值模块后的图像恢复模块进一步对重建图像进行微调，能够有效修复投影域插值时引入的误差，优化重建图像中的细节结构信息。相比较单纯的投影域插值方法或者图像域后处理方法，双域网络方法能够充分关联投影域和图像域的特征信息，在恢复图像细微结构和减少伪影方面相较于单域处理表现得更为出色。既往研究者们在CBCT双域成像网络上做过一些探索，但其双域数据是分离处理的，通过级联方式构成双域网络框架，而在本研究中，我们利用一种可微分的域转换方式，能够在深度学习框架中直接通过标准的反向传播算法在线优化双域子网络的参数，这种端到端的训练方式能够显著提高训练效率和模型性能，对CBCT稀疏角度成像问题是非常关键的。

由于图像生成任务对模型性能要求非常高，本文提出了一种有效的投影数据上采样方法，以克服直接恢复完整3D投影数据效果不佳的挑战。我们首先通过预训练一个逐角度的投影插值网络，然后构建一个全角度的投影恢复网络实现，其有效性在探索实验中已经得到证实。其中，投影插值网络采用生成对抗网络架构，这一选择是基于GAN在图像生成领域卓越性能的考虑。通过这种在投影插值模块中的2D预训练网络与3D整体数据恢复网络层次化结合的方式，不仅显著减少了训练所需计算资源量，还为整体网络提供了优良的初始化，有助于3D整体数据恢复网络更快的收敛，并专注于整体结构和细节的恢复。但是这种设计仍然给整体网络框架的训练增加了些许复杂度，我们希望未来能够开发出一种支持在线训练的高效且轻量的投影插值模块，以进一步优化整体网络框架^{［35，36］}。

此外，所提出的DualSFR-Net方法仍然存在一些局限性：（1）DualSFR-Net仍然是一个有监督学习框架，其成像效果非常依赖于标签数据的质量。在本研究中的实验结果展示部分，可以观察到，标签图像中仍然存在一些其他伪影，包括稀疏角度成像导致的条纹伪影，这是因为所使用的牙科CT数据集是在非密集采样中获得的，其实际曝光次数为450次，这不足以完全重建出无条纹伪影的图像，且在商业重建引擎中还可能存在其他因素导致图像中产生伪影。因此，本研究中的标签图像质量在一定程度上限制了模型性能。（2）本研究中的域转换是基于一种理想几何设计的，并没有考虑到实际情况中可能出现的数据截断，探测器偏置和旋转中心偏移等问题。在未来研究中，我们会考虑这些实际中可能出现的情况，精心设计出更为鲁棒和实用的域转换模块，在前反投影过程中将这些非理性条件的负面作用做到最小化，同时致力于获取真实的CBCT重建引擎，并结合本文中可微分域转换的思想，在更多真实数据上进行实验。

综上所述，本研究为了消除CBCT稀疏角度成像技术导致图像中出现的条纹伪影，提出了一种基于生成式投影插值的双域CBCT稀疏角度重建方法DualSFR-Net。DualSFR-Net包括3个模块，分别是投影插值模块，域转换模块和图像恢复模块。具体来说，投影插值模块包括一个基于生成对抗网络的稀疏投影插值网络SPINet和一个全角度投影恢复网络FPRNet，SPINet针对稀疏角度投影数据进行投影插值，获得全角度下的完备投影数据，FPRNet针对所获得的完备角度投影数据进行整体恢复，以消除插值后相邻角度投影数据间的冗余差异，提高插值数据的真实性；域转换模块提出传统型可微分域转换模块来实现双域联动，并针对全角度扫描的区域进行处理，使得双域子网络的参数能够在标准的反向传播算法中同步更新；图像恢复模块包含一个图像恢复网络FIRNet，对域转换后的图像进行微调以去除残留的伪影和噪声。此外，鉴于稀疏成像导致的条纹伪影在空间分布上的不均匀性，我们设计了一种伪影感知损失函数。该损失函数旨在使网络能够重点关注伪影较为严重的区域，从而更有效地进行稀疏角度成像。在牙科CT数据集上的实验结果证明了所提出的DualSFR-Net方法能够在稀疏采样协议下重建出高质量的CBCT图像，实验结果表明所提出的方法在定性还是定量指标均优于其他竞争方法，具有良好临床应用潜力。

参考文献

[1] Pauwels R, Araki K, Siewerdsen JH, et al. Technical aspects of dental CBCT: state of the art[J]. Dentomaxillofac Radiol, 2015, 44(1): 20140224.

[2] Jaffray DA, Siewerdsen JH, Wong JW, et al. Flat-panel cone-beam computed tomography for image-guided radiation therapy[J]. Int J Radiat Oncol Biol Phys, 2002, 53(5): 1337-49.

[3] Wang G, Zhao SY, Heuscher D. A knowledge-based cone-beam X-ray CT algorithm for dynamic volumetric cardiac imaging[J]. Med Phys, 2002, 29(8): 1807-22.

[4] Hall EJ, Brenner DJ. Cancer risks from diagnostic radiology[J]. Br J Radiol, 2008, 81(965): 362-78.

[5] Feldkamp LA, Davis LC, Kress JW. Practical cone-beam algorithm[J]. J Opt Soc Am A, 1984, 1(6): 612.

[6] Li S, Cao Q, Chen Y, et al. Dictionary learning based sinogram inpainting for CT sparse reconstruction[J]. Optik, 2014, 125(12): 2862-7.

[7] Zhang H, Sonke JJ. Directional sinogram interpolation for sparse angular acquisition in cone-beam computed tomography[J]. J Xray Sci Technol, 2013, 21(4): 481-96.

[8] Han Y, Ye JC. Framing U-net via deep convolutional framelets: application to sparse-view CT[J]. IEEE Trans Med Imaging, 2018, 37(6): 1418-29.

[9] Jiang ZR, Chen YX, Zhang YW, et al. Augmentation of CBCT reconstructed from under-sampled projections using deep learning[J]. IEEE Trans Med Imaging, 2019, 38(11): 2705-15.

[10] Isola P, Zhu JY, Zhou TH, et al. Image-to-image translation with conditional adversarial networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu, HI, USA. IEEE, 2017: 5967-76.

[11] Zhang ZC, Liang XK, Dong X, et al. A sparse-view CT reconstruction method based on combination of DenseNet and deconvolution[J]. IEEE Trans Med Imaging, 2018, 37(6): 1407-17.

[12] Xie SP, Yang T. Artifact removal in sparse-angle CT based on feature fusion residual network[J]. IEEE Trans Radiat Plasma Med Sci, 2021, 5(2): 261-71.

[13] Ma JH, Zhang H, Gao Y, et al. Iterative image reconstruction for cerebral perfusion CT using a pre-contrast scan induced edge-preserving prior[J]. Phys Med Biol, 2012, 57(22): 7519-42.

[14] Liu Y, Ma JH, Fan Y, et al. Adaptive-weighted total variation minimization for sparse data toward low-dose X-ray computed tomography image reconstruction[J]. Phys Med Biol, 2012, 57(23): 7923-56.

[15] He J, Yang Y, Wang YB, et al. Optimizing a parameterized plug-and-play ADMM for iterative low-dose CT reconstruction[J]. IEEE Trans Med Imaging, 2019, 38(2): 371-82.

[16] Lee D, Choi S, Kim HJ. High quality imaging from sparsely sampled computed tomography data with deep learning and wavelet transform in various domains[J]. Med Phys, 2019, 46(1): 104-15.

[17] Zhou B, Chen XC, Zhou SK, et al. DuDoDR-Net: dual-domain data consistent recurrent network for simultaneous sparse view and metal artifact reduction in computed tomography[J]. Med Image Anal, 2022, 75: 102289.

[18] Shi CR, Xiao YS, Chen ZQ. Dual-domain sparse-view CT reconstruction with Transformers[J]. Phys Med, 2022, 101: 1-7.

[19] Li RR, Li Q, Wang HX, et al. DDPTransformer: dual-domain with parallel transformer network for sparse view CT image reconstruction[J]. IEEE Trans Comput Imag, 2022, 8: 1101-16.

[20] He J, Wang YB, Ma JH. Radon inversion via deep learning[J]. IEEE Trans Med Imaging, 2020, 39(6): 2076-87.

[21] He J, Chen SL, Zhang H, et al. Downsampled imaging geometric modeling for accurate CT reconstruction via deep learning[J]. IEEE Trans Med Imaging, 2021, 40(11): 2976-85.

[22] Chao LY, Wang ZW, Zhang HB, et al. Sparse-view cone beam CT reconstruction using dual CNNs in projection domain and image domain[J]. Neurocomputing, 2022, 493: 536-47.

[23] Zhao XZ, Liu X, Wang XY, et al. Dual-domain neural networks for clinical and low-dose CBCT reconstruction[C]//2024 IEEE International Conference on Acoustics, Speech, and Signal Processing Workshops (ICASSPW). Seoul, Korea, Republic of. IEEE, 2024: 17-8.

[24] 彭声旺, 王永波, 边兆英, 等. 基于改进可微分域转换的双域锥束计算机断层扫描重建网络用于锥角伪影校正[J]. 南方医科大学学报, 2024, 44(6): 1188.

[25] Wu JY, Li Y, Wang Z, et al. Dual-domain fusion network for metal artifact reduction in CT[C]//Medical Imaging 2024: Physics of Medical Imaging. February 18-23, 2024. San Diego, USA. SPIE, 2024: 378-384.

[26] Wurfl T, Hoffmann M, Christlein V, et al. Deep learning computed tomography: learning projection-domain weights from image domain in limited angle problems[J]. IEEE Trans Med Imaging, 2018, 37(6): 1454-63.

[27] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C]//Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III.

[28] Chen H, Zhang Y, Kalra MK, et al. Low-dose CT with a residual encoder-decoder convolutional neural network[J]. IEEE Trans Med Imaging, 2017, 36(12): 2524-35.

[29] Yamanaka J, Kuwashima S, Kurita T. Fast and accurate image super resolution by deep CNN with skip connection and network in network[C]//International Conference on Neural Information Processing. Cham: Springer, 2017: 217-25.

[30] Yang QS, Yan PK, Zhang YB, et al. Low-dose CT image denoising using a generative adversarial network with Wasserstein distance and perceptual loss[J]. IEEE Trans Med Imaging, 2018, 37(6): 1348-57.

[31] Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[EB/OL]. 2014: arXiv: 1409.1556.

[32] Bera S, Biswas PK. Noise conscious training of non local neural network powered by self attentive spectral normalized Markovian patch GAN for low dose CT denoising[J]. IEEE Trans Med Imaging, 2021, 40(12): 3663-73.

[33] Kingma DP, Ba J. Adam: a method for stochastic optimization[EB/OL]. 2014: arXiv: 1412.6980.

[34] JinKyong Hwan, McCann MT, Froustey E, et al. Deep convolutional neural network for inverse problems in imaging[J]. IEEE Trans Image Process, 2017, 26(9): 4509-22.

[35] Wang S, Gao J, Li Z, et al. A closer look at self-supervised lightweight vision transformers[C]//International Conference on Machine Learning. PMLR, 2023: 35624-41.

[36] Wang A, Chen H, Lin ZJ, et al. Rep ViT: revisiting mobile CNN from ViT perspective[C]//2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA, USA. IEEE, 2024: 15909-20.

基金资助

RIGHTS & PERMISSIONS

版权所有©《南方医科大学学报》编辑部2021