局部特征增强的磁共振图像Transformer重构

MRI reconstruction based on Transformer with local feature enhancement

摘要

研究了一种基于多头自注意力与卷积特征融合的磁共振图像Transformer重构方法.采用U型网络结构，通过学习图像的多尺度特征以提升重构性能.采用深度分离卷积与多头自注意力融合的Swin Transformer结构，改善网络的特征学习能力.在CC359-Brain数据集下基于多种采样模式进行仿真实验，结果证明了该方法在提升磁共振图像重构质量与降低系统复杂度方面的有效性.

Abstract

A Transformer reconstruction method of Magnetic Resonance Image （MRI） based on multi-head self-attention and convolution feature fusion is studied. The U-shaped network structure is adopted to improve the reconstruction performance by learning the multi-scale features of the image. The Swin Transformer structure of deep separation convolution and multi-head self-attention fusion is adopted to improve the feature learning ability of the network. Simulation experiments based on multiple sampling modes are carried out under CC359 Brain dataset， and the results show that the proposed method is effective in improving the quality of MRI reconstruction and reducing the system complexity.

Graphical abstract

关键词

磁共振成像 / 卷积神经网络 / 变换器 / 深度学习

Key words

Magnetic Resonance Image （MRI） / Convolution Neural Network / Transformer / deep learning

磁共振成像（Magnetic Resonance Imaging，MRI）作为一种非侵入式的诊断工具，具有安全无辐射、软组织对比度高以及成像清晰度高等特点，可应用于诊断中枢神经系统、头颈部、呼吸系统、乳腺等部位的疾病.然而超长的扫描时间不仅阻碍诊断效率，也增加患者的不舒适感.为了减少扫描时间，提出了并行成像（Parallel Imaging，PI）和压缩感知^［1］（Compressed Sensing，CS）.应用于临床的并行成像技术，通过联合多个线圈进行并行采样，之后利用特定的重构算法（SENSE^［2］、GRAPPA^［3］、SPIRiT^［4］等）对采样图像进行重构.广泛应用于图像处理^［5］的压缩感知^［1］技术，利用MR图像的稀疏性，以低于奈奎斯特采样率的方式，对K空间数据进行欠采样，利用Fourier Transform（FT）、Total Variation （TV）、小波变换等算法进行重建^［6-8］.但是当进一步加速采样时，两者方法的性能都会退化，不仅图像的重构时间增加，而且还会产生大量的图像伪影.

近年来，深度学习的方法在图像处理领域取得巨大的成功，尤其是卷积神经网络（Convolution Neural Network，CNN）.在MR重构中，深度学习网络大概可以分成两类，一类是模型驱动型网络^［9-11］，通过与传统CS算法进行结合，使得原本需要手工设计的正则化项，直接由网络从数据中学习，降低了网络训练的复杂度，但是图像的重构时间太长.另一类是数据驱动型网络^［12-14］，这些网络以端到端的方式学习配对数据之间的映射关系，无需多次迭代，直接生成重构图像，并且在性能和运行速度上明显优于基于模型和传统的重构算法.在CNN中，DAGAN^［12］联合U-Net^［15］和对抗损失进行高质量MR图像重构.但是由于卷积结构具有天然狭窄的感受野结构，尽管CNN对局部特征的学习存在优势，但是无法直接捕获全局特征.除了CNN之外，基于Transformer的网络也开始应用于MR图像重构，例如SwinMR^［14］.Transformer通过多头自注意力结构对远距离依赖信息进行建模，可以感受全局信息，抓取全局相关性，在图像处理任务上优于CNN. Transformer架构虽然擅长捕获全局特征，但是缺乏对局部信息的感知.

由以上背景，本文提出了一种局部特征增强的磁共振图像Transformer重构方法.首先，为了增强Transformer对局部特征的学习能力，本文通过融合多头自注意力和卷积结构提出了Swin-Conv 模块（Swin-Conv Block，SCB），SCB通过深度可分离卷积（Deep-Wise Convolution，DW）增强Swin Transformer^［16］中W-MSA/SW-MSA结构的局部信息.其次，基于SCB，本文构造了Swin-Conv Transformer Layer（SCTL）作为网络的基本特征学习模块，SCTL使用通道注意力进一步增强网络对重点特征的关注.最后，为了降低网络复杂性，本文将网络设计为U型结构，获取多个尺度下的特征信息进行学习，实现MR图像高质量重建.在性能指标和网络复杂度上，本文提出的网络明显优于其他重构网络.

1 相关工作

1.1 基于CNN的磁共振图像重构

在图像处理中，基于深度学习的方法已经得到广泛应用.其中具有平移不变性和局部特性的CNN流行在各种视觉任务中，包含图像分割^［17］、超分辨率^［18］和图像分类^［19］等.WANG等^［13］最开始把CNN应用到MR图像重构中，直接使用多个卷积层堆叠而成的CNN，学习欠采样K空间数据所逆傅里叶变换得到的初始重构图像与全采样图像之间的映射关系.之后，应用于图像分割领域的U-Net^［15］也引入到MR图像重构中，通过逐层下采样的编码结构和对应的解码结构进行MR图像的恢复.同时，生成对抗网络（Generative Adversarial Network，GAN）也被引入到MR图像重构中，通过引入生成器与鉴别器之间的竞争机制，来改善图像质量.DAGAN^［12］设计一种改进学习策略用来稳定基于UNet^［15］的生成器，同时在网络的损失函数上，使用内容和感知损失保持MR图像的细节信息，最后联合对抗损失生成高质量的MR图像.QUAN等^［20］进一步采用更深层次的CNN结构和循环损失，来改善MR图像质量.基于卷积结构的CNN尽管擅长捕获局部特征信息，但是缺乏感知全局的能力.虽然可以通过堆叠更深层次的CNN进行缓解，但也会带来高昂的训练成本以及网络复杂度.

1.2 基于Transformer的磁共振图像重构

在网络的架构上，相比较卷积结构的局部感受野特性，通过自注意力机制捕获全局依赖信息的Transformer也在视觉领域迅速流行.FENG等^［21］使用任务型Transformer架构，共享MR重构任务和MR超分任务之间的关键特征表示.在基于多模态的任务中，FENG等^［22］使用融合交叉注意力机制的Transformer架构迁移备用模态的特征到目标模态上，进行多模MR重构.但是由于自注意力机制通过计算每个像素点与其他像素点的相关性，计算复杂度与图像大小的二次方成正比，具有很高的计算代价.Swin Transformer^［16］通过基于平移窗口的多头注意力（Shifted Windows based Multi-Head Self-Attention，W-MSA/SW-MSA）结构，将注意力计算限制在了一个个非重叠窗口内，将计算复杂度从输入尺寸的二次方降低为线性，有效地降低了计算代价.YAN等^［23］基于Swin Transformer提出了用于MR图像超分辨率的Transformer网络.SwinMR^［14］通过将SwinIR^［24］引入到MR图像重构任务，在重构图像的质量和泛化性上都优于基于卷积的网络，但是SwinMR^［14］的计算复杂度远高于CNN.SDAUT^［25］将Swin Transformer^［16］与U-Net^［15］结合，同时结合可变形的注意力提升重构质量，在一定程度上降低网络了的复杂性和计算代价.但是这些网络主要利用了自注意力结构进行特征学习，缺乏对局部特征的感知，阻碍了MR图像精细结构的恢复.

2 方法

本文提出了一种局部特征增强的磁共振图像Transformer重构网络.整个网络为U型对称结构，使用多次下采样和上采样来获取不同尺度下的特征信息.使用SCB增强网络局部特征的学习能力，同时构造SCTL来学习不同尺度下的特征，改善MR图像重构质量.

2.1 网络结构

本文提出的网络如图1所示.通过输入欠采样的伪影图像X_{\mathrm{u}}，网络输出为去除伪影的图像X，网络使用残差连接来加快训练以及稳定训练过程.

整个处理流程可以表示为：

X=f\left(X_{\mathrm{u}}\left|\theta \right.\right)+X_{\mathrm{u}}，（1）

其中：f表示提出的网络，\theta为需要学习的网络参数.

整个网络分为三部分，分别是特征编码层（Feature Encoder）、瓶颈层（Bottle Layer）和特征解码层（Feature Decoder）.在特征编码层阶段，网络会提取多尺度特征进行学习.具体来说，伪影图像X_{\mathrm{u}}会使用3 × 3大小的卷积层进行非重叠映射（Input Projection，IP），再送入两层的Swin-Conv Transformer Layer（SCTL）进行特征学习，得到第一层特征F_{\mathrm{e}\mathrm{n}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{1}}，可表示为：

F_{\mathrm{e}\mathrm{n}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{1}}=\mathrm{E}\mathrm{1}\left(\mathrm{I}\mathrm{P}\left(X_{\mathrm{u}}\right)\right).（2）

之后再使用卷积核为4 × 4大小、步长为2的重叠下采样层（Down Sample，DS）进行下采样，每个下采样后面跟随两层SCTL进行特征学习.值得注意的是，在每次下采样后，特征图的大小减少一半，但通道数量会增加一倍.因此在经历两次下采样后，会得到不同尺度下的特征信息，可表示为：

F_{\mathrm{e}\mathrm{n}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{2}}=\mathrm{E}\mathrm{2}\left(F_{\mathrm{e}\mathrm{n}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{1}}\right)，（3）

F_{\mathrm{e}\mathrm{n}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{3}}=\mathrm{E}\mathrm{3}\left(F_{\mathrm{e}\mathrm{n}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{2}}\right).（4）

在网络的瓶颈层阶段，在进行特征学习之前，还会进行一次下采样，此时的特征图仅为刚开始的1/8，包含了图像的全局特征信息和丰富的结构信息.本文同样使用两层的SCTL对特征进行学习，得到瓶颈层的特征信息F_{\mathrm{B}\mathrm{o}\mathrm{t}\mathrm{t}\mathrm{l}\mathrm{e}}，可表示为：

F_{\mathrm{B}\mathrm{o}\mathrm{t}\mathrm{t}\mathrm{l}\mathrm{e}}=\mathrm{B}\mathrm{o}\mathrm{t}\mathrm{t}\mathrm{l}\mathrm{e}\left(\mathrm{D}\mathrm{S}\left(F_{\mathrm{e}\mathrm{n}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{3}}\right)\right).（5）

接下来为网络的特征解码层阶段，网络通过跳跃连接（Skip Connection）联合编码层的特征信息进行重构.网络的特征解码层模块由SCTL和上采样层（Up Sample，US）构成，上采样层使用2 × 2大小的转置卷积，使用的步长为2，在增加特征图尺寸的同时，保持低尺度的特征信息不会损失.但是与下采样层相反，每次上采样过后，特征图的大小增加一倍，通道数减少4倍，除了第一次上采样的通道数只会减少一半.由此，在网络特征解码端的具体流程可表示为：

F_{\mathrm{d}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{3}}=\mathrm{D}\mathrm{3}\left(\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}\left(F_{\mathrm{e}\mathrm{n}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{3}},\mathrm{U}\mathrm{S}\left(F_{\mathrm{B}\mathrm{o}\mathrm{t}\mathrm{t}\mathrm{l}\mathrm{e}}\right)\right)\right)，（6）

F_{\mathrm{d}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{2}}=\mathrm{D}\mathrm{2}\left(\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}\left(F_{\mathrm{e}\mathrm{n}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{2}},F_{\mathrm{d}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{3}}\right)\right)，（7）

F_{\mathrm{d}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{1}}=\mathrm{D}\mathrm{1}\left(\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}\left(F_{\mathrm{e}\mathrm{n}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{1}},F_{\mathrm{d}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{2}}\right)\right).（8）

在得到解码端的输出F_{\mathrm{d}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{1}}后，网络使用一个输出映射层（Output Projection，OP），具体为一个3 × 3的卷积层结构，重构出图像F_{\mathrm{o}\mathrm{p}}，可表示为：

F_{\mathrm{o}\mathrm{p}}=\mathrm{O}\mathrm{P}\left(F_{\mathrm{d}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{r}\_\mathrm{1}}\right).（9）

通过残差连接加上最开始的伪影图像X_{\mathrm{u}}得到最终的重构图像X：

X=F_{\mathrm{o}\mathrm{p}}+X_{\mathrm{u}}.（10）

2.2 Swin-Conv Transformer Layer

之前提到，具有局部归纳特性的卷积结构以及擅长捕获全局依赖特性的自注意力结构已经应用于各种视觉任务，但是很少有工作联合两者的特性，尤其是在磁共振图像重构任务中.为此，本文通过增强原有Swin Transformer^［16］ W-MSA结构中的局部信息为切入点，使用两层且卷积核大小为3 × 3的深度分离卷积提取特征图像中的局部信息，再与原有Swin Transformer^［16］中W-MSA结构获取到的全局信息进行融合，以此丰富MR图像的局部特征信息.但在信息融合方式上，针对并行和串行两种方式，本文采取并行方式构成SCTL（3.5节可见消融实验）.

具体而言，网络的每层结构都由连续的两个SCTL构成，分别对应Swin Transformer^［16］中的W-MSA结构和SW-MSA结构.由图2可见：SCTL的主要模块主要由三部分组成，包括Swin-Conv模块（Swin-Conv Block，SCB）、局部增强的前馈神经网络（Locally-Enhanced Feed-Forward Network，LeFF）和通道注意力（Channel Attention，CA）.其余的层归一化（Layer Normalization，LN）和残差连接（Residual Connection）被用来稳定训练及加速网络收敛，每个DW卷积或者PW卷积后面会跟随一个GELU激活函数，输出层的卷积除外.

SCB的详细结构如图3（a）所示，在原有W-MSA结构的基础上，本文引入了基于卷积结构的分支，利用深度分离卷积结构，在没有增加太多的参数和网络复杂度的前提下，进行逐个通道的局部特征提取，之后再使用1 × 1卷积（Point-Wise Convolution，PW）对两个分支上的通道特征进行融合，以此增强MR图像的局部特征信息.具体来说，给定输入的特征张量{\mathit{Z}}^l\in {\mathbf{R}}^{C\times H\times W}，送入到SCB的两个分支中，对于W-MSA分支，首先会对输入进行窗口偏移和划分（Window Partition），得到划分后的窗口特征Y^l\in {\mathbf{R}}^{N\times T^{\mathrm{2}}\times C}，N和T分别为划分窗口的数量和大小，再送入到W-MSA分支中，如图3（a）左侧所示，对窗口特征Y^l进行线性映射分别得到\mathit{Q}\in {\mathbf{R}}^{N\times H\times T^{\mathrm{2}}\times \frac{C}{H}}、\mathit{K}\in {\mathbf{R}}^{N\times H\times T^{\mathrm{2}}\times \frac{C}{H}}和\mathit{V}\in {\mathbf{R}}^{N\times H\times T^{\mathrm{2}}\times \frac{C}{H}}三个映射张量，H为头的数量.以单头为例，计算过程与Swin Transformer^［16］中一致，加上相对位置编码信息B\in {\mathbf{R}}^{N\times T^{\mathrm{2}}\times T^{\mathrm{2}}}，得到相应注意力输出\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}\left(\mathit{Q},\mathit{K},\mathit{V}\right)\in {\mathbf{R}}^{N\times H\times T^{\mathrm{2}}\times \frac{C}{H}}：

\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}\left(\mathit{Q},\mathit{K},\mathit{V}\right)=\left(\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{M}\mathrm{a}\mathrm{x}\left(\frac{\mathit{Q}{\mathit{K}}^{\text{'}}}{\sqrt[]{C}}\right)+B\right)\mathit{V}，（11）

其中{\mathit{K}}^{\text{'}}为\mathit{K}的转置.通过联合所有多头自注意力的输出，再经过一个线性映射层以及窗口划分和偏移，恢复出原本的特征图结构，即为W-MSA分支的输出{\mathit{Z}}_{\mathrm{W}-\mathrm{M}\mathrm{S}\mathrm{A}}^l\in {\mathbf{R}}^{C\times H\times W}，由于包含连续两层的SCTL层，在下一层得到SW-MSA分支的输出{\mathit{Z}}_{\mathrm{S}\mathrm{W}-\mathrm{M}\mathrm{S}\mathrm{A}}^l\in {\mathbf{R}}^{C\times H\times W}，而在DW分支中，如图3（a）右边所示，使用两层卷积核大小为3 × 3的DW卷积后，会得到DW分支的输出{\mathit{Z}}_{\mathrm{D}\mathrm{W}}^l\in {\mathbf{R}}^{C\times H\times W}，最后经过PW卷积进行每个通道上的信息融合{\mathit{Z}}_{\mathrm{P}\mathrm{W}}^l\in {\mathbf{R}}^{C\times H\times W}，加上来自输入的残差连接，即为SCB模块的输出{\mathit{Z}}_{\mathrm{S}\mathrm{C}\mathrm{B}}^l\in {\mathbf{R}}^{C\times H\times W}.

在图3（b）中，对于Swin Transformer^［16］中前馈神经网络，本文利用来自Uformer^［26］中的LeFF，因为LeFF在前馈神经网络中引入了DW卷积，能更有效地进行跨通道信息交流，有利于不同通道之间特征信息的融合，可见消融实验的对比结果.但在代码实现方式上，与Uformer^［26］中不同的是，本文没有使用线性层进行扩张或者压缩通道，而使用PW卷积实现，由于线性层的输入数据形式与卷积层的输入数据形式不一致，以上实现方式可以避免对数据进行操作.具体流程为：

{\mathit{Z}}_{\mathrm{L}\mathrm{e}\mathrm{F}\mathrm{F}}^l=\mathrm{P}{\mathrm{W}}_{\mathrm{2}}\left(\mathrm{D}\mathrm{W}\left(\mathrm{P}{\mathrm{W}}_{\mathrm{1}}\left(\mathrm{L}\mathrm{N}\left({\mathit{Z}}^l\right)\right)\right)\right)+{\mathit{Z}}^l，（12）

其中{\mathit{Z}}_{\mathrm{L}\mathrm{e}\mathrm{F}\mathrm{F}}^l\in {\mathbf{R}}^{C\times H\times W}为LeFF的输出.如图3（b）中所示，在SCTL的尾部，本文使用通道注意力，对重点特征信息进行判别，使得网络更多关注重点信息，提升网络学习能力.流程为：

{\mathit{Z}}_{\mathrm{C}\mathrm{A}}^l=\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left(\mathrm{P}{\mathrm{W}}_{\mathrm{2}}\left(\mathrm{P}{\mathrm{W}}_{\mathrm{1}}\left({\mathit{Z}}_{\mathrm{L}\mathrm{e}\mathrm{F}\mathrm{F}}^l\right)\right)\right)\times {\mathit{Z}}_{\mathrm{L}\mathrm{e}\mathrm{F}\mathrm{F}}^l（13）.

最后得到SCTL的输出{\mathit{Z}}^{l+\mathrm{1}}\in {\mathrm{R}}^{C\times H\times W}，整个SCTL的流程为：

{\mathit{Z}}_{\mathrm{S}\mathrm{C}\mathrm{B}}^l=\mathrm{P}\mathrm{W}\left(\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}\left(W-\mathrm{M}\mathrm{S}\mathrm{A}\left(\mathrm{L}\mathrm{N}\left({\mathit{Z}}^l\right)\right),\mathrm{D}\mathrm{W}\left(\mathrm{L}\mathrm{N}\left({\mathit{Z}}^l\right)\right)\right)\right)+{\mathit{Z}}^l，（14）

{\mathit{Z}}_{\mathrm{L}\mathrm{e}\mathrm{F}\mathrm{F}}^l=\mathrm{L}\mathrm{e}\mathrm{F}\mathrm{F}\left(\mathrm{L}\mathrm{N}\left({\mathit{Z}}_{\mathrm{S}\mathrm{C}\mathrm{B}}^l\right)\right)+{\mathit{Z}}_{\mathrm{S}\mathrm{C}\mathrm{B}}^l，（15）

{\mathit{Z}}^{l+\mathrm{1}}=\mathrm{C}\mathrm{A}\left({\mathit{Z}}_{\mathrm{L}\mathrm{e}\mathrm{F}\mathrm{F}}^l\right).（16）

3 实验

3.1 实验数据集

本文采用Calgary-Campinas-359 Brain（CC359-Brain）单线圈重构数据集^［27］，其中，CC359-Brain数据是临床上使用商业MR扫描仪（Discovery MR750，GE Healthcare，Waukesha）进行采集得到，为全采样T1加权的大脑扫描数据，采样矩阵大小为256 × 256.遵循原有的数据集划分格式，25个训练集样本包含4527张大脑矢状面切片以及由1700张切片组成10个测试集样本.在训练与测试实验中，为了避免的引入噪声数据，对于每个样本只选用100个中心切片.

3.2 损失函数

在常用图像的损失函数中，相比较均方误差损失（Mean Square Error，MSE）会对图像产生光滑的重构效果，使用Charbonnier^［28］损失作为本文的损失函数.对于网络恢复的MR图像X和全采样的MR图像\widehat{X}，损失函数的公式定义为：

\mathrm{L}\mathrm{o}\mathrm{s}\mathrm{s}\left(\theta \right)=\frac{\mathrm{1}}{S}{\displaystyle \sum _{i=\mathrm{1}}^S}\sqrt[]{\left({‖X^i-{\widehat{X}}^i‖}_{\mathrm{2}}^{\mathrm{2}}+{\epsilon }^{\mathrm{2}}\right)}，（17）

其中本文设置\epsilon的值为{\mathrm{10}}^{-\mathrm{9}}.

3.3 实验细节与设置

网络由Pytorch实现，为了监控网络的训练过程，本文在pytorch-lightning框架上使用默认的Adam优化器完成网络参数更新.在网络的结构设置中，网络的深度为3，每层SCTL的个数为2，窗口划分大小为8以及通道数默认为32.每个SCB中头的数量为默认通道数基于当前通道数的倍数.使用水平翻转来随机增加训练样本，并将图像随机旋转90°、180°或270°，训练和测试的图片大小分别为128和256.学习率的设置采用余弦衰减策略将学习率降低到10^-6，初始学习率为0.0002.每次使用8张切片以及500周期完成网络的训练.硬件条件为Ubuntu 18.04系统和一张12 GB的Nvidia GTX-1080Ti 图形计算卡.

本文使用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和结构相似性（Structural Similarity Index，SSIM）作为评价指标.基于图像像素点之差的PSNR通过利用最大信号功率与信号噪声之比来衡量图像的精细程度.而SSIM从图像的亮度、对比度和结构方面来测量图像的相似度.在网络的复杂度和运行速度方面，本文在给定输入数据尺寸为1 × 1 × 256 × 256以及不包含鉴别器参数的条件下，统计重构网络的参数量和计算量（Floating Point Operations，Flops），并且在所有测试切片上，计算所有网络的平均测试时间.

3.4 实验结果

在与MR基准重建方法比较中，本文选取了U-Net^［15］、DAGAN^［12］、SwinMR^［14］、SDAUT^［25］、真实图像（Ground Truth，GT）和欠采样的零填充图像（Zero-Filled，ZF）在采样率为30%的一维高斯（Gaussian 1D 30%，G1D30%）采样轨迹下进行比较.结果见表1和图4.

在表1中可见，在评价指标上，本文提出的网络明显优于对比网络.与DAGAN^［12］、SDAUT^［25］和SwinMR^［14］相比，在PSNR值上，本文网络分别高2.42、1.32 、0.34 dB.在参数量上，本文网络远低于对比网络.值得注意的是，SwinMR^［14］的计算量以及测试时间分别是本文的20倍和9倍左右，与本文同样U型结构的SDAUT^［25］，计算代价也远高于本文网络.

图4展示了不同网络重构出MR图像的效果图.由红色箭头所指可见：相比较SwinMR^［14］、DAGAN^［12］以及SDAUT^［25］，本文提出的网络能恢复出更多细节信息，这也证明了卷积结构可以增强网络对局部特征的感知能力，以此改进网络对精细结构的恢复.图4还展示了不同网络重构结果与真实图像之间放大10倍的误差图，可见本文网络所含有的最大误差和连续误差明显少于对比网络.

本文也研究了低采样轨迹下的性能表现，包含一维高斯10%（Gaussian 1D 10%，G1D10%）、二维高斯10%（Gaussian 2D 10%，G2D10%）、径向10%（Radial 10%，R10%）以及螺旋10%（Spiral 10%，S10%）.对比的网络包含U-Net^［15］、DAGAN^［12］、SwinMR^［14］和SDAUT^［25］，结果见表2.由表2可见：在不同的低采样轨迹下，本文网络在PSNR和SSIM上都明显优于对比网络.

3.5 消融实验及分析

在SCB中，针对于W-MSA和DW模块的融合方式，本文提出了三种结构，如图5所示，分别是两种串联结构Case 1和Case 2，一种并行结构Case 3.由表3数据可知：在增加少量参数与计算量的情况下，并行结构Case 3有着更好的特征增强能力.

为了验证不同组件对网络性能的影响，在G1D30%的采样轨迹下，本文对网络架构进行消融实验，如表4所示，当本文引入DW卷积来改善网络对局部信息的学习能力时，在增加少量参数和计算量的情况下，网络的PSNR与SSIM分别增加0.34 dB和0.0024.在本文替换MLP为UFormer^［26］提出的LeFF后，网络的性能得到进一步改善，表明LeFF相比MLP，能有效改进网络的学习能力.同时证明了CA可以帮助网络关注重点信息，对主要特征进行学习增强.以上的消融实验验证了所有网络模块的有效性.

4 结语

本文研究了一种基于多头自注意力与卷积特征融合的磁共振图像Transformer重构方法，提出了一个局部特征增强的磁共振图像Transformer重构网络.网络为端到端的U型结构，可以同时捕获多尺度特征信息和降低网络的参数和计算复杂度.本文使用深度分离卷积增强多头自注意力结构的局部特征学习能力，改善网络的重构性能.在不同采样轨迹的CC359-Brain数据集上进行了大量实验，结果证明了本文网络既能提升磁共振图像重构质量，也能降低网络的参数和复杂度，具有一定的应用前景.

参考文献

[1] DONOHO D L. Compressed sensing［J］. IEEE Transactions on Information Theory， 2006， 52（4）： 1289-1306.

[2] PRUESSMANN K P， WEIGER M， BÖRNERT P， et al. Advances in sensitivity encoding with arbitrary k-space trajectories［J］. Magnetic Resonance in Medicine， 2001， 46（4）： 638-651.

[3] GRISWOLD M A， JAKOB P M， HEIDEMANN R M， et al. Generalized autocalibrating partially parallel acquisitions （GRAPPA）［J］. Magnetic Resonance in Medicine， 2002， 47（6）： 1202-1210.

[4] LUSTIG M， PAULY J M. SPIRiT： Iterative self‐consistent parallel imaging reconstruction from arbitrary k‐space［J］. Magnetic Resonance in Medicine， 2010， 64（2）： 457-471.

[5] 熊承义， 李治邦， 高志荣， 等. 基于小波变换的图像压缩感知深度重构网络［J］.中南民族大学学报（自然科学版）， 2020， 39（4）： 397-404.

[6] LUSTIG M， DONOHO D L， SANTOS J M， et al. Compressed sensing MRI［J］. IEEE Signal Processing Magazine， 2008， 25（2）： 72-82.

[7] LIANG D， LIU B， WANG J， et al. Accelerating SENSE using compressed sensing［J］. Magnetic Resonance in Medicine， 2009， 62（6）： 1574-1584.

[8] LUSTIG M， DONOHO D， PAULY J M. Sparse MRI： The application of compressed sensing for rapid MR imaging［J］. Magnetic Resonance in Medicine， 2007， 58（6）： 1182-1195.

[9] YANG Y, SUN J, LI H, et al. ADMM-CSNet: A deep learning approach for image compressive sensing[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 42(3): 521-538.

[10] 张登强， 刘霄汉， 庞彦伟. 基于双域并行编解码网络的磁共振图像重建［J］. 激光与光电子学进展， 2022， 59（12）： 172-179.

[11] 杜年茂， 宋威. 深度迭代卷积神经网络的快速脑部MRI重建算法［J］. 计算机科学与探索， 2020， 14（12）： 2150-2160.

[12] YANG G， YU S， DONG H， et al. DAGAN： Deep de-aliasing generative adversarial networks for fast compressed sensing MRI reconstruction［J］. IEEE transactions on medical imaging， 2017， 37（6）： 1310-1321.

[13] WANG S， SU Z， YING L， et al. Accelerating magnetic resonance imaging via deep learning［C］//2016 IEEE 13th International Symposium on Biomedical Imaging （ISBI）. Prague： IEEE， 2016： 514-517.

[14] HUANG J， FANG Y， WU Y， et al. Swin transformer for fast MRI［J］. Neurocomputing， 2022， 493： 281-304.

[15] RONNEBERGER O， FISCHER P， BROX T. U-net： Convolutional networks for biomedical image segmentation［C］//International Conference on Medical Image Computing and Computer-Assisted Intervention. Munich： Springer， 2015： 234-241.

[16] LIU Z， LIN Y， CAO Y， et al. Swin transformer： Hierarchical vision transformer using shifted windows［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal： IEEE， 2021： 9992-10022.

[17] 李丰卓， 符玲玲， 郭金鑫， 等. 应用对抗神经网络的胶质瘤MR图像分割［J］. 中南民族大学学报（自然科学版）， 2022， 41（1）： 64-70.

[18] 王孝天， 卢紫微， 张燕. 基于多尺度融合的图像超分辨率重建［J］. 控制工程， 2022， 29（9）： 1573-1579.

[19] 王文涛， 柳鸣， 赵志伟， 等. 改进卷积神经网络的苹果叶分类方法［J］. 中南民族大学学报（自然科学版）， 2022， 41（1）： 71-78.

[20] QUAN T M， NGUYEN-DUC T， JEONG W K. Compressed sensing MRI reconstruction using a generative adversarial network with a cyclic loss［J］. IEEE Transactions on Medical Imaging， 2018， 37（6）： 1488-1497.

[21] FENG C M， YAN Y， FU H， et al. Task transformer network for joint MRI reconstruction and super-resolution［C］//International Conference on Medical Image Computing and Computer-Assisted Intervention. Strasbourg： Springer， 2021： 307-317.

[22] FENG C M， YAN Y， CHEN G， et al. Accelerated multi-modal MR imaging with transformers［J］. arXiv Preprint arXiv： 2106.14248， 2021， 3.

[23] YAN C， SHI G， WU Z. SMIR： A transformer-based model for MRI super-resolution reconstruction［C］// 2021 IEEE International Conference on Medical Imaging Physics and Engineering （ICMIPE）. Hefei： IEEE， 2021： 1-6.

[24] LIANG J， CAO J， SUN G， et al. SwinIR： Image restoration using swin transformer［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal： IEEE， 2021： 1833-1844.

[25] HUANG J， XING X， GAO Z， et al. Swin Deformable Attention U-Net Transformer （SDAUT） for explainable fast MRI［C］//International Conference on Medical Image Computing and Computer-Assisted Intervention. Singapore： Springer， 2022： 538-548.

[26] WANG Z， CUN X， BAO J， et al. Uformer： A general u-shaped transformer for image restoration［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans： IEEE， 2022： 17683-17693.

[27] SOUZA R， LUCENA O， GARRAFA J， et al. An open， multi-vendor， multi-field-strength brain MR dataset and analysis of publicly available skull stripping methods agreement［J］. NeuroImage， 2018， 170： 482-494.

[28] LAI W S， HUANG J B， AHUJA N， et al. Fast and accurate image super-resolution with deep Laplacian Pyramid Networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 41（11）： 2599-2613.

基金资助

多谱信息处理技术国家重点实验室基金资助项目(6142113210303)

中央高校基本科研业务专项资金资助项目(CZY21013)

中南民族大学研究生课程示范课程资助项目(YJS22039)