基于空间⁃光谱级联差分网络的病理学高光谱图像融合方法

Pathological Hyperspectral Image Fusion Method Based on Cascaded Spatial⁃Spectral Differential network

摘要

高分辨率高光谱病理学图像包含细粒度的二维空间信息和光谱维信息， 对于精确诊断具有重要意义。现有方法存在空间光谱信息提取不充分和边缘信息利用不足的问题， 为此， 提出一种基于空间⁃光谱级联差分网络的病理学高光谱图像融合方法， 通过级联空间⁃光谱模块重建高分辨率高光谱病理学图像， 其中， 每个空间⁃光谱模块都采用差分的方法分别设计了空间边缘损失和光谱边缘损失来分阶段约束和优化模型， 从而实现病理学高光谱图像和多光谱图像的有机融合。该模型在病理图像数据集上进行实验， 融合图像的4项评价指标RMSE， PSNR， ERGAS， SAM分别达到4.593 7， 32.328 0， 4.668 3和3.635 4， 研究表明， 基于空间⁃光谱级联差分网络的融合方法能够对细节较为丰富的病理学图像实现精细融合， 为多光谱图像融合提供了参考依据。

Abstract

High-resolution hyperspectral pathology images contain fine-grained two-dimensional spatial information and spectral dimensional information， which is of great significance for accurate diagnosis. To this end， we propose a pathological hyperspectral image fusion method based on the space-spectrum cascade differential network. In this method， high-resolution hyperspectral pathological images are reconstructed by cascading spatial-spectral modules. Each space-spectrum module utilizes differential methods to design spatial edge loss and spectral edge loss， which helps constrain and optimize the model in stages. This enables the organic fusion of pathological hyperspectral images and multispectral images. The model experimented on the pathological image dataset， and the four evaluation indexes RMSE， PSNR， ERGAS， and SAM of the fusion images reached 4.593 7， 32.328 0， 4.668 3 and 3.635 4， respectively. These results demonstrate that the fusion method based on the space-spectrum cascade differential network can achieve fine fusion of pathological images with rich details， providing a reference for multispectral image fusion.

Graphical abstract

关键词

卷积神经网络 / 级联差分 / 空间边缘损失 / 光谱边缘损失 / 病理学图像融合

Key words

convolutional neural network / cascade difference / spatial edge loss / spectral edge loss / pathological image fusion

0 引　言

高分辨率高光谱病理图像可以提供更加精细的组织结构信息和病理学特征， 可为疾病的高精度诊断和治疗提供决策依据。然而， 由于成像仪器的局限性， 无法同时得到具有高空间分辨率和高光谱分辨率的图像。目前， 图像融合在多源遥感融合、 计算机视觉、 人工智能、 医学检测等领域有着广阔的应用前景^［1］， 高光谱图像和多光谱图像通过融合可以克服两种图像的局限性， 对精准医学具有重要意义。

目前， 高光谱图像的融合方法主要可以分为传统方法和深度学习两大类， 传统方法包括基于泛锐化的方法、 基于矩阵分解的方法和基于张量表示的方法。其中， 基于泛锐化的方法有两种代表类型： 组件替换^［2-3］和多分辨率分析^［4-5］， 用于高光谱和多光谱图像融合可能会导致光谱信息丢失。基于矩阵分解的融合方法包括低秩方法^［6］和稀疏表示方法^［7-8］， 病理图像数据之间的关系较为复杂且为非线性， 该类方法不多用于高光谱和多光谱融合。基于张量表示的方法主要包括Tucker分解^［9］、 CP （Canonical Polyadic）分解^［10］、 张量奇异值分解^［11］和张量序列分解^［12］等， 这类方法存在计算量较大的问题， 会给硬件设备带来巨大负担。

基于卷积神经网络（Convolutional Neural Network， CNN）的方法是深度学习方法的一个重要分支， 该方法不过度依赖先验信息， 通过非线性函数和卷积层的提取特征， 可以使CNN具有强大的图像特征学习能力并实现特征融合， 以卷积神经网络为基础的方法已经被广泛应用于图像融合领域， 并且许多传统方法也借鉴了CNN的操作来实现更好的效果。2017年， Palsson等^［13］提出一种3-D卷积神经网络用于图像融合， 通过主成分分析对高光谱图像进行降维处理后再输入网络， 其融合图像的两项评价指标全局相对误差（ERGAS）和光谱角映射器（SAM）分别达到1.79和3.03。2018年， Yuan等^［14］提出一种基于多尺度多深度的卷积神经网络， 该网络结合了多尺度特征提取和残差学习的方法， ERGAS指标达到了2.933 1， SAM指标达到了4.248 3。2020年， Liu等^［15］提出一种双流融合网络来解决泛锐化问题， 重构图像的两项评价指标ERGAS和SAM分别达到3.911 7和4.681 1。同年， Xu等^［16］提出了一种具有RAP损失的高光谱和多光谱图像多尺度融合网络（HAM-MFN）， 该方法采用多尺度融合策略以更好地保留光谱和空间特征， 融合图像的两项评价指标ERGAS和SAM达到3.212 0和3.712 9以上。2021年， Zhang等^［17］提出一种可解释的空间-光谱重建网络以提高高光谱图像（HSI）和多光谱图像（MSI）的融合效率， ERGAS和SAM分别达到3.896 4和3.861 8以上。2022年， Kiu等^［18］提出一种基于光谱空间注意力的U-Net来实现高光谱和多光谱图像的融合。2023年， Ran等^［19］提出一种高分辨率引导的多任务学习CNN融合框架， 这种引导机制可以提供更丰富的细节和结构信息， 帮助网络更准确地恢复高分辨率图像。

基于CNN的融合方法在提取特征和保留关键信息方面相较于传统方法具有独特的优势， 而目前对于病理图像的高光谱和多光谱图像融合研究较少， 已有的融合方法基本是针对遥感图像而提出的， 为此， 本文提出一种基于空间⁃光谱级联差分网络的病理学高光谱图像融合方法， 在医学病理高光谱和多光谱图像上实现了较好的融合效果。

1 方　法

图 1 为基于空间⁃光谱级联差分网络的病理学高光谱图像融合模型， 该模型主要由（a） 跨模态插值模块， （b） 空间⁃光谱重建模块， （c）空间⁃光谱重建模块组成。模块（a）是级联空间⁃光谱差分融合模型的预处理， 在该模块中， 首先将低分辨率高光谱图像（LR-HSI）的空间分辨率上采样到与高分辨率多光谱图像（HR-MSI）一样大小， 然后将HR-MSI各个波段等间隔插入到上采样的LR-HSI中生成一个预融合图像， 再经过一个卷积操作并通过非线性函数激活。模块（b-I）用来重建空间信息， 在该模块中， 首先对输入的特征图进行卷积激活， 然后利用空间边缘损失约束输出， 使网络学习到较为准确的空间信息， 该空间边缘损失采用差分的方法设计。在空间维度上， 参考图像R沿着高度和宽度方向错位差分（R_{\left(i+\mathrm{1},j+\mathrm{1},k\right)}-R_{\left(i,j,k\right)}）， 由此得到的边缘差分值与预融合图像Y_{\mathrm{p}\mathrm{r}\mathrm{e}}沿着高度和宽度方向错位差分（即Y_{\left(i+\mathrm{1},j+\mathrm{1},k\right)}-Y_{\left(i,j,k\right)}）所得到的边缘差分值应尽可能一致， 将这两个图像的边缘差分值用均方误差（MSE）损失函数计算得到空间边缘损失， 以此来约束更新空间重建模块的输出。模块（b-II）的输入为经过空间重建后的输出， 该模块用来重建预融合图像的光谱信息， 类似于空间重建模块， 先对输入特征图进行卷积和激活， 然后在光谱边缘损失的约束下训练学习， 与空间边缘损失类似， 光谱边缘损失同样采用差分的方法， 参考图像R在光谱维度上沿着光谱方向进行差分（即R_{\left(i,j,k+\mathrm{1}\right)}-R_{\left(i,j,k\right)}）， 经过空间重建的融合图像也沿光谱维度进行差分（即Y_{\left(i,j,k+\mathrm{1}\right)}-Y_{\left(i,j,k\right)}）， 两者的差分值用MSE损失函数计算得到光谱边缘损失， 以此来约束更新光谱重建模块的输出。模块（c）是空间⁃光谱重建模块（b）的进一步优化， 用来学习病理图像的空间特征和光谱信息， 但值得一提的是， 为了重建更加精细的病理图像， 模块（c）采用与模块（b）不同大小的卷积核来进行特征提取， 这两个模块依然在空间边缘损失和光谱边缘损失的约束下训练， 相同的损失标准保证了训练学习的一致性。另外， 通过设置不同模块损失的超参数， 使网络学习到不同精细程度的信息， 从而更好地重建医学病理图像的空间细节和光谱信息。5个模块以及空间边缘损失和光谱边缘损失将在下面详细介绍。

1.1 跨模态插值

在本文提出的方法中， 参考的高分辨率高光谱图像（HR-HSI）和融合的HR-HSI分别表示为R\in {\mathbb{R}}^{H\times W\times L}和Y∈{\mathbb{R}}^{H\times W\times L}， 其中， H和W分别为图像的高度和宽度尺寸， L为光谱通道数。输入该模型的LR-HSI和HR-MSI分别表示为X∈{\mathbb{R}}^{\mathrm{h}\times w\times L}和Z∈{\mathbb{R}}^{H\times W\times l}（h\ll H，w\ll W，l\ll L）。输入的LR-HSI和HR-MSI由参考的HR-HSI分别在空间和光谱上进行下采样得到， 公式如下

\left\{\begin{array}{l}X=Gaussian(R),\\ X=Bilinear(X,\mathrm{1}/r),\end{array}\right.（1）

\left\{\begin{array}{ll}Z(s)=Y(b_s),& s\in \left\{\mathrm{1},\cdots ,l\right\},\\ b_s=\frac{L}{l-\mathrm{1}}\times (s-\mathrm{1}),& b_s\in \left\{b_{\mathrm{1}},\cdots ,b_l\right\},\end{array}\right.（2）

式中： X为先对参考图像R进行高斯模糊， 然后以倍率r进行双线性插值下采样得到的低分辨率高光谱图像； Z为对参考图像R进行相等带间隔采样得到的图像； Z\left(s\right)为Z的第s个波段； \left\{b_{\mathrm{1}},\cdots ,b_l\right\}为HR-HSI中的采样波段数。

在进入空间⁃光谱级联差分重建网络之前， 先用跨模态插值模块（a）生成一个初步的预融合图像， 表示为Y_{\mathrm{p}\mathrm{r}\mathrm{e}}\in {\mathbb{R}}^{H\times W\times L}， 该模块利用了HR-MSI和LR-HSI的空间信息和光谱信息， 保留了彼此的空间⁃光谱相对位置。

由于LR-HSI空间分辨率比HR-MSI低， 在训练前， 先将X进行双线性插值上采样到和Z一样的空间大小， 表示为

\left\{X\uparrow =Bilinear(X,r)\right.,（3）

式中： X\uparrow为上采样后的低分辨率高光谱图像； r为上采样倍率。

然后， 将上采样后的LR-HSI和HR-MSI进行初步融合， 公式为

Y_{\mathrm{p}\mathrm{r}\mathrm{e}}(s)=\left\{\begin{array}{ll}Z(s)，& \mathrm{i}\mathrm{f}s\in \left\{b_{\mathrm{1}},\cdots ,b_l\right\},\\ X(s)\uparrow & \mathrm{其他},\end{array}\right.（4）

式中： Y_{\mathrm{p}\mathrm{r}\mathrm{e}}为预融合的图像； Y_{\mathrm{p}\mathrm{r}\mathrm{e}}\left(s\right)为预融合图像的第s个波段； Z\left(s\right)和X\left(s\right)\uparrow分别为HR-MSI和上采样的LR-HSI的第s个波段。这样， 经过跨模态插值模块生成的预融合图像就同时包含了HR-MSI的空间信息和LR-HSI的光谱信息， 为后面的空间⁃光谱级联差分训练网络提供了充足的空间⁃光谱信息。

为了将该模块的空间信息和光谱信息传递到下一模块， 设计了一个\mathrm{3}\times \mathrm{3}的卷积层， 步长为1， 并在卷积之后使用RELU非线性激活函数。

Y_{\mathrm{p}\mathrm{r}\mathrm{e}}=RELU\left(Con{v}_{\mathrm{p}\mathrm{r}\mathrm{e}}\left(Y_{\mathrm{p}\mathrm{r}\mathrm{e}}\right)\right)\mathrm{。}（5）

1.2 空间⁃光谱重建模块

在跨模态插值模块， 已经得到了一个预融合图像Y_{\mathrm{p}\mathrm{r}\mathrm{e}}， 经过卷积激活之后， 输入到空间重建模块（b-I）中， 该模块的目的是重建融合图像的空间信息， 在此模块中设计了一个空间重建网络， 公式如下

Y_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}}=Y_{\mathrm{p}\mathrm{r}\mathrm{e}}+Con{v}_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}}\left(Y_{\mathrm{p}\mathrm{r}\mathrm{e}}\right),（6）

式中： Con{v}_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}}表示二维卷积层， 卷积核大小为\mathrm{5}\times \mathrm{5}， 在空间重建网络中选择较大的卷积核来获得较大的感受野， 以此获得更广泛的空间信息； Y_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}}为经过空间重建后的图像； 加号表示跳层连接， 在训练阶段可以避免梯度消失， 提高模型的稳定性。

然而， 在空间信息重建过程中由于CNN网络的黑盒特性， 导致网络学习到的特征映射是不可控的。但是， 图像的边缘包含丰富的高频特征， 这对于空间重建是非常重要的， 为了让空间重建网络专注于空间信息的重建， 采用差分的方法， 设计了如图 2 的空间边缘损失L_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}}来约束该网络的输出。L_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}}由以下公式计算得到

M_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\_h}\left(i,j,k\right)=Y_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}}\left(i+\mathrm{1},j,k\right)-Y_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}}\left(i,j,k\right),（7）

M_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\_v}\left(i,j,k\right)=Y_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}}\left(i,j+\mathrm{1},k\right)-Y_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}}\left(i,j,k\right),（8）

{\overline{M}}_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\_h}\left(i,j,k\right)=Y\left(i+\mathrm{1},j,k\right)-Y\left(i,j,k\right),（9）

{\overline{M}}_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\_v}\left(i,j,k\right)=Y\left(i,j+\mathrm{1},k\right)-Y\left(i,j,k\right),（10）

式中： M_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\_h}\in {\mathbb{R}}^{\left(H-\mathrm{1}\right)\times W\times L}和M_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\_v}\in {\mathbb{R}}^{H\times \left(W-\mathrm{1}\right)\times L}分别为Y_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}}沿空间高度维和宽度维的边缘差分值； {\overline{M}}_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\_h}\in {\mathbb{R}}^{\left(H-\mathrm{1}\right)\times W\times L}和{\overline{M}}_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\_v}\in {\mathbb{R}}^{H\times \left(W-\mathrm{1}\right)\times L}分别为参考图像R\in {\mathbb{R}}^{H\times W\times L}沿空间高度维和宽度维的边缘差分值。

对于病理学图像而言， 空间细节信息对于诊断非常重要， 因此， 将上面产生的边缘差分值以损失函数的形式来控制高光谱图像的融合。因此， 空间重建损失表示如下

L_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\mathrm{1}}=\frac{{\sum }_{k=\mathrm{1}}^L{\sum }_{j=\mathrm{1}}^W{\sum }_{i=\mathrm{1}}^{H-\mathrm{1}}{\left({\overline{M}}_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\_h}\left(i,j,k\right)-M_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\_h}\left(i,j,k\right)\right)}^{\mathrm{2}}}{\mathrm{2}WL\left(H-\mathrm{1}\right)},（11）

L_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\mathrm{2}}=\frac{{\sum }_{k=\mathrm{1}}^L{\sum }_{i=\mathrm{1}}^H{\sum }_{j=\mathrm{1}}^{W-\mathrm{1}}{\left({\overline{M}}_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\_v}\left(i,j,k\right)-M_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\_v}\left(i,j,k\right)\right)}^{\mathrm{2}}}{\mathrm{2}HL\left(W-\mathrm{1}\right)},（12）

L_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}}=\mathrm{0.5}\times L_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\mathrm{1}}+\mathrm{0.5}\times L_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\mathrm{2}}\mathrm{。}（13）

L_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\mathrm{1}}和L_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\mathrm{2}}为在空间高度维和宽度维上的边缘损失， 他们由MSE损失函数公式计算得到， 最后的空间损失由式（13）构成。

经过空间重建模块（b-I）后， 在空间⁃光谱重建模块（b-II）中使用和模块（b-I）一样的卷积架构来重建融合图像的光谱信息。公式如下

Y_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}=Y_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}}+Con{v}_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}\left(Y_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}}\right),（14）

式中： Con{v}_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}表示卷积层， 卷积核大小为\mathrm{5}\times \mathrm{5}； Y_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}为光谱重建后的图像。同样， 跳层连接也被应用到该模块。

与空间边缘类似， 光谱的各波段间也包含丰富的频谱信息， 这对于光谱重建至关重要， 为了让光谱重建网络专注于光谱信息的重建， 设计了如图 2 的光谱边缘损失L_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}来约束该网络的输出。L_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}由以下公式计算得到

M_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}\left(i,j,k\right)=Y_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}\left(i,j,k+\mathrm{1}\right)-Y_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}\left(i,j,k\right),（15）

{\overline{M}}_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}\left(i,j,k\right)=Y\left(i,j,k+\mathrm{1}\right)-Y\left(i,j,k\right),（16）

L_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}=\frac{{\sum }_{j=\mathrm{1}}^W{\sum }_{i=\mathrm{1}}^H{\sum }_{k=\mathrm{1}}^{L-\mathrm{1}}{\left({\overline{M}}_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}\left(i,j,k\right)-M_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}\left(i,j,k\right)\right)}^{\mathrm{2}}}{\mathrm{2}HW\left(L-\mathrm{1}\right)}\mathrm{。}（17）

式中： M_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}\in {\mathbb{R}}^{H\times W\times \left(L-\mathrm{1}\right)}和{\overline{M}}_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}\in {\mathbb{R}}^{H\times W\times \left(L-\mathrm{1}\right)}分别为Y_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}和参考图像R\in {\mathbb{R}}^{H\times W\times L}沿光谱模式的边缘图； E_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}和{\overline{E}}_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}为L_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}的光谱边缘损失， 通过MSE损失函数计算得到。

为了能够重建病理图像更为细致的空间细节和光谱信息， 在空间⁃光谱重建模块（b）之后， 级联一个空间⁃光谱重建模块（c）， 在保持模块架构不变的情况下通过调整超参数和微调卷积层等操作， 使网络提取到精细的空间特征和光谱特征， 实现较好的融合效果， 保证了空间重建和光谱恢复的可靠性。为了便于区分， 将级联的空间⁃光谱重建模块内的两个模块分别称为空间重建模块（c-III）和光谱重建模块（c-IV）， 公式如下

Y_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\mathrm{1}}=Y_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}+Con{v}_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\mathrm{1}}\left(Y_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}\right),（18）

Y_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}\mathrm{1}}=Y_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\mathrm{1}}+Con{v}_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}\mathrm{1}}\left(Y_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\mathrm{1}}\right),（19）

式中： Con{v}_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\mathrm{1}}和Con{v}_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}\mathrm{1}}表示卷积层， 卷积核大小为\mathrm{3}\times \mathrm{3}， 在级联的空间⁃光谱重建模块中， 选择较小的卷积核来获得较小的感受野， 以此获得更精细的空间信节； Y_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\mathrm{1}}和Y_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}\mathrm{1}}为经过空间重建模块（c-III）和光谱重建模块（c-IV）后的图像。在这两个重建模块中， 通过使用空间边缘损失和光谱边缘损失来约束两个模块的输出， 由于此部分公式与式（7）~（17）相对应， 计算过程相同， 为避免赘述， 不再一一写出， 仅用L_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\_\mathrm{1}}和L_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}\_\mathrm{1}}表示级联模块（c）中的空间边缘损失和光谱边缘损失。经过模块（a）（b）（c）重建后， 将Y_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}\mathrm{1}}作为最后的\mathrm{H}\mathrm{R}\mathrm{­}\mathrm{H}\mathrm{S}\mathrm{I}， 表示为

Y_{\mathrm{f}\mathrm{u}}=Y_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}\mathrm{1}}\mathrm{。}（20）

对于最后的Y_{\mathrm{f}\mathrm{u}}， 用L_{\mathrm{f}\mathrm{u}}损失来进行优化， 公式为

L_{\mathrm{f}\mathrm{u}}=\frac{{\sum }_{j=\mathrm{1}}^W{\sum }_{i=\mathrm{1}}^H{\sum }_{k=\mathrm{1}}^L{\left(\overline{Y}\left(i,j,k\right)-Y_{fu}\left(i,j,k\right)\right)}^{\mathrm{2}}}{\mathrm{2}HWL}\mathrm{。}（21）

最后整体框架的损失为上述5个损失之和

L={\lambda }_{\mathrm{1}}{L}_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}}+{\lambda }_{\mathrm{2}}{L}_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}}+{\lambda }_{\mathrm{3}}{L}_{\mathrm{s}\mathrm{p}\mathrm{a}\mathrm{t}\_\mathrm{1}}+{\lambda }_{\mathrm{4}}{L}_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{c}\_\mathrm{1}}+{\lambda }_{\mathrm{5}}{L}_{\mathrm{f}\mathrm{u}},（22）

式中： {\lambda }_{\mathrm{1}}， {\lambda }_{\mathrm{2}}， {\lambda }_{\mathrm{3}}， {\lambda }_{\mathrm{4}}， {\lambda }_{\mathrm{5}}为不同损失的权重， 实验中这些值分别为1， 1， 10， 10， 100。

2 实验与结果分析

2.1 数据集

本文采用的数据集是肝胆高光谱图像数据集， 包括880个场景， 其中689个场景是部分癌症区域的样本， 49个场景是充满癌症区域的场景， 142个场景是没有癌症区域的场景， 数据集中每张图像大小为\mathrm{1}\mathrm{024}\times \mathrm{1}\mathrm{280}， 有60个波段。在每张图片中心裁取空间大小为\mathrm{128}\times \mathrm{128}的子区域作为测试集， 裁取右上角空间大小为\mathrm{128}\times \mathrm{128}的子区域作为验证集， 其余区域用于训练。在训练阶段， 数据集中的测试区和验证区用零填充， 在每个epoch中， 每张图像在训练区域随机裁取空间大小为\mathrm{128}\times \mathrm{128}的区域作为训练图像， 这样可以保证训练和测试区域不会重叠。LR-HSI是将高斯模糊的HR-HSI以r=\mathrm{4}的倍率下采样得到， 模糊的HR-HSI预先由标准偏差为2， 大小为\mathrm{5}\times \mathrm{5}的高斯滤波器得到， HR-MSI由HR-HSI等间隔的5幅图像组成。

选择6种深度学习方法作为对比方法评估本文所提模型的性能， 对于所有深度学习模型， 其输入和输出的通道数都自适应于所使用的数据集。在训练阶段， 模型采用Adam优化器， 学习率为\mathrm{1}\times {\mathrm{10}}^{-\mathrm{4}}， 所有模型都采用RTX 3060来进行建模， 批量大小为1， 训练迭代300轮。

2.2 评价指标

采用4个广泛使用的指标来评估所提方法和比较方法的性能， 下面公式中， R_k\left(i,j\right)和Y_k\left(i,j\right)分别为参考HR-HSI和融合HR-HSI在第k个波段中\left(i,j\right)位置的像素值。

1） 均方根误差（Root-Mean-Squared Error， RMSE）用来衡量R和Y之间的差异， RMSE越小， 性能越好。

RMSE=\sqrt[]{\frac{{\sum }_{k=\mathrm{1}}^L{\sum }_{i=\mathrm{1}}^H{\sum }_{j=\mathrm{1}}^W{\left(R_k\left(i,j\right)-Y_k\left(i,j\right)\right)}^{\mathrm{2}}}{HWL}}\mathrm{。}（23）

2） 峰值信噪比（Peak Signal-to-Noise Ratio， PSNR）可以以频带为单位评估重建HR-HSI的空间质量。第k个频段的PSNR定义为

PSNR=\mathrm{10}\mathrm{l}\mathrm{g}\left(\frac{\mathrm{m}\mathrm{a}\mathrm{x}{\left(R_k\right)}^{\mathrm{2}}}{\frac{\mathrm{1}}{HW}{‖R_k-Y_k‖}_{\mathrm{2}}^{\mathrm{2}}}\right),（24）

式中： R_k和Z_k分别为第k个波段的参考图像和合成图像； {‖·‖}_{\mathrm{2}}代表L_{\mathrm{2}}范数。最终的PSNR是所有频段PSNR的平均值， PSNR越高， 性能越好。

3） 全局相对误差（Erreur Relative Globale Adimensionnelle de Synthèse， ERGAS）专为评估高分辨率合成图像的质量而设计， 测量融合的HR-HSI的全局统计质量， 定义为

ERGAS=\frac{\mathrm{100}}{r}\sqrt[]{\frac{\mathrm{1}}{L}{\displaystyle \sum _{k=\mathrm{1}}^L}\frac{{‖R_k-Y_k‖}_{\mathrm{2}}^{\mathrm{2}}}{{\mu }^{\mathrm{2}}\left(R_k\right)}},（25）

式中： r为从HR-HSI到LR-HSI的空间下采样的比率； \mu \left(R_k\right)为第k个波段的参考图像的平均值。ERGAS越小， 性能越好。

4） 光谱角映射器（Spectral Angle Mapper， SAM）通常用于评估每个像素的光谱信息保存程度， 定义为

SAM=\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{c}\mathrm{o}\mathrm{s}\left(\frac{〈R\left(i,j\right),Y\left(i,j\right)〉}{{‖R\left(i,j\right)‖}_{\mathrm{2}}{‖Y\left(i,j\right)‖}_{\mathrm{2}}}\right),（26）

式中： R\left(i,j\right)和Y\left(i,j\right)分别为参考的光谱矢量和\left(i,j\right)像素位置处的估计HR-HSI； 〈R\left(i,j\right),Y\left(i,j\right)〉为R\left(i,j\right)与Y\left(i,j\right)的内积。整体SAM是所有像素SAM的平均值。SAM越低， 性能越好。

2.3 结　果

空间⁃光谱级联差分网络的病理学高光谱图像融合结果如图 3 所示。图 3 第1、 3行是融合图像， 第2、 4行是真实图像， 所示图像均为伪彩色图像。结果表明， 病理学高光谱和多光谱图像融合后的图像在纹理、 颜色和空间细节等方面与真实图像保持了较高的一致性， 展现了清晰、 细节丰富的组织结构和病变特征。由表 1 可知， 采用本文方法得到的融合图像， 4项评价指标RMSE， PSNR， ERGAS和SAM分别到达4.593 7， 32.328 0， 4.668 3和3.635 4。

2.4 讨　论

为了验证本文所提方法的有效性， 将本文所提方法与6种方法在肝胆高光谱数据集上进行对比试验， 实验结果如表 1 所示。

从表 1 可以看出， 本文方法在4项评价指标上取得了较好的融合结果。通过对比的6种方法可以看出， SSFCNN、 TFNet和ResTFNet 3种方法因为缺乏对病理图像的精细特征提取而导致部分细节信息丢失。因此， 在细节丰富的病理高光谱和多光谱图像融合任务中， 这类方法的表现受到了限制， 导致融合效果不佳。ConSSFCNN和MSDCNN通过引入上下文感知机制和多尺度特征提取操作增强了图像的细节表达能力， 在评价结果上有一定的提升。然而与本文方法相比， 这两种方法仍然缺乏对高频信息的提取和处理。SSRNet相较于前面的方法融合结果有一定的提升， 但缺少针对整体和局部的特征提取融合策略。本文采用空间⁃光谱级联设计和特征提取采用大小不同卷积核的方法， 有效兼顾了全局信息和精细特征的提取， 并通过空间⁃光谱边缘损失的约束使得图像融合任务更加专注， 从而进一步提升了性能， 生成了具有较高质量的融合图像。

为了更好地评价融合性能， 图 4 为融合结果的伪彩色图像及差分图像， 第1、 4行表示不同方法， 第2、 5行表示融合结果， 第3、 6行表示差分图。可以看出， ConSSFCNN， TFNet， SSRNet 3种融合方法生成的融合图像与真实图像相比， 黄色方框区域的细胞颜色较浅， 且存在一定的局部细节丢失， 特别是细胞中的细节部分较为模糊， 这是由于这些方法缺乏针对精细特征的提取和融合导致的。SSFCNN， ResTFNet， MSDCNN 3种方法得到的融合图像虽然在黄色方框区域可以看出粗略的细胞轮廓， 但整体空间分辨率低， 绿色长框区域处无法准确观察到细胞分布情况， 这是由于SSFCNN， ResTFNet， MSDCNN 3种方法对于边缘信息保留能力有限， 导致融合结果的细胞边缘部分模糊或失真。

本文方法的融合结果展现了较好的清晰度和细节保留， 与真实图像相比， 整体来看， 图像恢复完整度较高， 色彩还原比较真实， 图像组织结构信息得到较好地恢复； 从局部来看， 黄色方框区域内细胞比较清晰， 局部细节融合效果良好。

这是由于本文的空间⁃光谱级联结构可以兼顾图像的空间和光谱信息， 从而在图像融合过程中捕捉到更充足的信息， 级联网络中的大小核设计有效地平衡了全局信息和精细特征的提取， 对整体和细节有较好的学习， 另外在空间边缘损失和光谱边缘损失的约束下， 使网络专注于相应的模块重建， 可以有效地保留和融合空间域和光谱域中的高频信息， 同时减少伪影和伪细节的出现， 模型可以更好地表达融合图像的结构和纹理特征， 图 4 与表 1 评价指标的结果保持了较好的一致性。

为了清晰展示在训练过程中各项指标的变化趋势， 选取同类方法中较好的3个版本参与对比， 分别为ConSSFCNN、 ResTFNet、 SSRNet， 图 5 为本文方法与3个对比方法的趋势图。可以看出， 本文方法在收敛速度方面具有明显优势， 尤其是epoch从0~50的早期训练中。而且， 本文方法在指标上具有较好的性能上限， 可在epoch从50~300的迭代中看出， 这主要是因为本文提出的空间边缘损失和光谱边缘损失。

3 结束语

本文提出了一种基于空间-光谱级联差分网络的病理学高光谱图像融合方法， 将病理学的高分辨率多光谱图和低分辨率高光谱图融合为高分辨率高光谱图像。该模型通过级联两个空间⁃光谱重建模块， 能够学习到重建的空间信息和光谱信息， 级联网络中不同大小的卷积核设计平衡了全局信息和精细特征的提取， 采用差分的方法设计了空间边缘损失函数和光谱边缘损失函数， 用来约束和优化空间⁃光谱重建模块， 使得相应的重建模块更加专注。本文所提方法和6种优秀的融合模型在肝胆高光谱图像数据集上进行充分的对比试验， 实验结果在客观和主观上都表明了所提方法的优越性， 证明了该方法在病理学高光谱图像融合方面的有效性和可行性。

参考文献

[1] DI J， YIN S J， MA S， et al. Multi⁃focus image fusion based on superpixel and guided filter［J］. Journal of Measurement Science and Instrumentation， 2023， 14（3）： 290-298.

[2] SHAHDOOSTI H R， JAVAHERI N.Pansharpening of clustered MS and pan images considering mixed pixels［J］.IEEE Geoscience and Remote Sensing Letters， 2017， 14（6）： 826-830.

[3] PANDIT V R， BHIWANI R J.Component substitution based fusion of worldview imagery［C］//10th International Conference on Computing， Communication and Networking Technologies， 2019： 1-7.

[4] VIVONE G， RESTAINO R， LICCIARDI G， et al.Multiresolution analysis and component substitution techniques for hyperspectral pansharpening［C］//IEEE Geoscience and Remote Sensing Symposium， 2014： 2649-2652.

[5] LU X， ZHANG J， ZHANG Y.An improved non-subsampled contourlet transform-based hybrid pan-sharpening algorithm［C］//IEEE International Geoscience and Remote Sensing Symposium， 2017： 3393-3396.

[6] LIU J， WU Z， XIAO L， et al.A truncated matrix decomposition for hyperspectral image super-resolution［J］.IEEE Transactions on Image Processing， 2020， 29： 8028-8042.

[7] AKHTAR N， SHAFAIT F， MIAN A.Sparse spatio-spectral representation for hyperspectral image super-resolution［M］.Computer Vision⁃ECCV 2014. Cham： Springer International Publishing， 2014： 63-78.

[8] DONG W， FU F， SHI G， et al.Hyperspectral image super-resolution via non-negative structured sparse representation［J］.IEEE Transactions on Image Processing： a Publication of the IEEE Signal Processing Society， 2016， 25（5）： 2337-2352.

[9] ZARE M， HELFROUSH M S， KAZEMI K， et al.Hyperspectral and multispectral image fusion using coupled non-negative tucker tensor decomposition［J］.Remote Sensing， 2021， 13（15）： 2930.

[10] XU Y， WU Z， CHANUSSOT J， et al.Nonlocal coupled tensor CP decomposition for hyperspectral and multispectral image fusion［J］.IEEE Transactions on Geoscience and Remote Sensing， 2020， 58（1）： 348-362.

[11] KILMER M E， BRAMAN K， HAO N， et al.Third-order tensors as operators on matrices： a theoretical and computational framework with applications in imaging［J］.SIAM Journal on Matrix Analysis and Applications， 2013， 34（1）： 148-172.

[12] OSELEDETS I V.Tensor-train decomposition［J］.SIAM Journal on Scientific Computing， 2011， 33（5）： 2295-2317.

[13] PALSSON F， SVEINSSON J R， ULFARSSON M O.Multispectral and hyperspectral image fusion using a 3D-convolutional neural network［J］.IEEE Geoscience and Remote Sensing Letters， 2017， 14（5）： 639-643.

[14] YUAN Q， WEI Y， MENG X， et al.A multiscale and multidepth convolutional neural network for remote sensing imagery pan-sharpening［J］.IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2018， 11（3）： 978-989.

[15] LIU X， LIU Q， WANG Y.Remote sensing image fusion based on two-stream fusion network［J］.Information Fusion， 2020， 55： 1-15.

[16] XU S， AMIRA O， LIU J， et al.HAM-MFN： hyperspectral and multispectral image multiscale fusion network with rap loss［J］.IEEE Transactions on Geoscience and Remote Sensing， 2020， 58（7）： 4618-4628.

[17] ZHANG X， HUANG W， WANG Q， et al.SSR-NET： spatial-spectral reconstruction network for hyperspectral and multispectral image fusion［J］.IEEE Transactions on Geoscience and Remote Sensing， 2021， 59（7）： 5953-5965.

[18] LIU S， LIU S， ZHANG S， et al.SSAU-Net： a spectral-spatial attention-based u-net for hyperspectral image fusion［J］.IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 5542116.

[19] RAN R， DENG L J， JIANG T X， et al.GuidedNet： a general CNN fusion framework via high-resolution guidance for hyperspectral image super-resolution［J］.IEEE Transactions on Cybernetics， 2023， 53（7）： 4148-4161.

[20] HAN X H， SHI B， ZHENG Y.SSF-CNN： spatial and spectral fusion with cnn for hyperspectral image super-resolution［C］//25th IEEE International Conference on Image Processing， 2018： 2506-2510.

基金资助

山西省回国留学人员科研资助项目(2023-010)

国家自然科学基金资助项目(11804209)