基于Pix2Pix改进的虫食叶片区域重建算法

An Improve Pix2Pix-Based Reconstruction Algorithm for Insect-Damaged Leaf Areas

摘要

准确量化植食性虫食面积，是害虫防治、植物抗虫育种与遗传筛选等应用研究的核心环节。但叶片在自然环境中易受昆虫啃食，产生不规则缺损。针对虫食叶片区域重建问题，提出一种基于Pix2Pix（image-to-image translation with conditional adversarial networks）的图像重建方法。首先，在生成器中引入残差结构和卷积注意力机制（convolutional block attention module，CBAM），增强网络的特征提取与表达能力；随后采用带梯度惩罚项的瓦瑟斯坦生成对抗网络（wasserstein generate adversarial network with gradient penalty，WGAN-GP）判别器替代原始判别器并加入谱归一化（spectral normalization），提升模型训练的稳定性。结果表明，改进算法与原模型相比，结构相似性（structural similarity，SSIM）、峰值信噪比（peak signal-to-noise ratio，PSNR）分别提升4.4%、13.8%，感知相似性（learned perceptual image patch similarity，LPIPS）降低了53.7%。该方法可取得叶脉纹理更清晰、叶边缘语义结构一致性更好的修复效果，为植物叶片表型参数提取提供技术支持。

Abstract

Accurately quantifying the insect-damaged leaf areas is a core component in applied reaserch such as pest control， plant resistance breeding， nad genetic screening. However， leaves in natural environments are susceptible to insect feeding， resulting in irregular damage. To address the problem of insect-damaged leaf areas reconstruction， this paper proposed an image completion method based on Pix2Pix （image-to-image translation with conditional adversarial networks）. Firstly， a residual structure and a convolutional block attention module （CBAM） were introduced into the generator to enhance the network's feature extraction and representation capabilities. Subsequently， the original discriminator was replaced with a WGAN-GP discriminator incorporated with spectral normalization （SN） to improve the stability of model training. The results indicated that， compared with the original model， the improved algorithm achieved an increase of 4.4% in structural similarity （SSIM）， an increase of 13.8% in peak signal-to-noise ratio （PSNR）， and a reduction of 53.7% in learned perceptual image patch similarity （LPIPS）. This method can achieve restoration results with clearer leaf vein textures and better preservation of semantic structural consistency at leaf margins， providing technical support for the extraction of plant leaf phenotypic parameters.

Graphical abstract

关键词

图像修复 / Pix2Pix / 卷积注意力机制 / 残差结构 / 植物表型 / 谱归一化

Key words

Image completion / Pix2Pix / convolutional block attention module （CBAM） / ResNet / plant phenotyping / spectral normalization

0 引言

植物叶片形态是表征植物健康状况、进行物种鉴定与功能研究的关键表型性状^［1］。准确获取完整的叶片形态信息，对农业高产、作物监测及生物多样性保护至关重要^［2］。然而，在自然条件下，叶片易受昆虫啃食影响，出现不同程度的结构缺损，形成残缺叶。残缺叶片图像存在叶片边缘结构丢失的问题，干扰叶片表型的准确分析。传统残缺叶片图像修复主要依靠人工，存在工作效率低、主观性较大和准确性较低等问题。随着图像修复技术的发展，快速准确修复残缺植物叶片成为可能^［3］。

图像修复是计算机视觉中的经典研究。目前图像修复主要可分为传统图像修复方法和基于深度学习的图像修复方法。传统方法如基于扩散或块匹配的修复方法，通过推测邻域像素与纹理合成进行修复，在处理背景简单且纹理连续性良好的图像时表现理想，但在处理复杂背景或纹理变化较大的图像时，效果往往不尽人意^［4］。近年来，基于深度学习的图像修复方法已成为研究主流，Pathak等^［5］提出的上下文编码器（context encoders），采用编码器-解码器结构，辅以均方误差（mean squared error，MSE）损失进行训练，但全局一致性较差。针对上述问题，Iizuka等^［6］提出了全局与局部判别器，全局判别器保持图像的整体结构与局部的一致性，局部判别器评估掩膜区域的纹理和边缘等细节，有效提升生成图像的质量，但面对大面积掩膜时效果不佳。针对这一问题，Goodfellow等^［7］提出生成对抗网络（generative adversarial network，GAN），GAN通过生成器与判别器的对抗性博弈，能够以无监督方式学习复杂数据分布，并生成在视觉上更加逼真的样本，尤其在图像生成领域取得了创新性进展。但GAN仍存在训练过程不稳定，易发生模式崩溃等问题。不同于上述对抗生成方法，葛奕麟等^［8］提出一种基于匹配语义感知的单板缺陷图像修复方法，该方法采用双卷积网络获取更多的内容信息，并引入了匹配注意力模块，保证生成内容的语义相关性和特征连续性，成功去除单板缺陷又能重建缺失区域的内容。但当缺陷区域较大时，修复区域易出现伪影。娄蕴祎等^［9］提出一种图像修复方法——基于可学习的双向注意力映射网络模型的轻量化网络（lightweight learnable bidirectional attention maps net，LL-Net），使用并行与级联的膨胀卷积进行特征融合，解决修复图像内部数据结构损失的问题，并修改掩膜更新的激活函数，获得纹理更清晰、视觉更可信的修复效果。但膨胀卷积的远距离依赖与局部上下文失衡，易导致修复区域的边缘过渡不自然。为解决这一问题，Isola等^［10］提出Pix2Pix（image-to-image translation with conditional adversarial networks），通过U-Net^［11］架构的生成器实现多尺度特征融合，结合PatchGAN判别器强化局部真实性约束，具有较好的灵活性和可扩展性，能够应用于各种图像转换任务。尽管Pix2Pix初步满足残缺叶片图像修复需求，但是仍存在训练过程不够稳定，修复图像结构不完全匹配以及边缘模糊等问题。

针对Pix2Pix模型在叶片修复中仍存在的问题，提出一种基于Pix2Pix改进的植物叶片图像修复方法。通过试验证明，该方法能够有效修复叶形态，重建符合叶形态特征的叶片结构，旨为植物表型特征提取以及叶形态学研究提供技术支持。

1 材料与方法

1.1 数据集构建

本研究的叶片图像修复数据集来源于东北林业大学帽儿山实验林场（45°14′N，127°29′E）。4种树种叶片图像见图1。叶缘作为叶片形态结构的重要组成部分，选取叶缘有一定复杂度的叶片具有代表性。一方面，叶缘形态存在多样性，锯齿、波状和全缘等类型在不同物种乃至同一植株中均可能出现一定变体；另一方面，残缺区域破坏了叶缘结构的连续性，传统形态学方法难以有效实现形态外推重建。针对上述问题，本研究以图1中银白杨、白桦、垂柳及蒙古栎典型树种的叶片为研究对象。上述树种的叶缘形态特征鲜明：银白杨呈不规则浅波状，白桦为重锯齿，垂柳为微齿，蒙古栎为波状钝齿，基本涵盖了我国北方常见叶缘类型，在生成器网络中引入融合残差块的卷积注意力模块提升模型精度，采用WGAN-GP判别器，并在其中引入谱归一化，以提升生成质量与训练稳定性。

在叶片采集过程中，每种树种选取多棵进行采集。叶片采集过程分布均匀，避免单一植株的个体差异影响结果。为了确保采集的叶片处于统一的生长状态，采样时间定在夏季的生长旺季，保证所采集的叶片为新鲜成熟叶片，且避免季节性变化导致的叶片形态差异。在采集过程中，从同一棵植物的不同部位取样叶片，确保样本具有代表性。

1.2 图像数据预处理

叶片采集后，使用高分辨率扫描仪获取叶片的数字图像。扫描仪的分辨率设定为300 dpi，以确保图像的细节能够被充分捕捉。这些数字图像不仅保留了叶片的形态特征，还能准确反映叶片的表面纹理与结构，为后续的图像分析和数据处理提供基础。扫描后共获取629张分辨率为2 480\times3 504像素的叶片图像，每张图像中包含若干叶片。对扫描图像中的叶片进行提取，得到4 000片完整叶片的图像，100片不同程度残缺叶片的图像，将图像大小裁剪为分辨率256\times256像素。先随机选择3 000 张图像用作训练集，其余1 000张用作测试集，然后分别通过4种数据增强方法将训练集扩增至15 000张，测试集扩增至5 000 张。增强方法见图2。

1.3 改进模型

Pix2Pix基于配对监督学习，能够有效恢复虫食叶片的整体轮廓，实现端到端的简化处理流程。改进模型的网络结构图见3。Pix2Pix网络结构主要由2个部分组成：生成器和判别器。通过给原始图像添加掩膜获得输入图像，生成器的作用是从输入图像生成一个与目标图像尽可能相似的图像。判别器的输入是生成器的生成图像和真实的目标图像，其输出一个概率值，用来表示输入图像是否来自真实数据集。

1.3.1 改进Pix2Pix算法

Pix2Pix模型的基础网络特征提取能力有限，难以有效重建叶缘等复杂纹理特征；当判别器优化速度超过生成器时，其输出概率会快速收敛，导致回传至生成器的梯度信号显著减弱，生成器的优化过程会逐渐收敛，引发模式崩溃，造成训练不稳定；由于L1损失函数建立在像素级平均误差基础上，在有多个合理输出的情况下，Pix2Pix模型会倾向于选择不同边缘位置的平均解，从而在纹理边界区域产生过渡平滑的视觉效果，易引发边缘模糊。针对上述问题，本研究改进了其网络结构与损失函数。在生成器中引入卷积注意力机制（convolutional block attention module，CBAM）注意力机制^［12］与残差结构（Residual-CBAM，R-CBAM），增强模型对关键区域的特征感知能力；判别器采用带梯度惩罚项的瓦瑟斯坦生成对抗网络（wasserstein generate adversarial network with gradient penalty，WGAN-GP）^［13］结构并结合谱归一化，提升训练稳定性与生成质量；在损失函数中融入感知损失，提升生成图像在语义特征层面的真实性。改进的Pix2Pix网络结构见图3。

1.3.2 生成器设计

对图像预处理并打上掩膜后，传入生成器网络，经过编码器中的三层下采样模块，进入改进模块，最后经过上采样得到生成图片，同时对上下采样的特征进行跳跃连接。在下采样的过程中，会逐渐丢失叶片图像的边缘信息，导致生成叶片图像的叶缘产生结构不匹配问题。为此，本研究在标准的Pix2Pix生成器架构上进行了改进，在原本U-Net结构的基础上引入了结合CBAM和残差结构的模块，CBAM整体结构见图4。

CBAM由基于SENet^［14］思想改进的通道注意力（channel attention）和空间注意力（spatial attention）组成，通过自适应加权的方式分别强化特征图的通道信息和空间信息。输入特征首先经过通道注意力模块，特征图在空间维度分别进行平均池化与最大池化，后经共享全连接层与激活函数生成一维通道权重，再与输入特征相乘，完成通道维度校准。对获得的特征在通道维度分别进行平均池化与最大池化，所得二维特征拼接后经卷积层生成空间权重图，再与输入相乘。通过通道注意力和空间注意力，使网络能沿2个互补维度筛选重要信息，增强对叶片图像的特征提取能力。在此之上，改进算法将加权特征与原始输入通过恒等路径直接相加，形成最终输出。残差结构直接传递输入信号到输出，允许信息在层间更加顺畅地流动，从而提高网络的稳定性，并优化特征学习过程。

1.3.3 判别器设计

在图像修复任务中，传统生成对抗网络中的判别器，通常被构建为一个基于Sigmoid输出层的二分类器，核心问题在于詹森-香农（Jensen-Shannon divergence，JS）散度。当判别器优化速度超过生成器时，JS散度会达到饱和常数，导致判别器对其输入的梯度消失，生成器所获得的梯度信号会明显减弱，造成训练停滞，为此本模型的判别器采用WGAN-GP判别器。

WGAN-GP严格遵循Wasserstein距离的Lipschitz连续性约束。判别器对真实样本与生成样本进行评分，并计算其Wasserstein距离；生成器则据此更新以最小化该距离。训练时，在真实数据与生成数据之间随机插值采样，构造出一批插值样本，随后前向计算判别器对这些插值样本的输出，并反向传播以求出判别器相对于这些插值样本的梯度范数。梯度范数偏离目标值的惩罚项，将与原始的Wasserstein损失相加，共同作为判别器的最终优化目标。在此基础上，改进还加入了谱归一化^［15］，通过约束判别器中每一层权重矩阵的谱范数，强制整个判别器函数满足Lipschitz连续性条件，进一步提高了训练稳定性。使用WGAN-GP及谱归一化，能够提供更稳定的训练过程，提高生成叶片图像的质量和判别器的准确性。

1.3.4 损失函数

为了更好地完成残缺植物叶片的修复任务，本研究在基准网络对抗损失（adversarial loss）、L1损失（L1 loss）的基础上加入了感知损失^［16］（perceptual loss）来训练网络。

1）L1损失

L1损失（L_{\mathrm{L}\mathrm{1}}）是指模型预测值G(x)和真实值y之间绝对差值的平均值，能保证叶片生成图像与目标图像在像素级别的低误差及宏观结构一致性。计算公式为

L_{\mathrm{L}\mathrm{1}}=\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}\left|y_i-G(x_i)\right|。（1）

式中：n为样本的个数；y_i表示第i个样本的真实值；G(x_i)为第i个样本的生成图像。

2）对抗损失

对抗损失（L_{\mathrm{G}\mathrm{A}\mathrm{N}}）在图像修复领域被广泛应用，可用来提升叶片图像修复的视觉质量。计算公式为

L_{\mathrm{G}\mathrm{A}\mathrm{N}}={\mathbb{E}}_{G\left(x\right)~{\mathit{\mathbb{P}}}_g}\left[D\left(G\left(x\right)\right)\right]-{\mathbb{E}}_{y~{\mathit{\mathbb{P}}}_y}\left[D\left(y\right)\right]+\lambda {\mathbb{E}}_{\widehat{x}~{\mathit{\mathbb{P}}}_{\widehat{x}}}\left[{\left({‖{\nabla }_{\widehat{x}}D\left(\widehat{x}\right)‖}_{\mathrm{2}}-\mathrm{1}\right)}^{\mathrm{2}}\right]。（2）

式中：G(x)为生成图像；y为真实图像；\widehat{x}为插值图像；{\mathit{\mathbb{P}}}_g、{\mathit{\mathbb{P}}}_y和{\mathit{\mathbb{P}}}_{\widehat{x}}分别为生成数据分布、真实数据分布和插值数据分布；\lambda为梯度惩罚参数，设置为10；{\nabla }_{\widehat{x}}D\left(\widehat{x}\right)为判别器在插值\widehat{x}处的梯度。

3）感知损失

感知损失（L_{\mathrm{P}\mathrm{e}\mathrm{r}\mathrm{c}}）主要用于保持叶片图像的高层次结构和纹理，弥补了L1损失的不足。计算公式为

L_{\mathrm{P}\mathrm{e}\mathrm{r}\mathrm{c}}={\displaystyle \sum _{i=\mathrm{1}}^L}\frac{\mathrm{1}}{C_i{H}_i{W}_i}{‖{\mathrm{\varnothing }}_i\left(G\left(x\right)\right)-{\mathrm{\varnothing }}_i\left(y\right)‖}_{\mathrm{2}}^{\mathrm{2}}。（3）

式中：{\mathrm{\varnothing }}_i(x)为第i个池化层的特征映射，形状为C_i\times H_i\times W_i；本研究使用VGG-19预训练网络^［17］的前L层，选取L=3；C_i、H_i和W_i分别为第i层特征图的通道数、高度和宽度。

4）总损失函数

考虑上述所有损失函数，总损失L表示为

L={\lambda }_{\mathrm{1}}{L}_{\mathrm{G}\mathrm{A}\mathrm{N}}+{\lambda }_{\mathrm{2}}{L}_{\mathrm{L}\mathrm{1}}+{\lambda }_{\mathrm{3}}{L}_{\mathrm{P}\mathrm{e}\mathrm{r}\mathrm{c}}。（4）

式中，{\lambda }_{\mathrm{1}}、{\lambda }_{\mathrm{2}}、{\lambda }_{\mathrm{3}}\mathrm{为权}\mathrm{重参}\mathrm{数}，根据改进算法将{\lambda }_{\mathrm{1}}设置为1，{\lambda }_{\mathrm{2}}设置为100，{\lambda }_{\mathrm{3}}设置为10，无论是在像素层面还是感知层面都能很好地提升修复图像的质量。

1.4 评价指标

为验证本修复方法应用于残缺植物叶片修复的有效性，本研究采用修复算法的常用评估指标：峰值信噪比（peak signal-to-noise ratio，PSNR）、结构相似性（structural similarity，SSIM）^［18］和感知相似性（learned perceptual image patch similarity，LPIPS）^［19］，以全面衡量生成图像的效果。

PSNR是基于MSE的一种衍生指标，用来衡量生成叶片图像的真实性，单位为分贝（dB），其通过对图像信号的最大值与噪声的比值进行计算，反映图像的恢复质量。PSNR值越高，表示图像的质量越好，恢复的图像与原图的相似度越高。对于高质量图像，PSNR值通常大于30 dB，低于20 dB时则表示图像质量较差。

MSE是原始图像和修复图像之间的每个像素差异平方的平均值，MSE（式中记为M_SE）和PSNR（式中记为P_SNR）定义为

M_{\mathrm{S}\mathrm{E}}=\frac{\mathrm{1}}{mn}{{\displaystyle \sum _{i=\mathrm{0}}^{m-\mathrm{1}}}{\displaystyle \sum _{j=\mathrm{0}}^{n-\mathrm{1}}}\left[I\left(i,j\right)-K\left(i,j\right)\right]}^{\mathrm{2}}。（5）

P_{\mathrm{S}\mathrm{N}\mathrm{R}}=\mathrm{10}\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{10}}\left(\frac{{\left({\mathrm{2}}^B-\mathrm{1}\right)}^{\mathrm{2}}}{M_{\mathrm{S}\mathrm{E}}}\right)。（6）

式中：m和n为图像行和列的像素数；I(i,j)为真实图像的第(i,j)像素值；K(i,j)为生成图像的第(i,j)像素值；B为每个像素的比特数。

SSIM通过比较图像的亮度、对比度和结构三方面的相似性，来衡量生成叶片图像的结构匹配程度，符合人眼对图像的主观感知。SSIM的取值范围为（0，1），值越接近1，表示两幅图像的结构越相似，视觉效果越好。SSIM特别适合评估图像的主观质量，尤其是当图像中存在细节和结构变化时。给定2个图像x和y，SSIM（式中记为S_SIM）计算公式为

S_{\mathrm{S}\mathrm{I}\mathrm{M}}\left(x,y\right)=\frac{\left(\mathrm{2}{\mu }_x{\mu }_y+c_{\mathrm{1}}\right)\left(\mathrm{2}{\sigma }_{xy}+c_{\mathrm{2}}\right)}{\left({\mu }_x^{\mathrm{2}}+{\mu }_y^{\mathrm{2}}+c_{\mathrm{1}}\right)\left({\sigma }_x^{\mathrm{2}}+{\sigma }_y^{\mathrm{2}}+c_{\mathrm{2}}\right)}。（7）

式中：{\mu }_x为x的平均值；{\mu }_y为y的平均值；{\sigma }_x^{\mathrm{2}}为x的方差；{\sigma }_y^{\mathrm{2}}为y的方差；{\sigma }_{xy}为x和y的协方差；c_{\mathrm{1}}=(k_{\mathrm{1}}{L)}^{\mathrm{2}}，c_{\mathrm{2}}=(k_{\mathrm{2}}{L)}^{\mathrm{2}}，为用来维持稳定的常数，L为像素值的动态范围，k_{\mathrm{1}}=\mathrm{0.01}，k_{\mathrm{2}}=\mathrm{0.03}。

LPIPS用于度量图像之间的感知差异，以评估所生成叶片图像的感知质量。LPIPS强制生成器学习从生成图像中重构真实图像的反向映射，并优先处理两图之间的感知相似度。LPIPS值越低表示两张图像越相似，反之，则差异越大。给定真实图像参照块x和含掩膜失真块x_{\mathrm{0}}，d表示x_{\mathrm{0}}与x之间的感知距离，从x和x_{\mathrm{0}}中提取特征图，并在通道维度中进行单位归一化，利用向量\mathit{\omega }来放缩激活通道数。最终计算L2距离，后在空间上平均，在通道上求和。感知距离（d(x,x_{\mathrm{0}})）计算公式为

d\left(x,x_{\mathrm{0}}\right)={\displaystyle \sum _{i=\mathrm{1}}^L}\frac{\mathrm{1}}{H_i{W}_i}{\displaystyle \sum _{h=\mathrm{0}}^{H-\mathrm{1}}}{\displaystyle \sum _{w=\mathrm{0}}^{W-\mathrm{1}}}‖{\mathit{\omega }}_i\odot \left({\widehat{y}}_{h,w}^i-{\widehat{y}}_{\mathrm{0}h,w}^i\right)‖。（8）

式中：x为生成图像；x_{\mathrm{0}}为真实图像；L为VGG-19网络特征提取层数，设置L=3；H_i和W_i分别为第i层特征图的高度和宽度；{\widehat{y}}_{h,w}^i和{\widehat{y}}_{\mathrm{0}h,w}^i分别为生成图像和真实图像在第i层归一化激活特征图；{\mathit{\omega }}_i为第i层的可学习的通道权重向量。

1.5 试验环境以及训练参数设置

本试验硬件平台配置为：Intel（R） Core（TM） i7-13700K CPU与NVIDIA GeForce RTX 4090 GPU。软件环境基于Ubuntu20.04操作系统，采用PyTorch^［20］1.9.1框架与Python3.9语言进行实现。试验数据为自建的帽儿山试验林场叶片图像数据集，其中训练集包含15 000张图像，测试集包含5 000张图像，用于模型训练与性能评估。在模型训练阶段，采用随机梯度下降策略，将初始学习率设置为0.000 2，动量参数设置为0.5，共进行150轮训练。特征提取部分使用VGG-19（visual geometry group-19）预训练网络，并对整个模型进行端到端训练。为全面评估本研究所提生成器的性能，在相同试验条件下，与DCGAN^［21］、LSGAN^［22］、Pix2Pix及WGAN-GP共5种主流生成模型进行了对比试验。此外，为深入分析本研究方法中各模块的贡献，在数据集上进行了系统性消融试验。

2 结果与分析

2.1 定性分析

在定性分析中，与基于卷积神经网络的对抗生成网络（deep convolutional generate adversarial network，DCGAN）、采用了最小二乘损失的最小生成网络（least squares generative adversarial networks，LSGAN）、条件对抗生成网络代表Pix2Pix和基于Wasserstein距离及梯度惩罚的对抗生成网络WGAN-GP进行对比试验，以验证本研究方法的有效性。图5展示了不同方法在植物叶片修复任务中的修复效果。图5（a）为原图像（ground truth，GT）。图5（b）为增加掩膜后的图像（Masked）。图5（c）显示了DCGAN在修复过程中存在的重复纹理和伪影问题，尤其是在结构连贯性恢复上不够理想，导致修复结果的细节丢失或者产生不自然的纹理。图5（d）在结构上有所改善，但在修复区域仍存在伪影问题。由图5（e）可以看出，基准算法Pix2Pix在整体表现上较为优异，但在修复区域上存在纹理结构不匹配的问题。图5（f）的WGAN-GP修复结果相较于前三者略有改善，但在某些复杂或者大面积的掩膜区域中仍然会出现较为明显的伪影。相比之下，本研究提出的改进方法通过引入R-CBAM注意力模块来增强生成器的特征提取能力，同时采用WGAN-GP作为判别器，能够有效地缓解伪影和纹理不匹配的问题。由图5（g）可以看到，本方法（Ours）在修复过程中成功恢复了更多的语义信息，并且修复结果的纹理和结构与真实叶片更加一致。此外，加入了感知损失的损失函数，使得修复效果更加稳定，细节更加丰富，避免了以往方法中可能出现的严重伪影和结构不连贯的情况。通过与其他方法的对比，本研究的改进方法在修复效果上表现出了较大的优势。

2.2 定量分析

PSNR和SSIM的值越高则证明修复效果越好，LPIPS的值越小证明修复效果越好。通过调节掩膜尺寸占比（S），使其占叶片图像总面积的比例分别为3个区间：A组：10%≤S<15%；B组：15%≤S<25%；C组：25%≤S≤35%。5种方法对不同大小掩膜修复后图像的有效性分析结果见表1。

从SSIM指标分析，掩膜占比在A组区间下，本研究方法的SSIM指标达到了最优，相比DCGAN、LSGAN、Pix2Pix和WGAN-GP分别提升了29.7%、26.9%、4.4%和3.8%。且在不同掩膜占比下均为最优值，表明改进算法生成的图像，符合叶片的生长规律，更加具有应用价值。

从PSNR指标分析，掩膜占比在B组区间下，本研究方法的PSNR指标达到了最高的40.22dB，与DCGAN、LSGAN、Pix2Pix和WGAN-GP相比，分别提升了63.2%、25.4%、13.8%和3.7%。表明改进算法具有更加精细的纹理结构，生成的叶片图像更加具有真实性。

从LPIPS指标分析，掩膜占比在C组区间下，本研究算法取得了最优，与DCGAN、LSGAN、Pix2Pix和WGAN-GP相比，分别降低了87.1%、84.8%、53.7%和25.5%。且在不同掩膜大小下均为最优值，证明生成的叶片图像更加自然。

由表1可以看出，本研究提出的改进方法相较于对比算法，在量化指标上取得了更好的修复性能，在处理植物叶片图像时，修复结果更加自然、语义连贯以及伪影得到了有效缓解。

2.3 消融试验

为验证修复算法的改进是否有效，设计一组消融试验进行对比分析，同时为保证试验的准确性，训练过程中均采用相同参数。取不同改进方法分别进行测试，将每组PSNR、SSIM和LPIPS指标相加取平均数，植物叶片图像的修复算法消融试验结果见表2。由表2可以看出，与未改进的Pix2Pix网络相比，引入R-CBAM，模型通过动态地强化信息丰富的特征通道并聚焦于空间关键区域，优化了图像的结构性重建，SSIM提升3.8%，PSNR提升6.4%，LPIPS降低1.7%。在此基础上，引入S-WGAN-GP（在WGAN-GP判别器引入谱归一化），提供了平滑且可靠的梯度信号，使得生成器能够进行更充分的优化，从而提升训练稳定性，具体表现为PSNR提升13.3%，SSIM基本不变，同时LPIPS降低26%。同时引入3种改进，PSNR提升13.8%；SSIM提升4.3%；LPIPS下降53.7%。改进后的Pix2Pix网络能克服复杂的环境背景影响，在提升植物叶片修复图像PSNR的同时提升了SSIM，有效地平衡了修复效果。从试验数据上看，只引入S-WGAN-GP和Perceptual Loss改进的模型，在PSNR指标上高于同时引入3种改进的模型。PSNR指标的下降可能源于R-CBAM生成更丰富的纹理细节，这些高频成分会增大像素级误差。而SSIM和LPIPS指标的提升则表明R-CBAM的空间注意力机制能强化轮廓特征，残差连接保障了结构信息的有效传递，使生成图像在视觉结构上更接近真实。

3 结论与讨论

植物叶片在生长过程中易形成残缺，且叶片边缘结构一旦丢失便难以重建，干扰了叶片表型的准确测量与分析。针对上述问题，本研究提出一种基于Pix2Pix模型的残缺叶片区域重建方法。为解决U-Net生成器对关键区域感知能力有限的问题，引入R-CBAM模块，以增强模型对关键特征的提取能力；为进一步提升训练稳定性，判别器采用WGAN-GP结构，并引入谱归一化，实现对判别器的全局Lipschitz约束；为缓解L1损失导致的修复边界模糊问题，在损失函数中融入感知损失，从语义特征层面约束生成图像的真实性。

定量分析结果表明，改进模型在结构相似性（SSIM）、峰值信噪比（PSNR）和感知相似度（LPIPS）3项指标上，相较于基准Pix2Pix模型，SSIM和PSNR分别提升了4.4%、13.8%，LPIPS减少了53.7%，表明该模型在叶片结构的整体保真度与重建精度上均有所改善。这说明通过引入针对性的注意力机制与损失函数，能够有效提升图像修复模型在植物叶片重建任务中的综合性能。李培育等^［23］研究表明，在人脸超分辨率任务中引入感知损失可改善重建图像的视觉感知质量。本研究在植物叶片修复任务中得到了与之一致的结论，进一步验证了感知损失在提升图像语义真实性方面的有效性。

在消融试验中，本模型的PSNR指标虽略低于最优值0.34 dB，但在SSIM与LPIPS两项指标上均取得了最佳表现。这说明尽管像素级数值偏差略有增加，但模型在局部结构保持与深层特征感知相似性方面表现更优。卢鹏等^［24］研究表明，在植物表型参数提取过程中，叶片的结构相似度与叶片轮廓的准确闭合更为关键。本方法通过强化对关键特征的感知，提高了叶片图像结构修复的准确性。

本方法在叶片修复中已展现出良好的应用潜力，并可拓展至文物图像修复等领域，例如用于重建受损古籍、绘画等的原始面貌，从而辅助提升文物修复工作的效率与准确性。但改进后模型复杂度的增加也带来了计算成本的提升，后续研究需在重建精度与计算效率之间进一步权衡。

参考文献

[1] 李耀琪，王志恒.植物叶片形态的生态功能、地理分布与成因［J］.植物生态学报，2021，45（10）：1154-1172.

[2] LI Y Q， WANG Z H.Leaf morphological traits：Ecological function，geographic distribution and drivers［J］.Chinese Journal of Plant Ecology，2021，45（10）：1154-1172.

[3] JIN X， YANG W， DOONAN J H，et al.Crop phenotyping studies with application to crop monitoring［J］.The Crop Journal，2022，10（5）：1221-1223.

[4] 李月龙，高云，闫家良，等.基于深度神经网络的图像缺损修复方法综述［J］.计算机学报，2021，44（11）：2295-2316.

[5] LI Y L， GAO Y， YAN J L，et al.Image inpainting methods based on deep neural networks：A review［J］.Chinese Journal of Computers，2021，44（11）：2295-2316.

[6] 王阿川.基于变分PDE的单板缺陷图像检测及修补关键技术研究［D］.哈尔滨：东北林业大学，2011.

[7] WANG A C.Research on the key technology of veneer defect image detection and patching based on variational PDE［D］.Harbin：Northeast Forestry University，2011.

[8] PATHAK D， KRAHENBUHL P， DONAHUE J，et al.Context encoders：Feature learning by inpainting［C］//Proceedings of the IEEE conference on computer vision and pattern recognition，2016：2536-2544.

[9] IIZUKA S， SIMO-SERRA E， ISHIKAWA H.Globally and locally consistent image completion［J］.ACM Transactions on Graphics，2017，36（4）：1-14.

[10] GOODFELLOW I， POUGET-ABADIE J， MIRZA M，et al.Generative adversarial networks［J］.Communications of the ACM，2020，63（11）：139-144.

[11] 葛奕麟，孙丽萍，王頔.基于匹配语义感知的单板缺陷图像修复研究［J］.森林工程，2024，40（1）：98-105.

[12] GE Y L， SUN L P， WANG D.Image inpainting research of veneer defect based on match attention［J］.Forest Engineering，2024，40（1）：98-105.

[13] 娄蕴祎，张冬妍，葛奕麟，等.基于改进双向注意力映射的单板图像修复［J］.森林工程，2023，39（2）：132-138.

[14] LOU Y Y， ZHANG D Y， GE Y L，et al.Image inpainting of veneer with improved learnable bidirectional attention maps［J］.Forest Engineering，2023，39（2）：132-138.

[15] ISOLA P， ZHU J Y， ZHOU T，et al.Image-to-image translation with conditional adversarial networks［C］//Proceedings of the IEEE conference on computer vision and pattern recognition，2017：1125-1134.

[16] RONNEBERGER O， FISCHER P， BROX T.U-net：Convolutional networks for biomedical image segmentation［C］//International Conference on Medical Image Computing and Computer-Assisted Intervention.Cham：Springer International Publishing，2015：234-241.

[17] WOO S， PARK J， LEE J Y，et al.Cbam：Convolutional block attention module［C］//2018 European Conference on Computer Vision （ECCV）.Springer，Cham，2018：3-19.

[18] GULRAJANI I， AHMED F， ARJOVSKY M，et al.Improved training of Wasserstein GANs［J］.Advances in Neural Information Processing Systems，2017，30：1-11.

[19] HU J， SHEN L， SUN G.Squeeze-and-excitation networks［C］//Proceedings of the IEEE conference on computer vision and pattern recognition，2018：7132-7141.

[20] MIYATO T， KATAOKA T， KOYAMA M，et al.Spectral normalization for generative adversarial networks［J］.arXiv preprint arXiv：2018.

[21] JOHNSON J， ALAHI A， LI F F.Perceptual losses for real-time style transfer and super-resolution［C］//European Conference on Computer Vision.Cham：Springer International Publishing，2016：694-711.

[22] WEN L， LI X， LI X，et al.A new transfer learning based on VGG-19 network for fault diagnosis［C］//2019 IEEE 23rd International conference on computer supported cooperative work in design（CSCWD）.IEEE，2019：205-209.

[23] HORÉ A， ZIOU D.Image quality metrics：PSNR vs.SSIM［C］//2010 20th international conference on pattern recognition.IEEE，2010：2366-2369.

[24] SNELL J， RIDGEWAY K， LIAO R，et al.Learning to generate images with perceptual similarity metrics［C］//2017 IEEE international conference on image processing（ICIP）.IEEE，2017：4277-4281.

[25] PASZKE A， GROSS S， MASSA F，et al.Pytorch：An imperative style，high-performance deep learning library［J］.Advances in neural information processing systems，2019：32.

[26] RADFORD A， METZ L， CHINTALA S.Unsupervised representation learning with deep convolutional generative adversarial networks［J］.arXiv preprint arXiv：1511. 06434，2015.

[27] MAO X， LI Q， XIE H，et al.Least squares generative adversarial networks［C］//Proceedings of the IEEE international conference on computer vision，2017：2794-2802.

[28] 李培育，张雅丽，张奕博，等.基于自适应卷积与联合损失函数的人脸图像超分辨率重建［J］.科学技术与工程，2025，25（6）：2442-2452.

[29] LI P Y， ZHANG Y L， ZHANG Y B，et al.Face image super-resolution reconstruction based on adaptive convolution and joint loss function［J］.Science Technology and Engineering，2025，25（6）：2442-2452.

[30] 卢鹏，孙天文，陈明，等.基于YOLO v8和CycleGAN的红掌植株表型参数自动提取方法［J］.农业机械学报，2024，55（11）：154-159，319.

[31] LU P， SUN T W， CHEN M，et al.Automatic extraction of phenotypic parameters from Anthurium andraeanum Linden based on YOLOv8 and CycleGAN［J］.Transactions of the Chinese Society for Agricultural Machinery，2024，55（11）：154-159，319.

基金资助

国家重点研发计划项目(2021YFD1500705)