基于群体图像识别的生菜鲜重估算方法研究

Image recognition of lettuce fresh weight through group estimation

摘要

为提高温室环境最优控制中生菜信息在线反馈精度，通过群体图像识别研究生菜鲜重估算方法；通过生菜群体图像和单株图像，研究群体估算时误差正负相消对整体误差的改善作用，评估生菜遮挡问题对估算精度的影响，并研究能否通过改进深度学习的损失函数以实现对估算精度的进一步提高。结果表明：1）与不存在遮挡问题的单株图像生菜鲜重估算结果相比，基于群体图像裁剪的生菜鲜重估算决定系数（R²）低0.010 8， 归一化均方根误差（NRMSE）高2.69%，平均绝对百分误差（MAPE）低2.36%，虽然估算精度略低，但是生菜群体的遮挡问题更能反映生产实际。2）群体估算虽然存在遮挡问题导致裁剪不完整，但根据误差正负相消原理，相比没有遮挡的单株估算结果MAPE仍然低3.49%，因此更适用于生菜产量信息反馈。3）基于更优化MAPE的损失函数平均平方百分误差（MSPE），可以进一步降低群体估算的MAPE至8.46%，满足“软测量”对估算精度的需求。考虑到温室生菜的实际生产情况，群体估算更适合用于温室环境最优控制中生菜产量信息的在线反馈，通过深度学习等方法的优化，可以将生菜产量的估算误差降低至10%以内。

Abstract

The lettuce fresh weight estimation through group images was researched to increase the accuracy of online feedback of lettuce information in optimal control of greenhouse climate. Based on the group and single lettuce images， the decrease of over error was investigated through cancellation of positive and negative errors based on group estimation. The influence of occlusion on estimation accuracy was quantified. The improvement of estimation accuracy was realized by introducing a novel loss function with the method of deep learning. The results showed that： 1）Compared with the estimation results of lettuce images in single plant images without occlusion， the determination coefficient（R²） of lettuce fresh weight estimation based on group estimation cropping decreased 0.010 8， the normalized root mean squared error（NRMSE） increased 2.69%， and the mean absolute percentage error（MAPE） decreased 2.36%. Although the estimation was slightly lower， the occlusion of the lettuce group can be close to real production. 2）Although there were occlusion issues in group estimation that led to incomplete cropping， the MAPE in group estimation with the cancellation of positive and negative errors was still 3.49% lower than that in single-lettuce estimation. Therefore， group estimation was a better way of providing feedback on lettuce yield. 3）Based on a more optimized MAPE， mean squared percentage error（MSPE） of the loss function can be further decreased to 8.46% which satisfied the requirements on the estimation accuracy of a “soft sensor”. Considering the reality of greenhouse lettuce production， group estimation is a better way to provide online feedback on lettuce yield to the optimal control of the greenhouse climate. Through optimization methods such as deep learning， the estimation error of lettuce yield can be decreased to within 10%.

Graphical abstract

关键词

群体估算 / 生菜鲜重 / 图像识别 / 深度学习

Key words

group estimation / lettuce fresh weight / image recognition / deep learning

生菜为叶类蔬菜，含有蛋白质、糖类、膳食纤维、维生素C、生菜素和甘露醇等多种营养成分，具有预防贫血、防癌、抗衰老、降低血压和防止心律紊乱等功能^［1-2］。设施栽培中作物生长的指示性特征之一是作物鲜重的动态变化。测量生菜的鲜重可以提供有关植物生长和发育情况的重要信息，这些信息有助于评估生菜的健康程度、生长速度和生物量积累。通过监测生菜的鲜重，农户和研究人员可以及时调整栽培管理措施，以促进作物的生长和产量^［3］。此外，鲜重也是评估农作物品质和市场价值的重要指标之一^［4］。

环境的精准控制对温室作物的生长至关重要，而温室环境-作物生长机理模型^［5］是模型预测控制^［6］或最优控制^［7］的基础，缺乏有效的作物生长模型以及适当的植物参数在线测量方法是阻碍最优控制算法实施的关键因素^［8］。在设施栽培过程中，为测量生菜鲜重，常规方法涉及将生菜取出栽培板，抖去叶片上多余水分并迅速称重。然而，这种方法可能对生菜的根系造成损伤，并且在群体估测中，主观选择生菜和取平均值的过程容易受到误差影响^［9］。间接的测量方法即通过作物生长模型计算的“软测量”方法，Xu等^［10］基于生菜生长模型开发了温室生菜干物质的“软传感器”，但是这种方法仅在作物生长模型非常精确时才有效。

随着机器视觉和人工智能技术的发展，基于作物图像的数据驱动“软测量”方法为植物参数测量提供了新的思路^［11］。浅层机器学习方法通常需要将生菜图像与其背景进行分割，根据人工经验提取与作物长势相关的数字参数，并将标注的作物长势数据与提取的数字参数进行拟合。基于RGB图像^［12-18］和3D点云图像^［19-20］，研究人员通过机器学习方法对生菜鲜重估算方法进行了大量的研究。Zhang等^［21］针对3种生菜品种（Flandria、Tiberius和Locarno）对3种生菜长势参数（鲜重、干重和叶面积）进行了图像识别方法对比，结果发现，相比线性回归、随机森林和支持向量回归等浅层机器学习方法，基于卷积神经网络的深度学习方法可以取得更高的估测精度，且避免了图像分割以及人工提取数字特征的步骤。崔庭源等^［22］研究了基于不同卷积神经网络的不同迁移学习方法，可以有效降低训练时间，提高估算精度。

需要注意，现有生菜鲜重图像识别方法大多基于单株生菜图像，基于生菜群体图像的研究相对较少。如van Henten^［23］利用全尺寸实验温室的生菜群体图像通过3种估算模型对生菜冠层相对覆盖面积和生菜干重之间进行了回归分析，估算的生菜干重均落于95%置信区间。Li等^［24］从单株和群体2个角度构建生菜生长势图像检测法，针对群体生菜，利用投影图像计算得到群体生菜覆盖指数，再手工测量并算得群体生菜体积指数，以体积指数为因变量，以覆盖指数为自变量建模并进行回归分析，模型显著性检验概率均小于0.000 1，且决定系数均大于0.89。表明利用生菜投影面积、株高和群体覆盖指数这3项指标表征生菜生长势具有科学性和可行性。现有针对生菜群体图像进行的估算研究存在以下问题：1）并未考虑生菜鲜重这一与生菜产量直接相关的长势参数；2）大多将群体生菜作为一个整体考虑投影面积，并未考虑生菜间互相遮挡所造成的影响；3）大多根据表型参数进行简单的线性回归，并未考虑深度学习的方法。基于Zhang等^［21］的对比，深度学习方法的估算精度高于线性回归等浅层机器学习方法，因此需要基于深度学习方法研究通过生菜群体图像的鲜重估算方法。

本研究通过生菜群体图像，基于位置进行单株图像裁剪，利用深度学习方法研究生菜鲜重估算方法，量化遮挡问题对估算精度的影响，通过优化卷积神经网络模型结构和损失函数降低群体估算的误差，旨在为温室环境最优控制系统中生菜产量实时检测“软传感器”的开发提供理论依据。

1　材料与方法

1.1　生菜图像和鲜重采样试验

本试验在北京市顺义区中国农科院农业环境与可持续发展研究所试验温室进行，生菜品种为‘国产创新２号’奶油生菜，采用深液流的无土栽培模式，栽培间距为20 cm，每块栽培板等距种植9颗生菜（图1）。生菜定植一周后，即2021年6月10日开始进行采样，采样日期分别为6月10、11、16、22、23、25、29、30日，7月1、6~8、16~23日，共计20 d。

每次采样时，从栽培池中随机选取不相邻的4个栽培板，将所有生菜分别拍摄群体图像和单株图像，如图2所示，并对单株生菜进行称重。称重时，用吸水纸将生菜根部和海绵块上的水分吸干，称得生菜的带根鲜重数据。鲜重数据的采集通过电子分析天平完成，天平型号为YP3002B，精度为0.01 g，最大量程为300 g。

群体图像采用小米9手机进行拍摄，图片分辨率为4 000像素×3 000像素，手机相机距离栽培板的高度为130 cm。单株生菜图像拍摄采用SmartFLY品牌的无畸变USB摄像头，相机型号为SY012HD，焦距为35 mm固定焦距，图片分辨率为1 920像素×1 080像素。相机固定在距地面78 cm的架子上，将生菜放置在100 mL标准规格的锥形瓶中，相机距离锥形瓶口距离为67.5 cm，地面上铺设纯白色泡沫板作为拍摄背景。经过20 d的采样，共采集20张群体图像和720张单株图像，生菜鲜重分布如图3所示。可以看出，生菜的重量基本符合正态分布，但是10 g以内的生菜数量较多，这是因为生菜早期的生长速度较慢。

1.2　图像处理

1.2.1　群体图像预处理

为了处理原始图像中的过多背景像素，本研究采用手动方式剪切原图。经过剪切，群体生菜图像的分辨率为3 000像素×3 000像素。针对群体生菜样本数量较少的情况，本研究以单个栽培板为一个群体生菜样本单位，利用Python程序将手动剪切后的4个群体生菜样本分割成A、B、C、D 4个栽培板图像。每个群体生菜样本的分辨率为1 500像素×1 500像素。进一步考虑到每个栽培板中固定种植9株生菜，且打孔位置是固定的，本研究将每个栽培板划分为9个500像素×500像素的正方形区域，裁剪出了栽培板个体生菜的图像样本（图4）。

1.2.2　单株图像预处理

为了研究生菜遮挡问题对估测精度的影响，在采集栽培板群体生菜图像后进行单株图像采集用于对比试验。单株图像原始分辨率为1 920像素×1 080像素，为了裁剪感兴趣区域（ROI），利用Python进行中心裁剪，裁剪后的生菜图像分辨率为600像素×600像素（图5）。

1.2.3　数据集划分

群体生菜样本数据集划分：以单个栽培板为一个群体生菜样本单位，采样试验共20 d，每天采集4个栽培板的生菜样本，合计获得20×4=80个群体样本。为了确保模型对全生长期的生菜样本均可达到较好的估测能力，在每一次采样时随机抽取一个群体样本进入测试集，最终测试集原始样本数量为20，训练集原始样本数量为60。划分后的样本按照图4的裁剪方式分割为栽培板个体样本，模型对栽培板个体样本进行鲜重估测，按照样本所在栽培板群体分别进行估测值和真值的加总，得到群体生菜样本鲜重的估测值和真值。

单株生菜样本数据集划分：单株生菜样本数据集划分结果与群体生菜样本数据集划分完全一致，仅将图像样本改为对应的个体图像（图5），划分后训练集原始样本数量为60×9=540，测试集原始样本数量为20×9=180。量化遮挡问题对估算结果的影响时，单株生菜样本鲜重估测值与真值的计算方式同上。当对比加总误差与单株误差时，每株生菜单独计算绝对百分误差（APE）。

1.2.4　图像数据扩充

为了增加数据的多样性并提高模型的泛化能力，采用了旋转、翻转和色彩抖动等技术来扩充训练集数据。具体操作包括将原始图像进行90°、180°和270°的旋转，以及水平和垂直方向的翻转。此外，为了消除光照对模型估测效果的影响，我们调整图像的亮度为原始图像的0.8倍、0.9倍、1.1倍和1.2倍。数据扩充的方式如图6所示。经过数据扩充后，训练集的数量为原始样本的6×5=30倍。这种扩充方式能够使训练集更加丰富多样，有助于提高模型的泛化能力和抗干扰能力。

1.3　优化分析方法

1.3.1　模型结构优化

由于生菜在生长后期叶片较大，导致群体样本遮挡严重（图2），因此基于Zhang等^［21］提出的估测模型对比栽培板个体图像样本（群体生菜样本分割所得图像）和单株生菜图像样本（放置在锥形瓶中拍摄的图像）的估测结果，探究遮挡问题对于模型估测效果的影响。

在验证遮挡问题对产量估测效果的影响后，进一步探究产量估测精度提高方法。具体方式为调研深度学习现有的经典模型，同时优化Zhang等^［21］的模型结构，对比经典模型和优化已有模型结构对生菜产量估测问题的影响。本研究对比的模型结构包括经典模型：ResNet18^［25］、MobileNetV3Small^［26］和EfficientNetV2Small^［27］以及基于现有模型^［21］改进的模型结构CNN_284（图7）。与Zhang等^［21］的模型相比，CNN_284删掉了填充层，并增加了一层卷积层和一层池化层。因此，CNN_284输入图片的像素大小为284×284，且后面卷积层和池化层的尺寸与Zhang等^［21］相比均有不同。

1.3.2　损失函数优化

在上述研究基础上，针对回归问题的损失函数进行优化，将一般使用的损失函数均方误差MSE（公式（1））优化为更注重优化MAPE（公式（2））的损失函数平均平方百分误差（Mean squared percentage error， MSPE）。注意，由于MAPE计算公式中存在绝对值，增加了优化过程中求导数的难度，因此MAPE不可以直接作为损失函数。R²和归一均方根误差（Normalized root-mean-square error，NRMSE）更注重模型拟合的统计结果，而如果要开发“软传感器”，MAPE可以更好的反映“软测量”的精度。经过MSPE损失函数的优化，对于不同重量的生菜均可以降低相应比例的相对误差。计算公式如下：

\mathrm{M}\mathrm{S}\mathrm{E}=\frac{\mathrm{1}}{m}{\displaystyle \sum _{i=\mathrm{1}}^m}{\left(S_i-E_i\right)}^{\mathrm{2}}（1）

\mathrm{M}\mathrm{A}\mathrm{P}\mathrm{E}=\frac{\mathrm{1}}{m}{\displaystyle \sum _{i=\mathrm{1}}^m}\frac{\left|S_i-E_i\right|}{S_i}（2）

\mathrm{M}\mathrm{S}\mathrm{P}\mathrm{E}=\frac{\mathrm{1}}{m}{\displaystyle \sum _{i=\mathrm{1}}^m}{\left(\frac{S_i-E_i}{S_i}\right)}^{\mathrm{2}}（3）

式中：m为样本数量；i为第i个样本；S为采样值；E为估算值。

本研究中对比的MAPE指标有2个，MAPE1的计算方法为：每个栽培板的9颗生菜估算结果和真值分别加总，求出每个栽培板的APE，再通过20个测试集取平均值计算MAPE。MAPE2的计算方法为：计算每颗单株生菜的APE，再通过测试集180颗生菜取平均值计算MAPE。由于群体估算中并不考虑裁剪个体的APE，因此在MAPE2中并不计算栽培板个体生菜样本的结果。

1.3.3　误差分析方法

群体生菜图像样本的原始分辨率为1 500像素×1 500像素，并且图像中包含着9株生菜。如果直接将群体图像缩放后作为模型的输入，会导致各个生菜的信息大量缺失。此外，在群体生菜图像分割加总法中，变异系数^［28］指的是对于每个被分割出的区域（栽培板个体生菜图像）进行加总后估测的变异系数，而单株估测样本的变异系数是指对其图像中的所有像素或特征进行统计计算得到的变异系数。

根据公式（4）和公式（5）的对比，由于n一定大于1，则群体生菜图像分割加总后的样本变异系数（公式（5）中的C({\displaystyle \sum _{i=\mathrm{1}}^n}{X}_i)）明显低于单株估测样本的变异系数（公式（4）中的C\left(X_i\right)），这意味着模型的拟合难度更低，这为分割加总法提供了数学支撑。因此，本研究采用了分割加总法来实现产量的估测。分割加总法首先将群体生菜图像裁剪为单个生菜图像，然后对单个生菜的鲜重进行估测，并将估测值加总得到群体的产量估值。由于深度学习在生菜个体鲜重估测方面展现出了出色的表现，本研究分别以栽培板完整图像裁剪后的个体样本和锥形瓶中的单株图像样本作为模型输入，基于Zhang等^［21］提出的估测模型，对比2种产量估测方案的结果，以验证分割加总法对群体生菜产量估测的可行性。其中锥形瓶中的单株生菜样本是无遮挡的生菜样本，而栽培板个体样本是存在遮挡的样本。

\left\{\begin{array}{c}E\left(X_i\right)=\mu \\ \mathrm{V}\mathrm{a}\mathrm{r}\left(X_i\right)={\sigma }^{\mathrm{2}}\\ C\left(X_i\right)=\frac{\sigma }{\mu }\end{array}\right.（4）

\left\{\begin{array}{c}E({\displaystyle \sum _{i=\mathrm{1}}^n}{X}_i)=n\mu \\ \mathrm{V}\mathrm{a}\mathrm{r}({\displaystyle \sum _{i=\mathrm{1}}^n}{X}_i)=n{\sigma }^{\mathrm{2}}\\ C({\displaystyle \sum _{i=\mathrm{1}}^n}{X}_i)=\frac{\mathrm{1}}{\sqrt[]{n}}\frac{\sigma }{\mu }\end{array}\right.（5）

式中：E为数学期望；Var为方差；n为样本的个数；μ为随机变量X_i 的期望值（平均值），代表随机变量的集中趋势；δ²表示随机变量X_i 的方差，用于描述随机变量取值的离散程度；δ/μ表示随机变量的变异系数，衡量随机变量的相对离散程度；X₁、X₂、…、X_n 是独立同分布的随机变量序列。

在实际温室生产中，生菜通常是群体栽培的（图1）。若仅通过单株生菜的估算值反映整栋温室的平均情况，容易受人的主观选择影响。因此，在实际生菜产量反馈中，通常随机对多个生菜进行采样，并取平均值作为整栋温室生产平均鲜重的估测值。这种估测方法与本研究所提的群体估测方法一致，需要验证存在遮挡问题时的整体估算误差是否低于单株估算的误差。

2　结果与分析

2.1　群体估算和单株估算对比试验

基于Zhang等^［21］提出的估测模型CNN_Zhang，栽培板个体生菜样本与单株生菜样本的试验结果如表1所示。为确保试验结果稳定可靠，本研究展示的所有试验结果均为最优3次结果的平均值。需要注意，MAPE1远小于MAPE2，这与1.3.3小节中的独立同分布误差分析方法有关，当样本量越大时，变异系数^［28］越小，导致MAPE1越小。

对比表1第一行和第二行可以发现，单株生菜样本在R²和NRMSE的结果更优，在MAPE1结果却略差。原因在于，原始600像素×600像素中，单株生菜样本中感兴趣区域的占比过低，因此本研究对单株图像样本进行了重新处理，将原始样本裁剪为400像素×400像素的尺寸（图8），以提高单株生菜样本的ROI。需要注意，即使进一步裁剪后原始单株样本尺寸小于栽培板个体生菜样本原始尺寸（500像素×500像素），单株样本ROI仍然略小，这是因为单株样本采样时摄像头距离更低（图2）。此外，600像素×600像素原始图像可以将单株生菜全部裁剪至图像中，400像素×400像素原始图像中部分大菜存在裁剪不完整情况。利用进一步裁剪的单株生菜样本通过CNN_Zhang进行训练，测试结果如表1第三行所示。对比发现，此时单株生菜样本MAPE1相比栽培板个体生菜样本低2.36%。这是群体估算由于存在遮挡问题带来的影响，但是需要注意，在实际温室生菜生产过程中，尤其在生菜生长后期采用非接触无损实时估算的图像识别方法时，遮挡问题是不可避免的。

对比表1第一行和第三行可以发现，即使将图像进一步裁剪，群体估算的MAPE1仍然比单株估算的MAPE2低3.49%。因此，若仅以单一的生菜鲜重图像识别结果作为全体估算结果的平均值，即使不存在遮挡问题，生菜产量信息反馈也存在较大的误差。而通过栽培板个体生菜样本估算误差正负相消，即使存在遮挡问题，整体误差也低于10%，符合“软传感器”开发需求。此外，受到试验条件限制，本研究仅研究了以一个栽培板9颗生菜作为群体估算结果反馈的试验。随着样本量的增加和摄像头分辨率的提高，当摄像头群体拍摄拍摄范围更大时，根据公式（5），群体估算误差将进一步降低。

2.2　模型结构对比试验

为了进一步提高估测精度，针对栽培板个体生菜样本进行了模型优化试验，测试结果如表2所示。如果仅以MAPE1为评价指标，则EfficientNetV2Smal估算效果最佳。但是考虑到训练耗时以及显存占用等计算成本（本研究所用计算环境：Dell T5820工作站，CPU： I9-10980XE @ 3.0 GHz， GPU： NVIDIA GeForce RTX A6000，48 GB显存），CNN_Zhang和CNN_284的测试结果更佳。考虑到裁剪加总法在一定范围内存在随机性，综合考虑R²、NRMSE和MAPE1，最终选择CNN_284进行损失函数优化试验。与CNN_Zhang相比，CNN_284在耗时和显存方面的增加均在可接受范围之内。

2.3　损失函数优化试验

为了进一步降低生菜产量群体估算的MAPE1指标，本研究设计了更注重优化MAPE的损失函数MSPE（公式（3））。以MSE和MSPE为损失函数的估算结果如表3所示，可以发现，以MSPE为损失函数时，MAPE1进一步降低至8.46%。但是需要注意，MSPE对MAPE1的优化效果有限，这是因为在栽培板生菜个体图像裁剪时，由于遮挡问题的存在，部分生菜个体裁剪不完整，部分生菜会被裁剪到附近的生菜个体图像中，因此个体的估算在一定范围内存在随机性。此外，由于MSPE更注重优化MAPE指标，导致R²和NRMSE指标都存在一定程度的变差。但是在开发“软传感器”的过程中，MAPE能够更好的反映“软测量”误差，而R²和NRMSE更注重对统计结果的描述。因此从本研究的研究目的出发，MSPE更适合作为模型训练的损失函数。最好优化结果中栽培板个体样本和群体的估算结果如图9所示，可以看出，通过以栽培板检测值和估算值加总的群体估算方式，可以取得更为精确的估算结果。

2.4　未来提高估算精度方法的讨论

随着多模态深度学习技术^［29］的发展，利用RGB图像、深度图像和人工提取数字特征进行生菜鲜重可以有效提高估算精度。Buxbaum等^［30］将深度图像转换为伪彩图并用2个ResNet-50的双分支结构估算了生菜干重，结果发现深度图像在小菜的估算中起到更大帮助作用。Lin等^［31］和Zhang等^［32］均基于第三届国际智慧温室种植挑战赛的开源数据（https：//data.4tu.nl/articles/_/15023088/1）研究了RGB-D融合的生菜鲜重估算方法，相比RGB图像估算精度均有一定提升。Xu等^［33］基于输入层融合的方法，将MAPE降低4.26%。在将来的研究中，可以结合群体估算与多模态数据融合以进一步降低估算误差。此外，在将来的研究中，还可以探索通过生成对抗网络（GAN）生成生菜遮挡部分再进行估算。

3　结论

1）基于CNN_Zhang模型结构，对比分析了群体估算和单株估算的生菜鲜重结果，发现由于遮挡问题的存在，导致MAPE降低了2.36%。但是在实际温室生菜生产中，遮挡问题是不可避免的。但是即使存在遮挡问题，相比单株生菜鲜重估算的反馈结果，群体估算的MAPE仍然要低3.49%。这突出了群体估算的优势，也更符合实际温室环境最优控制中生菜产量反馈的实际估算方式。

2）对比分析了CNN_Zhang、ResNet18、MobileNetV3Small、EfficientNetV2Small以及基于CNN_Zhang优化的CNN_284模型结构对生菜鲜重的群体估算结果，综合R²、NRMSE、MAPE指标以及模型训练的计算成本，最终选定CNN_284研究损失函数MSPE对MAPE的优化作用。

3）相比传统以MSE为损失函数的群体估算结果，以MSPE为损失函数时，可将MAPE进一步降低至8.46%。随着样本量的增加和摄像头分辨率的提高，将更多生菜纳入摄像头范围后，可以取得更高的估算精度。试验证明，基于深度学习的生菜鲜重群体估算方法可以满足温室环境最优控制中对生菜产量在线反馈的需求。

参考文献

[1] 杨攀， 杨诗雯， 李磊， 杨效曾. 生菜研究进展综述［J］.现代园艺， 2020， 43（15）： 34-36

[2] Yang P， Yang S W， Li L， Yang X Z. Review on the research progress of lettuce［J］. Xiandai Horticulture， 2020， 43（15）： 34-36 （in Chinese）

[3] 刘士哲. 水培蔬菜产业化前景及存在问题和解决途径［J］.农业工程技术， 2017， 37（22）： 39-45

[4] Liu S Z. Prospects， problems and solutions of hydroponic vegetable industrialization［J］. Agricultural Engineering Technology， 2017， 37（22）： 39-45 （in Chinese）

[5] Chang C L， Chung S C， Fu W L， Huang C C. Artificial intelligence approaches to predict growth， harvest day， and quality of lettuce （ Lactuca sativa L） in a IoT-enabled greenhouse system ［J］. Biosystems Engineering， 2021， 212： 77-105

[6] 刘继承，姬长英. 作物长势监测的应用研究现状与展望 ［J］. 江西农业学报， 2007， 19（3）： 17-20， 28

[7] Liu J C， Ji C Y. Application status and prospects of crop growth monitoring ［J］. Acta Agriculturae Jiangxi， 2007， 19（3）： 17-20， 28 （in Chinese）

[8] Righini I， Vanthoor B， Verheul M J， Naseer M， Maessen H， Persson T， Stanghellini C. A greenhouse climate-yield model focussing on additional light， heat harvesting and its validation ［J］. Biosystems Engineering， 2020， 194： 1-15

[9] Lin D， Zhang L J， Xia X H. Model predictive control of a Venlo-type greenhouse system considering electrical energy， water and carbon dioxide consumption ［J］. Applied Energy， 2021， 298： 117163

[10] Xu D， Li Y F， Dai A G， Zhao S M， Song W T. Closed-loop optimal control of greenhouse cultivation based on two-time-scale decomposition： A simulation study in Lhasa ［J］. Agronomy， 2022， 13（1）： 102

[11] van Beveren P J M， Bontsema J， van Straten G， van Henten E J. Minimal heating and cooling in a modern rose greenhouse［J］. Applied Energy， 2015， 137： 97-109

[12] van Henten E J. Greenhouse climate management： an optimal control approach［D］. Wageningen： Wageningen University and Research， 1994

[13] Xu D， Du S F， van Willigenburg G. Double closed-loop optimal control of greenhouse cultivation［J］. Control Engineering Practice， 2019， 85： 90-99

[14] Bumgarner N R， Miller W S， Kleinhenz M D. Digital image analysis to supplement direct measures of lettuce biomass［J］. HortTechnology， 2012， 22（4）： 547-555

[15] Lee J W. Machine vision monitoring system of lettuce growth in a state-of-the-art greenhouse ［J］. Modern Physics Letters B， 2008， 22（11）： 953-958

[16] Yeh Y H F， Lai T C， Liu T Y， Liu C C， Chung W C， Lin T T. An automated growth measurement system for leafy vegetables［J］. Biosystems Engineering， 2014， 117： 43-50

[17] Jung D H， Park S H， Han X Z， Kim H J. Image processing methods for measurement of lettuce fresh weight［J］. Journal of Biosystems Engineering， 2015， 40（1）： 89-93

[18] Chen W T， Yeh Y H F， Liu T Y， Lin T T. An automated and continuous plant weight measurement system for plant factory［J］. Frontiers in Plant Science， 2016， 7： 392

[19] Jiang J S， Kim H J， Cho W J. On-the-go image processing system for spatial mapping of lettuce fresh weight in plant factory ［J］. IFAC-PapersOnLine， 2018， 51（17）： 130-134

[20] Nagano S， Moriyuki S， Wakamori K， Mineno H， Fukuda H. Leaf-movement-based growth prediction model using optical flow analysis and machine learning in plant factory ［J］. Frontiers in Plant Science， 2019， 10： 227

[21] Reyes-Yanes A， Martinez P， Ahmad R. Real-time growth rate and fresh weight estimation for little gem romaine lettuce in aquaponic grow beds［J］. Computers and Electronics in Agriculture， 2020， 179： 105827

[22] Hu Y， Wang L， Xiang L R， Wu Q， Jiang H Y. Automatic non-destructive growth measurement of leafy vegetables based on kinect［J］. Sensors， 2018， 18（3）： 806

[23] Mortensen A K， Bender A， Whelan B， Barbour M M， Sukkarieh S， Karstoft H， Gislum R. Segmentation of lettuce in coloured 3D point clouds for fresh weight estimation［J］. Computers and Electronics in Agriculture， 2018， 154： 373-381

[24] Zhang L X， Xu Z Y， Xu D， Ma J C， Chen Y Y， Fu Z T. Growth monitoring of greenhouse lettuce based on a convolutional neural network［J］. Horticulture Research， 2020， 7： 124

[25] 崔庭源， 杨其长， 张义， 徐丹， 马浚诚. 基于迁移学习和卷积神经网络的生菜鲜重估测［J］. 中国农业大学学报， 2022， 27（11）： 197-206

[26] Cui T Y， Yang Q C， Zhang Y， Xu D， Ma J C. Lettuce fresh weight estimation based on transfer learning and convolutional neural network［J］. Journal of China Agricultural University， 2022， 27（11）： 197-206 （in Chinese）

[27] van Henten E J， Bontsema J. Non-destructive crop measurements by image processing for crop growth control［J］. Journal of Agricultural Engineering Research， 1995， 61（2）： 97-105

[28] Li X， Wang Y， Fu L. Monitoring lettuce growth using K-means color image segmentation and principal component analysis method［J］. Transactions of the Chinese Society of Agricultural Engineering， 2016， 32（12）： 179-186

[29] He K M， Zhang X Y， Ren S Q， Sun J. Deep residual learning for image recognition［C］. In： 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Piscataway， N.J.： IEEE， 2016： 770-778

[30] Howard A G， Zhu M L， Chen B， Kalenichenko D， Wang W J， Weyand T， Andreetto M， Adam H. Mobilenets： Efficient convolutional neural networks for mobile vision applications［J］. ArXiv Preprint arXiv：1704.04861，2017

[31] Tan M X， Le Q V. EfficientNet： Rethinking model scaling for convolutional neural networks［C］. In： 36th International Conference on Machine Learning. Long Beach， California： PMLR 97， 2019： 6105-6114

[32] 王文森. 变异系数： 一个衡量离散程度简单而有用的统计指标［J］. 中国统计， 2007（6）： 41-42

[33] Wang W S. Coefficient of variation-a simple and useful statistical index to measure the degree of dispersion［J］. China Statistics， 2007（6）： 41-42 （in Chinese）

[34] Ramachandram D， Taylor G W. Deep multimodal learning： A survey on recent advances and trends［J］. IEEE Signal Processing Magazine， 2017， 34（6）： 96-108

[35] Buxbaum N， Lieth J H， Earles M. Non-destructive plant biomass monitoring with high spatio-temporal resolution via proximal RGB-D imagery and end-to-end deep learning ［J］. Frontiers in Plant Science， 2022， 13： 758818

[36] Lin Z X， Fu R M， Ren G Q， Zhong R H， Ying Y B， Lin T. Automatic monitoring of lettuce fresh weight by multi-modal fusion based deep learning［J］. Frontiers in Plant Science， 2022， 13： 980581

[37] Zhang Q J， Zhang X Y， Wu Y L， Li X S. TMSCNet： A three-stage multi-branch self-correcting trait estimation network for RGB and depth images of lettuce ［J］. Frontiers in Plant Science， 2022， 13： 982562

[38] Xu D， Chen J， Li B， Ma J. Improving lettuce fresh weight estimation accuracy through RGB-D fusion［J］. Agronomy， 2023， 13（10）， 2617

基金资助

山东省重点研发计划项目(2022CXGC020708)

国家自然科学基金项目(32371998)

国家自然科学基金项目(U20A2020)

现代农业产业技术体系项目(CARS-23-D02)

北京市设施蔬菜创新团队项目(BAIC01-2023)