融合多头注意力机制的LSTM冬小麦需水量预测

LSTM winter wheat water demand prediction based on multi-head attention mechanism

摘要

为实现田间冬小麦需水量的精准预测，基于河南省原阳市试验田实测气象数据，应用多头注意力机制，根据气象因子与作物需水量相关系数大小，有效捕捉需水量时间序列之间的关系特征，分别建立11、7和4因子的融合多头注意力机制（Multi-head attention）的卷积-长短期记忆网络（CNN-LSTM）模型预测冬小麦需水量，并与实际值进行比较。结果表明：1）将风速、风向、大气压力、太阳辐射、相对湿度、露点温度、最低温度、最高温度、平均温度、日照时数和降雨量共11个气象因子输入到该模型，其作物需水量预测值与实测值的决定系数（R²）为0.914，均方根误差（RMSE）为0.627 mm，相对分析误差（RPD）为4.243，相比于7和4因子的预测模型R²更高，RMSE更低。该预测模型的精准度随作物需水量相关气象因子输入量增多而提升。4因子预测模型精度最低，其作物需水量预测值与实测值的R²为0.825，RMSE为0.946 mm，RPD为3.124。在缺少气象数据的情况下，可只采用与参考作物需水量相关性最高的最低温度、最高温度、平均温度和大气压力进行作物需水量预测，且相对11因子减少了传感器数量，提高了泛用性。2）与经典机器学习模型BP、循环神经网络模型LSTM以及融合注意力机制的LSTM-Attention相比，融合多头注意力机制的CNN-LSTM-MHA模型的R²、RMSE、RPD等参数更优，预测效果更接近大田生产实际情况。综上，建立与作物需水量相关的11个气象因子的融合多头注意力机制的CNN-LSTM-MHA作物需水量预测模型，可改善卷积层对于数据之间内部特征提取不充分的问题，能够有效提高冬小麦需水量预测精度，可以用于田间冬小麦的灌溉决策。

Abstract

To realize the accurate prediction of winter wheat field water demand， based on the measured meteorological data of the experimental field in Yuanyang City， Henan Province， the multi-head attention mechanism was adopted to effectively obtain the relational features between water demand time series according to the size of the correlation coefficients between the meteorological factors and the crop water demand. The 11-， 7- and 4-factor fused multi-head attention （MHA） convolutional-long-short-term memory network （CNN-LSTM） model for predicting winter wheat water demand and comparing with the actual values. The results showed that： 1） The coefficient of determination （R²） between the predicted and measured values of crop water requirement was 0.914， the root mean square error （RMSE） was 0.627 mm， and the relative analysis error （RPD） was 4.243. The R² was higher and RMSE was lower than that of the 7-factor and 4-factor prediction models. The accuracy of this prediction model increased with more inputs of meteorological factors related to crop water demand. The accuracy of the 4-factor prediction model was the lowest， and the R² between the predicted value and the measured value of crop water requirement was 0.825， RMSE was 0.946 mm， and RPD was 3.124. In the absence of meteorological data， only the minimum temperature， maximum temperature， average temperature and atmospheric pressure with the highest correlation with the reference crop water requirement could be used to predict the crop water requirement. The number of sensors was reduced and the universality was improved compared with that of 11 factors.2 ） Compared with the classical machine learning model BP， the recurrent neural network model LSTM and the LSTM-Attention with attention mechanism， the CNN-LSTM-MHA model with multi-head attention mechanism has better parameters such as the R²， RMSE and RPD， and the prediction effect is closer to the actual situation of field production. In summary， the CNN-LSTM-MHA crop water requirement prediction model based on the fusion of 11 meteorological factors related to crop water requirement is established， which can improve the problem of insufficient internal feature extraction between data in the convolutional layer. The model can effectively improve the prediction accuracy of winter wheat water requirement and can be used for irrigation decision-making of winter wheat in the field.

Graphical abstract

关键词

小麦 / 作物需水量 / 神经网络 / 多头注意力机制 / 预测模型

Key words

wheat / crop water requirement / neural network / multi-head attention mechanism / prediction model

我国的农业生产与水资源息息相关，农业用水占比在60%以上^［1］，而作物的需水量则是农业用水中的主体，也是国民经济中消耗水分的重要组成部分。作物需水量指作物为了生长发育需要消耗的水量，包括植株蒸腾与棵间蒸发两部分^［2］。作物需水量是研究农田水分变化规律、水资源开发利用、农田水利工程规划和设计、分析和计算灌溉用水量等的依据之一^［3-4］。研究和估算作物的水分需求一直是一个极具挑战性的课题，精确估算作物需水量对作物灌溉决策具有重要意义。

国内外学者对作物需水量预测开展了大量研究。汪顺生等^［5］对夏玉米作物需水量预测研究表明，不论是普通灌溉还是交替灌溉的模式，采用单作物系数法均可适用。孟玮等^［6］基于RBF神经网络预测苹果需水量，可以通过分析气象数据来预测作物的需水量。然而这种神经网络预测要依赖于大量的历史气象数据，当数据不足时它可能会失去功能。Sidhu等^［7］基于已有的气象数据构建了水稻LSTM神经网络需水量预测模型，提高了水资源管理的精确性和效率，更好地适应气候变化对农业生产的影响。在小麦需水量预测方面，Karar等^［8］根据气象数据基于MLP神经网络预测小麦的需水量，并且可以根据预测结果进行灌溉，这种方法的优势在于数据处理速度很快，最大的挑战在于将所有的推断都转换成数值计算，这可能会导致结果的准确性受到影响。贾红军^［9］以气象数据作为BP神经网络的输入，以彭曼公式计算的小麦需水量作为预测期望值训练神经网络，并基于模糊控制设计灌溉控制系统。杜云等^［10］以日均温度、风速、相对湿度和降水量4个变量作为输入因子，采用CNN-BiLSTM神经网络对小麦需水量进行预测。李志新等^［11］构建了GA-Elman神经网络小麦参考作物需水量预测模型，该模型以日序数、日照时数、日平均气温等因子为输入向量，结果表明相对误差绝对值均值为7.24%，拥有较强的实用价值。

目前关于作物需水量预测国内外学者进行了大量的研究，多以已经成熟且具有权威性的Penman-Monteith法计算作物需水量，并以此为依据采用不同的模型进行预测。在模型选择方面，将2个或更多个模型结合在一起预测结果更准确，但由于田间作物需水量受到大量气象因子影响，在数据训练和预测时花费大量时间，限制了其可应用的场景。Ma等^［12］在构建作物需水量预测模型融合注意力机制（Attention mechanism）时发现，EEMD-Attention-LSTM模型精度优于不加入注意力机制的单一模型和组合模型。注意力机制模拟人类的视觉系统，在面对复杂的信息时对网络中焦点区域进行重点关注^［13］。注意力机制可以对关键特征信息加权，降低无用信息的重要程度，从而实现信息处理资源的合理分配^［14］。多头注意力机制作为注意力机制的一种改进，通过动态评估每个时刻输入数据的重要性来捕捉不同时间点上的特征变化，有效地减少LSTM等循环神经网络由于数据量过大而可能导致信息遗忘的问题^［15］。大量的研究仅针对现有的作物需水量数据进行计算，并未考虑到未来一天的作物需水量，以此为依据的灌溉决策研究尚未见报道。本研究以大田冬小麦为研究对象，采用融合多头注意力机制（Multi-Head Attention，MHA）的卷积-长短期记忆网络（CNN-LSTM）模型，以当地智慧农业监测站数据为输入量，以彭曼公式计算的作物需水量作为预测期望值进行训练，然后结合冬小麦作物系数构建未来1 d冬小麦需水量预测模型，旨在实现冬小麦需水量精准预测，以期为实现田间冬小麦精准灌溉提供参考。

1　材料与方法

1.1　数据采集

试验所用气象数据采集于河南省原阳市河南农业大学科教园区（113.956 361° E， 35.114 512° N，海拔75.10 m）2个田块，田块A长60 m，宽24 m；田块B长40 m，宽32 m。采集设备为智慧农业监测站，安装于试验田块A东南角及田块B南部。智慧农业监测站采用河南华普物联科技有限公司的HP-QXZ-GW数据采集器装置，测量参数见表1。

采集数据包括风速、风向、降雨量、气温、大气压力、光照强度、日照时数、露点温度、20、40、60 cm土壤湿度等，采集数据间隔时间为30 min。田块A数据采集时间为2023年12月1日—2024年5月30日，共计182 d；田块B数据采集时间为2023年12月1日—2024年3月29日，共计120 d，2个田块数据共计302 d。本研究以田块A数据用于模型训练，田块B数据用于模型测试。田块A部分气象数据见表2。

1.1.1　数据预处理

由于智慧农业监测站处于大田环境中，传感器可能受到人为扰动或出现故障失灵，从而造成数据异常或者数据缺失的情况，因此在采集数据后需要进行异常数据识别并填补缺失数据^［16］。本研究使用拉依达准则判别异常数据，该准则假设一组测得值x=（x₁，x₂，...，x_n ）服从正态分布且仅含有随机误差，则拉依达准则可以表述如下：

\begin{array}{c}\left|\left.x_i-\overline{x}\right|\right.\ge \mathrm{3}\sqrt[]{\frac{{\displaystyle \sum _{i=\mathrm{1}}^n}{\left(x_i-\overline{x}\right)}^{\mathrm{2}}}{n-\mathrm{1}}}\end{array}（1）

式中：x_i，第i个值；\overline{x}，n个数值的平均值；将各残差值与3倍标准差值进行比较，若残差值≥3倍标准差值，则认为该值为异常值应删除。

由于气象数据采集时间间隔为30 min，相邻数据之间具有较强关联性，所以本研究对于删除的异常和缺失数据替换为前后两项数据的平均值。

\begin{array}{c}{x}_n^{\text{'}}=\frac{x_{n-\mathrm{1}}+x_{n+\mathrm{1}}}{\mathrm{2}}\end{array}（2）

式中：x_n^{\text{'}}为替换后的数据。

对所有原始数据进行归一化处理，可以有效加快模型训练速度，避免因量纲不同造成结果偏差。

\begin{array}{c}{x}_i^{\text{'}}=\frac{x_i-x_{\mathrm{m}\mathrm{i}\mathrm{n}}}{x_{\mathrm{m}\mathrm{a}\mathrm{x}}-x_{\mathrm{m}\mathrm{i}\mathrm{n}}}\end{array}（3）

式中；x_i，原始数据；x_i^{\text{'}}，x_i 归一化后的值；x_min，原始数据集中最小值，x_max，原始数据集中最大值。

1.1.2　参考作物需水量影响因子筛选

田间智慧农业监测站共收集11类不同的气象数据，本研究对各气象因子与参考作物需水量进行相关性分析，各气象因子与参考作物需水量相关系数计算公式如下：

r=\frac{{\displaystyle \sum _{i=\mathrm{1}}^n}\left(X_i-\overline{X}\right)\left(Y_i-\overline{Y}\right)}{\sqrt[]{{\displaystyle \sum _{i=\mathrm{1}}^n}(X_i{-\overline{X})}^{\mathrm{2}}•{\displaystyle \sum _{i=\mathrm{1}}^n}(Y_i{-\overline{Y})}^{\mathrm{2}}}}（4）

式中：r，相关系数；X_i，气象因子第i个数值；\overline{X}，n个气象因子数值平均值；n为总数据数；Y_i，参考作物需水量第i个数值；\overline{Y}，n个参考作物需水量平均值。

1.2　相关模型及算法

1.2.1　小麦作物需水量计算方法

采用Penman-Monteith法，此方法充分考虑了理论基础的严谨性，其应用范围极为广泛，能够覆盖各类农业生产环境。更重要的是它在估算参考作物需水量方面拥有极高的精确度，确保了数据分析的可靠性和有效性^［17］。联合国粮食及农业组织（Food and Agriculture Organization of the United Nations，FAO） Penman-Monteith修正公式表达如下：

\mathrm{P}\mathrm{E}\mathrm{T}=\frac{\mathrm{0.048}∆\left(R_{\mathrm{n}}-\mathrm{G}\right)+\gamma \frac{\mathrm{900}}{T_{\mathrm{m}\mathrm{e}\mathrm{a}\mathrm{n}}+\mathrm{273}}{u}_{\mathrm{2}}\left(e_{\mathrm{s}}-e_{\mathrm{a}}\right)}{∆+\gamma \left(\mathrm{1}+\mathrm{0.34}{u}_{\mathrm{2}}\right)}（5）

式中：PET参考作物需水量，mm/d；R_n为地表净辐射，MJ/（m·d）；Δ为饱和水气压与空气湿度关系曲线斜率，kPa/℃；γ为干湿表常数，kPa/℃；T_mean为日平均气温，℃；G为土壤热通量，MJ/（m²·d）；e_s为饱和水气压，kPa；u₂为地表2 m高处风速，m/s；e_a为实际水气压，kPa。

通过彭曼公式仅能计算出参考作物需水量，还需要乘以作物系数才能得到作物需水量^［18］。计算作物需水量的具体表达式为：

\begin{array}{c}\mathrm{E}\mathrm{T}=K_{\mathrm{c}}\cdot \mathrm{P}\mathrm{E}\mathrm{T}\end{array}（6）

式中：ET为作物需水量，mm/d；K_c，作物系数。

根据FAO-56^［19］及李迎等^［20］提供的冬小麦作物系数计算方法，将冬小麦生育时期划分为播种-返青期、返青-孕穗期、孕穗-灌浆期、灌浆-成熟期4个阶段，见表3。参考李迎等^［20］结合FAO-56^［19］提供的冬小麦作物系数对河南地区研究修正后，确定河南省的冬小麦全生育期内的作物系数，见表4。

1.2.2　长短期记忆网络模型

长短期记忆网络（Long Short‑Term Memory，LSTM）相较于卷积神经网络（Convolutional Neural Networks，CNN）最大的区别在于加入了3个门控结构，遗忘门、输入门和输出门^［21］。样本数据输入遗忘门后筛选出过去记忆中重要的信息，然后通过输出门决定目前的网络输入中包含多少新的信息，再通过输出门中sigmoid函数计算确定输出值，最后通过tanh函数确定输出部分^［22］。数学公式如下：

\begin{array}{c}{i}_t=\sigma \left(W_{xi}{x}_t+W_{hi}{h}_{t-\mathrm{1}}+b_i\right)\end{array}（7）

\begin{array}{c}{f}_t=\sigma \left(W_{xf}{x}_t+W_{hf}{h}_{t-\mathrm{1}}+b_f\right)\end{array}（8）

\begin{array}{c}\begin{array}{l}{c}_t=f_t\otimes c_{t-\mathrm{1}}+\\ i_t\otimes \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left(W_{xc}{x}_t+W_{hc}{h}_{t-\mathrm{1}}+b_c\right)\end{array}\end{array}（9）

\begin{array}{c}{o}_t=\sigma \left(W_{xo}{x}_t+W_{ho}{h}_{t-\mathrm{1}}+b_o\right)\end{array}（10）

h_t=o_t\otimes \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left(c_t\right)（11）

式中：i_t 为输入门；f_t 为遗忘门；c_t 为储存单元，o_t 为输出门，σ为sigmoid函数。x_t 为t时刻的输入数据，W为权重矩阵，b为偏置函数，tanh是双曲正切激活函数，\otimes表示向量之间逐元素相乘。

1.2.3　多头注意力机制

多头注意力（Multi-head attention，MHA）通常会将输入序列通过线性层映射成几个不同表示的子集，然后对每个子集并行地应用多个注意力头。每个注意力头会学习序列中不同位置之间的关系，并生成一个注意力输出。最后，这些输出被拼接起来，并通过另一个线性层生成最终的多头注意力输出。模型在处理信息时同时关注序列的不同位置，增加模型的表达能力和学习效率^［23］。

Q、K、V分别代表查询（Query）、键（Key）和值（Value）矩阵，输入到缩放点注意力（SDA）中进行向量的点积相乘，计算方法为：

\mathrm{S}\mathrm{D}\mathrm{A}\left(Q,K,V\right)=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{Q{K}^T}{\sqrt[]{d_k}}\right)V（12）

\begin{array}{c}\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_i=\mathrm{S}\mathrm{D}\mathrm{A}\left(Q{W}_i^Q,K{W}_i^K,V{W}_i^V\right)\end{array}（13）

Z=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}\left(\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_{\mathrm{1}},\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_{\mathrm{2}},\cdots ,\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_h\right)W^{\mathrm{0}}（14）

式中：d_k，键向量维度，缩放点击结果使训练过程中梯度更加稳定；head _i，第i个多头注意力；Z，经多个注意力拼接起来形成一个大的特征矩阵。

1.3　融合多头注意力机制的CNN-LSTM-MHA预测模型构建

本研究以原阳市河南农业大学科教园区智慧农业监测站获得的气象因子作为输入量，以气象数据通过彭曼法计算得出的参考作物需水量作为目标输出量，融合CNN-LSTM和多头注意力机制，构建CNN-LSTM-MHA参考作物需水量预测模型。具体网络结构见图1。输入数据首先经过CNN网络，识别序列之间的空间特征，然后经过LSTM网络识别时间关系，再将输出向量作为多头注意力层的输入v、k、q。每个注意力头都有各自的权重分配方式。设模型权值为v=［v₁，v₂，⋯，v_i ］，键值为k=［k₁，k₂，⋯，k_i ］，查询值为q=［q₁，q₂，⋯，q_i ］。与通过大量数据训练得到的对应权重相乘得出V、K、Q，然后通过softmax函数激活确定每个位置对其他位置的关注度，输出加权求和的结果，最后经过全连接层输出结果。

1.4　试验环境及参数设置

试验用计算机平台操作系统为Win 10，CPU Intel i7、DDR4 RAM 16 GB、GPUGTX1070Ti 8 GB。采用的编程语言为 Python 3.8，深度学习框架为PyTorch 1.10.0。对气象数据样本分析后确定了合适的时间步长等主要参数，见表5。

1.5　模型评价指标

以决定系数（R²）、均方根误差（RMSE）和相对分析误差（RPD）3种模型精度评价方法来研究基于融合多头注意力机制的CNN-LSTM建模性能。各个参数计算公式如下：

\begin{array}{c}{R}^{\mathrm{2}}=\mathrm{1}-\frac{{\displaystyle \sum _{i=\mathrm{1}}^n} (X_i-Y_i{)}^{\mathrm{2}}}{{\displaystyle \sum _{i=\mathrm{1}}^n} (X_i{-\overline{X})}^{\mathrm{2}}}\end{array}（15）

\begin{array}{c}\mathrm{R}\mathrm{M}\mathrm{S}\mathrm{E}=\sqrt[]{\frac{{\displaystyle \sum _{i=\mathrm{1}}^n} {\left(X_i-Y_i\right)}^{\mathrm{2}}}{n}}\end{array}（16）

\begin{array}{c}\mathrm{R}\mathrm{P}\mathrm{D}=\frac{\sqrt[]{\frac{{\displaystyle \sum _{i=\mathrm{1}}^n} (Y_i{-\overline{Y})}^{\mathrm{2}}}{n-\mathrm{1}}}}{\mathrm{R}\mathrm{M}\mathrm{S}\mathrm{E}}\end{array}（17）

式中：X_i 为第i个试验实测数值；Y_i 为第i个模型预测数值；n为数据总数，\overline{X}为实测数据平均值；\overline{Y}为预测数据平均值。建模准确度越高，R²越大，RMSE越小，RPD越大。当RPD≥2.5时，表明模型具有极好的预测能力；当RPD<1.0时，表明模型不具备预测能力。

2　结果与分析

2.1　融合多头注意力机制CNN-LSTM模型不同因子数量预测结果对比

由表6可知，参考作物需水量与最低气温、最高气温、平均气温和大气压力的相关系数（r）最高，分别为0.841 3、0.932 4、0.919 8、-0.821 5。其中最低气温、最高气温和平均气温均与参考作物需水量呈正相关，大气压力与参考作物需水量呈负相关。参考作物需水量与露点温度、太阳辐射、日照时数的r较高，分别为0.685 6、0.501 4、0.412 5。风速、风向、相对湿度、降雨量均与参考作物需水量呈弱相关，其|r|均<0.4。

根据气象因子与参考作物需水量相关系数分别构建以风速、风向、大气压力、太阳辐射、相对湿度、露点温度、最低气温、最高气温、平均气温、日照时数和降雨量11因子、|r|>0.4的7因子、|r|>0.8的4因子的融合多头注意力机制CNN-LSTM-MHA参考作物需水量预测模型。

由表7可知，融合多头注意力机制CNN-LSTM-MHA算法建立的参考作物需水量预测模型具有良好的预测精度。预测模型输入因子数量越多，模型的预测性能越好。11因子预测模型训练评价各项指标最好，R²=0.964、RMSE=0.463 mm、RPD=8.103，预测评价R²=0.914、RMSE=0.627 mm、RPD=4.243。其余2种参考作物需水量模型各项评价指标相对11因子较差，7因子预测模型训练评价R²=0.932、RMSE=0.583 mm、RPD=6.478，预测评价R²=0.884、RMSE=0.865 mm、RPD=4.012；而4因子气象数据建立的模型训练评价R²=0.854、RMSE=0.822 mm、RPD=3.926，预测评价R²=0.825、RMSE=0.946 mm、RPD=3.124。由此可见，7和4因子模型仍具有良好的预测能力。以最低气温、最高气温、平均气温和大气压力4因子预测参考作物需水量可行，而且可以减少传感器数量，具有较高的经济价值，便于推广应用。综上，融合多头注意力机制的CNN-LSTM-MHA算法建立的参考作物需水量预测模型具有优秀的预测能力，可用于参考作物需水量的预测。

由图2可知，3种预测模型数据点均沿对角线分布，11因子预测模型预测值与实际值数据点分布最紧密，具有良好的拟合效果。4因子预测模型数据点分布最分散，拟合效果较差。因此模型预测准确性11因子>7因子>4因子。

以上述3种不同因子数量预测模型得出的参考作物需水量数据，结合冬小麦不同生长阶段的作物系数，可建立冬小麦需水量预测模型。由图3、图4和图5可知，3种不同因子数量的冬小麦需水量预测模型均可用于冬小麦实际需水量预测，整体曲线走势与实际值相符合，可以反映出冬小麦实际需水量的变化规律。其中采用监测站11因子预测的冬小麦需水量与实际值误差最小，平均误差为0.41，最大误差为1.53；采用7因子预测的冬小麦需水量与实际值平均误差为0.49，最大误差为1.78；采用4因子预测的冬小麦需水量与实际值误差最大，平均误差为0.62，最大误差为2.01。

2.2　不同预测模型对比

由表8可知，经典机器学习模型BP的预测性能最差，模型评价指标R²=0.794、RMSE=0.874 mm、RPD=5.875；预测评价指标R²=0.754，RMSE=0.982 mm|、RPD=2.886。循环神经网络RNN及长短期记忆神经网络LSTM模型预测性能高于BP，其预测评价指标R²分别为0.786、0.802，RMSE分别为0.893、0.887 mm，RPD分别为3.527、3.734。LSTM-Attention模型加入注意力机制，能够重新分配时间序列权重，关注更重要的时间序列信息从而进一步提升了预测性能，预测评价指标R²=0.864、RMSE=0.768 mm、RPD=3.924。CNN-LSTM-MHA参考作物需水量模型结合了CNN模型提取空间特征和LSTM模型处理时间序列的能力，并加入多头注意力机制改善CNN-LSTM可能出现的遗忘重要信息的情况，找到历史数据中隐藏特征并重新分配权重。该模型及预测评价指标均高于其他模型，相对于LSTM-Attention模型预测评价指标R²提升0.05，RMSE降低0.141 mm，RPD提升0.319。综上，CNN-LSTM-MHA预测模型效果优越。

2.3　消融试验

由表9可知， CNN-LSTM模型的预测效果最差，模型评价指标R²=0.805、RMSE=0.715 mm、RPD=4.721；预测评价指标R²=0.782、RMSE=0.882 mm、RPD=3.112，说明加入注意力机制进行权重训练可以有效提升模型的预测精度。加入多头注意力机制的RNN-MHA模型预测精度低于CNN-LSTM-MHA模型，预测评价指标R²=0.802、RMSE=0.865 mm、RPD=3.853，说明CNN-LSTM可以有效地改善RNN不能学习长距离依赖关系的缺点。CNN-LSTM-MHA模型相较于LSTM-Self-attention模型预测评价指标R²提升0.041，RMSE降低0.087 mm，RPD提升0.614，说明MHA相较于Self-Attention能够从多个注意力头并行计算从而捕捉更丰富的特征，进一步提升模型的预测性能。

3　讨 论

传统神经网络能够采用大量独立数据进行预测，但是在处理时间序列预测问题时并不适用^［24］。循环神经网络（Recurrent Neural Network，RNN） 相较于传统神经网络的区别在于可以保留之前所有时刻的信息，但是通常保留短期信息，当处理长期依赖性问题时可能会造成梯度消失^［25］。长短期记忆网络，通过在RNN的基础上加入3个门控结构，实现筛选过去记忆中重要信息和输出新信息的功能，有效地解决了RNN不能进行长时间序列预测的缺陷^［26］。

融合多头注意力机制CNN-LSTM-MHA模型在冬小麦需水量预测任务中相较于单一神经网络模型取得了更好的预测效果。经典机器学习模型BP无法自动调整权重参数，而神经网络RNN及LSTM模型在处理长时间序列时可能无法有效地捕捉局部特征并分配合适的权重。融合多头注意力机制的CNN-LSTM-MHA模型通过引入多个并行的注意力头，可以更加灵活地捕捉到时间序列中对全局影响最大的局部信息，使模型在主要特征上分配更大的权重，从而提升模型的预测能力和泛用性。

根据气象因子与作物需水量的相关性大小，分别构建了11、7和4因子的CNN-LSTM-MHA作物需水量预测模型，从预测结果来看，该模型能够最大程度地利用各输入气象因子，充分发挥每一个输入因子的作用，预测模型的精准度随着输入与作物需水量相关气象因子数量增多而提升。11因子作物需水量预测模型精度最高，预测评价参数R²=0.914、RMSE=0.627 mm、RPD=4.243。同时模型对数据分化能力较强，能够将各气象因子分配合适的权值，从而达到较高的预测精度。适当减少气象因子的输入，只保留与作物需水量相关性较高的7或4因子，预测评价参数R²均>0.8，RPD均>0.25，不仅能够进行未来1 d冬小麦需水量预测，而且降低了数据获取难度，从而降低了经济投入，更适合大范围推广。

本研究仅采用原阳市河南农业大学科教园区田块的气象数据对试验区冬小麦未来1 d的作物需水量进行预测，对于其他区域或其他种类的作物需水量预测仍需进一步研究。同时在未来的研究中可以考虑加入土壤、作物形态等其他影响因素，进一步提升模型预测能力。

4　结 论

本研究以河南省原阳市河南农业大学科教园区智慧农业监测站气象数据为基础，构建了融合多头注意力机制的卷积-长短期记忆网络（CNN-LSTM-MHA）小麦需水量动态预测模型。将风速、风向、大气压力、太阳辐射、相对湿度、露点温度、最低气温、最高气温、平均气温、日照时数和降雨量共11因子输入该模型时，R²和RPD最大，RMSE最小，预测效果最优秀。将与作物需水量相关性最高的最低气温、最高气温、平均气温和大气压力输入该模型时预测精度相对11因子预测模型降低，R²=0.825，RPD=3.124，仍可进行未来1 d作物需水量预测。通过对比试验可以发现，CNN-LSTM-MHA模型在各项评价指标均优于BP、RNN、LSTM和LSTM-Attention。综上，加入多头注意力机制可以显著提升模型的特征学习能力，能够满足田间环境下冬小麦需水量预测需求。

参考文献

[1] 尹起.机器学习预测参考作物蒸散量在智能灌溉系统中的应用研究［D］.乌鲁木齐：新疆大学，2021

[2] Yin Q. Application of machine learning prediction of reference crop evapotranspiration in intelligent irrigation system［D］. Urumqi：Xinjiang University，2021 （in Chinese）

[3] 郑珍， 王子凯， 蔡焕杰. 基于SIMDual_kc模型估算非充分灌水条件下冬小麦蒸散量［J］.排灌机械工程学报， 2020， 38（2）： 212-216

[4] Zheng Z， Wang Z K， Cai H J. Estimation of evapotranspiration of winter wheat under deficient irrigation based on SIMDual_kc model［J］. Journal of Drainage and Irrigation Machinery Engineering， 2020， 38（2）： 212-216 （in Chinese）

[5] Fong Bryant N.， Reba Michele L.， Teague Tina G.， Benjamin R .K. Runkle， Suvočarev Kosana. Eddy covariance measurements of carbon dioxide and water fluxes in US mid south cotton production［J/OL］. Agriculture， Ecosystems & Environment，（--）. DOI：10.1016/j.agee.2019.106813

[6] 王妍，张晓龙，石嘉丽，沈彦军. 中国冬小麦主产区气候变化及其对小麦产量影响研究［J］. 中国生态农业学报 （中英文）， 2022， 30（5）： 723-734

[7] Wang Y， Zhang X L， Shi J L， Shen Y J. Climate change and its effect on winter wheat yield in the main winter wheat production areas of China［J］. Chinese Journal of Eco Agriculture， 2022， 30（5）： 723-734 （in Chinese）

[8] 汪顺生，费良军，高传昌，王兴，孙景生.不同沟灌方式下夏玉米单作物系数试验研究［J］.农业机械学报，2013，44（11）：105-111

[9] Wang S S， Fei L J， Gao C C， Wang X， Sun J S. Experiment on single crop cofficient of summer maize under different furrow irrigations ［J］. Transactions of the Chinese Society for Agricultural Machinery，2013，44 （11）： 105-111 （in Chinese）

[10] 孟玮， 孙西欢， 郭向红， 马娟娟， 马文云， 赵文渊， 张威贤. 基于人工蜂群径向基神经网络预测参考作物需水量［J］. 节水灌溉， 2020，（1）： 79-83

[11] Meng W S， Sun X H， Guo X H， Ma J J， Ma W Y， Zhao W Y， Zhang W X. Prediction of reference crop water requirement forecast based on artificial bee colony radial basis neural network of artificial bee colony［J］. Water Saving Irrigation，2020（1）： 79-83 （in Chinese）

[12] Sidhu R K， Kumar R， Rana P S. Long short-term memory neural network-based multi-level model for smart irrigation ［J/OL］.Modern Physics Letters B， （--）. DOI： 10.1142/S0217984920504187

[13] Karar M E， Al-Rasheed M， Al-Rasheed A. IoT and neural network-based water pumping control system for smart irrigation［J］. Information Sciences Letters， 2020，9（2）：107-112

[14] 贾红军.基于计算机控制的智能灌溉系统优化研究［J］.农机化研究，2024，46（10）：37-42

[15] Jia H J. The optimization study for intelligent irrigation system based on computer control ［J］. Journal of Agricultural Mechanization Research， 2024，46 （10） ： 37-42 （in Chinese）

[16] 杜云，张婧婧，雷嘉诚， 李博， 李永福.冬小麦需水量的预测模型对比分析［J］.新疆农业科学，2024，61（7）：1590-1596

[17] Du Y， Zhang J J， Lei J C， Li B， Li Y F. Forecasting method of water requirement of winter wheat［J］.Xinjiang Agricultural Sciences， 2024，61 （7） ： 1590-1596 （in Chinese）

[18] 李志新，赖志琴，龙云墨.基于GA-Elman神经网络的参考作物需水量预测［J］.节水灌溉，2019（2）：117-120

[19] Li Z X， Lai Z Q， Long Y M. Prediction of water demand for reference crops based on GA-Elman neural network model［J］.Water-Saving Irrigation， 2019（2）： 117-120 （in Chinese）

[20] Ma Y Z， Lv B， Wang Y F， Shi C Y. Crop water requirement prediction method based on EEMD-Attention-LSTM model ［J］.Journal of Physics：Conference Serie，2023，2637（1）：12-28

[21] 商志根，段小汇.基于PSO与LS-SVM的作物需水量预测［J］.计算机与现代化，2018（10）：44-47

[22] Shang Z G， Duan X H. Predicting crop water requirements based on particle swarm optimization and least square support vector machine［J］.Computer and Modernization，2018（10）：44-47 （in Chinese）

[23] 任 欢，王旭光 ．注意力机制综述［J］．计算机应用，2021，41（1）： 1-6

[24] Ren H， Wang X G. Review of attention mechanism［J］.Journal of Computer Applications，2021， 41（1）： 1-6 （in Chinese）

[25] 仵晓聪，冯鑫，蒋豪.基于多头注意力CNN-LSTM碳排放量预测研究［J/OL］.重庆工商大学学报：自然科学版，1-11［--］

[26] Wu X C， Feng X， Jiang H. Prediction of carbon emissions based on multi-head attention CNN-LSTM ［J/OL］.Journal of Chongqing Technology and Business University：Natural Science Edition， 1-11 ［--］ in Chinese）

[27] 董楠，吕新，侯振安， 王海江， 陈剑， 张泽， 李新伟， 张涛， 李冬冬.基于彭曼公式的膜下滴灌棉田灌水量研究［J］.新疆农业科学，2012，49（4）：617-624.

[28] Dong N， Lv X， Hou Z A， Wang H J， Chen J， Zhang Z， Li X W， Zhang T， Li D D.Study on irrigation amount of cotton field under mulched drip irrigation based on Penman formula ［J］.Xinjiang Agricultural Sciences， 2012，49 （4）： 617-624 （in Chinese）

[29] 张明岳，李丽敏，温宗周， 张顺锋. 基于改进 Elman 神经网络和模糊控制的智能灌溉算法设计［J］. 国外电子测量技术， 2021， 40（11）： 155-160

[30] Zhang M Y， Li L M， Wen Z Z， Zhang S F. Design of intelligent irrigation algorithm based on improved Elman neural network and fuzzy control ［J］. Foreign Electronic Measurement Technology， 2021， 40（11）： 155-160 （in Chinese）

[31] 郎需强. 基于ZigBee和GPRS的远程果园智能灌溉系统的设计与实现［D］.泰安：山东农业大学，2011

[32] Lang X Q. Design and implementation of remote orchard intelligent irrigation system based on ZigBee and GPRS［D］. Taian：Shandong Agricultural University，2011 （in Chinese）

[33] Allen R G， Pereira L S， Raes D. FAO Irrigation and Drainage Paper No. 56［M］. Rome： Food and Agriculture Organization， 1998

[34] 李迎，邓忠，翟国亮，宗洁，蔡九茂，张文正.冬小麦作物系数的积温模型［J］.节水灌溉，2015（4）：36-40

[35] Li Y， Deng Z， Zhai G L， Zong J， Cai J M， Zhang W Z. Accumulated temperature model for crop coefficient of winter wheat ［J］. Water Saving Irrigation，2015（4）：36-40 （in Chinese）

[36] 王旭，刘波，陈正超，鞠婷.基于多源数据和LSTM模型的县域冬小麦估产［J］.农业现代化研究，2023，44（6）：1117-1126

[37] Wang X， Liu B， Chen Z C， Ju T. 基于多源数据和LSTM模型的县域冬小麦估产［J］. Research of Agricultural Modernization， 2023，44（6）：1117-1126 （in Chinese）

[38] Wang W H， Xie E Z， Li X. Pyramid vision transformer： A versatile backbone for dense prediction without convolutions ［C］// 2021 IEEE/CVF International Conference on Computer Vision， Montreal： Institute of Electrical and Electronics Engineers， 2021

[39] 符太东，韩秋香.基于大数据的智能灌溉决策系统设计研究［J］.农机化研究，2024，46（11）：86-89，95

[40] Fu T D， Han Q X. Design and research of intelligent irrigation decision-making system based on big data［J］. Journal of Agricultural Mechanization Research，2024，46（11）：86-89，95 （in Chinese）

[41] Amogha Hegde M N， Naik M S， Chaitra S N， Madhavi M， Ravichandra A. Prediction and analysis of water requirement in automated irrigation system using artificial neural network （ANN） and lora technology ［C］. 2021 IEEE International Conference on Distributed Computing， Montreal： Institute of Electrical and Electronics Engineers， 2021

[42] Wang L， Meng Z Q， Yang L N. Chinese sentiment analysis based on cnn-bilstm model of multi-level and multiscale feature extraction ［J］.Computer Science， 2023， 50（5）：248-254.

[43] Huang J Y， Li J H， Oh J， Kang H. LSTM with spatiotemporal attention for IoT-based wireless sensor collected hydrological time-series forecasting ［J］. International Journal of Machine Learning and Cybernetics，2023，14（10）： 3337-3352

基金资助

“十四五”国家重点研发计划(2023YFD2301503)

河南省重大科技专项(221100110800)

河南省重点研发计划(241111111500)