基于可见光和近红外图像跨模态交互的田间杂草分割方法

摘要

[目的]针对田间杂草目标存在分布不均匀、尺度不一以及边缘重叠等问题，提出一种基于可见光和近红外图像跨模态交互的双分支分割模型CMFNet-Lite。[方法]基于Transformer模型构建了双分支特征提取网络，分别从近红外和可见光输入中提取光谱和视觉特征；建立基于交叉注意力机制的特征融合模块，将2种特征进行跨模态交互并通过残差网络拼接融合，以充分利用不同模态各自的信息，形成优势互补；将融合后的特征图送入多层感知机进行杂草分割掩码预测。此外，还进一步利用可分离卷积替代常规卷积，以降低模型参数量和提升推理速度。[结果]在Sugar Beets 2016数据集上的试验结果表明，所提方法的检测效果较基于卷积神经网络和近年来采用混合CNN和Transformer架构的分割模型有较大提升，平均交并比(mIoU)和平均准确率(mAcc)分别为92.73%和95.52%。轻量化模型的参数量为8.5 M,单幅图像检测速率为每秒6.3帧。消融试验表明，本方法与未融合特征的Segformer分割模型相比，mIoU和mAcc分别提高了6.22%和4.1%。[结论]融合多模态信息相比于仅使用单模态输入更有助于田间杂草区域的精细化感知，可为精确除草作业提供技术支持。

关键词

杂草 / 识别 / 分割 / 多模态融合 / 注意力机制 / 轻量化 / CMFNet-Lite模型