基于多尺度信息融合的杂草语义分割方法

摘要

玉米田间杂草有效分割是无人机精准变量施药的必要前提，针对传统CNN语义分割模型难以克服因玉米与杂草相互遮挡、小目标杂草漏检等问题，以玉米3～5叶龄期田间杂草无人机正射数码影像为对象，提出Transformer与CNN多尺度信息融合的杂草语义分割模型TFPSP-CA。首先，将基础模型PSPNet特征金字塔替换为BiFPN，加强特征融合，增强模型对图像细节的学习能力和上下文信息获取能力；使用MobileNet系列网络替换原有的ResNet网络，加快模型预测速度、减小模型规模，得到改进的杂草分割模型FPSPNet。结果表明：改进的分割模型FPSPNet在小目标、中目标、大目标的mloU、PA分别为84.48%、89.36%,82.05%、89.34%和83.32%、89.26%，尤其对小目标杂草分割精度提升明显，其mIoU、PA比基础分割模型分别提高4.60%和2.42%。其次，进一步在FPSPNet金字塔模块的输出端引入Transformer特征输出模块并行连接从而获得更多尺度信息，并加入结合坐标与通道信息的CA注意力机制，得到TFPSP-CA杂草分割模型，该模型能够更好地捕捉全局特征和长距离依赖关系，从而提高对复杂环境下杂草分割问题的处理能力。结果表明：改进后的TFPSP-CA模型在无遮挡、轻度遮挡、严重遮挡情况下杂草分割mIoU和PA分别为90.21%、91.98%,89.44%、89.11%和87.59%、87.53%，改进模型在严重遮挡情况下精度提升明显，对比原始模型PSPNet和FPSPNet,mIoU、PA分别提升6.34%、2.27%和10.96%、5.22%。

关键词

杂草分割 / 玉米苗期 / 精准农业 / Transformer / 卷积神经网络

基金资助

辽宁省教育厅重点攻关项目（JYTZD2023123）