畜牧业作为中国农业的支柱产业,在稳定国民经济、保障国家粮食安全及提高居民生活水平方面占据重要地位。绵羊养殖业是畜牧业重要的组成部分,根据联合国粮农组织统计数据,2023年中国绵羊的存栏量为1.93亿头,占全球绵羊总存栏量的12.7%
[1]。随着养殖规模快速扩大,我国绵羊养殖正在从分散养殖、自然放养的传统养殖模式向规模化、高度集约化、精准化、智能化的精准养殖模式转变
[2],而绵羊个体的精准识别是实现精准畜牧业的重要基石,同时也是完善绵羊个体生长记录、育种管理、健康监测以及行为分析的前提条件。然而,传统养殖模式依赖人工观察与记录绵羊个体状态与群体行为,存在效率低、主观性强、实时性差等缺陷,难以满足规模化养殖场在精准饲喂、疾病预防、动物福利评估等环节的精细化管理需求
[3]。在此背景下,以传感器、物联网和人工智能为核心的智慧牧场技术迅速发展,其中基于深度学习的绵羊个体识别与日常行为识别技术因其非接触、自动化、可扩展等优势,成为推动畜牧业数字化转型的关键技术
[4]。因此,本综述将总结在绵羊个体识别和日常行为检测中,传统养殖模式存在的局限以及深度学习模型应用的研究进展,旨在为探究智能化养殖模式奠定基础,为未来智慧牧场建设提供理论参考。
1 传统养殖模式下绵羊识别和日常行为检测的方法和局限性
1.1 传统养殖模式下绵羊识别方法和局限性
物理标记法是在传统养殖模式下区分不同绵羊个体最常见的方法,包括颜色标记法、剪耳标记法、热标记法(Hot branding)、冷标记法(Freeze branding)、耳标标记法、射频识别(Radiofrequency identification,RFID)耳标标记法等
[5]。具体来说,颜色标记法是将色彩鲜艳的染料喷涂至绵羊背部,形成不同的图案或数字编号;剪耳标记法是在避开耳部血管条件下,将绵羊耳缘组织剪成不同形状进行标记;热标记法是使用加热的金属烙铁短暂接触动物皮肤,造成轻微烧伤,形成永久性数字编号疤痕;冷冻标记法是采用极低温(如液氮冷却至-160 ℃的金属)冷冻皮肤,破坏色素细胞,使新生毛发变为白色;耳标标记法是将带有编号及个体信息的塑料耳标固定在动物耳朵中央;RFID耳标法是将微型RFID芯片封装在普通耳标内,通过专用读写设备发射无线电波,激活芯片并读取其中存储的唯一编码或数据完成识别。目前,普通耳标、RFID耳标在大型养殖场内应用最为广泛
[6]。虽然这些方法在传统养殖模式下发挥了重要作用,但对于现代化养殖模式来讲,仍存在很大局限性。首先,上述方法均属于侵入式标记,往往对绵羊躯体造成永久性的伤害,影响了绵羊的福利水平;其次,这些物理标记存在脱落或损坏的风险,在规模化养殖场内增加了标记的后续维护和监管难度,从而降低绵羊个体识别的可靠性;最后,所有标记方法均需要大量的劳动力和物力资源投入,直接增加了企业的养殖成本
[7]。此外,依赖人工观察绵羊毛色、头部和躯体特征的形态学识别方法,易受主观判断影响,在特征高度相似的群体中难以快速、准确识别绵羊个体
[8]。因此,传统的标记、识别方法不能满足现代化养殖模式的需求。
1.2 传统养殖模式绵羊日常行为检测方法和局限性
绵羊的日常行为,包括采食行为、饮水行为、反刍行为、站立行为、行走行为和趴卧行为等,在一定程度上反映其健康状况,而实时监测羊群的日常行为有助于及时发现和处理潜在的问题
[9]。现将绵羊的日常行为谱定义如下(
表1)。
传统养殖模式条件下,绵羊的日常行为检测主要依赖于人工实地观察记录或人工分析场区、圈舍内绵羊的行为录音、录像视频,借助行为学取样和记录的方法,对行为的发生频率、强度和持续时间等进行统计
[10]。常用的行为学取样方法包括随机取样法、目标取样法、扫描取样法和行为取样法,行为学记录方法包括连续记录法、瞬时取样记录法、0—1取样记录法(
图1)
[11],在研究动物的采食、姿势、运动、社交、哺乳、跛行等行为中均发挥重要作用
[12]。然而,不同研究人员对行为表现和强度的认定存在主观性,可能导致行为检测出现偏差;且无论是人工实地观察记录或人工分析行为录像记录,都需要投入巨大的时间成本和人力成本,难以实现规模化养殖场动物行为的实时观察
[13]。因此,在现代化养殖模式下,亟需开发高效、准确、低成本的绵羊个体识别和日常行为检测技术。
2 基于传感器的绵羊日常行为检测技术
传感器(Sensor)是一类能响应规定的被测量并按一定规律转换成可用输出信号的器件或装置,包括运动传感器、声音传感器、压力传感器、图像传感器等
[14],现已广泛用于动物个体外貌特征和行为数据的收集
[15](
表2)。目前,基于传感器的绵羊日常行为检测技术已被广泛研究。
2.1 基于传感器的深度学习技术
基于传感器的深度学习(Deep learning,DL)技术(Sensor+DL技术)是在基于传感器的机器学习(Machine learning,ML)技术(Sensor+ML技术)上演化而来的。Sensor+ML技术的基本工作流程包括数据采集与传输、信号处理、特征提取、机器学习分类算法运算、结果输出和模型评价
[22]。常用的机器学习分类算法包括支持向量机(Support vector machine,SVM)、决策树(Decision tree,DT)、随机森林法(Random forest,RF)、最近邻分类器(k-Nearest neighbors,KNN)、AdaBoost、极限学习机(Extreme learning machine,ELM)等
[23]。然而,Sensor+ML技术的局限性在于需要人工标记、提取数据中的特征,在数据量大条件下运算效率低。
Sensor+DL技术的基本工作流程包括数据采集与传输、信号处理、深度学习算法运算、结果输出和模型评价
[24]。以运动传感器为例,该类传感器往往佩戴在动物头颈部、腿部和耳部,最初采用全球定位系统(GPS)项圈和加速度计,通过记录动物头部和身体的姿势变化
[25],进一步联用加速度计、陀螺仪和磁感应器,获取更加精准的头部运动和位置信息
[26]。数据采集后,需要对原始数据进行预处理,包括缺失值补全和异常值剔除、重力加速度偏差校正,例如利用矢量大小和加速度幅度面积方法进行优化
[27]。优化后的数据借助深度学习算法构建识别模型,进行特征提取、数据统计
[28],常见的深度学习网络包括卷积神经网络(Convolutional neural network,CNN)、循环神经网络(Recurrent neural network,RNN)、长短期记忆网络(Long short-term memory,LSTM)等
[29]。最终进行模型验证,以计算准确率(Accuracy)、精确率(Precision)、召回率(Recall)或灵敏度(Sensitivity)、F1得分(F1-score)和平均精度均值(mAP@0.5)等指标为评价标准,通过优化算法模型、调整模型参数的方法获得最优深度学习模型
[30]。与Sensor+ML技术相比,Sensor+DL技术的显著特点在于使用深度学习网络自动进行特征提取和分类,这极大提高了运算效率和准确率,逐渐成为当前研究的热点。
2.2 Sensor+DL技术在绵羊日常行为检测应用中研究进展
2.2.1 运动传感器
运动传感器常应用于检测绵羊采食、反刍、站立和趴卧等多种行为。然而此类传感器技术仍存在以下挑战:(1)传感器部署部位直接影响行为数据采集,方向变化易引起数据误差;(2)同时分析多种行为时,数据集不平衡问题会降低识别效率
[31]。
针对运动传感器部署部位不同造成数据偏差的问题,张春慧等
[24]利用GPS、三轴加速度传感器和无线传输相结合的方法,将InvenSense公司设计的加速度传感器佩戴在羊只额头、颈部以及下颚等部位进行对比,发现安装在羊只下颚的加速度信号明显且羊只应激反应最小。将该数据通过时频域联合分析方法获得频谱图后,采用卷积神经网络LeNet-5模型进行运算,实现采食、咀嚼和反刍行为的识别准确率分别为94.7%、93.9%和94.2%。Jin等
[32]采用22只呼伦贝尔本地绵羊作为研究对象,分别将多姿态传感器(IMU)固定在颈部、下颌和腿部。将得到的数据集经离散小波变换法(DWT)降噪处理,采用CNN-LSTM进行分类,结果表明,通过融合来自颈部和腿部装置的数据,其模型识别准确率达到了最高的99.3%,识别精确率高于98.9%、召回率高于98.7%、F1值高于98.8%,即使将数据频率降低到1 Hz,对6种绵羊行为的分类平均准确率仍然超过96%。类似地,胡天赐
[20]比较了不同采集部位数据集的循环神经网络分类能力,发现在颈部数据集中LSTM与注意力机制模块联用模型的准确率最高,而腿部和下颌数据集中含GRU模块的模型分类准确率最高。这些研究表明,在采用运动传感器技术对行为进行分类时,不同的部署部位适用不同类型的行为,不同部位的数据集分析需要选择合适的深度学习模型。
针对多种行为组成的数据集不平衡问题,Turner等
[33]将三轴加速度计传感器分别安装在下颌和耳朵处采集30只美利奴母羊的运动数据,通过多项式拟合SMOTE上采样方法平衡数据解决绵羊行为数据集不平衡的问题,然后分别比较了机器学习分类算法RF、SVM以及深度学习模型LSTM、BLSTM的表现,发现LSTM模型对采食、反刍、行走及其他等4类行为的分类平均准确率为85%,召回率为84%,F1值为82%,远高于RF算法的66%、64%和65%。值得一提的是,在更加精细的9类行为分类,RF的效率最高。因此,可进一步探究CNN+RF技术联用模型,提高对不平衡数据集的分类效率。而Zhang等
[34]以湖羊为研究对象,将呼吸传感器和IMU分别佩戴于绵羊腹部和颈部进行放牧,获取多维行为数据,再采用DWT进行数据过滤、时频域联合分析方法获取频谱图并利用PCA对数据进行降维处理,最后利用特征融合数据集建立基于注意力的粒子群优化卷积与长短期记忆模型,实现了对采食、反刍、行走行为的识别和分类准确率、精确率、召回率和F1评分分别为95.0%、94.8%、94.5%和94.6%。因此多传感器联用和合适的信息预处理等手段,是解决绵羊多行为数据集不平衡分析难题的常用方法。然而,在最近的一项奶牛研究中,研究者仅用一种针对三轴加速度传感器数据应用的23层架构深度学习模型,集成了卷积层、批归一化层、ReLU函数层和最大池化层,通过对3个公开的奶牛行为数据集进行验证,分别实现了对奶牛采食、躺卧、行走、反刍等行为的平均识别准确率达96.72%、87.15%和98.7%,表明该模型有较好的泛化能力
[35]。
2.2.2 声音传感器
声音传感器能够识别单个咬合、咀嚼等精细化动作,主要应用在采食、反刍、饮水行为场景中,例如Duan等
[36]将Whision H29-1录音器佩戴在青海半细毛羊下颌,采集4只羊的短期采食行为声音构建数据集,结合DWT、梅尔频谱(Mel)和主成分分析(PCA)方法获取基于DWT降维的梅尔频率倒谱系数(PW_MFCC),再利用LSTM网络训练分类器进行声音片段分类。该模型对反刍咀嚼和采食咀嚼等行为识别的总体准确率、F1值分别为94.97%和97.41%,还能够用于预测日采食量。然而,对声音传感器构建的数据集进行行为分析时易受环境噪音干扰。为了解决此问题,Wang等
[37]在6只蒙古羊额头上佩戴电容传声器,建立数据集后使用Praat软件对采食声音和环境噪音进行人工标记,然后分别采用RNN、CNN、DNN模型对采食咀嚼和反刍咀嚼行为进行分类,平均准确率分别为93.17%、92.53%和79.43%。Yu等
[38]则以杜泊羊、特赛尔、萨福克羊为研究对象,颈部佩戴无线麦克风、圈舍内安装摄像头收集绵羊的声音和视频数据,结合视频数据标记采食声音和环境噪音,再采用常数Q变换谱图、Mel谱图、短时傅里叶变换谱图方法将音频信号转换为声谱图后,利用定制的卷积神经网络(SheepVGG-Lite)进行跨谱图特征融合,发现交叉光谱特征融合显著提高了分类性能,分类准确率、召回率、精确率和F1值分别为96.47%、96.47%、96.47%和96.46%,但该方法在极端环境中不稳定,可考虑联用加速度计和声音传感器进行优化。然而对于声音传感器的实习监测性能、计算成本及商业推广等问题有待深入研究。
2.2.3 鼻带传感器
鼻带传感器直接反映咬合和咀嚼行为,并可用于记录采食时间,但适用范围窄,主要应用在牛采食行为的监测
[39-40],如Benaissa等
[41]报道对牛采食、反刍等行为的识别总体准确率可达91%。Werner等
[18]验证了RumiWatch鼻带传感器能够应用于绵羊采食行为的检测,分别在绵羊头部和侧脸佩戴传感器,收集数据后采用特定的RWC软件进行分析,实现与视觉观察的一致性高达95%,但并没有利用深度学习模型。
2.2.4 佩戴式图像传感器
佩戴式图像传感器在动物上的研究并不多见。Oliveira等
[21]将2个微型摄像机佩戴于牛的颈部,分别捕捉牛的正前方和侧方的图像视频,观察食团通过食管的吞咽行为;Rusel等
[35]也将微型摄像机佩戴于牛颈部,观察牛的采食行为,而在绵羊中几乎没有采用佩戴式视频传感器的研究。
虽然不同的传感器能够采集不同类别的原始数据用于行为识别,配套技术最为成熟,但传感器造价成本高,且多数仍是接触式或侵入式,在佩戴过程中易损坏或遗失,增加运营成本和管理难度
[42]。因此,基于计算机视觉的绵羊个体识别和日常行为检测技术逐渐成为当前研究热点。
3 基于计算机视觉的绵羊个体识别和日常行为检测技术
3.1 基于计算机视觉的深度学习模型技术
基于静止图像或视频实现绵羊个体识别及行为检测的研究目标可简化为3个方面:1)确定图像内是否包含绵羊个体或绵羊行为;2)确定绵羊个体或发生的绵羊行为在图像的什么位置;3)实现特定绵羊个体的实时追踪。以图像传感器技术为基础的计算机视觉(Computer vision,CV)技术通过机器学习算法模拟人类视觉系统,从视觉数据中提取信息、理解内容并做出决策
[43]。CV技术的基本工作流程包括:图像输入、特征提取、图像分析和结果输出(
图2),而图像分析的主要任务包括图像分类(Image classification)、目标检测(Object detection)和目标追踪(Object tracking)等
[44],完美契合绵羊个体识别与行为检测的目标要求。然而,CV技术算法虽然最为成熟、在简单应用场景下表现良好,但该技术在图像特征提取过程中依赖人工设计提取特征、工作效率低,且在图像背景噪声大、绵羊个体遮挡等条件下识别效率差,难以满足现代绵羊集约化、规模化养殖需求。
基于计算机视觉的深度学习模型(CV+DL)技术融合了传统计算机视觉技术和深度学习模型的特点,通过不同的算法和模型让计算机自动感知、分析和理解图像或视频内容,在生物特征识别、信息安全等研究中具有重要作用
[45]。CV+DL技术的基本工作流程包括3个步骤:图像输入、深度学习模型运算、结果输出(
图2)。CV技术与CV+DL模型最显著的区别在于特征提取过程的差异。CV通过人工设计、提取特征,常用的算法包括尺度不变特征转换(Scale invariant feature transform, SIFT)、加速鲁棒特征(Speeded up robust features, SURF)、方向梯度直方图(Histogram of oriented gradients, HOG)等;提取到的图像特征数据进一步输送到特定的分类器如KNN、DT以及SVM中进行图像分类
[46]。而CV+DL则完全通过训练集自动识别、提取特征,搭建可以自我更新迭代的数学模型,通过设置损失函数、优化器来进行模型训练,进而拟合出研究人员想要的分类模型
[46]。常用的特征提取和图像分类模型包括以AlexNet、VGGNet、Inception、ResNet、DenseNet、MobileNets、RegNet和RePVGG等骨干网络为主的CNN模型,以及以ViT、CvT、PvT、MobileViTs等为主的视觉转换器(Vision transformer)模型
[47]。总体而言,CV+DL技术具有更高的精确度和通用性,同时具有低成本、非接触式等明显的优势,目前已经广泛应用于大规模图像分类
[48]、人脸识别
[49]、农业监测
[50]等研究,技术体系逐渐趋于成熟。
目标检测算法旨在识别图像或视频中目标的位置和类别,根据提取到的图像的特征,适用于确定静态图像中是否存在绵羊个体及特定行为。CV技术的目标检测算法与图像分类算法相同,而CV+DL模型则分为单阶段和双阶段两大类。单阶段目标检测法应用最为广泛,常见的算法包括YOLO(You only look once)系列算法、SSD(Single shot multibox detector)算法
[51]。双阶段目标检测算法能够在复杂背景中定位和分类目标,但检测速度较慢,常见的算法包括R-CNN系列算法
[52]。
目标追踪是指以视频中既定目标的大小和位置,在后续图像分析时仍然定位同一目标,主要适用于解决动物动态行为分析问题,实现基于时空特征的动物行为识别
[53]。目标追踪算法分为两类,一是不依赖目标检测的DFT(Detection free tracking)类算法,根据人工界定的目标位置、大小进行追踪;二是依赖目标检测的DBT(Detection based tracking)类算法,其基本流程是对目标检测算法的结果进行预处理后作为输入,经过复杂的目标追踪模块进行数据处理,最终输出轨迹。目前DBT类算法应用最为广泛,但其追踪性能与目标检测算法的效率正相关。常见的DBT类算法主要有SORT(Simple online and real time tracking)、DeepSORT、StrongSORT等
[54]。
3.2 CV+DL技术在绵羊个体识别应用中研究进展
基于绵羊生物特征的CV+DL技术,通过分析绵羊的面部特征实现高精度的绵羊个体识别(
表3),在绵羊的饲养管理、行为检测、疾病监测等场景中展现出巨大应用潜力。
3.2.1 CV+DL技术在不同品种绵羊识别中的应用
准确识别不同绵羊品种,对了解绵羊群体生产性能具有重要意义。不同品种绵羊存在显著的体型外貌差异,Carneiro等
[55]仅通过测量肩高、头宽和头长即可区分11个品种;另外,不同品种绵羊面部存在颜色差异,例如萨福克和白头萨福克相比,前者面部皮肤为黑色,后者面部皮肤为白色
[56],这些特征为开发绵羊个体识别技术奠定了基础。Abu Jwade等
[57]建立了一个包含美利奴羊、多角道赛特、萨福克、白头萨福克4个绵羊品种共1 642张绵羊图像的公开数据库,通过对图像进行预设控制点、图像矩阵转换、图像增强等预处理之后,首次利用改进的VCG-16模型对图像进行训练、学习,能够实现美利奴羊、多角道赛特、萨福克、白头萨福克的识别准确率分别为92%、98%、97.5%和96%,其中美利奴羊识别率低的原因是该品种由多个品种杂交选育而成,因此带有多个绵羊品种的特征,这也为后续同品种绵羊的个体识别提出了挑战。围绕上述数据库中丰富的图像资源,研究人员采用不同的深度学习模型,开展了一系列研究工作。Dutta等
[58]以上述图像数据库作为研究对象,利用CNN深度学习模型进行分类,研究结果显示训练集的绵羊品种识别准确率为99.97%,但测试集仅有87.1%,意味着传统CNN在绵羊品种识别中存在局限性,需进一步优化。Koklu等
[59]利用Inception V3神经网络模型提取1 680张绵羊图像的2 048个特征,再用人工神经网络模型进行训练和分类,实现绵羊品种识别准确率、精确率、召回率和F1值分别为92.3%、92.3%、92.3%和92.2%,而Agrawal等
[60]利用VGG16和ResNet50架构组成的集成模型,将测试集中绵羊品种的识别准确率提高至97.2%,高于单独使用VGG16模型(96.25%)或ResNet50模型(93.86%),但该联合模型的运算时间为1 633 s,远高于单独VGG16模型和ResNet50模型(581 s和1 170 s),表明多模型联用资源消耗大,便捷性差。综上,卷积神经网络模型可以较好地实现美利奴羊、多角道赛特、萨福克、白头萨福克4种绵羊的分类,但缺乏对其他多品种数据集的研究验证。此外,已有数据集尚未考虑自然环境对绵羊品种识别的影响,且上述模型参数量大,实际应用困难。
针对上述问题,李贵
[8]提出了一种基于深度学习的绵羊品种检测方法及一个自动识别系统。首先,该研究自建了包含7个绵羊品种共5 405张绵羊图像的非公开图像数据集,通过Mosaic数据增强方法将图像扩充至31 349张。7个品种分别为湖羊、德克赛尔羊、澳洲白羊、蒙古羊、东弗里生羊、杜泊羊和萨福克羊,数据量远大于Abu Jwade等
[57]构建的数据集。为了解决图片拍摄时造成的羊脸漏检、羊脸大小不一等问题,以YOLOv7-tiny模型为基础模型,通过检测层增加四倍下采样P2检测头、颈部网络引入四层输入加权双向特征金字塔网络和替换ReLU函数为SiLU激活函数等方法,将最小可检测目标分辨率提升至4像素×4像素、引入级联方法增强多尺度特征融合能力和增强模型提取细微特征的能力,最终实现了检测精确率、召回率和mAP@0.5值分别达到94.1%、92.7%和96.6%,高于原模型的91.2%、87.6%和93.5%。进一步为解决自然环境信息冗余影响识别精度问题,引入坐标注意力机制将全局池拆分成2个一维特征编码、优化损失函数的方法优化EfficientNetV2-S模型,实现识别准确率为96.9%,并通过知识蒸馏方法将EfficientNetV2-S(21.341 M)学习到的羊脸图像分类知识传授给轻量级网络MobileNetV3(2.835 M),在接近教师模型性能的基础上得到更加轻量级的模型,再将GUI交互界面、功能模块封装、系统软件环境及硬件环境系统构架通过软件编程将上述2个模型整合上述2个模型为多品种绵羊图像识别系统,可实现本地图像上传和绵羊品种识别功能。然而,该研究建立的多种绵羊品种图像数据集仍可扩充更多品种图像,且识别系统并未实现实时监测分析功能。
3.2.2 CV+DL技术在同品种绵羊面部识别中的应用
同品种绵羊个体识别存在以下技术挑战:1)绵羊个体之间体型体尺、外貌毛色及面部特征均高度相似,且脸部姿态会频繁变化,图像采集角度不同造成数据差异等,都增加了识别难度;2)绵羊生活环境条件易影响采集图像和视频的清晰度,显著影响识别效率
[38,61]。然而,绵羊的面部特征存在的细微差异为实现同品种绵羊个体识别奠定基础
[56]。
针对绵羊头部姿势变换、复杂环境背景影响识别效率,Wan等
[62]构建了不同距离、不同角度和不同光照条件3种图像数据集,提出了一种基于RepVGG模块和双线性特征提取融合的深度学习模型RepB-Sheepnet。同时引入置换注意力机制模块,在整体参数大小为23.07 MB条件下,每张图识别时间控制在15.31 ms,并实现了对羊侧脸、羊前脸和羊全脸的数据集识别准确率分别达到95.95%、97.64%和99.43%。RepVGG模块是在VGG网络基础上改进的骨干网络,使用1×1卷积、3×3卷积和残差组成的多分支模型结构进行训练,并使用3×3卷积的单分支模型结构进行推理,具有结构重参数化的特点,在不影响精度的情况下对模型进行无损压缩,缩短了推理时间;当输入特征和输出特征具有相同的高度、宽度和通道数时,RepVGG模块还可以从训练状态转换为推理状态。置换注意力机制模块融合了空间注意力和通道注意力模块,具有参数量小、特征提取能力强的特点;因此,二者有机结合能有效降低羊脸姿态对识别精度的影响。Salama等
[63]则设计了一种小样本深度学习模型,采用数据增强方法将原始图像集扩充至1 000张图像,利用CNN和AlexNet网络强大的图像分类能力,进一步使用贝叶斯优化技术对卷积层数、初始学习率、动量和正则化强度进行优化,通过迭代逐步缩小分类误差,提高了不同角度绵羊面部图像的识别率,实现巴基羊的识别精确率达到98%和97.5%,远高于传统CNN模型的48.87%。而张宏鸣等
[64]在2种距离条件下对不同光照、不同高度、不同角度的滩羊进行拍摄和录像,以YOLOv4为基础模型,引入了融合空间信息的高效通道注意力机制模块(ECCSA),并使用余弦退火算法对学习率进行调优,所构建的ECCSA-MFC模型能很好地应对距离和姿态变化条件下绵羊面部识别场景,在羊脸识别验证中识别率达到96.73%,在实际场景中拥有对不同距离羊脸正确分类识别的能力。崔家赫
[7]采集了不同光照条件、不同角度的绵羊图像,引入基于注意力图神经网络的高效算法SuperGlue,融合自我注意力机制和交叉注意力机制加强关键点特征提取能力,生成分配矩阵后通过迭代优化方法寻找矩阵中最相似的匹配点,提高匹配的鲁棒性,实现识别准确率范围为89.64%~93.64%。该研究还在融合了深度残差网络、特征金字塔网络和Transformer编码器的LoFTR算法基础上,升级了具有叠加卷积层特征能力的DenseNet网络,引入压缩和激励网络注意力机制模块(Squeeze-and-excitation networks,SE)和包含通道注意力卷积模块和空间注意力卷积模块的卷积注意力模块(Convolutional block attention module,CBAM),在聚焦于绵羊轮廓和关键部位的同时,区分细微行为变化并抑制无关特征的干扰,构建的LoFTR-CBAM模型可实现绵羊面部识别准确率范围达91.95%~95.08%。黄铝文等
[65]采集日间、夜间视频,通过模糊、亮度调整等7种数据增强方法获取17 600张羊面部图像数据集,利用二维小波变换提取绵羊面部图像多尺度频域特征并输入到3×3卷积中获得频域加倍通道,同时利用卷积神经网络提取绵羊图像的空间域特征输入到2步长3×3卷积中获取空间域加倍通道,然后将融合特征图输入到池化层和全连接层进行分类,日间和夜间的识别准确率、精确率、召回率和F1值分别达到99.74%、99.82%、99.73%、99.78%和99.89%、99.86%、99.85%、99.86%,并具有较好的抗过拟合能力和泛化能力,具有鲁棒性、高效性,满足实际场景需要。
此外,为了增加绵羊识别系统的便携性、提高模型运算效率,Zhang等
[66] 采集小尾寒羊面部图像且进行数据增强,以YOLOv5s为基本模型,在骨干网络SPPF模块之前嵌入注意力机制模块提高识别性能,并将CBS模块替换为ShuffleNetv2模块减少模型参数量,在颈部网络中替换卷积模块为Ghost模块进一步压缩模型,建立的LSR-YOLO模型可实现绵羊面部识别准确率97.1%、召回率97.6%、F1值97.4%和mAP@0.5值97.8%,与经典的YOLO系列相比内存更小,效率更高。Hitelman等
[67]则以阿萨夫羊为研究对象,使用Faster R-CNN融合ArcFace损失函数模型进行图像目标检测,使用ResNet50V2进行图像分类,保证平均识别准确率高于97%的同时减少了一半的训练时间,提高了工作效率。
3.3 CV+DL技术在绵羊日常行为检测中的应用研究进展
CV+DL技术已经广泛应用于绵羊的日常行为检测研究(
表3),同样存在以下技术挑战:(1)不同绵羊行为的样本数量分布不均造成数据集不平衡、复杂多变的环境条件(如光照强度、遮挡等)、绵羊追踪困难等增加了行为检测的难度。(2)高识别精度伴随的高计算复杂度、低运行速度等计算资源问题限制了其在实时检测中应用。
复杂的环境条件以及绵羊追踪困难导致的行为识别困难问题可通过多种方法来解决。Hu等
[68]分别采用固定式和手持式相机采集了日、夜间绵羊图片,以YOLOv5为基础模型,引入CBAM提高特征提取能力、引入双向特征金字塔网络融合不同尺度的特征,可实现对绵羊采食、躺卧、站立行为的识别均值平均精确率为91.8%。此外,该研究开发了实时监测系统,摄像机采集的视频流可通过网络传输至支持流媒体传输协议的服务器,后者可与客户端实现互动,实现实时观察和识别绵羊的功能。Wang等
[69]以参数较少的YOLOv8n为基础模型,将输入图像分别提取20像素×20像素、40像素×40像素、80像素×80像素的特征图,经过颈部新增的PCBAM模块融合上述特征图,提高模型对图像特征信息提取能力。杜佳磊
[4]则以杜蒙羊、杜泊羊、萨福克、陶赛特羊的8 720张行为图像为研究对象,以Mask R-CNN为基准模型,引入含多级残差连接的Res2Net101网络增强多尺度信息捕捉能力,再引入可变形卷积替换Res_3至Res_5的3×3标准卷积适应绵羊的形态变化,最后引入软化非极大值抑制算法减少因遮挡引发的漏检问题,建立的RDS-Mask R-CNN模型可实现对站立、躺卧行为的识别精确率、召回率和F1值分别为98.21%、99.27%和98.74%,并能够精确区分光照充足和阴暗处、遮挡条件下的绵羊姿态。类似地,在一项奶牛的研究中,Yu等
[70]提出了基于YOLOv5架构的Res-DenseYOLO检测模型,在骨干网络中添加了密集模块增强牛舍环境下特征提取能力,添加CoordAtt注意力机制模块和SioU损失函数增强特征学习和训练的收敛性,并在头部网络添加了一个检测头以增加远距离奶牛识别能力,最终实现奶牛饮水、采食、躺卧和站立等日常行为94.7%的精确率、91.2%的召回率和96.3%的mAP@0.5值,且能同时应对昼夜交替、牛群遮挡等复杂场景,但该模型参数较大不易在边缘设备上部署。而在多目标检测和追踪模型研究中,赵晓霞
[71]以YOLO v5为基础模型,引入CBAM、CIoU损失函数和DIOU-NMS函数分别提高网络特征提取能力、加快边界框回归速度以提高定位精度和降低目标之间由遮挡引起的漏检率,构建的YOLOv5-CBAM多目标检测模型的精确率、召回率、和mAP@0.5值分别为93.0%、99.1%和90.3%。在此模型基础上,引入StrongSORT作为后端跟踪器,在10只羊的运动估计跟踪准确率和召回率调和均值以及处理速度分别为91.6%、70.7%和26 FPS,表现出较好的鲁棒性,并开发了羊只实时运动轨迹跟踪软件。Zhang等
[10]以圈养绵羊的躺卧、站立和采食等行为的视频为原始实验数据集,目标检测阶段以YOLOv5为基础模型,引入Alphapose算法对绵羊进行姿势估计,进一步将骨架关键点图输入到时空图卷积网络中进行行为识别,然后以DeepSORT模型作为追踪器,实现多目标绵羊行为识别的准确率为99.9%。类似地,在猪的一项研究中,Gong等
[72]以YOLOv8s为基础模型,骨干网络采用轻量级GhostNet网络,融合卷积和自我注意力机制模块、Wise-IoU作为边界盒损失函数以增强模型特征提取能力,颈部层采用双向多特征金字塔网络增强对不同体型猪的识别能力,构建的GAB-YOLO可实现群居猪饮水行为和进食行为的检测准确率分别达98.40%和98.66%,参数减少了14.5%,并将DeepSORT算法集成到上述模型中建立GAB-YOLO-DeepSORT轻量级模型,部署到NVIDIA Jetson Nano平台后实现在群体饲养环境中对不同大小和品种的猪进行多目标跟踪,保证了猪饲养行为识别的准确性。
针对绵羊多行为检测过程中识别效率低和深度学习模型运算效率低的问题,Gu等
[52]在目标检测阶段以YOLOv5为基础模型,引入具有特征提取效率高、轻量型特点的多尺度聚合模块(MFA)、具有强细粒度特征识别能力的CBAM模块和具有空间和通道特征独立处理能力的可分离卷积模块,在保证绵羊有限行为检测效果的同时减少模型参数量;在分类阶段引入结构简单的VCG16网络模型,最终实现对躺卧、站立和采食行为的检测识别率均高于98%、分类识别率均高于94%,且模型小于130 Mb、推理速度达到52 FPS。翟亚红等
[73]则以参数量和计算量较小的YOLOv5n为基础网络模型,引入GIoU损失函数、SE注意力机制模块和C3Ghost卷积模块以减少模型计算量和参数量、增强网络特征提取能力,最终实现对绵羊躺卧、站立和采食行为的识别精确率分别为92.4%、召回率91.1%和mAP@0.5值95.8%,浮点运算量降至3.3×10
9,帧速率达到48.5 FPS,模型检测效果优于更先进的YOLO系列网络模型。此外,该研究将模型部署到Core-3399Pro-JD4核心板的嵌入式平台上,功耗是普通GPU的1%,在边缘设备上的推理速度达32 FPS,满足轻量化、实时监测需求。类似地,Wang等
[74]以YOLOv8n为基础网络模型,引入并联卷积注意力模块(Parallel-CBAM,PCBAM)和深度卷积网络分别增强通道特征和空间特征提取能力和降低模型参数量,构建的“PD-YOLO”模型实现对绵羊躺卧、采食和站立行为的识别mAP@0.5值分别为95.8%、98.9%和96.2%,计算速度达到52.1 FPS,模型内存大小减少13.3%。Wang等
[69]采用广义分离卷积代替颈部网络中的普通卷积层以减少模型参数、增加VoV-GSCSP模块以减少计算和网络结构的复杂性提高运算效率、去除小目标检测头以降低计算量等方法,构建的Sheep—YOLO模型在不同环境条件下能够快速定位绵羊并识别行为,检测精确率、召回率和mAP@0.5值分别达到93.5%、74.2%和94.4%,且45.4 FPS的检测速度也满足实时检测需求。
4 绵羊个体识别和日常行为检测深度学习模型研究中的挑战与局限
绵羊面部和个体识别、行为检测相关研究的最终目标是在羊场内部署完善的个体、行为实时监测分析系统,为实现绵羊产业向精准畜牧业方向转变。其中,深度学习模型优化的核心是如何实现更高的识别性能。基于上述文献,大多数研究均通过数据增强方法和提高深度学习模型的特征提取能力方法,优化原模型对绵羊个体和行为的识别能力。虽然这些处理在一定程度上改善了深度学习模型的性能,然而模型泛化能力仍存在一些问题。此外,大多数研究仅报道了实验室研究成果,忽略了模型部署时面临的计算资源限制问题。
4.1 模型泛化
4.1.1 数据集不平衡
动物个体识别和行为检测的核心问题是如何实现精准识别,而数据集的质量(数据集大小、是否平衡等)是影响深度学习模型精确度的重要基础。然而,上述文献中的数据集仍然存在一些问题(
表3)。首先,除Abu Jwade等
[57]的研究数据集公开之外,其他的传感器数据集、图像数据集均未公开,而牛的公开数据集较多;大多数研究训练集和测试集均来自于同一批次采集数据,这极大降低了这些数据集的利用程度。其次,所有训练模型仅对单一品种或少数品种、有限样本量的绵羊图像数据集进行研究,未对本研究之外的绵羊品种或图像数据集进行验证,例如Zhang等
[66]仅对小尾寒羊、Wang等
[74]仅对湖羊进行研究,无法全面评判训练模型的泛化能力。再者,原始数据标注工作多采用人工标注,这依赖标注专家对行为特征的把握程度,极易引起因行为标注差异导致的识别性能低下问题。此外,目前的绵羊识别模型依据面部、体型
特征,行为识别模型集中在发生频率较高的躺卧、站立、采食、反刍等日常行为,而对于发生频率较低的咀嚼、逆呕等精细化行为,爬跨、性嗅反射等其他生理行为,跛行、异食癖等异常行为的研究不足,造成数据集严重不平衡问题,降低了训练模型对其他行为的泛化能力。
4.1.2 环境条件限制
温湿度水平、气候模式、地理位置和不同海拔高度等环境条件均能影响预测模型的准确性。张宏鸣等
[64]通过采集不同时间、不同光照条件下的绵羊行为图像,再通过调节图像大小、亮度、饱和度、对比度和清晰度,以及图像平移、旋转、翻转、添加噪声等数据增强方法扩增数据集,模拟不同环境条件,提升了模型应对复杂环境的能力。然而,上述处理仍然存在局限性,例如在夜间、多羊群交互场景下识别率下降且多数研究尚未考虑阴天、雨天、雾天等天气变化、季节更替气候变化以及采食饮水过程中造成的面部遮挡问题,降低了模型应对复杂环境条件的泛化能力。
4.3 计算资源
在深度学习模型的建立和部署环节,都受到计算资源的限制。深度学习模型的开发和建立环节,需要密集计算、反复试验,需要选用高性能大内存GPU、高速大内存固态硬盘,以满足快速迭代、高精度识别的计算需求。此外,高质量标注数据集规模有限,数据增强、迁移学习等方法增加模型设计和训练的复杂度与时间;处理不平衡数据时采用损失函数、过采样等技术,进一步增加了计算的复杂性;对视频、音频等数据文件处理时,引入了RNN、LSTM或更复杂的Transformer编码器,既增加了模型的参数量又延长了训练时间。绵羊行为识别场景多为牧区草场、现代化养殖场等,无法提供稳定的高速网络将视频流回传到云服务器,因此必须在智能手机等边缘设备上进行实时推理。然而,边缘设备由于CPU、GPU、NPU运算能力限制、运行内存和存储空间的限制造成设备无法加载庞大的训练模型。为了适应边缘化设备运行需求,催生了轻量化模型的设计和运用,但在对训练好的模型优化时,运用模型剪枝、量化或知识蒸馏等模型压缩技术压缩后还需要进行二次训练,额外增加了计算任务;且在上述研究中,仅有杜佳磊
[4]采用了知识蒸馏方法优化了轻量化模型,而其他研究多在设计模型时去除冗余参数或调整模块,忽略了对训练后的模型继续优化。而受计算资源的限制,研究人员也必须在识别准确率和推理速度之间作出选择,虽然一些文献报道了同时兼顾准确率和推理速度的模型
[69,74],但并没有应用在实际生产场景中。此外,在牧区部署设备时,设备依赖电池或太阳能供电,因此对推理模型的功耗提出了要求。现有多数研究并未提供详细的模型参数和实现代码,这也增加了模型进一步优化的难度。
5 绵羊个体识别和日常行为检测深度学习模型研究的研究方向
5.1 模型和网络的使用
Rohan等
[29]系统综述了深度学习在家畜和家禽行为识别中的应用,发现CNN、CNN-LSTM、FCN、Faster R-CNN、YOLOv5、VGG16和GoogLeNet、ZFNet、CSPDarknet53、ResNet101分别是识别效率最高的完整模型架构和基础骨干网络,主要应用于图像分类、目标检测、语义分割和时序数据处理等场景,以预测精度或实时性为目标。而本文在总结深度学习在绵羊个体和日常行为识别中的应用时,发现经典的CNN、YOLO系列算法和VCG16等仍是广泛使用的网络模型(
图3)。除此之外,综合基于传感器和计算机视觉技术的深度学习模型在绵羊识别、行为检测中应用的研究,针对初始模型识别效率低的问题,越来越多的试验通过引入注意力机制模块、优化损失函数、减少参数量等手段,构建基于绵羊生物学特性、适用于绵羊识别的轻量化模型,不断提升其识别和检测能力。因此,未来的研究方向之一是进一步增强绵羊图像特征提取能力,构建灵敏度更高、特征提取能力更强、运算效率更优的轻量化模型,满足复杂场景下绵羊个体与行为识别的需求。
5.2 基于传感器的深度学习模型技术的开发与应用
Sensor+DL技术和CV+DL技术将仍是绵羊个体识别和日常行为检测研究的热点内容,综合现有研究内容,未来的研究方向可能包括以下几个方面:
5.2.1 开发绵羊专用的传感器
由于绵羊绒毛厚重、喜欢聚堆等生理和行为特点,极易影响信号传输或造成传感器损坏丢失,目前尚缺乏专为绵羊设计的行为检测传感器。现有绵羊研究中应用的运动传感器、声音传感器、鼻带传感器等商业化的传感器,几乎都是针对牛或人设
计的,其适用性可能存在偏差,因此亟需开发设计绵羊专用的传感器。
5.2.2 增强多模态信息融合能力,开发特征提取能力强、模型泛化能力强、轻量型模型
绵羊个体识别和行为检测的深度学习模型优化方向仍是开发识别精度高的轻量化模型。胡天赐
[20]、Zhang等
[34]、Yu等
[38]已表明,多种传感器联用可显著提高绵羊日常行为识别能力,而近年研究联用运动传感器、压力传感器和温度传感器进一步优化了数据获取能力,提高了行为的识别准确性
[75],尤其是Zhang等
[76]利用EfficientNet V2S、BiLSTM和Transformer网络,同时融合奶牛运动传感器和视频数据,实现对饮水、采食、躺卧、行走和站立等日常行为的识别准确率为98.80%,精确率为97.15%,召回率为96.93%,表明多模态信息融合存在巨大潜力。牧区、养殖场区计算资源有限,建立轻量化模型有助于在复杂的畜牧业生产环境中收集数据,可在有限计算资源条件下发挥优越的计算性能,提高计算速度和效率,有利于实时监测模型的应用;轻量化模型还具有管理方便,开发成本低的特点
[77]。然而目前轻量型的绵羊个体识别和行为检测模型还较少。此外,仅少数研究提供了配套分析软件,也缺乏商业化的推广应用
[20]。结合上述提示以及当前模型存在的局限性,未来可在不同的温湿度水平、气候模式、地理位置和不同海拔高度等环境条件下,数据采集和数据集构建阶段,联用声音传感器、柔性温度传感器、呼吸传感器和多维姿态传感器、双目相机等传感器,同时采集绵羊行为的加速度、声音和视频数据,使用预训练模型自动标注数据,再通过几何变换、光度变换、时序增强高级增强等数据增强方法,构建大型数据集,进一步利用自监督学习模型MoCo v3或DINO框架在未标注视频上进行预训练,学习通用特征表示;轻量化模型设计与训练阶段,选择YOLOv8n等参数较少的YOLO系列网络为基础网络模型,引入多种轻量级模块(如ViT系列、GhostConv等)和多种注意力机制模块(CBAM和跨模态注意力)构建数据融合网络,提升行为特征提取能力,再使用标注数据对模型进行监督训练,并利用自监督预训练进行权重初始化,在测试集上评估模型精度和速度;轻量化模型优化阶段,通过剪枝和知识蒸馏方法迭代优化模型结构;进一步采用联邦学习框架(如MobileNet),在多个牧场之间协同训练模型,提升模型泛化能力;最终在边缘设备上部署轻量化模型,采用FPGA/ARM+NPU方案在固定监控点实现低功耗、高性能的部署方案,或在智能手机上部署轻量化视觉模型,实现移动巡检功能。
6 总 结
精准的绵羊个体识别和日常行为检测是满足“精准畜牧业”需求的必要前提。基于计算机视觉研发的深度学习模型,是实现精准的绵羊个体识别和日常行为检测的最佳路径,具有成本低、速度快、准确性高等一系列优势。然而,这些研究多处在理论研究阶段。因此未来的研究方向,应在继续优化算法的基础上,开发构建的识别效率高、轻量化、易在边缘设备部署的深度学习模型,进一步研发简单易操作的可视化软件、便携的设备,实现并加快商业化推广应用,为真正做到“精准畜牧业”、提高绵羊的健康福利水平提供理论和技术支持。
山东省自然科学基金青年项目(ZR2023QC115)
国家自然科学基金面上项目(32372939)