基于改进YOLOv8n的油茶树视觉伺服整形修剪平台设计与试验

Design and Experiment of Visual Servo Shaping and Pruning Platform for Camellia oleifera Based on Improved YOLOv8n

摘要

针对油茶树枝条自动化修剪的视觉感知问题，尤其在室外自然环境中，枝条易受风扰、枝叶遮挡等环境因素影响，设计开发一种基于改进YOLOv8n的视觉伺服修剪平台。平台分为视觉检测系统和机械臂修剪系统。在视觉检测系统中，分别引入高效上卷积模块（efficient up-convolution block，EUCB）与多层感知器（multilayer perceptron，MLP）模块，设计EM-YOLO（EUCB and MLP-you only look once）模型，对特征融合模块与上采样模块进行改进，提升模型在复杂情况下对形态多变目标枝的识别能力；设计一种基于预测框底部中心点的定位策略，运用图像二值化与骨架提取技术来预测修剪姿态；基于标准D-H法建立机械臂运动学模型；通过图像误差建立视觉伺服控制策略，对目标枝实现动态逼近与姿态自校正。试验结果与原YOLOv8n相比，EM-YOLO对油茶目标枝的精确率、召回率、mAP0.5分别提高0.5%、7.1%、3.5%，研究采集的不同光照下目标枝样本检测性能保持稳定。室内自动化修剪试验中，平台实现了对油茶树目标枝的检测与修剪，识别成功率为81.29%，漏检率为14.03%，在1~2 m作业范围内空间定位误差小于1 cm，平台总体修剪成功率为80.9%，能够有效实现对油茶树目标枝自动化剪枝作业，为油茶树的智能化、规范化管理提供技术参考。

Abstract

Aiming at the visual perception problem of automatic pruning of Camellia oleifera branches， especially in the outdoor natural environment， branches are vulnerable to wind disturbance， branches and leaves shading and other environmental factors， a visual servo pruning platform based on improved YOLOv8n is designed and developed. The platform is divided into visual inspection system and manipulator pruning system. In the visual inspection system， efficient up-convolution block （EUCB） and multilayer perceptron （MLP） modules are introduced respectively， and EM-YOLO （EUCB and MLP-you only look once） model is designed to improve the feature fusion module and up sampling module， so as to enhance the recognition ability of the model in complex situations. A positioning strategy based on the center point at the bottom of the prediction frame is designed， and the image binarization and skeleton extraction technology are used to predict the pruning posture. The kinematics model of the manipulator is established based on the standard D-H method. The visual servo control strategy is established through the image error to achieve dynamic approximation and attitude self-tuning for the target branch. Compared with the original YOLOv8n， the accuracy， recall and mAP0.5 of EM-YOLO for Camellia oleifera target branches are improved by 0.5%， 7.1% and 3.5%， respectively. The detection performance of EM-YOLO in target branch samples collected under different lighting conditions remain stable. In the indoor automatic pruning experiment， the platform has realized the detection and pruning of the target branches of Camellia oleifera， the recognition success rate is 81.29%， the missing detection rate is 14.03%， the spatial positioning error within the operation range of 1-2 m is less than 1 cm， and the overall pruning success rate of the platform is 80.9%， which can effectively realize the automatic pruning of the target branches of Camellia oleifera， and provide technical reference for the intelligent and standardized management of Camellia oleifera.

Graphical abstract

关键词

识别定位 / 油茶 / 整形 / YOLOv8 / 融合感知 / 机械臂控制

Key words

Identification and positioning / Camellia oleifera / plastic surgery / YOLOv8 / fusion perception / manipulator control

0 引言

茶油中含有大量不饱和脂肪酸，对人们有较好的养生保健功能，随着人们营养保健要求的提高，油茶树种植面积逐年扩大^［1］。油茶树是生产茶油的重要原料，对油茶树进行科学、规范管理，能够有效保证油茶树产量及质量。而整形修剪是目前提高产量、优化品质、调节树冠、增加光能利用、营养生长与生殖生长平衡、改善结果品质的重要措施^［2］。但目前油茶树整形修剪主要以人工修剪为主，劳动力耗费多、效率较低，在修剪时可能会受到人工操作的影响，无法满足现代化种植要求^［3］。因此，开发自动化、智能化的整形修剪装备成为油茶产业升级的重要方向^［4］。

对油茶树目标枝的检测与定位是实现油茶树自动整形修剪的关键因素。近年来，由于卷积神经网络的兴起，深度学习特别是YOLO算法成为图像识别农林业目标的主流，并在番茄^［5］、水稻^［6］、小麦^［7］、玉米^［8］、冬笋^［9］等作物的识别任务中取得了良好的表现。彭炫等^［10］通过改进YOLOv5s的检测头与注意力机制，提升棉花顶芽的检测精度和速度，但模型计算量增加。苑朝等^［11］将可变核卷积（alterable kernel convolution，AKConv）与分布移位卷积（distribution shifting convolution，DSConv）模块集成到YOLOv8中，提升蝴蝶兰组培苗抓取的识别精度。岳凯等^［12］将YOLOv8中的C2f结构替换为更高效卷积（more efficient convolution，ME）卷积实现了柑橘的快速高效检测。葛宜元等^［13］在YOLOv8n基础上引入增强型空间金字塔池化模块（enhanced spatial pyramid pooling module，CBIM），提升软枣猕猴桃小目标果实的识别与定位精度。上述研究促进了农业目标检测研究，但针对树枝类细长目标识别的研究仍相对较少。在树木修剪方向，马保健^［14］使用语义分割模型（deep labelling version 3，DeepLabV3+）搭建枣树冬剪枝条语义分割模型，在一定程度上能够适应复杂环境，但是对于高密度枝叶环境下的识别精度仍有待提高。不同于落叶类果树，油茶树四季常绿、树冠繁密、枝叶交错重叠，目标枝条细长且特征不显著，容易被枝叶遮挡，同时林间的光照条件变化剧烈，导致常规目标检测模型在此方向容易漏检误检。以上因素致使油茶树目标枝检测困难。黄哲等^［15］为实现苹果快速采摘提出了一个改进YOLOv4的方法，用于识别采摘时的树枝障碍物，证明使用深度学习的方法可以在复杂枝叶环境下识别树枝。周宏威等^［16］针对林间复杂背景与光照变化条件下树木目标的检测问题，在YOLOv8s基础上引入注意力增强并改进检测头，提升复杂场景下的检测精度，为林下目标识别提供了参考。然而这类方法主要用于树枝障碍物的剔除和树木病虫害目标检测，对于面向修剪作业的枝条准确检测和三维定位较少涉及。因此，研究适合在较高遮挡、高密度油茶林下工作的枝条检测算法，对于高密度油茶林环境十分重要。

在运动控制上，多轴机械臂是实现自动化修剪的关键执行机构，其轨迹规划和逆运动学求解直接影响到修剪的稳定性与准确性。农业机器人的视觉伺服和行进轨迹规划方面已经有大量的研究。Lin等^［17］提出粒子群改进的自适应权重粒子群优化算法（adaptive weight particle swarm optimization，APSO）求解机械臂的逆运动学，结合自适应系数目标引力双向快速扩展随机树算法（adaptive coefficient target gravity bidirectional rapidly-exploring random tree，AtBiRRT）实现了快速无碰撞轨迹的规划，为复杂环境的路径规划提供了可行的方法。Wang等^［18］针对柑橘采摘机器人难以在密集果树枝丫环境下进行轨迹求解的问题，引入预采摘点分割，对柑橘采摘进行路径分段规划，提高了轨迹规划的生成速度。Chen等^［19］将番茄采摘机器人工作空间进行子块划分，并在子块中分别进行路径规划，减少了整体规划的复杂程度。张勤等^［20］将番茄采摘空间划分，去除机械臂无法到达的点，提高了采样效率和规划有效性。这些研究对限制在有限空间环境中的农业机器人的工作有一定的借鉴意义，但是树枝繁多的种植环境，对于机械臂的可到性、位姿以及路径的安全性要求会更高。

综上所述，油茶树自动化修剪中“目标枝条检测难、定位难、安全到达难”3个问题是实现规范化管理必须解决的，针对传统YOLOv8对复杂林间小尺寸、多形态、易遮挡枝条检测难的问题，本研究在YOLOv8n的基础上引入了多层感知器（multilayer perceptron，MLP）模块和高效上卷积块（efficient up-convolution block，EUCB）模块，提出了EM-YOLOv8目标枝检测模型，提高了特征提取和多尺度融合能力，同时结合深度图和检测结果框的底部中心点提出准确的三维定位方法，并通过骨架提取实现枝条姿态估计。在此基础上，建立标准的D-H运动学模型和视觉伺服控制策略，构建了视觉感知、机械臂规划路径和执行剪切相结合的自动化油茶树整形修剪平台。

1 基于视觉的油茶树修剪平台设计

油茶树修剪成林以疏删轻剪为主，修剪对象有徒长枝、交叉枝、下垂枝、枯病枝以及内膛枝^［21］。其中徒长枝较多且会吸收较多营养向上生长，对油茶树的树冠结构造成较大影响且不利于油茶树的规范化种植管理，为主要修剪对象^［22］，见图1（a）。针对油茶林作业环境复杂、枝叶密集以及目标枝条易被遮挡等问题，设计一套集视觉感知、姿态估计与机械执行于一体的自动化修剪平台，实现对油茶树徒长枝的实时检测、定位与剪切。

平台的主要硬件由一台六轴协作机器臂（华中数控CR610）和一套视觉系统构成。六轴协作结构使机械臂具备较大的作业空间和较好的运动灵活性，能够满足油茶树整形修剪过程中多姿态、多方位的操作要求。机械臂的末端执行器参考了小型往复式修枝器的结构，满足剪枝的作业需求。视觉系统采用“眼在手外”的安装方式，将一台Intel RealSense D435if深度相机固定安装在作业机械臂升降平台的顶部。整个修剪平台装配后见图1（b）。

修剪机器人闭环伺服控制工作流程见图2。修剪机器人系统工作开始，视觉系统对作业区域进行全局扫描，通过目标检测算法完成视野范围内徒长枝识别，并结合深度数据信息计算出目标枝三维空间坐标，机械臂控制器完成逆运动学求解，通过机器人操作系统（robot operating system，ROS）的Moveit运动规划框架完成无碰撞的路径规划，机械臂快速运动到目标剪枝点附近。到达目标点后，视觉模块对目标点局部区域二次精准定位。通过更高分辨率的近距离图像对修剪点进行精定位，通过二值化与骨架提取等处理计算目标枝的修剪姿态，调整末端刀具的切入角度。机械臂根据实时更新的剪枝点空间坐标及姿态调整末端位姿完成对目标枝的修剪。修剪机器人系统按照上述控制流程循环完成作业区域目标枝自动化识别定位和修剪过程。

2 油茶树目标枝视觉检测与剪枝点定位方法

视觉感知是实现自动化修剪的前提和关键^［23］。本研究的视觉系统不仅需要准确识别出在复杂背景下被严重遮挡的目标枝，还需要精确计算其三维空间位姿，为机械臂提供作业指令。

2.1 目标枝数据集构建

本研究的目标枝对象为油茶树的徒长枝，所采集的图像均来自湖南省长沙市望城区的大果油茶种植基地，该基地种植华硕、华鑫、湘林210、华金等优质油茶品种，油茶树的行距约为2 m，株距约为1 m，平均树龄3~8 a，树高1.6~2.5 m。使用微软Kinect v3相机拍摄油茶树徒长枝的图像，为后续算法在油茶修剪机器人上的部署，拍摄过程中模拟实际机械臂修剪视角，在1.5 m高度从不同方位与俯仰角对目标枝进行拍摄，采集样本覆盖典型自然光照条件（晴天、阴天、逆光等）以及不同遮挡密度场景（单棵低密度、连续多棵高密度等）。在数据清洗阶段剔除了严重模糊、过曝等质量较差图像后获得1 000幅左右原始图像，见表1。

为提升模型对自然环境变化的鲁棒性，通过使用OpenCV库对原始图像进行仿射变换、亮度调整、添加噪声、水平翻转、旋转等变化，将原来的1 075幅图像扩展到5 375幅图像。上述增强策略用于模拟田间光照变化、拍摄视角扰动及成像噪声干扰，从而增强模型在不同环境条件下的适应能力，部分增强后的效果见图3。经过数据集增强后，使用LabelImg软件对油茶目标枝图像样本进行目标区域的标注，手动绘制目标枝的边界框并标注类别。针对像素面积不足或不清楚的正样本，放弃标记以防止神经网络中过度拟合。最终完成的数据集共标记5 074幅图像。之后将所有标注的图像分为训练集（70%，3 552幅图像）、验证集（10%，507幅图像）和测试集（20%，1 015幅图像）3部分。

2.2 基于深度学习的目标枝检测模型

YOLO（you only look once）作为单阶段目标检测算法的代表，在准确率与实时性上具有一定的优势。原始YOLOv8采用端到端的回归算法实现整体图像检测，在图像特征提取过程中，主要利用固定大小的卷积核来进行扫描，对检测对象形态变化特征表达能力较差。自然环境下生长的油茶树枝、叶、果三者互相重叠，遮挡问题严重，油茶生长密集且树枝形状多样，原始YOLOv8无法较好地实现对油茶树枝、叶及果的3种重叠目标的识别。为提高油茶树徒长枝的检测精度，在YOLOv8n的基础上加以改进，通过引入MLP模块和EUCB模块，从特征提取和解码2个阶段同时加以改进和提高，提高检测精度和实时性。

2.2.1 上采样结构改进

为提高YOLOv8解码效率和检测精度，引入EUCB模块，该模块将深度卷积和上采样操作相融合，降低运算量、保留高分辨率特征图，提高网络计算效率^［24］。EUCB模块工作原理见图5，BN（batch normalization）为拟归一化。EUCB模块首先将输入进行上采样，再利用深度卷积对特征图进行增强，随后通过1×1卷积降低网络的通道数。EUCB模块降低了网络的运算量，并且有效提高了图像的分辨率及特征的空间表达能力。

2.2.2 特征融合改进

为进一步提升EM-YOLO模型的整体性能，针对二值化网络中信息丢失和梯度错误的问题，本研究引入二值化MLP模块。该模块通过移位操作方法解决信息丢失问题并改善特征表示能力^［25］，从而增强模型在复杂场景下对目标枝的识别与检测效果。二值化MLP模块的结构见图6（a），包含2个二值化线性的主层，并通过移位操作来优化特征图的表示，其中a1和a2表示不同步长的移位，例如移动一个像素或多个像素，用于生成多尺度空间特征，见图6（b）。该模块通过拟归一化（BN）和修正线性单元（rescaled linear unit，RPReLU）激活函数处理输入的特征以减少信息的丢失和梯度消失。图6（c）和6（d）分别为水平移位和垂直移位、拼接移位操作的具体实现。

2.3 目标枝修剪点精确定位方法

从农艺学视角来看，油茶树枝条的适宜修剪部位通常位于枝条附着点或接近主干的区域，见图7。在此处进行修剪可使切口愈合良好，对树形控制最为有利。为此，需要将图像中识别出的修剪点二维图像准确投影到机器人本体工作的三维坐标系，而这是视觉伺服任务完成的关键环节。本研究采用Intel RealSense D435if深度相机作为视觉传感器，使用其提供的彩色RGB图像和像素坐标对齐的深度图像信息，实现从视觉感知到空间坐标的计算^［26］。

通过视觉检测得出的二维检测结果还需要一个精确的像素点，用于三维空间定位。但在单帧RGB图像中，所需的准确枝条附着点容易受到叶片遮挡、光照以及与主干颜色近似等环境因素影响。通过训练一个关键点检测网络来回归枝条附着点坐标，在标注时不仅工作量大、难度高，在复杂场景下模型的预测也很难保持稳定。

在综合油茶树枝条的形态学特征以及自动化修剪的工艺要求后，本研究提出一种以预测框底部中心点为基准的定位策略。在同一预测边界框内，对比了检测框中心点与检测框底部中心点2种候选像素点，并结合徒长枝理想修剪点位于枝条附着点的农艺要求，对采集样本进行人工对比观察。结果显示，在检测框覆盖枝条可见区域的典型情况下，检测框中心点往往落在枝条中段，而底部中心点更靠近枝条与主干连接处的位置，枝条与主干连接处位置更符合修剪不留残桩的农艺规范要求。

因此，本研究将修剪点定义为预测边界框底部中心点，记为\left(p_x,p_y\right)，根据预测框左上角坐标\left(x_{\mathrm{m}\mathrm{i}\mathrm{n}},y_{\mathrm{m}\mathrm{i}\mathrm{n}}\right)以及右下角坐标\left(x_{\mathrm{m}\mathrm{a}\mathrm{x}},y_{\mathrm{m}\mathrm{a}\mathrm{x}}\right)得到，即p_x=\left(x_{\mathrm{m}\mathrm{i}\mathrm{n}}+x_{\mathrm{m}\mathrm{a}\mathrm{x}}\right)/\mathrm{2}，p_y=y_{\mathrm{m}\mathrm{a}\mathrm{x}}。预测框底部中心点能够给出更接近实际物理修剪点估计，且受枝条自身朝向以及长度变化的影响较小。该定义可以在没有引入其他模型参数和计算量的情况下，将视觉检测结果引导到农艺规范内的物理修剪位置，极大地提高了系统响应的实时性。

根据修剪点像素坐标\left(p_x,p_y\right)对齐后的深度图像得到相对应的深度值（d）。通过张正友标定法^［27］获得相机的内参矩阵（ K ）与畸变系数，确定像素坐标与相机归一化坐标之间的转换关系。通过相机内参矩阵（ K ）以及公式将目标枝修剪点二维像素坐标转换到相机坐标系下得到目标枝修剪点三维坐标P_c=\left(X_c,Y_c,Z_c\right)。该公式为

\left[\begin{array}{c}{X}_c\\ Y_c\\ Z_c\end{array}\right]=d·{\mathit{K}}^{-\mathrm{1}}\left[\begin{array}{c}{p}_x\\ p_y\\ \mathrm{1}\end{array}\right]。（1）

式中：d为对应像素点的深度值， K 为相机的内参矩阵。

通过采用“AX=XB”手眼标定法，可以得到相机坐标系相对于机械臂基坐标系下的刚性变换矩阵。公式为

{\mathit{T}}_{\mathrm{c}}^{\mathrm{b}}=\left[\begin{array}{cc}{\mathit{R}}_{\mathrm{c}}^b& {\mathit{t}}_c^b\\ \mathrm{0}& \mathrm{1}\end{array}\right]。（2）

式中：{\mathit{R}}_c^b为相机相对于机械臂基坐标系的旋转矩阵；{\mathit{t}}_c^b为相机坐标系原点在机械臂基坐标系中的平移向量，该矩阵构成了视觉引导机械臂运动的基础。最后通过手眼标定得到的矩阵{\mathit{T}}_c^b，将目标枝修剪点三维坐标P_c 转换到机械臂基坐标系下，得到用于修剪机械臂路径规划的三维坐标P_b=\left(X_b,Y_b,Z_b\right)，即P_b={\mathit{R}}_c^b\cdot P_c+{\mathit{t}}_c^b。

2.4 目标枝修剪姿态计算

对于自动化修剪作业，末端修剪刀具的姿态控制是完成精准修剪的关键^［28-29］。根据农艺要求，修剪刀具的目标点通常在枝条基部或靠近主干处，以获得较为平整的切口，利于树体恢复，需要求解末端修剪刀具的最佳切入角度，即对目标枝条的姿态进行估计。本研究设计一种轻量化的位姿估计策略，由带目标枝的检测框图像得到目标枝的感兴趣区域（region of interest，ROI）并进行二值化与骨架提取处理，见图8。利用最小二乘法拟合出代表树枝主轴方向的直线方程y=kx+b。计算直线与图像水平轴的夹角{\theta }_z作为偏航角估计，其计算公式为

{\theta }_z=\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{t}\mathrm{a}\mathrm{n}\left(\frac{k_{\mathrm{2}}-k_{\mathrm{1}}}{\mathrm{1}+k_{\mathrm{1}}{k}_{\mathrm{2}}}\right)。（3）

式中：k_{\mathrm{1}}为检测框底边斜率；k_{\mathrm{2}}为树枝拟合主轴斜率。

综上所述，对目标枝条图像区域依次进行二值化、骨架提取与主轴线拟合处理，能够有效确定目标枝条主轴方向和计算目标枝条相对于水平方向的偏航角度{\theta }_z，确定末端刀具切入角。

将{\theta }_z与剪枝点三维坐标P_b\left(X_b,Y_b,Z_b\right)作为末端运动规划的输入值，通过ROS中的Moveit模块进行运动规划生成可执行的作业末端位姿指令\left(X_b,Y_b,Z_b,{\theta }_{\mathrm{p}\mathrm{i}\mathrm{t}\mathrm{c}\mathrm{h}},{\theta }_{\mathrm{r}\mathrm{o}\mathrm{l}\mathrm{l}},{\theta }_z\right)，其中俯仰角{\theta }_{\mathrm{p}\mathrm{i}\mathrm{t}\mathrm{c}\mathrm{h}}与滚动角{\theta }_{\mathrm{r}\mathrm{o}\mathrm{l}\mathrm{l}}为未约束的姿态自由度，Moveit在规划过程中调用逆向运动学求解器（inverse kinematics solver，IK），在关节限位、可达性与碰撞约束条件下自动求解得到可行末端姿态，通过集成的开源运动规划库（open motion planning library，OMPL）生成无碰撞轨迹，并将规划结果传输至机械臂控制器，实现基于视觉图像反馈的闭环伺服修剪。

而修剪点的三维坐标和姿态角，既是路径规划的关键输入控制量，也是视觉伺服控制的主要反馈信息。以修剪点在图像中的像素偏差和枝干主轴的角偏差为控制量，使得末端执行刀具在图像中不断调整运动和靠近目标位姿。将上述偏差控制量输入到闭环控制中，对提高修剪作业的稳定性和定位精度有重要意义。

3 视觉伺服驱动的修剪机械臂运动学与控制

根据视觉系统输出的目标位姿X_d=\left(X_b,Y_b,Z_b,{\theta }_{\mathrm{p}\mathrm{i}\mathrm{t}\mathrm{c}\mathrm{h}},{\theta }_{\mathrm{r}\mathrm{o}\mathrm{l}\mathrm{l}},{\theta }_z\right)及其对应的图像误差信息，机械臂需要建立运动学模型，实现将视觉特征空间中的信息实时转换为关节空间的控制量^［30］。为实现视觉伺服的闭环控制，在建立机械臂运动学模型的同时，结合视觉反馈特性对二者的配合关系进行分析，形成集目标检测、姿态估计与伺服控制于一体的控制框架。

3.1 面向视觉引导的机械臂D-H运动学建模

机械臂的运动学建模是实现精确轨迹与运动控制的基础^［31］，针对六自由度协作机械臂的构型特点，通过测量机器人作业部分的各项实际尺寸参数，可以得到的各关节与连杆参数，见表2，本研究采用标准型D-H表示法构建机器人作业部分的连杆坐标系，见图9，用标准型D-H表示法参数建模构建机器人作业部分的关节连杆参数（表1），通过公式可得齐次变换矩阵 T_i-1，i。最终通过链式乘法得到末端位姿{\mathit{T}}_n^{\mathrm{0}}={\mathrm{\Pi }}_{i=\mathrm{1}}^n{\mathit{T}}_i^{i-\mathrm{1}}，建立正运动学模型。公式为

{\mathit{T}}_{i-\mathrm{1},i}=\mathrm{R}\mathrm{o}\mathrm{t}(z_{i-\mathrm{1}},\theta )\mathrm{T}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}(z_{i-\mathrm{1}},d_i)

\mathrm{T}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}(x_i,a_i)\mathrm{R}\mathrm{o}\mathrm{t}(x_i,{\alpha }_i)。（4）

3.2 修剪机械臂正逆运动学求解与验证分析

基于前述运动学求解，采用计算机仿真对运动学分析过程进行验证。首先设定各关节转角的初始值，并代入所建立的正运动学方程，求得末端刀具的末端位姿矩阵。随后将该位姿矩阵代入相应的逆运动学方程，对求解得到的关节转角与初始设定值进行对比，以检验运动学模型的准确性。进一步地，利用矩阵实验室（matrix laboratory，MATLAB）软件中的Robotics Toolbox工具箱，在给定相同关节初始转角的条件下，调用工具箱中的fkine与ikine函数重复上述求解过程^［32］，分别获得末端刀具的位姿矩阵及对应关节变量，并与前述结果进行比较。最后，对运动学验证结果进行可视化，展示机械臂在测试关节角度下的空间构型，见图10。

为验证标准D-H模型及逆解算法的可靠性，采用蒙特卡洛法进行误差量化分析，在表1中的关节运动范围内随机生成10组关节角组合，每组包含 θ₁— θ₆，通过正运动学计算末端位姿矩阵，再通过逆运动学求解对应的关节角，对比初始值与逆解值的偏差，结果见图11。

通过图11分析可知，6个关节的逆解误差绝对值均小于10^-13度，箱线图未出现明显偏态，误差呈随机分布，且远小于机械臂关节的分辨率，表明逆解算法稳定性较好，无明显系统偏差。10组测试的末端位置误差均在13位有效数字之外，可忽略不计，且误差随测试样本无趋势性波动，验证正逆运动学模型的一致性。基于旋转矩阵差异的姿态误差小于10^-13度，说明标准D-H模型能准确描述连杆间的旋转变换关系。综上，正逆运动学求解真实可靠，所建立的运动学模型及逆解算法精度满足修剪作业需求，为后续视觉伺服闭环控制提供了可靠的运动学基础。

3.3 基于图像误差的视觉伺服控制策略

在运动学模型验证可靠的基础上，进一步建立基于视觉反馈的伺服控制方法，将图像特征误差实时反馈到关节空间运动^［33-34］。将视觉模块输出的修剪点空间坐标（P_b）、枝条主轴偏航角（{\theta }_z）、通过相机标定获得的相机内参矩阵（ K ）以及手眼变换矩阵{\mathit{T}}_c^b作为输入端，得到实时的末端期望位姿。在控制过程中，将修剪点在平面图像上的像素误差与姿态偏差共同构成伺服控制误差信号（e）。建立图像上的图像雅可比矩阵，控制器通过图像雅可比矩阵建立线性控制律。公式为

v_c=-\lambda {\widehat{J}}^{+}e。（4）

式中：v_c为机械臂速度控制的输入；\lambda为比例增益系数；{\widehat{J}}^{+}为图像雅可比矩阵的伪逆。

该控制律将图像域误差实时转换为相机坐标系下的末端速度。将控制速度经过手眼标定关系转换到机械臂坐标系，逆运动学求解得到对应关节角末端速度，使末端靠近目标树枝修剪位置并改变姿态。伺服以误差阈值设定收敛条件（，ε=5 mm），当靠近修剪位置与末端执行器位置重合时，在误差足够小时，机械臂开始修剪。当比例增益系数（\lambda）较小时，系统响应较为平稳，但收敛速度较慢；当\lambda过大时，机械臂会有更大的瞬时运动，但也会需要更多的调整时间。Tsuchida等^［35］的参数对比试验表明，当\lambda从0.1增到0.5时，处理时间明显减少；而当\lambda从0.5增到0.8时，处理时间的改善不再呈线性关系。因此，本研究选取\lambda=0.1、0.5、0.8进行对比验证。当\lambda=0.1，机械臂收敛时间为28.43 s；当\lambda=0.5，机械臂收敛时间为8.95 s；当\lambda=0.8，机械臂收敛时间为7.66 s，机械臂抖动调整较多。综合收敛速度与执行稳定性，最终确定比例增益系数\lambda=0.5。

4 视觉伺服整形修剪平台试验与性能评估

4.1 目标检测算法性能试验设计与结果分析

本研究的试验在配置为CPU i7-13500、GPU Nvidia GeForce RTX 4060Ti（16GB）的硬件平台和Pytorch深度学习框架下进行。为全面评估模型性能，采用精确率（precision）、召回率（recall）、平均精度均值（mAP@0.5）、F1分数（F1-score）、推理时间以及模型大小作为评价指标。

为更加全面评估各改进模块在油茶树目标枝识别检测上的有效性，以YOLOv8n为基准模型，对各改进模块进行消融试验，主要侧重于精确率、召回率、平均精度均值、推理时间、模型大小作为参考指标，结果见表3。

由表3可知，引入EUCB模块后，模型的召回率由66.84%提升至71.33%，提高了4.49%，mAP@0.5提高了0.86%，但精确率略有下降，推理时间由6.41 ms增加至10.72 ms，模型大小由5.9 MB增至6.1 MB。结果表明，EUCB模块通过将深度卷积与上采样过程进行融合，在解码阶段增强高分辨率空间特征表达，有利于保留目标枝的纹理与边缘信息，从而显著降低遮挡与弱纹理目标枝的漏检率；与此同时，特征增强也可能对复杂背景中的相似纹理产生更强响应，导致少量误检并带来一定计算量。当仅引入MLP模块时，精确率提升1.47%，召回率提升4.08%，mAP@0.5提升2.11%，同时推理时间由6.41 ms减少到5.65 ms，模型大小不变。说明MLP模块能够在不增加模型规模的前提下，通过更有效的特征融合与信息交互提升特征判别能力，增强对目标枝细节与背景的区分，从而在提高检测精度与召回能力的同时改善推理效率。进一步地，当EUCB与MLP模块同时引入时，模型的召回率提升7.09%，mAP@0.5提升3.45%，综合性能达到最优。结果表明，两模块具有一定的互补性：EUCB侧重于增强解码阶段的空间细节以提升遮挡目标的检出能力，MLP侧重于提升特征融合与判别能力以抑制误检并提升效率，从而使改进模型在复杂遮挡油茶林场景下兼顾了检测性能与实时性。综上所述，引入EUCB与MLP后，模型对目标枝条的检测精度、召回能力及综合指标均得到提升，验证了本研究改进结构的有效性。

为验证本研究提出的EM-YOLO模型的有效性，在统一的数据集和试验条件下，与Faster R-CNN、YOLOv8n、YOLOv11n、REDTR-r18多种主流目标检测算法进行了横向对比，得到的评估结果见表4。

由表4可知，在本研究建立的油茶目标枝检测数据集上，EM-YOLO的平均精度均值为80.60%，相比于YOLOv8n、YOLOv11n、REDTR-r18和Faster-CNN分别提高3.5%、2.5%、4.5%和2.9%。在相关精度的指标中，EM-YOLO的精确率接近YOLOv8n，召回率从66.84%提高至73.93%，F1分数由68.63%提高到72.45%，对目标枝的检测能力提升明显；在模型大小和检测速度上，EM-YOLO的模型大小为6.1 MB，比YOLOv8n、YOLOv11n稍大，但比Faster-CNN、REDTR-r18的模型小很多；单张图像推理时间为6.39 ms，与YOLOv8n接近，明显快于YOLOv11n、REDTR-r18以及两阶段的Faster-CNN，能够满足油茶树自动化修剪的实时性要求。总体来说，EM-YOLO在精确率、召回率、mAP等方面比较均衡，且具有模型小、推理速度较快的特点，整体效果较优于其他模型，可作为油茶树视觉伺服修剪平台的目标枝检测算法，并可以在边缘计算设备上实现部署应用。

4.2 自动化修剪平台视觉引导方法试验评估

为验证所提出的自动修剪平台的目标检测性能，本试验使用包含170张图像的数据集，每个图像中含有1个或者多个目标。对每个目标的边界框进行标注，并与模型的预测结果进行对比。所有图像大小、标签文件和预测结果文件都按照预定义的统一形式，确保评估过程的准确性。为更加直观地显示检测结果，本研究将每张测试图像可视化，并使用不同颜色表示不同的检测结果，见图12。其中绿色边界框为正确的真阳性检测结果（True Positive，TP，式中记为T_P，交并比（intersection over union，IoU）>0.45且类别匹配）。红色边界框为丢失目标的假阴性检测结果（False Negative，FN，式中记为F_N，模型未检测到真实目标）。蓝色边界框为错误预测的假阳性检测结果（False Positive，FP，式中记为F_P，预测框与真实标签框不匹配，或者类别不一致）。对全部测试图像进行评估，统计数据见表5。

由表5数据计算可得，识别成功率{\eta }_{\mathrm{1}}=T_P/（T_P+F_N+F_P）×100%=81.29%，漏检率{\eta }_{\mathrm{2}}=F_N/（T_P+F_N+F_P）×100%=14.03%，基本满足油茶树自动化修剪要求。

修剪平台的最终性能主要由定位精度决定，利用开发的视觉感知系统进行定位精度试验，试验平台见图13。其中，试验设备由小米通讯技术有限公司生产的MJJGCJYD001QW型激光测距仪、油茶仿真树、Intel RealSense D435if组成。激光测距仪测量范围0.05~40 m。

试验时，将RealSense D435if相机安装在相机支撑架上，并使其能够在最佳视角对图像信息进行采集。将相机支撑架固定在升降平台顶部，在平台顶部安装激光测距仪，调整激光测距仪位置，保证激光测距点与目标检测点重合，见图13（a）。通过观察激光测距仪表显值，即为Z轴坐标真实值，将机械臂运动到目标点通过华数机械臂示教器可获得X轴与Y轴坐标的真实值，见图13（b）。图13（c）为目标检测点坐标（x，y，z）预测值。统计真实值与视觉系统预测值的坐标差值，取修剪作业范围内1.0、1.2、1.4、1.6、1.8、2.0 m为例，统计结果见表6，绘制得到不同深度距离下的定位误差曲线见图14。

由图14可知，定位误差随深度距离增大而增大，深度距离小于1.4 m时，各个轴向的定位误差均低于0.004 m，深度距离大于1.4 m时，Z轴方向误差的增长幅度明显高于其他轴向。造成深度误差增大的主要原因在于，目标枝与相机之间的距离增大会造成目标枝的成像尺寸缩小，使得目标枝可提取的有效特征点数量减少，影响其表面剪枝点的识别与定位精度。但是，本研究中修剪对象为株高1.5～2.5 m的成熟期油茶树，其枝条始终位于修剪机械臂的有效工作范围（2.0 m以内），毫米级的定位误差满足实际修剪要求。

4.3 基于视觉伺服的油茶树自动化修剪试验结果

为进一步验证本研究所提出的油茶树自动化修剪平台的有效性，在室内条件下创建自动化修剪场景，进行整形修剪试验，试验结果见表7。由表7可知，修剪试验次数为89次，成功修剪72次，总体成功率为80.9%。有5次为枝条晃动导致目标枝条追踪失败；有8次是因为机械臂可达性或路径规划冲突；有4次是因为目标枝条位置较深或角度刁钻导致机械臂末端刀具无法达到理想修剪姿态。试验结果表明，当视觉系统能精准识别并定位目标枝条，且目标枝条位于机械臂工作空间内无严重路径冲突，所设计的自动化修剪平台能够有效完成对油茶树目标枝条的识别、定位和修剪作业。

5 结论

本研究围绕油茶树徒长枝在林间复杂背景下难检测、难定位、难修剪的问题，构建了一套集视觉感知、空间定位与伺服控制于一体的自动化整形修剪平台。主要结论如下。

1）面向油茶林作业场景，搭建视觉伺服修剪平台。平台采用“眼在手外”的视觉配置形式，将深度相机、六自由度协作机械臂和专用末端刀具进行一体化集成，形成了从枝条检测、三维定位、姿态估计到修剪执行的完整作业流程，实现了油茶树徒长枝自动化修剪作业的系统化设计。

2）设计EM-YOLO目标枝检测模型。通过引入MLP特征融合模块与EUCB上采样模块，提升了复杂背景下的目标枝识别检测能力。试验结果表明，EM-YOLO模型在精确率、召回率与mAP等核心指标上均优于原YOLOv8n，且在本研究采集的不同林间自然光照与遮挡背景下的数据集中检测性能保持稳定。

3）构建目标枝条三维定位与姿态估计方法。提出基于检测框底部中心点的剪枝点定位策略，结合二值化与骨架提取对枝条主轴方向进行拟合，得到包含三维位置与偏航角的目标位姿信息。定位精度试验表明，该方法在1~2 m范围内满足油茶修剪作业精度需求。

4）建立标准D-H运动学模型与视觉伺服控制策略。通过误差分析对正逆运动学求解结果进行交叉验证，表现出较高的一致性。在此基础上基于图像误差的伺服控制策略实现末端刀具修剪姿态的动态调姿与精确对准。在室内开展的整机自动化修剪试验成功率达到80.9%，验证了整机闭环修剪作业流程的可行性，为后续林间实地应用提供了工程实现基础。

综上，本研究提出的视觉伺服自动化修剪平台在室内可控条件下实现油茶树徒长枝的目标识别、位姿获取与动作执行闭环验证，为油茶树整形修剪的智能化与标准化提供了可行的技术路径。需要指出的是，本研究仍存在以下不足与后续研究方向。

1）整机修剪验证主要在室内可控条件下对单株油茶树完成，试验结果更侧重于平台系统集成与闭环流程有效性验证，缺少在油茶林真实作业环境下的系统性实地试验。未来将开展油茶林实地试验，并在不同林分密度与光照条件下对修剪成功率与切口质量进行分场景验证。2）当前系统主要依赖视觉信息完成检测、定位与伺服控制，在风扰引起枝条摆动、地形不平整导致基座姿态变化以及更强遮挡等情况下，视觉信息不一定准确，进而影响末端刀具对准与切入稳定性。未来将融合多模态信息如惯性测量单元（inertial measurement unit，IMU）姿态、实时动态定位（real-time kinematic，RTK）、末端力触反馈以及环境信息等，并结合预测补偿与外参漂移修正等方法，提高室外真实油茶林环境下的鲁棒性与作业安全性。

参考文献

[1] Gao L， Jin L， Liu Q，et al.Recent advances in the extraction，composition analysis and bioactivity of Camellia （Camellia oleifera Abel.） oil［J］.Trends in Food Science &amp； Technology，2024，143：104211.

[2] 张金云，吴世军，刘姚，等.果树整形修剪技术［J］.安徽农学通报，2024，30（3）：39-43.

[3] Zhang Jinyun， Wu Shijun， Liu Yao，et al.Fruit tree shaping and pruning technology［J］.Anhui Agricultural Bulletin，2024，30（3）：39-43.

[4] 解子安.油茶树体精准调控技术研究［D］.长沙：中南林业科技大学，2025.

[5] Xie Zian.Study on precise regulation technology of Camellia oleifera tree［D］.Changsha：Central South University of Forestry and Technology，2025.

[6] 刘佳，杨莉玲，马文强，等.果树修剪机械装备的发展现状与趋势［J］.农机化研究，2025，47（1）：262-268.

[7] Liu Jia， Yang Liling， Ma Wenqiang，et al.Current situation and trend of fruit tree pruning machinery［J］.Journal of Agricultural Mechanization Research，2025，47（1）：262-268.

[8] 顾文娟，刘浩状，魏金，等.基于FPBW-YOLO v8的复杂场景下番茄果实识别方法［J］.农业机械学报，2025，56（8）：467-478.

[9] Gu Wenjuan， Liu Haozhuang， Wei Jin，et al.Tomato fruit recognition in complex scenes based on FPBW-YOLO v8［J］.Transactions of the Chinese Society for Agricultural Machinery，2025，56（8）：467-478.

[10] 廖娟，刘凯旋，杨玉青，等.基于RDN-YOLO的自然环境下水稻病害识别模型研究［J］.农业机械学报，2024，55（8）：233-242.

[11] Liao Juan， Liu Kaixuan， Yang Yuqing，et al.Rice disease recognition in natural environment based on RDN-YOLO［J］.Transactions of the Chinese Society for Agricultural Machinery，2024，55（8）：233-242.

[12] 刘梦姝，张春琪，晁金阳，等.基于YOLO v8n改进的小麦病害检测系统［J］.农业机械学报，2024，55（S1）：280-287，355.

[13] Liu Mengshu， Zhang Chunqi， Chao Jinyang，et al.Improved wheat disease detection system based on YOLO v8n［J］.Transactions of the Chinese Society for Agricultural Machinery，2024，55（S1）：280-287，355.

[14] 汪斌斌，杨贵军，杨浩，等.基于YOLO_X和迁移学习的无人机影像玉米雄穗检测［J］.农业工程学报，2022，38（15）：53-62.

[15] Wang Binbin， Yang Guijun， Yang Hao，et al.UAV images for detecting maize tassel based on YOLO_X and transfer learning［J］.Transactions of the Chinese Society of Agricultural Engineering，2022，38（15）：53-62.

[16] 王灯，贺磊盈，杜小强，等.基于改进YOLOv8n和探地雷达图像的冬笋快速识别研究［J］.农机化研究，2026，48（5）：151-159.

[17] Wang Deng， He Leiying， Du Xiaoqiang，et al.Rapid recognition of winter bamboo shoots based on improved YOLOv8n and ground penetrating radar images［J］.Journal of Agricultural Mechanization Research，2026，48（5）：151-159.

[18] 彭炫，周建平，许燕，等.改进YOLOv5识别复杂环境下棉花顶芽［J］.农业工程学报，2023，39（16）：191-197.

[19] Peng Xuan， Zhou Jianping， Xu Yan，et al.Cotton top bud recognition method based on YOLOv5-CPP in complex environment［J］.Transactions of the Chinese Society of Agricultural Engineering，2023，39（16）：191-197.

[20] 苑朝，马嘉宁，张盼浩，等.基于改进YOLOv8的蝴蝶兰组培苗视觉伺服种植平台设计与试验［J］.农业工程学报，2024，40（20）：138-146.

[21] Yuan Chao， Ma Jianing， Zhang Panhao，et al.Design and experiment of the visual servo planting platform forphalaenopsis tissue-cultured seedlings using improved YOLOv8［J］.Transactions of the Chinese Society of Agricultural Engineering，2024，40（20）：138-146.

[22] 岳凯，张鹏超，王磊，等.基于改进YOLOv8n的复杂环境下柑橘识别［J］.农业工程学报，2024，40（8）：152-158.

[23] Yue Kai， Zhang Pengchao， Wang Lei，et al.Recognizing citrus in complex environment using improved YOLOv8n［J］.Transactions of the Chinese Society of Agricultural Engineering，2024，40（8）：152-158.

[24] 葛宜元，李奥，孟庆祥，等.基于YOLOv8-MI软枣猕猴桃小目标果实识别和定位方法［J］.农机化研究，2026，48（4）：249-257.

[25] Ge Yiyuan， Li Ao， Meng Qingxiang，et al.Small target fruit recognition and localization method for soft jujube kiwifruit based on YOLOv8-MI［J］.Journal of Agricultural Mechanization Research，2026，48（4）：249-257.

[26] 马保建.矮化休眠期枣树智能剪枝关键技术研究［D］.杭州：浙江大学，2022.

[27] Ma Baojian.Study on the key technologies of intelligent pruning for dwarf and dormant jujube tree［D］.Hangzhou：Zhejiang University，2022.

[28] 黄哲，唐仕喜，沈冠东，等.基于改进YOLOv4的苹果采摘机器人树枝障碍物深度识别［J］.湖北农业科学，2024，63（8）：10-16，22.

[29] Huang Zhe， Tang Shixi， Shen Guandong，et al.Depth recognition of branch obstacles of apple picking robot based on improved YOLOv4［J］.Hubei agricultural science，2024，63（8）：10-16，22.

[30] 周宏威，纪皓文，吴羿轩，等.基于YOLOv8算法改进模型检测梢斑螟虫蛀树木［J］.森林工程，2025，41（1）：126-137.

[31] Zhou Hongwei， Ji Haowen， Wu Yixuan，et al.Improve the detection model of tree decay by dioryctria based on the YOLOv8［J］.Forest Engineering，2025，41（1）：126-137.

[32] Lin G， Zhu L， Li J，et al.Collision⁃free path planning for a guava⁃harvesting robot based on recurrent deep reinforcement learning［J］.Computers and Electronics in Agriculture，2021，188：106350.

[33] Wang Y， Liu D， Zhao H，et al.Rapid citrus harvesting motion planning with pre⁃harvesting point and quad⁃tree［J］.Computers and Electronics in Agriculture，2022，202：107348.

[34] Chen B， Gong L， Yu C，et al.Workspace decomposition based path planning for fruit⁃picking robot in complex greenhouse environment［J］.Computers and Electronics in Agriculture，2023，215：108353.

[35] 张勤，刘丰溥，蒋先平，等.番茄串收机械臂运动规划方法与试验［J］.农业工程学报，2021，37（9）：149-156.

[36] Zhang Qin， Liu Fengpu， Jiang Xianping，et al.Motion planning method and experiments of tomato bunch harvesting manipulator［J］.Transactions of the Chinese Society of Agricultural Engineering，2021，37（9）：149-156.

[37] 陈永忠，陈隆升，孙建一，等.油茶修剪技术［J］.湖南林业科技，2011，38（6）：91-94.

[38] Chen Yongzhong， Chen Longsheng， Sun Jianyi，et al.The pruning technology of Camellia oleifera［J］.Hunan forestry science & technology，2011，38（6）：91-94.

[39] Wang R， Chen L， Chen J，et al. Different nitrate and ammonium ratios affect growth and physiological characteristics of camellia oleifera abel.seedlings［J］.Forests，2018，9（12）：784.

[40] 董娅兰.葡萄冬季剪枝点识别与定位方法研究［D］.乌鲁木齐：新疆大学，2023.

[41] Dong Yalan.Research on identification and localization methods of winter grapevine pruning point［D］.Urumqi：Xinjiang University，2023.

[42] Rahman M M， Munir M， Marculescu R.EMCAD：efficient multi-scale convolutional attention decoding for medical image segmentation［C］//2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），June 16-22，2024，Seattle，WA，USA，IEEE，2024.

[43] Gao T， Zhang Z， Zhang Y，et al.BHViT：binarized hybrid vision transformer［C］//2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），June 10-17，2025，Nashville，TN，USA，IEEE.2025.

[44] 樊湘鹏，张岩琪，周硕，等.基于改进YOLOv8s与RGB-D信息融合的番茄采摘机器人识别与定位方法［J］.农业工程学报，2025，41（15）：106-116.

[45] Fan Xiangpeng， Zhang Yanqi， Zhou Shuo，et al.Recognition and position method of tomato picking robot based on improved YOLOv8s and RGB-D information fusion［J］.Transactions of the Chinese Society of Agricultural Engineering，2025，41（15）：106-116.

[46] Zhang Z Y.A flexible new technique for camera calibration［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（11）：1330-1334.

[47] 牟毅.丘陵山区茶园修剪机器人结构设计与关键技术研究［D］.贵阳：贵州大学，2025.

[48] Mou Yi.Research on structure design and key technology of tea garden pruning robot in Hilly and mountainous areas［D］.Guiyang：Guizhou University，2025.

[49] 崔书彬.电动式五自由度绿篱修剪机械臂的设计与研究［D］.呼和浩特：内蒙古农业大学，2023.

[50] Cui Shubin.Design and research of electrodynamic five-degree-of-freedom robotic arms for hedge trimming［D］.Hohhot：Inner Mongolia Agricultural University，2023.

[51] 周志华.基于深度学习的辣椒识别及采摘技术研究［D］.成都：电子科技大学，2025.

[52] Zhou Zhihua.Research on chili pepper identification and harvesting technology based on deep learning［D］.Chengdu：University of Electronic Science and technology，2025.

[53] Abbas T， Abbar A， Abbood M.Kinematics analysis of 5 DOF robotic arm［J］.Engineering and Technology Journal，2020，38（3A）：412-422.

[54] 翁天浩.林区智能作业车臂架仿真分析及优化设计［D］.长沙：中南林业科技大学，2024.

[55] Weng Tianhao.Simulation analysis and optimization design of the arm frame of intelligent work vehicles in forest areas［D］.Changsha：Central South University of forestry and technology，2024.

[56] 任晓琳.基于图像的机械臂视觉伺服定位及跟踪控制方法研究［D］.长春：中国科学院大学（中国科学院长春光学精密机械与物理研究所），2021.

[57] Ren Xiaolin.Research on image-based visual servoing positioning and tracking control technology of manipulator［D］.Changchun：University of Chinese Academy of Sciences （Changchun Institute of optics，precision mechanics and physics，Chinese Academy of Sciences），2021.

[58] 李斌.基于视觉伺服系统的机械臂定位控制方法研究［D］.成都：电子科技大学，2025.

[59] Li Bin.Research on manipulator positioning control method based on visual servo system［D］.Chengdu：University of Electronic Science and technology，2025.

[60] Tsuchida S， Lu H， Kamiya T，et al.Characteristics based visual servo for 6DOF robot arm control［J］.Cognitive Robotics，2021，1：76-82.

基金资助

国家重点研发计划(2022YFD2202102-4)