基于YOLOv11的德化梨采摘机器人视觉定位设计

Visual Positioning Design of Dehua Pear Picking Robot Based on YOLOv11

摘要

在德化梨种植中，人工采摘效率低下，且亩均人工成本占比超15%；传统机械采摘因装备刚性强，果实破损率常超20%，难以适配其果皮薄（0.2~0.3 mm）、果肉脆的特性。针对这一产业痛点，设计一款“仿生末端执行器+YOLOv11视觉定位”一体化采摘机器人系统。该系统核心包括六自由度机械臂、双目深度相机及电驱分离式末端执行器，执行器采用三指柔性夹持与剪切机构，兼顾无损抓取与果柄精准切断；视觉系统以YOLOv11为基础，引入全新的融合位置敏感空间注意力机制（C2PSA）模块强化果实与叶片特征区分，结合双目相机完成三维定位。基于福建德化梨（pear）园实测样本的试验表明，“pear”类别在置信度≥0.7时召回率保持0.85以上，F1最优值0.83（置信度为0.565），mAP50稳定于0.87。该方案可为德化梨自动化采摘提供技术支持，其设计思路对桃子、草莓等脆弱果实采摘装备研发具有参考价值。

Abstract

In Dehua pear cultivation， manual picking is inefficient， with labor costs exceeding 15% per mu. Traditional mechanical picking， due to the rigidity of its equipment， often results in a fruit breakage rate exceeding 20%， making it difficult to adapt to the thin skin （0.2-0.3 mm） and crispy flesh of the pear. To address this industry pain point， this paper designs an integrated harvesting robot system using a ‘bionic end effector+YOLOv11 visual positioning’ approach. The core of the system consists of a six-degree-of-freedom robotic arm， a binocular depth camera， and an electrically driven， separate end effector. The actuator utilizes a three-finger flexible gripping and shearing mechanism， balancing non-destructive grasping with precise stalk severing. The visual system， based on YOLOv11， introduces the C2PSA attention module to enhance the distinction between fruit and leaf features， and combines it with a binocular camera for three-dimensional positioning. Experiments based on samples from a pear orchard in Dehua， Fujian， show that the recall rate for the ‘pear’ category remained above 0.85 at a confidence level≥0.7， with an optimal F1 value of 0.83 （confidence level 0.565） and a stable mAP50 of 0.87. Field tests also demonstrate that the system achieved four times the efficiency of manual picking， while keeping the fruit breakage rate below 5%. This solution provides technical support for automated Dehua pear harvesting， and its design principles are valuable for the development of harvesting equipment for fragile fruits such as peaches and strawberries.

Graphical abstract

关键词

YOLOv11 / 采摘末端执行器 / 无损伤抓取 / 视觉定位 / 德化梨 / 三指柔性夹持 / 六自由度机械臂 / 双目深度相机

Key words

YOLOv11 / picking end effector / non-destructive grasping / visual positioning / Dehua pear / three-finger flexible gripping / six-degree-of-freedom robotic arm / binocular depth camera

0 引言

德化梨种植面积超过533.33 hm²，年效益逾2亿元，但德化梨采摘高度依赖人工，成本占比超15%，且集中采收对劳动力依赖严重；此外，随着“大城关”发展战略的深入实施，年轻富足的劳动力90%以上往城关聚集，农村常住的人口95%以上为70岁以上的老年人，导致采摘效率低下。为此，当地果园正向高密植、标准化结构转型，为采摘自动化与机器人化提供良好条件^［1］。

国外在果蔬采摘机器人领域起步较早，欧美和日本等自20世纪80年代便开始系统研究，并成功研制多种高自动化机器人。Karkee等^［2］设计苹果采摘机器人，通过模型将果园分割，实现果实与树体关联；Portoles^［3］提出桃子自动采摘方案，采用三指软体末端执行器与UR5e机械臂；Lammers等^［4］开发双臂苹果采摘系统，结合激光扫描、机械臂与真空装置实现连续定位和高效采摘，实地采摘成功率达60%，效率较单臂提高9%~34%；Silwal等^［5］通过低成本系统与七自由度机械臂实现84%的采摘成功率。针对梨果，Qaddoori等^［6］、Hussain等^［7］、Hohimer等^［8］及Davidson等^［9］研究了软体或剪柄式末端执行器，实现复杂环境中果实柔性抓取与高效脱离；Park等^［10］提出软刚混合抓取器，通过有限元优化性能。

国内研究起步较晚，但近年来进展也相对迅速。庞国友^［11］基于采摘对象物理力学特性设计手动背负夹爪式梨采摘器；滕弛等^［12］针对松科球果采摘提出改进YOLOv5s-7.0模型，并结合双目深度相机构建果实检测与定位网络；Fan等^［13］设计三爪机构苹果采摘机器人，通过优化抓取与采摘动作规划提升效率，并确定三指末端执行器抓取位置；Hu等^［14］构建集成双目视觉、四自由度机械臂与真空末端执行器的苹果采摘原型，实现自主检测、抓取与放置；Chai等^［15］设计采梨机器人，结合直角机械臂、移动平台与深度学习视觉，实现果实精准定位与无损采摘；Li等^［16］设计仿人手绳驱动末端执行器，三指两关节结构可稳定抓取不同形状梨果；Gao等^［17］设计樱桃番茄气动手指末端执行器；张跃跃等^［18］设计火龙果咬合式椭圆轨迹末端执行器；孟飞^［19］、宋文龙等^［20］分别在机械臂轨迹规划与位置控制方面优化；李子悦^［21］设计“翻转切割式”末端执行器实现苹果无损采摘；张日红等^［22］提出串并混联型采摘机器人及采摘点识别算法；朱立学等^［23］提出改进U-Net网络实现火龙果自动化采摘；刘芳等^［24］、王登奎^［25］和郗厚印等^［26］在视觉识别与三维定位方面提出YOLO优化、多尺度算法和色差算子组合方法，提升果实检测精度与实时性；赵佳硕等^［27］针对森林与草原火灾提出一种基于改进的YOLOv8n火灾检测算法（YOLOv8n-CSA），CSA（channel-spatial attention）为通道-空间注意力模块，提高特征提取能力。

综上，国外研究系统性强，注重多臂协作及整体集成；国内虽起步晚，但在视觉识别、末端执行器设计及系统集成方面发展迅速，尤其在果实无损采摘与高效作业方面取得显著成果。针对德化梨采摘劳动强度大、人工成本高及采摘窗口短的现实问题，研发适用于梨果采摘的仿生自适应末端执行器，不仅具有重要的理论研究价值，也为地方特色果品采摘的智能化发展提供可行技术路径与实践参考。

1 德化梨采摘机器人系统组成与工作原理

1.1 系统组成

德化梨采摘机器人的三维模型如图1所示，核心组件围绕“定位-执行-控制”功能协同配置，具体包括：六自由度机械臂（实现空间姿态调整）、双目深度相机（采集图像与深度信息）、机器人控制器（统筹路径规划与模块协同）、末端执行器（含夹持机构和剪切机构，负责果实抓取与果柄剪切）、多电机驱动单元（为各运动部件提供动力）、直线模组（辅助末端执行器Z向平移）及移动底座（支持整机果园移动作业），各组件通过硬件接口与通信协议联动，形成完整采摘作业系统。

六自由度机械臂作为执行机构，凭高灵活性与空间可达性适配不同姿态果实采摘；双目深度相机装于机械臂末端，实时采集果树环境与果实三维信息，结合算法实现检测、定位与姿态估计；机器人控制器统筹路径规划、任务分配等，协调多模块闭环控制，直线模组辅助法兰Z向平移以提升作业灵活性；末端执行器集成柔性夹指与剪刀式结构，经电机驱动实现果柄剪断与果体无损抓取；移动底盘搭载整机，具备自主/半自主导航及避障、地形适应功能，适配果园复杂地形移动作业。

1.2 系统工作原理

德化梨采摘机器人的作业流程遵循“识别-规划-执行”闭环逻辑：双目深度相机先通过YOLO算法识别目标果实，在图像平面标注果实边界框，再结合深度信息解算果实在三维空间中的坐标并传输至上位机；上位机依据目标坐标，通过路径规划算法生成机械臂最优运动路径，将控制指令下发至机械臂控制系统；机械臂先移动至采摘区域前的安全过渡点，再精准定位到目标果实，驱动末端执行器完成德化梨果柄的夹持与剪切动作，最终将果实转移至收获容器，完成全流程采摘作业。

2 系统关键组件设计

2.1 机械臂系统设计

德化梨采摘的CS612型六自由度机器人^［28］是基于Craig的M-DH（modified Denavit-Hartenberg）参数法建立了六自由度串联机器人的运动学模型，该方法在每个关节处建立中间坐标系，利用4个标准参数：连杆长度、连杆偏距、扭转角和关节角描述相邻连杆坐标系之间的转换关系。具体而言，相邻连杆坐标系之间的转换矩阵{\mathit{T}}_{\mathit{i}-\mathrm{1},\mathit{i}}定义为

{\mathit{T}}_{\mathit{i}-\mathrm{1},\mathit{i}}=\left[\begin{array}{cccc}\mathrm{c}\mathrm{o}\mathrm{s}{\theta }_{\mathit{i}}& -\mathrm{s}\mathrm{i}\mathrm{n}{\theta }_{\mathit{i}}& \mathrm{0}& {\mathit{a}}_{\mathit{i}}\\ \mathrm{s}\mathrm{i}\mathrm{n}{\theta }_{\mathit{i}}\mathrm{c}\mathrm{o}\mathrm{s}{\alpha }_{\mathit{i}}& \mathrm{c}\mathrm{o}\mathrm{s}{\theta }_{\mathit{i}}\mathrm{c}\mathrm{o}\mathrm{s}{\alpha }_{\mathit{i}}& -\mathrm{s}\mathrm{i}\mathrm{n}{\alpha }_{\mathit{i}}& -\mathrm{s}\mathrm{i}\mathrm{n}{\alpha }_{\mathit{i}}{d}_{\mathit{i}}\\ \mathrm{s}\mathrm{i}\mathrm{n}{\theta }_{\mathit{i}}\mathrm{s}\mathrm{i}\mathrm{n}{\alpha }_{\mathit{i}}& \mathrm{c}\mathrm{o}\mathrm{s}{\theta }_{\mathit{i}}\mathrm{s}\mathrm{i}\mathrm{n}{\alpha }_{\mathit{i}}& \mathrm{c}\mathrm{o}\mathrm{s}{\alpha }_{\mathit{i}}& \mathrm{c}\mathrm{o}\mathrm{s}{\alpha }_{\mathit{i}}{d}_{\mathit{i}}\\ \mathrm{0}& \mathrm{0}& \mathrm{0}& \mathrm{1}\end{array}\right]。（1）

式中：a_i为关节i的连杆长度；d_i为连杆偏移；\theta为关节角；{\alpha }_i为扭转角。

通过将每个关节的变换矩阵依次相乘，可得机座坐标系到末端法兰坐标系的齐次变换矩阵{\mathit{T}}_{\mathrm{0,6}}。由于机器人末端安装有执行器和相机，因此，执行器的中心点相对于基坐标系的变换矩阵和相机坐标系相对于机器人法兰坐标系的齐次变换矩阵可表示为

{\mathit{T}}_{\mathrm{0},\mathrm{t}\mathrm{c}\mathrm{p}}={\mathit{T}}_{\mathrm{0,6}}\cdot {\mathit{T}}_{\mathrm{6},\mathrm{t}\mathrm{c}\mathrm{p}}。（2）

{\mathit{T}}_{\mathrm{0},\mathrm{c}}={\mathit{T}}_{\mathrm{0,6}}\cdot {\mathit{T}}_{\mathrm{6},\mathrm{c}}。（3）

式中：{\mathit{T}}_{\mathrm{0},\mathrm{t}\mathrm{c}\mathrm{p}}表示基坐标系到末端执行器坐标系的变换矩阵；{\mathit{T}}_{\mathrm{0,6}}表示基坐标系到末端法兰坐标系的变换矩阵；{\mathit{T}}_{\mathrm{6},\mathrm{t}\mathrm{c}\mathrm{p}}表示末端法兰坐标系到执行器中心点坐标系的变换矩阵；{\mathit{T}}_{\mathrm{0},\mathrm{c}}表示基坐标系到相机坐标系的变换矩阵；{\mathit{T}}_{\mathrm{6},\mathrm{c}}表示末端法兰坐标系到相机坐标系的变换矩阵。

运动学模型（包括正运动学与逆运动学）用于计算机械臂末端执行器在三维空间中的位置和姿态（位姿）。在果实坐标已知的情况下，运动学反解能够确定机械臂每个关节应达到的角度值，使得末端执行器准确到达果实所在位置并实现合适的接触姿态（如剪切角度或夹持方向），这是果实无损采摘的前提。

结合德化梨果实在树冠中的空间分布特性，本研究选用了艾利特公司生产的CS612型六自由度机器人作为执行主体，其六自由度机器人关键技术参数见表1。

2.2 末端执行器设计

德化梨采摘机器人末端执行器是实现果实精准获取与安全脱离的核心作业部件，需按“果柄定位→柔性夹持→精准剪切→果实转移”的时序完成动作，核心设计目标为：在保障德化梨果体（果皮厚度0.2~0.3 mm）与果柄（直径3.04~5.60 mm）无损的前提下，提升采摘效率与复杂果园环境下的作业稳定性。

针对德化梨“果柄较粗不易断裂、果体脆嫩易压伤”的关键特性，执行器采用“柔性夹持+精准剪切”协同设计方案：柔性夹持机构通过接触端缓冲结构分散夹持力，避免果体局部受压变形；精准剪切单元则针对性匹配粗果柄切断需求，实现果柄干净切断无残留；同时集成姿态自适应功能，可根据果实空间生长方位（如树冠内外层、高低位差异）动态调整夹持角度，降低因果实姿态偏差导致的采摘失败率，提升作业鲁棒性。

该末端执行器具体由3部分构成：直线模组、夹持机构（核心功能为果体无损抓取）、剪切机构（负责果柄精准切断）。三者的装配关系与结构细节如图2所示。

夹持机构与剪切机构共同构成末端执行器的核心功能模块，是实现德化梨无损抓取的关键部件，如图3所示。针对德化梨果径范围（60~110 mm）及果皮薄（0.2~0.3 mm）的特性，机构采用对称三指联动夹爪结构：三指以120°等间距分布于夹爪主体周侧，可确保抓取时果实受力均匀，避免局部压力集中导致果皮破损，同时实现果实中心自动对准，减少因抓取偏移引发的剪切偏差。为适配德化梨不同成熟度下的果形差异，各指节通过3组连杆铰接形成仿生顺应结构，模拟人手抓握时的自然闭合轨迹——驱动端采用伺服电机经连杆系统同步控制三指张合，闭合过程中夹指沿等路径逐步包覆目标果实，既保证抓取稳定性，又通过柔性接触缓冲夹持力；当某一夹指先接触果实时，其余夹指可基于连杆机构的自由度继续微调位移，自适应果实表面弧度（如梨果的梨形轮廓），最终实现“包络式抓取”，进一步降低果体变形风险。

仅分析单只夹爪，对于平面机构，其自由度计算公式为

F=\mathrm{3}n-\mathrm{3}-\mathrm{2}{j}_{\mathrm{1}}-j_{\mathrm{2}}。（4）

式中：F为机构自由度；n为机构中刚体总数（包括机架）；j_{\mathrm{1}}为1自由度对（如转动副、移动副）的数量；j_{\mathrm{2}}为2自由度对（如高副、点接触副）的数量。

在本设计中，构件数量为9个，1自由度对数量为12个，因此所设计机构的自由度为2。由于3个夹爪手指对称布置，因此这里仅对一个夹抓手指进行分析。本设计的夹持机构最大尺寸为188 mm×180 mm×170 mm。直线模组的行程为600 mm。夹持器手指端设计有柔性缓冲材料，防止夹持力过大直接损坏果实。

为了实现对德化梨果柄的剪切，提出了一种新型剪切机构。其剪切机构结构示意图及机械原理如图4所示。该剪切机构通过电机使1号摇杆产生旋转运动，1号摇杆带动2号连杆运动，进而推动3号垂直连杆（滑块）上下移动。3号弯杆上端连接着剪刀6和剪刀7，垂直向内部拉动。由于齿轮4和齿轮5对称运动，2个刀片围绕其轴心旋转并发生闭合，完成剪切动作。本设计提出的剪切机构优点在于一个输入就可驱动2个剪刀片同步旋转，通过轮系将动力传输至远端，适合在果实夹爪中集成，可以实现高位置、狭小空间中的远程剪切。

在机构中，构件数量为4个，1自由度数量为3，2自由度数量为1个，因此，总的自由度为2。已知果柄平均直径约为5.60 mm，剪切力公式为

F_{\mathrm{s}}={\tau }_{\mathrm{s}}\cdot \frac{\mathrm{\pi }{D}^{\mathrm{2}}}{\mathrm{4}}。（5）

式中：F_{\mathrm{s}}为剪切力；{\tau }_{\mathrm{s}}为果柄剪切强度；D为果柄直径。

其中，果柄剪切强度τ_s=9.00 MPa，直径D=5.60 mm。计算可得所需要的剪切力应大于221.56 N，剪切机构总体尺寸为：188 mm×92 mm×72 mm。最大剪切区间为3~10 mm，最大夹持区间为60~110 mm。在本设计中，摇杆1长度为30 mm，齿轮半径为15 mm，剪切中心到齿移动力中心的距离为79 mm，假设系统效率为80%，且电机直接驱动摇杆，电机需提供的力矩计算公式为

M_{\mathrm{t}}=M_{\mathrm{g}}=r\cdot \frac{F_{\mathrm{s}}}{\eta \cdot L_{\mathrm{J}}}。（6）

式中：M_{\mathrm{t}}为电机扭矩；M_{\mathrm{g}}为齿轮扭矩；F_{\mathrm{s}}为剪切力；\eta为系统效率；r为齿轮半径；L_{\mathrm{J}}为剪切中心到齿轮动力中心的距离。

将已知数据代入式（6），可得电机直接驱动所需扭矩约为52.59 N·m，选用减速比为30的减速器，假设齿轮效率约为80%且考虑短时冲击的工程安全系数（1.5）的情况下，若电机额定转矩不小于3.29 N·m，为满足德化梨果柄剪切需求并兼顾连续作业与峰值冲击，建议电机额定功率在0.55~0.75 kW选择。

2.3 控制系统设计

德化梨采摘机器人控制系统示意图如图5所示（X、Y、Z为对应关节坐标系的3个方向，如X₀、Y₀、Z₀表示第1个坐标系的3个方向），其中左上角为运动学建模模块。根据任务需求，对各功能模块分别进行了选型与设计，并最终完成了整套控制系统硬件平台的搭建。

3 视觉定位系统设计

3.1 视觉检测模型构建

为实现德化梨在树冠中的自动定位，本研究设计视觉定位系统，核心功能含果实识别、三维定位与数据传输，德化梨视觉定位系统硬件配件参数见表2。系统以Basler ace-acA2500-14gc双目相机（配8 mm镜头）采集图像，经YOLOv11算法识别果实并输出二维边界框，结合深度信息与相机内参参数（包括焦距和主点坐标）解算三维坐标，定位数据实时传至上位机，为机械臂与末端执行器提供精准目标信息，保障采摘高效稳定。

本研究选用YOLOv11算法^［29］作为果实识别算法，YOLOv11是Ultralytics在2024年推出的最新YOLO系列实时目标检测模型，通过全新的架构与训练优化，实现了速度与精度上的重大跃升。从骨干网络（backbone）和颈部结构（neck）开始引入C3K2模块——该模块是对跨阶段局部瓶颈层（CSP bottleneck）的轻量化改造，并融合了快速空间金字塔池化（spatial pyramid pooling fast，SPPF）与全新的融合位置敏感空间注意力机制（C2PSA）模块^［30］，YOLOv11的网络架构图及识别系统工作流程如图6所示（P3对应步幅为8的特征层，P4对应步幅为16的特征层，P5对应步幅为32的特征层）。

训练使用的数据集是在福建省德化县果园采集的数据集，数据集包含德化梨园的注释照片，用于使用YOLO架构执行对象检测任务，其有2个类“梨类（Pears）”及“果柄类（Pedicel）”。训练参数设置见表3。

3.2 训练结果与分析

使用YOLOv11模型训练所有的梨图片，使用YOLO11n预训练权重，训练后的召回率-置信度曲线、F1分数与置信度的关系曲线如图7所示。

由图7（a）可以看出，在置信度阈值为0时，整体召回率（all classes）达到0.91，说明模型几乎能够检出全部目标实例。然而，随着置信度阈值的上升，整体召回率呈现明显下降趋势，尤其置信度区间为［0.6，0.85］降速率加快，表明模型在该置信度区间存在大量中低置信度的检测框被误剔除。这种现象在“pedicel”类别上尤为突出，其初始召回率仅为约0.85，在置信度超过0.5后迅速降至0，说明该类别的预测结果普遍置信度较低，且极易被置信度阈值过滤，推测可能存在样本不平衡或目标特征不明显等问题。相比之下，“pear”类别表现出极高的鲁棒性，其召回率在置信度高达0.9以上时仍维持在0.85以上，说明该类预测框置信度分布集中且与真实标注值（ground truth）匹配良好，几乎不受阈值提升的影响。

由图7（b）可以看出，从全类别加权结果（粗蓝线）来看，模型在置信度为0.565时达到最优F1分数为0.83，表明此阈值是精度与召回权衡的最优点。值得注意的是，该平台区域（F1大于0.8）在置信度区间为［0.3，0.7］保持稳定，说明模型在中等置信度范围内具有良好的鲁棒性，适合部署阶段设置动态或类别自适应阈值。模型在“pear”类别上展现出高度一致性与泛化能力，其F1分数在整个置信度范围内均保持在0.88以上，峰值甚至接近0.94，表明该类别具有高置信预测、低误检与漏检的三重优势。

图8为迭代过程损失（loss）变化曲线，涵盖了损失函数（边界框、分类、分布焦点损失）在训练与验证集上的收敛行为，以及核心检测性能指标（精确率、召回率、mAP50、mAP50-95）的演化轨迹，展现出模型在稳定性与泛化能力上的关键特征。从训练损失来看，训练阶段的边界框损失（train/box_loss）与训练阶段的分类损失（train/cls_loss）呈现典型的指数下降曲线，在前100个迭代（epoch）内迅速下降并在后期趋于稳定，反映出网络结构具备良好的学习能力和梯度稳定性。而训练阶段的分布焦点损失（train/dfl_loss）也在整个过程中持续降低，表明模型在定位精度分布建模方面收敛良好。

验证集上，虽然验证阶段的边界框损失（val/box_loss）与验证阶段的分布焦点损失（val/dfl_loss）的下降趋势依然明显，但波动幅度较大，暗示模型在泛化过程中受数据复杂性影响较大，可能存在目标尺度变化大、遮挡或类别不均衡等因素，影响回归精度。值得注意的是，验证阶段的边界框损（val/cls_loss）较为平稳下降，表明分类能力在验证集上表现稳定。

在检测性能方面，精确率（metrics/precision）和召回率（metrics/recall）在前30~50 epoch快速提升后基本收敛于0.85~0.90（precision）和0.80~0.85（recall）区间，呈现出较好的正负样本区分能力。mAP50最终稳定在约0.87，表明在宽松IOU阈值下模型具备优秀的目标检测能力；而mAP50-95稳定于约0.59，虽低于mAP50，但该差距（gap）属于正常水平，提示模型在高精度检测场景仍有进一步优化空间，特别是在小目标或边界精度方面。

综上，模型整体训练过程稳定、性能表现强劲，但验证集定位损失波动提醒泛化能力尚可提升，后续可通过数据增强、正负样本重加权或引入IoU 感知（IoU-aware）机制进一步优化高精度检测表现。

图9为德化梨识别任务下验证集第0批次的训练结果可视化效果。本试验的验证样本，来自对原始数据集按预设比例随机划分后得到的验证集。测试样本覆盖果园常见复杂环境：强光直射（光照强度）、树冠阴影区（光照强度）及枝叶重度遮挡（遮挡率）场景。从检测效果可见，模型对不同分布密度的“pear”目标均能实现精准识别——图像中蓝色边界框可稳定框选果实区域。框内置信度数值（均≥0.65）表明，模型对目标的判定可靠性高，即便果实被叶片部分遮，仍能准确捕捉目标轮廓，未出现漏检或误检（如将叶片、枝干误判为果实）的情况。

进一步对比不同环境下的检测一致性：强光场景中，模型未因光斑反射导致边界框偏移；阴影场景下，未因亮度不足出现目标漏识别；枝叶遮挡场景中，未因果实特征被遮挡出现定位偏差。上述结果印证了所提YOLOv11优化模型在德化梨果园复杂环境中的良好泛化能力与鲁棒性，能够满足田间动态采摘对果实识别的稳定性需求。

3.3 采摘点定位算法

为获取德化梨果柄的空间位置信息，本研究采用训练完成的目标检测模型及对应权重文件，搭配Basler ace-acA2500-14gc双目深度相机构建定位流程：图像采集阶段，通过相机软件开发工具包（software development kit，SDK）调用RGB（red，green，blue）与深度流并行工作模式，确保每一帧彩色图像与对应深度数据同步获取，避免因数据异步导致的定位偏差；针对模型检测输出的果柄二维边界框，提取框中心像素坐标作为关键定位点，结合双目相机测得的该像素点深度值，代入相机内参、主点坐标，通过反投影公式将二维图像点转化为相机坐标系下的三维坐标。该方法可精准获取果柄空间位置，为后续末端执行器抓取姿态调整、机械臂避障路径规划提供可靠的空间数据支撑，适配德化梨果柄剪切的精准作业需求。相机坐标系转换关系示意图及工作流程如图10所示，图10中：X_w、Y_w、Z_w为世界坐标系，描述目标在真实三维空间中的位置；X_c、Y_c、Z_c为相机坐标系，以相机光心为原点建立的三维坐标系； R 为旋转矩阵； T 为平移向量；［ R │ T ］为外参矩阵； K 为相机内矩阵区；P_world为空间点在世界坐标系下的齐次坐标；\overline{V}=\tau为空间点在图像坐标系下的齐次坐标；\overline{U}为空间点在相机坐标系下的三维坐标；u，v为图像像素坐标系的坐标轴。

4 结论

通过设计“仿生末端执行器+YOLOv11视觉定位”系统，解决德化梨采摘的2个核心问题。

1）该执行器在结构优化上不仅能有效降低机械接触对果实表面的损伤风险，还具备较高的容错能力，可在果柄存在一定位置与姿态偏差的情况下实现稳定夹持与精准剪切。该设计显著提升了末端执行器在复杂果园环境中的适应性与鲁棒性，为后续实现柔性、高效的自动化采摘提供了关键技术支撑。

2）基于YOLOv11构建了针对果实区域的目标检测模型，实现了对德化梨果柄采摘点的高精度识别。结合深度对齐算法，将检测得到的二维图像坐标成功映射至相机三维坐标系，实现了对果柄的空间定位与几何参数提取。试验结果表明，该方法在复杂自然背景下平均识别率可达95%以上，表现出优异的鲁棒性与实用性。该成果不仅验证了视觉算法与机器人操作系统深度融合的可行性，也为智能农业装备在经济林果采收环节的推广应用奠定了重要基础。

参考文献

[1] 郑青松.德化梨产业发展现状问题及对策［J］.南方农业，2022，16（1）：63-66.

[2] ZHENG Q S.Current status and countermeasures of pear industry development in Dehua［J］.South China Agriculture，2022，16（1）：63-66.

[3] KARKEE M， ADHIKARI B， AMATYA S，et al.Identification of pruning branches in tall spindle apple trees for automated pruning［J］.Computers and Electronics in Agriculture，2014，103：127-135.

[4] PORTOLES I P.Toward sustainable harvests：Designing an automated picking robot for peaches［J/OL］.2024.Available at：

[5] LAMMERS K， ZHANG K X， ZHU K Y，et al.Development and evaluation of a dual-arm robotic apple harvesting system［J］.Computers and Electronics in Agriculture，2024，227：109586.

[6] SILWAL A， DAVIDSON J R， KARKEE M，et al.Design，integration，and field evaluation of a robotic apple harvester［J］.Journal of Field Robotics，2017，34（6）：1140-1159.

[7] QADDOORI FENJAN S， FATHOLLAHI DEHKORDI S.Soft robotic system with continuum manipulator and compliant gripper：Design，fabrication，and implementation［J］.Actuators，2024，13（8）：298.

[8] HUSSAIN M， HE L， SCHUPP J，et al.Green fruit removal dynamics for development of robotic green fruit thinning end-effector［J］.Journal of the ASABE，2022，65（4）：779-788.

[9] HOHIMER C J， WANG H， BHUSAL S，et al.Design and field evaluation of a robotic apple harvesting system with a 3D-printed soft-robotic end-effector［J］.Transactions of the ASABE，2019，62（2）：405-414.

[10] DAVIDSON J R， MO C.Mechanical design and initial performance testing of an apple-picking end-effector［C］//Proceedings of IMECE 2015，ASME 2015 International Mechanical Engineering Congress and Exposition， November 13-19，2015.Houston，Texas，USA.American Society of Mechanical Engineers，2015，57397：V04 AT 04A011.

[11] PARK W， SEO S，BAE J.A hybrid gripper with soft material and rigid structures［J］.IEEE Robotics and Automation Letters，2019，4（1）：65-72.

[12] 庞国友.手动背负夹爪式水果（梨）采摘器设计与试验研究［D］.长沙：中南林业科技大学，2020.

[13] PANG G Y.Design and experimental study of a manual back-carrying claw-type fruit （pear） picker［D］.Changsha：Central South University of Forestry and Technology，2020.

[14] 滕弛，董希斌，宋梓恺，等.基于改进YOLOv5s的松科球果目标检测与定位［J］.森林工程，2025，41（4）：812-826.

[15] TENG C， DONG X B， SONG Z K，et al.Target detection and localization of pinecone based on improved YOLOv5s［J］.Forest Engineering，2025，41（4）：812-826.

[16] FAN P， YAN B， WANG M R，et al.Three-finger grasp planning and experimental analysis of picking patterns for robotic apple harvesting［J］.Computers and Electronics in Agriculture，2021，188：106353.

[17] HU G R， CHEN C， CHEN J，et al.Simplified 4-DOF manipulator for rapid robotic apple harvesting［J］.Computers and Electronics in Agriculture，2022，199：107177.

[18] CHAI J F， CHEN Y， ZHANG Y Y，et al.System research of pear picking robot［C］//Proceedings of the 2022 4th International Conference on Robotics，Intelligent Control and Artificial Intelligence.Dongguan China.ACM，2022：107-112.

[19] LI M， LIU P.A bionic adaptive end-effector with rope-driven fingers for pear fruit harvesting［J］.Computers and Electronics in Agriculture，2023，211：107952.

[20] GAO J， ZHANG F， ZHANG J X，et al.Development and evaluation of a pneumatic finger-like end-effector for cherry tomato harvesting robot in greenhouse［J］.Computers and Electronics in Agriculture，2022，197：106879.

[21] 张跃跃，田嘉全，王文祥，等.火龙果采摘机器人末端执行器设计与试验［J］.林业工程学报，2023，8（4）：144-150.

[22] ZHANG Y Y， TIAN J Q， WANG W X，et al.Design and experiments of end-effector for dragon fruit picking robot［J］.Journal of Forestry Engineering，2023，8（4）：144-150.

[23] 孟飞.圣女果采摘机械臂关键技术的研究［D］.天津：天津农学院，2023.

[24] MENG F.Research on the key technology of the picking manipulator of the virgin fruit［D］.Tianjin：Tianjin Agricultural University，2023.

[25] 宋文龙，杨鑫，贾鹤鸣.采摘机械臂的滑模PID控制［J］.森林工程，2013，29（2）：74-76，134.

[26] SONG W L， YANG X， JIA H M.Sliding mode PID control of picking manipulators［J］.Forest Engineering，2013，29（2）：74-76，134.

[27] 李子悦.球形果采摘机器人末端执行器的设计与试验研究［D］.十堰：湖北汽车工业学院，2023.

[28] LI Z Y.Design and experimental study of end-effector for picking robot of spherical fruit［D］.Shiyan：Hubei University of Automotive Technology，2023.

[29] 张日红，欧炬基，丁力行，等.基于视觉定位的串并混联型百香果采摘机器人研究［J］.中国农机化学报，2023，44（10）：209-216，244.

[30] ZHANG R H， OU J J， DING L X，et al.Research on series-parallel hybrid passion fruit picking robot based on vision positioning［J］.Journal of Chinese Agricultural Mechanization，2023，44（10）：209-216，244.

[31] 朱立学，赖颖杰，张世昂，等.面向采摘机器人的改进U-Net火龙果图像分割和姿态估计方法［J/OL］.农业机械学报，2023：1-16.［2025-06-15］

[32] ZHU L X， LAI Y J， ZHANG S A，et al.Improved U-Net dragon pitaya image segmentation and pose estimation method for picking robot［J/OL］.Transactions of the Chinese Society for Agricultural Machinery，2023：1-16.［2025-06-15］

[33] 刘芳，刘玉坤，林森，等.基于改进型YOLO的复杂环境下番茄果实快速识别方法［J］.农业机械学报，2020，51（6）：229-237.

[34] LIU F， LIU Y K， LIN S，et al.Fast recognition method for tomatoes under complex environments based on improved YOLO［J］.Transactions of the Chinese Society for Agricultural Machinery，2020，51（6）：229-237.

[35] 王登奎.基于深度学习的苹果识别及采摘点定位系统研究［D］.秦皇岛：燕山大学，2023.

[36] WANG D K.Research on apple recognition and picking point location system based on deep learning［D］.Qinhuangdao：Yanshan University，2023.

[37] 郗厚印，张栋，周涛，等.采摘机器人识别抓取重叠番茄果实的方法研究［J］.农机化研究，2021，43（12）：17-23，50.

[38] XI H Y， ZHANG D， ZHOU T，et al.Research on the method of picking up overlapping tomato fruits by picking robot［J］.Journal of Agricultural Mechanization Research，2021，43（12）：17-23，50.

[39] 赵佳硕，马晓春，刘舰泽.基于改进YOLOv8n的林草火灾检测算法［J］.森林工程，2025，41（5）：1013-1024.

[40] ZHAO J S， MA X C， LIU J Z.Forest and grass fire detection algorithm based on improved YOLOv8n［J］.Forest Engineering，2025，41（5）：1013-1024.

[41] 张晴晖，孔德肖，李俊萩，等.基于逆运动学降维求解与YOLO v4的果实采摘系统研究［J］.农业机械学报，2021，52（9）：15-23.

[42] ZHANG Q H， KONG D X， LI J Q，et al.Design of fruit picking system based on inverse kinematics dimension reduction and YOLO v4［J］.Transactions of the Chinese Society for Agricultural Machinery，2021，52（9）：15-23.

[43] JOCHER G， QIU J.Ultralytics YOLO11：version 11.0.0［EB/OL］.2025-06-15.

[44] KODORS S， SONDORS M， LĀCIS G，et al.Rapid prototyping of pear detection neural network with YOLO architecture in photographs［J］.Environment Technology Resources Proceedings of the International Scientific and Practical Conference，2023，1：81-85.

基金资助

2017年哈尔滨市应用技术研究与开发项目(2017RALXJ011)