基于机器视觉的苹果采摘机器人的设计与试验

总754期第二十期

2021年7月

河南科技

HenanScienceandTechnology

信息技术

基于机器视觉的苹果采摘机器人的设计与试验

赵君爱

（江苏海事职业技术学院，江苏南京211100）

摘要：未来农业向着自动化和智能化发展。基于机器视觉的苹果采摘机器人系统克服了苹果生长的不规

律性、视觉定位及采摘方式等技术难题，提出了一套性能稳定的硬件及软件设计方案。因此，概述苹果采摘

机器人的整体设计思路，介绍机器视觉系统的工作原理、工作流程以及系统设计。试验结果证明，该机器人

采摘表现优良。

关键词：机器视觉；苹果采摘机器人；系统设计

中图分类号：TP242文献标识码：A文章编号：1003-5168（2021）20-0027-03

DesignandExperimentofApplePickingRobotBasedonMachineVision

（JiangsuMaritimeVocationalandTechnicalCollege，NanjingJiangsu211100）

ZHAOJun’ai

Abstract:ignprocessofapplepickingrobot

systembasedonmachinevisionovercomesthetechnicalproblemssuchasirregularapplegrowth,visualpositioning

erimentalresultsshowthattherobothasexcellentpickingperformance.

Keywords

:machinevision；applepickingrobot；systemdesign

我国各行各业用工成本不断上升，特别是农业生产

领域，农产品采摘耗费人力成本较高，约占整体生产成本

的40%。自动化采摘机器人代替人工采摘符合现代化农

业的发展趋势。现有苹果采摘机器人由于工作效率低、

制造维护成本高以及采摘成功率低等缺点，难以大规模

推广应用。因此，本文克服现有采摘机器人的缺点，研制

了一款具有高精度视觉能力的快速采摘机器人，具有重

要的应用价值。

1

1.1

苹果采摘机器人系统整体设计方案

苹果采摘机器人组成部分

andpickingmode,putsforwardasetofhardwareandsoftwaredesignschemewithstableperformance,andsummariz⁃

estheoveralldesignschemeofapplepickingrobot,Theworkingprinciple,workingprocessandsystemdesignofma⁃

人的设计方案。该系统分为机器人主体、远程个人计算

机（PersonalComputer，PC）端和无线便携式遥控端3部

分。机器人主体由移动平台、机器视觉系统、机械臂以及

采摘手4个部分组成；远程PC端通过无线网通信模式控

制和调整机器人的工作，其网络构建简单便捷、稳定可

靠；无线便携式遥控端可以实时控制机器人进行采摘

［1］

。

1.2

系统采用2台摄像机，通过视频采集卡连接远程PC

端。机器视觉系统功能可以精确识别成熟的苹果，并准

确获取其三维位置。系统先采集图像对其进行预处理和

校对，根据成熟苹果的特点（如红色圆球）设计机器人视

觉识别方案、识别机制以及定位程序。机器视觉系统包

括图像预处理和完成校对功能，校对成功则可确定苹果

的三维坐标，校对失败则应重新采集图像再次进行校对。

摄像机采集图片后，先进行图像预处理，区分成熟红

苹果、灰色枝干和绿色叶子；通过外形校对采集图像红色

区域块的轮廓，当采集图像信息中存在多个苹果时，可获

得多个苹果轮廓；确定苹果的目标位置，将上一步得到的

机器视觉系统的工作原理

实地考察苹果果园种植模式和基本情况，发现多数

苹果生长高度在100～180cm，存在苹果空间分布无规

律、果树间隔小、地面不平整且树下杂草多等问题。根据

苹果果园实际情况，新型采摘机器人需要克服树叶和果

实遮挡影响机器人获取采摘目标的三维位置、苹果之间

距离过近影响采摘以及苹果采摘速度过慢等问题。根据

苹果采摘需求，基于机器视觉系统提出了苹果采摘机器

收稿日期：2021-06-20

作者简介：赵君爱（1980—），女，博士，讲师，研究方向：图像处理、机器视觉。

Copyright©博看网. All Rights Reserved.

·28·

基于机器视觉的苹果采摘机器人的设计与试验

第20期

每个苹果轮廓拟合为一个圆，求其圆心和半径，其中圆心

是确定苹果位置和距离的参考点。机器人图像预处理

后，得到苹果位置和苹果轮廓的不规则形状，对苹果图像

做拟合运算。在所得图像出现多个苹果定位时，优先采

摘距离最近的苹果。

［2］

电机

编

码

器

编

码

器

电机

电源处理

电池

嵌入式

控制中心

电机

前方

编

编

码

码

器

器

激光避障

电机

2工作流程

在苹果采摘机器人初始化后，视觉系统的2台摄像

机同时对成熟苹果进行图像采集，然后系统对采集的图

像信息进行分析处理，计算并确定红苹果所处的位置，得

到其三维坐标，继而控制机械手执行采摘任务。对机械

手无法采摘的位置，远程PC端可根据苹果的实际位置适

当调整机械手的运动，确保苹果坐标在机械手的工作范

围。机械手调整是一个闭环控制环节，需要连续进行视

觉判断、调整移动平台，保证目标苹果的坐标满足机械手

的采摘条件。通过前进、后退等操作控制机器人仍无法

完成采摘任务时，可放弃采摘此目标苹果。为保证机器

人沿磁导航带完成采摘任务，在调整控制苹果采摘机器

人的过程中，注意不要改变机器人的横向位置。当机器

视觉系统采集图像存在多个苹果都满足采摘条件时，优

先采摘距离最近的苹果，再按距离远近依次采摘剩下的

苹果。苹果采摘机器人每次采摘1列苹果树，移动步伐

距离为每次100cm。完成预设路程后，机器人进入待机

状态。在苹果采摘机器人工作期间，工作人员利用远程

人的工作参数。

3

3.1

PC端控制机器人的工作状态，根据情况设置或调整机器

苹果采摘机器人系统设计

硬件系统设计要点

3.1.2

图1四轮驱动移动平台设计

运动性能，苹果采摘机器人采用灵活的四维柔性机械

手。机械臂末端为气动铡刀。采摘时利用气动铡刀先剪

断果柄并夹住苹果，再把苹果放入前面的果篮。机械臂

设计总长度为120cm，底座距地面80cm。机械臂采摘

机械臂设计。为保证机械臂具有自由伸缩的

半径约1m，采摘高度和作业半径均满足苹果采摘要

求。采摘苹果的坐标允许误差为1cm，高精度柔性设计

机械臂可以大大提高苹果采摘的成功率。机械臂的关

节传动器为谐波减速器，机械臂的第1、2关节的电机、

减速器以及编码器相同，第3、4关节的电机、减速器以

及编码器相同。

3.2软件系统设计

苹果采摘机器人的软件系统设计包括远程PC端控制

系统设计、移动平台控制器系统设计、机械臂程序设计以

及遥控器程序设计。其中最核心的控制系统是远程PC端

控制系统，控制系统的主要算法均在远程PC端控制中心

完成，因此主要介绍远程PC端控制系统的软件设计。

远程人机控制流程如下：人工控制苹果采摘机器人

开机、初始化；确保机械臂初始状态应为复位状态，检测

相关控制器的初始化参数，保证机械臂正常运行；通过视

觉系统的2台摄像机获取苹果图像信息并对其进行预处

理，如图2所示；判断获取图像信息，确定成熟苹果位置；

当未发现成熟苹果时，继续前行100cm，重新获取图像并

进行处理、校对；通过处理图片信息获得的成熟苹果的三

维坐标和距离，开始进行采摘；机械臂按照规划路径执行

采摘任务，将果实放至果篮；机器人采摘完毕进入待机模

式，发出停止采摘的提示

［4］

。

4

4.1

苹果采摘机器人应用试验

试验目的

苹果采摘机器人硬件为复杂的电气机械一体化系

统。机器人硬件系统由远程PC端、机械手及多个下位机

组成。下位机包括移动平台控制器、机械手控制器以及

远程控制接口等设备。

3.1.1四轮驱动移动平台设计。根据苹果果园地形

复杂、崎岖的特点，为保证苹果采摘机器人移动平台优良

的越野性能，采取比履带式更便于操作和维护的四轮驱

动模式，如图1所示。机器人的每个轮子设计了单独的

伺服电机，每个电机设置了减速比为1∶35的减速器，并

配置了线数为2000的编码器。机器人转弯采用差速模

式，利用编码器控制移动平台并对其状态进行反馈。为

了解决移动平台前进时难以躲避障碍的问题，在移动平

台前面设计安装1台激光测距仪。当移动平台前50cm

范围内出现障碍物时，激光测距仪可及时向PC端发出遇

障警报。移动平台能源采用锂电池，通过不同的电源处

理器实施供电。移动平台的嵌入式控制器和激光避障模

块采用5V电源，而轮子采用48V直流电源，机器臂采用

24V电源

［3］

。

对苹果采摘机器人进行试验的目的是测试其移动平

台的越野性能、视觉系统以及机械臂的采摘效果。移动

平台的越野性能测试是考核机器人越过一定障碍物的运

动能力；机器视觉系统测试是通过采集的图像信息进行

Copyright©博看网. All Rights Reserved.

第20期

基于机器视觉的苹果采摘机器人的设计与试验

·29·

图2采摘机器人视觉图像分析

多次识别、定位，能否确定成熟苹果位置；机械臂采摘测试

是基于机器视觉系统精确识别成熟苹果位置的基础上，能

否成功完成采摘任务。机器视觉系统和机械臂性能应在

不同光环境下进行多次测试，分析测试结果得出结论。

4.2

为测试采摘机器人越野性能，通过在采摘机器人行

走路径前每间隔20cm设置3块15cm厚木板，模拟苹果

栽植场地实际环境。经测试验证，由于机器人采用四驱

驱动模式和激光测距仪，可顺利通过障碍物。苹果采摘

时，遇枝叶等障碍物时，机器人机械臂为探入式采摘，采

摘半径为1m。机械臂采用四维柔性设计，可绕过障碍物

采摘苹果，避开障碍物效果良好。当苹果被绿叶遮挡面

积较大但2台摄像机同时获取的图像信息遮挡面积小于

苹果横截面积的1/3时，机器视觉系统可以快速获取成熟

苹果的三维信息；当其中1台摄像机采集不到红色苹果

图像时，则无法识别成熟苹果。

在不同光环境下对机器人进行实时采摘测试，结

果表明，苹果采摘机器人识别成熟苹果的速度平均约

为1s，单个苹果采摘速度约为25s。苹果采摘机器人

的识别速度、采摘速度和光环境无关，但是成熟苹果的

识别成功率受光环境影响较大。环境越亮，成熟苹果

识别成功率越高，在阴暗环境的识别成功率仅为

85%。果园在白天基本不会出现光线较暗的情况，所

以苹果采摘机器人的识别成功率非常理想，采摘作业运

试验结果

行稳定，采摘成功率在95%以上

［5］

。

5结语

基于机器视觉的苹果采摘机器人的设计，创新性地

整合了各项技术，设计了实用性强的全套系统方案，克服

了成熟苹果识别难度较大和采摘成功率低等问题。经试

验证明，设计方案具有可行性，采摘结果较为理想，解决

了现有机器人的常见问题，具有重要的现实意义。在苹

果果园进行采摘试验，该机器人采用机器视觉系统确定

成熟苹果的位置，可以满足成熟苹果识别需求。此外，柔

性机械臂可以避开障碍物，成功执行采摘苹果任务。机

器人测试效果比较理想，可以投入苹果采摘作业进行实

际应用。

参考文献：

［1］王丹丹，宋怀波，何东健.苹果采摘机器人视觉系统研

究进展［J］.农业工程学报，2017（10）：59-69.

［2］贾伟宽.基于智能优化的苹果采摘机器人目标识别研

究［D］.镇江：江苏大学，2016：35.

［3］吕继东.苹果采摘机器人视觉测量与避障控制研究

［D］.镇江：江苏大学，2012：47.

［4］刘鹏莉.苹果采摘机器人的设计与研究［D］.西安：西安

理工大学，2018：42.

［5］陈鸥.苹果采摘机器人视觉系统识别基础方法的研究

［D］.秦皇岛：燕山大学，2016：53.

Copyright©博看网. All Rights Reserved.