水果采摘机器人视觉系统的发展现状的研究

中国农业工程学会2007年学术年会论文集

水果采摘机器人视觉系统的发展现状研究　

张亚静，乔军，刘刚，李民赞＊　

（中国农业大学现代精细农业系统集成研究教育部重点实验室，北京，100083）

摘 要：水果采摘机器人的研究始于上世纪70年代末，国内外专家通过近三十年的研究发表了大量的研究论文和报告，同时也相应

的开发了各种原型机。视觉系统作为农业采摘机器人的核心部分之一，直接影响到采摘效率和成功率，所以它已经成为采摘机器人研

究的一个重点和热点。本文侧重对国外发展情况的研究，通过对国外的相关文献进行全面检索。对国内外水果采摘机器人视觉系统的

特点进行了分析和归类，并对研究的现状进行了综述。按照水果采摘机器人视觉系统的硬件（采摘水果的不同）进行分类，介绍了几

种典型水果采摘机器人视觉系统的组成器件和果实探测算法，讨论并比较了这些方法的效率和适用性。分析水果采摘机器人视觉系统

存在的问题和有待改进的方面，并初步提出笔者的设想和建议。

关键词：采摘机器人；视觉系统；探测算法

中图分类号：S126

０　　引　　言　

农业信息化是我国进入21世纪后建设现代农业的

重大战略选择，是实现农业现代化的重要内容。数字农

业作为农业信息化的组成部分，其科技创新与应用实践，

将引领我国现代农业的快速发展。农业智能控制技术则

是实现数字农业的标志。农业机器人作为农业智能控制

技术研究成果中新一代生产工具，在提高农业生产力、

改变农业生产模式、解决劳动生产力不足问题等方面显

示出极大的优越性。近年来，农业机器人主要应用在移

栽、嫁接、喷药、采摘、果实分级等领域，其中采摘是

水果生产中最重要和最耗时费力的环节，采摘效果的好

坏还会直接影响到后续的存储与加工过程。在很多国家，

由于劳动力的高龄化和人力资源的缺乏，使得人工采摘

成本几乎占整个果蔬生产成本中的一半，并且有些果实

采摘作业使用人工存在一定的危险性，因此实现果蔬收

获的机械化变得越来越迫切。　

对于一个农业采摘机器人，首要的任务就是利用视

觉系统来确认水果的位置信息。但是由于采摘环境的复

杂性，比如：水果及树叶的遮盖、光照对采摘的影响等

等，使得识别定位水果的工作难度大大增加。一个好的

视觉系统不仅要求系统建设成本低廉，操作简单，并且

具有较高的精确度及效率

［１－３］

。　

１　　水果采摘机器人视觉系统研究现状　

水果采摘机器人采摘水果时，首先要利用视觉系统

收稿日期： 修订日期：

项目基金：国家863计划（2006AA10Z255）

作者简介：张亚静（1981年6月），女（汉），河北石家庄，博士在读，研究方

向：机器视觉。北京市清华东路17号中国农业大学东校区125信箱，100083，

Email：*****************

通讯作者：李民赞，博士，教授，博士生导师，中国农业大学“现代精细农业

系统集成研究”教育部重点实验室，北京，100083，Email：************.cn

获取水果的具体位置信息，然后将机械臂移动到采摘的

最佳位置，最后再进行采摘。因此准确的获取目标水果

的三维位置信息是水果采摘机器人视觉系统的主要工

作。由于视觉系统的性能、效率以及图像处理算法都因

为硬件系统的不同而有所区别，所以本文将近几年来一

些典型的视觉系统，根据其硬件组成的不同来进行分类

叙述

[4-8]

。

１．１　单个相机

美国俄亥俄州立大学的Peter 等人于2004年

研制了一西红柿采摘机器人

[9]

。这个机器人的视觉系统

主要元件是由一个换了广角镜头的彩色微型相机。它被

安装在机器臂末端。基于RGB模型，通过获取红色分

量和绿色分量的灰度图像来进行前景图像（果实）和背

景图像（主要是树叶）的分割。之所以采用红、绿两个

颜色分量主要是为了增强果实和树叶的对比度。之后获

取前景图像的边缘图像，利用圆周霍夫变换或者弦重建

原理来识别和定位成熟西红柿。实验证明，圆周霍夫变

换的定位精度高于弦重建方法，但是弦重建方法的速度

是圆周霍夫变换的42倍，可见弦重建方法比较适用于实

时收获系统。通过在实验室和温室中操作，利用弦重建

方法的视觉系统对西红柿的感知率和采摘率分别高于

95％和85％。

美国Amy 等人在2006年研制出一个根据背

景模型来分割图像的苹果采摘机器人

[10]

。所谓背景模

型，是指将背景预先基于RGB空间模型化，因为这样

可以减少背景的噪音。然后通过基于高斯混合原理的全

局高斯混合算法（GMOG）来进行果实定位。对于每一

个像素灰度值，如果它和自身RGB三者均值的差小于

一个特定值，就将它归类为背景类；否则就是前景类。

这个苹果采摘机器人的视觉系统的主要部件是一个彩色

摄像机，拍摄的速度大约是2帧/秒。在拍摄之前，在苹

果生长的地方放置一块黑色的幕布作为背景，拍摄背景

1

中国农业工程学会2007年学术年会论文集

并将其模型化；然后再将幕布置于苹果树后面，拍摄有

背景的苹果；最后利用上述算法，进行分类，获取目标

苹果的位置信息。GMOG是一种速度快、精度高的图像

分割算法，识别正确率在85.6％－95.6％之间。红色苹

果完全可以被识别到，黄色苹果的识别率大约在

93.04%。

１．２　多个相机　

日本Hirosaki大学Teruo Takahashi等人2002年研

制了一苹果采摘机器人

[11]

，其视觉系统主要采用了两个

彩色相机组成的双目立体视觉系统。当左、右两个相机

同时获取了同一目标的图像后，通过将两幅图像进行中

心合成来重建采摘目标的三维信息。在减少识别误差方

面，提出了三个方法：（1）在进行目标中心合成时，设

置一个较窄的范围搜索区域；（2）在左、右图像共同的

目标区域，比较同一目标、一定数量的颜色特征；（3）

将左、右图像的左、右半边区域分别重合，可使图像的

公共部分更加清晰。通过上述改进，对于红色苹果的识

别率大于90％，在红色苹果和黄色苹果混合的情况下，

识别率在65％－70％之间。上述方法中，第一种和第三

种减少误差的方法较为有效，识别误差率在±5%左右。

日本的Naoshi Kondo 等人在2005年研制出一草莓

采摘机器人

[12]

。它的视觉系统是安装在其行走设备上

的。这个视觉系统由三个彩色摄像机和四个带有偏振滤

光片的照明设备组成。其中两个彩色摄像机组成双目视

觉系统用于探测草莓颜色和距离。第三个摄像机安装操

作臂的末端，用来探测草莓的梗信息。因为草莓的梗相

对于果实来说体积太小，如果不使用一个摄像机专门拍

摄就很难探测到。偏振滤光片的作用是检测水果是否成

熟。试验表明，对于可见的草莓（包括位置紧靠的草莓），

此机器人识别率较高，这部分草莓大概占草莓总数的60

％，并且同时90％的果实梗部也能同时被识别出来；但

是对于余下的40％的草莓，因为其可见率低于50％，识

别率较低，还有待进一步改进。

１．３　相机＋其他测距工具　

2004年日本Mitsuji Monta等人开发了一个用来识

别西红柿的视觉系统

[13]

。这个视觉系统是由一个彩色摄

像机、一个激光测距仪和一个红外传感器组成。激光测

距仪被一个起重机在垂直方向上提升或下降，同时做一

个扇形的扫描来获取果实目标的三维信息。如果探测到

的相邻两个像素之间的距离大于50mm就认为是两个目

标水果，这样就可以感知到同一簇上紧靠在一起的水果。

彩色摄像机通过颜色来辨别西红柿是否成熟，因为在这

个视觉系统中，激光测距仪用来探测到西红柿的形状、

位置等信息。同时使用红外传感器和激光测距仪来避障，

激光测距仪用来探测物体，红外传感器用来探测人体，

红外传感器的探测范围是5m。

美国佛罗里达大学的Murali等人在2005年研制了

一柑橘识别视觉系统

[14]

。主要器件是一个彩色摄像机和

四个超声波传感器。彩色相机用来识别目标水果，超声

波传感器用来探测水果和相机之间的距离和水果大小

（水果的最大直径）。此视觉系统使用了HLS模型的色

调值和饱和度值来分割柑橘水果和背景图像。比较了三

种分类方法：贝叶斯分类法、神经网络分类法、fischer

线性分类法。实验结果表明，神经网络分类法正确率较

高，错误率较低，比其他它两种方法要好。误差的产生

主要是由于超声波传感器的测量误差、水果和树叶的遮

挡和紧靠以及不稳定的照明等原因。

１．４其他测距工具　

樱桃西红柿是一种丛生水果，每一个茎上都有几个

比较细的梗，因此，使用只有摄像机的视觉系统不易探

测到叶子和梗信息，这样就会给水果定位造成障碍。日

本的I Dewa Made SUBRATA 等人于1997年研制的一

个采摘樱桃西红柿的机器人

[15]

，其视觉系统主要使用了

激光传感器。这个激光传感器发射由两个波段：红色

（685nm）和近红外（830nm）组成的激光束，经过一

个常温滤波器之后，被分成3个小激光束。分开后的激

光束射向水果，然后用3个PSD接收反射回来的光线。

当光线变化的时候，ＰＳＤ的两个阳极Ａ、Ｂ的电流也发生

改变。　经过预放大和解调后的输出信号：红光输出信号

Ａ

Ｒ

和Ｂ

Ｒ

、近红外输出信号：Ａ

ＩＲ

和Ｂ

ＩＲ

。通过Ａ

ＩＲ

和（Ａ

Ｒ

＋Ｂ

Ｒ

）

的比，可以计算出纵深距离；通过红光信号（Ａ

ＩＲ

＋Ｂ

ＩＲ

）和

近红外信号（Ａ

ＩＲ

＋Ｂ

ＩＲ

）的比，可以得出分割图像的阈值。

然后再根据（Ａ

Ｒ

＋Ｂ

Ｒ

）值识别ＰＣＩＦ区域，因为如果两个ＰＣＩＦ

区域之间的距离小于特定值ｎ，就被识别成同一个水果。

所谓ＰＣＩＦ区域是通过确认果实中心点而得到一个特点

区域。算法识别速度大约是３秒／幅图像。　

日本北海道大学的Takashi KATAOKA等人于2001

年研制了一个自动探测成熟苹果系统

[16]

。这个系统没有

使用摄像机，而是使用了一个分光光度计，用来探测苹

果是否成熟。因为某些苹果品种成熟时颜色较红；而未

成熟时则呈现出淡红色或者黄色。所以根据苹果的颜色

可以区分苹果是否成熟。还有一种方法是利用SPAD值

来估计苹果采摘季节。研究表明，树叶中的叶绿素含量

和SPAD值有很强的相关性，所以可以利用SPAD值来

估计叶绿素的含量。在果树生长的过程中，SPAD值会

一直增加，直到苹果成熟的季节，SPAD值才会线性减

少，所以通过SPAD值也可以判断苹果是否成熟。

２　　现有视觉系统分析　

２．１　系统硬件特点　

对于水果采摘机器人的视觉系统来说，常用的目标

水果探测工具是彩色相机。一个彩色相机只能得到目标

2

中国农业工程学会2007年学术年会论文集

的二维位置信息和成熟度信息，而无法获取其三维位置

信息。没有纵深距离，机器人就不能进行采摘。因此，

对于纵深距离不固定的水果采摘环境，必须至少再增加

一个测距工具才能获取其纵深距离。目前常用的测距工

具可以是彩色相机、激光测距仪、超声波传感器等。对

于两个相机构成的视觉系统可以采用双目立体视觉方法

来获取其三维位置信息。激光和超声波均可以采用渡越

时间法来测量纵深距离，也都可以采用对物体反射光特

征或声波特征进行分析的方法来获取其纵深距离。激光

的优势在于它的辨析度较高，可以发射点对点的激光束；

而超声波的优势在于操作简单、价格便宜，但是声波的

传播基本可以看作是一个圆锥形，不仅传输速度慢，而

且如果距离较长，声波能量损失较大，准确性较差。

２．２　采摘对象特点　

目前视觉系统的采摘对象仍局限于颜色和背景差

距较大的、形状规则的水果，如红色的苹果、柑桔、西

红柿等。因为前景和背景颜色差距大，可以通过颜色特

征很好的对图像进行分割，将水果从复杂的背景中提取

出来。而形状规则的则可通过提取其边缘特征，通过模

式识别等方法将水果从复杂的背景图像中提取出来。

表1是国外近年来一些典型的视觉系统的图像分析

方法和处理对象及效率的对比。

３　对目前视觉系统一些建议　

采摘机器人要完成水果采摘的任务，首先得利用视

觉系统确定目标水果的具体位置，然后机器人才能进行

下一步的采摘工作。因此，视觉系统性能的好坏，会直

接影响到水果采摘效果。视觉系统的性能从精度和速度

两方面来评价。影响视觉系统精度和速度的因素较多，

比如不稳定的光照、风、水果和树叶的相互遮盖、水果

自身生长程度不一等等。美国的Ｌｅｉ　Ｆ．Ｔｉａｎ等人开发了

一种环境适应分割算法，可以在不好的光照条件下得出

相对较优的结果

［２１］

。对于风的振动问题，可以对采摘目

标进行实时检测，把相机安装在机械臂末端，随着采摘

动作深入到水果从中，这样可以尽可能避免因为水果的

位置微动产生的识别精度下降问题，同时还有可能检测

到被叶子遮挡的水果。实时检测需要图像识别算法速度

较快，如果算法处理速度过慢，就不能满足实时处理的

需要。笔者认为目前采摘机器人视觉系统的研发工作可

重点考虑以下几方面：　

(1) 目前来讲，仅依靠机器视觉识别水果的方法还

是未能达到商业化程度，要尽快提高机器识别率，改进

算法。采摘机器人的工作是模仿人类采摘动作进行的，

识别算法可考虑仿生算法或者各种算法结合的方式，取

各种算法优点，克服缺点。在改进算法的基础上，同时

可以考虑人机协作的方式，以便能尽快满足日益增长的

实际需要；

(2) 水果采摘视觉系统硬件方面，可考虑视觉传感

与非视觉传感的结合。一些精确测距工具或通过其他感

知方式如嗅觉、听觉等可应用到整个系统中，开发多种

识别方式。

４　　展望　

水果采摘是一个季节性强且劳动密集型工作。随着

精准农业研究与示范工程的开展和农业机器人成本的下

降，水果采摘机器人必将越来越广泛的应用到农业生产

过程中，有着具有巨大的发展潜力。这就对水果采摘机

器人的视觉系统提出了更高的要求，它必将随着机器人

的普及得到更快的发展。

表１近年来典型的视觉系统列表　

Table 1 Typical Vision System in Details

工作组/ 视觉系统 水果正确率//

机器人名称

水果

传感器

图像分析方法

颜色 误差率

美国(2004)

[9]

西红柿1 CCamera 形状(CHT/弦重建) 红色 95%//N.R.

美国

1 CCamera

颜色（背景模型/

(2006)

[10]

苹果

红色93.04%//

全局高斯混合） 黄色 1.2-5.3个/幅

日本颜色（差值法/

（2004)

[17]

草莓 1 CCamera

面积去除孔洞）

红色 100%//0%

日本

(2001)

[18]

苹果 1 CCamera

颜色（LCD模型/

最优阈值法）

红色 N.R.

日本 颜色（LCD模型/

(2002)

[19]

苹果 1 CCamera

最优阈值/决策论）

红色 88%//18%

日本

颜色（ANN/决策论/双目

(2004)

[20]

苹果 2 CCamera 立体视觉/ 红色 80%//<7%

差分物体大小）

日本

(2005)

[12]

草莓

3 CCamera＋

4DL＋4PL

双目立体视觉 红色 60%//N.R.

日本

>90%(红色)

(2002)

[11]

苹果 2 CCamera 双目立体视觉

红色

黄色

65%-70%(黄

色)//±5%

日本

1 CCamera＋

颜色＋形状（阈值分割

(2004)

[13]

西红柿1 Laser＋

/sobel微分）

红色 N.R.

1 Infrared

美国

柑橘

1 CCamera＋ 颜色（HLS模型

(2005)

[14]

4 Ultrasonic /Linear/ANN/Bayes）

黄色 N.R.

日本 樱桃西红光(685nm)/

(1997)

[15]

红柿

Laser

近红外光(830nm)

红色 N.R.

日本

苹果 Spectro

颜色（树叶SPAD值/成

(2001)

[16]

熟果实颜色对比）

红色 N.R.

注： CHT： Circular Hough Transform圆周霍夫变换

N.R.：not reported 没有报导

DL：Lighting Device 照明设备

PF：Polarizing Filter 偏振滤光片

Bayes：Bayesian 贝叶斯分类

ANN：Artificial Neural Network人工神经网络

Linear: Linear discriminate 线性分类法

CCamera: Color Camera彩色相机

Laser: Laser Sensor激光测距仪

Infrared：Infrared Sensor 红外传感器

3

中国农业工程学会2007年学术年会论文集

Ultrasonic：Ultrasonic sensor 超声波传感器

Spectro：spectrophotometer 分光光度计　

[12]Naoshi Kondo, Kazunori Ninomiya, Shigehiko Hayashi, Tomohiko

Ota, Kotaro Kubota. A New Challenge of Robot for Harvesting

Strawberry Grown on Table Top Culture [A]. ASAE Meeting [C],

2005, Paper No.053138.

[13]Mitsuji Monta, Kazuhiko Namba, Naoshi Kondo. Three

Dimensional Sensing System Using Laser Scanner [A].

ASAE/CSAE Meeting [C], 2004, Paper No.041158.

[14]Murali Regunathan, Won Suk Lee. Citrus Fruit Identification and

Size Determination Using Machine Vision and Ultrasonic Sensors

[A]. ASAE Meeting [C], 2005, Paper No.053017.

[15]I Dewa Made SUBRATA, Tateshi FUJIURA, seiji NAKAO,

Hisaya YAMADA, Masaru HIDA, Takuji YUKAWA. 3-D Vision

Sensor for Cherry Tomato Harvesting Robot [J]. JARQ, 1997, 31,

257-264.

[16]Takashi KATAOKA, Hiroshi OKAMOTO, Shun-ichi HATA.

Automatic detecting system of apple harvest season for robotic apple

harvesting [A]. ASAE Meeting [C], 2001, Paper No.013132.

[17]Seiichi Arima, Naoshi Kondo, Mitsuji Monta. Strawberry

Harvesting Robot on Table-top Culture [A]. ASAE/CSAE Meeting

[C], 2004, Paper No.043089.

[18]D M Bulanon, T Kataoka, S Zhang. Optimal Thresholding for the

Automatic Recognition of Apple Fruits [A]. ASAE Meeting [C],

2001, Paper No.013133.

[19]D M Bulanon, T Kataoka, Y Ota. T Hiroma. A segmentation

Algorithm for the Automatic Recognition of Fuji Apples at Harvest

[J]. Biosystems Engineering, 2002, 83(4), 405-412.

[20]D M Bulanon, T Kataoka, H Okamoto, S Hata. Determining the

3-D Location of the Apple Fruit During Harvest [A]. Proceedings of

Automation Technology for Off-Road Equipment [C], 2004, 91-97.

[21]Lei F Tian, David C Slaughter. Environmentally adaptive

segmentation algorithm for out door image segmentation [J],

Computers and Electronics in Agriculture, 1998. 21, 153-168.

　[参 考 文 献]

[1]方建军.移动式采摘机器人研究现状与进展[J],农业工程学报,

2004,20(2):273-278.

[2]宋健，张铁中，徐丽明.果蔬采摘机器人研究进展与展望[J].农业

机械学报，2006，37（5）：58-162.

[3]姜丽萍，陈树人.果实采摘机器人的研究综述[J].农业装备技术，

2006，（1）:8-10.

[4]A R Jimenez, A K Jain, R Ceres, J L Pons. Automatic fruit

recognition: A survey and new results using Range/Attenuation

images [J]. Pattern Recognition, 1999, 32(10), 1719-1736.

[5]A R Jimenez, R Ceres, J L Pons. A Survey of Computer Vision

Methods For Locating Fruit On Trees [J]. Transactions of the ASAE,

2000, 43(6), 1911-1920.

[6]Tadhg Brosnan, Da-Wen Sun. Improving quality inspection of food

products by computer vision- a review [J]. Journal of Food

Engineering, 2004.61, 3-16.

[7]Jun QIAO, Akira SASAO, Sakae SHIBUSAWA, Naoshi KONDO,

Eiji MORIMOTO. Mobile Fruit Grading Robot (Part 1)

Development of a Robotic System for Grading Sweet Peppers [J].

Journal of the Japanese Society of Agricultural Machinery 2004,

66(2), 113-122.

[8]Jun Qiao, Akira Sasao, Sakae Shibusawa, Naoshi Kondo, Eiji

Morimoto. Mapping Yield and Quality using the Mobile Fruit

Grading Robot [J]. Biosystems Engineering, 2005, 90(2), 135-142.

[9]Peter P Ling, Reza Ehsani, K C Ting, Yu-Tseh Chi, Nagarajan

Ramalingam, Michael an, Craig Draper. Sensing and

End-Effector for a Robotic Tomato Harvester [A]. ASAE/CSAE

Meeting [C], 2004, Paper No.043088.

[10]Amy L Tabb, Donald L Peterson, Johnny Park. Segmentation of

Apple Fruit from Video via Background Modeling [A]. ASABE

Meeting [C], 2006, Paper No.063060.

[11]Teruo Takahashi, Shuhuai Zhang, Hiroshi Fukuchi, Measurement

of 3-D Locations of Fruit by Binocular Stereo Vision for Apple

Harvesting in an Orchard [A]. ASAE Meeting [C] 2002, Paper

No.021102.

Development of Machine Vision for Fruit Harvest

Zhang Yajing, Qiao Jun, Liu Gang, Li Minzan*

(Key Laboratory of MOE on Modern Precision Agriculture System Integration Research,

China Agricultural University, Beijing 100083, CHINA)

4

张亚静等，水果采摘机器人视觉系统的发展现状研究

Abstract:

The development of the machine vision system for fruit harvesting robot was reviewed. Over 129 published papers were collected

and analyzed. According to the hardware components and software algorithms, the machine vision systems of fruit harvesting robots could be

classified as four types, just a camera without other tools, a integration of a camera and other tools like laser sensor or spectral detector,

several cameras, and just other tools without camera. Also, the costs, the efficiency, and the applicability of the systems were compared. And

the advantages and limitation of the systems were analyzed. The affecting factors of the systems like the strength of illumination, covering,

algorithms efficiency, and hardware stability were pointed out. The best success rates of fruit sensing obtained from the above systems

indicated that more than 95% of visible fruits could be detectable, although the false detection rate were above 5% in most cases. Furthermore,

the opinion and primary solution on the machine vision system like active light resource and man-machine cooperation was suggested.

Key Words: harvest robot; machine vision; detection algorithms

5