推荐星级：
- 1
- 2
- 3
- 4
- 5
苹果采摘机器人视觉系统研究进展
资料介绍
视觉系统是苹果采摘机器人最重要的组成部分之一,它在一定程度上决定了苹果采摘机器人完成采摘任务的质量及速度。为明确苹果采摘机器人视觉系统所面临的挑战及未来研究方向,该文首先对世界各国现有苹果采摘机器人的研究情况从视觉传感器类型、视觉系统硬件组成、采摘成功率及作业时间等方面进行了概述,然后分别对现有苹果采摘机器人视觉系统中苹果图像分割方法、受着色度、光照、表面阴影、振荡、重叠及遮挡等影响下的苹果目标的识别与定位方法、苹果采摘机器人视觉系统对枝干等障碍物的识别方法以及视觉系统中双目视觉技术立体匹配问题进行了综述,进一步分析了苹果采摘机器人视觉系统中存在的问题,指出视觉系统结构的优化、视觉系统中智能算法的优化、提高视觉系统的实时性、振荡苹果目标的识别与定位、视觉系统受振动影响时苹果目标的识别与定位及提高视觉系统的性价比等方面将成为未来重点研究方向,为深入研究苹果采摘机器人视觉系统提供参考。
部分文件列表
| 文件名 | 大小 |
| 苹果采摘机器人视觉系统研究进展.pdf | 2M |
部分页面预览
（完整内容请下载后查看）第33 卷 第10 期
2017 年 5 月
农 业 工 程 学 报
Vol.33 No.10
May 2017
Transactions of the Chinese Society of Agricultural Engineering
59
苹果采摘机器人视觉系统研究进展
王丹丹，宋怀波，何东健※
（西北农林科技大学机械与电子工程学院，杨凌 712100）
摘 要：视觉系统是苹果采摘机器人最重要的组成部分之一，它在一定程度上决定了苹果采摘机器人完成采摘任务的质
量及速度。为明确苹果采摘机器人视觉系统所面临的挑战及未来研究方向，该文首先对世界各国现有苹果采摘机器人的
研究情况从视觉传感器类型、视觉系统硬件组成、采摘成功率及作业时间等方面进行了概述，然后分别对现有苹果采摘
机器人视觉系统中苹果图像分割方法、受着色度、光照、表面阴影、振荡、重叠及遮挡等影响下的苹果目标的识别与定
位方法、苹果采摘机器人视觉系统对枝干等障碍物的识别方法以及视觉系统中双目视觉技术立体匹配问题进行了综述，
进一步分析了苹果采摘机器人视觉系统中存在的问题，指出视觉系统结构的优化、视觉系统中智能算法的优化、提高视
觉系统的实时性、振荡苹果目标的识别与定位、视觉系统受振动影响时苹果目标的识别与定位及提高视觉系统的性价比
等方面将成为未来重点研究方向，为深入研究苹果采摘机器人视觉系统提供参考。
关键词：机器人；图像识别；机械化；苹果；果实识别；目标定位；视觉系统
doi：10.11975/j.issn.1002-6819.2017.10.008
中图分类号：TP391.4
王丹丹，宋怀波，何东健. 苹果采摘机器人视觉系统研究进展[J]. 农业工程学报，2017，33(10)：59－69.
doi：10.11975/j.issn.1002-
文献标志码：A
文章编号：1002-6819(2017)-10-0059-11
Wang Dandan, Song Huaibo, He Dongjian. Research advance on vision system of apple picking robot[J]. Transactions of the
Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(10): 59－69. (in Chinese with English abstract)
doi：10.11975/j.issn.1002-6819.2017.10.008
别与定位。因此，苹果采摘机器人必须解决苹果目标的
快速识别和准确定位两大难题。该文在论述苹果采摘机
器人视觉系统的基础上，重点对视觉系统中苹果图像分
割及苹果目标的识别与定位方法进行总结，分析了视觉
系统中存在的问题，并指出苹果采摘机器人视觉系统未
来重点研究方向。
0 引 言
苹果是中国第一大经济水果，也是中国为数不多的
几种具有国际竞争力的果品之一。据统计，2015 年中国
苹果种植面积达233 万hm2，总产量约4 000 万t，约占
世界苹果总产量的 55%。在整个苹果生产作业中，成熟
果实的及时、无损、高效采收是关键，直接影响苹果的
储藏、运输、加工以及销售等后续环节[1]，然而由于采摘
作业进行时所处生态环境的复杂性，导致迄今尚无可用
于生产实际的苹果采摘智能装备。目前中国苹果采摘依
然依靠人工作业，随着中国城镇化的快速发展，农业从
业人口急剧减少，人工成本大大增加，给苹果产业的快
速发展带来了不利影响。实现苹果的自动化采摘，对于
解决苹果产业中的劳动力不足、人工劳动强度大、生产
成本高、生产效率低等问题以及保证苹果的适时采收、
保证采摘品质、提高苹果的市场竞争力等方面均具有重
要的意义[2-6]。
1 苹果采摘机器人研究现状
苹果采摘机器人一般由移动机构、机械手、控制系
统、视觉系统、末端执行器等组成，主要用于采摘成熟
苹果。图1 为Zhao 等[8]设计的苹果采摘机器人，主要由
机械手、末端执行器、视觉系统及由工业计算机和交流
伺服电机组成的控制系统等构成，其视觉传感器和光电
位置传感器安装于末端执行器上。部分国家开发的苹果
采摘机器人现状如表1 所示。
视觉系统是苹果采摘机器人的重要组成部分[7]，机器
人进行采摘任务过程中最关键环节之一是苹果目标的识
收稿日期：2016-10-09
修订日期：2017-04-12
基金项目：陕西省自然科学基金资助（2014JQ3094）；陕西省农业科技创新
与攻关项目(2016NY-157)；中央高校基本科研业务经费（2452016077）。
作者简介：王丹丹，女，黑龙江齐齐哈尔人，博士生，主要从事农业智能化
检测方面的研究。杨凌 西北农林科技大学机械与电子工程学院，712100。
Email：
图 1 苹果采摘机器人
Fig.1 Apple picking robot
※通信作者：何东健，男，陕西汉中人，教授，博士生导师，主要从事智能
化检测与技术研究。杨凌 西北农林科技大学机械与电子工程学院，712100。
Email：
苹果采摘机器人是集机械、电子、信息、智能技术、
计算机科学、农业和生物等学科技术于一体的交叉科
农业工程学报（）
2017 年
60
学[1]，部分学者专门针对苹果采摘机器人的各组成部分进
行了研究，如采摘机器人的末端执行器、机械手、视觉
系统等。苹果采摘机器人进行采摘作业时，首先要利用
其视觉系统获取苹果目标的数字化图像，然后将图像中
苹果目标与枝、叶、土壤、天空等背景区域分开，并对
苹果目标的颜色、纹理、形状等特征进行分析，在识别
出苹果目标后确定果实在机器人坐标系中的位置，然后
由机器人驱动其机械手及末端执行器进行采摘。由此可
见，采摘机器人的首要任务是利用视觉系统进行成熟苹
果目标的识别与定位。
表1 部分国家开发苹果采摘机器人现状
Table 1 Current situation of apple picking robot
国家
Country
视觉传感器类型
Type of vision sensor
视觉系统硬件构成
Hardware of vision system
采摘成功率
Success rate of picking/%
作业时间
Run time
备注
Comment
美国[9]
1 个Sony DCR-PC7 摄像机和PC 机
果园试验阶段
果园试验阶段
果园试验阶段
果园试验阶段
果园试验阶段
CMOS
95.0
80.0
—
8.0～10.0 s/个
7.1s/个
比利时[10] CCD 与CMOS 组合 1 个UI2230-C uEye 摄像机和PC 机
美国[11]
中国[8]
中国[12]
1 个摄像机、USB 帧采集装置和PC 机
1 个摄像机和工业计算机
CCD
>90.0
77.0
CCD
CCD
15.0s/个
9.5s/个
86.9
1 个双目摄像机和工业计算机
1 个F-201 B/C 摄像机、1 个Bumblebee2 BB2-08S2C
摄像机和工业计算机
中国[13]
6.6s/个
实验室试验阶段
CCD
—
中国[14]
美国[15]
美国[16]
2 个摄像机、视频采集卡和PC 机
1 个摄像机和PC 机
实验室试验阶段
果园试验阶段
果园试验阶段
CCD
CCD
CCD
—
—
—
97.9
84.0
6.1s
1 个2 维相机、1 个3 维相机和PC 机
注：CCD 为电荷耦合元件，CMOS 为互补金属氧化物半导体器件，“—”表示没有试验数据。
Note: CCD is charge-coupled device, CMOS is complementary metal oxide semiconductor, “—” refers to that there had no experimental data.
果采摘机器人视觉系统。
2 苹果采摘机器人中的视觉系统
为了精确地获得图像中目标的位置，一些学者在使
用摄像机获取目标图像的同时采集其深度图像。王辉等[29]
利用单目、双目视觉组合传感器构建了苹果采摘机器人
的视觉系统，其中单目视觉传感器使用CCD 摄像头，双
目视觉传感器由彩色视觉传感器和红外视觉传感器组
成，红外视觉传感器采集与彩色图像对应的深度图像。
Nguyen 等[30]利用CMOS 摄像头、红外图像传感器和用于
深度测量的红外光源构建了苹果采摘机器人视觉系统；
Silwal 等[31]设计了安装在拖拉机上的用于获得苹果图像
的隧道结构传感器平台，位于平台纵向中心的CCD 相机
采集的图像可覆盖整个植株，平台上还装有遮光装置及
白色LED 灯。周薇等[32]利用彩色相机和深度相机设计了
苹果采摘机器人视觉系统，该系统中利用多源传感器信
息融合与互补方法，实现多目标图像的精确配准。
除了机器视觉系统，激光视觉系统、三维视觉系统
以及机器视觉与其它视觉相结合的视觉系统也用于苹果
识别定位。Bulanon 等[11]设计了机器和激光结合的视觉系
统，机器视觉系统主要完成苹果二维坐标获取任务，激
光视觉系统用来测量执行末端与苹果目标的距离。Silwal
等[16]利用二维相机和三维相机实现了苹果目标的识别与
定位。刘兆祥等[33]设计了由信号发射单元、信号接收单
元、垂直扫描电机、水平扫描电机和PC 机组成的三维视
觉传感器，通过利用果树对激光的反射差异实现苹果目
标的识别，并利用三角测量原理实现果实定位。冯娟等[34]
构建了由数据采集、运动控制及数据处理等单元构成的
苹果采摘机器人激光视觉系统，该系统具有对目标的定
位不受光线变化的影响等优点。
苹果采摘机器人视觉系统一般由图像获取部分、
图像处理分析部分以及输出或显示部分组成，其主要任
务是获取苹果的数字化图像、对获取的图像进行图像处
理、苹果目标的识别与定位及枝干等障碍物的识别与定
位等。
苹果采摘机器人的机器视觉技术可以分为一维成像
视觉技术、二维成像视觉技术和三维成像视觉技术[17]。
视觉系统中根据所使用图像传感器个数的不同可分为单
目视觉技术、双目视觉技术和多目视觉技术[18]。视觉检
测技术往往结合人工光源或光学滤波器一起使用，以避
免自然光在果实目标表面产生阴影而导致的目标识别不
准确等问题。
2.1 苹果采摘机器人中视觉系统硬件研究
自 1968 年美国学者 Schertz 和 Brown[19]将机器视觉
引入到果实目标的识别以来，众多学者开展了基于机器
视觉技术的果蔬目标识别与定位研究。1977 年，Parrish[20]
建立了第一个用于识别苹果的视觉系统，由此开启了各
种识别方法的研究及系统的建立[21]。
现有苹果采摘机器人视觉系统一般由摄像机及 PC
机构成。Bulanon 等[22]开发了一套采摘红富士苹果的实时
视觉系统，该视觉系统中使用一个彩色CCD 摄像机拍摄
苹果图像，并利用PC 进行图像处理。Zhao 等[8]、Baeten
[23]
等[9]、Kennedy 、吕继东[24]同样利用一个摄像机及 PC
机构建了苹果采摘机器人的单目视觉系统。Mao 等[25]利
用2 个佳能数码相机和PC 机设计了应用于苹果采摘机器
人的双目立体视觉系统，该系统比常用的数字视频视觉
系统具有更高的分辨率及更好的性能。Si 等[26]、高瑞等[27]
及 Wang 等[28]都相继开发了基于双目立体视觉技术的苹
上述苹果采摘机器人视觉系统大多由CCD（或CMOS）
摄像机构成，然而该种视觉系统易受光照条件的影响。
全部评论(0)