您现在的位置是：首页 > 技术资料 > 采摘机器人视觉定位及行为控制的硬件在环虚拟试验系统设计

推荐星级：

采摘机器人视觉定位及行为控制的硬件在环虚拟试验系统设计

更新时间：2019-12-30 10:36:35 大小：1M 上传用户：zhiyao6 查看TA发布的资源 标签：采摘机器人视觉定位行为控制 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

因采摘机器人野外试验易受收获季节、气候和场地等诸多因素的限制,为辅助试验采摘机器人视觉定位及其行为控制算法,设计了基于硬件在环仿真的葡萄采摘机器人虚拟试验。该文先利用双目立体视觉提取葡萄串采摘点及防碰包围体等空间信息;然后以实验室已有的6自由度采摘机器人样机为原型,建立三维虚拟仿真模型,运用D-H法建立机器人坐标变换,求解虚拟环境下机器人运动学正解和逆解;再以实物视觉提取的葡萄串空间信息为基础,运用VC++、Javascript等编程语言在虚拟现实平台EON上对采摘机器人视觉定位及其采摘行为进行仿真设计和编程实现,设计出一套以实物视觉与虚拟采摘机器人相结合的硬件在环仿真平台。最后,在该平台上对葡萄采摘机器人进行了34次虚拟试验,试验中视觉定位、路径规划、夹剪果梗3个环节的成功率依次为85.29%、82.35%、82.35%。结果表明,该方法可很好地运用于验证和试验采摘机器人视觉定位及其行为算法。

部分文件列表

文件名	大小
采摘机器人视觉定位及行为控制的硬件在环虚拟试验系统设计.pdf	1M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第 33 卷

2017 年

第 4 期

2 月

农业工程学报

Vol.33 No.4

Feb. 2017

Transactions of the Chinese Society of Agricultural Engineering

采摘机器人视觉定位及行为控制的硬件在环虚拟试验系统设计

※

罗陆锋 ^1,2，邹湘军 ¹，程堂灿 ²，杨自尚 ²，张丛 ²，莫宇达 ¹

（1. 华南农业大学南方农业机械与装备关键技术教育部重点实验室，广州 510642；

2. 天津职业技术师范大学机械工程学院，天津 300222）

摘

要：因采摘机器人野外试验易受收获季节、气候和场地等诸多因素的限制，为辅助试验采摘机器人视觉定位及其行

为控制算法，设计了基于硬件在环仿真的葡萄采摘机器人虚拟试验。该文先利用双目立体视觉提取葡萄串采摘点及防碰

包围体等空间信息；然后以实验室已有的 6 自由度采摘机器人样机为原型，建立三维虚拟仿真模型，运用 D-H 法建立机

器人坐标变换，求解虚拟环境下机器人运动学正解和逆解；再以实物视觉提取的葡萄串空间信息为基础，运用 VC++、

Javascript 等编程语言在虚拟现实平台 EON 上对采摘机器人视觉定位及其采摘行为进行仿真设计和编程实现，设计出一

套以实物视觉与虚拟采摘机器人相结合的硬件在环仿真平台。最后，在该平台上对葡萄采摘机器人进行了 34 次虚拟试验，

试验中视觉定位、路径规划、夹剪果梗 3 个环节的成功率依次为 85.29%、82.35%、82.35%。结果表明，该方法可很好地

运用于验证和试验采摘机器人视觉定位及其行为算法。

关键词：机器人；算法；设计；硬件在环仿真；双目立体视觉；葡萄；虚拟现实

doi：10.11975/j.issn.1002-6819.2017.04.006

中图分类号：TP391

罗陆锋，邹湘军，程堂灿，杨自尚，张丛，莫宇达. 采摘机器人视觉定位及行为控制的硬件在环虚拟试验系统设计[J].

农业工程学报，2017，33(4)：39－46.

doi：10.11975/j.issn.1002-

文献标志码：A

文章编号：1002-6819(2017)-04-0039-08

Luo Lufeng, Zou Xiangjun, Cheng Tangcan, Yang Zishang, Zhang Cong, Mo Yuda. Design of virtual test system based on

hardware-in-loop for picking robot vision localization and behavior control[J]. Transactions of the Chinese Society of Agricultural

Engineering (Transactions of the CSAE), 2017, 33(4): 39 － 46. (in Chinese with English abstract)

10.11975/j.issn.1002-

doi ：

降低样机开发成本，本文设计了一种基于硬件在环仿真

的采摘机器人虚拟试验方法。以葡萄为采摘对象，构建 6

自由度虚拟采摘机器人。先利用双目立体视觉系统对葡

萄进行识别与定位，求解出葡萄采摘点及其空间包围体。

然后将葡萄的空间信息发送给虚拟采摘机器人，在虚拟

场景下进行采摘机器人路径规划、采摘夹剪等行为的三

维虚拟仿真，以实现对采摘机器人视觉及行为控制算法

的系统性试验与验证。

引

言^

因采摘机器人视觉及控制系统复杂，使得样机试验

成本高，周期长。在采摘机器人样机开发过程中，传统

采摘试验通常是在果园进行，而果园试验易受采摘对象

的收获季节、天气和场地等诸多因素限制，这使得研发

和设计的采摘机器人视觉及控制算法难以得到及时有效

的试验与验证，从而延长样机开发周期。

近年来，随着虚拟现实技术的不断发展，硬件在环

虚拟仿真作为一种低成本、低风险的试验辅助手段被广

泛应用于各个领域^[1-6]。在采摘机器人方面，Van Henten

等^[7-8]为研究黄瓜采摘机器人免碰撞路径规划算法，通过

在 Matlab 软件环境下建立 6 自由度三维机械臂模型来进

行相关算法的验证；Zou 等^[9-10]针对采摘机器人提出了基

于虚拟机械手的视觉定位误差建模方法和基于多领域统

一仿真的运动建模方法；刘继展等^[11]为研究采摘机器人

摘取及移送过程中导致的果穗振动与果粒脱落问题，提

出了一种果穗振动仿真与试验模型；熊俊涛等^[12]运用虚拟

机械手和 CCD 视觉硬件构建的仿真系统来对采摘机器人

定位误差及其补偿机制进行研究。通过综述国内外文献发

现：目前虚拟仿真技术在采摘机器人领域的应用研究大多

只涉及单个问题，而将硬件在环仿真与虚拟现实相结合进

行采摘机器人视觉定位、路径规划、采摘夹切等连续过程

的系统性虚拟仿真试验的研究报道还非常少见。

系统架构与原理

本研究设计的基于硬件在环仿真的采摘机器人虚拟

试验系统由双目立体视觉模板和虚拟采摘机器人仿真模

块组成。系统架构如图 1 所示。

系统先通过双目相机对葡萄目标进行左右图像采

集，然后对左图像进行葡萄分割、采摘点和果粒点识别，

再通过立体匹配和三维反求提取葡萄采摘点空间坐标及

葡萄防碰包围体。虚拟机器人模块根据双目视觉模块采

集的葡萄空间信息在虚拟环境中绘制出虚拟葡萄及其包

围体的三维模型，虚拟机器人根据采摘点坐标和防碰包

围体进行路径规划、逆运动学求解，最后控制末端执行

器运动至采摘点执行采摘夹剪作业。

为辅助进行采摘机器人视觉定位及智能行为试验，

农业工程学报（）

2017 年

d ≥ 2r







min

(x_center, y_center)  region _grape

（1）



r_min≤ r ≤ r_max



式中 d_ij为任意 2 个被检测出来的果粒圆心之间的距离，

pixels；r_min和 r_max分别为最小和最大果粒半径，pixels；

(x_center, y_center)为果粒圆心坐标，region_grape为葡萄图像域，

即图 2c 中白色区域。

图 1 基于硬件在环仿真的采摘机器人虚拟试验系统架构

Fig.1 Architecture diagram of virtual experiment system of

picking robots based on hardware-in-loop simulation

a. 原始图像

a. Original image

b. 分割图像

b. Segmentation image

采摘对象的视觉定位

2.1 视觉系统标定与图像校正

本研究中的双目立体视觉系统由 2 个 USB 接口相机

MV-VD120SC（中国维视图像公司生产）组成，该型号

相机的帧率为 15 Hz，双目相机基线距离为 50mm。为提

取葡萄串空间信息，采用德国 Halcon 公司生产的圆形标

定板对双目立体视觉系统进行标定，使用张正友标定法^[13]

求解相机的内部参数（焦距、镜头径向失真系数等）和

外部参数（摄像机位置和方向、扫视角和倾斜角）。在

完成相机标定后，利用 Bouguet 极线校正算法^[14]对左右

图像进行校正，极线校正的目的是让两个相机的光轴平

行，使极点位于无穷远处，从而使得校正后像点在左右

图像上的高度一致，当进行立体匹配时，只需在同一行

上搜索左右像平面的匹配点，大大提高立体匹配效率。

2.2 葡萄采摘点及防碰包围体计算

c. 分割结果

c. Segmentation image

d. 左图像检测结果

d. Detected result in left image

e.右图像中立体匹配结果

e. Matching results in right image

f. 3D 葡萄模型

f. Three-dimensional model of grape

注：实验室环境下用双目立体视觉系统采集葡萄所获的左相机图像即左图像。

Note: Left-images are the images that are captured by the left camera of

binocular stereo vision system under the lab.

2.2.1 葡萄果梗采摘点与果粒识别

葡萄采摘点的精准定位是采摘机器人无损夹剪的重

要前提。图 2a 为实验室环境下用双目立体视觉系统采集

红提葡萄所获的左相机图像（即左图像），通过提取该

图像的 H 颜色分量，对其进行自适应阈值分割^[15-16]可得

到图 2b，对图 2b 进行像素区域阈值和形态学降噪处理后

得到葡萄串轮廓（图 2c）。再通过求解葡萄轮廓区域的

极值点来获得轮廓顶点、外接矩形。利用重心距^[17]求解

葡萄图像重心。根据葡萄轮廓信息设置果梗感兴趣区域，

在区域内进行累计概率霍夫直线检测^[18]。利用作者前期

研究中提出的葡萄重心到果梗区域内的直线最小距离约

束求解左图像中的葡萄采摘点^[19]，如图 2d 中白色点所示。

在提取出葡萄果梗上的采摘点后，再对左图像中葡

萄外接矩形区域进行霍夫圆检测^[20]，获得果粒的圆心坐

标和半径，检测结果如图 2d 所示。在对果粒进行圆检测

时，因果粒之间存在相互遮挡、粘连等复杂情况，使得

检测出来的圆中常存在冗余圆。为提高果粒检测性能，

建立如下 3 条规则：1）两任意果粒圆心之间距离大于或

等于最小果粒直径(2r_min)；2）果粒圆心位于葡萄图像域

内；3）果粒半径在限定范围之内，范围中最大和最小半

径通过作者前期研究中提出的果粒半径预测模型^[21]计算

获得。规则用如下式子表达：

图 2 葡萄串三维空间信息提取过程

Fig.2 Extracting process of grape clusters space information

2.2.2 葡萄空间信息提取

通过上述步骤对左图像进行采摘点和果粒圆检测

后，得到这些点的在左图像中像点坐标。为求解这些点

的空间坐标，还需通过立体匹配计算出这些点在左右图

像中的视差。本研究采用具备线性光照不变的归一化互

相关测度^[22]进行立体匹配（如图 2e 所示），再依据三角

测量原理^[23]求得采摘点和果粒的实际空间坐标。在求得

采摘点和果粒的三维空间坐标后，基于作者前期研究中

构建的葡萄空间坐标系^[21]，如图 3a 所示，本文将葡萄防

碰包围体简化为一个圆柱容器，则可通过求解葡萄串高

度和最大直径来获得圆柱包围体。

葡萄串高度通过最上方果粒与最下方果粒的 Y 坐标

和半径值计算得到（见式（2））。葡萄串最大直径可通

过在XZ平面内计算全部被检测出的果粒到采摘点距离最

大值来求得（见式（3））。

H | y_up y_down| r  r

（2）

（3）

down

Φ  2Max(l_i)  2 x_i² z_i²

式中 H 和Φ分别为葡萄包围圆柱体的高度和直径；y_up和

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

采摘机器人视觉定位及行为控制的硬件在环虚拟试验系统设计

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页