推荐星级：

基于单目视觉的装配机器人研究及应用

更新时间：2019-12-29 21:22:57 大小：2M 上传用户：IC老兵查看TA发布的资源 标签：单目视觉装配机器人 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

针对传统工业机器人灵活性和环境适应能力差的缺点,对视觉机器人的关键技术进行了研究,提出了一套完整的识别定位抓取算法。首先,对于视觉机器人的目标识别跟踪问题,设计并实现了基于改进型Camshift的动态目标识别跟踪算法;其次,为了使机械臂精确抓取目标工件,采用单目视觉测距和视觉导航的原理对于目标工件的三维位置进行获取;最后,采用改进D-H参数法对机械臂进行运动建模,利用正逆运动学分析确定了机械臂控制方案。测试结果表明,识别算法识别成功率达到100%,定位算法测量坐标与实际坐标之间的相对误差小于5%,整体装配成功率达到96.7%,最终达到了基于单目视觉装配机器人研究的应用目标。

部分文件列表

文件名	大小
1577625770基于单目视觉的装配机器人研究及应用.pdf	2M

立即下载

【关注视频号领20积分】

部分页面预览

（完整内容请下载后查看）

第

卷

第

期

５

５２

西

安

交

通

大

学

学报

ꢀ

Ｖｏｌ．５２Ｎｏ．５

ꢀ

’

ＪＯＵＲＮＡＬＯＦＸＩＡＮＪＩＡＯＴＯＮＧＵＮＩＶＥＲＳＩＴＹ

ꢀ ꢀ

年

月

２０１８

５

Ｍａ２０１８

ｙ

ꢀ

：

／

ＤＯＩ１０．７６５２ｘｔｕｘｂ２０１８０５０１２

ｊ

基于单目视觉的装配机器人研究及应用

，，，

钟德星杨元刘瑞玲韩九强

（

，

）

西安

西安交通大学电子与信息工程学院

７１００４９

：，

摘要针对传统工业机器人灵活性和环境适应能力差的缺点对视觉机器人的关键技术进行了研

，。，，

究提出了一套完整的识别定位抓取算法首先对于视觉机器人的目标识别跟踪问题设计并实

；

，

的动态目标识别跟踪算法其次为了使机械臂精确抓取目标工件采用

Ｃａｍｓｈｉｆｔ

现了基于改进型

；，

单目视觉测距和视觉导航的原理对于目标工件的三维位置进行获取最后采用改进

参数法

ＤＨ

－

，。，

对机械臂进行运动建模利用正逆运动学分析确定了机械臂控制方案测试结果表明识别算法识

，

整体装配成功率达

别成功率达到

定位算法测量坐标与实际坐标之间的相对误差小于

１００％

５％

，

。

到

最终达到了基于单目视觉装配机器人研究的应用目标

９６．７％

：；；；；

关键词视觉机器人目标识别视觉测距动态抓取自主装配

：

Ａ

：

文章编号

０２５３９８７Ｘ２０１８０５００８１０７

ꢀ

（

）

中图分类号

文献标志码

ＴＰ２４２．６

ꢀ

－

ＳｔｕｄａｎｄＡｌｉｃａｔｉｏｎｏｆＭｏｎｏｃｕｌａｒＶｉｓｉｏｎＢａｓｅｄＡｓｓｅｍｂｌＲｏｂｏｔ

ꢀ ꢀ ꢀ ꢀ － ꢀ

ｙ

ꢀ

ｐｐ

ｙ

ꢀ

，

ｇ

，

ＺＨＯＮＧＤｅｘｉｎＹＡＮＧＹｕａｎＬＩＵＲｕｉｌｉｎＨＡＮＪｉｕｉａｎ

ｇｇ

ꢀ ｑ

ꢀ

（

，

’

，

’

，

）

ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｏｎｉｃｓａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｉｎｅｅｒｉｎＸｉａｎＪｉａｏｔｏｎＵｎｉｖｅｒｓｉｔＸｉａｎ７１００４９Ｃｈｉｎａ

ꢀ ꢀ ꢀ ｇ

ꢀ

ｇ

ꢀ

ｇ

ꢀ

ｙ

ꢀ

：

ＡｂｓｔｒａｃｔＴｈｅｆｌｅｘｉｂｉｌｉｔａｎｄａｄａｔａｂｉｌｉｔｏｆｔｒａｄｉｔｉｏｎａｌｒｏｂｏｔｓａｒｅｒｅｔｔｏｏｒ．Ｔｈｉｓａｅｒｆｏｃｕｓｅｓ

ｙ ꢀ

ꢀ ꢀｐｙｐ ꢀｐｐ ꢀ

ꢀ

ｙ

ꢀ

ｐ

ꢀ

，

ｏｎｔｈｅｋｅｔｅｃｈｎｉｕｅｓｏｆｖｉｓｕａｌｒｏｂｏｔｓａｎｄｕｔｓｆｏｒｗａｒｄａｃｏｍｌｅｔｅｓｅｔｏｆｒｅｃｏｎｉｔｉｏｎｌｏｃａｔｉｏｎ

ꢀ ｙ ꢀ ꢀ ꢀｐ ꢀꢀ ꢀ ꢀ ꢀ

ꢀ

ｑ

ꢀ

ｐ

ｇ

ꢀ

，

ａｎｄｒａｓｉｎａｌｏｒｉｔｈｍｓ．Ｔｏｓｏｌｖｅｔｈｅｒｏｂｌｅｍｏｆｔａｒｅｔｒｅｃｏｎｉｔｉｏｎａｎｄｔｒａｃｋｉｎａｎｉｍｒｏｖｅｄ

ꢀｇｐｇｇ ꢀｐ ꢀ ꢀ ｇ ꢀ ꢀ ｐ

ｇ

ꢀ

ｇ

ꢀ

ｍｅｔｈｏｄｏｆｄｎａｍｉｃｔａｒｅｔｒｅｃｏｎｉｔｉｏｎａｎｄｔｒａｃｋｉｎｂａｓｅｄｏｎＣａｍｓｈｉｆｔｉｓｄｅｓｉｎｅｄ．Ｉｎｏｒｄｅｒｔｏ

ｇ ꢀ

ꢀ ꢀｙ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ

ｇ

ꢀ

ｇ

，

ｉｍｒｏｖｅｔｈｅｓｕｃｃｅｓｓｒａｔｅｏｆｒａｂｂｉｎｔａｒｅｔｔｈｅｍｏｎｏｃｕｌａｒｖｉｓｕａｌｒａｎｉｎａｎｄｖｉｓｕａｌｎａｖｉａｔｉｏｎ

ꢀ ꢀｇ

ｇｇ

ｐ

ꢀ

ｇ

ꢀ

ｇ

ꢀ

ｇ

ꢀ

’

，

ｔｈｅｏｒａｒｅｕｓｅｄｔｏｍｅａｓｕｒｅｔｈｅｔａｒｅｔｃｅｎｔｅｒｓｓａｔｉａｌｏｓｉｔｉｏｎ．Ｔｈｅｎａｒｏｂｏｔａｒｍｍｏｄｅｌｉｓ

ｇ ꢀ

ꢀ ꢀ ꢀｐ ꢀｐ ꢀ

ｙ

ꢀ

ｅｓｔａｂｌｉｓｈｅｄｕｓｉｎｍｏｄｉｆｉｅｄＤＨａｒａｍｅｔｅｒｓ．Ｔｈｅｆｏｒｗａｒｄａｎｄｉｎｖｅｒｓｅｋｉｎｅｍａｔｉｃｓａｒｅｕｓｅｄｔｏｅｔ

ꢀ － ꢀｐ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀｇ

ꢀ

ｇ

ꢀ

ｔｈｅｃｏｎｔｒｏｌｓｃｈｅｍｅｏｆｍｅｃｈａｎｉｃａｌａｒｍ．Ｔｈｅｆｉｎａｌｔｅｓｔｓｈｏｗｓｔｈａｔｔｈｅｒｅｃｏｎｉｔｉｏｎｒａｔｅｏｆｔｈｅ

ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ

ꢀ

ｇ

ꢀ

，

ａｌｏｒｉｔｈｍｉｓ１００％ｔｈｅｒｅｌａｔｉｖｅｅｒｒｏｒｂｅｔｗｅｅｎｔｈｅｍｅａｓｕｒｅｄａｎｄａｃｔｕａｌｃｏｏｒｄｉｎａｔｅｓｉｓｌｅｓｓｔｈａｎ

ꢀ ꢀ ꢀ ꢀ

ｇ

ꢀ

，

５％ａｎｄｔｈｅｏｖｅｒａｌｌａｓｓｅｍｂｌｓｕｃｃｅｓｓｒａｔｅｉｓ９６．７％．Ｔｈｅｒｅｓｕｌｔｓｒｏｖｅｔｈａｔｔｈｅｒｅｓｅｎｔｋｅ

ꢀ ꢀ ꢀｐ ꢀｐ ꢀ ｙ

ꢀ

ｙ

ꢀ

ｔｅｃｈｎｉｕｅｓｏｆｖｉｓｕａｌｒｏｂｏｔｃａｎｓａｔｉｓｆｔｈｅａｌｉｃａｔｉｏｎｒｅｕｉｒｅｍｅｎｔｓ．

ꢀ ꢀ ꢀ ꢀ ꢀ ꢀｐｐ ꢀ ｑ

ｙ

ꢀ

ｑ

：

；

Ｋｅｗｏｒｄｓｖｉｓｕａｌｒｏｂｏｔｔａｒｅｔｒｅｃｏｎｉｔｉｏｎｖｉｓｕａｌｒａｎｉｎｄｎａｍｉｃｒａｓｉｎａｕｔｏｎｏｍｏｕｓ

ｇ ꢀ ｇｇｙ

ꢀｇｐｇ

；

ꢀ

ｇ

ꢀ

ｙ

ａｓｓｅｍｂｌ

ｙ

、、

机器人技术是一门涉及传感器控制理论机械

，、

的机器人相比视觉机器人在适应能力控制精度

、

ꢀꢀ

［］

１

。

，

年代计

。

鲁棒性等方面都更为出色美国

工程等多学科的应用技术

世纪

于

ＷｉｌｌｏｗＧａｒａｅ

ｇ

２０

８０

ꢀ

，

算机视觉技术首次应用到了机器人系统中与传统

，

机器人借助视觉传感器

年研发成功的

２０１３

ＰＲ２

：

。

：

作者简介钟德星

（

—），，

男副教授杨元通信作者男硕士生

１９８３

；

（

），，

。

：

基金项目国家自然科

ꢀ

收稿日期

２０１７０９２８

－－

ꢀ

（

）；

陕西省自然科学基金资助项目

（

）。

学基金青年基金资助项目

６１１０５０２１

２０１５ＪＱ６２５７

：

网络出版地址

ｈｔｔ

ｐ ∥

：／／／

网络出版时间

２０１８０３１４

－－ ꢀ

ｋｎｓ．ｃｎｋｉ．ｎｅｔｋｃｍｓｄｅｔａｉｌ６１．１０６９．Ｔ．２０１８０３１４．１５１６．０１２．ｈｔｍｌ

：

ｐ ∥

ｈｔｔ

ｚｋｘｂ．ｘｔｕ．ｅｄｕ．ｃｎ

ｊ

ꢀ

８２

西

安

交

通

大

学

报

第

卷

５２

ꢀ

，、

感知周围环境可完成清洁打扫自主充电等一系列

目标跟踪

１．２

ꢀ

［］

２

［］

７

。

，，

但是因为视觉机器人的技术难度较大所

动作

以未能在工业领域得到大规模应用

本文对视觉机器人的运动目标识别定位测距

算法对

Ｃａｍｓｈｉｆｔ

均值漂移算法

做

Ｍｅａｎｓｈｉｆｔ

。

，

了改进将

算法扩展到连续视频帧序列

Ｍｅａｎｓｈｉｆｔ

［］

８

。

、

，

中使更加适合视频流目标跟踪

而本文对

Ｃａｍ

－

。

抓取装配等技术进行了研究利用计算机视觉技术

，

算法做了进一步改进提高其目标跟踪的性

ｓｈｉｆｔ

，

对传送带上的工件进行自主识别定位对视觉机械

。：

算法的具体步骤如下

Ｃａｍｓｈｉｆｔ

能

，

臂的运动方式进行数学建模来分析其运动抓取方

（）

对初始框标定的待跟踪物体进行颜色空间

１

［］

３

。

案

本文以五自由度的机械臂

为实验对

，

转换转换到

，

分量图像继而进

Ｈ

空间并提取

ＡＬ５Ｄ

ＨＳＶ

，

象设计并组建了视觉机器人自主装配生产线的软

；

行反向投影得到反向投影图

。，

硬件系统通过相关测试采用本文所提工件识别

（）

根据反向投影图和输入框进行

２

Ｍｅａｎｓｈｉｆｔ

和抓取算法的单目视觉机器人工件装配系统可以稳

；

迭代

。

定高效地运行

（）

下一帧图像用上一帧的输出框进行迭代

３

。

ｄ

中的样

Ｒ

，

ｄ

在

迭代过程中

Ｍｅａｎｓｈｉｆｔ

维空间

基于特征的动态目标识别算法

１

ꢀ

本集中点的

ｘ

向量可定义为

Ｍｅａｎｓｈｉｆｔ

视觉机器人系统将视觉传感器获取的图像信息

１

（）

Ｍ_ｈｘ

≡

（

ｉ

）

ｘ

－

（）

２

ｘ

∑

ｘＳ

∈

［］

４

。

这为实现机器人

ｋ

，

作为反馈构成闭环控制系统

ｉ

ｈ

Ｔ

）（

２

（）｛：（

Ｓｘ

ｙｙ

）

ｘ

－

｝

（）

３

ｘ

－

ｈ

≤

、、

自主目标识别定位测距抓取装配奠定了基础

。

本

ｈ

ｙ

≡

：

式中为半径

ｈ

；

为高维球区域为

ｋ

个样本点

ｎ

Ｓ

文的研究对象是传送带上一整套工件的各个单个部

ｈ

。（

）

是

ｘ－ｘ

，

相对于的偏移

ｘ

中落入

的个数

，、、，

件其中包括底座内芯弹簧和顶盖本文将采用改

Ｓ_ｈ

ｘ

ｉ

［］

９

。

［］

５

（）

指向概率密度梯度方向

Ｍ_ｈｘ

。

进型

算法来对其进行检测和跟踪

Ｃａｍｓｈｉｆｔ

（）（）

可知无论

２３

，

、

ｘｘ

ｉ

，

间的距离多大在

由式

目标识别

１．１

ꢀ

（）

中所有样本点对均值偏移量的影响相差

Ｍ_ｈｘ

算法在跟踪开始前要先人为定位跟

Ｃａｍｓｈｉｆｔ

Ｓ

ｈ

，

不大距离越近的样本点应对

ｘ

（）

的影响越

Ｍ_ｈｘ

，。

踪目标并手动初始化搜索框为了实现全自动视

。

，

对此本文对于均值偏移量的计算公式做了如

大

，，

觉机器人装配先通过算法识别出目标然后对其进

下改进

。，

行跟踪为了识别目标工件本文提出了一种以目

ｎ

、、

ＲＧＢ

标的

三通道处理值和形状作为特征的目标

（

ｉ

）（）（

Ｇｘｘｗｘｘ

ｉ

）

ｘ

－

Ｈ

ｉ

∑

ｉ１

＝

。

识别算法

在实验过程中发现工件表面光线反射会导致在

（）

Ｍ_ｈｘ

（）

４

≡

ｎ

（

ｉ

）（）

Ｇｘｘｗｘ

－

ｉ

Ｈ

∑

ｉ１

＝

，

对应图像区域通道分量值变大这对红色目标的

Ｒ

／

１２

／

１２

－

ꢀ

（

ＧＨ

（

Ｇｘ

ｉ

）

ｘ

＝｜

（

ｘ

ｉ

））（）

ｘ５

－

Ｈ

－

｜

Ｈ

。

识别形成了很大的干扰针对这种情况本文所使用

：（）

为单位核函数

Ｇｘ

；

Ｈ

，

为正定矩阵即带宽矩

式中

，

的颜色特征采用通道之间求差的方法获得即

；（）

为非负的样本点权值

ｗｘ

ｉ

。

阵

ｄ_ｂ

ｇ

Ｇ

Ｒ

Ｂ

－

＝

烌

，

在实际应用过程中一般将

限定为一个对角

Ｈ

（）

１

ｄ

Ｇ

－

ｒ

ｇ

烍

，

阵故式

（）

可改写为

５

ｄ_ｂ

ｒ

Ｂ

－

烎

ｎ

：、、

ＲＧＢ

。

为彩色图像的三通道值采用以

ｄ_ｂ

、

式中

（（

）／）（）（

ｘｈｗｘｘ

ｉ

）

ｘ

－

ｇ

Ｇ_Ｈ

ｘ

－

ｉ

∑

ｉ１

＝

（）

Ｍ_ｈｘ

≡

、

，

为颜色特征的方案对于以红绿蓝为基色的

ｒ

ｄｄ_ｂ

ｒ

ｇ

ｎ

（（

）／）（）

Ｇｘｘｈｗｘ

ｉ

－

ｉ

，

目标可有效缓解由于光照不均所导致的颜色特征

∑

ｉ１

＝

。

差异不明显情况

，

确定了对目标颜色特征的提取方案后还要对

（）

６

（）

中

６

，

放到求和符外面可得

ｘ

将式

。

目标的形状特征进行判断由于目标工件都是圆

ｎ

（（）／）（）

－

ｉ

Ｇｘｘｈｗｘｘ

ｉ

∑

ｉ１

＝

，，

形且半径有所不同所以本文采用

ｉ

圆检测

Ｈｏｕｈ

ｇ

（）

Ｍ_ｈｘ

≡

（）

ｘ７

－

［］

６

。

ｎ

算法来进行目标的形状特征提取

根据颜色特征

（（

）／）（）

Ｇｘｘｈｗｘ

ｉ

－

ｉ

∑

ｉ１

＝

，

以及形状特征识别并标记图像中的目标区域而后

（）

等号右边第项记为

７

，

作出目标反向投影图并据此来跟踪目标的位置

。

将式

１

：

ｐ ∥

ｈｔｔ

ｚｋｘｂ．ｘｔｕ．ｅｄｕ．ｃｎ

ｊ

ꢀ

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

基于单目视觉的装配机器人研究及应用

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页