推荐星级：
- 1
- 2
- 3
- 4
- 5
基于单目视觉的装配机器人研究及应用
资料介绍
针对传统工业机器人灵活性和环境适应能力差的缺点,对视觉机器人的关键技术进行了研究,提出了一套完整的识别定位抓取算法。首先,对于视觉机器人的目标识别跟踪问题,设计并实现了基于改进型Camshift的动态目标识别跟踪算法;其次,为了使机械臂精确抓取目标工件,采用单目视觉测距和视觉导航的原理对于目标工件的三维位置进行获取;最后,采用改进D-H参数法对机械臂进行运动建模,利用正逆运动学分析确定了机械臂控制方案。测试结果表明,识别算法识别成功率达到100%,定位算法测量坐标与实际坐标之间的相对误差小于5%,整体装配成功率达到96.7%,最终达到了基于单目视觉装配机器人研究的应用目标。
部分文件列表
| 文件名 | 大小 |
| 1577625770基于单目视觉的装配机器人研究及应用.pdf | 2M |
部分页面预览
（完整内容请下载后查看）第
卷
第
期
５
５２
西
安
交
通
大
学
学 报
ꢀ
Ｖｏｌ．５２ Ｎｏ．５
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
’
ＪＯＵＲＮＡＬＯＦＸＩＡＮＪＩＡＯＴＯＮＧ ＵＮＩＶＥＲＳＩＴＹ
ꢀ ꢀ
年
月
２０１８
５
Ｍａ ２０１８
ｙ
ꢀ
ꢀ
ꢀ
：
／
ＤＯＩ １０．７６５２ｘｔｕｘｂ２０１８０５０１２
ｊ
基于单目视觉的装配机器人研究及应用
， ， ，
钟德星 杨元 刘瑞玲 韩九强
（
，
，
）
西安
西安交通大学电子与信息工程学院
７１００４９
： ，
摘要 针对传统工业机器人灵活性和环境适应能力差的缺点 对视觉机器人的关键技术进行了研
， 。 ， ，
究 提出了一套完整的识别定位抓取算法 首先 对于视觉机器人的目标识别跟踪问题 设计并实
；
，
，
的动态目标识别跟踪算法 其次 为了使机械臂精确抓取目标工件 采用
Ｃａｍｓｈｉｆｔ
现了基于改进型
； ，
单目视觉测距和视觉导航的原理对于目标工件的三维位置进行获取 最后 采用改进
参数法
Ｄ Ｈ
－
， 。 ，
对机械臂进行运动建模 利用正逆运动学分析确定了机械臂控制方案 测试结果表明 识别算法识
，
，
整体装配成功率达
别成功率达到
定位算法测量坐标与实际坐标之间的相对误差小于
１００％
５％
，
。
到
最终达到了基于单目视觉装配机器人研究的应用目标
９６．７％
： ； ； ； ；
关键词 视觉机器人 目标识别 视觉测距 动态抓取 自主装配
：
：
Ａ
：
文章编号
０２５３９８７Ｘ２０１８０５００８１０７
ꢀ
（
）
中图分类号
文献标志码
ＴＰ２４２．６
ꢀ
－
－
－
Ｓｔｕｄ ａｎｄＡ ｌｉｃａｔｉｏｎｏｆＭｏｎｏｃｕｌａｒＶｉｓｉｏｎＢａｓｅｄＡｓｓｅｍｂｌ Ｒｏｂｏｔ
ꢀ ꢀ ꢀ ꢀ － ꢀ
ｙ
ꢀ
ｐｐ
ｙ
ꢀ
，
ｇ
，
，
ＺＨＯＮＧＤｅｘｉｎ ＹＡＮＧ Ｙｕａｎ ＬＩＵ Ｒｕｉｌｉｎ ＨＡＮＪｉｕｉａｎ
ｇ ｇ
ꢀ ｑ
ꢀ
ꢀ
ꢀ
（
，
’
，
’
，
）
ＳｃｈｏｏｌｏｆＥｌｅｃｔｒｏｎｉｃｓａｎｄＩｎｆｏｒｍａｔｉｏｎＥｎｉｎｅｅｒｉｎ ＸｉａｎＪｉａｏｔｏｎ Ｕｎｉｖｅｒｓｉｔ Ｘｉａｎ７１００４９ Ｃｈｉｎａ
ꢀ ꢀ ꢀ ｇ
ꢀ
ꢀ
ｇ
ꢀ
ｇ
ꢀ
ｙ
ꢀ
：
Ａｂｓｔｒａｃｔ Ｔｈｅｆｌｅｘｉｂｉｌｉｔ ａｎｄａｄａｔａｂｉｌｉｔ ｏｆｔｒａｄｉｔｉｏｎａｌｒｏｂｏｔｓａｒｅ ｒｅｔｔ ｏｏｒ．Ｔｈｉｓ ａｅｒｆｏｃｕｓｅｓ
ｙ ꢀ
ꢀ ꢀｐ ｙｐ ꢀｐｐ ꢀ
ꢀ
ｙ
ꢀ
ꢀ
ｐ
ꢀ
ꢀ
ꢀ
，
ｏｎｔｈｅｋｅ ｔｅｃｈｎｉｕｅｓｏｆｖｉｓｕａｌｒｏｂｏｔｓａｎｄ ｕｔｓｆｏｒｗａｒｄａｃｏｍ ｌｅｔｅｓｅｔｏｆｒｅｃｏｎｉｔｉｏｎ ｌｏｃａｔｉｏｎ
ꢀ ｙ ꢀ ꢀ ꢀｐ ꢀꢀ ꢀ ꢀ ꢀ
ꢀ
ｑ
ꢀ
ꢀ
ꢀ
ｐ
ｇ
ꢀ
，
ａｎｄ ｒａｓｉｎ ａｌｏｒｉｔｈｍｓ．Ｔｏｓｏｌｖｅｔｈｅ ｒｏｂｌｅｍｏｆｔａｒｅｔｒｅｃｏｎｉｔｉｏｎａｎｄｔｒａｃｋｉｎ ａｎｉｍ ｒｏｖｅｄ
ꢀｇ ｐ ｇ ｇ ꢀｐ ꢀ ꢀ ｇ ꢀ ꢀ ｐ
ｇ
ꢀ
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ｍｅｔｈｏｄｏｆｄｎａｍｉｃｔａｒｅｔｒｅｃｏｎｉｔｉｏｎａｎｄｔｒａｃｋｉｎ ｂａｓｅｄｏｎＣａｍｓｈｉｆｔｉｓｄｅｓｉｎｅｄ．Ｉｎｏｒｄｅｒｔｏ
ｇ ꢀ
ꢀ ꢀｙ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ
ｇ
ｇ
ꢀ
ｇ
，
ｉｍ ｒｏｖｅｔｈｅｓｕｃｃｅｓｓｒａｔｅｏｆ ｒａｂｂｉｎ ｔａｒｅｔ ｔｈｅｍｏｎｏｃｕｌａｒｖｉｓｕａｌｒａｎｉｎ ａｎｄｖｉｓｕａｌｎａｖｉａｔｉｏｎ
ꢀ ꢀｇ
ｇ ｇ
ｐ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
’
，
ｔｈｅｏｒ ａｒｅｕｓｅｄｔｏ ｍｅａｓｕｒｅｔｈｅｔａｒｅｔｃｅｎｔｅｒ ｓｓａｔｉａｌ ｏｓｉｔｉｏｎ．Ｔｈｅｎ ａｒｏｂｏｔａｒｍ ｍｏｄｅｌｉｓ
ｇ ꢀ
ꢀ ꢀ ꢀｐ ꢀｐ ꢀ
ｙ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｅｓｔａｂｌｉｓｈｅｄｕｓｉｎ ｍｏｄｉｆｉｅｄＤ Ｈ ａｒａｍｅｔｅｒｓ．Ｔｈｅｆｏｒｗａｒｄａｎｄｉｎｖｅｒｓｅｋｉｎｅｍａｔｉｃｓａｒｅｕｓｅｄｔｏ ｅｔ
ꢀ － ꢀｐ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀｇ
ꢀ
ｇ
ꢀ
ꢀ
ｔｈｅｃｏｎｔｒｏｌｓｃｈｅｍｅｏｆ ｍｅｃｈａｎｉｃａｌａｒｍ．Ｔｈｅｆｉｎａｌｔｅｓｔｓｈｏｗｓｔｈａｔｔｈｅｒｅｃｏｎｉｔｉｏｎｒａｔｅｏｆｔｈｅ
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
，
ａｌｏｒｉｔｈｍｉｓ１００％ ｔｈｅｒｅｌａｔｉｖｅｅｒｒｏｒｂｅｔｗｅｅｎｔｈｅｍｅａｓｕｒｅｄａｎｄａｃｔｕａｌｃｏｏｒｄｉｎａｔｅｓｉｓｌｅｓｓｔｈａｎ
ꢀ ꢀ ꢀ ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
，
５％ ａｎｄｔｈｅｏｖｅｒａｌｌａｓｓｅｍｂｌ ｓｕｃｃｅｓｓｒａｔｅｉｓ９６．７％．Ｔｈｅｒｅｓｕｌｔｓ ｒｏｖｅｔｈａｔｔｈｅ ｒｅｓｅｎｔｋｅ
ꢀ ꢀ ꢀｐ ꢀｐ ꢀ ｙ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｔｅｃｈｎｉｕｅｓｏｆｖｉｓｕａｌｒｏｂｏｔｃａｎｓａｔｉｓｆ ｔｈｅａ ｌｉｃａｔｉｏｎｒｅｕｉｒｅｍｅｎｔｓ．
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀｐｐ ꢀ ｑ
ｙ
ꢀ
ｑ
：
；
；
；
Ｋｅｗｏｒｄｓ ｖｉｓｕａｌｒｏｂｏｔ ｔａｒｅｔｒｅｃｏｎｉｔｉｏｎ ｖｉｓｕａｌｒａｎｉｎ ｄｎａｍｉｃ ｒａｓｉｎ ａｕｔｏｎｏｍｏｕｓ
ｇ ꢀ ｇ ｇ ｙ
ꢀｇ ｐ ｇ
；
ꢀ
ｇ
ꢀ
ｙ
ａｓｓｅｍｂｌ
ｙ
、 、
机器人技术是一门涉及传感器 控制理论 机械
， 、
的机器人相比 视觉机器人在适应能力 控制精度
、
ꢀꢀ
［］
１
。
，
年代 计
。
鲁棒性等方面都更为出色 美国
工程等多学科的应用技术
世纪
于
Ｗｉｌｌｏｗ Ｇａｒａｅ
ｇ
２０
８０
ꢀ
，
算机视觉技术首次应用到了机器人系统中 与传统
，
机 器 人 借 助 视觉 传 感器
年研发成 功 的
２０１３
ＰＲ２
：
。
：
作者简介 钟德星
（
—）， ，
男 副教授 杨元 通信作者 男 硕士生
１９８３
；
（
）， ，
。
：
基金项目 国家自然科
ꢀ
收稿日期
２０１７０９２８
－ －
ꢀ
（
）；
陕西省自然科学基金资助项目
（
）。
学基金青年基金资助项目
６１１０５０２１
２０１５ＪＱ６２５７
：
：
网络出版地址
ｈｔｔ
ｐ ∥
： ／ ／ ／
网络出版时间
２０１８０３１４
－ － ꢀ
ｋｎｓ．ｃｎｋｉ．ｎｅｔｋｃｍｓｄｅｔａｉｌ６１ ．１０６９ ．Ｔ ．２０１８０３１４ ．１５１６ ．０１２ ．ｈｔｍｌ
：
ｐ ∥
ｈｔｔ
ｚｋｘｂ．ｘｔｕ．ｅｄｕ．ｃｎ
ｊ
ꢀ
ꢀ
８２
西
安
交
通
大
学
学
报
第
卷
５２
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
， 、
感知周围环境 可完成清洁打扫 自主充电等一系列
目标跟踪
１．２
ꢀ
［］
２
［］
７
。
， ，
但是 因为视觉机器人的技术难度较大 所
动作
以未能在工业领域得到大规模应用
本文对视觉机器人的运动目标识别 定位测距
算法对
Ｃａｍｓｈｉｆｔ
均值漂移算法
做
Ｍｅａｎｓｈｉｆｔ
。
，
了改进 将
算法扩展到连续视频帧序列
Ｍｅａｎｓｈｉｆｔ
［］
８
。
、
、
，
中 使更加适合视频流目标跟踪
而本文对
Ｃａｍ
－
。
抓取装配等技术进行了研究 利用计算机视觉技术
，
算 法 做 了 进 一 步 改 进 提 高 其 目 标 跟 踪 的 性
ｓｈｉｆｔ
，
对传送带上的工件进行自主识别定位 对视觉机械
。 ：
算法的具体步骤如下
Ｃａｍｓｈｉｆｔ
能
，
臂的运动方式进行数学建模 来分析其运动抓取方
（）
对初始框标定的待跟踪物体进行颜色空间
１
［］
３
。
案
本文以 五 自 由 度 的 机 械 臂
为 实 验 对
，
转换 转换到
，
分量图像 继而进
Ｈ
空间并提取
ＡＬ５Ｄ
ＨＳＶ
，
象 设计并组建了视觉机器人自主装配生产线的软
；
行反向投影得到反向投影图
。 ，
硬件系统 通过相关测试 采用本文所提工件识别
（）
根据 反向 投影图 和 输 入 框 进 行
２
Ｍｅａｎｓｈｉｆｔ
和抓取算法的单目视觉机器人工件装配系统可以稳
；
迭代
。
定高效地运行
（）
下一帧图像用上一帧的输出框进行迭代
３
。
ｄ
中的样
Ｒ
，
ｄ
在
迭代过程中
Ｍｅａｎｓｈｉｆｔ
维空间
基于特征的动态目标识别算法
１
ꢀ
本集中 点的
ｘ
向量可定义为
Ｍｅａｎｓｈｉｆｔ
视觉机器人系统将视觉传感器获取的图像信息
１
（ ）
Ｍｈ ｘ
≡
（
ｉ
）
ｘ
－
（）
２
ｘ
∑
ｘ Ｓ
∈
［］
４
。
这为实现机器人
ｋ
，
作为反馈 构成闭环控制系统
ｉ
ｈ
Ｔ
）（
２
（ ） ｛ ：（
Ｓ ｘ
ｙ ｙ
）
ｘ
－
｝
（）
３
ｘ
－
ｈ
≤
、 、
自主目标识别 定位测距 抓取装配奠定了基础
。
本
ｈ
ｙ
≡
：
式中 为半径
ｈ
；
；
为高维球区域 为
ｋ
个样本点
ｎ
Ｓ
文的研究对象是传送带上一整套工件的各个单个部
ｈ
。（
）
是
ｘ －ｘ
，
相对于 的偏移
ｘ
中落入
的个数
， 、 、 ，
件 其中包括底座 内芯 弹簧和顶盖 本文将采用改
Ｓｈ
ｘ
ｉ
ｉ
［］
９
。
［］
５
（ ）
指向概率密度梯度方向
Ｍｈ ｘ
。
进型
算法来对其进行检测和跟踪
Ｃａｍｓｈｉｆｔ
（）（）
可知 无论
２ ３
，
、
ｘ ｘ
ｉ
，
间的距离多大 在
由式
目标识别
１．１
ꢀ
（ ）
中所有样本点对均值偏移量 的影响相差
Ｍｈ ｘ
算法在跟踪 开始 前 要 先 人 为 定 位 跟
Ｃａｍｓｈｉｆｔ
Ｓ
ｈ
，
不大 距离 越 近 的 样 本 点 应 对
ｘ
（ ）
的 影 响 越
Ｍｈ ｘ
， 。
踪目标 并手动初始化搜索框 为了实现全自动视
。
，
对此 本文对于均值偏移量的计算公式做了如
大
， ，
觉机器人装配 先通过算法识别出目标 然后对其进
下改进
。 ，
行跟踪 为了识别目标工件 本文提出了一种以目
ｎ
、 、
Ｒ Ｇ Ｂ
标的
三通道处理值和形状作为特征的目标
（
ｉ
） （ ）（
Ｇ ｘ ｘ ｗ ｘ ｘ
ｉ
）
ｘ
－
－
Ｈ
ｉ
∑
ｉ １
＝
。
识别算法
在实验过程中发现工件表面光线反射会导致在
（ ）
Ｍｈ ｘ
（）
４
≡
ｎ
（
ｉ
） （ ）
Ｇ ｘ ｘ ｗ ｘ
－
ｉ
Ｈ
∑
ｉ １
＝
，
对应图像区域 通道分量值变大 这对红色目标的
Ｒ
／
１２
／
１２
－
－
ꢀ
（
Ｇ Ｈ
（
Ｇ ｘ
ｉ
）
ｘ
＝｜
（
ｘ
ｉ
）） （）
ｘ ５
－
Ｈ
－
｜
Ｈ
。
识别形成了很大的干扰 针对这种情况本文所使用
： （ ）
为单位核函数
Ｇ ｘ
；
Ｈ
，
为正定矩阵 即带宽矩
式中
，
的颜色特征采用通道之间求差的方法获得 即
； （ ）
为非负的样本点权值
ｗ ｘ
ｉ
。
阵
ｄｂ
ｇ
Ｇ
Ｒ
Ｒ
Ｂ
－
＝
＝
＝
烌
，
在实际应用过程中 一般将
限定为一个对角
Ｈ
（）
１
ｄ
Ｇ
－
ｒ
ｇ
烍
，
阵 故式
（）
可改写为
５
ｄｂ
ｒ
Ｂ
－
烎
ｎ
： 、 、
Ｒ Ｇ Ｂ
。
为彩色图像的三通道值 采用以
ｄｂ
、
式中
（（
）／ ） （ ）（
ｘ ｈ ｗ ｘ ｘ
ｉ
）
ｘ
－
ｇ
ＧＨ
ｘ
－
ｉ
ｉ
∑
ｉ １
＝
（ ）
Ｍｈ ｘ
≡
、
，
为颜色特征的方案 对于以红绿蓝为基色的
ｒ
ｄ ｄｂ
ｒ
ｇ
ｎ
（（
）／ ） （ ）
Ｇ ｘ ｘ ｈ ｗ ｘ
ｉ
－
ｉ
，
目标 可有效缓解由于光照不均所导致的颜色特征
∑
ｉ １
＝
。
差异不明显情况
，
确定了对目标颜色特征的提取方案后 还要对
（）
６
（）
中
６
，
放到求和符外面 可得
ｘ
将式
。
目标的形状特征进行 判断 由于目 标 工件都是 圆
ｎ
（（ ）／ ） （ ）
－
ｉ
Ｇ ｘ ｘ ｈ ｗ ｘ ｘ
ｉ
∑
ｉ １
＝
， ，
形 且半径有所不同 所以本文采用
ｉ
圆检测
Ｈｏｕｈ
ｇ
（ ）
Ｍｈ ｘ
≡
（）
ｘ ７
－
［］
６
。
ｎ
算法来进行目标的形状特征提取
根据颜色特征
（（
）／ ） （ ）
Ｇ ｘ ｘ ｈ ｗ ｘ
ｉ
－
ｉ
∑
ｉ １
＝
，
以及形状特征识别并标记图像中的目标区域 而后
（）
等号右边第 项记为
７
，
作出目标反向投影图 并据此来跟踪目标的位置
。
将式
１
：
ｐ ∥
ｈｔｔ
ｚｋｘｂ．ｘｔｕ．ｅｄｕ．ｃｎ
ｊ
ꢀ
ꢀ
更多>>
最新上传
- 打赏
- 30日榜单
-
21ic小能手 打赏20.00元 41分钟前
-
21ic小能手 打赏20.00元 42分钟前
-
21ic小能手 打赏20.00元 42分钟前
-
21ic小能手 打赏10.00元 1天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏15.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏15.00元 3天前
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
wubaojun1982 打赏1.00元 3天前
资料：ADS1241驱动代码
-
21ic小能手 打赏10.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic小能手 打赏5.00元 3天前
-
21ic下载 打赏320.00元 3天前
用户：liqiang9090
-
21ic下载 打赏260.00元 3天前
用户：gsy幸运
全部评论(0)