积分商城

最新搜索： LPC824 ad库文件 半桥 PID控制LABVIEW ICNM8001 Allegro
您现在的位置是：首页 > 技术资料 > 基于体感交互的仿上肢采摘机器人系统设计与仿真
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于体感交互的仿上肢采摘机器人系统设计与仿真

更新时间：2020-01-03 14:43:59 大小：1M 上传用户：zhiyao6查看TA发布的资源 标签：体感交互采摘机器人 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

为提高农业自动化程度,保持农业机械化水平,提高农业生产效率,该文设计了一种基于仿生学,能够实时模仿人类上肢采摘行为的果实采摘机器人系统。该文首先分析了当操作者的采摘动作发生时,系统利用深度相机Kinect采集人体关节骨架信息,通过空间向量计算,计算出关节的位置偏移量和骨骼转动角度等信息,利用这些特征构建人体三维骨架模型;其次分析了人体上肢的生理学结构和自由度,依据仿生学的特点建立了人体上肢五自由度运动学模型。系统将识别到的动作指令发送到动作执行模块,带动机械臂的转动。最后,为了验证模型的有效性,进行了机器人动作模仿仿真试验,统计了系统对动作的识别率。分析结果表明,系统对采摘动作的平均识别率为90%以上,从而验证了原理设计的有效性。该系统设计可为五自由度机械臂模型的开发和控制提供参考。


部分文件列表

文件名 大小
基于体感交互的仿上肢采摘机器人系统设计与仿真.pdf 1M

部分页面预览

（完整内容请下载后查看）
第33 卷 增刊1  
2017 年 2 月  
农 业 工 程 学 报  
Vol.33 Supp.1  
Feb. 2017  
Transactions of the Chinese Society of Agricultural Engineering  
49  
基于体感交互的仿上肢采摘机器人系统设计与仿真  
许常蕾，王 庆※，陈 洪，梅树立，杜利强  
（中国农业大学信息与电气工程学院，北京 100083）  
摘 要：为提高农业自动化程度，保持农业机械化水平，提高农业生产效率，该文设计了一种基于仿生学，能够实时模  
仿人类上肢采摘行为的果实采摘机器人系统。该文首先分析了当操作者的采摘动作发生时，系统利用深度相机Kinect 采  
集人体关节骨架信息，通过空间向量计算，计算出关节的位置偏移量和骨骼转动角度等信息，利用这些特征构建人体三  
维骨架模型；其次分析了人体上肢的生理学结构和自由度，依据仿生学的特点建立了人体上肢五自由度运动学模型。系  
统将识别到的动作指令发送到动作执行模块，带动机械臂的转动。最后，为了验证模型的有效性，进行了机器人动作模  
仿仿真试验，统计了系统对动作的识别率。分析结果表明，系统对采摘动作的平均识别率为 90%以上，从而验证了原理  
设计的有效性。该系统设计可为五自由度机械臂模型的开发和控制提供参考。  
关键词：机器人；交互；模型；运动获取；动作翻译；骨架模型；机械臂；体感交互  
doi：10.11975/j.issn.1002-6819.2017.z1.008  
中图分类号：TP242  
许常蕾，王 庆，陈 洪，梅树立，杜利强. 基于体感交互的仿上肢采摘机器人系统设计与仿真[J]. 农业工程学报，2017，  
33(增刊1)：49-55. doi：10.11975/j.issn.1002-
文献标志码：A  
文章编号：1002-6819(2017)-Supp.1-0049-07  
Xu Changlei, Wang Qing, Chen Hong, Mei Shuli, Du Liqiang. Design and simulation of artificial limb picking robot based on  
somatosensory interaction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017,  
33(Supp.1): 49ꢀ55. (in Chinese with English abstract)  
doi：10.11975/j.issn.1002-6819.2017.z1.008  
肩、肘和腕 4 个关节的转动角度，进而将计算得到的结  
果转换成控制指令，通过串口发送给机械臂的控制手抓，  
从而实现体感交互。  
0 引 言  
人体姿态感知技术，近年来在电子游戏、医疗康复、  
运动训练[1]、教育教学[2]、智能家居[3]、艺术展示[4]等领  
域得到了广泛的应用。体感技术同样在机器人领域有着  
较为广阔的应用前景，例如，陈敬德等[5]用Kinect 传感器  
采集人体动作骨架信息，利用主机通过图像处理算法对  
人体动作进行解析分类，通过无线传输向从动机器人发  
送指令，完成机器人对人体动作进行模仿。罗瑞琨等[6]  
开发了一种基于 Kinect 的主动轮式伴舞机器人，运用人  
腿识别定位算法，实现对人腿的实时定位于识别，使人  
可以与机器人共同舞蹈。陈盛军[7]利用Kinect 骨骼追踪的  
功能，设计了 5 自由度操作臂双手爪攀爬机器人的运动  
控制系统。Pollard 等[8]利用动作捕捉系统捕捉人体动作，  
研究了仿人机器人上肢舞蹈动作的动力学仿真。黄祖良  
等[9]设计了一种无需穿戴传感器的人体手臂动作同步机  
器人，能够完成人体动作同步机器人在未经过培训的操  
作者的指挥下，从不同初始位置完成肢体动作发出的指  
令。林海波等[10]同样利用 Kinect 获取图像景深数据，并  
通过骨骼追踪技术处理，匹配到人体各部分后，建立人  
体各个关节的3D 坐标，利用3D 坐标值计算得到人体腰、  
国内外对仿上肢采摘机器人也有相关研究和成果，  
日本的 Subrata[11]等在 1997 年研制的樱桃采摘机器人在  
机械手末端安装了激光范围传感器，摄像机的作用定位  
苹果的位置，直流电机夹持果梗，而步进电机驱动机械  
臂的腕部扭断果梗，达到采摘的目的。日本 Kondo 等[12]  
研制的西红柿采摘机器人采用四轮的移动平台和一个 7  
自由度的仿上肢关节型机械臂，同样采用彩色摄像机作  
为视觉传感器识别定位成熟的西红柿果实，利用关节型  
机械臂各关节的相互协作进行果树采摘。Baeten 等[13]研  
制的苹果采摘机器人则采用工业仿上肢机器人的六自由  
度机械臂进行果实采摘。  
机器人技术在农业领域[14-15]同样有着重要的研究意  
义，尤其是人-机器人协作领域[16]，利用机器人进行农业  
生产，可以帮助农民规避一些由于农业生产中的危险而  
造成的人身伤害，例如，在有些农业生产作业中，农民  
需要爬到高高的果树上进行水果的采摘，不仅效率低下，  
而且具有攀爬危险[17]。现有的大多数机械臂机器人需要  
人们穿戴很多传感器，传感器种类各不相同，造价也因  
精度和工艺的不同而各异，大大提高了使用成本。本文  
利用深度相机 Kinect 采集人体关节骨架信息，并通过向  
量计算获取关键关节的位置信息、角度信息和速度等信  
息；将获取的人体骨骼信息翻译成机器人机械臂指令，  
并将指令传输给机器人机械臂，机器人机械臂实现对人  
体动作的实时模仿，从而同步模仿人类做出的采摘动作。  
收稿日期：2016-11-14  
修订日期：2017-01-13  
基金项目：国家科技支撑计划项目（2015BAH28F00）；北京市自然科学基  
金资助项目（4172034）  
作者简介：许常蕾，女（汉族），山东人，研究方向为模式识别与人工智能。  
北京 中国农业大学信息与电气工程学院，100083。Email：
※通信作者：王 庆，吉林人，副教授，博士，研究方向为虚拟现实技术应  
用。北京 中国农业大学信息与电气工程学院，100083。  
Email：
农业工程学报（）  
2017 年  
50  
方法可以将摄相机空间中的点转换到深度空间。  
1 机器人系统构建  
2）关节空间位置信息  
该系统主要由3 大模块构成，分别为动作采集模块，  
指令翻译模块和指令执行模块，如图1 所示。  
Kinect v2 可视范围内可获取人体25 个关节点的位置  
信息，并以30 帧/s 的频率刷新。通过微软提供的Kinect for  
Windows SDK 中的BodyFrameSource，BodyFrameReader，  
BodyFrameReference，BodyFrame 和Body 类来获取基本  
骨架数据信息。  
3）骨骼空间角度信息  
以人体上肢为例，当人的右手臂做出一个动作，系  
统可通过 Kinect 获取在相机空间坐标系当中腕关节、肘  
关节和肩关节的坐标，并计算出肘腕向量和肩肘向量；  
依据肘腕向量和肩肘向量的信息，获取肘腕向量和肩肘  
向量的夹角关系。同理上肢及手臂的其他所有向量及位  
置数据可由此获取。  
在人体骨骼系统中，每2 个关节点可确定一根骨骼，  
在3D 空间坐标系中表现为一个有长度和方向的向量，如  
图 2 所示。骨骼空间角度通过空间向量间的余弦公式计  
算求得。2 个向量可确定一个平面，暂且跳出相机空间坐  
标系，在 2 个骨骼向量所决定的平面上来对角度进行描  
述，图2 为两段骨架向量的夹角计算示意图。  
图 1 系统模块  
Fig.1 System modules  
1）动作采集模块使用深度相机Kinect 采集人体骨架  
的三维信息，获取的骨骼数据存储在计算机中，计算机  
经过运算，计算出人体骨架位置信息、角度信息以及速  
度信息，计算机械臂上肢动作的动力学模型参数，生成  
人体动作模型 。  
→
→
注：点 O、A、B 分别表示 3 个不同的关节点；向量a 和向量b 分别表示 3  
点所决定的2 个骨架向量；α 为向量夹角，(°)；(xA, yA, zA)、(xO, yO, zO)、(xC,  
yC, zC)分别为A、O、B 的坐标值。  
2）指令翻译模块根据动作采集模块提取到人体姿态  
特征，与预定义的动作模型库进行模板匹配，匹配出的  
动作作为指令传输到指令执行模块。  
→
→
Note: Point O, A and B represent 3 different joint points; Vector a and vector b  
are two skeletal vectors determined by 3 points; α is the vector angle, (°); (xA, yA,  
zA), (xO, yO, zO) and (xC, yC, zC) are coordinates values of points A, O and B  
respectively.  
3）指令执行模块接受指令翻译模块下发的指令信  
息，并按要求的速度将机械臂摆正到指令所要求的位置，  
完成一次人体上肢动作的模仿，完成果实采摘。  
图 2 两段骨架向量的夹角  
Fig.2 Angle between 2 skeleton vectors  
2 人体骨架三维模型设计  
图2 中O、A、B 3 点分别表示3 个不同的关节点，  
→
→
可使用Kinect for windows SDK 中的Body Basics 可  
获取骨骼节点的三维信息，骨架三维数据包括关节位置  
信息，角度信息以及速度等信息。  
其中 O 点表示 2 段骨骼的连接关节点，向量a 和向量b  
分别表示3 点所决定的2 个骨架向量。计算公式如（1）  
所示。  
→
→
2.1 人体骨架三维信息的获取  
a = (xA - xO , yA - yO ,zA - zO )  
1）Kinect 坐标系  
b = (xB - xO , yB - yO ,zB - zO )  
（1）  
→
→
根据微软 MSDN 提供的资料，Kinect 坐标系分为 3  
种，分别为彩色空间坐标系（ColorSpace）、深度空间坐  
标系（DepthSpace）和相机空间坐标系（CameraSpace）。  
其中，不同的摄像头在产生彩色或深度图像时，会使物  
体在不同的坐标系中产生位置的偏移，可以通过 Kinect  
for Windows SDK 2.0 所提供的 API （application  
programming interface）中 CoordinateMapper Class 中对应  
的方法来进行坐标转换，如 MapCameraPointToDepthSpace  
a ·b  
α = cos-1  
→
→
a b  
式中(xA, yA, zA)、(xO, yO, zO)、(xB, yB, zB)分别为A、O、B 的坐  
→
→
标；α 为向量a 和向量b 的夹角，(°)；只要获得3 个关节点  
的空间位置信息，便可以求得2 段骨架向量的夹角。  
4）关节速度信息  
相对速度的描述指的是身体的某一部分在移动时相  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

资料专题

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号