您现在的位置是：首页 > 技术资料 > 基于体感交互的仿上肢采摘机器人系统设计与仿真

推荐星级：

基于体感交互的仿上肢采摘机器人系统设计与仿真

更新时间：2020-01-03 14:43:59 大小：1M 上传用户：zhiyao6 查看TA发布的资源 标签：体感交互采摘机器人 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

为提高农业自动化程度,保持农业机械化水平,提高农业生产效率,该文设计了一种基于仿生学,能够实时模仿人类上肢采摘行为的果实采摘机器人系统。该文首先分析了当操作者的采摘动作发生时,系统利用深度相机Kinect采集人体关节骨架信息,通过空间向量计算,计算出关节的位置偏移量和骨骼转动角度等信息,利用这些特征构建人体三维骨架模型;其次分析了人体上肢的生理学结构和自由度,依据仿生学的特点建立了人体上肢五自由度运动学模型。系统将识别到的动作指令发送到动作执行模块,带动机械臂的转动。最后,为了验证模型的有效性,进行了机器人动作模仿仿真试验,统计了系统对动作的识别率。分析结果表明,系统对采摘动作的平均识别率为90%以上,从而验证了原理设计的有效性。该系统设计可为五自由度机械臂模型的开发和控制提供参考。

部分文件列表

文件名	大小
基于体感交互的仿上肢采摘机器人系统设计与仿真.pdf	1M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第33 卷增刊1

2017 年 2 月

农业工程学报

Vol.33 Supp.1

Feb. 2017

Transactions of the Chinese Society of Agricultural Engineering

基于体感交互的仿上肢采摘机器人系统设计与仿真

许常蕾，王庆^※，陈洪，梅树立，杜利强

（中国农业大学信息与电气工程学院，北京 100083）

摘要：为提高农业自动化程度，保持农业机械化水平，提高农业生产效率，该文设计了一种基于仿生学，能够实时模

仿人类上肢采摘行为的果实采摘机器人系统。该文首先分析了当操作者的采摘动作发生时，系统利用深度相机Kinect 采

集人体关节骨架信息，通过空间向量计算，计算出关节的位置偏移量和骨骼转动角度等信息，利用这些特征构建人体三

维骨架模型；其次分析了人体上肢的生理学结构和自由度，依据仿生学的特点建立了人体上肢五自由度运动学模型。系

统将识别到的动作指令发送到动作执行模块，带动机械臂的转动。最后，为了验证模型的有效性，进行了机器人动作模

仿仿真试验，统计了系统对动作的识别率。分析结果表明，系统对采摘动作的平均识别率为 90%以上，从而验证了原理

设计的有效性。该系统设计可为五自由度机械臂模型的开发和控制提供参考。

关键词：机器人；交互；模型；运动获取；动作翻译；骨架模型；机械臂；体感交互

doi：10.11975/j.issn.1002-6819.2017.z1.008

中图分类号：TP242

许常蕾，王庆，陈洪，梅树立，杜利强. 基于体感交互的仿上肢采摘机器人系统设计与仿真[J]. 农业工程学报，2017，

33(增刊1)：49-55. doi：10.11975/j.issn.1002-

文献标志码：A

文章编号：1002-6819(2017)-Supp.1-0049-07

Xu Changlei, Wang Qing, Chen Hong, Mei Shuli, Du Liqiang. Design and simulation of artificial limb picking robot based on

somatosensory interaction[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017,

33(Supp.1): 49ꢀ55. (in Chinese with English abstract)

doi：10.11975/j.issn.1002-6819.2017.z1.008

肩、肘和腕 4 个关节的转动角度，进而将计算得到的结

果转换成控制指令，通过串口发送给机械臂的控制手抓，

从而实现体感交互。

0 引言

人体姿态感知技术，近年来在电子游戏、医疗康复、

运动训练^[1]、教育教学^[2]、智能家居^[3]、艺术展示^[4]等领

域得到了广泛的应用。体感技术同样在机器人领域有着

较为广阔的应用前景，例如，陈敬德等^[5]用Kinect 传感器

采集人体动作骨架信息，利用主机通过图像处理算法对

人体动作进行解析分类，通过无线传输向从动机器人发

送指令，完成机器人对人体动作进行模仿。罗瑞琨等^[6]

开发了一种基于 Kinect 的主动轮式伴舞机器人，运用人

腿识别定位算法，实现对人腿的实时定位于识别，使人

可以与机器人共同舞蹈。陈盛军^[7]利用Kinect 骨骼追踪的

功能，设计了 5 自由度操作臂双手爪攀爬机器人的运动

控制系统。Pollard 等^[8]利用动作捕捉系统捕捉人体动作，

研究了仿人机器人上肢舞蹈动作的动力学仿真。黄祖良

等^[9]设计了一种无需穿戴传感器的人体手臂动作同步机

器人，能够完成人体动作同步机器人在未经过培训的操

作者的指挥下，从不同初始位置完成肢体动作发出的指

令。林海波等^[10]同样利用 Kinect 获取图像景深数据，并

通过骨骼追踪技术处理，匹配到人体各部分后，建立人

体各个关节的3D 坐标，利用3D 坐标值计算得到人体腰、

国内外对仿上肢采摘机器人也有相关研究和成果，

日本的 Subrata^[11]等在 1997 年研制的樱桃采摘机器人在

机械手末端安装了激光范围传感器，摄像机的作用定位

苹果的位置，直流电机夹持果梗，而步进电机驱动机械

臂的腕部扭断果梗，达到采摘的目的。日本 Kondo 等^[12]

研制的西红柿采摘机器人采用四轮的移动平台和一个 7

自由度的仿上肢关节型机械臂，同样采用彩色摄像机作

为视觉传感器识别定位成熟的西红柿果实，利用关节型

机械臂各关节的相互协作进行果树采摘。Baeten 等^[13]研

制的苹果采摘机器人则采用工业仿上肢机器人的六自由

度机械臂进行果实采摘。

机器人技术在农业领域^[14-15]同样有着重要的研究意

义，尤其是人-机器人协作领域^[16]，利用机器人进行农业

生产，可以帮助农民规避一些由于农业生产中的危险而

造成的人身伤害，例如，在有些农业生产作业中，农民

需要爬到高高的果树上进行水果的采摘，不仅效率低下，

而且具有攀爬危险^[17]。现有的大多数机械臂机器人需要

人们穿戴很多传感器，传感器种类各不相同，造价也因

精度和工艺的不同而各异，大大提高了使用成本。本文

利用深度相机 Kinect 采集人体关节骨架信息，并通过向

量计算获取关键关节的位置信息、角度信息和速度等信

息；将获取的人体骨骼信息翻译成机器人机械臂指令，

并将指令传输给机器人机械臂，机器人机械臂实现对人

体动作的实时模仿，从而同步模仿人类做出的采摘动作。

收稿日期：2016-11-14

修订日期：2017-01-13

基金项目：国家科技支撑计划项目（2015BAH28F00）；北京市自然科学基

金资助项目（4172034）

作者简介：许常蕾，女（汉族），山东人，研究方向为模式识别与人工智能。

北京中国农业大学信息与电气工程学院，100083。Email：

※通信作者：王庆，吉林人，副教授，博士，研究方向为虚拟现实技术应

用。北京中国农业大学信息与电气工程学院，100083。

Email：

农业工程学报（）

2017 年

方法可以将摄相机空间中的点转换到深度空间。

1 机器人系统构建

2）关节空间位置信息

该系统主要由3 大模块构成，分别为动作采集模块，

指令翻译模块和指令执行模块，如图1 所示。

Kinect v2 可视范围内可获取人体25 个关节点的位置

信息，并以30 帧/s 的频率刷新。通过微软提供的Kinect for

Windows SDK 中的BodyFrameSource，BodyFrameReader，

BodyFrameReference，BodyFrame 和Body 类来获取基本

骨架数据信息。

3）骨骼空间角度信息

以人体上肢为例，当人的右手臂做出一个动作，系

统可通过 Kinect 获取在相机空间坐标系当中腕关节、肘

关节和肩关节的坐标，并计算出肘腕向量和肩肘向量；

依据肘腕向量和肩肘向量的信息，获取肘腕向量和肩肘

向量的夹角关系。同理上肢及手臂的其他所有向量及位

置数据可由此获取。

在人体骨骼系统中，每2 个关节点可确定一根骨骼，

在3D 空间坐标系中表现为一个有长度和方向的向量，如

图 2 所示。骨骼空间角度通过空间向量间的余弦公式计

算求得。2 个向量可确定一个平面，暂且跳出相机空间坐

标系，在 2 个骨骼向量所决定的平面上来对角度进行描

述，图2 为两段骨架向量的夹角计算示意图。

图 1 系统模块

Fig.1 System modules

1）动作采集模块使用深度相机Kinect 采集人体骨架

的三维信息，获取的骨骼数据存储在计算机中，计算机

经过运算，计算出人体骨架位置信息、角度信息以及速

度信息，计算机械臂上肢动作的动力学模型参数，生成

人体动作模型。

→

注：点 O、A、B 分别表示 3 个不同的关节点；向量a 和向量b 分别表示 3

点所决定的2 个骨架向量；α 为向量夹角，(°)；(x_A, y_A, z_A)、(x_O, y_O, z_O)、(x_C,

y_C, z_C)分别为A、O、B 的坐标值。

2）指令翻译模块根据动作采集模块提取到人体姿态

特征，与预定义的动作模型库进行模板匹配，匹配出的

动作作为指令传输到指令执行模块。

→

Note: Point O, A and B represent 3 different joint points; Vector a and vector b

are two skeletal vectors determined by 3 points; α is the vector angle, (°); (x_A, y_A,

z_A), (x_O, y_O, z_O) and (x_C, y_C, z_C) are coordinates values of points A, O and B

respectively.

3）指令执行模块接受指令翻译模块下发的指令信

息，并按要求的速度将机械臂摆正到指令所要求的位置，

完成一次人体上肢动作的模仿，完成果实采摘。

图 2 两段骨架向量的夹角

Fig.2 Angle between 2 skeleton vectors

2 人体骨架三维模型设计

图2 中O、A、B 3 点分别表示3 个不同的关节点，

→

可使用Kinect for windows SDK 中的Body Basics 可

获取骨骼节点的三维信息，骨架三维数据包括关节位置

信息，角度信息以及速度等信息。

其中 O 点表示 2 段骨骼的连接关节点，向量a 和向量b

分别表示3 点所决定的2 个骨架向量。计算公式如（1）

所示。

→

2.1 人体骨架三维信息的获取

a = (x_A- x_O, y_A- y_O,z_A- z_O)

1）Kinect 坐标系

b = (x_B- x_O, y_B- y_O,z_B- z_O)

（1）

→

根据微软 MSDN 提供的资料，Kinect 坐标系分为 3

种，分别为彩色空间坐标系（ColorSpace）、深度空间坐

标系（DepthSpace）和相机空间坐标系（CameraSpace）。

其中，不同的摄像头在产生彩色或深度图像时，会使物

体在不同的坐标系中产生位置的偏移，可以通过 Kinect

for Windows SDK 2.0 所提供的 API （application

programming interface）中 CoordinateMapper Class 中对应

的方法来进行坐标转换，如 MapCameraPointToDepthSpace

a ·b

α = cos^-1

→

a b

式中(x_A, y_A, z_A)、(x_O, y_O, z_O)、(x_B, y_B, z_B)分别为A、O、B 的坐

→

标；α 为向量a 和向量b 的夹角，(°)；只要获得3 个关节点

的空间位置信息，便可以求得2 段骨架向量的夹角。

4）关节速度信息

相对速度的描述指的是身体的某一部分在移动时相

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

基于体感交互的仿上肢采摘机器人系统设计与仿真

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页