积分商城

最新搜索： SC7A20 CSI DSP BQ25792 PROTEL鼠标增强3.0工具 max-13.0.0.156 电路与模拟电子技术 郭强
您现在的位置是：首页 > 技术资料 > 基于Leap Motion的可抓取无人机系统
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于Leap Motion的可抓取无人机系统

更新时间：2020-01-01 17:13:34 大小：2M 上传用户：songhuahua查看TA发布的资源 标签：无人机 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

为了解放无人机的传统控制方式和解决高空取物等实际问题,提出一种将手势识别技术与无人机相结合的可抓取无人机系统。该系统通过Leap Motion采集手势数据,使用Python并结合Leap Motion v2SDK库将数据进行处理,通过NRF24L01无线模块对数据进行发送,在无人机端将收到的数据通过Arduino进行分析处理,输出相应的PWM波来控制无人机的飞行状态以及机械爪的抓取。经试验证实该系统可通过手势改变无人机的飞行状态,以及控制机械爪的抓取,表明了该系统实现方法的可靠性及有效性。


部分文件列表

文件名 大小
基于Leap_Motion的可抓取无人机系统.pdf 2M

【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
测 控 技 术  
飞行器控制  
·96·  
2019  
38  
6
卷第 期  
年第  
Leap Motion  
基于  
的可抓取无人机系统  
， ， ，  
杨 星 陈淑敏 马 超 侯长波  
(
，
哈尔滨工程大学 信息与通信工程学院 黑龙江 哈尔滨  
150001)  
: ，  
摘要 为了解放无人机的传统控制方式和解决高空取物等实际问题 提出一种将手势识别技术与无人机  
。
相结合的可抓取无人机系统 该系统通过  
Leap Motion  
，
采集手势数据 使用  
Python  
Leap Motion  
并结合  
v2 SDK ， NRF24L01  
库将数据进行处理 通过  
，
无线模块对数据进行发送 在无人机端将收到的数据通过  
Arduino  
，
进行分析处理 输出相应的  
PWM  
。
波来控制无人机的飞行状态以及机械爪的抓取 经试验证实  
， ，  
该系统可通过手势改变无人机的飞行状态 以及控制机械爪的抓取 表明了该系统实现方法的可靠性及  
。
有效性  
:
关键词 无人机  
; Leap Motion; Arduino;  
手势控制  
: A : 1000 － 8829( 2019) 06 － 0096 － 04  
文章编号  
: TP391  
中图分类号  
文献标识码  
doi: 10． 19708 /j． ckjs． 2019． 06． 021  
Gripping UAV System Based on Leap Motion  
YANG Xing，CHEN Shu-min，MA Chao，HOU Chang-bo  
( College of Information and Communication Engineering，Harbin Engineering University，Harbin 150001，China)  
Abstract: In order to solve the practical problems of traditional control methods of UAVs and catching things at  
high altitude，a gripping UAV system combining gesture recognition technology with UAV is proposed． The ges-  
ture data is collected through Leap Motion，Python and Leap Motion v2 SDK library are used to process data，  
and data is sent through NRF24L01 wireless module． The received data is analyzed and processed by Arduino  
at the UAV end，and the corresponding output is processed． The PWM wave controls the flying state of the UAV  
and the gripping of the claws． The experiment confirmed that the system can change the flying state of the UAV  
through gestures and control the grabbing of the claws． This shows the reliability and effectiveness of the system  
implementation method．  
Key words: UAV; Leap Motion; Arduino; gesture control  
［2］  
、 ，  
随着时代发展 技术革新 对无人机与人的交互领  
。 ，  
因此 它也就成为了目前科研领域的众热点  
系统  
。 、  
域也提出更高要求 考虑到手势具有自然性 灵活性  
。 ，  
之一 可以预见 未来手势识别系统的主要发展趋势  
［1］  
。 ，  
将是基于视觉的动态手势识别 如今 市面上有一款  
，
等特点 手势控制 已经成为无人机与人进行信息交  
Leap Motion，  
它已被应用于游  
。 ，  
互的一种新的手段 目前 国内外很多优秀学者和研  
广受关注的体感控制器  
、 、 、  
戏 手语识别 虚拟应用 计算机应用等领域  
。
究员都投入极大的精力研究基于视觉的动态手势识别  
， ，  
另外 将焦点聚焦于无人机 国内无人机市场从最  
［3］  
。
初的军用领域 渐渐地扩展到消费电子领域 据最  
: 2018 － 12 － 24  
收稿日期  
基 金 项 目 教 育 部 产 学 合 作 协 同 育 人 项 目 立 项  
( 201601004024) ; 2016  
， 、 、 、 、  
新的消息显示 在抢险救灾 气象预报 农业 电力 消  
:
， 。  
防等方面 无人机都具有很高的实际应用价值 而且  
，
哈尔滨工程大学  
年本科教学改革研究  
、
无人机加上机械爪能够解决高空取物 小型物资投送  
( JG2016BZD19)  
重点项目  
。 ，  
等实际问题 因此 将动态手势识别技术与可抓取无  
:
作者简介 杨星  
( 1996—) ， ， ，  
男 本科 主要从事  
Pixhawk  
Leap  
及
人机相结合将具有极高的实用价值和比较广阔的市场  
Motion  
;
的二次开发 陈淑敏  
( 1996—) ， ， ，  
女 本科 主要从事无人  
。
前景  
;
机的自主飞行调试的研究 马超  
( 1998—) ， ， ，  
男 本科 主要从事  
Leap Motion  
实现手势控制无人机  
Qt  
; ［ ］  
界 面 的 设 计 及 数 据 传 输 的 研 究 通 信 作 者 侯 长 波  
本系统的采用  
( 1986—) ， ， ， ， 。  
男 硕士 讲师 主要从事电路与系统的研究  
。
的飞行以及抓取功能 该系统的实现方案也可被借鉴  
Leap Motion  
·97·  
基于  
的可抓取无人机系统  
。
: 150°;  
到其他相关的研究之中  
② 识别视角  
③ 最大频率  
Leap Motion  
: 290 f/s。  
遵循右手坐标系 设备的中心被定义  
1
系统总体设计  
，
［4］  
。
为坐标的原点 水平平面由  
X
、Z ，  
轴组成 设备的长  
轴
Pixhawk  
本系统对无人机飞控  
和体感控制器  
X ， Z  
边被定义为 轴的方向 短边为 轴方向  
。Y  
轴为垂  
Leap Motion  
。
Leap Motion  
进行二次开发 通过  
双目传  
端进行数据处理并  
利用无线模块发送数据 无人机端接收到的数据用  
Arduino PWM  
(
) 。  
直方向 正方向朝上  
2． 1． 2  
无线模块采用  
，
PC  
感器进行手势数据采集 通过  
无线传输模块  
NRF24L01。  
，
它是一种射频收发器  
，
解码处理 输出相应  
波控制飞控及机械  
［5］  
，
件 工作于  
2． 4 ～ 2． 5 GHz ISM  
，
频段 并且融合了增强  
。
1
系统的总体设计框图如图 所示  
。
爪
ShockBurst  
，
技术 可通过程序配置输出功率和通信  
型
， 。 ，  
频道 因此非常利于二次开发 此外 它还同时具有低  
、 、 、 、 、  
电压工作 高速率 多频点 超小型 低功耗 低应用成  
。
本等优点  
2． 1． 3  
机械模块  
。
本系统机械爪使用的是含舵机的全金属爪子  
机
， 、  
械爪舵机由三根线控制 分别是地线 信号线和电源正  
1
图
系统总体框图  
。
极线 信号线与单片机  
Arduino  
，
相连 通过单片机产  
。
生的脉冲信号来控制机械爪的张合运动 因为电池供  
3 ，  
本系统划分为 个部分 即手势识别及显示部分  
12 V， ，  
远超机械爪的供电电压范围 通过使用  
( PC ) 、  
端 数据传输部分  
( NRF24L01) 、 。  
飞行控制部分  
电为  
LM317  
7 V 。  
左右的电压  
:
① 手势识别部分 手势数据的采集主要是使用了  
稳压芯片来为机械爪提供  
机械结构控制流程  
本系统机械结构控制首先由  
2． 1． 4  
Leap Motion ， Python Leap  
双目传感器 并且使用 结合  
NRF24L01  
Motion v2 SDK  
。
将接收的  
库对双目识别到的数据进行运算处理  
Arduino，  
并由  
Arduino ，  
进行处理 接着输  
Qt  
， ，  
编写上位机界面 显示手势识别到的数据 利  
手势数据传给  
采用  
PWM  
。
PWM  
出相应的两路  
直接控制机械爪的张合角度 另一路  
Pixhawk  
脉冲信号 一路 脉冲信号  
。
于用户观察自己的手势状态 同时将处理到的数据进  
;
PWM  
信号传给  
，
行自定义编码 等待进行发送  
。
， 4 ，  
飞控 控制 个电机的输出 以此实现  
无人机  
:
② 数据传输部分 将上一步获取到的编码数据通  
。
手势数据控制无人机的飞行状态 具体控制流程如图  
UART  
，
协议发送到串口中通过单片机进行接收 并  
过
2
。
所示  
NRF24L01  
。
模块进行无线发射 同时在  
将数据转发给  
无人机端实时接收  
传输到无人机飞行控制部分  
NRF24L01  
，
数据 将接收到的数据  
［6］  
。
:
Arduino  
③ 飞行控制部分 控制端采用  
解码接收  
PWM Pixhawk  
到的数据 然后进行数据处理 输出 到  
，
，
2
图
控制流程  
，
以及机械臂 实现控制无人机的飞行以及机械臂的抓  
。
， 、  
最后 通过多次测试 修改相关参数使无人机飞行  
取
2． 2 Leap Motion  
视觉处理  
，
平稳 响应迅速  
。
2． 2． 1 Leap Motion  
工作原理  
Leap Motion  
、
的核心部分是高帧率摄像头 红外  
2
系统设计过程  
LED  
。
以及红外滤光器 自然光线通过红外滤光器后  
2． 1  
2． 1． 1 Leap Motion  
系统硬件设计  
，
被过滤成红外线 在设备上方形成一个虚拟的平面光  
模块  
。 ，  
线网 当手在设备上方移动时 就会引起红外线反射  
Leap  
Leap Motion  
本系统采用  
USB  
公司的  
体感控制  
。 ，  
而返回手所在的位置 摄像头进行实时捕捉 通过双  
［7］  
，
器 它采用  
，
接口连接计算机 支持  
Windows，Linux  
3D  
。
目立体视觉原理进行解算并生成  
2． 2． 2  
双目立体视觉是一种由两幅图像获取物体三维几  
数据  
Mac OS  
，
多操作系统 可以面向  
C ++ 、C#、Java、Python  
和
双目立体视觉原理  
，
等语言进行更高级的应用程序开发 同时也可作为一  
。
。
个插件在其他平台使用  
Leap Motion  
何信息的测量方法  
人在轮流闭合左右眼时 会发现同一物体的位置  
。Leap Motion  
。
，
的相关参数如下  
: 0． 01 mm;  
，
① 最小识别动作范围  
发生了偏移 这种现象称为视差  
采用双  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号