积分商城

最新搜索： 正泰变频器 tb67s128 零死角玩转STM32 HAL库 变频 canopen EP3C16Q240
您现在的位置是：首页 > 技术资料 > 移动机器人视觉里程计综述
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

移动机器人视觉里程计综述

更新时间：2019-12-25 12:52:54 大小：593K 上传用户：守着阳光1985查看TA发布的资源 标签：移动机器人视觉里程 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

定位是移动机器人导航的重要组成部分.在定位问题中,视觉发挥了越来越重要的作用.本文首先给出了视觉定位的数学描述,然后按照数据关联方式的不同介绍了视觉里程计(Visual odometry,VO)所使用的较为代表性方法,讨论了提高视觉里程计鲁棒性的方法.此外,本文讨论了语义分析在视觉定位中作用以及如何使用深度学习神经网络进行视觉定位的问题.最后,本文简述了视觉定位目前存在的问题和未来的发展方向.


部分文件列表

文件名 大小
移动机器人视觉里程计综述.pdf 593K

【关注B站账户领20积分】

部分页面预览

（完整内容请下载后查看）
第 44 卷 第 3 期  
2018 年 3 月  
自
动
化
学
报
Vol. 44, No. 3  
March, 2018  
ACTA AUTOMATICA SINICA  
移动机器人视觉里程计综述  
徐 德 1  
2
2
3
2
2
2
丁文东 1  
刘希龙 1  
张大朋 1  
陈 天 1  
摘
要
定位是移动机器人导航的重要组成部分. 在定位问题中, 视觉发挥了越来越重要的作用. 本文首先给出了视觉定位的  
数学描述, 然后按照数据关联方式的不同介绍了视觉里程计 (Visual odometry, VO) 所使用的较为代表性方法, 讨论了提高视  
觉里程计鲁棒性的方法. 此外, 本文讨论了语义分析在视觉定位中作用以及如何使用深度学习神经网络进行视觉定位的问题.  
最后, 本文简述了视觉定位目前存在的问题和未来的发展方向.  
关键词 视觉里程计, 视觉定位, 位姿估计, 导航, 移动机器人  
引用格式 丁文东, 徐德, 刘希龙, 张大朋, 陈天. 移动机器人视觉里程计综述, 自动化学报, 2018, 44(3): 385−400  
DOI 10.16383/j.aas.2018.c170107  
Review on Visual Odometry for Mobile Robots  
2
2
3
2
2
2
DING Wen-Dong1  
XU De1  
LIU Xi-Long1  
ZHANG Da-Peng1  
CHEN Tian1  
Abstract Localization plays a key role in mobile robot′s navigation. Vision becomes more and more important for  
localization. Firstly, this paper gives the mathematical description of visual localization. Secondly, typical methods of  
visual odometry (VO) are introduced according to the data association modes. Thirdly, the methods to improve the  
robustness of visual odometry are discussed. Fourthly, the eあect of semantic analysis on visual localization is described.  
How to use deep neural network in visual localization is also provided. Finally, existing problems and future development  
trends are presented.  
Key words Visual odometry (VO), visual localization, pose estimation, navigation, mobile robot  
Citation Ding Wen-Dong, Xu De, Liu Xi-Long, Zhang Da-Peng, Chen Tian. Review on visual odometry for mobile  
robots. Acta Automatica Sinica, 2018, 44(3): 385−400  
移动机器人想要完成自主导航[1] 首先要确定  
自身的位置和姿态 即实现定位 一方面 一些移动  
机器人尤其是空中机器人[2] 的稳定运行需要位姿信  
息作为反馈 以形成闭环控制系统 另一方面 随着  
移动机器人的快速发展 移动机器人需要完成的任  
务多种多样 例如物体抓取[3]、空间探索[4]、农业植  
保[5]、搜索救援[6] 等 这些任务对移动机器人的定位  
提出了更高要求  
常用的定位方法有全球定位系统  
、基于惯性导航系统  
的定位、激光雷达定位、  
基于人工标志[7−8] 的定位方法、视觉里程计  
定位[9]  
定位装置接收多颗  
卫星的信号 可解算出机器人的三维位置和速度 定  
位精度在米量级 误差不随时间积累 但 信号  
被遮挡的地方无法使用 基于 的定位利用加速  
等
度计和陀螺仪经过积分计算出机器人的位置、速度、  
姿态等 数据更新率高、短期精度和稳定性较好 但  
定位误差会随时间积累 激光雷达通过扫描获得机  
器人周围环境的三维点云数据 根据这些数据实现  
机器人相对于环境的定位 精度高 实时性强 但成  
本较高 基于人工标志定位的方法利用二维码等作  
为路标实现机器人的定位 二维码需要安装于环境  
中 可以简单有效地完成定位 但是一定程度上限制  
了这些定位方法的使用范围 视觉里程计[9−10] 通过  
跟踪序列图像帧间的特征点估计相机的运动 并对  
环境进行重建 与轮式里程计类似 视觉里程计通过  
收稿日期 2017-02-27 录用日期 2017-09-07  
Manuscript received February 27, 2017; accepted September 7,  
2017  
国家自然科学基金 (61503376, 61673383, 51405485, 51405486), 北  
京市自然科学基金 (4161002), 天津市支持科研院所来津发展项目 (16P  
TYJGX00050) 资助  
Supported by National Natural Science Foundation of China  
(61503376, 61673383, 51405485, 51405486), Beijing Natural Sci-  
ence Foundation (4161002), and the Project of Development in  
Tianjin for Scientific Research Institutes Supported by Tianjin  
Government (16PTYJGX00050)  
本文责任编委 侯增广  
Recommended by Associate Editor HOU Zeng-Guang  
1. 中国科学院自动化研究所精密感知与控制研究中心 北京 100190  
2. 中国科学院大学 北京 101408 3. 天津中科智能技术研究院有限公  
司 天津 300300  
1. Research Center of Precision Sensing and Control, Institute  
累计帧间的运动估计当前时刻的位姿  
在系统  
of Automation, Chinese Academy of Sciences, Beijing 100190  
2. University of Chinese Academy of Sciences, Beijing 101408  
3. Tianjin Intelligent Technology Institute of CASIA Co., Ltd,  
Tianjin 300300  
运行中形成三维点云 作为路标点保存在系统中 在  
新的视角下 基于这些点可利用  
[11]  
方法进行定位 视觉里程计具有广泛的  
386  
自
动
化
学
报
44 卷  
用途 可应用于无人车[12]、无人机[13−15]、增强现  
实[16]  
本文针对  
优化  
等
在求解的过程中 对该系统线性化 然后可以用  
高斯 牛顿或 方法迭  
代求解 由于点与点之间、位姿与位姿之间相对误  
展开讨论 组织结构如下 第  
节
简要介绍定位问题的数学描述 第 节论述主流的  
视觉定位方法 重点介绍三类视觉里程计的原理与  
特点 第 节讨论在传感器建模和视觉里程计前端  
后端等方面的鲁棒性设计技巧 第 节介绍结合视  
觉语义分析的位姿估计方法和深度学习网络在位姿  
估计中的应用 第 节介绍位姿估计的性能评价方  
法 常用的数据集和常用的工具库 第 节给出视觉  
定位目前存在的问题和未来的发展方向  
差项是独立的 相应矩阵具有稀疏性 式  
时求解  
可以实  
上述问题也可以建模为因子图  
并使用图优化方法求解[17−18] 图模型[19−20] 可直观  
地表示视觉定位问题 图中的状态节点表示机器人  
的位姿或路标 节点之间的边对应状态之间的几何  
约束 图模型构建之后 经过优化可得到与测量数据  
最匹配的状态参数 进而形成路标点地图 一个常用  
1 定位问题数学描述  
图网络优化工具为  
[21]  
详见第  
节
机器人 时刻的位姿为  
为机器人 时刻的姿态  
其中  
2 VO 代表性方法  
为机器人 时刻的  
系统中的数据关联表示了  
点在不同帧  
位置 那么  
时刻的位姿为  
之间的关系 在运动估计中 使用当前帧图像和过往  
帧图像进行数据关联求解相机运动量 通过递推每  
一步的运动量可以得到相机和机器人的位姿 数据  
关联中的点所在空间有三种[10]  
+1  
+1  
其中  
初始状态下机器人的位姿为  
使用式  
为
～
时刻机器人的相对位姿  
+1  
0
−
当前帧的点和过往帧的点都是在图  
递推获得当前位姿 因此 该过程  
像空间中 在单目相机的初始化过程中经常出现这  
种数据关联  
中不可避免地会出现误差 且该误差具有累积现象  
为消除累积误差 需要基于观测值进行滤波或  
优化  
−
当前帧和过往帧的点都在  
空间  
中 这种情形一般在深度相机  
或经过三角测量的点进行  
系统的位姿估计  
为了保证系统的实时性 视觉定位通常分为两  
时出现  
过往帧的点在 空间中 当前帧  
部分  
进行优化 特征匹配针对位姿变化前后的图像获取  
对应特征点对 利用 个匹配点对以及相  
基于特征匹配的运动估计  
对定位结果  
−
的点在图像空间中 这样问题转化为一个  
题
问
≥
机内参数得到相机的运动量 当相机运动距离较大  
或能够跟踪到的点较少时 则把这一帧图像作为关  
键帧保存下来 优化部分利用特征点的重投影偏差  
最小化对关键帧对应的相机位姿及特征点在相机坐  
标系中的位置进行估计 第 关键帧对应的投影矩  
阵为  
在
系统初始化时 地图未建立 系统无法  
确定当前状态 采用  
−
数据关联 对基础矩阵  
或单应矩阵分解求解相机的相对位姿 三角化求解  
路标点的三维坐标 若地图中  
点进行位姿估计 此时 将  
点可用 优先使用  
路标点投影到当  
前帧图像 在局部范围内搜索完成图像点的匹配 这  
的数据关联经常用于 系统正常状态  
种
−
其中  
表示相机的内参数矩阵  
运动估计和优化均可采用  
下的定位  
−
数据关联常用于估计和修正累  
路标点会出现在多帧图像中 通  
积误差和漂移  
过这些  
轨迹以及  
例如  
点之间的数据关联可以修正相机的运动  
2
‖
−
‖
点的三维位置  
=1 =1  
[22]  
其中  
坐标  
为路标点  
表示误差  
为
在第 帧中的图像  
中除了初始化过程 正常状态下系统处理当前的每  
表示路标点  
在第 帧中  
否则为  
一帧时三种数据关联先后被使用  
−
数据关  
数据  
权值 如果点 在第 帧中可见 则  
联实现图像空间的特征点匹配 通过  
−
关联计算相机的位姿 并经过  
利用 进行优化  
[23]  
−
数据关联后  
运动估计部分利用式  
优化部分则对位姿  
获得相机的位姿  
和路标点  
同时进行  
的目标函数中包含了多种数据关联的  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

资料专题

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号