推荐星级：
- 1
- 2
- 3
- 4
- 5
基于强化学习的旋翼无人机智能追踪方法
资料介绍
针对旋翼无人机追踪场景中常用的PID控制方法与视觉伺服控制方法的不足,该文尝试将视觉伺服控制与强化学习结合,提出了一种基于强化学习的旋翼无人机智能追踪方法。首先使用基于图像的视觉伺服实现旋翼无人机的闭环控制,然后建立使用Sarsa学习算法调节伺服增益的强化学习模型,通过训练可以使得旋翼无人机自主选择视觉伺服增益。该文设计了旋翼无人机在实物场景与仿真场景下的运动目标追踪实验,实验结果论证了该方法相对于PID控制与基于图像的视觉伺服控制方法具有更好的追踪效果。
部分文件列表
| 文件名 | 大小 |
| 基于强化学习的旋翼无人机智能追踪方法.pdf | 1M |
部分页面预览
（完整内容请下载后查看）第 48 卷 第 4 期
2019年7月
电 子 科 技 大 学 学 报
Vol.48 No.4
Jul. 2019
Journal of University of Electronic Science and Technology of China
·计算机工程与应用·
基于强化学习的旋翼无人机智能追踪方法
史豪斌*，徐 梦
(西北工业大学计算机学院 西安 710129)
【摘要】针对旋翼无人机追踪场景中常用的PID控制方法与视觉伺服控制方法的不足，该文尝试将视觉伺服控制与强化学
习结合，提出了一种基于强化学习的旋翼无人机智能追踪方法。首先使用基于图像的视觉伺服实现旋翼无人机的闭环控制，
然后建立使用Sarsa学习算法调节伺服增益的强化学习模型，通过训练可以使得旋翼无人机自主选择视觉伺服增益。该文设计
PID
了旋翼无人机在实物场景与仿真场景下的运动目标追踪实验，实验结果论证了该方法相对于
控制与基于图像的视觉伺服控
制方法具有更好的追踪效果。
关
键
词
智能追踪; 强化学习; 旋翼无人机; 视觉伺服
中图分类号 TP39 文献标志码 doi:10.3969/j.issn.1001-0548.2019.04.012
A
An Intelligent Tracking Method of Rotor UAV Based
on Reinforcement Learning
SHI Hao-bin* and XU Meng
(School of Computer Science, Northwestern Polytechnical University Xi’an 710129)
Abstract Aiming at the deficiencies of PID control method and visual servo control method commonly used
in the tracking scene of Rotor UAV(unmanned aerial vehicle), this paper attempts to combine visual servo control
with reinforcement learning, and proposes an intelligent tracking method for Rotor UAV based on reinforcement
learning. Firstly, image-based visual servo is used to track the closed-loop control of the Rotor UAV, and then a
reinforcement learning model is established to adjust the servo gain with Sarsa learning algorithm. After many
training sessions, the Rotor UAV can choose its own visual servo gain. In this paper, the experiment of tracking the
moving target of Rotor UAV in physical and simulation scenarios is designed. The experimental results demonstrate
that the proposed method has better tracking effect than PID control and classical image-based visual servo control
method.
Key words intelligent tracking; reinforcement learning; rotorcraft UAV; visual servo
近年来，随着旋翼无人机相关技术的发展，广
大学者对旋翼无人机的追踪与控制问题进行了广泛
的研究[1-2]。文献[3]针对旋翼无人机追踪地面目标车
辆过程中存在的精度不高以及参数固定的问题进行
研究，提出了一种模糊PID控制方法，但是PID控制
器在处理非线性不确定系统时的抗干扰能力差，控
制精度也不高。文献[4]应用了一种基于位置的视觉
伺服(position-based visual servoing, PBVS)的控制方
法实现旋翼无人机的追踪控制, 但是基于位置的视
觉伺服的误差定义在三维笛卡尔空间，对初始条件、
噪声、摄像机参数误差和目标位姿的估计精度都非
常敏感。文献[5]提出了一种新型的基于图像的视觉
伺服旋翼无人机最优路径规划方法，提高了旋翼无
人机的控制效果。但是基于图像的视觉伺服控制对
于伺服增益的选取大多通过人工赋值的方式，选取
合适的伺服增益值往往依靠经验, 因此该方法不能
很好地在复杂的非线性环境中实现精确的控制。
针对经典的PID控制与基于图像的视觉伺服控
制在旋翼无人机追踪与控制过程中存在的收敛性
差、控制精度不高等问题，本文设计了一种基于强
化学习的旋翼无人机追踪控制方法，通过基于图像
的视觉伺服形成旋翼无人机的闭环反馈控制，结合
强化学习调节伺服增益值，可以实现旋翼无人机智能
系统对于环境的适应能力。
1
旋翼无人机视觉伺服模型
1.1 基于图像的视觉伺服
旋翼无人机的视觉传感器中的
M 个特征点的
收稿日期：2018 10 24；修回日期：2018 12 24
基金项目：陕西省重点研发计划(2018GY-187)
作者简介：史豪斌 (1978 )，副教授，主要从事人工智能方面的研究. E-mail:
电 子 科 技 大 学 学 报
第 48 卷
554
位置坐标为： F { ficp (xcp , ycp )T | i
，
Z
1,2,,M}
i
i
设定
e
为基于图像的视觉伺服的特征误差，即：
C
Y
cp
des
x1 x1
O
y1cp y1des
X
cp
f1 f1des
r
cp
des
a(x xp, y xp
(x xp, y xp
)
x2 x2
c
f2cp f2des
f
R2M 1
ycp y2des
(1)
e
dx
dy
2
)
f cp fMdes
Za
M
xcp xdes
o1
M
M
yMcp yMdes
x
a(xa, ya)
式中， fides (xides , yides
)
T 为第 个特征点的目标位置
i
坐标，该值是被唯一确定的。
o2
对于旋翼无人机动力学模型，有6个自由度的运
动参数，即 v (vx ,vy ,vz ,x ,y ,z )T ，但是旋翼无人
ˆ
A(Xa, Ya, Za)
机是一种线速度与角速度之间强耦合的动力学系
统。根据文献[6]，旋翼无人机在低速运动的状态下，
微小的姿态倾斜角度对视觉的影响可以忽略。本文
设定，考虑当旋翼无人机与地面近乎平行飞行时，
不会由于视觉计算而产生滚转角与俯仰角，同时在
实际应用场景中，旋翼无人机的滚转角与俯仰角值
图1 旋翼无人机的视觉模型
设定数字图像中，r,c 分别表示行像素值与列像
素值，数字图像的中心点所在的行数为 d ，列数为
2r
2cd ，设定A点在数字图像中的像素值行数为 r ，列
a
数为 c ，可以得到：
a
几乎为零，因此考虑 v (vx ,vy ,vz ,z )T
。
px
a
x
r ar
d
根据特征误差与视觉传感器运动之间的关系为
(3)
ypx cd ac
a
de / dt Jv ，其中 就是图像关联矩阵。为了计算
J
由数字图像与成像平面的映射关系可以得到：
方便，将视觉坐标系统 C 与旋翼无人机的惯性坐
px
x a
x d x
a
标系统
统一，旋翼无人机的前进与后退方向在
E
(4)
y d ypx
a
y
a
轴，左右移动方向为 轴。在一个理想的情景下，
X
Y
建立像素平面到三维视觉坐标系中任意空间点
设定
A
为视觉坐标系统 C 空间中的一个三维坐标
，单位为mm。设定A点在
的映射关系：
点，坐标记为
(Xa ,Ya ,Za )
底部视觉传感器的图像平面上的成像点
px
xa
yapx
1
fa / d
0
fa / dy
0
0
0
a
X
a
的坐标为
x
a
(5)
0
0
Ya
(xa , ya ) ，单 位为 mm ，在 数字图 像中 的坐标 为
(xapx , yapx ) ，单位为pixel，成像模型如图1所示。
Za
在底部视觉模型中引入放缩比例为 (dx ,dy )
方向上的每一个像素，在成像图像平面上表
示为 个单位长度，相机的焦距为 。图像平面的
，dx
由此旋翼无人机的底部视觉模型建立完成。其
表示
x
中
dx ,dy , f 为旋翼无人机中视觉传感器的固有参
dx
中心坐标在 C 中的坐标记为 (0,0, f )
在图像平面中以图像中心点为原点的坐标，
f
数，可以通过相机标定等方式来获得。
，
(xa , ya ) 为
1.2 旋翼无人机的动力学扩展
旋翼无人机通过改变4个推进器的转动速度，可
以控制旋翼无人机上下运动。如果控制第一和第三
推进器的旋转速度，会引起俯仰运动；如果控制第
二和第四推进器的旋转速度，会引起翻滚运动；通
过共同调节第一、第二、第三和第四推进器的旋转
速度，可使旋翼无人机产生偏航运动。旋翼无人机
具体的推进器转子的旋转速度是由给定的加速度参
数来实现控制的。其函数关系如式(6)所示：
[1,2 ,3 ,4 ]T Ja [axv ,avy ,azv ,ax ,ay ,az ]T (6)
点
A
(xpx , ypx ) 是数字图像中以其中心点为原点的坐标。
在理想情况下，视觉坐标系统与图像平面坐标系、
像素平面坐标系的原点重合，根据几何学得到数学
关系如式(2)所示：
x
fa
0
0
fa
0
0
0
a
X
a
y
Ya
a 0
(2)
1
0
Za
更多>>
最新上传
- 打赏
- 30日榜单
-
注册1 打赏0.01元 1小时前
-
注册1 打赏0.01元 1小时前
用户：xlhtracy
-
注册1 打赏0.01元 1小时前
用户：xlhtracy
-
注册1 打赏0.01元 1小时前
用户：xlhtracy
-
注册1 打赏0.01元 1小时前
用户：xlhtracy
-
注册1 打赏0.01元 1小时前
用户：xlhtracy
-
注册1 打赏0.01元 1小时前
用户：xlhtracy
-
注册1 打赏0.01元 1小时前
用户：xlhtracy
-
注册1 打赏0.01元 1小时前
用户：xlhtracy
-
注册1 打赏0.05元 3小时前
用户：xlhtracy
-
注册1 打赏0.01元 3小时前
用户：xlhtracy
-
注册1 打赏0.01元 3小时前
-
注册1 打赏0.01元 3小时前
用户：21ic下载
-
注册1 打赏0.01元 3小时前
用户：21ic下载
-
21ic小能手 打赏0.03元 4小时前
用户：21ic下载
-
21ic小能手 打赏0.01元 4小时前
用户：21ic下载
-
21ic小能手 打赏0.01元 4小时前
用户：21ic下载
-
21ic小能手 打赏0.02元 5小时前
-
21ic小能手 打赏0.01元 6小时前
用户：21ic下载
-
注册1 打赏0.02元 14小时前
-
注册1 打赏0.02元 14小时前
全部评论(0)