推荐星级：
- 1
- 2
- 3
- 4
- 5
基于子块运动补偿的运动目标检测
资料介绍
鱼眼相机成像视角大,获得信息丰富,在车载应用中具有广阔应用前景.本文提出了一种适用于移动单目鱼眼相机的运动目标检测方法.首先,提出一种子块运动补偿模型补偿图像背景运动,解决了现有运动补偿模型对强视差背景补偿效果不好的问题.其次,在子块运动补偿模型参数求解时,通过引入自车运动参数简化模型参数个数,并结合直接方法求解,避免了传统基于特征点匹配方法求解参数时易受误匹配特征点影响的问题.然后,针对鱼眼相机的成像形变问题,本文提出了一种三平面校正方法获取鱼眼图像的子块运动补偿图像.最后,利用鱼眼图像的子块运动补偿图像和真实拍摄图像的差异信息实现运动目标检测.多种测试场景下的实验结果表明了本文方法的有效性.
部分文件列表
| 文件名 | 大小 |
| 基于子块运动补偿的运动目标检测.pdf | 2M |
部分页面预览
（完整内容请下载后查看）1
Vol． 45 No． 1
Jan． 2017
第
期
电
子
学
报
2017
1
ACTA ELECTRONICA SINICA
年
月
基于子块运动补偿的运动目标检测
1，2
1，2
1
1
， ， ，
于红绯 刘 威 袁 淮 赵 宏
( 1.
，
东北大学研究院 辽宁沈阳
110819; 2.
，
东软集团股份有限公司 辽宁沈阳
110179)
:
， ， ．
鱼眼相机成像视角大 获得信息丰富 在车载应用中具有广阔应用前景 本文提出了一种适用于移动单
摘
要
． ， ，
目鱼眼相机的运动目标检测方法 首先 提出一种子块运动补偿模型补偿图像背景运动 解决了现有运动补偿模型对
． ， ，
强视差背景补偿效果不好的问题 其次 在子块运动补偿模型参数求解时 通过引入自车运动参数简化模型参数个数
，
， ． ，
并结合直接方法求解 避免了传统基于特征点匹配方法求解参数时易受误匹配特征点影响的问题 然后 针对鱼眼相
， ． ，
机的成像形变问题 本文提出了一种三平面校正方法获取鱼眼图像的子块运动补偿图像 最后 利用鱼眼图像的子块
．
运动补偿图像和真实拍摄图像的差异信息实现运动目标检测 多种测试场景下的实验结果表明了本文方法的有效性
．
:
;
;
;
关键词
中图分类号
URL: http: / /www． ejournal． org． cn
运动目标检测 子块运动补偿 单目视觉 鱼眼相机
:
TP391
:
A
: 0372-2112 ( 2017) 01-0173-08
DOI: 10． 3969 /j． issn． 0372-2112． 2017． 01． 024
文献标识码
文章编号
电子学报
Moving Object Detection Based on Sub-Block Motion Compensation
1，2
1，2
1
1
YU Hong-fei ，LIU Wei ，YUAN Huai ，ZHAO Hong
( 1. Research Academy，Northeastern University，Shenyang，Liaoning 110819，China;
2. Neusoft Corporation，Shenyang，Liaoning 110179，China)
Abstract: With its wide-angle imaging and information richness，the fish-eye camera has a brilliant prospect in appli-
cation． This paper presents a moving object detection method for on-board monocular fish-eye cameras． Firstly，a sub-block
motion compensation model is proposed to compensate image background motion，which solves the ineffective strong paral-
lax scene compensation problem． Secondly，when it comes to solve the parameters of sub-block motion compensation model，
ego-vehicle motion parameters are introduced to simplify the number of model parameters，and the direct method is used to
avoid the problem that the traditional feature-point-based matching method is susceptible to mismatching feature points． Then
for the image distortion problem，this paper proposes a three-plane rectification method to obtain sub-block motion compen-
sation images． Finally，the moving object detection is realized using the difference between sub-block motion compensation
images and captured images． Experimental results show the effectiveness of the proposed method．
Key words: moving object detection; sub-block motion compensation; monocular vision; fish-eye camera
， ; ，
背景存在强视差 难于用统一运动模型描述 此外 鱼眼
1
引言
，
相机存在严重的成像形变 这些都给运动目标检测带
，
复杂道路环境下 基于视觉的运动目标检测是汽
．
来了挑战
现有车载环境下任意类型运动目标检测方法大致
、 ．
车辅助驾驶 自动驾驶领域的一个重要研究课题 鱼眼
［4 ～ 12］
、 、 ，
相机由于获得信息丰富 成本低 安装方便等优点 在运
:
可分 为 两 类 基 于 光 流 的 方 法
和 基 于 运 动 补
［1］
［13 ～ 22］
．
动目标检测中具有广阔应用前景
和静态环境运动
．
的方法 基于光流的方法通过分析图像光流场
偿
［2，3］
［4，5］
，
相比 车载环境运动目标检测的难点在
目标检测
，
FOE
，
基于
满足的约束关系检测运动目标 如
方法
三视几何约束
秩约束 等几何约束的方法 该类方法计算图像光流
［6，7］
［8］
［9 ～ 11］
: ，
于 传感器运动使得静止背景也发生图像运动 导致运
、
、
、
极线约束
高度或深度约束
［12］
; ，
动目标检测更加困难 运动目标种类繁多 难于提取统
，
; ， ，
一外观特征 复杂道路环境下 背景深度变化多样 导致
， ．
场较耗时 且运动目标检测效果易受错误光流影响 基
: 2015-05-28;
: 2015-09-06; :
责任编辑 孙瑶
收稿日期
修回日期
:
基金项目 国家自然科学基金
( No． 61273239)
174
2017
年
电
子
学
报
．
系 令
x = X /Z ，y = Y /Z ，x
t
= X /Z ，y
t － 1
=
于运动补偿的方法通过估计背景点的运动模型来对图
t
t
t
t
t
t － 1
t － 1
t － 1
T
T
， ，
像进行运动补偿 从而消除背景运动检测运动目标 该
Y
/Z ， ( x ，y )
点
t
( x ，y
t － 1
)
( u ，
t
和点
分别为点
( 1)
t － 1
t － 1
t
t － 1
T
T
类方法对缺少光流的运动目标也能获得较好的检测效
v )
t
( u ，v
t － 1
)
，
的归一化坐标 由式
和点
可得
t － 1
．
果 现有运动补偿方法常用的运动补偿模型有仿射模
x
x
t
t
t－1
［13 ～ 15］
［16］
p
p
t
t－1
，
在背景分布近似在同一个平
型
和双线性模型
÷
÷
÷
= K
，
= K
( 2)
y
y
t－1
(
因此 如能获得点
)
(
和点
)
÷
1
1
面或相机的位移相对于景物深度变化很小时效果较
1
1
， ，
好 而当背景在相机运动过程中产生强视差时 这些模
T
T
，
( x ，y )
t
( x ，y
t － 1
)
间的运动
t
t － 1
， ．
型不能准确描述背景运动 会导致错误的补偿结果 为
，
方程 通过式
( 2)
p
p
．
间的运动方程
即可获得点
与
t
t － 1
， ［17］ ，
此 文献 提出了改进的运动补偿模型 通过引入椭
P ， P
由于点 来自于背景 点 的图像运动完全由于相机
，
球面方程增加模型的自由度 从而增强模型对复杂背
，
运动导致 有
， ．
景的描述能力 取得了一定的改进效果 但该方法增加
P
= R P + T
t
( 3)
t－1
cc
cc
，
了运动补偿模型参数的个数 求解难度增大
．
，R
T ．
表示相机的旋转矩阵和平移向量 将式
cc
其中
和
cc
本文提出一种基于运动补偿的运动目标检测新方
( 1)
( 3)
可得
带入式
． ，
法 通过建立多个局部子块运动补偿模型 解决强视差
p
p
－1
t－1
－1
t
Z
K
= Z R K
cc
+ T
( 4)
， ．
场景下 背景分布难于用同一运动模型描述的问题 并
t－1
t
cc
(
)
(
)
1
1
，
通过引入自车运动参数 将运动补偿模型参数简化为
令
， ．
一维参数 降低求解难度 通过子块运动补偿图像和真
r
r
r
r
r
11
12
22
32
13
23
33
． ，
实图像之间的差异信息检测运动目标物 此外 为解决
T
÷
r
r
R =
cc
，T = ( T ，T ，T )
y
21
cc
x
z
，
鱼眼相机的成像形变问题 本文还提出了一种三平面
÷
÷
r
r
，
校正方法 获得鱼眼图像的子块运动补偿图像
．
31
( 2)
( 4)
整理可得
将式
带入式
2
子块运动补偿
Z ( r x + r y + r ) + T
t
t
11
t
12
13
x
z
x
=
t－1
Z ( r x + r y + r ) + T
32
2. 1
相机及车体坐标系的建立
t
31
t
t
33
( 5)
O － X'Y'Z'，
以相机光心为原点建立车体坐标系
OY' ，OZ'
其
Z ( r x + r y + r ) + T
t
{
t
21
t
22
23
y
z
y
=
t－1
中
轴垂直指向地面
体 以相机光心为原点建立相机坐标系
，OX OY
轴分别平行于图像平面的
轴平行于地面且平行于车
Z ( r x + r y + r ) + T
32
t
31
t
t
33
．
O － XYZ，OZ
轴
( 5)
p
p
与
式
给出了点
间的归一化坐标点间的运动
t － 1
t
与相机光轴重合
和
，
方程 结合式
( 2)
p
p
与
可获得点
图像像素点间的运
t － 1
t
ou
ov ．
轴和 轴 从车体坐标系到相机坐标系的旋转矩阵
．
动方程 对于像素点
p ，
如已知
t
R ，T ，Z ，K，
通过式
cc
cc
t
R ，
本文中相机安装后
wc
R
，
［23］
为定值 可由文献
wc
为
的
( 5)
( 2)
p
t － 1
在 时刻相应的像素点
和式
可以求出点
t
．
外参标定方法求出
2. 2
p
．
p ， Z ，
事先无法获得其深度信息 因
t
位置
但对于点
t － 1
t
子块运动补偿模型建模
( 5)
( 2)
无法确定其前一时刻的对应点
此通过式
和式
Z
现有运动补偿模型通过对所有背景点深度信息
， ，
本文中 所有非运动目标统称为背景 图像像素分
p
．
t － 1
t
， 、 、
为背景和运动目标两类 背景包含道路 建筑物 树木
、
，
进行假设 建立图像所有背景点所满足的全局约束方
， 、 、
静止车辆等 运动目标包括运动行人 移动车辆 运动宠
，
程 从而消去
Z ．
t
， ，
但车载场景中 背景深度变化多样 认
． t
物等 对于 时刻图像中任意一给定的背景像素点设其
，
为所有背景点满足统一的约束方程 常常是不成立的
．
t
在 时刻和
t － 1 p p ，p
时刻图像中的位置分别为 和
t － 1
，
为此 本文假设图像局部区域内的背景点满足统一的
t
t
T
T
=
(
要构建
u ，v
t
)
，p
=
(
u
，v
t － 1
)
，
运动补偿模型建模即是
， ，
约束方程 这虽然也是对背景运动的近似描述 但是和
t
t － 1
t － 1
p
p
．
， p
间的运动方程 为推导该方程 令 与
t
与
．
现有模型相比更加接近背景的真实运动情况 基于这
t
t － 1
p
P，
对应于空间中一点 该点在
t － 1
t
时刻和 时刻相
， ，
种思想 本文提出子块运动补偿模型 通过建立多个局
t － 1
T
P ，P =
t
(
X ，Y ，Z
t
)
P
和
，
机坐标系下的坐标分别为
．
部子块运动方程描述图像背景运动 本文中图像子块
t
t
t － 1
t
T
A
t ，
通过对 时刻图像进行等大小无重叠分块获得 每一
i，t
P
=
(
X
，Y ，Z
t － 1
)
．
有
t － 1
t － 1
t － 1
n × n ． ， (
像素 然后 假设同一背景子块 局部
p
p
子块大小为
1
1
t
t－1
=
KP ，
t
=
KP
( 1)
t－1
(
)
(
)
Z
Z
) ，
小区域 内像素点的深度变化较小 即同一子块内像素
t
t－1
1
1
，
点具有近似相同的深度 建立子块
A
的深度约束方程
i，t
，Z
Z
P
t － 1
t
和 时刻相机坐标
其中
系中景深
3D
和
分别表示点
t
在
t － 1
( 6) ．
式
，K
．
为相机内参矩阵 式
( 1)
描述了空间真实
Z = D
t
( 6)
点坐标和其在相机成像平面的像点坐标的映射关
i，t
全部评论(0)