您现在的位置是：首页 > 技术资料 > 深度学习在视频目标跟踪中的应用进展与展望

推荐星级：

深度学习在视频目标跟踪中的应用进展与展望

更新时间：2020-01-01 16:41:21 大小：590K 上传用户：songhuahua 查看TA发布的资源 标签：深度学习 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

视频目标跟踪是计算机视觉的重要研究课题,在视频监控、机器人、人机交互等方面具有广泛应用.大数据时代的到来及深度学习方法的出现,为视频目标跟踪的研究提供了新的契机.本文首先阐述了视频目标跟踪的基本研究框架.对新时期视频目标跟踪研究的特点与趋势进行了分析,介绍了国际上新兴的数据平台、评测方法.重点介绍了目前发展迅猛的深度学习方法,包括堆叠自编码器、卷积神经网络等在视频目标跟踪中的最新具体应用情况并进行了深入分析与总结.最后对深度学习方法在视频目标跟踪中的未来应用与发展方向进行了展望.

部分文件列表

文件名	大小
深度学习在视频目标跟踪中的应用进展与展望.pdf	590K

立即下载

【关注公众号领20积分】

部分页面预览

（完整内容请下载后查看）

第 42 卷第 6 期

2016 年 6 月

自

动

化

学

报

Vol. 42， No. 6

June， 2016

ACTA AUTOMATICA SINICA

深度学习在视频目标跟踪中的应用进展与展望

安志勇 ¹

管皓 ¹

薛向阳 ¹

摘

要

视频目标跟踪是计算机视觉的重要研究课题，在视频监控、机器人、人机交互等方面具有广泛应用. 大数据时代的到

来及深度学习方法的出现，为视频目标跟踪的研究提供了新的契机. 本文首先阐述了视频目标跟踪的基本研究框架. 对新时期

视频目标跟踪研究的特点与趋势进行了分析，介绍了国际上新兴的数据平台、评测方法. 重点介绍了目前发展迅猛的深度学习

方法，包括堆叠自编码器、卷积神经网络等在视频目标跟踪中的最新具体应用情况并进行了深入分析与总结. 最后对深度学习

方法在视频目标跟踪中的未来应用与发展方向进行了展望.

关键词目标跟踪，视频分析，在线学习，深度学习，大数据

引用格式管皓，薛向阳，安志勇. 深度学习在视频目标跟踪中的应用进展与展望. 自动化学报， 2016， 42（6）： 834-847

DOI 10.16383/j.aas.2016.c150705

Advances on Application of Deep Learning for Video Object Tracking

GUAN Hao¹

XUE Xiang-Yang¹

AN Zhi-Yong¹

Abstract Video object tracking is an important research topic of computer vision with numerous applications including

surveillance， robotics， human-computer interface， etc. The coming of big data era and the rise of deep learning methods

have oﬀered new opportunities for the research of tracking. Firstly， we present the general framework for video object

tracking research. Then， we introduce new arisen datasets and evaluation methodology. We highlight the application

of the rapid-developing deep-learning methods including stacked autoencoder and convolutional neural network on video

object tracking. Finally， we have a discussion and provide insights for future.

Key words Object tracking， video analysis， online learning， deep learning， big data

Citation Guan Hao， Xue Xiang-Yang， An Zhi-Yong. Advances on application of deep learning for video object tracking.

Acta Automatica Sinica， 2016， 42（6）： 834-847

视频目标跟踪是计算机视觉领域的重要研究课

题其主要任务是获取视频序列中感兴趣的目标的

位置与运动信息为进一步的语义层分析动作识

别、场景识别等提供基础其定义是给定视频序

列初始帧中目标的位置框一般为矩形框在接下

来的视频序列中自动给出该目标的位置框或者在目

标离开视域时给出提示视频目标跟踪研究在智能

视频监控、人机交互、机器人等领域有广泛应用具

语义层的分类识别等任务所使用因此视频目

标跟踪是处于视频内容分析研究的中间层次模块

视频目标跟踪研究有较多分支内容十分丰富

按照跟踪目标是否已知可分为特定目标跟踪与非

特定目标跟踪特定目标的跟踪可以利用先验知识

对目标外观进行建模典型代表有手的跟踪、人眼跟

踪、头或脸部跟踪等其中手的跟踪在人机交互方面

有重要应用是未来非接触式交互工具的基础非特

有很强的实用价值视频目标跟踪同视频目标检测、定目标跟踪对目标无任何先验知识只能利用第一

视频分类识别一样都是视频内容分析的重要方

面在一个实用的计算机视觉系统中跟踪的初始状

态由检测结果所提供同时其所给出的运动信息为

帧所给出的标注信息因其较高的难度一直以来都

是跟踪研究的重点按照跟踪目标的数量可分为单

目标跟踪和多目标跟踪单目标跟踪是最早、最基

础也是目前研究最多的分支多目标跟踪研究随着

近年来数据关联等方法的出现也日益增多并发展较

快按照获取目标数据的摄像头的特点可以分为单

摄像头跟踪、多摄像头跟踪和跨摄像头跟踪也称为

重识别单摄像头跟踪最为基础其特点是无法获

取目标的深度信息多摄像头跟踪可以捕获目标多

个视角的图像从而获取深度信息但图像融合难度

较大跨摄像头跟踪是近年来跟踪领域里面新兴的

研究课题旨在弥补目前固定摄像头的视域局限在

目前的安防领域中具有重要的实用价值

收稿日期 2015-10-26 录用日期 2016-05-03

Manuscript received October 26， 2015； accepted May 3， 2016

国家自然科学基金（61572138），上海市科技创新行动计划项目

（15511104402）资助

Supported by National Natural Science Foundation of China

（61572138） and Science and Technology Commission of Shanghai

Municipality （15511104402）

本文责任编委柯登峰

Recommended by Associate Editor KE Deng-Feng

1. 复旦大学计算机科学技术学院上海市智能信息处理重点实验室上海

201203

1. Shanghai Key Laboratory of Intelligent Information Process-

ing， School of Computer Science， Fudan University， Shanghai

201203

6 期

管皓等：深度学习在视频目标跟踪中的应用进展与展望

835

此外还有刚体跟踪与非刚体跟踪、离线跟踪与

在线跟踪、跟踪、红外小目标跟踪等研究分

某一特征空间从而为后面不同外观模型的处理提

供基础外观模型旨在对目标外观进行有效建模与

描述从而将目标以最大的区分度被跟踪系统搜索

到具体跟踪时通过计算候选样本的相似度、可信

度得分最高的样本被确定为最终的预测结果

目标在新一帧视频中的位置最终确定以后一

般要利用新得到的数据对目标的外观模型进行更新

操作这样做的目的是适应目标在线运动过程中外

观的变化

支限于篇幅本文不再一一列举本文主要以单摄

像头下的单目标跟踪进行说明该部分研究的历史

较长成果最为丰富是目前视频目标跟踪的主流内

容最能体现跟踪的本质特点而其他分支的内容则

多与图形学、图像识别以及具体领域知识等有所交

叉融合

将视频中目标的运动信息进行提取一直以来都

是多媒体内容分析研究中的重要方面因此视频目

标跟踪是一个研究历史并不短的课题许多经典的

运动模型

在视频序列中对目标的位置进行预测时会在

上一帧跟踪框的基础上在原目标位置周围产生一

定数量的候选位置跟踪算法就是要在这些候选位

置中寻找出一个最优解运动模型在此过程中起到

核心作用即按照一定规则产生候选位置样本连续

两帧之间目标的位置不会相距过远运动模型就是

依据这个基本约束来以较高效率提供候选这是与

基于全图像扫描的目标检测的根本不同之处目前

运动模型主要分为三种

视频目标跟踪算法如均值漂移

已经作

为标准模块集成到影响较大的计算机视觉开发库如

等当中虽然其发展一直较为缓慢但是

随着目前大数据时代的到来在新时期下视频目标

跟踪研究取得了突飞猛进式的发展并呈现出许多新

的特点这主要得益于机器学习理论和技术的发展

以及较大规模跟踪数据集和评测平台的建设尤其

值得重视的是目前机器学习的前沿领域在多媒体

识别领域中取得了巨大成功的深度学习方法也开始

在视频目标跟踪研究中得以应用并取得了良好效果

本文在介绍视频目标跟踪研究的基本框架及自身特

点的基础上重点介绍深度学习方法在视频目标跟

踪研究中的最新应用情况通过结合视频目标跟踪

自身的特点对具体应用深度学习时存在的困难与

挑战进行了分析和探讨最后对其未来发展进行分

析和展望

均值漂移

均值漂移是一种基于核密度估计的非参数估

计方法文献

中首先将均值漂移算法应用于跟踪

问题此后成为经典跟踪方法在跟踪时需要设定

一个目标函数来计算目标与候选窗口的核密度而

后利用

准则作为匹配条件通过移

动均值向量来不断优化目标函数从而完成目标搜索

由于通过梯度优化来完成搜索因此基于均值漂移

的跟踪算法运行速度快、实时性高

1 视频目标跟踪系统框架及关键技术

滑动窗口

一般性视频目标跟踪系统的运行流程及框架如

图1所示

在目标周边正方形或者圆形范围内进行穷举搜

索的采样策略也称为密集采样这种方式将搜索范

围内所有可能的潜在位置都予以考虑但是要付出

较大的计算代价

粒子滤波

粒子滤波在经典的卡尔曼滤波的基础上发展而

来^［2］先验概率密度用加权粒采样样本粒子来近

似表示每个粒子的权值表示了该样本的重要程度

每次跟踪结果确定后会根据不同粒子的重要程度

进行重采样粒子滤波方法具有较高的计算效率同

时可以融入仿射变换信息因此目前在一些较好的

跟踪算法中应用较多

图 1 视频目标跟踪系统框架

Fig. 1 The framework of video object tracking

从整体上分为输入视频、运动模型、特征提取、

外观模型、位置确定、模型更新等几个步骤初始化

由视频序列中的第一帧给定一般由一个矩形框来

标定待跟踪的目标运动模型利用视频序列的时空

关联性在目标潜在空间范围内进行搜索或采样为

后面的特征提取、外观模型提供样本特征提取是

对目标外观进行有效编码从二维图像空间映射到

特征提取

特征是对目标的抽象化表示即从目标原始空

间映射到某一特征空间特征提取过程就是将原始

图像数据通过转换得到更有利于描述需求的表达方

式在多媒体内容分析的各个领域特征表达与提取

都是最重要的内容之一对于视频目标跟踪而言好

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

深度学习在视频目标跟踪中的应用进展与展望

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

资料专题

推荐下载

专栏首页