推荐星级：

一种联合文本和图像信息的行人检测方法

更新时间：2019-12-24 00:48:46 大小：1M 上传用户：zhiyao6 查看TA发布的资源 标签：行人检测 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

针对纯视觉行人检测方法存在的误检、漏检率高,遮挡目标以及小尺度目标检测精度低等问题,提出一种联合文本和图像信息的行人检测方法.该方法首先利用图像分析的方法初步获取图像目标的候选框,其次通过文本分析的方法获取文本中有关图像目标的实体表达,并提出一种基于马尔科夫随机场的模型用于推断图像候选框与文本实体表达之间的共指关系(Coreference Relation),以此达到联合图像和文本信息以辅助机器视觉提高交通场景下行人检测精度的目的.在增加了图像文本描述的加州理工大学行人检测数据集上进行的测评结果表明,该方法不仅可以在图像信息的基础上联合文本信息提高交通场景中的行人检测精度,也能在文本信息的基础上联合图像信息提高文本中的指代消解(Anaphora Resolution)精度.

部分文件列表

文件名	大小
一种联合文本和图像信息的行人检测方法.pdf	1M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

Vol． 45 No． 1

Jan． 2017

第

期

电

子

学

报

2017

ACTA ELECTRONICA SINICA

年

月

一种联合文本和图像信息的行人检测方法

1，2

，，，，

周炫余刘娟卢笑邵鹏罗飞

( 1．

，

武汉大学软件国家重点实验室湖北武汉

430072; 2．

，

武汉大学计算机学院湖北武汉

430072;

3．

，

湖南大学电气与信息工程学院湖南长沙

410082)

、，，

针对纯视觉行人检测方法存在的误检漏检率高遮挡目标以及小尺度目标检测精度低等问题提出一

摘

要

．，

种联合文本和图像信息的行人检测方法该方法首先利用图像分析的方法初步获取图像目标的候选框其次通过文本

，

分析的方法获取文本中有关图像目标的实体表达并提出一种基于马尔科夫随机场的模型用于推断图像候选框与文

( Coreference Relation) ，

以此达到联合图像和文本信息以辅助机器视觉提高交通场景下行

本实体表达之间的共指关系

．，

人检测精度的目的在增加了图像文本描述的加州理工大学行人检测数据集上进行的测评结果表明该方法不仅可以

，

在图像信息的基础上联合文本信息提高交通场景中的行人检测精度也能在文本信息的基础上联合图像信息提高文

( Anaphora Resolution)

．

精度

本中的指代消解

;

关键词

中图分类号

URL: http: / /www． ejournal． org． cn

行人检测马尔科夫随机场文本图像信息联合共指关系指代消解

TP391 0372-2112 ( 2017) 01-0140-07

DOI: 10． 3969 /j． issn． 0372-2112． 2017． 01． 020

文章编号

文献标识码

电子学报

A Method for Pedestrian Detection by

Combining Textual and Visual Information

1，2

ZHOU Xuan-yu ，LIU Juan ，LU Xiao ，SHAO Peng ，LUO Fei

( 1． State Key Lab of Software Engineering，Wuhan University，Wuhan，Hubei 430072，China;

2． Computer School，Wuhan University，Wahan，Hubei 430072，China;

3． College of Electrical and Information Engineering，Hunan University，Changsha，Hunan 410082，China)

Abstract: Existing vision-based pedestrian detection methods encounter many flaws，such as high false and miss de-

tection rates，low detection accuracy on partial occluded and small scale objects，etc． In this paper，we propose a pedestrian

detection method combining textual and visual information together． First，we use a vision-based method to initially localize

the candidate visual objects． Second，we analyze the text information to get the text mentions corresponding to the visual ob-

jects． Finally，we propose a Markov random field-based model to infer the coreference relations between the candidate visual

objects and textual mentions，so that the visual and textual information can be fused efficiently． The experimental results on

the Caltech pedestrian detection benchmark enriched with textual description information have shown that the proposed meth-

od can not only improve the pedestrian detection accuracy by combining textual information with visual information，but also

outperform the baseline anaphora resolution model by combining visual information with textual information．

Key words: pedestrian detection; Markov random field; text and image information combination; coreference rela-

tion; anaphora resolution

［3］

［4］

、

的特征设计强判别能力的分类器

、

以及对多视图

引言

［5］

，

多姿态检测问题的研究

以提高该类方法的检测精度

，

行人检测是智能车辆的重要研究内容也是计算机

．，，

和速度然而在复杂的城市道路环境下车辆和行人通

［1］

．

视觉的研究热点

传统的纯视觉的行人检测方法是基

，

常一起出现并存在相互遮挡的现象智能车辆无法对当

［2］

，

于滑动窗口的检测机制

并通过挖掘有强大描述能力

; ， (

前的交通环境做出正确的感知此外算法对远距离低

: 2015-12-10;

: 2016-05-26;

责任编辑李勇锋

收稿日期

修回日期

基金项目国家自然科学基金

( No． 61272274) ;

( No． 61402340) ;

( No． 2014CFB194)

湖北省自然科学基金

国家自然科学基金青年项目

141

周炫余一种联合文本和图像信息的行人检测方法

第

期

、 ) ，

分辨率小尺度目标检测精度低以致车辆无法及时准

;

本中相邻两个实体表达之间的势函数橙色方框表示

．，

确的检测出行人针对上述两个问题研究者们提出了相

，

文本实体表达与图像目标实体的共指信息其中 φ 表

a，c

［6，7］

．

应的解决方法

但这些纯视觉的方法只是为了解决

示文本实体和图像目标共指的势函数

，

某一具体检测问题并没有同时考虑交通场景中所有难

［8］

，

点

如何在原有视觉信息的基础上融入新的信息以提

．

高检测精度成为了当前研究的难点随着语音识别和人

，

机交互水平的提高通过语言辅助机器视觉系统控制智

．

能车辆通过复杂的城市道路环境成为了可能当有行人

被车辆或者被其它物体部分遮挡导致视觉处理方法没有

，

成功检测出行人时乘客可以通过简单的语言描述提示

， : “ ，

智能车辆例如前方有两辆汽车其中深色汽车的右方

， ”．

有两个行人他们有可能横穿马路简单的语言描述可

［9］

，

以为机器视觉提供丰富的信息

并辅助智能车辆更好

．

的感知当前道路环境

文本信息与图像信息正确有效联合的关键步骤

( Mention)

、

是找出文本中所有的实体表达

和图像中的目

之间的共指关系而正确找出文本中所

有的目标实体需要对文本中所有的实体表达进行指代

( Anaphora resolution) ．

2． 1

文本分析

( Entity)

．

标实体

2． 1． 1

文本预处理

、、

文本预处理主要包括分词词性标注命名实体识

，

在过去的十年中对联合文

消解

［10］

、．

别句法树分析为了保证预处理的模块的精度以及数

本和图像信息的研究主要集中在图像检索和自然语

［11，12］

，

据流的格式的一致性文本预处理各基础自然语言预

，

言生成

理解视觉场景和图像语义划分

针对纯视觉行人检测算法的不足引入交通场景

也有少量研究者通过自然语言帮助机器

［13］

［9］

．

处理技术均由斯坦福自然语言处理小组提供

2． 1． 2

本文将交通场景中的文本实体表达分为名词短语

．

实体表达识别

，

．

的文本描述以增强智能车辆对场景的理解为了实现

．

和代词两种表现形式

，

这一目的提出了一种联合文本和图像信息的马尔科

: ，

名词短语在场景描述中存在多个行人和车辆单

．

夫随机场模型用于提高交通场景的行人检测精度该

［3］

纯的名词不能有效的提供文本属性帮助文本实体表达

HOG-SVM

方法首先通过

有可能存在行人的候选框其次通过马尔科夫随机场

模型结合文本信息和图像信息进一步对候选框进行推

算法初步获得交通场景中所

，．

和图像中的目标实体对齐因此需要引入名词短语抽

，

NN、NP、NR

取所有的命名实体以及句法分析树上的

等

［15］

．

节点做为候选名词短语借鉴文献中的待消解项识

，．

理判断其是否为行人方法在增加了图像描述文本的

［14］

，．

别模块得到最终的名词短语通过句法分析树以及句

Caltech

，

行人检测数据库上进行了广泛的测评结果

法分析树的相互依赖关系可以获得修饰名词的各类属

，

表明所提出的方法性能比其它几类经典的纯视觉行

， : 、、 ( ) ;

性特征例如正前方左侧右侧方位属性两个行

．

人检测方法有明显的提高同时该模型能有效地利用

( ) ; ( ) ;

人单复数属性深色的和浅色的颜色属性车辆和

，

图像目标实体和文本中实体表达的共指关系反向推

( )

行人生命属性等

．

，

导出文本中各实体表达之间的指代关系在所标注描

代词由于每一帧图像都采用了多个句子进行描

，

述文本上的测评表明反馈信息能有效的提高指代消

，，

述为了语言的简洁和通顺在描述图像的文本中使用

．

解模型的精度

． ( )

了一定数量的代词将代词或者为名词短语和前文

联合文本和图像信息的行人检测方法

，

中所出现的名词短语关联起来的过程叫做指代消解

．

［16］

Soon

本文基于

的所提出的思想实现了一种最为经

，

为了有效的联合文本和图像信息将找出文本中

的实体表达与图像中的目标实体的共指关系的问题视

( MRF)

，

典的中文指代消解模型通过该模型可以得到每对实

．

体表达之间的指代概率

．

的推理问题该模型分

为马尔科夫随机场模型

2． 2

(

为文本信息层 ψ

)

( ) ，

和图像信息层 ψ 模型中变量

rgb

图像分析

text

，，

在交通场景中行人往往和车辆同时出现且它们

1 ．，

关系如图所示黑色方框表示图像信息其中 φ 表示

，

单个图像目标的一元势函数 φ 表示相邻图像目标的

c，c

; ，

二元势函数蓝色方框表示文本信息其中 φ 表示文

a，a

http: / /nlp． stanford． edu/software/

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

一种联合文本和图像信息的行人检测方法

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页