积分商城

最新搜索： xc7a50t STM32F103C8T6 stm32f0 usb源码 aiwa I9300 Authorware 4.0
您现在的位置是：首页 > 技术资料 > 一种联合文本和图像信息的行人检测方法
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

一种联合文本和图像信息的行人检测方法

更新时间：2019-12-24 00:48:46 大小：1M 上传用户：zhiyao6查看TA发布的资源 标签：行人检测 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

针对纯视觉行人检测方法存在的误检、漏检率高,遮挡目标以及小尺度目标检测精度低等问题,提出一种联合文本和图像信息的行人检测方法.该方法首先利用图像分析的方法初步获取图像目标的候选框,其次通过文本分析的方法获取文本中有关图像目标的实体表达,并提出一种基于马尔科夫随机场的模型用于推断图像候选框与文本实体表达之间的共指关系(Coreference Relation),以此达到联合图像和文本信息以辅助机器视觉提高交通场景下行人检测精度的目的.在增加了图像文本描述的加州理工大学行人检测数据集上进行的测评结果表明,该方法不仅可以在图像信息的基础上联合文本信息提高交通场景中的行人检测精度,也能在文本信息的基础上联合图像信息提高文本中的指代消解(Anaphora Resolution)精度.


部分文件列表

文件名 大小
一种联合文本和图像信息的行人检测方法.pdf 1M

部分页面预览

（完整内容请下载后查看）
1
Vol． 45 No． 1  
Jan． 2017  
第
期
电
子
学
报
2017  
1
ACTA ELECTRONICA SINICA  
年
月
一种联合文本和图像信息的行人检测方法  
1，2  
1，2  
3
1，2  
1，2  
， ， ， ，  
周炫余 刘 娟 卢 笑 邵 鹏 罗 飞  
( 1．  
，
武汉大学软件国家重点实验室 湖北武汉  
430072; 2．  
，
武汉大学计算机学院 湖北武汉  
430072;  
3．  
，
湖南大学电气与信息工程学院 湖南长沙  
410082)  
:
、 ， ，  
针对纯视觉行人检测方法存在的误检 漏检率高 遮挡目标以及小尺度目标检测精度低等问题 提出一  
摘
要
． ，  
种联合文本和图像信息的行人检测方法 该方法首先利用图像分析的方法初步获取图像目标的候选框 其次通过文本  
，
分析的方法获取文本中有关图像目标的实体表达 并提出一种基于马尔科夫随机场的模型用于推断图像候选框与文  
( Coreference Relation) ，  
以此达到联合图像和文本信息以辅助机器视觉提高交通场景下行  
本实体表达之间的共指关系  
． ，  
人检测精度的目的 在增加了图像文本描述的加州理工大学行人检测数据集上进行的测评结果表明 该方法不仅可以  
，
在图像信息的基础上联合文本信息提高交通场景中的行人检测精度 也能在文本信息的基础上联合图像信息提高文  
( Anaphora Resolution)  
．
精度  
本中的指代消解  
:
;
;
-
;
;
关键词  
中图分类号  
URL: http: / /www． ejournal． org． cn  
行人检测 马尔科夫随机场 文本 图像信息联合 共指关系 指代消解  
TP391 0372-2112 ( 2017) 01-0140-07  
DOI: 10． 3969 /j． issn． 0372-2112． 2017． 01． 020  
:
:
A
:
文章编号  
文献标识码  
电子学报  
A Method for Pedestrian Detection by  
Combining Textual and Visual Information  
1，2  
1，2  
3
1，2  
1，2  
ZHOU Xuan-yu ，LIU Juan ，LU Xiao ，SHAO Peng ，LUO Fei  
( 1． State Key Lab of Software Engineering，Wuhan University，Wuhan，Hubei 430072，China;  
2． Computer School，Wuhan University，Wahan，Hubei 430072，China;  
3． College of Electrical and Information Engineering，Hunan University，Changsha，Hunan 410082，China)  
Abstract: Existing vision-based pedestrian detection methods encounter many flaws，such as high false and miss de-  
tection rates，low detection accuracy on partial occluded and small scale objects，etc． In this paper，we propose a pedestrian  
detection method combining textual and visual information together． First，we use a vision-based method to initially localize  
the candidate visual objects． Second，we analyze the text information to get the text mentions corresponding to the visual ob-  
jects． Finally，we propose a Markov random field-based model to infer the coreference relations between the candidate visual  
objects and textual mentions，so that the visual and textual information can be fused efficiently． The experimental results on  
the Caltech pedestrian detection benchmark enriched with textual description information have shown that the proposed meth-  
od can not only improve the pedestrian detection accuracy by combining textual information with visual information，but also  
outperform the baseline anaphora resolution model by combining visual information with textual information．  
Key words: pedestrian detection; Markov random field; text and image information combination; coreference rela-  
tion; anaphora resolution  
［3］  
［4］  
、
的特征 设计强判别能力的分类器  
、
、
以及对多视图  
1
引言  
［5］  
，
多姿态检测问题的研究  
以提高该类方法的检测精度  
，
行人检测是智能车辆的重要研究内容 也是计算机  
． ， ，  
和速度 然而 在复杂的城市道路环境下 车辆和行人通  
［1］  
．
视觉的研究热点  
传统的纯视觉的行人检测方法是基  
，
常一起出现并存在相互遮挡的现象 智能车辆无法对当  
［2］  
，
于滑动窗口的检测机制  
并通过挖掘有强大描述能力  
; ， (  
前的交通环境做出正确的感知 此外 算法对远距离 低  
: 2015-12-10;  
: 2016-05-26;  
:
责任编辑 李勇锋  
收稿日期  
修回日期  
:
基金项目 国家自然科学基金  
( No． 61272274) ;  
( No． 61402340) ;  
( No． 2014CFB194)  
湖北省自然科学基金  
国家自然科学基金青年项目  
141  
1
:
周炫余 一种联合文本和图像信息的行人检测方法  
第
期
、 ) ，  
分辨率 小尺度 目标检测精度低 以致车辆无法及时准  
;
本中相邻两个实体表达之间的势函数 橙色方框表示  
． ，  
确的检测出行人 针对上述两个问题 研究者们提出了相  
，
文本实体表达与图像目标实体的共指信息 其中 φ 表  
a，c  
［6，7］  
．
．
应的解决方法  
但这些纯视觉的方法只是为了解决  
示文本实体和图像目标共指的势函数  
，
某一具体检测问题 并没有同时考虑交通场景中所有难  
［8］  
，
点
如何在原有视觉信息的基础上融入新的信息以提  
．
高检测精度成为了当前研究的难点 随着语音识别和人  
，
机交互水平的提高 通过语言辅助机器视觉系统控制智  
．
能车辆通过复杂的城市道路环境成为了可能 当有行人  
被车辆或者被其它物体部分遮挡导致视觉处理方法没有  
，
成功检测出行人时 乘客可以通过简单的语言描述提示  
， : “ ，  
智能车辆 例如 前方有两辆汽车 其中深色汽车的右方  
， ”．  
有两个行人 他们有可能横穿马路 简单的语言描述可  
［9］  
，
以为机器视觉提供丰富的信息  
并辅助智能车辆更好  
．
的感知当前道路环境  
文本信息与图像信息正确 有效联合的关键步骤  
( Mention)  
、
是找出文本中所有的实体表达  
和图像中的目  
之间的共指关系 而正确找出文本中所  
有的目标实体需要对文本中所有的实体表达进行指代  
( Anaphora resolution) ．  
2． 1  
文本分析  
( Entity)  
．
标实体  
2． 1． 1  
文本预处理  
、 、  
文本预处理主要包括分词 词性标注 命名实体识  
，
在过去的十年中 对联合文  
消解  
［10］  
、 ．  
别 句法树分析 为了保证预处理的模块的精度以及数  
本和图像信息的研究主要集中在图像检索 和自然语  
［11，12］  
，
据流的格式的一致性 文本预处理各基础自然语言预  
，
言生成  
理解视觉场景 和图像语义划分  
针对纯视觉行人检测算法的不足 引入交通场景  
也有少量研究者通过自然语言帮助机器  
*
［13］  
［9］  
．
处理技术均由斯坦福自然语言处理小组提供  
2． 1． 2  
本文将交通场景中的文本实体表达分为名词短语  
．
实体表达识别  
，
．
的文本描述以增强智能车辆对场景的理解 为了实现  
．
和代词两种表现形式  
，
这一目的 提出了一种联合文本和图像信息的马尔科  
: ，  
名词短语 在场景描述中存在多个行人和车辆 单  
．
夫随机场模型用于提高交通场景的行人检测精度 该  
［3］  
纯的名词不能有效的提供文本属性帮助文本实体表达  
HOG-SVM  
方法首先通过  
有可能存在行人的候选框 其次通过马尔科夫随机场  
模型结合文本信息和图像信息进一步对候选框进行推  
算法初步获得交通场景中所  
， ．  
和图像中的目标实体对齐 因此需要引入名词短语 抽  
，
NN、NP、NR  
取所有的命名实体以及句法分析树上的  
等
［15］  
．
节点做为候选名词短语 借鉴文献 中的待消解项识  
， ．  
理 判断其是否为行人 方法在增加了图像描述文本的  
［14］  
， ．  
别模块 得到最终的名词短语 通过句法分析树以及句  
Caltech  
，
行人检测数据库 上进行了广泛的测评 结果  
法分析树的相互依赖关系可以获得修饰名词的各类属  
，
表明 所提出的方法性能比其它几类经典的纯视觉行  
， : 、 、 ( ) ;  
性特征 例如 正前方 左侧 右侧 方位属性 两个行  
．
人检测方法有明显的提高 同时该模型能有效地利用  
( ) ; ( ) ;  
人 单复数属性 深色的和浅色的 颜色属性 车辆和  
，
图像目标实体和文本中实体表达的共指关系 反向推  
( )  
行人 生命属性 等  
．
，
导出文本中各实体表达之间的指代关系 在所标注描  
:
代词 由于每一帧图像都采用了多个句子进行描  
，
述文本上的测评表明 反馈信息能有效的提高指代消  
， ，  
述 为了语言的简洁和通顺 在描述图像的文本中使用  
．
解模型的精度  
． ( )  
了一定数量的代词 将代词 或者为名词短语 和前文  
2
联合文本和图像信息的行人检测方法  
，
中所出现的名词短语关联起来的过程 叫做指代消解  
．
［16］  
Soon  
本文基于  
的所提出的思想 实现了一种最为经  
，
为了有效的联合文本和图像信息 将找出文本中  
的实体表达与图像中的目标实体的共指关系的问题视  
( MRF)  
，
典的中文指代消解模型 通过该模型可以得到每对实  
．
体表达之间的指代概率  
．
的推理问题 该模型分  
为马尔科夫随机场模型  
2． 2  
(
为文本信息层 ψ  
)
( ) ，  
和图像信息层 ψ 模型中变量  
rgb  
图像分析  
text  
， ，  
在交通场景中 行人往往和车辆同时出现 且它们  
1 ． ，  
关系如图 所示 黑色方框表示图像信息 其中 φ 表示  
c
，
单个图像目标的一元势函数 φ 表示相邻图像目标的  
c，c  
; ，  
二元势函数 蓝色方框表示文本信息 其中 φ 表示文  
a，a  
*
http: / /nlp． stanford． edu/software/  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

资料专题

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号