推荐星级:
  • 1
  • 2
  • 3
  • 4
  • 5

基于空间结构化推理深度融合网络的RGB-D场景解析

更新时间:2019-12-24 06:54:44 大小:2M 上传用户:守着阳光1985查看TA发布的资源 标签:深度融合网络 下载积分:1分 评价赚积分 (如何评价?) 打赏 收藏 评论(0) 举报

资料介绍

为了弥补RGB-D场景解析中卷积神经网络空间结构化学习能力的不足,本文基于深度学习提出空间结构化推理深度融合网络,内嵌的结构化推理层有机地结合条件随机场和空间结构化推理模型,该层能够较为全面而准确地学习物体所处三维空间的物体分布以及物体间的三维空间位置关系.在此基础上,网络的特征融合层巧妙地利用深度置信网络和改进的条件随机场,该层可以根据融合生成的物体综合语义信息和物体间语义相关性信息完成深度结构化学习.实验结果表明,在标准RGB-D数据集NYUDv2和SUNRGBD上,空间结构化推理深度融合网络分别实现最优的平均准确率53.8%和54.6%,从而有助于实现机器人任务规划、车辆自动驾驶等智能计算机视觉任务.


部分文件列表

文件名 大小
基于空间结构化推理深度融合网络的RGB-D场景解析.pdf 2M

部分页面预览

(完整内容请下载后查看)
5
Vol. 46 No. 5  
May 2018  
2018  
5
ACTA ELECTRONICA SINICA  
基于空间结构度融合网络的  
RGB-D  
景解析  
1
1
1
2
, , ,  
张国印 布辉  
( 1.  
哈尔滨计算科学技术学院 黑龙江哈尔滨  
150001;  
2. 710072)  
西学院 西西安  
:
RGB-D ,  
景解析中网络空间结构本文基于提出空  
为了弥补  
, ,  
结构度融合网络 结构机地和空间结构理模型 为  
,  
物体三维空间物体物体间三维空间关系 网络的特征融合  
网络据融合生成物体语义信息和物体间语义关  
RGB-D NYUDv2 SUNRGBD ,  
空间结构度  
信息结构实验准  
数据集  
53. 8% 54. 6% 、  
机器划 车自动驾驶计  
融合网络分别优的确率  
务  
:
RGB-D  
; ; ; ; ;  
景解析 网络 空间结构理模型 网络  
;
关键词  
;
;
计算机器划 车自动驾驶  
TP391. 413; TP18  
URL: http: / /www. ejournal. org. cn  
:
:
A
: 0372-2112 ( 2018) 05-1253-06  
DOI: 10. 3969 /j. issn. 0372-2112. 2018. 05. 035  
中图分类号  
电子学报  
文献标识码  
文章编号  
RGB-D Scene Parsing Based on Spatial  
Structured Inference Deep Fusion Networks  
1
1
1
2
WANG Ze-yu WU Yan-xia ZHANG Guo-yin BU Shu-hui  
( 1. College of Computer Science and TechnologyHarbin Engineering UniversityHarbinHeilongjiang 150001China;  
2. School of AeronauticsNorthwestern Polytechnical UniversityXianShaanxi 710072China)  
Abstract: In order to make up the drawbacks that convolutional neural networks lack the ability of spatial structured  
learning in RGB-D scene parsingwe propose spatial structured inference deep fusion networks ( SSIDFNs) on the basis of  
deep learningthe embedded structural inference layer organically combines conditional random fields ( CRFs) and spatial  
structured inference modelwhich is able to learn the three-dimensional spatial distributions of objects and three-dimensional  
spatial relationships among objects in a more comprehensive and accurate way. Furthermorethe feature fusion layer takes  
both advantages of deep belief networks and improved CRFswhich is able to achieve deep structured learning according to  
the comprehensive semantic information of objects and semantic correlation information among objects. The experimental re-  
sults demonstrate that the proposed SSIDFNs achieve the best mean accuracy 53. 8% and 54. 6% on the standard RGB-D  
datasets NYUDv2 and SUNRGBD respectivelywhich will be helpful to implement intelligent computer vision taskssuch as  
robot task planning and self-driving cars.  
Key words: RGB-D scene parsing; deep learning; convolutional neural networks; conditional random fields; spatial  
structured inference model; deep belief networks; computer vision; robot task planning; self-driving cars  
1]  
类别  
景解析机器规  
1
引言  
2]  
3]  
.  
自动驾驶 计算景解  
景解析的在场自动标  
2
需要问题  
: ( 1)  
中  
: 2017-05-19;  
: 2018-01-10; :  
责任覃怀银  
收稿日期  
回日期  
: ( No2016YFB1000400) ;  
国家划  
( No2017RAYXJ016) ;  
哈尔滨金  
( No. HEUCF170605) ;  
国家  
( No61573284)  
然科学金  
1254  
2018  
; ( 2)  
像信息三维空间物体间结构化特为了  
物体特征  
物体空间关系  
( Fully Convolutional Neu-  
,  
特征 网络  
问题 本文提出空间结构度融合网  
( Spatial Structured Inference Deep Fusion Networks,  
ral NetworksFCNNs)  
积和操作解  
FCNNs  
的感知使得提觉  
14]  
SSIDFNs) SSIDFNs  
景  
是  
物体所  
5]  
,  
特征空间结构信息 为此 场  
( Condi-  
三维物体间关  
tional Random FieldsCRFs)  
而调优分类分类错误  
间  
6 ~ 8]  
FCNNs  
CRFs  
不  
特征的优  
分类概率  
2
结构融合网络  
空间结构信息 为了进提升  
FCNNs  
SSIDFNs  
特征结构层和特征融合  
确 率 网 络  
( Long Short Term Memory,  
1  
示  
LSTM)  
遍历特征物体间  
910]  
是  
LSTM  
RGB-D  
能有习  
空间依赖关系  
l
Q  
convrelu  
pool  
2. 1  
的特征  
表示特征类型  
分别表  
NH  
特征  
特征层由的  
RGB  
化操作  
deconv  
表示操作  
up  
表示采  
FCNNs  
分别来  
( Hierarchical Visual  
的 多 特 征  
W
分别表示特征的度和宽度  
习  
16]  
1]  
操作  
( mn) ,  
素 的 为 经 素 分  
FeaturesHVF)  
HHA  
( Hierar-  
的多维几何特征  
chical Geometric FeaturesHGF) .  
FCNNs  
I
p
11]  
I  
S
HVF  
HGF  
分别表示为  
素  
L
L
设  
积层和 个反积层成  
c
d
HVF  
HGF  
16]  
f
f
:
S
S
HVF  
积和特征  
生成的  
HVF  
N
HVF  
HVF  
HGF  
f
=
R ,  
F
( mn) /N  
S
S
HGF  
F
F
:
分别表示为  
2
p
S
( 3)  
I,  
l = 0  
HGF  
N
HGF  
f
=
R
F
( mn) /N  
S
S
Q
2
Q
p
S
pool( relu( conv( F ) ) ) ,  
l - 1  
1
l
≤ ≤  
L
F =  
l
c
( 3) : N S p .  
表示素 的数  
S
{
[
Q
deconv( F ) ,  
l - 1  
L l L + L  
c
c
d
2. 2  
结构层  
( 1)  
在结构图  
2( a)  
CRFs  
示 首据  
HVF  
HVF  
HVF  
HVF  
N ×H ×W  
F
=
up( F ) up( F ) up( F  
Lc  
)
]
R
1
Lc +Ld  
LAB  
素 对  
征的 优 分 类 结  
( Spatial Structured  
HGF  
HGF  
HGF  
HGF  
N ×H ×W  
58]  
F
=
[
up( F ) up( F ) up( F  
Lc  
)
]
R
1
Lc +Ld  
;
模型  
( 2)  
表示第  
Inference ModelSSIM) CRFs  
方面过  
分类概率推理  
Q
8]  
( 1) ( 2) : I  
中  
RGB  
HHA F  
像  
表示  
者  
( Node Three-Dimensional Spatial  
征  
l

全部评论(0)

暂无评论

上传资源 上传优质资源有赏金

  • 打赏
  • 30日榜单

推荐下载