积分商城

最新搜索： PL2303 altium Designer 20 电路设计与仿真从入门到精通 CH340 排插 常用LOGO标识 microBUCK
您现在的位置是：首页 > 技术资料 > 基于空间结构化推理深度融合网络的RGB-D场景解析
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于空间结构化推理深度融合网络的RGB-D场景解析

更新时间：2019-12-24 06:54:44 大小：2M 上传用户：守着阳光1985查看TA发布的资源 标签：深度融合网络 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

为了弥补RGB-D场景解析中卷积神经网络空间结构化学习能力的不足,本文基于深度学习提出空间结构化推理深度融合网络,内嵌的结构化推理层有机地结合条件随机场和空间结构化推理模型,该层能够较为全面而准确地学习物体所处三维空间的物体分布以及物体间的三维空间位置关系.在此基础上,网络的特征融合层巧妙地利用深度置信网络和改进的条件随机场,该层可以根据融合生成的物体综合语义信息和物体间语义相关性信息完成深度结构化学习.实验结果表明,在标准RGB-D数据集NYUDv2和SUNRGBD上,空间结构化推理深度融合网络分别实现最优的平均准确率53.8%和54.6%,从而有助于实现机器人任务规划、车辆自动驾驶等智能计算机视觉任务.


部分文件列表

文件名 大小
基于空间结构化推理深度融合网络的RGB-D场景解析.pdf 2M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
5
Vol． 46 No． 5  
May 2018  
第
期
电
子
学
报
2018  
5
ACTA ELECTRONICA SINICA  
年
月
基于空间结构化推理深度融合网络的  
RGB-D  
场景解析  
1
1
1
2
， ， ，  
王泽宇 吴艳霞 张国印 布树辉  
( 1．  
，
哈尔滨工程大学计算机科学与技术学院 黑龙江哈尔滨  
150001;  
2． ， 710072)  
西北工业大学航空学院 陕西西安  
:
RGB-D ，  
场景解析中卷积神经网络空间结构化学习能力的不足 本文基于深度学习提出空  
摘
要
为了弥补  
， ，  
间结构化推理深度融合网络 内嵌的结构化推理层有机地结合条件随机场和空间结构化推理模型 该层能够较为  
． ，  
全面而准确地学习物体所处三维空间的物体分布以及物体间的三维空间位置关系 在此基础上 网络的特征融合  
，
层巧妙地利用深度置信网络和改进的条件随机场 该层可以根据融合生成的物体综合语义信息和物体间语义相关  
RGB-D NYUDv2 SUNRGBD ，  
上 空间结构化推理深度  
．
，
性信息完成深度结构化学习 实验结果表明 在标准  
数据集  
和
53． 8% 54． 6% ， 、  
和 从而有助于实现机器人任务规划 车辆自动驾驶等智能计  
融合网络分别实现最优的平均准确率  
．
算机视觉任务  
:
RGB-D  
; ; ; ; ;  
场景解析 深度学习 卷积神经网络 条件随机场 空间结构化推理模型 深度置信网络  
;
关键词  
;
;
计算机视觉 机器人任务规划 车辆自动驾驶  
TP391． 413; TP18  
URL: http: / /www． ejournal． org． cn  
:
:
A
: 0372-2112 ( 2018) 05-1253-06  
DOI: 10． 3969 /j． issn． 0372-2112． 2018． 05． 035  
中图分类号  
电子学报  
文献标识码  
文章编号  
RGB-D Scene Parsing Based on Spatial  
Structured Inference Deep Fusion Networks  
1
1
1
2
WANG Ze-yu ，WU Yan-xia ，ZHANG Guo-yin ，BU Shu-hui  
( 1． College of Computer Science and Technology，Harbin Engineering University，Harbin，Heilongjiang 150001，China;  
2． School of Aeronautics，Northwestern Polytechnical University，Xi’an，Shaanxi 710072，China)  
Abstract: In order to make up the drawbacks that convolutional neural networks lack the ability of spatial structured  
learning in RGB-D scene parsing，we propose spatial structured inference deep fusion networks ( SSIDFNs) on the basis of  
deep learning，the embedded structural inference layer organically combines conditional random fields ( CRFs) and spatial  
structured inference model，which is able to learn the three-dimensional spatial distributions of objects and three-dimensional  
spatial relationships among objects in a more comprehensive and accurate way． Furthermore，the feature fusion layer takes  
both advantages of deep belief networks and improved CRFs，which is able to achieve deep structured learning according to  
the comprehensive semantic information of objects and semantic correlation information among objects． The experimental re-  
sults demonstrate that the proposed SSIDFNs achieve the best mean accuracy 53． 8% and 54． 6% on the standard RGB-D  
datasets NYUDv2 and SUNRGBD respectively，which will be helpful to implement intelligent computer vision tasks，such as  
robot task planning and self-driving cars．  
Key words: RGB-D scene parsing; deep learning; convolutional neural networks; conditional random fields; spatial  
structured inference model; deep belief networks; computer vision; robot task planning; self-driving cars  
［1］  
，
注类别  
准确的场景解析有助于实现机器人任务规  
1
引言  
［2］  
［3］  
、 ．  
车辆自动驾驶 等智能计算机视觉任务 场景解  
划
场景解析的任务是在场景图像中逐像素地自动标  
2
析需要解决如下 个问题  
: ( 1)  
如何有效地提取图像中  
: 2017-05-19;  
: 2018-01-10; :  
责任编辑 覃怀银  
收稿日期  
修回日期  
: ( No．2016YFB1000400) ;  
基金项目 国家重点研发计划  
( No．2017RAYXJ016) ;  
哈尔滨市杰出青年人才基金  
( No． HEUCF170605) ;  
中央高校自由探索基金 国家  
( No．61573284)  
自然科学基金  
1254  
2018  
年
电
子
学
报
; ( 2)  
．
图像信息描绘三维空间内物体间的结构化特性 为了  
物体的视觉特征  
如何准确地学习物体的空间关系  
( Fully Convolutional Neu-  
． ，  
特征 近些年 全卷积神经网络  
，
解决上述问题 本文提出空间结构化推理深度融合网  
( Spatial Structured Inference Deep Fusion Networks，  
络
ral Networks，FCNNs)  
通过逐层的卷积和反卷积操作解  
FCNNs  
较小的感知域使得提取的视觉  
［1，4］  
，
SSIDFNs) ，SSIDFNs  
析场景  
但是  
能够较为全面而准确地学习物体所  
［5］  
． ，  
特征缺少空间结构化信息 为此 条件随机场  
( Condi-  
处三维空间的物体分布和物体间的三维空间位置关  
tional Random Fields，CRFs)  
，
系 从而调优分类结果和避免分类错误  
．
被用来根据相邻物体之间  
［6 ～ 8］  
FCNNs  
， CRFs  
但是 不  
特征的相似度调优  
分类概率  
2
空间结构化推理深度融合网络  
．
能显式地推理空间结构化信息 为了进一步提升  
FCNNs  
SSIDFNs  
，
由特征学习层 结构化推理层和特征融合  
，
准确 率 长 短 期 记 忆 网 络  
( Long Short Term Memory，  
， 1  
层组成 如图 所示  
．
LSTM)  
通过逐像素地遍历图像特征显式地学习物体间  
［9，10］  
，
但是  
LSTM  
RGB-D  
未能有效地学习  
空间依赖关系  
l
，Q  
，conv、relu  
pool  
和
2． 1  
层的特征  
表示特征类型  
分别表  
，N、H  
特征学习层  
特征学习层由两路并行的  
RGB  
、
示卷积 校正和池化操作  
，deconv  
表示反卷积操作  
，up  
表示上采  
FCNNs  
，
组成 分别用来  
( Hierarchical Visual  
图 像 的 多 维 视 觉 特 征  
W
、
和
分别表示特征的维数 高度和宽度  
学习  
［1，6］  
［1］  
．
样操作  
( m，n) ，  
假设 中 像 素 的 坐 标 为 经 超 像 素 分  
Features，HVF)  
HHA  
( Hierar-  
和
图像 的多维几何特征  
chical Geometric Features，HGF) ．  
FCNNs  
I
p
［11］  
， I  
则
S
HVF  
HGF  
和 可以分别表示为  
割
中超像素  
的
L
L
，
假设  
由
个卷积层和 个反卷积层组成  
c
d
HVF  
HGF  
［1，6］  
f
f
:
和
S
S
HVF  
则级联上采样的卷积和反卷积特征  
生成的  
和
HVF  
N
HVF  
HVF  
HGF  
f
=
R ，  
∈
F
( m，n) /N  
S
∑
S
HGF  
F
F
:
可以分别表示为  
和
2
p
S
∈
( 3)  
I，  
l = 0  
HGF  
N
HGF  
f
=
R
∈
F
( m，n) /N  
S
∑
S
Q
2
Q
p
S
∈
pool( relu( conv( F ) ) ) ，  
l － 1  
1
l
≤ ≤  
L
F =  
l
c
( 3) : N S p ．  
表示超像素 内像素 的个数  
S
{
[
式
中
Q
deconv( F ) ，  
l － 1  
L ＜ l L + L  
≤
c
c
d
2． 2  
结构化推理层  
( 1)  
，
在结构化推理层 如图  
2( a)  
． ，CRFs  
所示 首先 依据  
HVF  
HVF  
HVF  
HVF  
N ×H ×W  
F
=
up( F ) ，…，up( F ) ，…，up( F  
Lc  
)
]
R
∈
，
1
Lc +Ld  
LAB  
相邻超 像 素 对  
颜 色 特征的 相 似 度 调 优 分 类 结  
( Spatial Structured  
HGF  
HGF  
HGF  
HGF  
N ×H ×W  
［5，8］  
F
=
[
up( F ) ，…，up( F ) ，…，up( F  
Lc  
)
]
R
∈
1
Lc +Ld  
;
，
然后 空间结构化推理模型  
果
( 2)  
表示第  
Inference Model，SSIM) CRFs  
一方面通过  
分类概率推理  
Q
［8］  
( 1) ( 2) : I  
和 中  
RGB  
HHA ，F  
图像  
式
表示  
或者  
( Node Three-Dimensional Spatial  
节点三维空间特征  
l

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号