积分商城

最新搜索： 相位差磁调制 icn2027 电机 ATmega8U2 STM32H743 核心板 qcom
您现在的位置是：首页 > 技术资料 > 基于卷积神经网络与全局优化的协同显著性检测
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于卷积神经网络与全局优化的协同显著性检测

更新时间：2019-12-30 12:33:33 大小：18M 上传用户：IC老兵查看TA发布的资源 标签：卷积神经网络 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

针对目前协同显著性检测问题中存在的协同性较差、误匹配和复杂场景下检测效果不佳等问题,该文提出一种基于卷积神经网络与全局优化的协同显著性检测算法。首先基于VGG16Net构建了全卷积结构的显著性检测网络,该网络能够模拟人类视觉注意机制,从高级语义层次提取一幅图像中的显著性区域;然后在传统单幅图像显著性优化模型的基础上构造了全局协同显著性优化模型。该模型通过超像素匹配机制,实现当前超像素块显著值在图像内与图像间的传播与共享,使得优化后的显著图相对于初始显著图具有更好的协同性与一致性。最后,该文创新性地引入图像间显著性传播约束因子来克服超像素误匹配带来的影响。在公开测试数据集上的实验结果表明,所提算法在检测精度和检测效率上优于目前的主流算法,并具有较强的鲁棒性。


部分文件列表

文件名 大小
1577680407基于卷积神经网络与全局优化的协同显著性检测.pdf 18M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
第 40卷 第 1 2 期  
2018年12月  
电
子
与
信
息
学
报
Vol. 40No. 12  
Dec. 2018  
Journal of Electronics & Information Technology  
基于卷积神经网络与全局优化的协同显著性检测  
吴泽民  
王
军*  
胡
磊
田
畅
曾明勇  
杜 麟  
(中国人民解放军陆军工程大学通信工程学院 南京 210007)  
摘 要：针对目前协同显著性检测问题中存在的协同性较差、误匹配和复杂场景下检测效果不佳等问题，该文提  
出一种基于卷积神经网络与全局优化的协同显著性检测算法。首先基于VGG16Net构建了全卷积结构的显著性检  
测网络，该网络能够模拟人类视觉注意机制，从高级语义层次提取一幅图像中的显著性区域；然后在传统单幅图  
像显著性优化模型的基础上构造了全局协同显著性优化模型。该模型通过超像素匹配机制，实现当前超像素块显  
著值在图像内与图像间的传播与共享，使得优化后的显著图相对于初始显著图具有更好的协同性与一致性。最  
后，该文创新性地引入图像间显著性传播约束因子来克服超像素误匹配带来的影响。在公开测试数据集上的实验  
结果表明，所提算法在检测精度和检测效率上优于目前的主流算法，并具有较强的鲁棒性。  
关键词：协同显著性；深度学习；卷积神经网络；协同优化  
中图分类号：TP391.41  
文献标识码：A  
文章编号：1009-5896(2018)12-2896-09  
DOI: 10.11999/JEIT180241  
Co-saliency Detection Based on Convolutional Neural  
Network and Global Optimization  
WU Zemin  
WANG Jun  
HU Lei  
TIAN Chang  
ZENG Mingyong  
DU Lin  
(College of Communications Engineering, Army Engineering University of PLA, Nanjing 210007, China)  
Abstract: To solve the problems in current co-saliency detection algorithms, a novel co-saliency detection  
algorithm is proposed which applies fully convolution neural network and global optimization model. First, a  
fully convolution saliency detection network is built based on VGG16Net. The network can simulate the human  
visual attention mechanism and extract the saliency region in an image from the semantic level. Second, based  
on the traditional saliency optimization model, the global co-saliency optimization model is constructed, which  
realizes the transmission and sharing of the current superpixel saliency value in inter-images and intra-image  
through superpixel matching, making the final saliency map has better co-saliency value. Third, the inter-image  
saliency value propagation constraint parameter is innovatively introduced to overcome the disadvantages of  
superpixel mismatching. Experimental results on public test datasets show that the proposed algorithm is  
superior over current state-of-the-art methods in terms of detection accuracy and detection efficiency, and has  
strong robustness.  
Key words: Co-saliency; Deep Learning; Convolutional Neural Network; Global Optimization  
要是指多场景中共同存在的相同或者相似目标的显  
著程度。协同显著性不仅要考虑到单幅图像的显著  
性计算，还要考虑到一组图像之间的协同性信息，  
从而对该组图像中的共同目标进行更加精确的标定  
和凸显。协同显著性对协同分割、图像匹配、多场  
景目标再识别、图像和视频摘要等都具有重要的应  
用价值。  
1 引言  
显著性检测旨在模拟人类的视觉注意机制(Hu-  
man Visual System, HSV)，构建有效的计算模  
型，以从图像视频中提取关键信息，简洁有效地表  
达图像内容。传统的显著度计算往往只针对一幅静  
态图像，即通过计算单幅图像内不同区域之间的相  
似度与对比度来描述其显著性信息。近年来，随着  
多场景(图像或视频)应用的需求，协同显著性正逐  
渐成为一个新兴的研究课题。所谓协同显著性，主  
显著性和重复性是计算协同显著性的两大要  
素[1 6]。因此针对协同显著性检测，需要考虑以下  
—
两个方面的问题：(1)如何通过有效的特征表示与  
计算来提取单幅图像的显著性区域；(2)如何通过  
有效的特征表示提取组内图像之间的协同信息对共  
收稿日期：2018-03-16；改回日期：2018-08-22；网络出版：2018-08-31  
*通信作者： 王军ꢀ
第 1 2 期  
吴泽民等：基于卷积神经网络与全局优化的协同显著性检测  
2897  
同显著目标区域进行强化，从而更加精准地定位一  
组图像中共同或相似的显著目标区域。近年来，不  
少学者做了大量的研究工作。如Li等人[7]在单个图  
像显著性检测的基础上，通过多层图结构模型构建  
图像对的协同显著性。Fu等人[8]利用颜色聚类提取  
多幅图像的一致性信息，然后融合颜色对比度，空  
间分布性和图像间一致性等线索构造协同显著图。  
Liu等人[9]通过对图像的分层分割，利用颜色直方图  
计算分割区域的全局相似性，从而得到协同显著  
图。Zhang等人[10]首先通过MR算法[11]得到单幅图  
像的显著性，然后利用改进的自动元胞机模型[12]对  
图像间相似区域进行显著性传播得到最终的协同显  
著图。以上算法在较简单的场景下均有不错的表  
现，但仍存在下列两个问题：一是上述算法只利用  
了颜色等底层特征，难以在复杂场景下取得良好的  
检测效果；二是上述算法难以对一组图像中的背景  
和前景目标进行有效区分，造成图像之间背景和显  
著目标的误匹配，从而影响最终检测效果。  
本文针对目前协同显著性检测中存在的上述问  
题，结合显著性和重复性两大要素，首先基于  
VGG16Net[16]深度学习网络框架，构建了全卷积结  
构的显著性检测网络。采用数据驱动的方式学习从  
图像底层特征到人类语义认知的映射，从而更好地  
模拟人类的视觉注意机制，提取图像中显著目标区  
域。为了更好地对一组图像之间的协同性进行建  
模，本文基于传统单幅图像的优化模型构造了全局  
协同显著性优化模型。该优化模型充分利用图像内  
与图像间的协同性信息，实现了局部超像素块显著  
值在图像间的传播与共享，使得优化后的显著图与  
真值更加接近。最后，为了克服图像间相似目标区  
域误匹配带来的影响，本文创新性地引入图像间显  
著性传播约束因子。在数据集上的实验表明本文算  
法优于目前主流的协同显著性检测算法，具有较强  
的鲁棒性。  
2 基于全卷积结构的显著性检测网络  
近年来，深度学习逐渐成为机器学习领域的主  
流，被广泛应用于图像识别检测等任务中。深度神  
经网络的层级结构能够模拟人类神经系统，逐层提  
取图像信息，并通过海量数据的训练来学习参数，  
最终得到具有鲁棒性和泛化性的模型，从而大幅提  
升检测性能。不少学者将深度学习技术引入协同显  
著性检测领域并取得了良好的效果。如Zhang等  
人[13]通过提取图像的深度特征，对同类图像和不同  
类别的图像进行综合训练，以提取共同目标的特征  
和背景区域的特征，但在图像间区域相似度匹配中  
只采用CIE-lab空间的平均颜色特征进行匹配，性  
能有待提升。文献[14]通过多实例学习和自调式学  
习寻找图像间共同存在的目标。Wei等人[15]通过深  
度学习提取输入图像组的共同语义特征来寻找共同  
显著目标。以上方法均需要精确标定目标训练集、  
训练复杂度高，难以推广。  
2.1 网络结构  
网络的整体结构如图1所示，本文显著性检测  
网络采用端到端的方式将整个图像作为处理对象进  
行训练和预测，与基于图像块的训练方法相比[13 15]，  
—
大大提高了训练与测试效率。其中第1部分(前13个  
卷积层与4个池化层)基于VGG16卷积网络。对于  
输入的每幅图片，该网络首先将其尺寸调整为  
224 × 224，然后通过一系列卷积与池化操作得到  
不同层次的深度特征。对于卷积神经网络而言，比  
较浅的卷积层提取的往往是图像颜色、边缘和强度  
等底层特征，而比较深的卷积层提取的往往是高级  
语义特征。即较深的卷积层能够强化目标区域的整  
体特征，弱化大量细节性信息。因此，高层卷积特  
征更能够从整体上标注出一幅图像中的显著性目标  
区域。  
为了使网络模型更加适合进行显著性检测，在本  
图 1 显著性检测网络结构示意图  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号