推荐星级：
- 1
- 2
- 3
- 4
- 5
基于全卷积网络的语义显著性区域检测方法研究
资料介绍
基于底层视觉特征和先验知识的显著性区域检测算法难以检测一些复杂的显著性目标,人的视觉系统能分辨这些目标是由于其中包含丰富的语义知识.本文构建了一个基于全卷积结构的语义显著性区域检测网络,用数据驱动的方式构建从图像底层特征到人类语义认知的映射,提取语义显著性区域.针对网络提取的语义显著性区域的缺点,本文进一步引入颜色信息、目标边界信息、空间一致性信息获得准确的超像素级前景和背景概率.最后提出一个优化模型融合前景和背景概率信息、语义信息、空间一致性信息得到最终的显著性区域图.在6个数据集上与15种最新算法的比较实验证明了本文算法的有效性和鲁棒性.
部分文件列表
| 文件名 | 大小 |
| 基于全卷积网络的语义显著性区域检测方法研究.pdf | 2M |
部分页面预览
（完整内容请下载后查看）第 １１ 期
电ꢀ
ꢀ
子ꢀ
ꢀ
学ꢀ
ꢀ
报
Ｖｏｌ．４５ꢀ Ｎｏ．１１
Ｎｏｖ．ꢀ ２０１７
２０１７ 年 １１ 月
ＡＣＴＡ ＥＬＥＣＴＲＯＮＩＣＡ ＳＩＮＩＣＡ
基于全卷积网络的
语义显著性区域检测方法研究
郑云飞１，２，３，张雄伟１，曹铁勇１，孙ꢀ 蒙１
（１．解放军陆军工程大学，江苏南京 ２１０００７；２．解放军炮兵防空兵学院，安徽合肥 ２３００３１；
３．安徽省偏振成像与探测重点实验室，安徽合肥 ２３００３１）
ꢀ ꢀ 摘ꢀ 要：ꢀ 基于底层视觉特征和先验知识的显著性区域检测算法难以检测一些复杂的显著性目标，人的视觉系统
能分辨这些目标是由于其中包含丰富的语义知识．本文构建了一个基于全卷积结构的语义显著性区域检测网络，用数
据驱动的方式构建从图像底层特征到人类语义认知的映射，提取语义显著性区域．针对网络提取的语义显著性区域的
缺点，本文进一步引入颜色信息、目标边界信息、空间一致性信息获得准确的超像素级前景和背景概率．最后提出一个
优化模型融合前景和背景概率信息、语义信息、空间一致性信息得到最终的显著性区域图．在 ６ 个数据集上与 １５ 种最
新算法的比较实验证明了本文算法的有效性和鲁棒性．
关键词： ꢀ 语义信息； 全卷积网络； 颜色外观模型； 显著性区域检测
中图分类号： ꢀ ＴＰ３９１ư ４ꢀ ꢀ ꢀ 文献标识码： ꢀ Ａꢀ ꢀ ꢀ 文章编号： ꢀ ０３７２⁃２１１２ （２０１７）１１⁃２５９３⁃０９
电子学报 ＵＲＬ： ｈｔｔｐ：／ ／ ｗｗｗ．ｅｊｏｕｒｎａｌ．ｏｒｇ．ｃｎꢀ
ＤＯＩ： １０．３９６９／ ｊ．ｉｓｓｎ．０３７２⁃２１１２．２０１７．１１．００４
Ｔｈｅ Ｓｅｍａｎｔｉｃ Ｓａｌｉｅｎｔ Ｒｅｇｉｏｎ Ｄｅｔｅｃｔｉｏｎ Ａｌｇｏｒｉｔｈｍ
Ｂａｓｅｄ ｏｎ ｔｈｅ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ
ＺＨＥＮＧ Ｙｕｎ⁃ｆｅｉ１，２，３ ，ＺＨＡＮＧ Ｘｉｏｎｇ⁃ｗｅｉ１ ，ＣＡＯ Ｔｉｅ⁃ｙｏｎｇ１ ，ＳＵＮ Ｍｅｎｇ１
（１．Ｔｈｅ Ａｒｍｙ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ ＰＬＡ，Ｎａｎｊｉｎｇ，Ｊｉａｎｇｓｕ ２１０００７，Ｃｈｉｎａ；
２．Ｔｈｅ Ａｒｍｙ Ａｒｔｉｌｅｒｙ ａｎｄ Ｄｅｆｅｎｓｅ Ａｃａｄｅｍｙ ｏｆ ＰＬＡ，Ｈｅｆｅｉ，Ａｎｈｕｉ ２３００３１，Ｃｈｉｎａ；
３．Ｔｈｅ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｐｏｌａｒｉｚａｔｉｏｎ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ，Ｈｅｆｅｉ，Ａｎｈｕｉ ２３００３１，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：ꢀ Ｔｈｅ ｅｘｉｓｔｉｎｇ ｓａｌｉｅｎｔ ｒｅｇｉｏｎ ｄｅｔｅｃｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｂａｓｅｄ ｏｎ ｖｉｓｕａｌ ｓｔｉｍｕｌｕｓ ａｎｄ ｐｒｉｏｒ ｋｎｏｗｌｅｄｇｅ ａｒｅ ｄｉｆｆｉｃｕｌｔ
ｔｏ ｄｅｔｅｃｔ ｓｏｍｅ ｃｏｍｐｌｉｃａｔｅｄ ｓａｌｉｅｎｔ ｒｅｇｉｏｎｓ． Ｔｈｅ ｈｕｍａｎ ｖｉｓｉｏｎ ｓｙｓｔｅｍ ｃａｎ ｄｉｓｔｉｎｇｕｉｓｈ ｔｈｅｓｅ ｃｏｍｐｌｉｃａｔｅｄ ｓａｌｉｅｎｔ ｒｅｇｉｏｎｓ
ｂｅｃａｕｓｅ ｏｆ ｔｈｅ ｒｉｃｈ ｓｅｍａｎｔｉｃ ｋｎｏｗｌｅｄｇｅ ｉｎ ｔｈｅ ｈｕｍａｎ ｖｉｓｕａｌ ｓｙｓｔｅｍ．Ｗｅ ｃｏｎｓｔｒｕｃｔ ａ ｓｅｍａｎｔｉｃ ｓａｌｉｅｎｔ ｒｅｇｉｏｎ ｄｅｔｅｃｔｉｏｎ ｎｅｔｗｏｒｋ
ｕｓｉｎｇ ｔｈｅ ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｓｔｒｕｃｔｕｒｅ．Ｌｅａｒｎｉｎｇ ｔｈｅ ｍａｐｐｉｎｇ ｆｒｏｍ ｔｈｅ ｌｏｗ⁃ｌｅｖｅｌ ｆｅａｔｕｒｅｓ ｔｏ ｔｈｅ ｈｕｍａｎ ｓｅｍａｎｔｉｃ ｃｏｇｎｉｔｉｏｎ，
ｏｕｒ ｎｅｔｗｏｒｋ ｃａｎ ｅｘｔｒａｃｔ ｓｅｍａｎｔｉｃ ｓａｌｉｅｎｔ ｒｅｇｉｏｎ ｅｆｆｅｃｔｉｖｅｌｙ．Ａｉｍｉｎｇ ｔｏ ｔｈｅ ｄｅｆｅｃｔｓ ｏｆ ｔｈｅ ｓｅｍａｎｔｉｃ ｓａｌｉｅｎｔ ｒｅｇｉｏｎ ｍａｐ，ｗｅ ｉｎ⁃
ｔｒｏｄｕｃｅ ｔｈｅ ｃｏｌｏｒ ｉｎｆｏｒｍａｔｉｏｎ，ｏｂｊｅｃｔ ｂｏｕｎｄａｒｙ ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ ｓｐａｔｉａｌ ｃｏｎｓｉｓｔｅｎｃｙ ｉｎｆｏｒｍａｔｉｏｎ ｔｏ ｄｅｒｉｖｅ ａｃｃｕｒａｔｅ ｓｕｐｅｒｐｉｘｅｌ⁃
ｌｅｖｅｌ ｆｏｒｅｇｒｏｕｎｄ ａｎｄ ｂａｃｋｇｒｏｕｎｄ ｐｒｏｂａｂｉｌｉｔｙ． Ａｔ ｌａｓｔ， ｗｅ ｆｕｓｅ ｔｈｅ ｆｏｒｅｇｒｏｕｎｄ ａｎｄ ｂａｃｋｇｒｏｕｎｄ ｐｒｏｂａｂｉｌｉｔｙ， ｓｅｍａｎｔｉｃ
ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ ｓｐａｔｉａｌ ｃｏｎｓｉｓｔｅｎｃｙ ｉｎｆｏｒｍａｔｉｏｎ ｔｏ ｄｅｒｉｖｅ ｔｈｅ ｆｉｎａｌ ｓａｌｉｅｎｔ ｒｅｇｉｏｎ ｍａｐ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔｓ ｃｏｍｐａｒｉｎｇ ｗｉｔｈ ｔｈｅ
ｓｔａｔｅ⁃ｏｆ⁃ｔｈｅ⁃ａｒｔ １５ ａｌｇｏｒｉｔｈｍｓ ｏｎ ６ ｄａｔａ ｓｅｔｓ ｄｅｍｏｎｓｔｒａｔｅ ｔｈｅ ｅｆｆｅｃｔｉｖｅｎｅｓｓ ｏｆ ｏｕｒ ａｌｇｏｒｉｔｈｍ．
Ｋｅｙ ｗｏｒｄｓ：ꢀ ｓｅｍａｎｔｉｃ ｉｎｆｏｒｍａｔｉｏｎ；ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ；ｃｏｌｏｒ ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌ；ｓａｌｉｅｎｔ ｒｅｇｉｏｎ ｄｅｔｅｃｔｉｏｎ
的图像数据中提取出最感兴趣的区域，大大提高了数
１ꢀ 引言
据处理的效率．近年来，大量研究者在研究并试图模仿
这种视觉注意机制，让计算机具备迅速找到图像中显
著区域 的 能 力， 并 将 其 应 用 在 多 种 计 算 机 视 觉 任
ꢀ ꢀ 人的视觉系统每秒钟能处理约 １０８ ～ １０９ 比特的图
像数据［１］ ，这种强大的数据处理能力主要得益于视觉
系统中的注意机制．视觉注意机制使视觉系统能从庞大
务中［２～４］
．
收稿日期：２０１６⁃０８⁃１１；修回日期：２０１６⁃１２⁃０８；责任编辑：马兰英
基金项目：国家自然科学基金（Ｎｏ．６１４７１３９４）；国家青年自然科学基金（ Ｎｏ．６１４０２５１９）；江苏省自然科学基金（ Ｎｏ．ＢＫ２０１２５１０，Ｎｏ．ＢＫ２０１４００７１，
Ｎｏ．ＢＫ２０１４００７４）
电ꢀ ꢀ 子ꢀ ꢀ 学ꢀ ꢀ 报
现有视觉注意模型按照用途可分为视觉关注度预
２０１７ 年
２５９４
测模型和显著性区域检测模型［４］ ．视觉关注度预测模型
侧重于预测人眼对图像中每个像素的关注程度，显著
性区域检测模型侧重于检测出图像中的显著性目标，
本文的研究属于后者．
当前大多数的显著性区域检测模型主要使用底层
视觉特征结合先验知识计算显著性，底层视觉特征如
颜色、纹理等，先验知识如稀有性［５～８］ 、紧凑性［９］ 、稀疏
性
［１０］ 、边界先验［１１］ 、中心先验［１２］ 等．程等人［６］ 通过颜色
对比度衡量区域的稀有性，计算显著性区域；鲍［７，８］
等
人用剪切波变换系数的概率密度衡量稀有性并计算显
著度；文献［９］认为显著性区域比背景区域有更紧凑的
颜色分布，并以此衡量显著性；文献［１１］认为图像边界
上的区域是背景区域，根据与边界区域在颜色、纹理上
的差异大小衡量显著性．
３ꢀ 语义显著性区域检测网络
３．１ꢀ 网络结构
以往模型难以提取语义显著性区域的主要原因是
它们在预处理时先对图像进行过分割，导致模型无法
从语义的角度分析区域的显著性． 文献 ［ ２１］ 提出的
ＦＣＳＳＮ 模型，不需要对图像进行预分割，用端到端的方
式（ｅｎｄ⁃ｔｏ⁃ｅｎｄ）将整个图像作为处理对象进行训练和预
测．本文受上述思想的启发，构建了端到端的语义显著
最新的显著性检测算法［６，１１～１７］ 在简单的图像上已
经取得了较理想的效果，但它们难以检测图像中的一
些复杂显著性目标，如颜色非均质的目标、低对比度目
标、大尺度目标．心理学的研究［１８］ 表明人的视觉系统更
趋向于将目标区域作为整体关注，人的视觉系统包含
大量高层次的目标语义知识，这是人比机器更擅长迅
速找到显著目标的重要原因之一，但如何从图像中提
取语义信息并应用到显著性区域检测中是一个难题．
语义信息反映的是从图像底层特征到符合人类认
知的目标的关系，因此语义信息抽取的关键是建立从
性区域检测网络．网络构造的基本思想是将 ＶＧＧ［２２］
识
别网络改造成全卷积结构并添加反卷积层，使网络可
以直接将原始图像和对应的显著性区域标准图作为训
练数据训练，建立从图像底层特征到语义认知的映射，
提取语义显著性区域．ＶＧＧ 网络是层次化的图像表示
与特征提取模型，图 ２ 为 ＶＧＧ 网络第 １０、２０、３０、３８ 层
输出的部分特征图，可以看出越浅卷积层提取的特征
越接近强度、边缘等底层空间特征，越深卷积层提取的
特征越接近图像中的语义目标区域．因此想要有效提取
图像中的语义信息，需要利用最深卷积层的输出特征
图．然而，网络输出特征图的尺寸比原始图像小很多，因
此本文在 ＶＧＧ 网络最深卷积层后面加上反卷积层，将
网络输出的小尺寸语义特征图插值到原始图像的尺寸．
原始图像特征到符合人类认知的目标含义的映射［１９，２０］
．
本文受基于全卷积网络的语义分割模型［２１］（Ｆｕｌｌｙ Ｃｏｎｖ⁃
ｏｌｕｔｉｏｎａｌ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ Ｎｅｔｗｏｒｋｓ， ＦＣＳＳＮ） 的 启
发，构建了基于全卷积结构的语义显著性区域检测网
络（Ｓｅｍａｎｔｉｃ Ｓａｌｉｅｎｔ Ｒｅｇｉｏｎ Ｄｅｔｅｃｔｉｏｎ Ｎｅｔｗｏｒｋ，ＳＳＲＤＮ），
用数据驱动的方式学习从图像底层特征到人类语义认
知的映射，提取图像中的语义显著性区域，并对其进一
步优化，计算出最终的显著区域图．本文的贡献主要有
两点：（１）提出了一种基于全卷积结构的语义级显著性
区域提取方法．（２）提出了一种基于语义显著性区域的
显著性优化方法．
２ꢀ 本文模型结构
ꢀ ꢀ 本文模型结构如图 １ 所示，先用本文的 ＳＳＲＤＮ 网
络提取图像中的语义显著性目标区域，根据语义显著
性区域 图 用 混 合 高 斯 模 型 （ Ｇａｕｓｓｉａｎ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌ，
ＧＭＭ）建立前景和背景的颜色外观模型，计算像素级的
前景概率和背景概率．在对前景概率图和背景概率图优
化后，将前景概率信息、背景概率信息、语义信息、空间
一致性信息用一个新的优化模型融合得到最终的显
著图．
ꢀ ꢀ 图 ３ 将本文网络结构简化表示为 ９ 个阶段，本文对
全部评论(0)