积分商城

最新搜索： sk1045 stm32f051 PROTEL鼠标增强3.0工具 altium designer BIN2TXT.rar
您现在的位置是：首页 > 技术资料 > 联合加权聚合深度卷积特征的图像检索方法
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

联合加权聚合深度卷积特征的图像检索方法

更新时间：2019-12-31 15:03:07 大小：2M 上传用户：songhuahua查看TA发布的资源 标签：图像检索深度卷积特征 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

针对图像特征提取不充分影响图像检索平均精确率的问题,提出了一种基于联合加权聚合深度卷积特征的图像检索方法。该方法将图像输入到预先训练好的卷积神经网络中,提取最后一个卷积层输出作为图像的深度卷积特征;通过计算空间权重矩阵突出图像的显著性区域并抑制背景噪声区域,然后根据通道方差最大原则选取相应的特征图计算出空间权重矩阵,将原始深度卷积特征加权聚合为列向量;通过区分性地对待不同通道的特征图,计算出通道权重向量与上述列向量点乘得到最终的全局特征向量。公开数据集上的实验结果表明,本文方法能够有效地增强图像特征的表达能力,在图像检索的平均精确率上优于其他同类方法,可以有效地应用到图像检索相关领域。


部分文件列表

文件名 大小
联合加权聚合深度卷积特征的图像检索方法.pdf 2M

【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
第
卷
第
期
２
５３  
西
安
交
通
大
学
学 报  
ꢀ
Ｖｏｌ．５３ Ｎｏ．２  
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
’
ＪＯＵＲＮＡＬＯＦＸＩＡＮＪＩＡＯＴＯＮＧ ＵＮＩＶＥＲＳＩＴＹ  
ꢀ ꢀ  
年
月
２０１９  
２
Ｆｅｂ．２０１９  
ꢀ
ꢀ
：
／
ＤＯＩ １０．７６５２ｘｔｕｘｂ２０１９０２０１７  
ｊ
联合加权聚合深度卷积特征的图像检索方法  
１
１
１
李晨  
１
，
王佳星 李党超  
２
，
，
，
时璇  
许林松  
（
西安交通大学软件学院  
１．  
，
，
；
２．  
，
，
）
西安  
西安  
西安交通大学实践教学中心  
７１００４９  
７１００４９  
： ，  
摘要 针对图像特征提取不充分影响图像检索平均精确率的问题 提出了一种基于联合加权聚合  
。 ，  
深度卷积特征的图像检索方法 该方法将图像输入到预先训练好的卷积神经网络中 提取最后一  
；
个卷积层输出作为图像的深度卷积特征 通过计算空间权重矩阵突出图像的显著性区域并抑制背  
， ，  
景噪声区域 然后根据通道方差最大原则选取相应的特征图计算出空间权重矩阵 将原始深度卷积  
； ，  
特征加权聚合为列向量 通过区分性地对待不同通道的特征图 计算出通道权重向量与上述列向量  
。 ，  
点乘得到最终的全局特征向量 公开数据集上的实验结果表明 本文方法能够有效地增强图像特征  
， ，  
的表达能力 在图像检索的平均精确率上优于其他同类方法 可以有效地应用到图像检索相关领域  
。
： ； ； ； ；  
关键词 图像检索 深度卷积特征 空间权重矩阵 通道权重向量 聚合  
：
：
Ａ
：
文章编号  
０２５３９８７Ｘ ２０１９０２０１２８０８  
ꢀ
（
）
中图分类号  
文献标志码  
ＴＰ３９１  
ꢀ
－
－
－
ＪｏｉｎｔＷｅｉｈｔｉｎ Ａ ｒｅａｔｉｏｎｏｆＤｅｅ ＣｏｎｖｏｌｕｔｉｏｎａｌＦｅａｔｕｒｅｓ  
ꢀ
ꢀ ꢀ  
ｐ
ꢀ
ꢀ
ｇ
ｇ ｇｇ ｇ  
ꢀ
ｆｏｒＩｍａｅＲｅｔｒｉｅｖａｌ  
ꢀ ꢀ  
ｇ
１
１
１
１
２
，
ＳＨＩＸｕａｎ ＸＵ Ｌｉｎｓｏｎ  
ꢀ
，
，
，
ＬＩＣｈｅｎ ＷＡＮＧＪｉａｘｉｎ ＬＩＤａｎｃｈａｏ  
ｇ
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ｇ
（
，
’
，
’
，
；
１．ＳｃｈｏｏｌｏｆＳｏｆｔｗａｒｅＥｎｉｎｅｅｒｉｎ ＸｉａｎＪｉａｏｔｏｎ Ｕｎｉｖｅｒｓｉｔ Ｘｉａｎ７１００４９ Ｃｈｉｎａ  
ꢀ ꢀ ꢀ ｇ  
ｇ
ꢀ
ｇ
ꢀ
ｙ
ꢀ
，
’
，
’
，
）
２．ＳｃｈｏｏｌｏｆＥｎｉｎｅｅｒｉｎ Ｗｏｒｋｓｈｏ ＸｉａｎＪｉａｏｔｏｎ Ｕｎｉｖｅｒｓｉｔ Ｘｉａｎ７１００４９ Ｃｈｉｎａ  
ꢀ ꢀ ｇ  
ｇ
ꢀ
ｐ
ꢀ
ｇ
ꢀ
ｙ
ꢀ
：
Ａｂｓｔｒａｃｔ Ａｎｉｍａｅｒｅｔｒｉｅｖａｌｍｅｔｈｏｄｂａｓｅｄｏｎｄｅｅ ｃｏｎｖｏｌｕｔｉｏｎａｌｆｅａｔｕｒｅｓｏｆ ｏｉｎｔｗｅｉｈｔｉｎ  
ｇꢀ ｇ  
ꢀ ꢀ ꢀ ꢀｊ  
ꢀ
ꢀ
ꢀ
ｐ
ꢀ
ꢀ
ꢀ
ｇ
’
ａ ｒｅａｔｉｏｎｉｓ ｒｏｏｓｅｄｔｏｓｏｌｖｅｔｈｅ ｒｏｂｌｅｍｔｈａｔｍｏｓｔｅｘｉｓｔｉｎ ｉｍａｅｒｅｔｒｉｅｖａｌａ ｒｏａｃｈｅｓｃａｎｔ  
ｇｇ ｇ ｇꢀ  
ꢀ ꢀｐ ｐ ꢀ ꢀ ꢀｐ ꢀｐｐ  
ꢀ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
ꢀ
，
ｆｕｌｌ ｅｘｔｒａｃｔｉｍａｅｆｅａｔｕｒｅｓａｎｄｔｈｅｉｒ ｅｒｆｏｒｍａｎｃｅｒｅｕｉｒｅｓｔｏｂｅｉｍ ｒｏｖｅｄ．Ｆｉｒｓｔｌ ｔｈｅｍｅｔｈｏｄ  
ｇꢀ  
ꢀｐ ꢀ ｑ ꢀ ꢀ ꢀ ｐ  
ｙ
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ｅｘｔｒａｃｔｓｔｈｅｏｕｔｕｔｓｏｆｔｈｅｌａｓｔｃｏｎｖｏｌｕｔｉｏｎａｌｌａｅｒａｓｄｅｅ ｃｏｎｖｏｌｕｔｉｏｎａｌｆｅａｔｕｒｅｓｏｆａｎｉｍａｅｂ  
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ｙ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ｇꢀｙ  
ｐ
ｐ
ꢀ
，
ａｓｓｉｎ ｔｈｅｉｍａｅｔｈｒｏｕｈａ ｒｅｔｒａｉｎｅｄｄｅｅ ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ．Ｔｈｅｎ ｔｈｅｓａｔｉａｌ  
ｇꢀ ｇꢀꢀｐ  
ꢀｐ  
ｐ
ｇ
ꢀ
ꢀ
－
ꢀ
ｐ
ꢀ
ꢀ
ꢀ
ｗｅｉｈｔｍａｔｒｉｘｉｓｃａｌｃｕｌａｔｅｄｔｏｈｉｈｌｉｈｔｓｉｎｉｆｉｃａｎｃｅｒｅｉｏｎｓｏｆｔｈｅｉｍａｅａｎｄｔｏｓｕ ｒｅｓｓｔｈｅ  
ｇ ꢀ ｇꢀ ꢀ ꢀ ｐｐ  
ꢀ ꢀ ꢀ ꢀ ｇ ｇ ꢀ ｇ ꢀ ｇ ꢀ ꢀ ꢀ ꢀ  
ｂａｃｋｒｏｕｎｄｎｏｉｓｅｏｆｔｈｅｉｍａｅ．Ｔｈｅｍａｘｉｍｕｍ ｒｉｎｃｉｌｅｏｆｃｈａｎｎｅｌｖａｒｉａｎｃｅｉｓｔｈｅｎｕｓｅｄｔｏｓｅｌｅｃｔ  
ｇ ｐ ꢀ ꢀ  
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀꢀ ꢀ ꢀ ꢀ  
ｇ
－
ｐ
ｔｈｅｃｏｒｒｅｓｏｎｄｉｎ ｆｅａｔｕｒｅ ｍａ ａｎｄｔｏｃａｌｃｕｌａｔｅｔｈｅｓａｔｉａｌｗｅｉｈｔ ｍａｔｒｉｘ．Ｔｈｅｏｒｉｉｎａｌｄｅｅ  
ꢀ ꢀ ｐ ꢀ ꢀ ꢀ ꢀｐ ꢀ ꢀ ｇ ꢀ  
ｇ ｇ ꢀ ｐ  
ｐ
ꢀ
ꢀ
，
ｃｏｎｖｏｌｕｔｉｏｎａｌｆｅａｔｕｒｅｓａｒｅｗｅｉｈｔｅｄａｎｄａ ｒｅａｔｅｄｉｎｔｏａｆｅａｔｕｒｅｖｅｃｔｏｒ．Ｍｏｒｅｏｖｅｒ ｔｈｅｃｈａｎｎｅｌ  
ꢀ ｇ ꢀｇｇ ｇ ꢀꢀ  
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
，
ｗｅｉｈｔｖｅｃｔｏｒｉｓｃａｌｃｕｌａｔｅｄｂ ｄｉｓｔｉｎｕｉｓｈｉｎ ｆｅａｔｕｒｅ ｍａｓｏｆｄｉｆｆｅｒｅｎｔｃｈａｎｎｅｌｓ ａｎｄｔｈｅｎｔｈｅ  
ｇ ꢀ  
ꢀ ꢀ ꢀｙ ꢀ ｐꢀ ꢀ  
ｇ
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｌｏｂａｌｆｅａｔｕｒｅｒｅｒｅｓｅｎｔａｔｉｏｎｏｆｔｈｉｓｉｍａｅｉｓｏｂｔａｉｎｅｄｂ ｍｕｌｔｉｌｉｎ ｔｈｅａ ｒｅａｔｅｄｆｅａｔｕｒｅ  
ｇꢀ ꢀ ｐｙ ｇ  
ꢀ ꢀ ｐ ꢀ ꢀ ꢀ ꢀｙ ꢀｇｇ ｇ ꢀ  
ꢀ
ｇ
ꢀ
ｖｅｃｔｏｒａｎｄｔｈｅｃｈａｎｎｅｌｗｅｉｈｔ．Ｅｘｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｏｎｄｉｆｆｅｒｅｎｔ ｕｂｌｉｃａｖａｉｌａｂｌｅｄａｔａｓｅｔｓｆｏｒ  
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀｐ ꢀ ꢀ  
ꢀ
ꢀ
ｇ
ｐ
ꢀ
ｉｍａｅｒｅｔｒｉｅｖａｌｓｈｏｗｔｈａｔｔｈｅ ｒｏｏｓｅｄａ ｒｏａｃｈｅｆｆｅｃｔｉｖｅｌ ｅｎｈａｎｃｅｓｔｈｅｄｉｓｃｒｉｍｉｎａｔｉｖｅａｂｉｌｉｔ ｏｆ  
ｇꢀ  
ꢀ ꢀｐ ｐ ꢀｐｐ ꢀ ꢀ ꢀ ꢀ  
ꢀ
ꢀ
ｙ
ꢀ
ｙ
ꢀ
，
ｉｍａｅｆｅａｔｕｒｅｓ ｏｕｔｅｒｆｏｒｍｓｔｈｅｓｔａｔｅｏｆｔｈｅａｒｔａ ｒｏａｃｈｅｓｂａｓｅｄｏｎ ｒｅｔｒａｉｎｅｄｎｅｔｗｏｒｋｓａｎｄ  
ꢀ ꢀｐ  
ｇꢀ  
ｐ
ꢀ
ꢀ
－
－
－
ꢀｐｐ  
ꢀ
－
ꢀ
ꢀ
ｃａｎｂｅｅｆｆｅｃｔｉｖｅｌ ａ ｌｉｅｄｔｏｒｅｌａｔｅｄｆｉｅｌｄｓｏｆｉｍａｅｒｅｔｒｉｅｖａｌ．  
ｙ ｐｐ ꢀ ꢀ  
ꢀ ꢀ ꢀ ꢀꢀ ｇꢀ  
ꢀ
：
。
：
作者简介 时璇  
（
—）， ，  
女 硕士生 李晨 通信作者 女 讲师 硕士生导师  
１９９３  
；
（
）， ，  
，
。
ꢀ
：
基金项目 国  
收稿日期  
２０１８０８１３  
－ －  
ꢀ
（
）。  
家自然科学基金资助项目  
６１６０３２８９  
：
：
网络出版地址  
ｈｔｔ  
ｐ ∥  
： ／ ／ ／  
网络出版时间  
２０１８１２１８  
－ － ꢀ  
ｋｎｓ．ｃｎｋｉ．ｎｅｔｋｃｍｓｄｅｔａｉｌ６１ ．１０６９ ．Ｔ ．２０１８１２１４ ．０９２６ ．０１２ ．ｈｔｍｌ  
：
ｐ ∥  
ｈｔｔ  
ｚｋｘｂ．ｘｔｕ．ｅｄｕ．ｃｎ  
ｊ
ꢀ
ꢀ
， ：  
时璇 等 联合加权聚合深度卷积特征的图像检索方法  
１２９  
第
期
２
ꢀ
：
；
；
Ｋｅｗｏｒｄｓ ｉｍａｅｒｅｔｒｉｅｖａｌ ｄｅｅ ｃｏｎｖｏｌｕｔｉｏｎａｌｆｅａｔｕｒｅｓ ｓａｔｉａｌｗｅｉｈｔｍａｔｒｉｘ ｃｈａｎｎｅｌｗｅｉｈｔ  
ｇꢀ ｇ ꢀ  
；
ｐ
ꢀ
ꢀ
ｐ
ꢀ
ꢀ
ｇ
ｙ
；
ｖｅｃｔｏｒ ａ ｒｅａｔｉｏｎ  
ｇｇ ｇ  
［
］
１５  
，
通过高斯空  
基于内容的图像检索技术成为了目前多媒体和  
通道加权的深度卷积图像检索方法  
ꢀꢀ  
［］  
１
，
计算机视觉领域的研究热点  
其关键步骤是得到  
间权重矩阵自适应地确定显著性区域中心并分配权  
［ ］  
１６  
。
图像的特征表示 早期研究工作是将手工设计的视  
，
重 通过通 道 权 重 缓 解 特 征 爆 炸 现 象  
，
与
ＳＰｏＣ  
［］  
２
）
［
］
３６  
，
－
（
觉特征 例如  
，
方法相比 检索平均精确率 得 到 了 提升  
。
特征  
进行嵌入和聚合  
得
和
ＳＩＦＴ  
ＣｒｏＷ  
。
到图像的全局特征表示 近年来随着深度学习技术  
方法利用图像深度卷积特征中不同特征图的  
ＳＢＡ  
，
区分性生成语义探测器 通过加权聚合得到图像全  
［
７９  
）
］
－
，
的兴起 有研究将深度卷积神经网络  
（
ＣＮＮ  
应
［
］
１７  
。
。
用到图像检索技术中 此类方法将图像输入到预先  
局特征表示  
，
训练好的卷积神经网络中 直接提取某层的输出作  
由于上述方法仍存在背景噪声及特征提取不充  
［ ］  
１７  
［ ］  
１３  
，
为图像的特征表示 此类特征与传统的手工设计的  
，
分的问题 本文基于  
和
方法提出了  
ＳＢＡ  
联合加权聚合深度卷积特征的图像检索方法 采用  
空间权重矩阵来突出图像的显著性区域并抑制背景  
ＣｒｏＷ  
。 ，  
视觉特征相比具有更强的区分能力 因此 基于卷  
，
积神经网络的图像检索方法成为了目前该领域的主  
［
］
１０  
。
，
区域 根据通道权重向量区分性地对待不同通道的  
流方法  
。
早期的基于卷积神经网络的图像检索方法将网  
特征图  
［
］
１１  
，
络的全连接层输出作为图像的全局特征表示  
然
基于深度卷积特征的图像检索框架  
１
ꢀ
，
而全连接层输出缺失图像的空间信息 且此类方法  
，
需要对输入图像进行缩放使其大小相同 这造成了  
基于深度卷积特征的图像检索包括离线和在线  
， 。  
图像内容的畸变 因此检索平均精确率不高 有研  
， 。 ，  
过程 如图 所示 离线过程中 先将图像数据集中  
１
，
究将网络的卷积层输出 即图像的深度卷积特征作  
，
的每张图像输入到预先训练好的卷积神经网络中  
， ，  
为其全局特征表示 不仅保留了图像的空间信息 且  
提取神经网络的卷积层输出得到图像的深度卷积特  
［
］
１２１７  
。
－
，
无需 缩 放 图 像 检 索 平 均 精 确 率 得 到 提 升  
，
征 再使用合适的聚合方法将其聚合为全局特征向  
； ，  
量并存入到全局特征向量库中 在线过程中 将查询  
方法直接对深度卷积特征中每个特征图求和  
ＳＰｏＣ  
池化得到图像的全局特征表示  
［
］
１２  
，
是将深度卷积特  
图像输入到相同的卷积神经网络中获取图像的深度  
。
ＣｒｏＷ  
，
卷积特征 再使用相同的聚合方法得到查询图像的  
征用于 图 像 检 索 的 开 创 性 工 作  
方 法 基 于  
，
全局特征向量 通过比较查询图像的全局特征向量  
方法提出空间权重和通道权重来突出图像的  
ＳＰｏＣ  
显著性区域  
方法采用变窗口方式对图像的特征图进行  
［
］
１３  
，
。
，
与全局特征向量库中的全局特征向量之间的距离  
检索平均精确率有了进一步提升  
，
根据相似性大小进行排序 通过索引查找全局特征  
Ｒ ＭＡＣ  
－
，
滑窗提取若干局部特征 再将局部特征相加得到最  
。
向量对应的图像返回检索结果 聚合方法的好坏是  
［ ］  
１４  
，
，
影响检索平均精确率的核心因素 也是本文研究的  
终的全局 特 征 表 示  
该 方 法 检 索 平 均 精 确 率 与  
方法是自适应中心点与  
ＡｄＣｏＷ  
。
。
重点  
方法相近  
ＣｒｏＷ  
图
基于深度卷积特征的图像检索框架  
１
ꢀ
：
ｐ ∥  
ｈｔｔ  
ｚｋｘｂ．ｘｔｕ．ｅｄｕ．ｃｎ  
ｊ
ꢀ
ꢀ

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号