推荐星级：
- 1
- 2
- 3
- 4
- 5
联合加权聚合深度卷积特征的图像检索方法
资料介绍
针对图像特征提取不充分影响图像检索平均精确率的问题,提出了一种基于联合加权聚合深度卷积特征的图像检索方法。该方法将图像输入到预先训练好的卷积神经网络中,提取最后一个卷积层输出作为图像的深度卷积特征;通过计算空间权重矩阵突出图像的显著性区域并抑制背景噪声区域,然后根据通道方差最大原则选取相应的特征图计算出空间权重矩阵,将原始深度卷积特征加权聚合为列向量;通过区分性地对待不同通道的特征图,计算出通道权重向量与上述列向量点乘得到最终的全局特征向量。公开数据集上的实验结果表明,本文方法能够有效地增强图像特征的表达能力,在图像检索的平均精确率上优于其他同类方法,可以有效地应用到图像检索相关领域。
部分文件列表
| 文件名 | 大小 |
| 联合加权聚合深度卷积特征的图像检索方法.pdf | 2M |
部分页面预览
（完整内容请下载后查看）第
卷
第
期
２
５３
西
安
交
通
大
学
学 报
ꢀ
Ｖｏｌ．５３ Ｎｏ．２
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
’
ＪＯＵＲＮＡＬＯＦＸＩＡＮＪＩＡＯＴＯＮＧ ＵＮＩＶＥＲＳＩＴＹ
ꢀ ꢀ
年
月
２０１９
２
Ｆｅｂ．２０１９
ꢀ
ꢀ
：
／
ＤＯＩ １０．７６５２ｘｔｕｘｂ２０１９０２０１７
ｊ
联合加权聚合深度卷积特征的图像检索方法
１
１
１
李晨
１
，
王佳星 李党超
２
，
，
，
时璇
许林松
（
西安交通大学软件学院
１．
，
，
；
２．
，
，
）
西安
西安
西安交通大学实践教学中心
７１００４９
７１００４９
： ，
摘要 针对图像特征提取不充分影响图像检索平均精确率的问题 提出了一种基于联合加权聚合
。 ，
深度卷积特征的图像检索方法 该方法将图像输入到预先训练好的卷积神经网络中 提取最后一
；
个卷积层输出作为图像的深度卷积特征 通过计算空间权重矩阵突出图像的显著性区域并抑制背
， ，
景噪声区域 然后根据通道方差最大原则选取相应的特征图计算出空间权重矩阵 将原始深度卷积
； ，
特征加权聚合为列向量 通过区分性地对待不同通道的特征图 计算出通道权重向量与上述列向量
。 ，
点乘得到最终的全局特征向量 公开数据集上的实验结果表明 本文方法能够有效地增强图像特征
， ，
的表达能力 在图像检索的平均精确率上优于其他同类方法 可以有效地应用到图像检索相关领域
。
： ； ； ； ；
关键词 图像检索 深度卷积特征 空间权重矩阵 通道权重向量 聚合
：
：
Ａ
：
文章编号
０２５３９８７Ｘ ２０１９０２０１２８０８
ꢀ
（
）
中图分类号
文献标志码
ＴＰ３９１
ꢀ
－
－
－
ＪｏｉｎｔＷｅｉｈｔｉｎ Ａ ｒｅａｔｉｏｎｏｆＤｅｅ ＣｏｎｖｏｌｕｔｉｏｎａｌＦｅａｔｕｒｅｓ
ꢀ
ꢀ ꢀ
ｐ
ꢀ
ꢀ
ｇ
ｇ ｇｇ ｇ
ꢀ
ｆｏｒＩｍａｅＲｅｔｒｉｅｖａｌ
ꢀ ꢀ
ｇ
１
１
１
１
２
，
ＳＨＩＸｕａｎ ＸＵ Ｌｉｎｓｏｎ
ꢀ
，
，
，
ＬＩＣｈｅｎ ＷＡＮＧＪｉａｘｉｎ ＬＩＤａｎｃｈａｏ
ｇ
ꢀ
ｇ
ꢀ
ꢀ
ꢀ
ｇ
（
，
’
，
’
，
；
１．ＳｃｈｏｏｌｏｆＳｏｆｔｗａｒｅＥｎｉｎｅｅｒｉｎ ＸｉａｎＪｉａｏｔｏｎ Ｕｎｉｖｅｒｓｉｔ Ｘｉａｎ７１００４９ Ｃｈｉｎａ
ꢀ ꢀ ꢀ ｇ
ｇ
ꢀ
ｇ
ꢀ
ｙ
ꢀ
，
’
，
’
，
）
２．ＳｃｈｏｏｌｏｆＥｎｉｎｅｅｒｉｎ Ｗｏｒｋｓｈｏ ＸｉａｎＪｉａｏｔｏｎ Ｕｎｉｖｅｒｓｉｔ Ｘｉａｎ７１００４９ Ｃｈｉｎａ
ꢀ ꢀ ｇ
ｇ
ꢀ
ｐ
ꢀ
ｇ
ꢀ
ｙ
ꢀ
：
Ａｂｓｔｒａｃｔ Ａｎｉｍａｅｒｅｔｒｉｅｖａｌｍｅｔｈｏｄｂａｓｅｄｏｎｄｅｅ ｃｏｎｖｏｌｕｔｉｏｎａｌｆｅａｔｕｒｅｓｏｆ ｏｉｎｔｗｅｉｈｔｉｎ
ｇꢀ ｇ
ꢀ ꢀ ꢀ ꢀｊ
ꢀ
ꢀ
ꢀ
ｐ
ꢀ
ꢀ
ꢀ
ｇ
’
ａ ｒｅａｔｉｏｎｉｓ ｒｏｏｓｅｄｔｏｓｏｌｖｅｔｈｅ ｒｏｂｌｅｍｔｈａｔｍｏｓｔｅｘｉｓｔｉｎ ｉｍａｅｒｅｔｒｉｅｖａｌａ ｒｏａｃｈｅｓｃａｎｔ
ｇｇ ｇ ｇꢀ
ꢀ ꢀｐ ｐ ꢀ ꢀ ꢀｐ ꢀｐｐ
ꢀ
ꢀ
ꢀ
ꢀ
ｇ
ꢀ
ꢀ
，
ｆｕｌｌ ｅｘｔｒａｃｔｉｍａｅｆｅａｔｕｒｅｓａｎｄｔｈｅｉｒ ｅｒｆｏｒｍａｎｃｅｒｅｕｉｒｅｓｔｏｂｅｉｍ ｒｏｖｅｄ．Ｆｉｒｓｔｌ ｔｈｅｍｅｔｈｏｄ
ｇꢀ
ꢀｐ ꢀ ｑ ꢀ ꢀ ꢀ ｐ
ｙ
ꢀ
ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ｅｘｔｒａｃｔｓｔｈｅｏｕｔｕｔｓｏｆｔｈｅｌａｓｔｃｏｎｖｏｌｕｔｉｏｎａｌｌａｅｒａｓｄｅｅ ｃｏｎｖｏｌｕｔｉｏｎａｌｆｅａｔｕｒｅｓｏｆａｎｉｍａｅｂ
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ｙ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ｇꢀｙ
ｐ
ｐ
ꢀ
，
ａｓｓｉｎ ｔｈｅｉｍａｅｔｈｒｏｕｈａ ｒｅｔｒａｉｎｅｄｄｅｅ ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ．Ｔｈｅｎ ｔｈｅｓａｔｉａｌ
ｇꢀ ｇꢀꢀｐ
ꢀｐ
ｐ
ｇ
ꢀ
ꢀ
－
ꢀ
ｐ
ꢀ
ꢀ
ꢀ
ｗｅｉｈｔｍａｔｒｉｘｉｓｃａｌｃｕｌａｔｅｄｔｏｈｉｈｌｉｈｔｓｉｎｉｆｉｃａｎｃｅｒｅｉｏｎｓｏｆｔｈｅｉｍａｅａｎｄｔｏｓｕ ｒｅｓｓｔｈｅ
ｇ ꢀ ｇꢀ ꢀ ꢀ ｐｐ
ꢀ ꢀ ꢀ ꢀ ｇ ｇ ꢀ ｇ ꢀ ｇ ꢀ ꢀ ꢀ ꢀ
ｂａｃｋｒｏｕｎｄｎｏｉｓｅｏｆｔｈｅｉｍａｅ．Ｔｈｅｍａｘｉｍｕｍ ｒｉｎｃｉｌｅｏｆｃｈａｎｎｅｌｖａｒｉａｎｃｅｉｓｔｈｅｎｕｓｅｄｔｏｓｅｌｅｃｔ
ｇ ｐ ꢀ ꢀ
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀꢀ ꢀ ꢀ ꢀ
ｇ
－
ｐ
ｔｈｅｃｏｒｒｅｓｏｎｄｉｎ ｆｅａｔｕｒｅ ｍａ ａｎｄｔｏｃａｌｃｕｌａｔｅｔｈｅｓａｔｉａｌｗｅｉｈｔ ｍａｔｒｉｘ．Ｔｈｅｏｒｉｉｎａｌｄｅｅ
ꢀ ꢀ ｐ ꢀ ꢀ ꢀ ꢀｐ ꢀ ꢀ ｇ ꢀ
ｇ ｇ ꢀ ｐ
ｐ
ꢀ
ꢀ
，
ｃｏｎｖｏｌｕｔｉｏｎａｌｆｅａｔｕｒｅｓａｒｅｗｅｉｈｔｅｄａｎｄａ ｒｅａｔｅｄｉｎｔｏａｆｅａｔｕｒｅｖｅｃｔｏｒ．Ｍｏｒｅｏｖｅｒ ｔｈｅｃｈａｎｎｅｌ
ꢀ ｇ ꢀｇｇ ｇ ꢀꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
，
ｗｅｉｈｔｖｅｃｔｏｒｉｓｃａｌｃｕｌａｔｅｄｂ ｄｉｓｔｉｎｕｉｓｈｉｎ ｆｅａｔｕｒｅ ｍａｓｏｆｄｉｆｆｅｒｅｎｔｃｈａｎｎｅｌｓ ａｎｄｔｈｅｎｔｈｅ
ｇ ꢀ
ꢀ ꢀ ꢀｙ ꢀ ｐꢀ ꢀ
ｇ
ｇ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ｌｏｂａｌｆｅａｔｕｒｅｒｅｒｅｓｅｎｔａｔｉｏｎｏｆｔｈｉｓｉｍａｅｉｓｏｂｔａｉｎｅｄｂ ｍｕｌｔｉｌｉｎ ｔｈｅａ ｒｅａｔｅｄｆｅａｔｕｒｅ
ｇꢀ ꢀ ｐｙ ｇ
ꢀ ꢀ ｐ ꢀ ꢀ ꢀ ꢀｙ ꢀｇｇ ｇ ꢀ
ꢀ
ｇ
ꢀ
ｖｅｃｔｏｒａｎｄｔｈｅｃｈａｎｎｅｌｗｅｉｈｔ．Ｅｘｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｏｎｄｉｆｆｅｒｅｎｔ ｕｂｌｉｃａｖａｉｌａｂｌｅｄａｔａｓｅｔｓｆｏｒ
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀｐ ꢀ ꢀ
ꢀ
ꢀ
ｇ
ｐ
ꢀ
ｉｍａｅｒｅｔｒｉｅｖａｌｓｈｏｗｔｈａｔｔｈｅ ｒｏｏｓｅｄａ ｒｏａｃｈｅｆｆｅｃｔｉｖｅｌ ｅｎｈａｎｃｅｓｔｈｅｄｉｓｃｒｉｍｉｎａｔｉｖｅａｂｉｌｉｔ ｏｆ
ｇꢀ
ꢀ ꢀｐ ｐ ꢀｐｐ ꢀ ꢀ ꢀ ꢀ
ꢀ
ꢀ
ｙ
ꢀ
ｙ
ꢀ
，
ｉｍａｅｆｅａｔｕｒｅｓ ｏｕｔｅｒｆｏｒｍｓｔｈｅｓｔａｔｅｏｆｔｈｅａｒｔａ ｒｏａｃｈｅｓｂａｓｅｄｏｎ ｒｅｔｒａｉｎｅｄｎｅｔｗｏｒｋｓａｎｄ
ꢀ ꢀｐ
ｇꢀ
ｐ
ꢀ
ꢀ
－
－
－
ꢀｐｐ
ꢀ
－
ꢀ
ꢀ
ｃａｎｂｅｅｆｆｅｃｔｉｖｅｌ ａ ｌｉｅｄｔｏｒｅｌａｔｅｄｆｉｅｌｄｓｏｆｉｍａｅｒｅｔｒｉｅｖａｌ．
ｙ ｐｐ ꢀ ꢀ
ꢀ ꢀ ꢀ ꢀꢀ ｇꢀ
ꢀ
：
。
：
作者简介 时璇
（
—）， ，
女 硕士生 李晨 通信作者 女 讲师 硕士生导师
１９９３
；
（
）， ，
，
。
ꢀ
：
基金项目 国
收稿日期
２０１８０８１３
－ －
ꢀ
（
）。
家自然科学基金资助项目
６１６０３２８９
：
：
网络出版地址
ｈｔｔ
ｐ ∥
： ／ ／ ／
网络出版时间
２０１８１２１８
－ － ꢀ
ｋｎｓ．ｃｎｋｉ．ｎｅｔｋｃｍｓｄｅｔａｉｌ６１ ．１０６９ ．Ｔ ．２０１８１２１４ ．０９２６ ．０１２ ．ｈｔｍｌ
：
ｐ ∥
ｈｔｔ
ｚｋｘｂ．ｘｔｕ．ｅｄｕ．ｃｎ
ｊ
ꢀ
ꢀ
， ：
时璇 等 联合加权聚合深度卷积特征的图像检索方法
１２９
第
期
２
ꢀ
：
；
；
Ｋｅｗｏｒｄｓ ｉｍａｅｒｅｔｒｉｅｖａｌ ｄｅｅ ｃｏｎｖｏｌｕｔｉｏｎａｌｆｅａｔｕｒｅｓ ｓａｔｉａｌｗｅｉｈｔｍａｔｒｉｘ ｃｈａｎｎｅｌｗｅｉｈｔ
ｇꢀ ｇ ꢀ
；
ｐ
ꢀ
ꢀ
ｐ
ꢀ
ꢀ
ｇ
ｙ
；
ｖｅｃｔｏｒ ａ ｒｅａｔｉｏｎ
ｇｇ ｇ
［
］
１５
，
通过高斯空
基于内容的图像检索技术成为了目前多媒体和
通道加权的深度卷积图像检索方法
ꢀꢀ
［］
１
，
计算机视觉领域的研究热点
其关键步骤是得到
间权重矩阵自适应地确定显著性区域中心并分配权
［ ］
１６
。
图像的特征表示 早期研究工作是将手工设计的视
，
重 通过通 道 权 重 缓 解 特 征 爆 炸 现 象
，
与
ＳＰｏＣ
［］
２
）
［
］
３６
，
－
（
觉特征 例如
，
方法相比 检索平均精确率 得 到 了 提升
。
特征
进行嵌入和聚合
得
和
ＳＩＦＴ
ＣｒｏＷ
。
到图像的全局特征表示 近年来随着深度学习技术
方法利用图像深度卷积特征中不同特征图的
ＳＢＡ
，
区分性生成语义探测器 通过加权聚合得到图像全
［
７９
）
］
－
，
的兴起 有研究将深度卷积神经网络
（
ＣＮＮ
应
［
］
１７
。
。
用到图像检索技术中 此类方法将图像输入到预先
局特征表示
，
训练好的卷积神经网络中 直接提取某层的输出作
由于上述方法仍存在背景噪声及特征提取不充
［ ］
１７
［ ］
１３
，
为图像的特征表示 此类特征与传统的手工设计的
，
分的问题 本文基于
和
方法提出了
ＳＢＡ
联合加权聚合深度卷积特征的图像检索方法 采用
空间权重矩阵来突出图像的显著性区域并抑制背景
ＣｒｏＷ
。 ，
视觉特征相比具有更强的区分能力 因此 基于卷
，
积神经网络的图像检索方法成为了目前该领域的主
［
］
１０
。
，
区域 根据通道权重向量区分性地对待不同通道的
流方法
。
早期的基于卷积神经网络的图像检索方法将网
特征图
［
］
１１
，
络的全连接层输出作为图像的全局特征表示
然
基于深度卷积特征的图像检索框架
１
ꢀ
，
而全连接层输出缺失图像的空间信息 且此类方法
，
需要对输入图像进行缩放使其大小相同 这造成了
基于深度卷积特征的图像检索包括离线和在线
， 。
图像内容的畸变 因此检索平均精确率不高 有研
， 。 ，
过程 如图 所示 离线过程中 先将图像数据集中
１
，
究将网络的卷积层输出 即图像的深度卷积特征作
，
的每张图像输入到预先训练好的卷积神经网络中
， ，
为其全局特征表示 不仅保留了图像的空间信息 且
提取神经网络的卷积层输出得到图像的深度卷积特
［
］
１２１７
。
－
，
无需 缩 放 图 像 检 索 平 均 精 确 率 得 到 提 升
，
征 再使用合适的聚合方法将其聚合为全局特征向
； ，
量并存入到全局特征向量库中 在线过程中 将查询
方法直接对深度卷积特征中每个特征图求和
ＳＰｏＣ
池化得到图像的全局特征表示
［
］
１２
，
是将深度卷积特
图像输入到相同的卷积神经网络中获取图像的深度
。
ＣｒｏＷ
，
卷积特征 再使用相同的聚合方法得到查询图像的
征用于 图 像 检 索 的 开 创 性 工 作
方 法 基 于
，
全局特征向量 通过比较查询图像的全局特征向量
方法提出空间权重和通道权重来突出图像的
ＳＰｏＣ
显著性区域
方法采用变窗口方式对图像的特征图进行
［
］
１３
，
。
，
与全局特征向量库中的全局特征向量之间的距离
检索平均精确率有了进一步提升
，
根据相似性大小进行排序 通过索引查找全局特征
Ｒ ＭＡＣ
－
，
滑窗提取若干局部特征 再将局部特征相加得到最
。
向量对应的图像返回检索结果 聚合方法的好坏是
［ ］
１４
，
，
影响检索平均精确率的核心因素 也是本文研究的
终的全局 特 征 表 示
该 方 法 检 索 平 均 精 确 率 与
方法是自适应中心点与
ＡｄＣｏＷ
。
。
重点
方法相近
ＣｒｏＷ
图
基于深度卷积特征的图像检索框架
１
ꢀ
：
ｐ ∥
ｈｔｔ
ｚｋｘｂ．ｘｔｕ．ｅｄｕ．ｃｎ
ｊ
ꢀ
ꢀ
全部评论(0)