推荐星级:
  • 1
  • 2
  • 3
  • 4
  • 5

联合加权聚合深度卷积特征的图像检索方法

更新时间:2019-12-31 15:03:07 大小:2M 上传用户:songhuahua查看TA发布的资源 标签:图像检索深度卷积特征 下载积分:1分 评价赚积分 (如何评价?) 打赏 收藏 评论(0) 举报

资料介绍

针对图像特征提取不充分影响图像检索平均精确率的问题,提出了一种基于联合加权聚合深度卷积特征的图像检索方法。该方法将图像输入到预先训练好的卷积神经网络中,提取最后一个卷积层输出作为图像的深度卷积特征;通过计算空间权重矩阵突出图像的显著性区域并抑制背景噪声区域,然后根据通道方差最大原则选取相应的特征图计算出空间权重矩阵,将原始深度卷积特征加权聚合为列向量;通过区分性地对待不同通道的特征图,计算出通道权重向量与上述列向量点乘得到最终的全局特征向量。公开数据集上的实验结果表明,本文方法能够有效地增强图像特征的表达能力,在图像检索的平均精确率上优于其他同类方法,可以有效地应用到图像检索相关领域。


部分文件列表

文件名 大小
联合加权聚合深度卷积特征的图像检索方法.pdf 2M

部分页面预览

(完整内容请下载后查看)
第
卷
第
期
2
53  
西
安
交
通
大
学
学 报  
ꢀ
Vol.53 No.2  
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
’
JOURNALOFXIANJIAOTONG UNIVERSITY  
ꢀ ꢀ  
年
月
2019  
2
Feb.2019  
ꢀ
ꢀ
:
/
DOI 10.7652xtuxb201902017  
j
联合加权聚合深度卷积特征的图像检索方法  
1
1
1
李晨  
1
,
王佳星 李党超  
2
,
,
,
时璇  
许林松  
(
西安交通大学软件学院  
1.  
,
,
;
2.  
,
,
)
西安  
西安  
西安交通大学实践教学中心  
710049  
710049  
: ,  
摘要 针对图像特征提取不充分影响图像检索平均精确率的问题 提出了一种基于联合加权聚合  
。 ,  
深度卷积特征的图像检索方法 该方法将图像输入到预先训练好的卷积神经网络中 提取最后一  
;
个卷积层输出作为图像的深度卷积特征 通过计算空间权重矩阵突出图像的显著性区域并抑制背  
, ,  
景噪声区域 然后根据通道方差最大原则选取相应的特征图计算出空间权重矩阵 将原始深度卷积  
; ,  
特征加权聚合为列向量 通过区分性地对待不同通道的特征图 计算出通道权重向量与上述列向量  
。 ,  
点乘得到最终的全局特征向量 公开数据集上的实验结果表明 本文方法能够有效地增强图像特征  
, ,  
的表达能力 在图像检索的平均精确率上优于其他同类方法 可以有效地应用到图像检索相关领域  
。
: ; ; ; ;  
关键词 图像检索 深度卷积特征 空间权重矩阵 通道权重向量 聚合  
:
:
A
:
文章编号  
0253987X 201902012808  
ꢀ
(
)
中图分类号  
文献标志码  
TP391  
ꢀ
-
-
-
JointWeihtin A reationofDee ConvolutionalFeatures  
ꢀ
ꢀ ꢀ  
p
ꢀ
ꢀ
g
g gg g  
ꢀ
forImaeRetrieval  
ꢀ ꢀ  
g
1
1
1
1
2
,
SHIXuan XU Linson  
ꢀ
,
,
,
LIChen WANGJiaxin LIDanchao  
g
ꢀ
g
ꢀ
ꢀ
ꢀ
g
(
,
’
,
’
,
;
1.SchoolofSoftwareEnineerin XianJiaoton Universit Xian710049 China  
ꢀ ꢀ ꢀ g  
g
ꢀ
g
ꢀ
y
ꢀ
,
’
,
’
,
)
2.SchoolofEnineerin Worksho XianJiaoton Universit Xian710049 China  
ꢀ ꢀ g  
g
ꢀ
p
ꢀ
g
ꢀ
y
ꢀ
:
Abstract Animaeretrievalmethodbasedondee convolutionalfeaturesof ointweihtin  
gꢀ g  
ꢀ ꢀ ꢀ ꢀj  
ꢀ
ꢀ
ꢀ
p
ꢀ
ꢀ
ꢀ
g
’
a reationis roosedtosolvethe roblemthatmostexistin imaeretrievala roachescant  
gg g gꢀ  
ꢀ ꢀp p ꢀ ꢀ ꢀp ꢀpp  
ꢀ
ꢀ
ꢀ
ꢀ
g
ꢀ
ꢀ
,
full extractimaefeaturesandtheir erformancereuirestobeim roved.Firstl themethod  
gꢀ  
ꢀp ꢀ q ꢀ ꢀ ꢀ p  
y
ꢀ
ꢀ
ꢀ
ꢀ
y
ꢀ
extractstheoututsofthelastconvolutionallaerasdee convolutionalfeaturesofanimaeb  
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ y ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ gꢀy  
p
p
ꢀ
,
assin theimaethrouha retraineddee convolutionalneuralnetwork.Then thesatial  
gꢀ gꢀꢀp  
ꢀp  
p
g
ꢀ
ꢀ
-
ꢀ
p
ꢀ
ꢀ
ꢀ
weihtmatrixiscalculatedtohihlihtsinificancereionsoftheimaeandtosu ressthe  
g ꢀ gꢀ ꢀ ꢀ pp  
ꢀ ꢀ ꢀ ꢀ g g ꢀ g ꢀ g ꢀ ꢀ ꢀ ꢀ  
backroundnoiseoftheimae.Themaximum rincileofchannelvarianceisthenusedtoselect  
g p ꢀ ꢀ  
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀꢀ ꢀ ꢀ ꢀ  
g
-
p
thecorresondin feature ma andtocalculatethesatialweiht matrix.Theoriinaldee  
ꢀ ꢀ p ꢀ ꢀ ꢀ ꢀp ꢀ ꢀ g ꢀ  
g g ꢀ p  
p
ꢀ
ꢀ
,
convolutionalfeaturesareweihtedanda reatedintoafeaturevector.Moreover thechannel  
ꢀ g ꢀgg g ꢀꢀ  
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
,
weihtvectoriscalculatedb distinuishin feature masofdifferentchannels andthenthe  
g ꢀ  
ꢀ ꢀ ꢀy ꢀ pꢀ ꢀ  
g
g
ꢀ
ꢀ
ꢀ
ꢀ
ꢀ
lobalfeaturereresentationofthisimaeisobtainedb multilin thea reatedfeature  
gꢀ ꢀ py g  
ꢀ ꢀ p ꢀ ꢀ ꢀ ꢀy ꢀgg g ꢀ  
ꢀ
g
ꢀ
vectorandthechannelweiht.Exerimentalresultsondifferent ublicavailabledatasetsfor  
ꢀ ꢀ ꢀ ꢀ ꢀ ꢀp ꢀ ꢀ  
ꢀ
ꢀ
g
p
ꢀ
imaeretrievalshowthatthe rooseda roacheffectivel enhancesthediscriminativeabilit of  
gꢀ  
ꢀ ꢀp p ꢀpp ꢀ ꢀ ꢀ ꢀ  
ꢀ
ꢀ
y
ꢀ
y
ꢀ
,
imaefeatures outerformsthestateofthearta roachesbasedon retrainednetworksand  
ꢀ ꢀp  
gꢀ  
p
ꢀ
ꢀ
-
-
-
ꢀpp  
ꢀ
-
ꢀ
ꢀ
canbeeffectivel a liedtorelatedfieldsofimaeretrieval.  
y pp ꢀ ꢀ  
ꢀ ꢀ ꢀ ꢀꢀ gꢀ  
ꢀ
:
。
:
作者简介 时璇  
(
—), ,  
女 硕士生 李晨 通信作者 女 讲师 硕士生导师  
1993  
;
(
), ,  
,
。
ꢀ
:
基金项目 国  
收稿日期  
20180813  
- -  
ꢀ
(
)。  
家自然科学基金资助项目  
61603289  
:
:
网络出版地址  
htt  
p ∥  
: / / /  
网络出版时间  
20181218  
- - ꢀ  
kns.cnki.netkcmsdetail61 .1069 .T .20181214 .0926 .012 .html  
:
p ∥  
htt  
zkxb.xtu.edu.cn  
j
ꢀ
ꢀ
, :  
时璇 等 联合加权聚合深度卷积特征的图像检索方法  
129  
第
期
2
ꢀ
:
;
;
Kewords imaeretrieval dee convolutionalfeatures satialweihtmatrix channelweiht  
gꢀ g ꢀ  
;
p
ꢀ
ꢀ
p
ꢀ
ꢀ
g
y
;
vector a reation  
gg g  
[
]
15  
,
通过高斯空  
基于内容的图像检索技术成为了目前多媒体和  
通道加权的深度卷积图像检索方法  
ꢀꢀ  
[]  
1
,
计算机视觉领域的研究热点  
其关键步骤是得到  
间权重矩阵自适应地确定显著性区域中心并分配权  
[ ]  
16  
。
图像的特征表示 早期研究工作是将手工设计的视  
,
重 通过通 道 权 重 缓 解 特 征 爆 炸 现 象  
,
与
SPoC  
[]  
2
)
[
]
36  
,
-
(
觉特征 例如  
,
方法相比 检索平均精确率 得 到 了 提升  
。
特征  
进行嵌入和聚合  
得
和
SIFT  
CroW  
。
到图像的全局特征表示 近年来随着深度学习技术  
方法利用图像深度卷积特征中不同特征图的  
SBA  
,
区分性生成语义探测器 通过加权聚合得到图像全  
[
79  
)
]
-
,
的兴起 有研究将深度卷积神经网络  
(
CNN  
应
[
]
17  
。
。
用到图像检索技术中 此类方法将图像输入到预先  
局特征表示  
,
训练好的卷积神经网络中 直接提取某层的输出作  
由于上述方法仍存在背景噪声及特征提取不充  
[ ]  
17  
[ ]  
13  
,
为图像的特征表示 此类特征与传统的手工设计的  
,
分的问题 本文基于  
和
方法提出了  
SBA  
联合加权聚合深度卷积特征的图像检索方法 采用  
空间权重矩阵来突出图像的显著性区域并抑制背景  
CroW  
。 ,  
视觉特征相比具有更强的区分能力 因此 基于卷  
,
积神经网络的图像检索方法成为了目前该领域的主  
[
]
10  
。
,
区域 根据通道权重向量区分性地对待不同通道的  
流方法  
。
早期的基于卷积神经网络的图像检索方法将网  
特征图  
[
]
11  
,
络的全连接层输出作为图像的全局特征表示  
然
基于深度卷积特征的图像检索框架  
1
ꢀ
,
而全连接层输出缺失图像的空间信息 且此类方法  
,
需要对输入图像进行缩放使其大小相同 这造成了  
基于深度卷积特征的图像检索包括离线和在线  
, 。  
图像内容的畸变 因此检索平均精确率不高 有研  
, 。 ,  
过程 如图 所示 离线过程中 先将图像数据集中  
1
,
究将网络的卷积层输出 即图像的深度卷积特征作  
,
的每张图像输入到预先训练好的卷积神经网络中  
, ,  
为其全局特征表示 不仅保留了图像的空间信息 且  
提取神经网络的卷积层输出得到图像的深度卷积特  
[
]
1217  
。
-
,
无需 缩 放 图 像 检 索 平 均 精 确 率 得 到 提 升  
,
征 再使用合适的聚合方法将其聚合为全局特征向  
; ,  
量并存入到全局特征向量库中 在线过程中 将查询  
方法直接对深度卷积特征中每个特征图求和  
SPoC  
池化得到图像的全局特征表示  
[
]
12  
,
是将深度卷积特  
图像输入到相同的卷积神经网络中获取图像的深度  
。
CroW  
,
卷积特征 再使用相同的聚合方法得到查询图像的  
征用于 图 像 检 索 的 开 创 性 工 作  
方 法 基 于  
,
全局特征向量 通过比较查询图像的全局特征向量  
方法提出空间权重和通道权重来突出图像的  
SPoC  
显著性区域  
方法采用变窗口方式对图像的特征图进行  
[
]
13  
,
。
,
与全局特征向量库中的全局特征向量之间的距离  
检索平均精确率有了进一步提升  
,
根据相似性大小进行排序 通过索引查找全局特征  
R MAC  
-
,
滑窗提取若干局部特征 再将局部特征相加得到最  
。
向量对应的图像返回检索结果 聚合方法的好坏是  
[ ]  
14  
,
,
影响检索平均精确率的核心因素 也是本文研究的  
终的全局 特 征 表 示  
该 方 法 检 索 平 均 精 确 率 与  
方法是自适应中心点与  
AdCoW  
。
。
重点  
方法相近  
CroW  
图
基于深度卷积特征的图像检索框架  
1
ꢀ
:
p ∥  
htt  
zkxb.xtu.edu.cn  
j
ꢀ
ꢀ

全部评论(0)

暂无评论

上传资源 上传优质资源有赏金

  • 打赏
  • 30日榜单
  • 21下载积分 打赏60.00元   3天前

    用户:gsy幸运

  • 21下载积分 打赏70.00元   3天前

    用户:铁蛋锅

  • 21下载积分 打赏65.00元   3天前

    用户:xzxbybd

  • 21下载积分 打赏60.00元   3天前

    用户:jh0355

  • 21下载积分 打赏60.00元   3天前

    用户:w178191520

  • 21下载积分 打赏20.00元   3天前

    用户:jh03551

  • 21下载积分 打赏20.00元   3天前

    用户:sun2152

  • 21下载积分 打赏20.00元   3天前

    用户:kk1957135547

  • 21下载积分 打赏25.00元   3天前

    用户:w1966891335

  • 21下载积分 打赏20.00元   3天前

    用户:xuzhen1

  • 21下载积分 打赏15.00元   3天前

    用户:x15580286248

  • 21下载积分 打赏25.00元   3天前

    用户:pcb

  • 21下载积分 打赏20.00元   3天前

    用户:bhacker

  • 21下载积分 打赏15.00元   3天前

    用户:liqiang9090

  • 21下载积分 打赏25.00元   3天前

    用户:有理想666

  • 21下载积分 打赏15.00元   3天前

    用户:godbox

  • 21下载积分 打赏15.00元   3天前

    用户:aetek

  • 21下载积分 打赏5.00元   3天前

    用户:mulanhk

  • 21下载积分 打赏5.00元   3天前

    用户:JuneLin61

推荐下载