推荐星级：

基于多尺度深度学习的商品图像检索

更新时间：2019-12-25 10:07:16 大小：2M 上传用户：zhiyao6 查看TA发布的资源 标签：商品图像检索 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

商品图像检索的目标是检索与图像内容相符的商品,它是移动视觉搜索在电子商务中的重要应用.商品图像检索的发展,既为用户购物提供便利,又促进了电子商务向移动端发展.图像特征是影响商品图片检索性能的重要因素.复杂的图片背景、同类商品之间的相似性和被拍摄商品尺度的变化,都使得商品图像检索对图像特征提出了更高的要求.提出了一种多尺度深度神经网络,以便于抽取对复杂图片背景和目标物体尺度变化更加鲁棒的图像特征.同时根据商品类别标注信息学习图片之间的相似度.针对在线服务对响应速度的要求,通过压缩模型的深度和宽度控制了计算开销.在一个百万级的商品图片数据集上的对比实验证明:该方法在保持速度的同时提升了查询的准确率.

部分文件列表

文件名	大小
基于多尺度深度学习的商品图像检索.pdf	2M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

：

ＤＯＩ１０．７５４４ｉｓｓｎ１０００１２３９．２０１７．２０１７０１９７

－

计算机研究与发展

（）：，

５４８１８２４１８３２２０１７

－

ＪｏｕｒｎａｌｏｆＣｏｍｕｔｅｒＲｅｓｅａｒｃｈａｎｄＤｅｖｅｌｏｍｅｎｔ

ꢀ ꢀ ꢀ ꢀ ꢀ

ｐｐ

ꢀ

基于多尺度深度学习的商品图像检索

周

晔

张军平

ꢀꢀꢀ

ꢀ

（

）

复旦大学计算机科学技术学院上海

ꢀ

２００４３３

ꢀ

（

）

上海市智能信息处理重点实验室上海

ꢀ

２００４３３

ꢀ

（

）

ｅｚｈｏｕ１４ｆｕｄａｎ．ｅｄｕ．ｃｎ

＠

ｙ

ＭｕｌｔｉＳｃａｌｅＤｅｅＬｅａｒｎｉｎｆｏｒＰｒｏｄｕｃｔＩｍａｅＳｅａｒｃｈ

ꢀ ꢀ ꢀ

ｇ

－

ꢀ

ｐ

ꢀ

ｇ

ꢀ

ＺｈｏｕＹｅａｎｄＺｈａｎＪｕｎｉｎ

ꢀ ꢀ ꢀ

ｇｐｇ

ꢀ

（

，

ＳｃｈｏｏｌｏＣｏｍｕｔｅｒＳｃｉｅｎｃｅＦｕｄａｎＵｎｉｖｅｒｓｉｔＳｈａｎｈａｉ２００４３３

ꢀ

，

）

ꢀ

ｆ

ｐ

ｙ

ｇ

ꢀ

（

，

）

ＳｈａｎｈａｉＫｅＬａｂｏｒａｔｏｒｏＩｎｔｅｌｌｉｅｎｔＩｎｏｒｍａｔｉｏｎＰｒｏｃｅｓｓｉｎＳｈａｎｈａｉ２００４３３

ꢀ ꢀ ꢀ ꢀ

ｆ

ｇ

ｙ

ꢀ

ｙｆ

ꢀ ꢀ

ｇ

ＡｂｓｔｒａｃｔＰｒｏｄｕｃｔｉｍａｅｓｅａｒｃｈｉｓａｎｉｍｏｒｔａｎｔａｌｉｃａｔｉｏｎｏｆｍｏｂｉｌｅｖｉｓｕａｌｓｅａｒｃｈｉｎｅｃｏｍｍｅｒｃｅ．

ꢀ ꢀ ꢀ ꢀ ꢀ ｐ ꢀｐｐ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ－

ｇꢀ

Ｔｈｅｔａｒｅｔｏｆｒｏｄｕｃｔｉｍａｅｓｅａｒｃｈｉｓｔｏｒｅｔｒｉｅｖｅｔｈｅｅｘａｃｔｒｏｄｕｃｔｉｎａｕｅｒｉｍａｅ．Ｔｈｅｄｅｖｅｌｏｍｅｎｔ

ꢀ ｇ ꢀ ꢀｐ ꢀ ꢀꢀ ꢀ ꢀ ꢀ ꢀｐ ꢀ ꢀꢀｑ ꢀ

ｇꢀ ｙｇｐ

ꢀ

，

ｏｆｒｏｄｕｃｔｉｍａｅｓｅａｒｃｈｎｏｔｏｎｌｆａｃｉｌｉｔａｔｅｓｅｏｌｅｓｓｈｏｉｎｂｕｔａｌｓｏｒｅｓｕｌｔｓｉｎｔｈａｔｅｃｏｍｍｅｒｃｅ

ｇꢀ ｐｐｇ

ꢀｐ ꢀｐｐ ꢀ ꢀ

ꢀ

ｙ

ꢀ

ꢀ－

ｍｏｖｅｓｆｏｒｗａｒｄｔｏｍｏｂｉｌｅｕｓｅｒｓ．Ａｓｏｎｅｏｆｔｈｅｍｏｓｔｉｍｏｒｔａｎｔｅｒｆｏｒｍａｎｃｅｆａｃｔｏｒｓｉｎｒｏｄｕｃｔｉｍａｅ

ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ｐ ꢀｐ ꢀ ꢀ ꢀｐ ꢀ

ꢀ

ｇ

，

ｓｅａｒｃｈｉｍａｅｒｅｒｅｓｅｎｔａｔｉｏｎｓｕｆｆｅｒｓｆｒｏｍｃｏｍｌｉｃａｔｅｄｉｍａｅｂａｃｋｒｏｕｎｄｓｍａｌｌｖａｒｉａｎｃｅｗｉｔｈｉｎｅａｃｈ

ｇꢀ ｐｇꢀ

ꢀ

ｐ

ꢀ

ｇ

ꢀ

，

ｒｏｄｕｃｔｃａｔｅｏｒａｎｄｖａｒｉａｎｔｓｃａｌｅｏｆｔｈｅｔａｒｅｔｏｂｅｃｔ．Ｔｏｄｅａｌｗｉｔｈｃｏｍｌｉｃａｔｅｄｂａｃｋｒｏｕｎｄａｎｄ

ｇｙｇ ꢀ ｊ

ꢀ ꢀ

ｐ

ꢀ

ｐ

ꢀ

ｇ

ꢀ

，

ｖａｒｉａｎｔｏｂｅｃｔｓｃａｌｅｗｅｒｅｓｅｎｔａｍｕｌｔｉｓｃａｌｅｄｅｅｍｏｄｅｌｆｏｒｅｘｔｒａｃｔｉｎｉｍａｅｒｅｒｅｓｅｎｔａｔｉｏｎ．

ꢀ ｊ ꢀ ꢀｐ ꢀ ꢀ

ｇꢀ ｐ

－

ꢀ

ｐ

ꢀ

ｇ

ꢀ

，

Ｍｅａｎｗｈｉｌｅｗｅｌｅａｒｎｉｍａｅｓｉｍｉｌａｒｉｔｆｒｏｍｒｏｄｕｃｔｃａｔｅｏｒａｎｎｏｔａｔｉｏｎｓ．Ｗｅａｌｓｏｏｔｉｍｉｚｅｔｈｅ

ｇꢀ ｇｙ

ꢀｐ ꢀ ｐ

ꢀ

ｙ

ꢀ

ｃｏｍｕｔａｔｉｏｎｃｏｓｔｂｒｅｄｕｃｉｎｔｈｅｗｉｄｔｈａｎｄｄｅｔｈｏｆｏｕｒｍｏｄｅｌｔｏｍｅｅｔｔｈｅｓｅｅｄｒｅｕｉｒｅｍｅｎｔｓｏｆ

ꢀ ꢀｙ ꢀ ꢀ ꢀ ｐ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀ ꢀｐ ꢀ ｑ

ｐ

ｇ

ꢀ

ｏｎｌｉｎｅｓｅａｒｃｈｓｅｒｖｉｃｅｓ．Ｅｘｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｏｎａｍｉｌｌｉｏｎｓｃａｌｅｒｏｄｕｃｔｉｍａｅｄａｔａｓｅｔｓｈｏｗｓｔｈａｔｏｕｒ

ｇꢀ

ꢀ ꢀ ꢀꢀ － ꢀｐ ꢀ ꢀ ꢀ

ꢀ

ｐ

ꢀ

，

ｍｅｔｈｏｄｉｍｒｏｖｅｓｒｅｔｒｉｅｖａｌａｃｃｕｒａｃｗｈｉｌｅｋｅｅｓｏｏｄｃｏｍｕｔａｔｉｏｎｅｆｆｉｃｉｅｎｃｃｏｍａｒｉｎｗｉｔｈｅｘｉｓｔｉｎ

ꢀ ｐ

ｐꢀｇｇ

ꢀ

ｙ

ꢀ

ｐ

ꢀ

ｙ

ｐ

ｇ

ꢀ

ｍｅｔｈｏｄｓ．

；

ｇ

；

Ｋｅｗｏｒｄｓｒｏｄｕｃｔｉｍａｅｓｅａｒｃｈｄｅｅｌｅａｒｎｉｎｍｕｌｔｉｓｃａｌｅｍｅｔｒｉｃｌｅａｒｎｉｎｍｏｄｅｌｃｏｍｒｅｓｓｉｏｎ

ꢀｐ

ｇꢀ

；

ｇ

ꢀ

ｐ

ꢀ

ｐ

ｙ

ꢀ

，

商品图像检索的目标是检索与图像内容相符的商品它是移动视觉搜索在电子商务中的重要应

摘

要

ꢀ

，，

用商品图像检索的发展既为用户购物提供便利又促进了电子商务向移动端发展图像特征是影响商

．

、，

品图片检索性能的重要因素复杂的图片背景同类商品之间的相似性和被拍摄商品尺度的变化都使

．

，

得商品图像检索对图像特征提出了更高的要求提出了一种多尺度深度神经网络以便于抽取对复杂图

．

片背景和目标物体尺度变化更加鲁棒的图像特征同时根据商品类别标注信息学习图片之间的相似度

．

，

针对在线服务对响应速度的要求通过压缩模型的深度和宽度控制了计算开销在一个百万级的商品图

．

：

片数据集上的对比实验证明该方法在保持速度的同时提升了查询的准确率

．

；；；；

商品图像检索深度学习多尺度度量学习模型压缩

关键词

ꢀ

中图法分类号

ＴＰ３９１．４

ꢀ

［］

１

移动视觉搜索是指将移动终端获取的真实世界

搜索视觉对象的关联信息的检索方式

电子商务

．

ꢀꢀ

，

中的图像或视频作为查询对象通过移动互联网去

是近年来发展最为迅速的行业之一商品图像检索

．

：

；

：

修回日期

２０１７０５１７

收稿日期

－－

２０１７０３２０

－

ꢀ

：

基金项目国家自然科学基金项目

（

）；

上海市浦江人才计划项目

（

）

６１６７３１１８

１６ＰＪＤ００９

（

）

（

ＴｈｉｓｗｏｒｋｗａｓｓｕｏｒｔｅｄｂｔｈｅＮａｔｉｏｎａｌＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＣｈｉｎａ６１６７３１１８ａｎｄＳｈａｎｈａｉＰｕｉａｎＰｒｏｒａｍ１６ＰＪＤ００９．

ꢀ ｐｐ ꢀｙ ꢀ ꢀ ꢀ ｊｇ

）

ꢀ

ｇ

ꢀ

：

通信作者张军平

（）

ｚｈａｎｆｕｄａｎ．ｅｄｕ．ｃｎ

ｊｐｇ＠

ꢀ

：

晔等基于多尺度深度学习的商品图像检索

周

ꢀ

１８２５

［］

１０

［］

１１

另一些使用了图像分割等自动方

，

是移动视觉搜索在电子商务中的重要应用通过智

．

记目标区域

，

法从查询图像中截取包含商品主体的区域后进行

，

能手机终端与移动视觉搜索技术的结合用户可以

，，

处理与这些方法不同在我们的方法中查询图像

．

、、

随时在街上商店中家中拍摄自己看到的商品照

，

被视为一个整体进行处理通过多尺度方法解决商

，

片并在电子商务网站中检索对应的商品随着越来

．

，

品区域的尺度问题具体来说我们提出了一种多尺

．

，

越多的电子商务请求从桌面端转移到移动端商品

度的神经网络模型它可以使用同样的模型参数来

．

图像检索的广泛应用可以为用户提供精准的个性化

接受不同尺寸的输入尺寸通过对不同尺寸的输入

．

，，

服务从而为电子商务网站产生巨大的经济价值这

，

图像进行整合得到的多尺度特征相对于单尺度特

使得商品图像检索成为了一个全新的热门研究领

，

征更有利于提升特征的鲁棒性减少复杂的图像背

景对特征的影响

．

域如何通过移动设备拍摄的图片精确查找对应的

．

，，

商品是一个非常困难的问题首先移动设备的感

．

，，

除此以外在互联网图像搜索引擎中获得有效

，，

光元件与拍摄时的光照条件各不相同同时目标商

，

的标签通常需要消耗巨大的人力因而通常采用无

、，

品的视点和尺度的变化遮挡和模糊等都使得精确

，

监督的方法而在商品图像检索问题中幅图像是

２

．

，

匹配的难度显著加大不仅如此同类商品之间的外

．

否包含同一个商品比较容易确定因而可以通过人

．

，，

观可能非常接近例如服装类的商品不同的款式之

，

工标记部分数据的标签使用监督方法学习图像

之间的相似度图像相似度学习在人脸验证等领域

．

、

间可能只有颜色图案等的微小差别如何区分这些

．

细粒度的物体类别是一个具有挑战性的问题

．

（

ｐ

中有着广泛的应用主成分

．

ｒｉｎｃｉａｌｃｏｍｏｎｅｎｔ

ｐ ꢀ ｐ

商品图像检索可以看作一种限定的基于内容的

，

ａｎａｌｓｉｓＰＣＡ

ｙ

）、（

线性判别分析

ｌｉｎｅａｒｄｉｓｃｒｉｍｉｎａｎｔ

ꢀ

［］

２

（

，

）

ｃｏｎｔｅｎｔｂａｓｅｄｉｍａｅｒｅｔｒｉｅｖａｌＣＢＩＲ．

ｇꢀ

图像检索

在

ꢀ

［］

１２

，

ａｎａｌｓｉｓＬＤＡ

ｙ

）

等均为广泛使用的传统方法

近

．

，

基于内容的图像检索系统中图像特征是影响性能

，

年来使用深度神经网络的图像相似度学习方

［］

３

最重要的因素之一

由于商品图像检索问题的一

．

［

］

１３１４

－

法

被广泛应用深度图像相似度学习同样应用

．

，

些特殊难点使得商品图像检索对于图像特征的敏

［

］

１５

等人使用了孪生网络

，

于商品图像检索中

Ｗａｎ

ｇ

感度和判别力提出了更高的要求如何提取更加有

．

（

）

学习商品图片间的相似

ｓｉａｍｅｓｅｎｅｕｒａｌｎｅｔｗｏｒｋｓ

ꢀ ꢀ

，

效的图像特征成为商品图像检索问题研究的主要

，

学习商品图片间的相似度进

度我们使用了

．

ＬＤＡ

，

方向之一在商品图像检索的研究工作中尺度不变

．

一步增强特征的判别能力

．

［］

４

（

，

ｓｃａｌｅｉｎｖａｒｉａｎｔｆｅａｔｕｒｅｔｒａｎｓｆｏｒｍＳＩＦＴ

ꢀ

）

特征变换

ꢀ

）

提出了一种多尺

．１

我们的贡献主要有方面

３

［

］

５６

、

－

等图像局部特征和

局部聚合描述

ＦｉｓｈｅｒＶｅｃｔｏｒ

ꢀ

，

度深度神经网络模型在不需要更改模型参数的情

［

］

７８

－

）

ｖｅｃｔｏｒｏｆｌｏｃａｌｌａｒｅａｔｅｄｄｅｓｃｒｉｔｏｒｓＶＬＡＤ

ꢀꢀ

ｙｇｇｇ

（

，

符

ꢀ

ｐ

ꢀ

，

况下我们的多尺度模型可以接受不同尺寸的输入

．

，

等传统图像全局特征等均被广泛使用近年来使用

．

，

通过整合图像的全局和局部信息可以提升对物体

［

］

８９

－

深度学习方法

抽取的图像特征在商品图像检索

）

商品图像检索对模型运算速度非

．２

尺度的鲁棒性

问题上取得了巨大的性能提升在深度卷积神经网

．

，

常敏感我们通过对卷积神经网络模型进行压缩提

．

，、

络中层数越深每层过滤器

（）

数量越多的网

ｆｉｌｔｅｒ

，

出了一种更小尺寸的网络模型可以在压缩模型运

，，

络通常具有更强的特征表示能力同时需要更多的

）

我

算量接近一半的同时基本保持特征的判别力

．３

们通过图像相似度学习的方法进一步提升了特征的

判别性能在一个百万级别的大规模商品图像检索

运算量由于在线商品图像检索通常由服务器端进

．

，、

行全部的计算操作而图像特征的抽取相似度的计

．

，、

算等通常耗时巨大控制模型的复杂度做到查询

．

，

上我们同时验证了我们提出的方法

数据集

ＡＬＩＳＣ

准确率与查询速度之间的平衡是在线商品图像检索

的准确率和响应速度在单张图片特征抽取不超过

．

需要克服的另一个重要难点

．

，，

的限制内与现有的其他方法相比我们的方法

１ｓ

，

在图像检索中通常将整个查询图像视为一个

取得了最好的检索性能

．

，

整体处理而商品图像检索问题中查询图像中只包

．

，

含一个特定的商品区域其余部分均可视为背景被

．

多尺度商品图像检索方法

１

ꢀ

拍摄商品的尺度和图像的背景噪声是影响商品图像

检索性能的另外个重要的因素背景杂乱或被拍

，

在图像检索系统中最关键的部分是图像之间

２

．

，

摄的商品在图像中的比例过小都会严重影响查询

，

相似度的计算在我们的方法中图像相似度的计算

．

，

性能在商品图像检索中一些研究工作使用人工标

．

，

流程如图所示首先我们在图片中心截取一些可

１．

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

基于多尺度深度学习的商品图像检索

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页