您现在的位置是：首页 > 技术资料 > 基于深度卷积特征的细粒度图像分类研究综述

推荐星级：

基于深度卷积特征的细粒度图像分类研究综述

更新时间：2019-12-25 07:29:13 大小：730K 上传用户：zhiyao6 查看TA发布的资源 标签：深度卷积特征 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

细粒度图像分类问题是计算机视觉领域一项极具挑战的研究课题,其目标是对子类进行识别,如区分不同种类的鸟.由于子类别间细微的类间差异和较大的类内差异,传统的分类算法不得不依赖于大量的人工标注信息.近年来,随着深度学习的发展,深度卷积神经网络为细粒度图像分类带来了新的机遇.大量基于深度卷积特征算法的提出,促进了该领域的快速发展.本文首先从该问题的定义以及研究意义出发,介绍了细粒度图像分类算法的发展现状.之后,从强监督与弱监督两个角度对比分析了不同算法之间的差异,并比较了这些算法在常用数据集上的性能表现.最后,我们对这些算法进行了总结,并讨论了该领域未来可能的研究方向及其面临的挑战.

部分文件列表

文件名	大小
基于深度卷积特征的细粒度图像分类研究综述.pdf	730K

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

第 43 卷第 8 期

2017 年 8 月

自

动

化

学

报

Vol. 43, No. 8

August, 2017

ACTA AUTOMATICA SINICA

基于深度卷积特征的细粒度图像分类研究综述

吴建鑫 ¹

罗建豪 ¹

摘

要

细粒度图像分类问题是计算机视觉领域一项极具挑战的研究课题, 其目标是对子类进行识别, 如区分不同种类的鸟.

由于子类别间细微的类间差异和较大的类内差异, 传统的分类算法不得不依赖于大量的人工标注信息. 近年来, 随着深度学习

的发展, 深度卷积神经网络为细粒度图像分类带来了新的机遇. 大量基于深度卷积特征算法的提出, 促进了该领域的快速发展.

本文首先从该问题的定义以及研究意义出发, 介绍了细粒度图像分类算法的发展现状. 之后, 从强监督与弱监督两个角度对比

分析了不同算法之间的差异, 并比较了这些算法在常用数据集上的性能表现. 最后, 我们对这些算法进行了总结, 并讨论了该

领域未来可能的研究方向及其面临的挑战.

关键词细粒度图像分类, 深度学习, 卷积神经网络, 计算机视觉

引用格式罗建豪, 吴建鑫. 基于深度卷积特征的细粒度图像分类研究综述. 自动化学报, 2017, 43(8): 1306−1318

DOI 10.16383/j.aas.2017.c160425

A Survey on Fine-grained Image Categorization Using

Deep Convolutional Features

LUO Jian-Hao¹

WU Jian-Xin¹

Abstract Fine-grained image categorization is a challenging task in the ﬁeld of computer vision, which aims to classify

sub-categories, such as diﬀerent species of birds. Due to the low inter-class but high intra-class variations, traditional

categorization algorithms have to depend on a large amount of annotation information. Recently, with the advances of

deep learning, deep convolutional neural networks have provided a new opportunity for ﬁne-grained image recognition.

Numerous deep convolutional feature-based algorithms have been proposed, which have advanced the development of ﬁne-

grained image research. In this paper, starting from its deﬁnition, we give a brief introduction to some recent developments

in ﬁne-grained image categorization. After that, we analyze diﬀerent algorithms from the strongly supervised to and weakly

supervised ones, and compare their performances on some popular datasets. Finally, we provide a brief summary of these

methods as well as the potential future research direction and major challenges.

Key words Fine-grained image categorization, deep learning, convolutional neural networks, computer vision

Citation Luo Jian-Hao, Wu Jian-Xin. A survey on ﬁne-grained image categorization using deep convolutional features.

Acta Automatica Sinica, 2017, 43(8): 1306−1318

细粒度图像分类

又被称作子类别图像分类

卷积特征促进了该领域的快速进步另一方面由于

该课题本身的困难性传统的方法不得不依赖于大

量的人工标注信息严重制约了算法的实用性因

是近年来计算机视觉、模式识别等领

域一个非常热门的研究课题其目的是对粗粒度的

大类别进行更加细致的子类划分但由于子类别间

细微的类间差异和较大的类内差异较之普通的图

像分类任务细粒度图像分类难度更大

此越来越多的算法倾向于不再依赖人工标注信息

仅仅使用类别标签来完成分类任务这也是该领域

逐渐发展成熟的标志

本文以卷积特征为线索从细粒度图像分类的

概念出发以鸟类数据库^[1]上的发展历程为轴线介

绍了该领域一些优秀的算法并探讨了未来可能的

研究方向

细粒度图像分类研究从提出到现在已经经历

了一段较长时间的发展早期的基于人工特征的算

法由于特征的表述能力有限分类效果也往往面临

很大的局限性近年来随着深度学习的兴起深度

文章剩余部分的内容组织如下在第节我们

将对细粒度图像分类进行简要、系统的介绍一些

比较常用的数据库将在第节给出以便对细粒度

分类问题有个更直观的理解在第节我们将从其

发展历程出发简要回顾一些基于人工特征的早期

算法由于本文介绍的大多数算法均基于卷积神经

网络因此在第节我们会对卷积神经网络进行必

要的介绍说明之后在第节和第节我们将从

收稿日期 2016-05-25 录用日期 2017-02-03

Manuscript received May 25, 2016; accepted February 3, 2017

国家自然科学基金 (61422203) 资助

Supported by National Natural Science Foundation of China

(61422203)

本文责任编委王亮

Recommended by Associate Editor WANG Liang

1. 南京大学计算机科学与技术系南京大学软件新技术国家重点实验室

南京 210023

1. National Key Laboratory for Novel Software Technology,

Department of Computer Science and Technology, Nanjing Uni-

versity, Nanjing 210023

8 期

罗建豪等: 基于深度卷积特征的细粒度图像分类研究综述

1307

强监督、弱监督两个角度对现有的一些基于深度卷

积特征的优秀算法展开介绍所谓强监督就是指模

型中使用了除标签以外的人工标注信息而弱监督

则仅仅只使用了类别标签关于该领域未来可能的

如前所述细粒度图像分类是一项极具挑战的

研究课题为了达到满意的分类结果许多现有的分

类算法都严重依赖于人工标注信息

一些常用的标注信息如图

括标注框

所示其中主要包

和局部区域位置

借助于标注框能够完成对前景对象

发展方向及其挑战我们将在第节进行介绍

后相关的总结会在第节给出

最

等

的检测从而排除掉背景噪声的干扰而局部区域位

置则可以用来对一些有用的局部区域进行定位或

者进行姿态对齐等以实现局部特征的提取然而

人工标注信息的获取代价十分昂贵这在很大程度

上制约了这些分类算法的实用性近年来越来越多

的研究倾向于不使用这些标注信息仅仅依靠类别

1 细粒度图像分类概述

图像分类是计算机视觉领域的一个经典研究课

题传统的图像分类主要处理语义级图像和实例级

图像两大类前者包括诸如场景识别^[2−3]、对象识

别^[4−5]等语义级图像分类任务其目标是识别不同

类别的对象如猫和狗等后者则是对不同的个体进

行分类如人脸识别^[6−7]

标签

相当不错的效果

来完成图像分类任务^[12−13]并取得了

细粒度图像分类则位于这两者之间不同于对

象识别等粗粒度的图像分类任务细粒度图像的类

别精度更加细致类间差异更加细微往往只能借助

于微小的局部差异才能区分出不同的类别由于其

分类边界位于同一类别的不同子类之上如不同种

类的鸟^[1]等故而又被称作子类别分类而与人脸

识别等对象级分类任务相比细粒度图像的类内差

异更加巨大存在着姿态、光照、遮挡、背景干扰等

诸多不确定因素因此细粒度图像分类是一项极具

挑战的研究任务

图 1 细粒度图像分类示意图 (取自 CUB200-2011 数据

集^[1]

)

细粒度图像分类无论在工业界还是学术界都有

着广泛的研究需求与应用场景与之相关的研究课

Fig. 1 Illustration of ﬁne-grained categorization (sampled

from the CUB200-2011 dataset^[1]

)

题主要包括识别不同种类的鸟^[1]、狗^[8]、花^[9]、车^[10]

飞机^[11]等以鸟类数据库为例单就燕鸥而言就存

、

另一方面特征的提取也是决定图像分类准确

性的关键因素寻找一个更具区分度的特征一直是

研究人员所追求的目标^[14−16]传统的基于人工特

征的分类算法往往面临很大的局限性这类算法

一般是先从图像中提取

在着北极燕鸥、里海燕鸥等数种不同类别之分

这些不同种类的燕鸥之间的差异十分细微挖掘出

有用信息也更加困难如图所示这两种燕鸥

而

的差别仅仅只存在于一些局部区域中如翅膀和脚

的颜色等即便是对于鸟类专家而言想要完全识别

出这些不同种类的鸟也不是一件容易的事情但在

实际生活中识别不同的子类别又存在着巨大的应

用需求例如在生态保护中有效识别不同种类的

生物是进行生态研究的重要前提以往这一工作

只能依赖于领域专家知识造成了研究成本的大幅

增加如果能够借助于计算机视觉的技术实现低成

本的细粒度图像识别那么无论对于学术界还是工

业界而言都有着非常重要的意义

[17]

或者

这些局部特征之后利用

[18]

[19]

或者

等编码模型进行特征编码得到

[20−21]

最终所需要的特征表示然而由于人工特征的描述

能力有限导致分类效果不佳在细粒度图像分类研

究的早期特征的表示能力成为了制约其性能提升

的主要瓶颈

近年来深度学习尤其是深度卷积神经网络在

计算机视觉领域的巨大成功引发了人们浓厚的研

究兴趣^[22−23]相对于人工特征而言深度学习可以

看作是一个表示学习的过程^[24]即针对具体的分类

任务学习一个具体的特征表示有研究表明从深度

卷积神经网络中所提取的特征比人工特征拥有更

强大的描述能力将深度卷积特征运用到细粒度图

像分类任务中能够取得更好的结果^[25]深度卷积

特征的加入为细粒度图像分类的发展带来了新的

机遇使得其研究进入了一个新的阶段

不同于普通的图像分类任务细粒度图像的信

噪比很小包含足够区分度的信息往往只存在于很

细小的局部区域中因此如何找到并有效利用这些

有用的局部区域信息成为了决定细粒度图像分类

算法成功与否的关键所在目前绝大多数的分类算

法都遵循这样的流程框架首先找到前景对象鸟

及其局部区域头、脚、翅膀等之后分别对这些区

域提取特征对所得到的特征进行适当的处理之后

用来完成分类器的训练和预测

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

基于深度卷积特征的细粒度图像分类研究综述

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页