推荐星级：

基于混合属性的零样本图像分类

更新时间：2019-12-24 18:57:08 大小：2M 上传用户：zhiyao6 查看TA发布的资源 标签：零样本图像分类 下载积分：1分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

对于具有相似属性的类别而言,在有限维度的语义属性下,基于属性的零样本图像分类器难以对它们进行正确区分.考虑到语义属性描述类别的有限性,在直接属性预测(Direct Attribute Prediction,DAP)模型的基础上,提出一种基于混合属性的零样本图像分类模型(Hybrid Attribute-Based DAP,HA-DAP).首先,对样本的底层特征进行稀疏编码并利用编码后的非语义属性来辅助现有的语义属性;将非语义属性与语义属性构成混合属性并将其作为DAP模型的属性中间层,利用属性预测模型的思想进行混合属性分类器的训练;最后,根据预测的混合属性以及属性与类别之间的关系进行测试样本类别标签的预测.在OSR、Pub Fig以及Shoes数据集上的实验结果表明,HA-DAP的分类性能优于DAP,不仅能够取得较高的零样本图像分类精度,而且还获得了较高的AUC值.

部分文件列表

文件名	大小
基于混合属性的零样本图像分类.pdf	2M

立即下载

【关注视频号领20积分】【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）

Vol． 45 No． 6

Jun． 2017

第

期

电

子

学

报

2017

ACTA ELECTRONICA SINICA

年

月

基于混合属性的零样本图像分类

，，

程玉虎乔雪王雪松

(

，

中国矿业大学信息与控制工程学院江苏徐州

，221116)

，，

对于具有相似属性的类别而言在有限维度的语义属性下基于属性的零样本图像分类器难以对它们

摘

要

．

，

( Direct Attribute Prediction，DAP) ，

进行正确区分考虑到语义属性描述类别的有限性在直接属性预测

模型的基础上

首先对样本的底层特征进行

稀疏编码并利用编码后的非语义属性来辅助现有的语义属性将非语义属性与语义属性构成混合属性并将其作为

DAP

( Hybrid Attribute-Based DAP，HA-DAP) ．

，

提出一种基于混合属性的零样本图像分类模型

;

，

;

，

模型的属性中间层利用属性预测模型的思想进行混合属性分类器的训练最后根据预测的混合属性以及属性

．

与类别之间的关系进行测试样本类别标签的预测在

OSR、Pub Fig Shoes ，HA-DAP

以及数据集上的实验结果表明

的

DAP，，

不仅能够取得较高的零样本图像分类精度而且还获得了较高的

AUC

．

值

分类性能优于

;

关键词

中图分类号

URL: http: / /www． ejournal． org． cn

零样本图像分类混合属性语义属性非语义属性稀疏编码

TP181 0372-2112 ( 2017) 06-1462-07

DOI: 10． 3969 /j． issn． 0372-2112． 2017． 06． 026

文章编号

文献标识码

电子学报

Hybrid Attribute-Based Zero-Shot Image Classification

CHENG Yu-hu，QIAO Xue，WANG Xue-song

( School of Information and Control Engineering，China University of Mining ＆ Technology，Xuzhou，Jiangsu 221116，China)

Abstract: When the dimensionality of the semantic attributes is limited，it is difficult for attribute-based zero-shot im-

age classifiers to distinguish the objects with similar attributes． Aiming at the limitation of describing objects with semantic at-

tributes，an improved direct attribute prediction( DAP) model for zero-shot image classifying based on hybrid attribute( HA) is

proposed，which is called HA-DAP． At first，we carry out the sparse coding on the low-level features to obtain the non-semantic

attributes that are used to assist the existing semantic attributes． Then，we take the hybrid attributes including the learned non-

semantic attributes and the manually specified semantic attributes as the mid-layer of DAP model and use the idea of attribute

prediction to train the hybrid attribute-based classifier． At last，according to the predicted hybrid attributes and the relationship

between the attributes and classes，we can recognize the class label for the testing sample． Experimental results on the OSR，Pub

Fig and Shoes datasets show that，the HA-DAP outperforms the DAP in the classification performance，i． e．，when compared

with the DAP，the proposed HA-DAP yields much higher zero-shot image classification accuracy and AUC value．

Key words: zero-shot image classification; hybrid attribute; semantic attribute; non-semantic attribute; sparse auto-en-

coding

［4，5］

［6］

，．

以及图像分类方面的作用一个对象通常具

述

引言

，，，

有许多特性例如老鹰是有翅膀的亚洲人有黑头发

，

［1］

，

属性是指物体固有的特性视觉属性是指可以

，，

马路是开阔的高跟鞋有很高的鞋跟等等通过这些视

觉属性可以认识对象的外观并且把该对象描述给其他

( ，

通过人工标注并且能在图像中观察到的特性例如有

．，，

人此外不同的对象类别往往具有共同的属性将它们

、 ) ．

翅膀黑头发视觉属性和特征都可以对图像的内容

作为分类器的属性中间层允许不同类别之间共享到这

，

进行描述不同之处在于特征是图像内容的底层描述

，

些有关联的属性将已知的属性知识从一个类别迁移

，

它能够被机器识别但是不能被人理解而视觉属性是

，

到另一个新的类别上面这使得分类器能够对那些没

，．

图像内容的高层描述能够同时被机器和人理解大量

［2，3］

．

有训练样本的类别进行识别

、

图像描

的研究已经显示了视觉属性在目标识别

: 2015-05-13;

: 2015-12-12;

责任编辑梅志强

收稿日期

修回日期

基金项目国家自然科学基金

( No． 61472424，No． 61273143) ;

( No． 2013RC10，No． 2013RC12，No． 2014YC07)

中央高校基本科研业务费

1463

程玉虎基于混合属性的零样本图像分类

第

期

［7，8］

利用图像的语义属性实现零样本图像分类

是

，

当前属性应用领域的研究热点与传统的图像分类问

，

题不同零样本图像分类在测试阶段所分类和识别的

．

样本未参与分类器模型的训练在零样本图像分类问

，，

题中为了实现从可见类别到未见类别的知识迁移分

类模型就需要通过属性来搭建一座从底层特征到类别

［9］

．

标签的桥梁

最近的研究工作中提出了很多基于属

，

性学习的图像分类方法具有代表性的是文献

［10］

中

DAP

提出的直接属性预测模型

和间接属性预测模型

在基于语义属性的

零样本图像分类器模型中语义属性考虑了样本是否

( Indirect Attribute Prediction，IAP) ．

，

DAP

IAP

或者预测得到的高跟鞋和婚鞋的属性是

利用

， “ ”、“ ”

具有某一种属性根据属性的有无可以确定样本

．，，

非常相似的因此当在进行零样本图像分类的时候基

，．，

在属性空间的位置进而确定样本的类别标签但是对

，

于这些预测的属性基于属性的零样本分类器就很容易

(

那些属性很相似的类别而言属性空间位置临近

) ，

．，

混淆这两类鞋子然而用以描述运动鞋的属性与高跟鞋

语

．，

义属性就很难对它们进行区分为此拟利用稀疏编

，，

和婚鞋的属性之间存在着较大的差别因此在进行属性

［11］

，

对图像的底层特征进行重构可以得到图像的另

，

预测后零样本分类器不容易将其与其他类别的鞋子混

码

、．

一种低维紧凑的表示方式由于这种重构后的特征没

．，

淆考虑到属性的有限性提出对样本的特征进行稀疏编

，．

有语义信息因此可命名为非语义属性通过这种额外

，

码将编码后的特征作为非语义属性

( b ，b ，b )

对有

∈

，

限的语义属性进行补充并组成混合属性进而能够更好

维度的非语义属性对原有的语义属性进行补充和辅

，．

助将属性空间加以扩展并构成混合属性非语义属性

．，

地对相似类别进行区分至于运动鞋的样本原有的语义

，

可以增加语义属性的差异性从而能够使语义属性相

，

属性足以将它与其他的类别进行区分因此辅助的非语

［12］

．

，

进一步将构造的混合属性

．

义属性并不会对其分类产生过多的影响

似的类别更加容易区分

DAP，

提出一种基于混合属性的零样本图像分

应用于

类方法

．

基于混合属性的零样本图像分类

在如图所示的基于混合属性的零样本图像分类

，

模型中语义属性和特征编码后的非语义属性均采用

，

二值属性即语义属性空间

A = { 0，1} ，

非语义属性空

B = { 0，1} ．

算法的基本思想为对所有类别样本的

间

，

特征进行稀疏编码得到非语义属性与类别标签的对

，

应关系将语义属性和非语义属性构成的混合属性作

DAP

，

模型的属性中间层利用属性预测模型的思想

为

，

进行混合属性分类器的训练然后根据预测的混合属

性以及属性与类别之间的关系进行样本类别标签的预

2． 2

基于稀疏编码的非语义属性学习

．，

测在训练阶段利用训练样本学习语义属性分类器和

H ， K

假设共有类图像将其中类作为可见的训练

．，

非语义属性分类器在测试阶段利用混合属性分类器

，

类别参与混合属性分类器的训练剩下的

L = H － K

类

，

对测试样本的语义属性和非语义属性进行预测根据

，L ，

作为测试类别不参与混合属性分类器的训练即不

，

混合属性中间层与各类别标签之间的关系获得样本

．

可见类别利用稀疏编码学习图像非语义属性的主要

．

的类别标签

2． 1

思路是用一组无标签的训练样本的特征学习一组基

混合属性

，

向量所有训练样本的特征均可以用这组基向量线性

Shoes

以零样本图像分类数据集

为例阐述混合属性

，

表示同时测试样本的特征也可以用这些基向量进行

， 2 ． 5

构造的基本思想如图所示假设给定个语义属性

d × K

．

稀疏编码假设

X = ( x ，x ，…，x )

表示类训

∈

( a ，a ，a ，a ，a )

: 、

用以描述三种类别高跟鞋婚鞋

∈

，

练图像集的特征使用稀疏编码算法来学习得到一组

．，

和运动鞋由图可知高跟鞋和婚鞋仅在最后一个属性

= { ，，…， } ，

φ φ φ 然后用这些基向量来

基向量集合 Φ

“Shiny” ，．，

上有所区别其余属性则均相同也就是说我们

全部评论(0)

暂无评论

评论赚积分>>

上传资源上传优质资源有赏金

基于混合属性的零样本图像分类

资料介绍

部分文件列表

部分页面预览

相关下载

全部评论(0)

热门标签

最新上传

热门下载

推荐下载

专栏首页