推荐星级：
- 1
- 2
- 3
- 4
- 5
基于混合属性的零样本图像分类
资料介绍
对于具有相似属性的类别而言,在有限维度的语义属性下,基于属性的零样本图像分类器难以对它们进行正确区分.考虑到语义属性描述类别的有限性,在直接属性预测(Direct Attribute Prediction,DAP)模型的基础上,提出一种基于混合属性的零样本图像分类模型(Hybrid Attribute-Based DAP,HA-DAP).首先,对样本的底层特征进行稀疏编码并利用编码后的非语义属性来辅助现有的语义属性;将非语义属性与语义属性构成混合属性并将其作为DAP模型的属性中间层,利用属性预测模型的思想进行混合属性分类器的训练;最后,根据预测的混合属性以及属性与类别之间的关系进行测试样本类别标签的预测.在OSR、Pub Fig以及Shoes数据集上的实验结果表明,HA-DAP的分类性能优于DAP,不仅能够取得较高的零样本图像分类精度,而且还获得了较高的AUC值.
部分文件列表
| 文件名 | 大小 |
| 基于混合属性的零样本图像分类.pdf | 2M |
部分页面预览
（完整内容请下载后查看）6
Vol． 45 No． 6
Jun． 2017
第
期
电
子
学
报
2017
6
ACTA ELECTRONICA SINICA
年
月
基于混合属性的零样本图像分类
， ，
程玉虎 乔 雪 王雪松
(
，
中国矿业大学信息与控制工程学院 江苏徐州
，221116)
:
， ，
对于具有相似属性的类别而言 在有限维度的语义属性下 基于属性的零样本图像分类器难以对它们
摘
要
．
，
( Direct Attribute Prediction，DAP) ，
进行正确区分 考虑到语义属性描述类别的有限性 在直接属性预测
模型的基础上
首先 对样本的底层特征进行
稀疏编码并利用编码后的非语义属性来辅助现有的语义属性 将非语义属性与语义属性构成混合属性并将其作为
DAP
( Hybrid Attribute-Based DAP，HA-DAP) ．
，
提出一种基于混合属性的零样本图像分类模型
;
，
;
，
模型的属性中间层 利用属性预测模型的思想进行混合属性分类器的训练 最后 根据预测的混合属性以及属性
．
与类别之间的关系进行测试样本类别标签的预测 在
OSR、Pub Fig Shoes ，HA-DAP
以及 数据集上的实验结果表明
的
DAP， ，
不仅能够取得较高的零样本图像分类精度 而且还获得了较高的
AUC
．
值
分类性能优于
:
;
;
;
;
关键词
中图分类号
URL: http: / /www． ejournal． org． cn
零样本图像分类 混合属性 语义属性 非语义属性 稀疏编码
TP181 0372-2112 ( 2017) 06-1462-07
DOI: 10． 3969 /j． issn． 0372-2112． 2017． 06． 026
:
:
A
:
文章编号
文献标识码
电子学报
Hybrid Attribute-Based Zero-Shot Image Classification
CHENG Yu-hu，QIAO Xue，WANG Xue-song
( School of Information and Control Engineering，China University of Mining ＆ Technology，Xuzhou，Jiangsu 221116，China)
Abstract: When the dimensionality of the semantic attributes is limited，it is difficult for attribute-based zero-shot im-
age classifiers to distinguish the objects with similar attributes． Aiming at the limitation of describing objects with semantic at-
tributes，an improved direct attribute prediction( DAP) model for zero-shot image classifying based on hybrid attribute( HA) is
proposed，which is called HA-DAP． At first，we carry out the sparse coding on the low-level features to obtain the non-semantic
attributes that are used to assist the existing semantic attributes． Then，we take the hybrid attributes including the learned non-
semantic attributes and the manually specified semantic attributes as the mid-layer of DAP model and use the idea of attribute
prediction to train the hybrid attribute-based classifier． At last，according to the predicted hybrid attributes and the relationship
between the attributes and classes，we can recognize the class label for the testing sample． Experimental results on the OSR，Pub
Fig and Shoes datasets show that，the HA-DAP outperforms the DAP in the classification performance，i． e． ，when compared
with the DAP，the proposed HA-DAP yields much higher zero-shot image classification accuracy and AUC value．
Key words: zero-shot image classification; hybrid attribute; semantic attribute; non-semantic attribute; sparse auto-en-
coding
［4，5］
［6］
， ．
以及图像分类 方面的作用 一个对象通常具
述
1
引言
， ， ，
有许多特性 例如 老鹰是有翅膀的 亚洲人有黑头发
，
［1］
，
属性是指物体固有的特性 视觉属性 是指可以
， ，
马路是开阔的 高跟鞋有很高的鞋跟等等 通过这些视
觉属性可以认识对象的外观并且把该对象描述给其他
( ，
通过人工标注并且能在图像中观察到的特性 例如 有
． ， ，
人 此外 不同的对象类别往往具有共同的属性 将它们
、 ) ．
翅膀 黑头发 视觉属性和特征都可以对图像的内容
作为分类器的属性中间层允许不同类别之间共享到这
，
进行描述 不同之处在于特征是图像内容的底层描述
，
，
些有关联的属性 将已知的属性知识从一个类别迁移
，
它能够被机器识别但是不能被人理解 而视觉属性是
，
到另一个新的类别上面 这使得分类器能够对那些没
， ．
图像内容的高层描述 能够同时被机器和人理解 大量
［2，3］
．
有训练样本的类别进行识别
、
图像描
的研究已经显示了视觉属性在目标识别
: 2015-05-13;
: 2015-12-12;
:
责任编辑 梅志强
收稿日期
修回日期
:
基金项目 国家自然科学基金
( No． 61472424，No． 61273143) ;
( No． 2013RC10，No． 2013RC12，No． 2014YC07)
中央高校基本科研业务费
1463
6
:
程玉虎 基于混合属性的零样本图像分类
第
期
［7，8］
利用图像的语义属性实现零样本图像分类
是
，
当前属性应用领域的研究热点 与传统的图像分类问
，
题不同 零样本图像分类在测试阶段所分类和识别的
．
样本未参与分类器模型的训练 在零样本图像分类问
， ，
题中 为了实现从可见类别到未见类别的知识迁移 分
类模型就需要通过属性来搭建一座从底层特征到类别
［9］
．
标签的桥梁
最近的研究工作中提出了很多基于属
，
性学习的图像分类方法 具有代表性的是文献
［10］
中
DAP
提出的直接属性预测模型
和间接属性预测模型
在基于语义属性的
零样本图像分类器模型中 语义属性考虑了样本是否
( Indirect Attribute Prediction，IAP) ．
，
DAP
IAP
或者 预测得到的高跟鞋和婚鞋的属性是
利用
， “ ”、“ ”
具有某一种属性 根据属性的 有 无 可以确定样本
． ， ，
非常相似的 因此 当在进行零样本图像分类的时候 基
， ． ，
在属性空间的位置 进而确定样本的类别标签 但是 对
，
于这些预测的属性 基于属性的零样本分类器就很容易
(
那些属性很相似的类别而言 属性空间位置临近
) ，
． ，
混淆这两类鞋子 然而 用以描述运动鞋的属性与高跟鞋
语
． ，
义属性就很难对它们进行区分 为此 拟利用稀疏编
， ，
和婚鞋的属性之间存在着较大的差别 因此 在进行属性
［11］
，
对图像的底层特征进行重构 可以得到图像的另
，
预测后 零样本分类器不容易将其与其他类别的鞋子混
码
、 ．
一种低维 紧凑的表示方式 由于这种重构后的特征没
． ，
淆 考虑到属性的有限性 提出对样本的特征进行稀疏编
， ．
有语义信息 因此可命名为非语义属性 通过这种额外
，
码 将编码后的特征作为非语义属性
( b ，b ，b )
2
B
对有
∈
3
1
，
限的语义属性进行补充并组成混合属性 进而能够更好
维度的非语义属性对原有的语义属性进行补充和辅
， ．
助 将属性空间加以扩展并构成混合属性 非语义属性
． ，
地对相似类别进行区分 至于运动鞋的样本 原有的语义
，
可以增加语义属性的差异性 从而能够使语义属性相
，
属性足以将它与其他的类别进行区分 因此辅助的非语
［12］
．
，
进一步 将构造的混合属性
．
义属性并不会对其分类产生过多的影响
似的类别更加容易区分
DAP，
提出一种基于混合属性的零样本图像分
应用于
类方法
．
2
基于混合属性的零样本图像分类
1
在如图 所示的基于混合属性的零样本图像分类
，
模型中 语义属性和特征编码后的非语义属性均采用
M
，
二值属性 即语义属性空间
A = { 0，1} ，
非语义属性空
N
B = { 0，1} ．
:
算法的基本思想为 对所有类别样本的
间
，
特征进行稀疏编码 得到非语义属性与类别标签的对
，
应关系 将语义属性和非语义属性构成的混合属性作
DAP
，
模型的属性中间层 利用属性预测模型的思想
为
，
进行混合属性分类器的训练 然后根据预测的混合属
性以及属性与类别之间的关系进行样本类别标签的预
2． 2
基于稀疏编码的非语义属性学习
． ，
测 在训练阶段 利用训练样本学习语义属性分类器和
H ， K
假设共有 类图像 将其中 类作为可见的训练
． ，
非语义属性分类器 在测试阶段 利用混合属性分类器
，
类别参与混合属性分类器的训练 剩下的
L = H － K
类
，
对测试样本的语义属性和非语义属性进行预测 根据
，L ，
作为测试类别 不参与混合属性分类器的训练 即不
，
混合属性中间层与各类别标签之间的关系 获得样本
．
可见类别 利用稀疏编码学习图像非语义属性的主要
．
的类别标签
2． 1
:
思路是 用一组无标签的训练样本的特征学习一组基
混合属性
，
向量 所有训练样本的特征均可以用这组基向量线性
Shoes
以零样本图像分类数据集
为例阐述混合属性
，
表示 同时测试样本的特征也可以用这些基向量进行
， 2 ． 5
构造的基本思想 如图 所示 假设给定 个语义属性
d × K
．
稀疏编码 假设
X = ( x ，x ，…，x )
2
Κ
R
K
表示 类训
∈
1
( a ，a ，a ，a ，a )
3
A
: 、
用以描述三种类别 高跟鞋 婚鞋
∈
5
1
2
4
，
练图像集的特征 使用稀疏编码算法来学习得到一组
． ，
和运动鞋 由图可知 高跟鞋和婚鞋仅在最后一个属性
= { ， ，…， } ，
φ φ φ 然后用这些基向量来
N
基向量集合 Φ
1
2
“Shiny” ， ． ，
上有所区别 其余属性则均相同 也就是说 我们
全部评论(0)