推荐星级:
- 1
- 2
- 3
- 4
- 5
多层融合深度局部PCA子空间稀疏优化特征提取模型
资料介绍
子空间方法是主要利用全局信息的经典模式识别方法,随着深度学习思想的引入,局部自学习结构特征模型得到大家的关注.利用深度学习原理,本文提出一种多层融合的深度局部子空间稀疏优化特征自学习抽取模型解决目标识别问题.首先,对训练样本集通过最小化重构误差得到第一层的主成分(Principal Component Analysis,PCA)特征映射矩阵;然后,通过L1范数约束对特征映射结果进行稀疏优化,提高算法鲁棒性.接着,在第二层映射层以第一层的特征输出为输入,进行同样的特征矩阵学习操作,最终将图像映射至深层PCA子空间;然后,对各个映射层的特征提取结果进行加权融合,进行二值化哈希编码和直方图分块编码,提取图像的深度子空间稀疏特征.在FERET、AR、Yale等经典人脸数据库以及MNIST、CIFAR-10等目标数据库上的实验结果表明,该算法可以取得较高的识别率以及较好的光照、表情、人脸朝向鲁棒性,并且相对于卷积神经网络等深度学习框架具有结构简洁、收敛速度快等优点.
部分文件列表
文件名 | 大小 |
多层融合深度局部PCA子空间稀疏优化特征提取模型.pdf | 1M |
部分页面预览
(完整内容请下载后查看)10
Vol. 45 No. 10
Oct. 2017
第
期
电
子
学
报
2017
10
ACTA ELECTRONICA SINICA
年
月
PCA
多层融合深度局部
子空间
稀疏优化特征提取模型
,
胡正平 陈俊岭
(
,
燕山大学信息科学与工程学院 河北秦皇岛
066004)
:
, ,
子空间方法是主要利用全局信息的经典模式识别方法 随着深度学习思想的引入 局部自学习结构特
摘
要
. ,
征模型得到大家的关注 利用深度学习原理 本文提出一种多层融合的深度局部子空间稀疏优化特征自学习抽取模型
. ,
解决目标识别问题 首先 对训练样本集通过最小化重构误差得到第一层的主成分
( Principal Component Analysis,
PCA)
; , L , . ,
特征映射矩阵 然后 通过 范数约束对特征映射结果进行稀疏优化 提高算法鲁棒性 接着 在第二层映射层
1
, ,
以第一层的特征输出为输入 进行同样的特征矩阵学习操作 最终将图像映射至深层
PCA
; ,
子空间 然后 对各个映射
, , .
层的特征提取结果进行加权融合 进行二值化哈希编码和直方图分块编码 提取图像的深度子空间稀疏特征 在
FE-
RET、AR、Yale MNIST、CIFAR-10
等经典人脸数据库以及
,
等目标数据库上的实验结果表明 该算法可以取得较高的识
、 、 , 、
别率以及较好的光照 表情 人脸朝向鲁棒性 并且相对于卷积神经网络等深度学习框架具有结构简洁 收敛速度快等
.
优点
:
;
;
;
关键词
中图分类号
URL: http: / /www. ejournal. org. cn
深度学习 多层融合 子空间 稀疏优化
:
TP391. 4
:
A
: 0372-2112 ( 2017) 10-2383-07
DOI: 10. 3969 /j. issn. 0372-2112. 2017. 10. 011
文献标识码
文章编号
电子学报
Feature Extraction Model Based on Multi-layered
Deep Local Subspace Sparse Optimization
HU Zheng-ping,CHEN Jun-ling
( School of Information Science and Engineering,Yanshan University,Qinhuangdao,Hebei 066004,China)
Abstract: Subspace method is classical pattern recognition method,that uses global information mainly to denote an
image. Recently,with the introduction of deep learning,the feature extraction model based on local self-learning has attracted
more and more attention. By using the theory of deep learning,this paper presents a new feature extraction model based on
multi-layered deep local subspace sparse optimization to solve the problem of object recognition. Firstly,we calculate the
PCA mapping matrix on the first layer by minimizing the reconstruction error on the training sample set,then we optimize
the feature mapping results through L norm to enhance the robustness of algorithm. Secondly,we use the output of the first
1
layer as the input of second layer,then we implement same actions of feature learning. In this way we can map the image to
deep PCA subspace. Finally we merge these feature extraction results from different layers with weighting and encode the
merged feature with binary hash code and histogram segment code. After that,we obtain the multi-layered deep local sub-
space sparse feature. The experimental results on face database of FERET、AR、Yale and target database of MNIST、CIFAR-
10 show that this feature extraction model can achieve high recognition rate and robustness for illumination,expression and
pose. At the same time,compared with the convolutional neural networks,our algorithm owns the advantages of simple struc-
ture and fast convergent rate.
Key words: deep learning; multi-layered fusion; subspace; sparse optimization
: 2016-03-16;
: 2016-09-06; :
责任编辑 孙瑶
收稿日期
修回日期
2384
2017
年
电
子
学
报
PCA
本文提出一种多层融合深度
子空间稀疏优化
1
引言
,
特征提取算法 在经典
PCA
特征脸方法中融入深度结
PCA
人脸识别技术是模式识别中最具挑战性的研究方
,
,
子空间 并将不同层次
构思想 将图像映射至深层
子空间特征映射结果进行加权融合 通过稀疏优化算
FERET、AR、
, 、 .
向之一 在身份认证 安保监控方面有着广泛应用 人脸
,
,
识别的发展主要分为三个阶段 从最开始的基于子空
.
法进行迭代以增加特征映射鲁棒性 在
, ,
间的识别算法 到浅层机器学习算法 再到深度学习人
Yale
,
等人脸数据库上的实验表明 该方法在单训练样
.
脸识别方法 成熟的子空间人脸识别方 法 主要包 括
,
本条件下 其正确率与传统子空间识别方法相比有很
[1]
Turk
Principal Component Analysis( PCA)
特
等
提出的
,
PCANet
大提高 在算法鲁棒性方面相比
等新兴方法也
等目标数据库上的实验
结果表明该方法和卷积神经网络深度学习框架的识别
[2]
( Eigenface)
Belhumeur
Fisher
脸
征脸
( FisherFace)
方法和
等
提出的
.
MNIST、CIFAR-10
有所改善 在
,
方法 奠定了代数特征人脸识别的理论基
[3]
.
础 之后兴起的以
Back Propagation( BP)
、
神经网络
, 、
率相当 但其结构简洁 收敛速度快
.
Support Vector Machine ( SVM)
支 持 向 量 机 和 稀 疏 表
2
PCA
原理
深度
[4]
,
为代表的浅层机器学习人脸识别算法 使得人们
示
. 2006
在像素数据层面对图像有了更深层次的理解
年
2. 1 DPCA
原理
[5]
Hinton
等
提出多隐层神经网络具有更为优异的特征
深度学习结构模型在一定程度上与人脑分层信息
[19]
[13]
, “
学习能力 并且其在网络训练上的难度可以通过 逐层
,Sun Y
等
处理机制 相似
通过对卷积神经网络的
” , .
初始化 的方式来降低 开启了深度学习的大门 近年
,
研究 从数据层面阐述深度分层特征模型在特征提取
,
来随着深度学习研究的深入 越来越多的学者试图将
、 ,
过程中所具有的稀疏性 特征选择性和特征鲁棒性 提
[6]
,
深度学习与子空间方法相结合 其中
Chan
等
提出的
.
出特征多层映射能够更好的对图像语义进行描述 因
PCA Network( PCANet)
,
方法 为子空间深度化指明了
此越来越多的研究人员致力于寻找新的有效的多层特
[15]
.
方向
,Liong
PCA( DPCA)
提出的深度 算法属于
征模型
子空间深度化改造的典型算法
DPCA
等
( Convolutional Neural Network,CNN)
卷积神经网络
.
,
作为目前应用最为广泛的深度学习模型 所提取的图
1
.
算法流程图如图 所示 在第一层对输入
Local Binary Patterns( LBP) 、Histo-
像深层特征要优于
gram of Oriented Gradients( HOG) 、Gabor
ZCA , ,
白化处理 去除特征之间相关性
图像首先进行
[7]
[8]
等人为构
,
降低冗余 然后进行
PCA
,
映射 提取输入图像的主成
,
建的图像特征 其在人脸识别方面的表现也相当出色
.
. , ,
分信息 在第二层中 以上一层的特征输出为输入 进
2012 ImageNet CNN
在
年的
大赛上基于
的深度学
并超出第二名
DeepFace
, . ,
行同样操作 得到深层映射后的主成分特征 最终 将
[9]
,
习模型在两个比赛中均取得第一名
,
两层特征映射结果进行加权融合 送入分类器进行训
[10]
10% . 2014
Taigman
等
至少
年
提出 的
算
,
练 在单训练样本条件下使用欧氏距离分类器进行
, LFW
法 在
97%
.
人脸数据库上达到
以上的正确率 之
CNN
人脸
.
预测
[11 - 13]
Sun
DeepID
后由
等
提出的
算法更是将
卷积神经网络虽然准
确率高 但其参数众多 其参数调整过程不仅复杂而且
99. 75% .
认证的准确率提高到了
,
,
, ,
需要依赖大量的先验知识 收敛速度缓慢 为此研究人
[14]
. Lu
员试图寻找更为简单有效的深度结构框架
等
将
PCA( WPCA)
卷积神经网络中的映射核改为加权
映射
,
矩阵 采用生成码本的方式融合得到最终的特征向量
,
[15]
. Liong
PCA
提 出 的 深 度
提高 了 网 络 收 敛 性 能
( Deep PCA,DPCA)
等
,
人脸识别算法 通过构建双层
PCA
2. 2 PCANet
模型
,
映射网络 结合
ZCA , . Chan
白化 提取深度子空间特征
[16]
2015
Chan
PCANet
提出的
年
等
识别算法是深度
[16]
[17]
DPCA
,
基础上进行扩展 在
2DPCA
,
等
在
框架内
.
子空间模型的又一典型算法 它在
DPCA
算法的基础上
,
加入哈希编码和直方图分块提取 构建了
PCANet
算
[17]
,
进行了大量扩充 以单向的
2DPCA
,
为核心 在完成双
, 、 、
法 在人脸识别 手写字体识别 物体识别方面的识别率
,
层特征映射之后 对输入特征进行直方图分块特征提
[18]
95%
.
以上 在此基础上
,Huang
PCANet
将
都达到
等
, , ,
取 然后经过哈希编码 得到鲁棒性更强的深度特征 具
, ,
与线性回归分类器相结合 应用于人脸识别 在算法鲁
2
体流程如图 所示
.
.
棒性方面有所提高
全部评论(0)