积分商城

最新搜索： stm32f7 固件库 HFBR-0310Z光纤发射和接收电路 频率计 Allegro封装库 8051f310
您现在的位置是：首页 > 技术资料 > 基于特征聚类的稀疏自编码快速算法
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

基于特征聚类的稀疏自编码快速算法

更新时间：2019-12-24 06:42:56 大小：1M 上传用户：守着阳光1985查看TA发布的资源 标签：稀疏自编码快速算法 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

稀疏自编码网络在自然语言、图像处理等领域都取得了显著效果.已有的研究表明增加网络提取的特征个数可以优化稀疏自编码网络的处理效果,同时该操作将导致网络训练耗时过长.为尽可能减少网络的训练时间,本文提出了一种基于特征聚类的稀疏自编码快速算法.本算法首先根据K均值聚类最优数确定本质特征的个数,再由网络训练得到本质特征,并通过旋转扭曲增加特征的多样性,使网络处理效果得到提升的同时,减少网络训练耗间.实验在标准的手写体识别数据库MNIST和人脸数据库CMU-PIE上进行,结果表明本文所提算法能在保证网络正确率有所提升的同时,大幅度缩短网络训练耗时.


部分文件列表

文件名 大小
基于特征聚类的稀疏自编码快速算法.pdf 1M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
5
Vol． 46 No． 5  
May 2018  
第
期
电
子
学
报
2018  
5
ACTA ELECTRONICA SINICA  
年
月
基于特征聚类的稀疏自编码快速算法  
， ， ，  
付 晓 沈远彤 付丽华 杨迪威  
(
，
中国地质大学数学与物理学院 湖北武汉  
430074)  
:
、 ．  
稀疏自编码网络在自然语言 图像处理等领域都取得了显著效果 已有的研究表明增加网络提取的特  
摘
要
， ．  
征个数可以优化稀疏自编码网络的处理效果 同时该操作将导致网络训练耗时过长 为尽可能减少网络的训练时间  
，
． K ，  
本文提出了一种基于特征聚类的稀疏自编码快速算法 本算法首先根据 均值聚类最优数确定本质特征的个数 再  
，
，
，
．
由网络训练得到本质特征 并通过旋转扭曲增加特征的多样性 使网络处理效果得到提升的同时 减少网络训练耗间  
MNIST CMU-PIE ，  
上进行 结果表明本文所提算法能在保证网络正确率  
实验在标准的手写体识别数据库  
和人脸数据库  
，
有所提升的同时 大幅度缩短网络训练耗时  
．
:
;
;
; K  
均值聚类  
关键词  
中图分类号  
URL: http: / /www． ejournal． org． cn  
深度学习 稀疏自编码器 特征提取  
:
TP391  
:
A
: 0372-2112 ( 2018) 05-1041-06  
DOI: 10． 3969 /j． issn． 0372-2112． 2018． 05． 003  
文献标识码  
文章编号  
电子学报  
An Optimized Sparse Auto-encoder Network Based on Feature Clustering  
FU Xiao，SHEN Yuan-tong，FU Li-hua，YANG Di-wei  
( College of Mathematics and Physics，China University of Geosciences，Wuhan，Hubei 430074，China)  
Abstract: The method of deep sparse auto-encoder networks has achieved state-of-art performance in the fields of im-  
age processing and natural language processing． It’s been proved that higher accuracy of deep sparse auto-encoder networks  
is obtained by the increase of features’number，however，it also leads to a longer training time． In this paper，an optimized  
sparse auto-encoder networks which based on feature clustering is been presented for both classification accuracy enhance-  
ment and training time decreasing． The proposed method first get the number of substantive features by optimizing k-means  
clustering． Then initialize the network with that number and obtain the substantive features by training again the network． Fi-  
nally the improvement of feature varieties is achieved by rotation and distortion of the substantive features． In the experi-  
ments，the improvement of classification accuracy and reduction of training time is verified by comparing the performance of  
optimized sparse auto-encoder with normal sparse auto-encoder in the basic dataset MNIST and CMU-PIE．  
Key words: deep learning; sparse auto-encoder; feature extraction; K-means clustering  
，
理论表明神经网络中隐含层节点数越多 网络的  
1
引言  
［9］  
．
处理效果越好  
但隐含层节点的增多会导致网络参  
，
近年来 深度学习因其强大的信息处理能力成为  
， ，  
数规模增大 进而使网络的训练时间大幅增加 甚至导  
． ，  
学术界的研究热点 它起源于人工神经网络 并利用逐  
， ，  
致硬件储存空间不足等问题 因此 不少学者就如何快  
，
层自主学习思想 克服传统神经网络的 梯 度弥 散 问  
． Hiton  
速训练网络进行了大量研究  
等人提出利用补充  
［1，2］  
， 、  
在图像处理 自然语言处理等多个领域取得巨  
题
，
的先验知识构造快速的深度信念网络 从而消除深度  
［3］  
［10］  
． Bengio  
大成功  
提出用自编码器初始化每一层神经网  
，
网络的训练困难 缩短网络的训练时间  
，
然而该方法  
， Bengio  
络的想法 后  
Ranzato  
和
等人利用这种想法提出  
( Sparse Auto-Encoder，  
．
需要使用大量的人工标注 赵由等人通过改变网络调  
了 稀 疏 自 编 码 神 经 网 络  
，
节参数时使用的梯度下降方法 提出使用不同步平均  
［4，5］  
［11］  
SAE)  
， ，  
实现对数据的深层挖掘 进一步扩充深度神  
，
随机梯度下降的方法训练深层网络  
此方法可使参  
．
经网络的应用范围 稀疏自编码网络是目前应用最广  
， ，  
数在梯度下降时快速收敛 从而加速网络的训练 但由  
［6］  
，
泛的一类自编码网络 在病理图像分析  
、
表情图像识  
，
于每次网络训练的参数初始值都为随机选取 导致该  
［7］  
［8］  
．
和高光谱图像分类 等领域都取得了不错的表现  
别
． Chandra  
方法不能确保网络每次训练耗时都减少  
等人  
: 2016-11-07;  
: 2017-03-07;  
:
责任编辑 蓝红杰  
收稿日期  
修回日期  
:
基金项目 国家自然科学基金青年基金  
( No． 61601417) ;  
( No． NCET-13-1011)  
新世纪优秀人才支持计划  
1042  
2018  
年
电
子
学
报
［12］  
，
， ，  
含层输出数据 计算所得即为网络的输出值 网络会利  
则提出通过为网络参数建模  
以基向量表示参数矩  
［13］  
， ，  
阵 避免计算大量参数 此方法和其他的降维方法  
，
用实际与期望输出的误差来反向传播 重复地信息正  
虽
，
能减少网络训练时间 但实际操作过于复杂  
．
．
向传播和误差反向传播直至迭代终止  
2． 2  
稀疏自编码网络  
本文提出一种基于特征聚类的稀疏自编码快速算  
． K  
法 首先对已有特征进行 均值聚类来降低特征冗余  
，
稀疏自编码网络是深度神经网络的形式之一 它  
，
度 并选择聚类最佳分类数作为网络的本质特征个数  
，
， ，  
在自编码网络基础上 对隐含层增加稀疏性限制 并将  
，
重新训练获取网络本质特征 再对本质特征进行旋转  
． 2  
多个自编码网络进行堆叠 图 即堆叠两个自编码网络  
， ， ．  
和弹性扭曲 扩充特征多样性 保证网络处理效果 实验  
，
的稀疏自编码网络结构 第一个自编码网络训练好后  
，
证明该算法可在保证网络分类准确率有所提升的同  
h
取其隐含层 作为下一个自编码网络的输入与期望输  
1
，
时 减少大量网络训练耗时  
．
． ， ．  
出 如此反复堆叠 直至达到预定网络层数 最后进入网  
， x、  
络微调过程 将输入层 第一层隐含层  
h 、  
第二层隐含  
1
2
稀疏自编码网络  
h
层
以及之后所有的隐含层整合为一个新的神经网  
2
2． 1  
自编码网络  
， ，  
络 最后连接一个数据分类器 利用全部带标数据有监  
，
自编码器是由编码器和解码器共同构成 结构如  
．
督地重新调整网络的参数  
1
， x f ，  
所示 通常输入数据 通过编码器 的编译 得到  
图
h，  
用以表示输入数据的编码 再将编码数据通过解码器  
g
x'．  
，
原始数据通过自编码器的处理 可  
重构输入数据  
．
得到用以表达它的编码  
sigmoid  
，
函数 其输出  
由于网络常用的激活函数为  
0
1， i  
到 所以使第 层隐含层所有神经元激活平  
范围是  
p ， p，  
接近一个比较小的实数 就可保证网络隐含  
i
均值  
． ，  
层的稀疏性 为使两值尽量接近 网络引入  
Kullback-  
Liebler  
( KL  
) ，  
散度 稀疏自编码网络的目标函数为  
散度  
( 3)  
:
式
所示  
l
L
1
*
2
=
( y － o )  
k
+
D ( p p )  
s
φ
∑
k
∑
KL  
2
k = 1  
s = 1  
( 3)  
m
1
( s)  
p =  
s
h ( x; W，b)  
∑
j
m
j = 1  
y k  
其中 为网络输出层第 个神经元的值  
k
，o  
k
为网络第  
k
，l ，L  
个神经元的期望输出 为输出数据的维数 为网络中  
，p  
s
为第 层隐含层神经元的激活平均  
隐含层的层数  
，m  
s
s ． p p ，  
为第 层隐含层神经元个数 当 很接近 时 网  
s
值
将自编码器思想应用于神经网络上就构成了自编  
KL  
0．  
络的  
散度会接近于  
， 3 ，  
码网络 自编码网络是一种 层神经网络 但其输入数  
稀疏自编码网络的处理能力已在多个领域得到展  
．
据与期望输出相同 网络隐含层的计算公式如下  
:
n
， ，  
现 但使用稀疏自编码网络处理数据时 需要消耗大量  
H = f  
j
，j = 1，2，…，l  
( 1)  
(
)
x + b  
i
ω
∑
ij  
j
， ，  
的训练时间 特别是当数据的维数和数量增大时 网络  
i = 1  
，
不仅需要长时间训练 还对计算机的储存硬件要求过  
x ，x ，…x  
1
， b  
是输入数据 ω 和 分别是连接每个  
ij  
其中  
2
n
j
，
高 所以如何在保证网络处理效果的同时加快网络的  
，H  
输入层和隐含层神经元之间的权值和阈值  
，f( x)  
是隐含  
j
．
训练尤为重要  
j
层第 个神经元的激活值  
，
是网络的激活函数 通  
sigmoid  
， :  
函数作为激活函数 其表达形式如下  
常选择  
3
基于特征聚类的稀疏自编码快速算法  
1
f( x) =  
( 2)  
－ x  
1 + exp  
可视化的网络特征中计算出部分特征的相似度较  
， ．  
高 表明一般网络训练的特征冗余度大 因此本文提出  
( 1)  
网络的输出层则可将式  
中的输入数据换成隐  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号