积分商城

最新搜索： stm32f7 固件库 HFBR-0310Z光纤发射和接收电路 频率计 高频开关变换器的数字控制 multisim运放 PCIe
您现在的位置是：首页 > 技术资料 > 卷积自编码器中粗粒度池化特征提取研究
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

卷积自编码器中粗粒度池化特征提取研究

更新时间：2019-12-25 05:12:43 大小：2M 上传用户：zhiyao6查看TA发布的资源 标签：卷积自编码器 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

卷积自编码器(Convolutional Auto Encoder,CAE)提取的粗粒度池化特征具有一定范围内旋转和平移的不变性,因而得到广泛使用.然而,目前CAE仍主要依靠经验调节内部参数以获取满足要求的粗粒度池化特征.本文将CAE看作一个整体,从概率上分析了影响其表现的具体原因,构建了一个通用框架用于调节其中的主要参数以获取更好的粗粒度特征.首先从概率上权衡了粗粒度特征在池化层上的判别性与不变性,并在CAE中选择合适的卷积范围和白化参数.然后通过分析池化域内特征的稀疏度选择相应的池化方法以获取具有更好可分离性的粗粒度池化特征.在两个公开数据库(STL-10和CIFAR-10)的实验结果表明本文提出的方法可以指导CAE提取到更好的粗粒度池化特征并在多类分类任务中表现得更好.


部分文件列表

文件名 大小
卷积自编码器中粗粒度池化特征提取研究.pdf 2M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
10  
Vol． 45 No． 10  
Oct． 2017  
第
期
电
子
学
报
2017  
10  
ACTA ELECTRONICA SINICA  
年
月
卷积自编码器中粗粒度  
池化特征提取研究  
1
1
1
1
2
， ， ， ，  
罗 畅 王 洁 王鹏飞 肖 军 肖 红  
( 1．  
，
空军工程大学防空反导学院 陕西西安  
710051; 2． 94691  
，
部队 福建连城  
366202)  
:
( Convolutional Auto Encoder，CAE)  
提取的粗粒度池化特征具有一定范围内旋转和平移的  
摘
要
卷积自编码器  
， ． ，  
不变性 因而得到广泛使用 然而 目前  
CAE  
．
仍主要依靠经验调节内部参数以获取满足要求的粗粒度池化特征 本文  
CAE  
， ，  
看作一个整体 从概率上分析了影响其表现的具体原因 构建了一个通用框架用于调节其中的主要参数以获  
将
．
，
CAE  
取更好的粗粒度特征 首先从概率上权衡了粗粒度特征在池化层上的判别性与不变性 并在  
中选择合适的卷积  
范围和白化参数 然后通过分析池化域内特征的稀疏度选择相应的池化方法以获取具有更好可分离性的粗粒度池化  
( STL-10 CIFAR-10) CAE  
提取到更好的粗粒度  
．
．
特征 在两个公开数据库  
和
的实验结果表明本文提出的方法可以指导  
．
池化特征并在多类分类任务中表现得更好  
:
;
;
;
;
关键词  
中图分类号  
URL: http: / /www． ejournal． org． cn  
粗粒度特征 池化 卷积自编码器 非监督学习 深度学习  
TP181 0372-2112 ( 2017) 10-2390-12  
DOI: 10． 3969 /j． issn． 0372-2112． 2017． 10． 012  
:
:
A
:
文章编号  
文献标识码  
电子学报  
Coarse-Grained Pooled Features Learning in  
Convolutional Autoencoders  
1
1
1
1
2
LUO Chang ，WANG Jie ，WANG Peng-fei ，XIAO Jun ，XIAO Hong  
( 1． Air and Missile Defense College，Air Force Engineering University，Xi’an，Shaanxi 710051，China;  
2． Unit 94691 PLA，Liancheng，Fujian 366202，China)  
Abstract: Coarse-grained pooled features obtained from convolutional autoencoder ( CAE) achieve scale and shift in-  
variances and have been widely used recently． However，in most previous works coarse-grained pooled features are obtained  
by empirically modulating parameters in CAE． In this paper，we see the CAE as a whole，find the probabilistic factors affect-  
ing the performance of it，and formulate a general framework to regulate parameters in it to obtain better coarse-grained rep-  
resentation． Firstly，the discrimination-invariance tradeoff of coarse-grained features is probabilistically evaluated in the  
pooled feature maps． Furthermore，the proper convolved filter scales and appropriate whitening parameters are suggested in a  
CAE． Secondly，pooling approaches are combined with the sparsity degree in pooling regions，and we propose the preferable  
pooling approach in different cases． Experimental results on two independent benchmark datasets ( STL-10 and CIFAR-10)  
demonstrate that our framework can guide CAEs to extract better coarse-grained pooled features and performs better in multi-  
class classification task．  
Key words: coarse-grained features; pooling; convolutional autoencoder; unsupervised learning; deep learning  
，
案 并在计算机视觉和自然语言处理等方面发挥了重  
1
引言  
［2，3］  
．
要作用  
卷积神经网络是一种实用的深度学习结构  
机器学习的一个基础问题是如何构建一个计算机  
．
并被成功应用于识别任务 作为卷积神经网络的重要  
［1］  
，
系统 使其能够通过经验数据自主提升性能  
．
近年  
，
组成部分 卷积自编码器从非标记数据中提取有效特  
，
来 深度学习技术的发展为该问题提供了新的解决方  
， ． ，  
征 是一种重要的非监督学习工具 近年来 卷积自编码  
: 2016-03-29;  
: 2016-08-28; :  
责任编辑 孙瑶  
收稿日期  
修回日期  
:
基金项目 国家自然科学基金  
( No． 71501184)  
2391  
10  
:
畅 卷积自编码器中粗粒度池化特征提取研究  
第
期
罗
［4，5］  
［6，7］  
、
、3D  
，
现 粗粒度池化特征的可分离性与原始图片的预处理  
、
器被广泛用于无监督特征提取  
图像分类  
目
［8］  
［9］  
［10］  
、
、
．
，
卷积层中卷积范围的大小 以及池化域内池化方法的  
标检索  
面部表情识别  
人体姿态识别 等任务  
， ，  
在以上任务中 卷积自编码器均能提取到有效特征 并  
．
选择均有密切的关系 我们测试了将不同情况下获取  
．
，
的粗粒度池化特征用于分类的效果 并从概率上探究  
表现出突出的运算精度和效率  
．
影响卷积自编码器中粗粒度池化特征的关键原因 本  
卷积自编码器中的池化层将临近的卷积特征进行  
，
整合 降低了特征的维度并使得其对一定范围内的旋  
:
文的工作主要包括以下几个方面  
( 1) ，  
将卷积自编码器看作一个整体 从概率上分析  
［11，12］  
．
转和平移具有不变性  
池化特征是一种低维度的  
［2，13］  
，
表达方式 并对分类等后续操作产生重要影响  
．
．
文
特征在变换过程中的判别性与不变性  
( 2) ，  
在权衡判别性与不变性的基础上 选择合适的  
［6］ ，  
献 中 卷积自编码器采用平均值池化提取池化特  
， ． ［10］ ，  
征 并将其用于图像分类任务 文献 中 卷积自编  
、 ， ，  
卷积范围 白化预处理参数 和池化方法 提取到可分离  
，
码器采用最大值池化提取池化特征 并将其用于人体  
．
性更好的粗粒度池化特征  
( 3 )  
［27］  
． ［14］  
姿态识别任务 文献 则进一步对池化操作进行了  
( STL-10  
CIFAR-  
和
在 两 个 公 开 数 据 库  
［28］  
． ，  
系统地改进 池化操作在池化域内进行 池化域密度的  
10  
)
，
上 将卷积自编码器用于多类分类任务  
．
，
大小通常表征为池化粒度 从一定程度上衡量池化特  
，
实验结果表明 本文中的粗粒度池化特征提取方  
［15］  
．
，
为获取到更好的池化特征 很  
，
法 能获得比经验条件下可分离性更好的粗粒度池化  
征的判别性与不变性  
．
多工作 都 围 绕 池 化 特 征 的 判 别 性 与 不 变 性 展 开 分  
特征  
［16 － 22］  
［16 － 18］  
［19，20］  
．
析
监督  
模池化过程中构建最优的池化结构  
添加监督标签提升了池化特征的判别性能 另外  
与非监督  
方法均被用于从多规  
2
卷积自编码器的结构分析  
［21］  
． Fanello  
等
通过  
，Li  
用于多类分类任务的单层卷积自编码器结构如图  
．
［22］  
1
． ， ，  
所示 首先 在预处理阶段 从训练库中随机提取的小  
，
在卷积结构中将池化粒度与卷积范围相结合 通  
等
．
尺寸图像样本通过稀疏自编码器训练得到有效特征  
，
过权衡特征的判别性与不变性 提取到了有效的池化  
， ，  
随后 在卷积层内 原始图像与训练得到的特征通过滤  
．
特征  
d ，  
波器 进行卷积运算 并由激励函数得到卷积特征在  
k
，
粗粒度池化特征具有较强的不变性 因此得到广  
［2，23，24］  
s
位置 上的激励值  
i
x ．  
ik  
，D = { d ，…，d ，…，d }  
其中 为  
1
．
，
同时 粗粒度池化方式也使得池化特征  
泛应用  
k
K
，S = { s ，…，s ，…，s }  
i
卷积滤波器组成的集合  
表示卷积  
N
．
丢失掉了一定的判别性能 一种解决方案是构建深度  
1
，X = ( x ，…，x ，…，x  
ik  
)
特征所处位置  
为卷积特征激  
卷积结构逐层池化局部信息以增强粗粒度池化特征的  
11  
NK  
［25，26］  
． ，  
励值集合 在池化层内 定义  
R = { R ，…，R ，…，R }  
为
j
．
，
然而 这种分层的池化结构容易丢失图  
判别性能  
1
M
S
，r = { r ，…，r ，…，r }  
i
中池化域组成的集合  
为池化特  
M
．
片的局部特征  
1
［11］  
． ，  
征所处位置 假设在池化域内进行最大值池化操作 则  
LeCun  
，
指出 相比于将卷积神经网络用于各种识  
y = max x ． Y = ( y ，…，y ，  
最后  
11  
可以得到池化特征  
， ．  
别任务 更迫切的任务是从理论上对其进行解构 受此  
jk  
si∈Rj ik  
jk  
…，y  
)
．
被用于多类分类任务  
，
启发 我们在将卷积自编码器用于多类分类实验时发  
MK  
，
在卷积自编码器中 池化操作前的两项主要任务  
、 ，  
白化预处理参数 不同卷积范围 以及不同池化方法带  
． ，  
是白化预处理和卷积运算 池化层内 池化粒度与池化  
，
来的影响 通过从概率上分析各参数间的关系以求在  
，
方法则是影响池化特征的两个主要方面 并间接影响  
．
卷积自编码器中获取更好的粗粒度池化特征 本文的  
．
到卷积自编码器的分类效果 为在多类分类任务中取  
2
“
”
主要研究内容在图 所示流程中表示为 测试① 和  
“ ”．  
测试②  
， ，  
得更好的效果 本文测试了在粗粒度池化条件下 不同  

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号