积分商城

最新搜索： CH340 排插 入门教程 canopen TMC5160 altium Designer 20 电路设计与仿真从入门到精通
您现在的位置是：首页 > 技术资料 > 深度卷积神经网络鉴别正交特征生成及其应用
推荐星级：
  • 1
  • 2
  • 3
  • 4
  • 5

深度卷积神经网络鉴别正交特征生成及其应用

更新时间：2019-12-24 16:41:37 大小：2M 上传用户：守着阳光1985查看TA发布的资源 标签：深度卷积神经网络 下载积分：1分 评价赚积分 （如何评价?） 打赏 收藏 评论(0) 举报

资料介绍

针对现有深度卷积神经网络在小样本学习时的泛化性问题,本文提出一种鉴别正交特征生成方法.该方法通过正则化技术对网络非负中间层特征输出的异类正交度和同类相关度进行优化,生成具有稀疏特性的网络中间层鉴别正交特征.为有效调节稀疏度以控制网络容量,采用正则化系数自适应调节方式逼近预设特征稀疏度目标.为提高特征生成计算效率,进一步设计了随机2类别鉴别正交特征生成反向传播规则.随后在数据集MNIST上进行了小样本手写体数字识别对比实验,验证了本文方法的稀疏度调节特性和网络表达容量控制能力.通过反卷积可视化,进一步发现本文方法还具有衍生出的局部鉴别区域聚焦特性.最后,将鉴别正交特征生成卷积网络应用到老年痴呆症3D磁共振影像分析上.实验结果表明,本文方法用于老年痴呆症诊断,不仅诊断效果更好,而且利用其良好的局部聚焦性,还成功定位了老年痴呆症与健康对照组典型差异脑区


部分文件列表

文件名 大小
深度卷积神经网络鉴别正交特征生成及其应用.pdf 2M

【关注视频号领20积分】   【关注公众号立即送20积分】

部分页面预览

（完整内容请下载后查看）
10  
Vol． 46 No． 10  
Oct． 2018  
第
2018  
期
10  
电
子
ACTA ELECTRONICA SINICA  
学
报
年
月
深度卷积神经网络鉴别正交特征生成及其应用  
，
，
，
，
414000)  
杨 勃 邵泉铭 李文彬 郭观七 方 欣  
(
，
湖南理工学院信息与通信工程学院 湖南岳阳  
:
，
．
摘
要
针对现有深度卷积神经网络在小样本学习时的泛化性问题 本文提出一种鉴别正交特征生成方法 该  
，
方法通过正则化技术对网络非负中间层特征输出的异类正交度和同类相关度进行优化 生成具有稀疏特性的网络中  
．
，
．
间层鉴别正交特征 为有效调节稀疏度以控制网络容量 采用正则化系数自适应调节方式逼近预设特征稀疏度目标  
，
2
．
MNIST  
为提高特征生成计算效率 进一步设计了随机 类别鉴别正交特征生成反向传播规则 随后在数据集  
上进行  
，
．
了小样本手写体数字识别对比实验 验证了本文方法的稀疏度调节特性和网络表达容量控制能力 通过反卷积可视  
，
．
，
化 进一步发现本文方法还具有衍生出的局部鉴别区域聚焦特性 最后 将鉴别正交特征生成卷积网络应用到老年痴  
3D  
．
， ， ，  
呆症  
磁共振影像分析上 实验结果表明 本文方法用于老年痴呆症诊断 不仅诊断效果更好 而且利用其良好的局  
，
．
部聚焦性 还成功定位了老年痴呆症与健康对照组典型差异脑区  
:
;
;
;
;
关键词  
中图分类号  
URL: http: / /www． ejournal． org． cn  
深度卷积网络 鉴别正交特征生成 脑影像分析 核磁共振  
TP391. 4  
0372-2112 ( 2018) 10-2376-08  
DOI: 10． 3969 /j． issn． 0372-2112． 2018． 10． 010  
:
:
A
:
文章编号  
文献标识码  
电子学报  
Deep Convolutional Neural Networks Controlled by Discriminatively  
Orthogonal Feature Generation and Its Application  
YANG Bo，SHAO Quan-ming，LI Wen-bin，GUO Guan-qi，FANG Xin  
( School of Information ＆ Communication Engineering，Hunan Institute of Science and Technology，Yueyang，Hunan 414000，China)  
Abstract: To improve the generalization of deep convolutional neural networks ( CNN) ，we proposed a discrimina-  
tively orthogonal feature generation method． By regularizing nonnegative outputs，orthogonal degree and correlation degree  
were optimized simultaneously，which helps to generate discriminatively orthogonal and sparse features． To adjust sparse de-  
gree for controlling network capacity，the technique of auto-adjusting regularization coefficient was proposed． To improve  
computational efficiency，a stochastically 2-class discriminatively orthogonal feature generation rule was further designed．  
Subsequently，a comparative experiment was conducted on handwritten digit set MNIST． In this experiment，the sparsity ad-  
justment property of our method was verified． By means of deconvolution technique for visualization，it was further found  
that our method has a good property of focusing on local discriminant areas． Finally，our method was applied to Alzheimer’  
s Disease MRI image analysis． The experimental results showed that our method outperforms some other representative meth-  
ods and locates the importantly discriminant brain regions successfully．  
Key words: deep convolutional neural networks; discriminatively orthogonal feature generation; brain image analysis;  
nuclear magnetic resonance;  
［3 ～ 6］  
，
特性 在诸多图像大数据集上进行的多种视觉任务  
1
引言  
．
上均取得了明显优于传统浅层机器学习方法的效果  
，
，
近年来 随着计算能力不断提高 大样本数据集出  
、
作为一类具有庞大参数数量的复杂机器学习方  
［7，8］  
，
现 以深度神经网络为代表的深度学习方法在图像 语  
，
．
法 深度学习效果与数据集样本量密切相关  
当面  
［1，2］  
、
．
音 自然语言处理等诸多方面取得了极大进展  
其
，
向样本量较少的学习任务时 过于复杂的深度学习方  
，
，
中 深度卷积网络以其权重共享 图像局部分析等优良  
，
法通常极易出现过拟合现象 表现甚至不如传统浅层  
: 2017-10-15;  
: 2018-01-08;  
:
收稿日期  
修回日期  
责任编辑 孙瑶  
:
( No． 17A089，No． 15A079) ;  
( No． 2016TP1021)  
基金项目 湖南省教育厅科学研究重点项目  
湖南省科技计划  
2377  
10  
:
勃 深度卷积神经网络鉴别正交特征生成及其应用  
第
期
杨
．
，
正交特征生成方法能够显著提高分类效果 具有较强  
机器学习方法  
．
的网络容量控制能力 进一步通过反卷积可视化发现  
，
小样本学习是统计机器学习的一个基本研究内  
．
，
，
鉴别正交特征生成方法可控制生成特征的稀疏性 并  
容 也是实际应用场景不能回避的一个重要问题 以往  
研究成果表明［9，10］ 采用诸如数据降维 容量控制 迁移  
具有很强的局部鉴别区域定位能力 最后 我们将鉴别  
3D  
，
、
、
．
，
．
，
学习等策略可改善小样本学习效果 为提高泛化性 这  
正交特征生成方法应用到基于  
脑磁共振影像分析  
．
，
，
些策略也被应用于深度学习 降维方面 采用如深度孪  
的老年痴呆症自动诊断中 一方面进一步提高了诊断  
，
，
生卷积网络 匹配网络等深度网络模型进行度量学  
正确率 另一方面基于反卷积重构技术实现了老年痴  
．
习［11，12］ 提取低维流形特征 可改善识别泛化性能 容  
呆病人与健康对照组典型差异脑区的定位  
，
，
．
［13］  
方法  
，Hinton  
Dropout  
，
通过随机置  
L2  
0
量控制方面  
提出  
2
深度卷积神经网络  
，
;
，
扰动 防止过拟合 此外 对网络权重参数引入  
范数  
正则化项［14］ 也是神经网络经典的容控手段 迁移学习  
第一个提出并实际应用的卷积神经网络是用于手  
，
．
［18］  
［15］  
方面  
VRC 2013  
［16］ 等 通 过 在  
LeNet-5  
．
2
写数字识别的多层卷积网络  
，2 ，2  
该网络由  
个
，Yosinski 、Azizpour  
ImageNet，ILS-  
1
卷积层 个池化层 个全互联层以及 个分类器层组  
，
等大数据集上迁移实验 验证了迁移学习对  
．
小样本视觉任务的有效性  
本文以磁共振影像分析为背景 尝试从容量控制  
，
1
．
成 如图 所示  
，
，
角度 继续对小样本任务下的深度卷积神经网络进行  
．
研究 考虑到小样本下的过拟合是由网络本身表达容  
，
量和现有样本量不匹配所致 本文提出一种鉴别正交  
LeNet-5  
给出了一个应用于自然图像的标准多层多  
，
特征生成方法 强制网络指定层生成的特征满足同类  
．
，
尺度分析架构 受此启发 随后出现了多种卷积神经网  
．
络架构  
，
强相关和异类正交的表达容量控制要求 通过控制特  
．
征稀疏度改善泛化性能 为验证鉴别正交特征生成有  
［17］  
第一个真正取得突破的深度卷积神经网络则是  
，
Caffe  
，
平台 上对其进行了实现 采用  
MNIST  
效性 我们在  
LeNet  
［3］  
AlexNet  
，
2
．
其架构示意图如图 所示  
经典卷积神经网络架构首先在  
数据集上  
．
，
进行了小样本实验 对比结果表明 小样本情形下鉴别  
N
LeNet-5  
，
，Alex-  
相比于  
架构 除整体架构更深之外  
min L1 = －  
log( o  
)
( 1)  
∑
i，D( i)  
Net  
ReLU  
，LRN  
，
i = 1  
还引入了  
Dropout  
非线性映射层  
Data augmentation  
归一化层 并使  
，D( i)  
i
，o  
其中  
是第 个训练样本类别序号 i，D( i) 是该样本  
．
策略 其中  
，ReLU  
函
用了  
和
softmax  
．
在其类别序号对应的维度上的  
ImageNet  
分类器输出  
sigmoid  
，
数的引入不仅克服了经典  
函数的饱和问题 而  
大数据集下卷积网络中间层特征可视化  
结果表明［21］ 从底层到顶层 各层特征呈现逐步抽象和  
，
且因其非负特性 使特征表达在一定程度上具有稀疏  
，
，
，
．
性 为加速收敛和改善分类效果提供了支持  
，
．
稳定的现象 有效改善分类效果 该实验直观验证了卷  
．
，
，
近年来 深度卷积网络向极深层发展 出现了诸如  
GoogleNet［19］，ResNet  
，
［20］  
积网络特征生成对视觉任务的重要性  
等极深层卷积神经网络架构 并  
．
，
对小样本任务 卷积网络面临的一个主要困境是  
在大规模数据集上取得了优异表现  
，
．
无法充分进行特征学习 从而导致过拟合 有文献表  
明［21 ～ 23］ 具有表达稀疏特性的深度网络往往具有很好  
3
卷积神经网络鉴别正交特征生成  
，
，
．
的容量控制能力 能改善网络的过拟合现象 为进一步  
卷积网络中间层特征通常通过分类损失函数优化  
．
过程中的反向传播算法逐渐生成 目前常用的分类器  
，
约束卷积网络中间层特征生成 我们利用非负向量正  
，
，
交稀疏性 在互熵损失基础上 采用正则化策略设计了  
．
softmax  
．
和损失函数是  
D
分类器和互熵损失函数  
一个基于相关性度量的鉴别正交特征生成损失项  
，
{ ( x ，y ) }  
，
对一个 类别分类任务 训练集为  
i
i
1 i N  
! !  
3. 1  
非负向量的正交稀疏性  
x ，y  
i
D
其中  
签向量 设  
L1  
分别为第 个训练样本和对应的 维类别标  
i
i
T
…
α
α
l
l
对 维向量 α  
sp(  
=
，
我们将该向量稀疏  
， softmax  
{ o }  
，
(
)
分类器输出为  
此时互熵损  
1
i
1 i N  
! !  
)
α 定义为  
失函数  
定义为  
度

相关下载

全部评论(0)

暂无评论
评论赚积分>>

上传资源 上传优质资源有赏金

热门标签

更多>>

最新上传

  • 打赏
  • 30日榜单

热门下载

推荐下载

本站上的所有资源均为源于网上收集或者由用户自行上传，仅供学习和研究使用，无任何商业目的，版权归原作如有侵权，请 来信指出，本站将立即改正。

ICP许可证号：京ICP证070360号     21IC电子网 2000- 版权所有

京ICP备11013301号

京公网安备 11010802024343号