深度神经网络训练中梯度不稳定现象研究综述

更新时间：2019-12-21 10:12:43 大小：3M 上传用户：xuzhen1 查看TA发布的资源 标签：深度神经网络 下载积分：0分评价赚积分（如何评价?）打赏收藏评论(0) 举报

资料介绍

摘要：深度神经网络作为机器学习领域的热门研究方向，在训练中容易出现梯度不稳定现象，是制约其发展的重要因素，控制和避免深度神经网络的梯度不稳定现象是深度神经网络的重要研究内容，分析了梯度不稳定现象的成因和影响，并综迷了目前解决梯度不稳定现象的关键技术和主要方法，最后展望了梯度不稳定现象的未来研究方向.

关键词：深度神经网络；梯度不稳定现象：梯度衰减；梯度爆炸

深度神经网络作为深度学习领域的重要模型之，在计算机视觉、语音识别等领域取得巨大突破.由于训练多层神经网络得到最优参数是非确定性多项式困难问题（non-deterministic polynomial hard，简称NP-hard）

所以神经网络的训练过程成为影响最终效果的核心因素，梯度下降（gradient descent）算法作为神经网络的主要训练方法，但在将其应用在深度神经网络时易出现梯度不稳定现象.该现象严重影响了模型的实际效果，导致准确率降低，收敛速度缓慢等，使得深度神经网络模型更加难以训练，后续研究与实践应用也受到阻碍，因此，梯度不稳定现象已成为制约深度神经网络模型发展的关键问题，受到学术界与工业界的高度关注.

学者们通过在神经网络中引入深度特性来提高提取特征的能力，但是梯度不稳定现象随着前馈神经网络

的层数和循环神经网络时间序列长度的增加也愈发严重，严重影响深度优势的发挥和训练收敛速度.自从1994年首次提出梯度衰减2-1的不稳定现象以来，学者们提出了一系列改进方法来缓解该问题，大致可分成3类：一是改进训练方法，如结合无监督学习的思想设计训练策略；二是优化节点运算，如采用ReLU，Batch-Normalization等技巧优化影响梯度传播的关键运算；三是调整网络结构，如以LSTM模型代替传统RNN模型以及采用捷径连接技巧改变传统迭代形式，这些改进在一定程度上缓解了梯度不稳定现象，使得深度神经网络能够充分训练，发挥其在机器学习领域的优势

本文详细分析出现梯度不稳定现象的原因，并综述目前缓解梯度不稳定现象的主要模型和方法本文第1节阐述梯度不稳定现象的成因及影响，第2节论述缓解梯度不稳定现象的主要方法第3节展望梯度不稳定现象的未来研究方向、第4节总结全文，