正线性函数在深度神经网络中的研究

摘要：针对深度神经网络中常用的激活函数具有非线性和计算复杂度高的特点，提出使用正线性函数代替常用非线性函数作为深度神经网络的激活函数。基于正线性激活函数建立的深度神经网络模型计算复杂度低，能得到稀疏表示，与人类大脑信息感知具有一致性。通过图像分类任务验证了正线性激活函数在深度神经网络中应用的有效性。

关键词：特征提取；深度神经网络；激活函数；正线性函数；手写体数字识别

深度神经网络由浅层神经网络按层堆叠而成。浅层神经网络通过学习提取到较低层数据特征，而深度神经网络通过对数据进行多次特征提取、压缩低层次特征，并将其组合成更高层次的数据特征。更抽象的高层数据特征能更好地表示原始数据，更具区分度。深度神经网络的基本组成单元为人工神经元。样本x=（xl，xn，…，xm）”为神经元输入向量，w=（l，wa，…，wn）为神经元间连接权值向量，b为神经元偏置向量。神经元中表示信息wx+b通过函数f（·）作用后输出hrb（x）=f（wx+b）。其中f

（·）：R→R称为人工神经元的激活函数。由于普遍认为大脑的认知过程是非线性的，所以在求得输入向量与权值向量的内积后，将信息在神经元中的表示wx十b作为一个非线性函数以代表该神经元的激活程度。通常使用的非线性激活函数有S型函数]、双曲正切函数B]和softplus函数]