推荐星级:
- 1
- 2
- 3
- 4
- 5
智能控制技术第二版第四章人工神经元模型
资料介绍
智能控制技术第二版第四章人工神经元模型
模糊逻辑控制解决了人类智能行为的语言的描述和推理问题
人工神经网络是模拟人脑细胞的分布式工作特点和自组织功能,且能实现并行处理、自学习和非线性映射等能力的一种系统模型。
发展历史:
1943年,心理学家McCmloch和数学家Pitts合作提出形式神经元数学模型(MP),揭开了神经科学理论的新时代。
1944年Hebb提出了改变神经元连接强度的Hebb规则
1957年Rosenblatt首次引进了感知器概念(Perceptron)。
1976年,Grossberg提出了自适应共振理论
1982年,美国加州工学院物理学家Hopfield提出了HNN模型,他引入了“计算能量函数”的概念,给出了网络的稳定性判据
1986年,Rumelhart等PDP研究小组提出了多层前向传播网络的BP学习算法
神经元网络系统的研究:
神经元模型
神经网络结构
神经网络学习方法
从神经元模型角度来看,有
线性处理单元
非线性处理单元
从网络结构方面来看,有:
前向网络
反馈网络
自组织网络
神经网络的学习算法
有导师学习:就是在训练过程中,始终存在一个期望的网络输出。期望输出和实际输出之间的距离作为误差度量并用于调整权值
无导师学习:无导师学习指的是网络不存在一个期望的输出值, 需建立一个间接的评价函数
神经网络学习规则根据连接权系数的改变方式不同又可分为如下三类:
相关学习
纠错学习
无导师学习
纠错学习:有导师学习方法 ,依赖关于输出节点的外部反馈改变权系数。它常用于感知器网络、多层前向传播网络和Boltzmann机网络。其学习的方法是梯度下降法。
最常见的学习算法有δ规则、模拟退火学习规则。
δ规则学习信号就是网络的期望输出t与网络实际输出y的偏差δj=tj-yj。连接权阵的更新规则为:
神经网络的泛化能力
当输入矢量与样本输入矢量存在差异时,其神经网络的输出同样能够准确地呈现出应有的输出。这种能力就称为神经网络的泛化能力。
在有导师指导下的学习中,泛化能力可以定义为训练误差和测试误差之差。
与输入矢量的个数、网络的节点数和权值与训练样本集数目之间存在密切的关系。
前向神经网络是由一层或多层非线性处理单元组成。相邻层之间通过突触权系数连接起来。由于每一层的输出传播到下一层的输入,因此称此类网络结构为前向神经网络,有三种结构:
单一神经元
单层神经网络结构
多层神经网络结构
有导师学习的基本思想
前向传播网络实质上表示的是一种从输入空间到输出空间的映射。对于给定的输入矢量X,其网络的响应可以由方程
Y=T(X)
给出, 其中T(·)一般取为与网络结构相关的非线性算子。神经网络可以通过对合适样本集,即输入输出矢量对(Xp,Tp) p=1,2,...,N来进行训练。网络的训练实质上是突触权阵的调整,以满足当输入为Xp时其输出应为Tp。对于某一特定的任务,训练样本集是由外部的导师决定的。这种训练的方法就称为有导师学习。
有导师学习的思路:
对于给定的一组初始权系数,网络对当前输入Xp的响应为:Yp=T(Xp)。权系数的调整是通过迭代计算逐步趋向最优值的过程,调整数值大小是根据对所有样本p=1,2,...,N 的误差指标 Ep=d(Tp,Yp)达到极小的方法来实现的。
其中:Tp 表示期望的输出,
Yp 表示当前网络的实际输出,
d(·)表示距离函数。
前向传播网络,从学习观点看,它是一种强有力的学习系统;从系统观点看,它是一种静态非线性映射
反馈型神经网络具备非线性动力学系统所特有的丰富动力学特性,如稳定性、极限环、奇异吸引子(即浑沌现象)等。一个耗散动力学系统的最终行为是由它的吸引子决定的,吸引子可以是稳定的,也可以是不稳定的。--动态神经网络
动态神经网络模型的实质是其节点方程用微分方程或差分方程来表示而不是简单地用非线性代数方程来表达,主要介绍三种:
带时滞的多层感知器网络
Hopfield网络
回归神经网络
部分文件列表
文件名 | 大小 |
智能控制技术第二版第四章人工神经元模型.ppt | 641K |
全部评论(0)