Labfans是一个针对大学生、工程师和科研工作者的技术社区。 | 论坛首页 | 联系我们(Contact Us) |
![]() |
![]() |
#1 |
初级会员
注册日期: 2009-04-14
年龄: 41
帖子: 3
声望力: 0 ![]() |
![]()
如题!
谁有神经网络方面的资料啊?让小弟瞅瞅 |
![]() |
![]() |
![]() |
#2 |
初级会员
注册日期: 2009-03-05
年龄: 41
帖子: 17
声望力: 17 ![]() |
![]()
啥资料啊,你现在啥水平,哪有这样问的
![]()
__________________
缘起,在人群中,我看见你 缘灭,我看见你,在人群中 |
![]() |
![]() |
![]() |
#3 |
初级会员
注册日期: 2009-03-21
年龄: 39
帖子: 1
声望力: 0 ![]() |
![]()
这里资源好像有点少哦
|
![]() |
![]() |
![]() |
#4 |
初级会员
注册日期: 2009-05-04
帖子: 2
声望力: 0 ![]() |
![]()
BP网络结构设计与算法探讨
Discuss on Algorithm and Design of BP Neural Network 颜七笙游泳杨志辉 Yan Qisheng You Yong Yang Zhihui (东华理工学院,抚州344000) (East China Institute of Technology,Fuzhou 344000) 摘要:人工神经网络是一门高度综合的交叉学科,在许多领域获得了广泛的应用。本文就BP神经网络应用 设计中的网络隐层数、神经元个数、算法等具体设计问题进行了探讨,为BP神经网络在有关工程领域中的应用设 计提供了有用的参考。 关键词:BP网络;网络结构;设计;算法 中图分类号:TP18文献标识码:A文章编号:1671-4792-(2005)03-0106-03 Abstract:In this paper,it is discussed that the BP neural network design issue about the selection of implicit layers,implicit layer nodes and arithmetic in application design。 Keywords:BP neural-network;design;algorithm 0引言 人工神经网络(Artificial Neural Network) 是近些年来迅速发展起来的人工智能科学的一个分 支,近年来的广泛应用再度显示了它活跃的生命力。 实践证明,人工神经网络除了应用在语言识别、自动 控制等领域外,还可以应用于预测、评价等其它方 面,其准确性明显优于回归模型。它具有自组织、自 适应和自学习能力,具有非线性、非局域性、非定常 性和非凸性等特点。近年来,人工神经网络理论在许 多领域都取得了令人满意的成果。B P(B a c k- Propagation)神经网络,即多层前馈式误差反传播 神经网络,是人工神经网络中最具代表性和广泛应用 的一种,占整个神经网络应用的80%左右,其主要 优点是:只要有足够的隐层和隐结点,BP网络可以逼 近任意的非线性映射关系;BP网络的学习算法属于 全局逼近的方法,因而它具有较好的泛化能力;BP网 络有较好的容错性。其主要缺点是收敛速度慢,通 常需要经过几千次迭代甚至更多,容易陷入局部极小 点而无法得到全局最优解。针对这些不足,人们已 经提出了许多改进标准BP算法的方案,如牛顿法、 Vogl的快速学习算法、Jacobs的delta-bar-delta 算法、共轭梯度法、Levenberg-Marquardt算法等。 1 BP神经网络结构 BP神经网络,通常由输入层、输出层和若干隐含 层构成,每层由若干个结点组成,每一个结点表示一 个神经元,上层结点与下层结点之间通过权联接,同 一层结点之间没有联系。BP神经网络的学习过程分 为信息的正向传播过程和误差的反向传播过程两个 阶段。外部输入的信号经输入层、隐含层的神经元 ★基金项目:东华理工学院院长基金资助项目逐层处理向前传播到输出层给出结果。如果在输出 (DHY0415)37 层得不到期望输出,则转入逆向传播过程,将实际值 与网络输出之间误差沿原来联结的通路返回,通过修 改各层神经元的联系权值,使误差减少,然后再转入 正向传播过程,反复迭代,直到误差小于给定的值为 止。 要确定一个神经网络,必须设计出网络的隐层 数、每层的神经元个数和算法(BP算法也有许多改 进的算法)。由于人工神经网络尚处于学科发展初 期,其理论还没有完善到能提供一套赖以遵循的设计 方法,所以BP人工神经网络设计既要以网络理论为 依据,又要以试验进行验证。 1.1 BP神经网络隐层数的确定 由kolmogorov定理(即映射网络存在定理),一 个隐层的网络,如果隐层的功能函数是连续函数(如 Sigmoid函数),则网络输出可以逼近一个连续函数。 具体说,设网络有p个输入,q个输出,则其作用可看 作是有p维欧氏空间到q维欧氏空间的一个非线性 映射,此结论可叙述如下: 令为有界、非常量的单调增连续函数,I P 代 表P维单位超立方体[0,1]P,C(I P )表示定义在I P 上 的连续函数构成的集合,则给定任何函数和 ,和一组实常数和,其中,I=1,2,…, m,J=1,2,…,p,使得网络输出 可任意逼近,即, kolmogorov定理表明含一个隐层的BP前馈网络 是一种通用的函数逼近器,为逼近一个连续函数,一 个隐层是足够的。当要学习不连续函数时,则需要两 个隐层,即隐层数最多两层即可,但它没有提供任何 构造这样一个网络的可行方法。实际上到目前为止, 还没有很快确定网络参数(指隐层数和隐层神经元 数)的固定方法可循,但通常设计多层前馈网络时,可 按下列步骤进行: (1)对任何实际问题都只选用1个隐层; (2)使用较少的隐层神经元数; (3)增加隐层神经元个数,直到获得满意的性能 为止,否则,再采用2个隐层。 1.2各层神经元个数的确定 对多层前馈网络而言,隐层神经元数的确定是设 计网络的关键之一。因此,选择隐层神经元数是很重 要的问题。隐层神经元个数太少,则网络所能获取的 用以解决问题的信息太少;个数太多,不仅增加训练 的时间,难以在人们能够接受的时间内完成训练,更 重要的是过多的隐节点,还可能引起所谓的“过度吻 合”(over-fitting)问题。值得注意的是,增加隐层 结点可以减少训练误差,但超过某一隐结点数后,测 试误差反而增大,即泛化能力下降。训练误差小并不 意味着网络的泛化能力就强。 实际上,隐层神经元数取决于训练样本数的多 少、噪声量的大小及网络学习的输入—输出函数关 系或分类关系的复杂程度。对许多应用场合均适用 的一条有关确定隐结点数的规则即所谓的几何金字 塔规则(geometric pyramid rule):从输入层到输 出层,结点数不断减少,其形好似金字塔,如图一所 示。当然,这个规则介绍的确定隐结点数的规则只是 一个粗略的估值。 图一几何金字塔规则 需要说明的是,由BP定理知只要用一个三层BP 神经网络就可在任意希望的精度上实现任意的连续 函数。但实际上,还要使用更多层的BP神经网络, 其原因是用三层BP神经网络来实现往往需要大量的 隐含层节点,而使用更多层的BP神经网络来实现可 减少隐含层节点的数目。 2 BP神经网络的改进算法 具有相同拓扑结构(隐层数和各层神经元个数相科技广场2005.3 同)的BP神经网络,如果其算法不相同,其网络的性 质是不相同的。针对BP神经网络收敛速度较慢,局 部容易产生极小的缺点,人们又提出了BP算法的一 些改进算法,如加入动量项、学习率自适应、L—M 等算法。BP算法的有效性和收敛性在很大程度上取 决于学习率η。学习率η的最优值与具体问题有关, 没有对任何问题都适合的学习率η。即使对一特定 问题,也很难找到一个自始自终都适合的学习率η 值,训练开始时比较适合的学习率η后来就不一定适 合。为了解决这个问题,采用了自适应学习率算法, 其目的是在收敛的前提下尽量缩短训练过程。 动量法的目的也在于加速BP算法的收敛过程。 具体做法是将上一次权值调整量的一部分迭加到按 本次误差计算所得的权值调整量上,以作为本次的实 际权值调整量,即,式中 的第二项便是动量项。动量法降低了网络对于误差 曲面局部细节的敏感性,有效地抑制了网络陷于局部 极小。 另外还有L-M(Levenberg-Marquardt)算法等改 进算法。 设计一个BP神经网络必须考虑于网络隐层数、 神经元个数、算法,一旦于BP神经网络隐层数、神 经元个数、算法确定下来了,这个网络也就设计完成 了,当然,所设计的网络还必须通过实际的检验。 3结束语 本文对BP神经网络应用设计中的关于网络隐层 数、神经元个数、算法等具体问题进行了探讨,为BP 神经网络在有关工程领域中的应用设计提供了有用 的参考。 |
![]() |
![]() |
![]() |
#5 |
初级会员
注册日期: 2009-05-07
帖子: 3
声望力: 0 ![]() |
![]()
请问有关于有神经网络判断变压器故障的MATLAB程序吗,最简单的就行
|
![]() |
![]() |
![]() |
#6 |
初级会员
注册日期: 2009-09-21
年龄: 38
帖子: 2
声望力: 0 ![]() |
![]()
这里的资源好像是不多啊
|
![]() |
![]() |