BP神经网络在线学习算法的确定型收敛性-东篱科研大数据发现系统（DRDS）

位置：立项数据库 > 立项详情页

BP神经网络在线学习算法的确定型收敛性

项目名称：BP神经网络在线学习算法的确定型收敛性
项目类别：面上项目
批准号：10471017
申请代码：A0117
项目来源：国家自然科学基金
研究期限：2005-01-01-2007-12-31

项目负责人：吴微
负责人职称：教授
依托单位：大连理工大学
批准年度：2004

中文摘要：

本项目考虑人工神经网络权值学习中广泛使用的在线梯度法的收敛性,这是神经网络研究对计算数学提出的一个新课题．在上一个自然科学基金项目中，我们研究了不带隐层的前馈网络，给出了一系列确定型收敛性结果。本项目希望将这一结果推广到更复杂、更实用的带隐层前馈网络，即BP网络。我们的确定型收敛性结果多少有些"出人意外"，因为在线梯度法是一种随机型学习方法，常见的收敛性结果理所当然地是概率型的。我们的结果，即在线梯度法在一些特殊条件下确定地收敛，是对上述一般结果的有益补充，有助于更全面更深刻地理解与应用在线梯度学习算法。另外，为加快收敛速度和增加稳定性，人们常常对在线梯度法学习算法引入惯性项。我们希望研究这种惯性项对收敛性的影响。我们还打算研究神经网络的逼近能力。在应用方面，我们将考虑股市预测和数学公式识别等问题.

中文主题词：人工神经网络；学习算法收敛性；高阶神经网络；神经网络逼近能力

英文摘要：

Neural networks; Convergence o

英文主题词： Neural networks; Convergence o

结论摘要：

本项目主要研究人工神经网络学习中广泛使用的在线梯度法的收敛性,这是神经网络研究对计算数学提出的一个新课题。主要成果为1）对带隐层前馈网络，既BP网络，给出了一系列确定型收敛性结果；这种确定型收敛性结果多少有些"出人意外"，因为在线梯度法是一种随机型学习方法，常见的收敛性结果当然是概率型的；我们的结果，即在线梯度法在一些特殊条件下确定地收敛，是对上述一般结果的有益补充，有助于更全面更深刻地理解与应用在线梯度学习算法。2）研究了在线梯度法添加惯性项和惩罚项后对收敛性的影响。3）研究了各种高阶神经网络的学习收敛性。4）研究了神经网络的逼近能力；指出并修正了神经网络顶尖杂志"Neural Network "上一篇文章的致命错误；对PRF神经网络的L^p逼近能力给出了最佳可能结果。5）证明了在特定情况下，阈值对于用于分类的模糊神经元是不必要的；这一结果与普通神经元中阈值必不可少这一事实恰成对照，有可能成为研究模糊神经网络和普通神经网络的区别和特点的一个突破口。本项目发表及已录用论文45篇，其中SCI收录16篇，Ei收录17篇，还有一本"十一五规划国家级教材"将由高教出版社出版。

成果综合统计