位置:成果数据库 > 期刊 > 期刊详情页
神经网络极速学习方法研究
  • ISSN号:0254-4164
  • 期刊名称:计算机学报
  • 时间:0
  • 页码:279-287
  • 分类:TP18[自动化与计算机技术—控制科学与工程;自动化与计算机技术—控制理论与控制工程]
  • 作者机构:[1]西安交通大学电信学院计算机系智能网络与网络安全教育部重点实验室,西安710049, [2]西安邮电学院计算机科学与技术系,西安710061
  • 相关基金:本课题得到国家自然科学基金(60825202,60803079,60633020)、国家“八六三”高技术研究发展计划项目基金(2008AA012131)、国家科技支撑计划项目(2006BAK11302,2006BAJ07806,2008BAH26802,2009BAH51BOO)、中国科学院复杂系统与智能研究科学重点实验室开放基金资助项目(20080101)和陕西省教育厅科学研究计划项目(09JK717)资助
  • 相关项目:下一代e-Learning系统的关键理论与技术
中文摘要:

单隐藏层前馈神经网络(Single-hidden Layer Feedforward Neural Network,SLFN)已经在模式识别、自动控制及数据挖掘等领域取得了广泛的应用,但传统学习方法的速度远远不能满足实际的需要,成为制约其发展的主要瓶颈.产生这种情况的两个主要原因是:(1)传统的误差反向传播方法(Back Propagation,BP)主要基于梯度下降的思想,需要多次迭代;(2)网络的所有参数都需要在训练过程中迭代确定.因此算法的计算量和搜索空间很大.针对以上问题,借鉴ELM的一次学习思想并基于结构风险最小化理论提出一种快速学习方法(RELM),避免了多次迭代和局部最小值,具有良好的泛化性、鲁棒性与可控性.实验表明RELM综合性能优于ELM、BP和sVM.

英文摘要:

SLFNs(Single-hidden Layer Feed forward Neural networks) have been wtctely applleu in many fields including pattern recognition, automatic control, data mining etc. However, the traditional learning methods can not meet the actual needs due to two main reasons. Firstly, the traditional method is mainly based on gradient descent and it needs multiple iterations. Secondly, all of the network parameters need to be determined by iteration. Therefore, the computational complexity and searching space will increase dramatically. To solve the above problem, motivated by ELM's one-time learning idea, a novel algorithm called Regularized Extreme Learning Ma- chine (RELM) based on structural risk minimization and weighted least square is proposed in this paper. The algorithm not only avoids a number of iterations and the local minimum, but also has better generalization, robustness and controllability than the original ELM. Additionally, experi- mental results have shown that RELM' overall performance is also better than BP and SVM.

同期刊论文项目
期刊论文 32 会议论文 43 获奖 8 专利 23 著作 1
同项目期刊论文
期刊信息
  • 《计算机学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学院
  • 主办单位:中国计算机学会 中国科学院计算技术研究所
  • 主编:孙凝晖
  • 地址:北京中关村科学院南路6号
  • 邮编:100190
  • 邮箱:cjc@ict.ac.cn
  • 电话:010-62620695
  • 国际标准刊号:ISSN:0254-4164
  • 国内统一刊号:ISSN:11-1826/TP
  • 邮发代号:2-833
  • 获奖情况:
  • 中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 美国数学评论(网络版),荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:48433