位置:成果数据库 > 期刊 > 期刊详情页
基于自适应学习率的深度信念网设计与应用
  • ISSN号:0254-4156
  • 期刊名称:《自动化学报》
  • 时间:0
  • 分类:TM721.1[电气工程—电力系统及自动化]
  • 作者机构:[1]北京工业大学信息学部,北京100124, [2]计算智能与智能系统北京市重点实验室,北京100124
  • 相关基金:国家自然科学基金(61533002,61473034),国家杰出青年科学基金(61225016),内涵发展-引进人才科研启动费资助
中文摘要:

针对深度信念网(Deep belief network,DBN)预训练耗时长的问题,提出了一种基于自适应学习率的DBN(Adap-tive learning rate DBN,ALRDBN).ALRDBN将自适应学习率引入到对比差度(Contrastive divergence,CD)算法中,通过自动调整学习步长来提高CD算法的收敛速度.然后设计基于自适应学习率的权值训练方法,通过网络性能分析给出学习率变化系数的范围.最后,通过一系列的实验对所设计的ALRDBN进行测试,仿真实验结果表明,ALRDBN的收敛速度得到了提高且预测精度也有所改善.

英文摘要:

A deep belief network with adaptive learning rate (ALRDBN) is proposed to solve the time-consuming problem in the pre-training period of DBN. The ALRDBN introduces the idea of adaptive learning rate into contrastive divergence (CD) algorithm and accelerates its convergence by a self-adjusting learning rate. The training method of weights in this case is designed, in which the adjusting scope of the coefficient in learning rate is determined by performance analysis. Finally, a series of experiments are carried out to test the performance of ALRDBN, and the corresponding results show that the convergence rate is accelerated significantly and the accuracy of prediction is improved as well.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《自动化学报》
  • 中国科技核心期刊
  • 主管单位:中国科学院
  • 主办单位:中国自动化学会 中国科学院自动化研究所
  • 主编:王飞跃
  • 地址:北京东黄城根北街16号
  • 邮编:100717
  • 邮箱:aas@ia.ac.cn
  • 电话:010-64019820
  • 国际标准刊号:ISSN:0254-4156
  • 国内统一刊号:ISSN:11-2109/TP
  • 邮发代号:2-180
  • 获奖情况:
  • 1997年获全国优秀期刊奖,1985、1990、1996、2000年获中国科学院优秀期刊二等奖,2002年获国家期刊奖
  • 国内外数据库收录:
  • 美国数学评论(网络版),德国数学文摘,荷兰文摘与引文数据库,美国工程索引,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:27550