位置:成果数据库 > 期刊 > 期刊详情页
基于自适应势函数塑造奖赏机制的梯度下降Sarsa(λ)算法
  • ISSN号:1000-436X
  • 期刊名称:《通信学报》
  • 时间:0
  • 分类:TP181[自动化与计算机技术—控制科学与工程;自动化与计算机技术—控制理论与控制工程]
  • 作者机构:[1]苏州大学计算机科学与技术学院,江苏苏州215006, [2]吉林大学符号计算与知识工程教育部重点实验室,吉林长春130012
  • 相关基金:国家自然科学基金资助项目(61070223,61103045,61070122,61272005)~江苏省自然科学基金资助项目(BK2012616);江苏省高校自然科学研究基金资助项目(09KJA520002,09KJB520012);吉林大学符号计算与知识工程教育部重点实验室基金资助项目(93K172012K04)
中文摘要:

针对连续状态空间下的强化学习算法初始性能差及收敛速度慢的问题,提出利用自适应势函数塑造奖赏机制来改进强化学习算法。该机制通过额外的奖赏信号白适应地将模型知识传递给学习器,可以有效提高算法的初始性能及收敛速度。鉴于径向基函数(RBF)网络的优良性能及存在的问题,提出利用自适应归一化RBF(ANRBF)网络作为势函数来塑造奖赏。基于ANRBF网络提出了梯度下降(GD)版的强化学习算法——ANRBF-GD—Sarsa(λ)。从理论上分析了ANRBF—GD。Sarsa(λ)算法的收敛性,并通过实验验证了ANRBF—GD-Sarsa(λ)算法具有较好的初始性能及收敛速度。

英文摘要:

In the reinforcement leaning tasks with continuous state spaces, the algorithms are usually facing the problems of ill initial performance and low convergence speed. In order to solve these problems, the potential function shaping re-ward mechanism was proposed to improve the reinforcement learning algorithms. This mechanism propagates model knowledge to the learner' adaptively in the form of the additional reward signal, so that the initial performance and con-vergence speed could be improved effectively. In view of the good performance and existing problems of the radial basis function (RBF) network, the adaptive normalized RBF (ANRBF) network was put forward to use as a potential function to generate the shaping rewards. A gradient descent (GD) algorithm named ANRBF-GD-Sarsa(λ) was proposed based on the ANRBF network. The convergence of ANRBF-GD-Sarsa(λ) algorithm was analyzed theoretically. Extensive experi-ments are conducted to show the good initial performance and high convergence speed of the proposed algorithm.

同期刊论文项目
期刊论文 27 会议论文 3 专利 1
同项目期刊论文
期刊信息
  • 《通信学报》
  • 中国科技核心期刊
  • 主管单位:中国科学技术协会
  • 主办单位:中国通信学会
  • 主编:杨义先
  • 地址:北京市丰台区成寿寺4路11号邮电出版大厦8层
  • 邮编:100078
  • 邮箱:
  • 电话:010-81055478 81055481
  • 国际标准刊号:ISSN:1000-436X
  • 国内统一刊号:ISSN:11-2102/TN
  • 邮发代号:2-676
  • 获奖情况:
  • 信息产业部通信科技期刊优秀期刊二等奖
  • 国内外数据库收录:
  • 荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:25019