位置:成果数据库 > 期刊 > 期刊详情页
基于Poisson过程的Hadoop集群平均寿命计算方法
  • ISSN号:1000-7180
  • 期刊名称:《微电子学与计算机》
  • 时间:0
  • 分类:TP302[自动化与计算机技术—计算机系统结构;自动化与计算机技术—计算机科学与技术]
  • 作者机构:辽宁师范大学计算机与信息技术学院,辽宁大连116081
  • 相关基金:国家自然科学基金项目(61373127)
中文摘要:

Hadoop集群在连续长时间执行任务的过程中,集群故障会对集群造成不同程度的冲击与损害,是集群性能下降、系统故障频发的主要原因,更会导致集群平均寿命的大大缩短.为解决此问题,提出了一种基于Poisson过程的Hadoop集群平均寿命预测方法.通过预测计算,及时对集群进行调整优化,使系统性能保持在正常状态.同时在三种不同特征类型的Hadoop集群的实验中观察集群在任务执行过程中平均寿命的变化.实验结果表明,该方法能有效地判断Hadoop集群故障发生的频率,预测出集群的平均寿命,对集群性能优劣进行评价并及时对集群性能进行优化,

英文摘要:

After a long task execution on Hadoop cluster,as cluster faults would hurt Hadoop cluster on different strength,which became the main reason of cluster performance degradation and more frequent cluster faults,more serious would cause the decrease of cluster average life.To solve the problem,this paper proposes a method of Hadoop cluster average life prediction based on Poisson process.By prediction calculation,adjust and optimize the cluster timely to keep the cluster performance in a normal state.Then make several experiments on three different feature types of Hadoop cluster to observe the frequncy of cluster average life.According to the experiment results,this method is the significant to Hadoop cluster performance evaluation and optimization.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《微电子学与计算机》
  • 中国科技核心期刊
  • 主管单位:中国航天科技集团公司
  • 主办单位:中国航天科技集团公司第九研究院第七七一研究所
  • 主编:李新龙
  • 地址:西安市雁塔区太白南路198号
  • 邮编:710065
  • 邮箱:mc771@163.com
  • 电话:029-82262687
  • 国际标准刊号:ISSN:1000-7180
  • 国内统一刊号:ISSN:61-1123/TN
  • 邮发代号:52-16
  • 获奖情况:
  • 航天优秀期刊,陕西省优秀期刊一等奖
  • 国内外数据库收录:
  • 荷兰文摘与引文数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:17909