位置:成果数据库 > 期刊 > 期刊详情页
Hadoop作业执行时间在线计算方法
  • ISSN号:1673-9787
  • 期刊名称:《河南理工大学学报:自然科学版》
  • 时间:0
  • 分类:TP315[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]河南理工大学计算机科学与技术学院,河南焦作454000, [2]中国科学院深圳先进技术研究院,广东深圳518055
  • 相关基金:国家自然科学基金面上项目(51274088).
中文摘要:

在Hadoop MapReduce环境中,如果能预知作业的执行时间,就可在资源分配、任务调度以及负载均衡过程中作出更合理的决策,改善系统性能.在分析Hadoop MapReduce作业执行模式后,提出了一种作业执行时间在线预测方法.该方法在结合历史信息的基础上,可根据作业在不同阶段的执行进度在线预测执行时间.该方法已在Hadoop-0.20.2中实现,并在一个包含19个节点的Linux集群中进行了验证.实验结果表明,在最好情况下,根据该方法预测的执行时间和真实执行时间的误差约2%.

英文摘要:

In Hadoop MapReduce environments,if the execution time of jobs is forecast,can make more appropriate decisions when allocating resource,scheduling tasks or balancing load.This paper proposed an online method to predict the execution time of jobs after analyzing the execution mode of Hadoop MapReduce jobs.The method can predict the execution time according to the progresses of different phases,combining with historical information.It has been implemented in Hadoop-0.20.2,and evaluated in a Linux cluster with 19 nodes.The experiment results show that the difference between the real and predicted results is around 2% in a best case.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《河南理工大学学报:自然科学版》
  • 北大核心期刊(2011版)
  • 主管单位:河南理工大学
  • 主办单位:河南理工大学
  • 主编:杨小林
  • 地址:河南省焦作市世纪大道2001号
  • 邮编:454000
  • 邮箱:zkxb@hpu.edu.cn
  • 电话:0391-3987253 3987068
  • 国际标准刊号:ISSN:1673-9787
  • 国内统一刊号:ISSN:41-1384/N
  • 邮发代号:
  • 获奖情况:
  • 河南省一级期刊,中文核心期刊,科技核心期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国化学文摘(网络版),美国剑桥科学文摘,中国中国科技核心期刊,中国北大核心期刊(2011版),中国北大核心期刊(2014版)
  • 被引量:4522