位置:成果数据库 > 期刊 > 期刊详情页
MapReduce集群中最大收益问题的研究
  • ISSN号:0254-4164
  • 期刊名称:计算机学报
  • 时间:2014.7
  • 页码:1-13
  • 分类:TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]东北大学信息科学与工程学院,沈阳110004
  • 相关基金:国家“九七三”重点基础研究发展规划项目基金(2012CB316201); 国家自然科学基金面上项目(61033007); 教育部博士点基金(20120042110028); 教育部-英特尔信息技术专项科研基金(MOE-INTEL2012-06)资助
  • 相关项目:数据密集型计算环境下的数据管理方法与技术
中文摘要:

MapReduce是目前最为流行的用于大数据分析的并行系统之一.许多企业已经搭建了自己的MapReduce集群,为广大用户提供计算服务.用户可以向集群提交具有完成时限要求的MapReduce作业,若作业被按时完成,则企业可以获得一定的收益.针对这种应用场景,该文首次提出了MapReduce集群中的最大收益问题.为有效地解决该问题,首先提出了一种基于序列的任务调度策略(简称为SEQ策略),并证明了在处理具有完成时限约束的作业时SEQ策略存在优势.基于SEQ策略,该文提出了最大收益的调度算法(Scheduling Algorithm for Maximum Benefit,简称AMB算法),该算法可以快速地确定可接收作业,并给出有效的执行方案,以达到最大化收益的目的.另外,针对在实际应用中的某些异常情况(如节点宕机),该文也设计了有效的超时处理策略,进一步增加了算法的实用性.最后,通过大量的实验验证了该文所提出算法的有效性.

英文摘要:

MapReduce is one of the most popular parallel systems for big-data analysis.Many companies have built their MapReduce clusters to provide computing services to users.Users can submit their deadline-constraint MapReduce jobs to the cluster.If the jobs are finished before their deadlines,the company can get some benefits.For this application scenario,the maximum benefit problem in a MapReduce cluster is firstly presented in this paper.To solve this problem effectively,a sequence-based task scheduling strategy(SEQ strategy for short)is proposed,and we prove the advantages of SEQ strategy for the deadline-constraint job processing.Based on SEQ strategy,a novel Algorithm for Maximum Benefit,AMB,is proposed.AMB can efficiently determine the acceptable jobs and provide the effective execution strategy which can maximize the benefit.Besides,for the exceptions(e.g.node failure)in practical applications,a timeouthandling method is proposed,which can further improve the practicality of the algorithm.At last,the effectiveness of the proposed algorithm is verified through plenty of experiments.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学院
  • 主办单位:中国计算机学会 中国科学院计算技术研究所
  • 主编:孙凝晖
  • 地址:北京中关村科学院南路6号
  • 邮编:100190
  • 邮箱:cjc@ict.ac.cn
  • 电话:010-62620695
  • 国际标准刊号:ISSN:0254-4164
  • 国内统一刊号:ISSN:11-1826/TP
  • 邮发代号:2-833
  • 获奖情况:
  • 中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 美国数学评论(网络版),荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:48433