位置:成果数据库 > 期刊 > 期刊详情页
Seadown:一种异构MapReduce集群中面向SLA的能耗管理方法
  • ISSN号:0254-4164
  • 期刊名称:《计算机学报》
  • 时间:0
  • 分类:TP393[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]国防科学技术大学计算机学院,长沙410073
  • 相关基金:本课题得到国家自然科学基金项目“无线协同的混合数据中心网络流量管理技术研究”(61272483)、“面向云数据中心节能降耗的网络优化控制技术研究”(61202430)资助.
中文摘要:

数据中心的能耗管理已经成为大规模数据处理中的热点问题,其主要目标是控制相关成本的急剧增长.大量的工作围绕着在集群利用率较低时,关闭部分服务器来降低能耗,但是这些方法都严重受限于数据存储策略,同时难以保证应用的实时性能.MapReduce集群作为目前流行的大规模数据处理平台,能耗问题尤为突出.文中针对异构Malc,Reduce集群,提出一种面向SLA的能耗管理方法Seadown.首先,提出一种混合数据副本存储策略,它允许关闭大量节点,同时保证数据的完整性和集群的容错能力.其次,设计了一种基于历史记录的响应时间预测方法,它根据服务器节点的数量、性能参数和运行时间的历史信息准确估计程序的响应时间,相对误差大都在6%以下.最后,通过选择性地关闭部分节点以达到最小化能耗,同时保证应用程序的实时性能.文中证明了该优化问题是NP—hard问题,并提出了一种启发式的节点关闭策略.实验结果表明,在节点关闭策略下MapReduce应用的实时性得以保证,同时降低了大量的能耗.

英文摘要:

Power consumption accounts for a large proportion of operating cost in data centers which adds substantially to an organization's power bills and carbon footprint, while much of the energy is wasted. One class of works are seeks to turn off servers for power saving during low utilization period, but most of them are highly constrained by data layout and performance penal- ty. Arbitrarily powering down servers that are running data-intensive applications is problematic, since it rends data loss, decreases the ability of fault tolerance and affects processing speed. This paper proposes a SLA-aware size-scaling framework named Seadown in heterogeneous MapRe- duce cluster. The authors first design a hybrid data layout policy which allows turning off large amount of nodes without data lose, and brings high rebuild parallelism in case of failure, then propose a pre-knowledge based workload runtime estimation method which accurately predicts the performance in various cluster configurations. By holding this detailed information, selectively turn nodes off with the purpose of minimizing the energy consumption as well as meeting the performance requirement. The authors prove the NP-hardness of the targeted problem and propose a fine-grained heuristic algorithm to power down servers. Through comprehensive experi- ments, it is found that the relative errors of the runtime estimation are mostly below 6 ~ and the Seadown framework can effectively cut large portion of energy consumption while meeting per- formance requirement.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学院
  • 主办单位:中国计算机学会 中国科学院计算技术研究所
  • 主编:孙凝晖
  • 地址:北京中关村科学院南路6号
  • 邮编:100190
  • 邮箱:cjc@ict.ac.cn
  • 电话:010-62620695
  • 国际标准刊号:ISSN:0254-4164
  • 国内统一刊号:ISSN:11-1826/TP
  • 邮发代号:2-833
  • 获奖情况:
  • 中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 美国数学评论(网络版),荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:48433