位置:成果数据库 > 期刊 > 期刊详情页
面向混合负载的集群资源弹性调度
  • ISSN号:1002-0470
  • 期刊名称:《高技术通讯》
  • 时间:0
  • 分类:TP278[自动化与计算机技术—控制科学与工程;自动化与计算机技术—检测技术与自动化装置]
  • 作者机构:[1]中国科学院计算技术研究所计算机应用研究中心,北京100190, [2]中国科学院信息工程研究所第二研究室,北京100093, [3]中国科学院研究生院,北京100049
  • 相关基金:国家自然科学基金(61070028),863计划(2012AA01A401)和中国科学院先导专项(XDA06030200)资助项目.
中文摘要:

针对目前集群资源调度方法难以适应互联网业务多样化、定制化特征的问题,提出了一种面向混合负载的集群资源弹性调度方法.该方法通过构建作业约束描述语言,允许作业基于自身负载特征提出多维度的资源申请和具有负载意识的资源调度算法,实现在同一集群内各类业务统一部署与管理,及时匹配资源需求的变化;通过建立作业的软约束与硬约束之间的转化机制,满足作业在不同执行阶段对资源的定制化需求.实验表明,该方法相比于Hadoop,可允许作业利用较少资源获得更优性能,在实际生产系统中,基于该方法可将集群资源利用率由62%提升到75%.

英文摘要:

Aiming at the current situation that existing cluster resource scheduling methods cannot meet the diversified and customized requirements of the Internet services,an approach for elastic cluster resource scheduling for mixed workloads was studied.Firstly,a dynamic description language of job constraints was constructed to describe the multi-dimensional resource requirements from various jobs with different workloads.Secondly,a workload-aware resource scheduling algorithm was used to deploy and make overall plan for various business applications in a single cluster,which could respond to the changes in resource requirements in time.Thirdly,a convertible mechanism for soft and hard constraints was designed for meeting customized resource requirements from different running stages of applications.The experimental results show that the above-mentioned method can outperform the Hadoop in terms of consuming less resources and achieving better performance when running jobs.In real production systems,it can increase the resource utilization from 62% up to 75%.

同期刊论文项目
期刊论文 8 会议论文 6 专利 8
同项目期刊论文
期刊信息
  • 《高技术通讯》
  • 北大核心期刊(2011版)
  • 主管单位:中华人民共和国科学科技部
  • 主办单位:中国科学技术信息研究所
  • 主编:赵志耘
  • 地址:北京市三里河路54号
  • 邮编:100045
  • 邮箱:hitech@istic.ac.cn
  • 电话:010-68514060 68598272
  • 国际标准刊号:ISSN:1002-0470
  • 国内统一刊号:ISSN:11-2770/N
  • 邮发代号:82-516
  • 获奖情况:
  • 《中国科学引文数据》刊源,《中国科技论文统计与分析》刊源
  • 国内外数据库收录:
  • 美国化学文摘(网络版),荷兰文摘与引文数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),英国英国皇家化学学会文摘
  • 被引量:12178