位置:成果数据库 > 期刊 > 期刊详情页
温度感知的MapReduce节能任务调度策略
  • ISSN号:1000-436X
  • 期刊名称:通信学报
  • 时间:2016.1.25
  • 页码:61-75
  • 分类:TP393.09[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]新疆财经大学统计与信息学院,新疆乌鲁木齐830012, [2]新疆医科大学医学工程技术学院,新疆乌鲁木齐830011, [3]新疆大学软件学院,新疆乌鲁木齐830008
  • 相关基金:国家自然科学基金资助项目(No.61562078,No.61262088,No.71261025); 新疆财经大学博士科研启动基金资助项目(No.2015BS007)
  • 相关项目:基于空间时频分量的信息隐藏与获取关键技术研究
中文摘要:

现有的FIFO、Fair、Capacity、LATE及Deadline Constraint等Map Reduce任务调度器的主要区别在于队列与作业选择策略的不同,而任务选择策略基本相同,都是将数据的本地性(data-locality)作为选择的主要因素,忽略了对Task Tracker当前温度状态的考虑。实验表明,当Task Tracker处于高温状态时,一方面使CPU利用率变高,导致节点能耗增大,任务处理速度下降,导致任务完成时间增加;另一方面,易发的宕机现象将直接导致任务的失败,推测执行(speculative execution)机制容易使运行时任务被迫中止。继而提出温度感知的节能任务调度策略,将节点CPU温度纳入任务调度的决策信息,以避免少数高温任务执行节点对作业整体进度的影响。实验结果表明,算法能够避免任务分配到高温节点,从而有效地缩短作业完成时间,减小作业执行能耗,提高系统稳定性。

英文摘要:

The main difference among the existing Map Reduce task schedulers such as FIFO, Fair, Capacity, LATE and Deadline Constraint is their choice of operation strategy of the queue and job. On the count of the task selection strategies of these task schedulers are basically the same, taking the data-locality as the key factor of selection, they all ignore the current state of the temperature of the Task Tracker. The experiments show that when the Task Tracker is in a state of high temperature it will cause some negative results. On one hand, utilization of the CPU becomes higher, which means more energy is consumed at each node. And as a result of task processing speed dropping off, more time will be needed to complete the same task. On the other hand, the prone downtime phenomenon will directly lead to the failure of the task, and speculative execution mechanism is easy to make the runtime task suspend. Temperature aware energy-efficient task scheduling strategy is put forward to solve the problem. CPU temperature of the node was put into the task scheduling decision-making information to avoid bad impact on the overall progress of the job form the task execution nodes with a high temperature. The experimental results show that the algorithm can avoid allocating task to high temperature nodes, which effectively shorten the job completion time, reduce energy consumption of job execution and improve system stability.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《通信学报》
  • 中国科技核心期刊
  • 主管单位:中国科学技术协会
  • 主办单位:中国通信学会
  • 主编:杨义先
  • 地址:北京市丰台区成寿寺4路11号邮电出版大厦8层
  • 邮编:100078
  • 邮箱:
  • 电话:010-81055478 81055481
  • 国际标准刊号:ISSN:1000-436X
  • 国内统一刊号:ISSN:11-2102/TN
  • 邮发代号:2-676
  • 获奖情况:
  • 信息产业部通信科技期刊优秀期刊二等奖
  • 国内外数据库收录:
  • 荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:25019