位置:成果数据库 > 期刊 > 期刊详情页
数据密集型计算中负载均衡的数据布局方法
  • ISSN号:1007-5321
  • 期刊名称:北京邮电大学学报
  • 时间:2013.8.1
  • 页码:76-80
  • 分类:TP393[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]东北大学软件学院,沈阳110819
  • 相关基金:国家自然科学基金项目(61202088);辽宁省自然科学基金项目(200102059);中央高校基本科研业务费专项资金项目(N110417002)
  • 相关项目:云数据库系统能耗优化方法的研究
中文摘要:

广泛用于数据密集型计算的MapReduce模型将计算部署到数据端并行执行,数据布局将不再只影响存储本身,还影响计算效率;节点上存储数据的特征决定该节点上任务的执行效率,负载均衡从传统的服务器管理或任务调度研究转变成为以提高并行性为目的的数据布局研究,为此,分析了数据密集型计算和MapReduce环境中数据布局的特点,提出了负载均衡的数据布局目标,并提出在特定环境下实现负载均衡的数据布局方法,最后通过实验证明了数据布局目标和数据布局方法的有效性.理论和实验结果证明,新提出的布局方法能有效地提高MapRe—duce应用的并行性,优化其执行效率.

英文摘要:

Widely used in data-intensive computing, the MapReduce model deploys computing to the da- ta side so as to execute in parallel. On this occasion, data layout will not only affect the storage itself, but also affect the computing efficiency. Computing efficiency of node is determined by features of data stored on this node. Therefore, the study on load balancing is accordingly shifted from traditional server management or task scheduling to study of data layout as a purpose to improve parallelism. The data lay- out characteristics in data-intensive computing and MapReduee environment is analyzed, a load-balanced goal of data layout is proposed, and a load-balanced data layout approach in a specific environment is presented as well. The proposed data layout goal and approach are proved effective through experiments. It is shown that the proposed data layout approach can effectively improve the parallelism of MapReduee applications, thus optimizing the computing efficiency.

同期刊论文项目
期刊论文 29 会议论文 2 获奖 1
同项目期刊论文
期刊信息
  • 《北京邮电大学学报》
  • 北大核心期刊(2011版)
  • 主管单位:教育部
  • 主办单位:北京邮电大学
  • 主编:刘杰
  • 地址:北京海淀区西土城路10号195信箱
  • 邮编:100876
  • 邮箱:byxb@bupt.edu.cn
  • 电话:010-62281995 62282742
  • 国际标准刊号:ISSN:1007-5321
  • 国内统一刊号:ISSN:11-3570/TN
  • 邮发代号:2-648
  • 获奖情况:
  • 美国工程信息公司(Ei)数据库收录期刊,1999年全国优秀高等学校自然科学学报及教育部优秀...,中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 美国化学文摘(网络版),荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:7684