位置:成果数据库 > 期刊 > 期刊详情页
异构Hadoop集群中数据副本放置策略优化
  • ISSN号:1671-4512
  • 期刊名称:《华中科技大学学报:自然科学版》
  • 分类:TP311[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构:华侨大学计算机科学与技术学院,福建厦门361021
  • 相关基金:国家自然科学青年基金资助项目(61202106,61572206); 福建省自然科学基金资助项目(2013J01238)
中文摘要:

针对默认的Hadoop数据副本策略未考虑集群节点硬件配置的异构、文件访问特点、实时负载等信息,导致异构环境中集群计算任务本地化比例下降、影响计算性能,提出计算型数据的副本放置优化策略.量化数据访问特征以及节点实时性能和负载,以节点数据访问负载与其计算性能相匹配为原则为副本选择存储节点.实验结果表明:与默认策略相比,优化的副本放置策略能更有效地为副本选择合适的存储节点,提高计算任务本地化比例和计算性能,并使集群对节点的变动具有更好的适应性.

英文摘要:

Without considering hardware heterogeneity in cluster nodes,characteristics of data access,real workloads,the default data placement strategy applied in Hadoop distributed file system will hinder the use of data locality in Map task,leads to degradation of cluster computing performance.An optimized replica placement strategy for computational data was presented.Taking into account data access features,as well as real-time performance and workloads,to the principle of matching data access load and computing performance for each node,optimized replica placement strategy choosed appropriate storing nodes for data replicas.The results show that compared to default strategy,the proposed replica placement strategy could improve the computing performance of heterogeneous cluster,due to enhancing the advantages of data locality of Map task.Furthermore,the cluster applied optimized replica placement strategy has better stability and resilience to the change of nodes.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《华中科技大学学报:自然科学版》
  • 中国科技核心期刊
  • 主管单位:中华人民共和国教育部
  • 主办单位:华中科技大学
  • 主编:丁烈云
  • 地址:武汉珞喻路1037号
  • 邮编:430074
  • 邮箱:hgxbs@mail.hust.edu.cn
  • 电话:027-87543916 87544294
  • 国际标准刊号:ISSN:1671-4512
  • 国内统一刊号:ISSN:42-1658/N
  • 邮发代号:38-9
  • 获奖情况:
  • 全国优秀科技期刊,首届国家期刊奖,第二届全国优秀科技期刊评比一等奖,中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国化学文摘(网络版),美国数学评论(网络版),德国数学文摘,荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,英国科学文摘数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版)
  • 被引量:21013