位置:成果数据库 > 期刊 > 期刊详情页
一种改进的Hadoop数据放置策略
  • ISSN号:1000-565X
  • 期刊名称:《华南理工大学学报:自然科学版》
  • 时间:0
  • 分类:TP393[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]华南理工大学计算机科学与工程学院,广东广州510006
  • 相关基金:国家自然科学基金资助项目(61070015); 广东省自然科学基金资助项目(10451064101005155,S2011010001754,9451063101002213); 广东省科技计划项目(2010B010600032)
作者: 林伟伟[1]
中文摘要:

采用现有的Hadoop默认数据放置策略时,若本地数据副本失效,从远程结点上恢复数据需要耗费大量数据传输时间,且随机选取数据放置结点可能会影响数据放置的负载均衡.为此,文中提出一种改进的数据放置策略.该策略基于结点网络距离与数据负载计算每个结点的调度评价值,据此选择一个最佳的远程数据副本的放置结点,从而既能实现数据放置的负载均衡,又能实现良好的数据传输性能.在Hadoop平台上实现了所提出的数据副本放置改进策略,结果表明,与系统默认策略相比,文中提出的策略不仅可以改进数据放置的负载均衡,而且可以减少数据副本放置的时间.

英文摘要:

In the existing default data placement strategy for Hadoop,much time is needed to restore data from a remote DataNode when the local replicas become unavailable,and the load balancing may be destroyed due to the random selection of DataNode for data storage.In order to solve these problems,an improved data placement strategy is proposed,which chooses the most appropriate DataNode to place remote replicas according to the scheduling evaluation value of each DataNode based on DataNodes' network distance and data load.Thus,the load balancing for data storage is implemented and excellent data transmission is achieved.The proposed data placement strategy is then implemented in the Hadoop platform and the results show that the proposed strategy is superior to the existing default data placement strategy because it improves the local balancing for data storage and reduces the time for data placement.

同期刊论文项目
期刊论文 53 会议论文 2 专利 2
同项目期刊论文
期刊信息
  • 《华南理工大学学报:自然科学版》
  • 北大核心期刊(2011版)
  • 主管单位:国家教育部科技司
  • 主办单位:华南理工大学
  • 主编:李元元
  • 地址:广州市天河区五山路华南理工大学17号楼
  • 邮编:510640
  • 邮箱:journal@scut.edu.cn
  • 电话:
  • 国际标准刊号:ISSN:1000-565X
  • 国内统一刊号:ISSN:44-1251/T
  • 邮发代号:46-174
  • 获奖情况:
  • 本学报荣获1996年国家教委系统优秀科技期刊二等奖...,1999年荣获全国优秀高校自然科学学报及教育部优秀...,2001年荣获广东省优秀期刊奖和广东省优秀科技期刊...,2004年获全国高校优秀科技期刊二等奖,2006年获首届教育部优秀科技期刊奖,2008年荣获第二届教育部优秀科技期刊奖
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国化学文摘(网络版),荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,英国科学文摘数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:22954