位置:成果数据库 > 期刊 > 期刊详情页
HDFS数据存放策略的研究与改进
  • ISSN号:1000-7024
  • 期刊名称:《计算机工程与设计》
  • 时间:0
  • 分类:TP393[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]四川大学计算机学院,四川成都610065
  • 相关基金:国家自然科学基金项目(61173159);教育部重大项目培育基金项目(708075)
中文摘要:

为了改善HDFS中集群负载的均衡性,提高数据节点的资源利用率,提出了一种改进的数据存放策略。在HDFS原始策略的基础上充分考虑了节点的差异性,通过采集数据节点的CPU负载、内存负载、网络负载和存储空间负载,引入负载因子计算数据的存放成本,以选择一个最优的数据节点存放数据。实验结果表明,改进后的策略优化了集群负载的均衡性,提高了数据块副本的传输性能。

英文摘要:

To improve the cluster load balancing of HDFS and the resource utilization of Datanodes, an improved data replace- ment strategy is proposed. The differences of Datanodes on the basis of HDFS original strategy are considered fully. Selection costs are calculated by collecting CPU load, memory load, network load and storage load, and load factor is introduced to select the most appropriate Datanode to store data. Experiments show that it optimizes the balancing of cluster load, and improves the transmission perforrnanee of data block replicas.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机工程与设计》
  • 北大核心期刊(2011版)
  • 主管单位:中国航天科工集团
  • 主办单位:中国航天科工集团二院706所
  • 主编:汤铭瑞
  • 地址:北京142信箱37分箱
  • 邮编:100854
  • 邮箱:ced@china-ced.com
  • 电话:010-68389884
  • 国际标准刊号:ISSN:1000-7024
  • 国内统一刊号:ISSN:11-1775/TP
  • 邮发代号:82-425
  • 获奖情况:
  • 中国科学引文数据库来源期刊,中国学术期刊综合评价数据库来源期刊,中国科技论文统计与分析用期刊
  • 国内外数据库收录:
  • 波兰哥白尼索引,美国剑桥科学文摘,英国科学文摘数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版)
  • 被引量:45616