位置:成果数据库 > 期刊 > 期刊详情页
基于MapReduce的改进K-Medoids并行算法
  • ISSN号:1001-7445
  • 期刊名称:《广西大学学报:自然科学版》
  • 时间:0
  • 分类:TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]广西大学计算机与电子信息学院,南宁530004, [2]中国科学院软件研究所软件工程技术研究开发中心,北京100190
  • 相关基金:国家自然科学基金项目(61063012,61363003);广西自然科学基金项目(2012GXNSFAA053222);广西高校优秀人才资助计划项目([2011]40);广西科学研究与技术开发计划项目(桂科软13180015,桂科攻1348020-7);南宁市科学研究与技术开发计划项目(201109016A)
中文摘要:

高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起至关重要的作用.针对基于Hash划分和基于子树划分的元数据管理方案扩展代价巨大、对集群变动敏感等问题,提出一种基于一致性 Hash结构的元数据服务器(metadata server ,MDS)集群化方案———CH‐MMS (consistent Hash based metadata management schema).CH‐MMS 在一致性 MDS 集群上引入虚拟MDS(Virtual MDS),有效平衡MDS集群负载;将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量.阐述了CH‐MMS的体系结构,介绍了核心数据结构layout‐table、虚拟MDS结构、延迟更新机制及相关算法,并对CH‐MMS扩展性、容错性作了定性分析.最后通过原型系统和模拟实验说明,CH‐MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求.

英文摘要:

An efficient ,decentralized metadata management schema plays a vital role in large‐scale distributed storage systems . T he Hash‐based partition schema and tree‐based partition schema pay huge cost for expansion ,and are sensitive to changes in cluster .In response to these problems ,CH‐MMS(consistent Hash based metadata management schema) ,is proposed .Virtual MDS (metadata server) is introduced in CH‐MMS ,and good effect for the cluster's load balance is proved .Combining the standby mechanism with lazy‐update policy ,CH‐MMS achieves fast failover and zero migration when the cluster changes .Due to its distributed metadata structure ,CH‐MMS has fast metadata lookup speed .In order to solve the problem that the Hash structure will cause damage to file system hierarchical semantics ,a simple and flexible mechanism based on regular expression matching has been introduced .The following work is presented in the paper :1)Expound the architecture of CH‐MMS ;2)Introduce the core data structure of layout‐table ,virtual MDS and lazy‐update policy ,and their relevant algorithms ;3 ) Qualitatively analyze scalability and fault tolerance . The prototype system and simulation show that ,CH‐MMS is metadata‐balancing and has fast failover ,flexible expansion and zero migration when cluster changes .CH‐MMS can meet the needs of flexible ,efficient metadata management of large‐scale storage systems with increasing data .

同期刊论文项目
期刊论文 18 会议论文 8 专利 1
同项目期刊论文
期刊信息
  • 《广西大学学报:自然科学版》
  • 中国科技核心期刊
  • 主管单位:广西大学
  • 主办单位:广西大学
  • 主编:陈保善
  • 地址:广西南宁市大学路100号广西大学西校区
  • 邮编:530005
  • 邮箱:gxuzrb@gxu.edu.cn
  • 电话:0771-3235713 3232390
  • 国际标准刊号:ISSN:1001-7445
  • 国内统一刊号:ISSN:45-1071/N
  • 邮发代号:
  • 获奖情况:
  • 全国高校自然科学优秀学报,广西优秀科技期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国化学文摘(网络版),德国数学文摘,美国剑桥科学文摘,中国中国科技核心期刊,中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版)
  • 被引量:9092