位置:成果数据库 > 期刊 > 期刊详情页
Redbud并行文件系统的可扩展存储管理机制
  • ISSN号:0254-4164
  • 期刊名称:《计算机学报》
  • 时间:0
  • 分类:TP311[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]清华大学计算机科学与技术系,北京100084
  • 相关基金:国家自然科学基金(60873066); 国家“八六三”高技术研究发展计划(2009AA01403); 高等学校博士学科点专项科研基金(20070003092)资助
中文摘要:

数据规模和并发访问的需求日益增长,可扩展能力成为并行文件系统的重要需求之一.文中提出了一种基于非对称并行文件系统Redbud的高可扩展资源管理机制.该管理机制根据数据的访问特征,使用不同的树形结构管理不同类型的数据,满足了文件数据和元数据的并发检索需求;该管理机制还使用文件级的数据分布机制,允许用户利用各种策略进行目录和文件的管理,能满足文件级的数据访问性能、目录级数据可靠性等实际应用需求.多个基准测试程序和实际应用程序的测试结果表明,文件的独占访问能达到磁盘95%的性能;同时,随着设备和应用节点的增加,数据和元数据的并发访问性能线性增长.

英文摘要:

With ever-increasing storage scale and parallel file access pattern, the high scalability becomes one of important requirement of parallel file system. In this paper, we present a scalable storage management mechanism for an asymmetric parallel file system, Redbud. According to the files access pattern, the management mechanism leverages multiple tree structures to manage different types of data, satisfying parallel file index requirement of users~ we also introduce a file-level configurable data placement mechanism, allowing users to distribute files and directory with scripted policy, satisfying diverse users~ demands, including file-level performance and directory-level security. Measurements of both a wide range of benchmarks and realistic workloads demonstrate that exclusive file access performance achieves 95% peak performance of disks; meanwhile, both metadata and data parallel access performance scale as either devices or clients increase.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学院
  • 主办单位:中国计算机学会 中国科学院计算技术研究所
  • 主编:孙凝晖
  • 地址:北京中关村科学院南路6号
  • 邮编:100190
  • 邮箱:cjc@ict.ac.cn
  • 电话:010-62620695
  • 国际标准刊号:ISSN:0254-4164
  • 国内统一刊号:ISSN:11-1826/TP
  • 邮发代号:2-833
  • 获奖情况:
  • 中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 美国数学评论(网络版),荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:48433