位置:成果数据库 > 期刊 > 期刊详情页
基于可变长分块的分布式文件系统设计与实现
  • ISSN号:1000-3428
  • 期刊名称:《计算机工程》
  • 时间:0
  • 分类:TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]武汉大学计算机学院,武汉430072, [2]中国科学院计算技术研究所,北京100080
  • 相关基金:基金项目:国家“863”计划基金资助项目(2013AA12A301);国家自然科学基金资助项目(61100020);华为公司创新研究计划基金资助项目.
中文摘要:

分布式文件系统受传统磁盘文件系统影响,大多使用固定大小的对象或者块来组织和管理文件。定长的分块不适合随机写或插入写,开销大且性能差,但典型的用户约有25%的文件操作是随机写。针对上述现状,提出一种基于内容的可变长文件分块方法,使用拉宾指纹算法对文件进行分块,并根据文件的内容标识文件块。为更准确地指定写类型,提高写性能,给出与POSIX语义兼容的写接口。通过修改Ceph实现一种新的分布式文件系统VarFS,提供文件的可变长分块并支持新的写接口。实验结果表明,由于减少网络数据传输量,VarFS在随机写延迟和带宽消耗量上比Ceph减少了1个~2个数量级。

英文摘要:

Inherited from traditional disk file systems,most Distributed File Systems(DFS) organize and manage files based on objects or chunks of fixed sizes, which is expensive and works poorly for random writing or inserting. But approximately 25% of file operations from a typical user are random writing. In order to change this status, this paper puts forward a file blocking method based on variable-sized contents,and it uses Rabin fingerprint algorithm to block the file and identify it according to its contents. A new writing interface which is semantic compatible with POSIX is proposed to accurately specify the writing type and improve writing performance. It presents a novel DFS named VarFS to implement all the design proposed above through modifying the Ceph. Experimental results show that VarFS can reduce the necessary reading and writing back data of update operation, which consequently alleviates amount of data transfer, accordingly it can achieve 1 - 2 orders of magnitude less latency and bandwidth consumption than Ceph on random writing and bandwidth consumption.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机工程》
  • 北大核心期刊(2014版)
  • 主管单位:中国电子科技集团公司
  • 主办单位:华东计算技术研究所 上海市计算机学会
  • 主编:游小明
  • 地址:上海市桂林路418号
  • 邮编:200233
  • 邮箱:ecice06@ecict.com.cn
  • 电话:021-64846769
  • 国际标准刊号:ISSN:1000-3428
  • 国内统一刊号:ISSN:31-1289/TP
  • 邮发代号:4-310
  • 获奖情况:
  • 1999~2000、2001~2002年度信息产业部优秀期刊奖,2003-2004、2005-2006年度信息产业部电子精品科技...,2007-2008、2009-2010年度工业和信息产业部电子精...,012年度中国科技论文在线优秀期刊一等奖,2013年度中国科技论文在线优秀期刊二等奖
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国化学文摘(网络版),波兰哥白尼索引,荷兰文摘与引文数据库,美国剑桥科学文摘,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:84139