位置:成果数据库 > 期刊 > 期刊详情页
CMS实验元数据发现的数据聚集系统
  • ISSN号:1000-3428
  • 期刊名称:计算机工程
  • 时间:2014
  • 页码:58-64
  • 分类:TP30[自动化与计算机技术—计算机系统结构;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]中国科学院高能物理研究所,北京100049, [2]中国科学院大学,北京100049
  • 相关基金:国家自然科学基金(No.11375223,No.11375221).
  • 相关项目:64位系统上BESIII离线物理软件的研究
作者: 梁栋|
中文摘要:

为了简化文件系统的实现,支持超大规模数据集的流式访问,HDFS牺牲了文件的随机访问功能,而在实际场景中很多应用都需要对文件进行随机访问。在深入分析HDFS数据读写原理的基础上,提出了一种面向HDFS的数据随机访问方法。其设计思想是为Datanode添加本地数据访问接口,用户程序可以读取Datanode上存放的数据块文件以及把数据写入到Datanode上的数据块存放目录。文件的首副本由用户程序直接产生,其余副本在首副本写入完成之后采用数据复制的方式生成。此外,为数据块添加了权限管理功能,Datanode上的文件副本属于用户所有。若名字空间中文件权限发生变化,文件对应的数据块权限也会改变。测试表明,数据读取性能提升了约10%,数据写入性能提升了20%以上,在高并发下写入性能最大可提升2.5倍。

英文摘要:

In order to simplify the realization of the file system,HDFS sacrifices the file’s random access feature to support streaming access for large data set.But in the actual scene,many applications require random access to the file.After indepth analysis of HDFS data reading and writing principle,a data random access method oriented to HDFS is proposed.The idea is to add data access interface for Blocks on Datanode,the user program can read the Block file stored on the Datanode and write the data to the Block storage directory.The first file replica is written to the local Datanode by user program,the rest replicas produced by copy of the first replica stored on other Datanodes.In addition,add the permissions management for Block,the file replicas stored on Datanodes belongs to the user.If the file permissions changed in the namespace,the Block permissions also changed.Test results show that data read and write performance is improved about10%and20%separately,the write performance can be increased by2.5times under the high concurrency.

同期刊论文项目
期刊论文 15 会议论文 2
同项目期刊论文
期刊信息
  • 《计算机工程》
  • 北大核心期刊(2014版)
  • 主管单位:中国电子科技集团公司
  • 主办单位:华东计算技术研究所 上海市计算机学会
  • 主编:游小明
  • 地址:上海市桂林路418号
  • 邮编:200233
  • 邮箱:ecice06@ecict.com.cn
  • 电话:021-64846769
  • 国际标准刊号:ISSN:1000-3428
  • 国内统一刊号:ISSN:31-1289/TP
  • 邮发代号:4-310
  • 获奖情况:
  • 1999~2000、2001~2002年度信息产业部优秀期刊奖,2003-2004、2005-2006年度信息产业部电子精品科技...,2007-2008、2009-2010年度工业和信息产业部电子精...,012年度中国科技论文在线优秀期刊一等奖,2013年度中国科技论文在线优秀期刊二等奖
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国化学文摘(网络版),波兰哥白尼索引,荷兰文摘与引文数据库,美国剑桥科学文摘,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:84139