位置:成果数据库 > 期刊 > 期刊详情页
海量GNSS小文件云存储优化方法研究
  • ISSN号:1671-8860
  • 期刊名称:《武汉大学学报:信息科学版》
  • 时间:0
  • 分类:P228.41[天文地球—大地测量学与测量工程;天文地球—测绘科学与技术]
  • 作者机构:[1]地理信息工程国家重点实验室,陕西西安710054, [2]信息工程大学地理空间信息学院,河南郑州450052
  • 相关基金:国家自然科学基金(41674019); 国家重点研发计划(2016YFB0501701); 地理信息工程国家重点实验室开放基金(SKLGIE2016-M-1-2)
中文摘要:

GNSS数据量呈指数级趋势增长,Hadoop分布式文件系统(HDFS)解决了海量GNSS数据存储瓶颈的难题,却面临内存占用多、文件相关性差和缺乏优化机制的问题。针对HDFS处理海量GNSS小文件效率不高的问题,结合GNSS数据类型、特点以及存储过程,提出了一种新的GNSS小文件云存储方法,优化了GNSS小文件的写入、读取、添加和删除策略。该方法分别按观测文件和解算成果的类型进行合并,对合并后的文件构建压缩Trie树索引,索引切分后,根据匹配算法分布式地存储索引块。实验采用国际GNSS服务(IGS)28d的数据和产品进行云存储优化。结果表明,该方法降低了各节点内存消耗,提高了海量GNSS小文件写入、读取和删除的效率,实现了对海量GNSS小文件的高效云存储。

英文摘要:

The data volume of GNSS is increasing exponentially,while HDFS is capable of handling the problem of the storage bottleneck of massive GNSS data,it is faced with much time consumption,poor file correlation and lack of optimization mechanisms.According to the matter of the low processing efficiency of massive GNSS small files faced by HDFS,a new cloud storage method is provided based on the types,characteristics and storage flow of GNSS data,the writing,adding,reading and deleting strategies are optimized.First the observation files and solution files are respectively merged,and the compressed Trie index is established on the merged files;and after splitting the existed index,the index blocks are distributed stored in each mode based on the matching algorithm.Data and products of 28 days from IGS are applied in the experiment,and the result shows that the memory consumption of each node can be decreased greatly,and the efficiency of writing,direct reading,reading after adding files,concurrent reading and deleting can be improved significantly,effective cloud storage of massive GNSS small files is hereafter realized.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《武汉大学学报:信息科学版》
  • 中国科技核心期刊
  • 主管单位:国家教育部
  • 主办单位:武汉大学
  • 主编:刘经南
  • 地址:湖北武汉珞珈山
  • 邮编:430072
  • 邮箱:whuxxb@vip.163
  • 电话:027-68778045
  • 国际标准刊号:ISSN:1671-8860
  • 国内统一刊号:ISSN:42-1676/TN
  • 邮发代号:38-317
  • 获奖情况:
  • 全国优秀科技期刊,全国优秀高校自然科学学报一等奖,湖北省优秀期刊称号
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,荷兰地学数据库,荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版)
  • 被引量:24217