位置:成果数据库 > 期刊 > 期刊详情页
大规模时空数据分布式存储方法研究
  • ISSN号:1002-0470
  • 期刊名称:《高技术通讯》
  • 时间:0
  • 分类:TP301.6[自动化与计算机技术—计算机系统结构;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]中国科学院计算技术研究所,北京100190, [2]中国科学院大学,北京100190
  • 相关基金:863计划(2011AA120300,2011AA120302),中国科学院知识创新工程重要方向项目(KGCX2-YW-174)和中国科学院研究生科技创新与社会实践资助专项资助项目.
中文摘要:

提出了一种基于Hadoop云平台的时空数据分布式存储方法,以应对空间应用中出现的无法满足高并发用户在线实时访问和空间信息服务中断等大数据存储瓶颈问题。该方法运用时空数据切分与布局机制使数据均匀分布于集群中以确保存储与访问负载均衡;运用时空对象重组织机制提高数据的时空临近性以匹配时空应用存取模式;运用热点时空对象分布式缓存机制以降低磁盘I/O访问延迟。利用该方法实现了基于Hadoop云平台的时空数据分布式存储中间件原型系统exHDFS,实验结果表明该方法能高效地满足数据密集型空间应用存储需求。

英文摘要:

A novel scheme for distributed spatio-temporal data storage based on the Hadoop cloud platform is proposed to solve the storage bottleneck problems of current main spatio-temporal data storage methods such as low efficiency in online geospatial applications and service interruption. The scheme has three significant mechanisms. Firstly, an efficient data partitioning and placement approach is introduced to distribute big data across cluster nodes evenly and to guarantee load balancing. Secondly, a spatio-temporal data object reorganization approach is adopted to improve the geographic proximity and to meet the access patterns of geospatial applications. Thirdly, a distributed hotspot object caching approach for frequently accessed spatio-temporal data is used to reduce disk I/O access latency. The exHDFS, an intermidiate prototype system based on the Hadoop cloud platform for distrilouted spatio-temporal data storage ,was designed and implemented by using the new scheme. The results of the comprehensive experiments show that the extHDFS outperforms the comparisons and thus it could meet the storage requirements of data-intensive geospatial applications.

同期刊论文项目
期刊论文 391
同项目期刊论文
期刊信息
  • 《高技术通讯》
  • 北大核心期刊(2011版)
  • 主管单位:中华人民共和国科学科技部
  • 主办单位:中国科学技术信息研究所
  • 主编:赵志耘
  • 地址:北京市三里河路54号
  • 邮编:100045
  • 邮箱:hitech@istic.ac.cn
  • 电话:010-68514060 68598272
  • 国际标准刊号:ISSN:1002-0470
  • 国内统一刊号:ISSN:11-2770/N
  • 邮发代号:82-516
  • 获奖情况:
  • 《中国科学引文数据》刊源,《中国科技论文统计与分析》刊源
  • 国内外数据库收录:
  • 美国化学文摘(网络版),荷兰文摘与引文数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),英国英国皇家化学学会文摘
  • 被引量:12178