位置:成果数据库 > 期刊 > 期刊详情页
天文大数据管理工具的设计与实现
  • ISSN号:1672-7673
  • 期刊名称:天文研究与技术
  • 时间:2015.10
  • 页码:510-516
  • 分类:TN919.5[电子电信—通信与信息系统;电子电信—信息与通信工程]
  • 作者机构:[1]武汉大学国际软件学院,湖北武汉430079, [2]中国科学院光学天文重点实验室(国家天文台),北京100012
  • 相关基金:国家重点基础研究发展计划(973计划)(2014CB845700); 国家自然科学基金(61272272); 国家自然科学基金委员会与美国德州农工大学联合基金(11411120219)资助
  • 相关项目:NSFC-TAMU合作交流项目:LAMOST光谱巡天的统计机器学习和数据挖掘研究
中文摘要:

随着大型地面和空间观测设备的建设以及大型巡天项目的开展,天文数据以TB字节、PB字节,甚至EB字节计量,天文学进入了"大数据"时代。面对数据海洋,如何有效地存储和管理这些大数据是摆在天文学家面前的核心问题。数据存储和管理不仅仅是天文数据中心的任务,天文学家也需要有效地管理自己的科研数据。能够将海量的数据自动地存入数据库中是管理数据的基本前提,而高效的数据索引则是管理数据的核心要素,为此设计开发了天文大数据管理工具AutoDB,使用虚拟终端监视实现海量数据的自动入库,对数据自动创建全新的天空分区索引Q3C(Quad Tree Cube),对天文数据进行二维空间索引以便于高效的管理。天文大数据管理工具的改进和完善对天文学家后续研究中的数据融合、数据分析、数据挖掘提供了根本的保障,尤其对从事大数据的天文学家,拥有自动化的数据库管理工具,可以集中精力致力于科学研究。

英文摘要:

As more large ground-and space-based observation equipments enter into service and more large-area sky survey projects progress, astronomical data are increasingly measured in terabytes, petabytes, or even exabytes.With astronomy entering the‘massive-data’ era (‘facing a data ocean’ ) , how to effectively store and manage the huge-quantity data becomes a central issue for astronomers.Astronomical data centers certainly need to store and manage massive data.Individual astronomers need to effectively manage their large amounts of data as well.The most basic task of management of data in huge amounts is to efficiently and automatically deposit data into a database.Moreover, efficient indexing of data is the key issue in application of data management.We have thus designed and developed a software tool package called AutoDB to manage massive astronomical data.In the AutoDB there is a virtual terminal for a user to monitor automatic storage of data.With the Q3C the AutoDB automatically creates new indexing based on sky partitioning and applies the technique of indexing in a two-dimensional space to effectively manage astronomical data.Improvement of data-management tools such as in our study can provide a sound basis for follow-up data fusion, data mining, and data analysis carried out by astronomers.Especially for astronomers using massive data, improved data-management tools allow them to focus on exploring scientific issues in their research.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《天文研究与技术》
  • 主管单位:中国科学院
  • 主办单位:中国科学院国家天文台
  • 主编:钱声帮
  • 地址:昆明110信箱
  • 邮编:650011
  • 邮箱:ynaotk@ynao.ac.cn;
  • 电话:0871-63920157
  • 国际标准刊号:ISSN:1672-7673
  • 国内统一刊号:ISSN:53-1189/P
  • 邮发代号:
  • 获奖情况:
  • 国内外数据库收录:
  • 被引量:800