位置:成果数据库 > 期刊 > 期刊详情页
基于Hadoop的地质大数据融合与挖掘技术框架
  • ISSN号:1001-1595
  • 期刊名称:《测绘学报》
  • 时间:0
  • 分类:P208[天文地球—地图制图学与地理信息工程;天文地球—测绘科学与技术]
  • 作者机构:[1]中国地质调查局发展研究中心,北京100037, [2]国土资源部地质信息技术重点实验室,北京100037, [3]中国交通通讯信息中心,北京100011, [4]南京财经大学,江苏南京210003, [5]南京师范大学,江苏南京210042, [6]中国矿业大学北京,北京100083
  • 相关基金:国土资源部公益性行业科研专项(201511079)
中文摘要:

地质领域数据量大,且种类多样。实现高效的多源异构地质数据的融合与挖掘,是研究地质作用机理,展开地质考察研究的重要手段。然而目前普遍存在着数据条块分割,格式各异,难以实现有效的共享与互操作。为此,本文提出了一种基于Hadoop的地质大数据融合与挖掘技术框架,该框架包括统一的地质大数据采集与预处理方法,基于元数据索引的存储与管理平台,基于Map/Reduce的地质大数据并行化计算模式与系统,面向可重用的地质大数据挖掘服务,以及支持在线三维展示的地质大数据分析结果可视化系统。该框架具有良好的实用性与可扩展性。本文在5个节点的测试系统上实现了多元素关联性分析,并取得了相对应单台机器3部的加速可比性。

英文摘要:

Geology studies requiremount of data in various types. It is important to implement high efficiency fusion and mining methods for the big data in geology. These methods will promote the research on the geology mechanism and geological exploration. However, the existing methods are divided by different data type, format and coverage, so it is difficult to share the methods among different datasets. Therefore, in this paper, we propose a Hadoop based geology big data fusion and mining framework. This framework contains a unified data gathering and preprocess methods, a Meta data index based storage and management platform, a Map/Reduce based data mining system and a reusability oriented geology services to support such as 3D online visualization and other applications. The proposed framework can be easily extend and the preliminary demo shows the efficiency of the proposed framework.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《测绘学报》
  • 中国科技核心期刊
  • 主管单位:中国科学技术协会
  • 主办单位:中国测绘地理信息学会
  • 主编:杨元喜
  • 地址:北京市西城区三里河路50号
  • 邮编:100045
  • 邮箱:chxb@periodicals.net.cn
  • 电话:010-68531192
  • 国际标准刊号:ISSN:1001-1595
  • 国内统一刊号:ISSN:11-2089/P
  • 邮发代号:2-224
  • 获奖情况:
  • 中国科学技术协会精品科技期刊工程项目资助期刊(2...,中国国际影响力优秀学术期刊(2012年),第四届中国百种杰出学术期刊(2005年),科技部“中国精品科技期刊”(2008年、2011年、201...,中国科协优秀期刊,中国科协年度期刊内容和编校质量良好的13种期刊之...,中国测绘学会第一、第二届“全国优秀测绘期刊奖”...
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,荷兰地学数据库,荷兰文摘与引文数据库,美国工程索引,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),瑞典开放获取期刊指南,中国北大核心期刊(2000版)
  • 被引量:18477