位置:成果数据库 > 期刊 > 期刊详情页
海量半结构化数据采集、存储及分析——基于实时空气质量数据处理的实践
  • ISSN号:1002-4565
  • 期刊名称:《统计研究》
  • 时间:0
  • 分类:C812[社会学—统计学;经济管理]
  • 作者机构:[1]兰州商学院统计学院, [2]甘肃省经济发展数量分析研究中心, [3]兰州商学院金融学院
  • 相关基金:本文获得教育部人文社会科学重点研究基地重大项目“政府统计数据质量保证体系研究”(12JJD790010);全国统计科学研究重点项目“海量异源异构数据的采集、存储和分析方案研究”(2013LZ44);全国统计科学研究重点项目“基于普查涵盖误差测量技术的基本单位名录库维护与更新研究”(2011LX003)资助.
中文摘要:

大数据现象及处理引起了社会各界的关注。本文以大数据宏观层面理论为依据,试图从微观层面讨论一类大数据的具体处理,归纳提出一种基于开源架构的海量半结构化数据采集、存储及分析自动化解决方案,并分析解决方案的开放性、融合性和经济性的特点,指出解决方案的可拓展方面。同时,结合海量空气质量实时数据,分析解决方案的具体开发细节,给出解决方案运行的经验做法,讨论分析过程的大数据压缩机制。

英文摘要:

Big data phenomenon and processing has aroused attention from all sectors of the community. Based on macro-level discussion of big data, this paper tries to treat a type of big data in case-level. An automation solution of massive semi-structured data collection, storage and analysis was proposed under open source framework. The features of our solution, which include openness, integration and economy, were discussed. The extension of the solution was also pointed out. Meanwhile, based on our massive real-time air quality data, this paper give out the specific development details, running experience and practice, and big data compression schemes also been discussed.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《统计研究》
  • 北大核心期刊(2011版)
  • 主管单位:国家统计局
  • 主办单位:中国统计学会
  • 主编:万东华
  • 地址:北京西城区月坛南街75号
  • 邮编:100826
  • 邮箱:tjyj@gj.stats.cn
  • 电话:010-68783985
  • 国际标准刊号:ISSN:1002-4565
  • 国内统一刊号:ISSN:11-1302/C
  • 邮发代号:82-14
  • 获奖情况:
  • 国内外数据库收录:
  • 中国中国人文社科核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国社科基金资助期刊,中国国家哲学社会科学学术期刊数据库,中国北大核心期刊(2000版)
  • 被引量:32248