位置:成果数据库 > 期刊 > 期刊详情页
一种安全性的海量数据处理平台设计与实现
  • ISSN号:1008-5599
  • 期刊名称:《电信工程技术与标准化》
  • 时间:0
  • 分类:TN929.5[电子电信—通信与信息系统;电子电信—信息与通信工程]
  • 作者机构:[1]北京邮电大学网络与交换技术国家重点实验室,北京100876, [2]东信北邮信息技术有限公司,北京100191
  • 相关基金:国家973计划项目(编号:2013CB329102);国家自然科学基金资助项目(No.61471063,61372120,61271019,61101119,61121001);长江学者和创新团队发展计划资助(编号:IRT1049);教育部科学技术研究重点(重大)项目资助(编号:MCM20130310);北京高等学校青年英才计划项目(编号:YETP0473)
中文摘要:

提出了一种开放分布式海量数据处理平台的设计方案.该平台以HDFS、Hive和HBase等作为底层数据存储方式,以MapReduce、Spark和Storm等作为底层数据处理方式,向用户提供了统-的接口,同时使用Kerberous进行权限控制,保证了数据安全性.这种开放式的服务可使用户可在不同平台不同环境下简单方便地完成海量数据处理任务.

英文摘要:

This article put forward an open design scheme of distributed mass data processing platform. The platform uses HDFS, Hive and HBase to realize data storage, uses MapReduce, spark and storm to realize data processing, uses kerberous to realize authority management. It also provides a unified operation interface to the user, so that users can handle the mass data simple and efficient.

同期刊论文项目
期刊论文 183 会议论文 167 获奖 6 著作 1
同项目期刊论文
期刊信息
  • 《电信工程技术与标准化》
  • 主管单位:中国移动通信集团公司
  • 主办单位:中国移动通信集团设计院有限公司
  • 主编:梅海涛
  • 地址:北京市海淀区丹棱街甲16号302室
  • 邮编:100080
  • 邮箱:tetas@cmdi.chinamobile.com
  • 电话:010-52696688-7308/7310
  • 国际标准刊号:ISSN:1008-5599
  • 国内统一刊号:ISSN:11-4017/TN
  • 邮发代号:82-942
  • 获奖情况:
  • 国内外数据库收录:
  • 被引量:4245