提出了一种开放分布式海量数据处理平台的设计方案.该平台以HDFS、Hive和HBase等作为底层数据存储方式,以MapReduce、Spark和Storm等作为底层数据处理方式,向用户提供了统-的接口,同时使用Kerberous进行权限控制,保证了数据安全性.这种开放式的服务可使用户可在不同平台不同环境下简单方便地完成海量数据处理任务.
This article put forward an open design scheme of distributed mass data processing platform. The platform uses HDFS, Hive and HBase to realize data storage, uses MapReduce, spark and storm to realize data processing, uses kerberous to realize authority management. It also provides a unified operation interface to the user, so that users can handle the mass data simple and efficient.