位置:成果数据库 > 期刊 > 期刊详情页
基于Hadoop的电网监控信息流分布式处理研究
  • ISSN号:1005-0523
  • 期刊名称:《华东交通大学学报》
  • 时间:0
  • 分类:TM7[电气工程—电力系统及自动化]
  • 作者机构:[1]华东交通大学电气与电子工程学院,江西省南昌市330013, [2]北京太格时代自动化系统设备有限公司,北京市100054
  • 相关基金:国家自然科学基金资助项目(51267005);江西省教育厅科学技术研究项目(GJJ13350).
中文摘要:

针对智能调度系统中的大数据集信息压缩处理问题,利用Hadoop框架和Map/Reduce分布式编程模型,提出了一种基于云架构的无损集群压缩新方法.对字典编码和统计编码的无损压缩进行了分类比较,利用云计算节点的集群网络配置方式进行调度主极和监控服务器的部署,在集群数据节点中融入无损压缩,建立调度监控信息的无损集群压缩实验环境.利用调度端的断面量测记录进行测试研究,得出:对于相同断面记录集的无损压缩,BZip2格式的集群压缩比优于Deflate和Gzip格式.对不同断面记录集的BZip2集群压缩结果表明:在断面记录超过3×106以上时,压缩比达到81.1%,相对传统无损压缩方法提高30%以上.

英文摘要:

Aimed at the data sets compression problem in the intelligent dispatching system,using the Hadoop framework and Map/Reduce distributed programming model,a novel method of lossless cluster compression based on cloud framework is proposed.Dictionary coding and statistics coding of lossless compression are compared and classified,with the scheduling machine and monitoring server deployed according to the cluster network configuration of cloud cluster nodes.Lossless compression is incorporated in the cluster data nodes to build a lossless cluster compression experiment environment of dispatching monitoring information.It has been found from the dispatching section measurement that,for the lossless compression of identical section log set,the BZip2 format cluster ratio is better than that of the Deflate and Gzip formats.The test results of different compression formats on the same section sets show that the compression ratio reaches 81.1% when section sets exceed three million,which is an increase of over 30% compared with the traditional lossless compression ratio.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《华东交通大学学报》
  • 中国科技核心期刊
  • 主管单位:华东交通大学
  • 主办单位:华东交通大学
  • 主编:何柏林
  • 地址:天津市大寺泉集北里别墅17号联合征订服务部
  • 邮编:300385
  • 邮箱:jdxb@ecjtu.jx.cn
  • 电话:0791-87046655
  • 国际标准刊号:ISSN:1005-0523
  • 国内统一刊号:ISSN:36-1035/U
  • 邮发代号:
  • 获奖情况:
  • 国内外数据库收录:
  • 波兰哥白尼索引,中国中国科技核心期刊
  • 被引量:9060