位置:成果数据库 > 期刊 > 期刊详情页
基于云计算的配电自动化集群Lzo无损压缩新方法
  • ISSN号:1671-4598
  • 期刊名称:《计算机测量与控制》
  • 时间:0
  • 分类:TP274[自动化与计算机技术—控制科学与工程;自动化与计算机技术—检测技术与自动化装置] TM73[电气工程—电力系统及自动化]
  • 作者机构:[1]华东交通大学电气学院,南昌330013
  • 相关基金:国家自然科学基金项目(51267005);博士科研启动基金项目(09122014);江西省教育厅科技研究项目(GJJ13350).
中文摘要:

针对配电自动化监控系统中大数据集信息和压缩存储率低的问题,提出一种基于Hadoop云计算的信息流集群无损压缩新方法;从监控业务信息流出发,将Lzo无损压缩编码融人Map/Reduce计算任务中,实现对大数据集监控信息流的有效压缩;以配电网监控信息流的处理为例,分别取300万和1000万断面记录进行测试,结果表明:每秒可压缩处理记录数从4万提高至8.4万条,处理效率提高了52.4%,同时压缩比也从55.4%提高至62%,适用于动态量测过程的信息处理,提高了压缩处理的效果。

英文摘要:

In order to solve low efficiency problem of large data sets compression storage in distribution network dispatching monitoring system, a new processing method based on cloud computing Hadoop is proposed for information flow lossless compression. The key business information flow is extracted from monitoring system. Then the Lzo lossless compression codes fused into Map/Reduce parallel computation task, which achieving effective compression for large data sets. Taking distribution network monitoring information flows as test example. Result shows that when section measurement record sets increased from 300 million to 1000 million, the compressed record per second is in creased from 4 million to 8.4 million, and the compression ratio from 55.4% to 62%. The processing efficiency is improved by 52.4%. New compression method is faster and more suitable for processing dynamic measurement and control process information, which improves the compression effect.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机测量与控制》
  • 北大核心期刊(2011版)
  • 主管单位:中国航天科工集团公司
  • 主办单位:中国计算机自动测量与控制技术协会
  • 主编:苟永明
  • 地址:北京海淀区阜成路甲8号中国航天大厦405
  • 邮编:100048
  • 邮箱:ly@chinamca.com
  • 电话:010-68371578 68371556
  • 国际标准刊号:ISSN:1671-4598
  • 国内统一刊号:ISSN:11-4762/TP
  • 邮发代号:82-16
  • 获奖情况:
  • 中国学术期刊综合评价数据库来源期刊,中国科技论文统计源期刊,“国家期刊奖百种重点期刊”
  • 国内外数据库收录:
  • 美国剑桥科学文摘,英国科学文摘数据库,中国中国科技核心期刊,中国北大核心期刊(2008版),中国北大核心期刊(2011版)
  • 被引量:27924