位置:成果数据库 > 期刊 > 期刊详情页
容错存储的电力系统监测数据查询优化技术
  • ISSN号:1000-3673
  • 期刊名称:《电网技术》
  • 时间:0
  • 分类:TM73[电气工程—电力系统及自动化]
  • 作者机构:[1]华东交通大学电气工程学院,江西省南昌市330013
  • 相关基金:国家自然科学基金项目(51267005); 致谢本文得到江西省高校青年教师发展计划访问学者专项基金(G201415)、博士科研基础基金(09122014)的资助,谨此致谢.
中文摘要:

针对电力系统监测中大量时间序列数据存储和高效查询的问题,利用云计算框架和HQL(Hive SQL)查询引擎,提出一种容错存储的分级分区查询优化方法。通过副本机制设计电力监测数据容错存储模式,综合运用了HQL查询计划生成、向Map/Reduce的转化和分区剪枝处理,进行了加载和查询优化测试。结果表明,当加载的监测数据记录超过200万条、查询数据记录超过380万条后,HQL的处理性能将远超SQL,数据量越大,优势越明显。分级分区查询测试结果表明,在查询耗时相近的条件下,分区查询的数据量可以扩大2个数量级,且二级分区比一级分区更高效,验证了查询优化技术可有效提高电力系统监测信息查询处理的效率,为大量电力监测数据处理提供了一种查询优化方法。

英文摘要:

In order to solve massive time series data storage and query problem in power system monitoring, a new classified partition query optimization method of fault tolerant storage is proposed using cloud computing framework and HQL query engine. Fault tolerant storage model of power system monitoring data is designed through redundancy replication mechanism, and loading test and query optimization test of monitoring data are carried out by coordinating HQL query plan generation, conversion from HQL to Map/Reduce and partition pruning process. Results show that HQL performance is better than SQL when amounts of loading data exceed two millions or amounts of query data exceed three hundred and eighty thousand, and the bigger the data volume is, the more obvious the performance advantage will be. Classified partition query results show that amounts of data for partition query can be expanded to two orders of magnitude under similar time conditions, and second-level partition is better than first-level partition. It is verified that query optimization can improve query effectiveness, and provide a query optimization method for power monitoring data processing.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《电网技术》
  • 北大核心期刊(2011版)
  • 主管单位:国家电网公司
  • 主办单位:国家电网公司
  • 主编:张文亮
  • 地址:北京清河小营东路15号中国电力科学研究院内
  • 邮编:100192
  • 邮箱:pst@epri.sgcc.com.cn
  • 电话:010-82812976 82812543
  • 国际标准刊号:ISSN:1000-3673
  • 国内统一刊号:ISSN:11-2410/TM
  • 邮发代号:82-604
  • 获奖情况:
  • 中国优秀科技期刊,电力部优秀科技期刊,全国中文核心期刊,中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:66600