位置:成果数据库 > 期刊 > 期刊详情页
基于SN结构的事件流并行数据库加载均衡策略研究
  • ISSN号:1000-1239
  • 期刊名称:《计算机研究与发展》
  • 时间:0
  • 分类:TP311.133.2[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]中国科学院计算技术研究所,北京100190, [2]中国科学院研究生院,北京100039, [3]IBM中国软件开发中心,北京100085
  • 相关基金:国家“八六三”高技术研究发展计划基金项目(2006AA01A102)
中文摘要:

倾斜问题是并行系统普遍存在的问题,对系统的性能影响很大.事件流数据库作为数据流应用的后端分析处理系统具有连续大量的事件流加载与用户查询并存的特点,传统的解决数据倾斜的方法无法适应其动态加载的特点.以主干网的网络安全监控应用为研究背景,结合事件流负载特征,针对基于无共享结构的事件流并行数据库提出了一种基于周期计数的能力感知加载均衡策略.该方法在保证加载性能的同时,可以根据加载节点的能力在线自动调解数据分布,不仅有效预防和解决了系统倾斜,还为查询服务的性能奠定了良好的基础.模拟分析和真实测试都证明这种加载均衡策略较其他策略更有效.

英文摘要:

Skew is one of the most important problems in parallel systems, which has a great impact on the parallel systems performance. The event stream system is the back-end data processing and analysis systems of data stream management systems (DSMS). It is different from the traditional database systems due to the new workload characterization. This kind of systems receive continuous, fast-coming and large volume of event stream data on one side, and supply quick response to the users' queries on the other side. Under such a condition the common data redistribution solutions to data skew are not suitable any longer. In this paper a periodical counting based capability aware (PCCA) loading strategy is presented based on DBroker, which is a shared nothing event stream parallel database System for the backbone network monitoring application. This loading strategy not only keeps the event stream data being loaded fast and correctly, but also recognizes and prevents the system from the skew automatically, according to the loading capability of each node adaptively. What's more, it forms a good data distribution foundation for query service. Finally PCCA loading strategy is proven to provide much better performance than the other three methods in both simulation model analysis and real system testing.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机研究与发展》
  • 中国科技核心期刊
  • 主管单位:中国科学院
  • 主办单位:中国科学院计算技术研究所
  • 主编:徐志伟
  • 地址:北京市科学院南路6号中科院计算所
  • 邮编:100190
  • 邮箱:crad@ict.ac.cn
  • 电话:010-62620696 62600350
  • 国际标准刊号:ISSN:1000-1239
  • 国内统一刊号:ISSN:11-1777/TP
  • 邮发代号:2-654
  • 获奖情况:
  • 2001-2007百种中国杰出学术期刊,2008中国精品科...,中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,荷兰文摘与引文数据库,美国工程索引,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:40349