位置:成果数据库 > 期刊 > 期刊详情页
Mashup运行时的性能优化方法
  • ISSN号:1000-9825
  • 期刊名称:《软件学报》
  • 时间:0
  • 分类:TN911.23[电子电信—通信与信息系统;电子电信—信息与通信工程]
  • 作者机构:[1]中国科学院信息工程研究所,北京100093, [2]信息内容安全技术国家工程实验室,北京100093, [3]国家计算机网络应急技术处理协调中心,北京100029
  • 相关基金:国家863高技术研究发展计划(No.2011AA010703); 中国科学院战略性先导专项(No.XDA06030602); 国家自然科学基金(No.61402464); 中国博士后基金(No.2013M541076)
中文摘要:

数据流处理系统,无论是集中式还是分布式,都需要克服单点瓶颈问题.不仅如此,如果数据流处理系统是静态配置的,那么还会出现处理节点供给不足或者过剩的情况,为此本文提出了一种支持可扩展的并行分布式数据流处理系统—流水行云,该系统根据有状态算子将查询拓扑划分为并行处理的子查询,并且通过有状态算子的分发器和收集器实现了数据流的保序,同时最大化减少并行处理的通信开销,不仅如此,结合负载均衡和重配置的可扩展技术使得该系统能够根据输入负载动态调整处理节点的负载和个数.60个节点组成的集群的实验证明了该系统的可扩展能力.

英文摘要:

The stream processing systems, whether centralized or disllibuted, have to overcome the single-node bottleneck. Moreover,their static configurations also make them either shortage or surplus of resources. To this end,this paper proposes a scal- able parallel-dislributed stream processing system named SPSPS. The system splits a query into parallel sub-queries according to stateful query operators to minimize the communication overhead in parallel processing, and achieves order-preserving tuple processing through the stateful operator's dislributor and collector. Moreover, the scalability techniques with load balancing and reconfigmration support effective adjustment of resources depending on the incoming load. The experiments on a cluster with 60 nodes prove the scalabilitv.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《软件学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学院
  • 主办单位:中国科学院软件研究所 中国计算机学会
  • 主编:赵琛
  • 地址:北京8718信箱中国科学院软件研究所
  • 邮编:100190
  • 邮箱:jos@iscas.ac.cn
  • 电话:010-62562563
  • 国际标准刊号:ISSN:1000-9825
  • 国内统一刊号:ISSN:11-2560/TP
  • 邮发代号:82-367
  • 获奖情况:
  • 2001年入选中国期刊方阵“双百期刊”,2000年荣获中国科学院优秀科技期刊一等奖
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国数学评论(网络版),波兰哥白尼索引,德国数学文摘,荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:54609