位置:成果数据库 > 期刊 > 期刊详情页
PipelineJoin:一种新的基于MapReduce的多表连接算法
  • ISSN号:0253-2778
  • 期刊名称:中国科学技术大学学报
  • 时间:2015
  • 页码:836-845
  • 期号:10
  • 便笺:34-1054/N
  • 分类:TP338.8[自动化与计算机技术—计算机系统结构;自动化与计算机技术—计算机科学与技术]
  • 作者地址:厦门大学信息科学与技术学院;厦门大学软件学院;
  • 作者机构:厦门大学信息科学与技术学院, 厦门大学软件学院
  • 相关基金:国家自然科学基金(61303004,1202012);国家科技支撑计划(863)(2015BAH16F00/F01/F02)资助
中文摘要:

MapReduce是一个并行分布式计算模型,已经被广泛应用于处理两个或多个大型表的连接操作.现有的基于MapReduce的多表连接算法,在处理链式连接时,不能处理多个大表的连接,或者需要顺序运行较多的MapReduce任务,效率较低.为此提出了一种基于MapReduce的多表连接算法——PipelineJoin,高效地实现任意多个大表的链式连接.PipelineJoin采用流水线模型和调度器来实现MapReduce任务的流水线式执行,从而有效提高多表连接的效率,同时可以较好地克服链式多表连接算法的缺陷.最后,在不同规模的数据集上进行了大量实验,实验结果表明PipelineJoin算法与原有链式多表连接算法相比,可以有效减少连接所需的时间.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《中国科学技术大学学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学院
  • 主办单位:中国科学技术大学
  • 主编:何多慧
  • 地址:安徽省合肥市金寨路96号
  • 邮编:230026
  • 邮箱:JUST@USTC.EDU.CN
  • 电话:0551-63601961 63607694
  • 国际标准刊号:ISSN:0253-2778
  • 国内统一刊号:ISSN:34-1054/N
  • 邮发代号:26-31
  • 获奖情况:
  • 1999年,全国优秀高等学校自然科学学报及教育部优...,2001年,安徽省1999-2001年度优秀科技期刊一等奖,2002年,第三届华东地区优秀期刊奖
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国化学文摘(网络版),美国数学评论(网络版),德国数学文摘,荷兰文摘与引文数据库,美国剑桥科学文摘,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:8237