位置:成果数据库 > 期刊 > 期刊详情页
基于MapReduce的相似自连接新方法:过滤和内切圆算法
  • ISSN号:1000-1239
  • 期刊名称:《计算机研究与发展》
  • 时间:0
  • 分类:TP311.13[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]黑龙江大学计算机科学与技术学院,哈尔滨150080, [2]哈尔滨工业大学计算机科学与技术学院,哈尔滨150001
  • 相关基金:国家“九七三”重点基础研究发展计划基金项目(2012CB316200 ); 国家自然科学基金项目(61302139)
中文摘要:

相似自连接是一个在很多应用领域中很重要的问题.对于海量数据集,MapReduce可以提供一个有效的分布式计算框架,相似自连接操作也同样可以应用在MapReduce框架下.但已有研究工作仍然存在不足,如对于聚集数据区域采用加细划分方法,目的是负载平衡,但不易实现.现有的算法不能有效地完成海量数据集的相似自连接操作.为此提出了2个新颖的基于MapReduce的相似自连接算法,其思想是采用坐标过滤技术,形成有效候选集,以及针对聚集区域采用六边形划分的内切圆算法.过虑技术是在等宽网格划分基础上,利用同一维坐标间的距离差与相似性约束阈值e进行比较,可以明显地减少候选集的数量,也证明了六边形划分是所有正多边形全覆盖中最优的划分方法.实验结果表明:

英文摘要:

Similarity self-join is a very important study in many applications.For the massive datasets,MapReduce can provide an effective distributed computing framework,inparticular,similarity self-join can be applied on the framework.There are still problems,such as fine partition method,are applied to cluster data area for load balancing,but it is not easy to implement.Existing algorithms can^t effectively accomplish similarity self-join operations for the massive data sets.In this paper,we propose two novel algorithms of similarity self-join on the MapReduce framework,and use coordinate filtering techniques to get the valid candi date sets and use the in-circle method on the hexagon-based partitiona rea.Those coordinate-filtering techniques are based one qual-widthgrid partition,and adopt the restriction that two p oints have more distances than two projective points in the same axis,and cand ropobviously some candi date set.We also proof that the hexagon-based partition is the best form in all normal partition.Our experimental results demonstrate that the novel method has anadvantage over the other join algo rithms for cluster data are awhichim proves efficiency over80%.The algorithm can effectively solve the problem of the similarity self-join for the massive data in cluster data area.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机研究与发展》
  • 中国科技核心期刊
  • 主管单位:中国科学院
  • 主办单位:中国科学院计算技术研究所
  • 主编:徐志伟
  • 地址:北京市科学院南路6号中科院计算所
  • 邮编:100190
  • 邮箱:crad@ict.ac.cn
  • 电话:010-62620696 62600350
  • 国际标准刊号:ISSN:1000-1239
  • 国内统一刊号:ISSN:11-1777/TP
  • 邮发代号:2-654
  • 获奖情况:
  • 2001-2007百种中国杰出学术期刊,2008中国精品科...,中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,荷兰文摘与引文数据库,美国工程索引,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:40349