位置:成果数据库 > 期刊 > 期刊详情页
基于MapReduce快速KNN Join方法
  • ISSN号:0254-4164
  • 期刊名称:计算机学报
  • 时间:2015.1
  • 页码:99-108
  • 分类:TP311[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]中国科学院大学,北京100049, [2]中国科学院软件研究所基础软件国家工程研究中心,北京100190
  • 相关基金:国家自然科学基金重大研究计划·重点项目(2012.1-2014.12)“面向非常规突发事件主动感知与应急指挥的物联网技术与系统”(91124001); 国家“八六三”高技术研究发展计划“智慧城市”重大专项之子课题(2013.1-2015.12)“面向城市动态运行管理的大规模数据智能检索技术”(2013AA01A603); 中国科学院“感知中国”先导专项·重点课题(2012.1-2016.12)“面向物理信息感知的传感器时空数据管理与海云服务合成引擎研究”(XDA06020600); 中国科学院战略性科技先导专项课题(XDA06010600)资助
  • 相关项目:面向非常规突发事件主动感知与应急指挥的物联网技术与系统
作者: 戴健|丁治明|
中文摘要:

kNN连接是空间数据库领域里一个基本而又重要的问题,被广泛地应用于多个其他领域.它对提高众多实际应用的性能有着重要意义.随着目前参加kNN连接的数据集的增大和要求的响应时间的缩短(尤其在一些应急环境中),作者实际上对kNN连接的效率要求更高.然而,目前的方法大多基于单个进程或者单台机器,并不具有很好的伸缩性.为了解决这个问题,作者引入了map-reduce框架来运行kNN join并提出了两种新的方法:基于map-reduce的分布式网格概略化kNN join(DSGMP-J)和基于map-reduce的voronoi diagram下kNN join(VDMP-J).并把它们和最新的方法 H-BNLJ进行了实验对比.实验结果证明了作者提出的DSGMP-J和VDMP-J方法具有较优的伸缩性.

英文摘要:

kNN Join is a basic and important operation which is widely used in many fields.Hence,it plays a significant role in improving the efficiency of the applications in those fields.Nowadays,with the rapid increase of data size and the requirement for shorter response time(especially in some emergency environments),people actually ask for a more efficient way to conduct kNN Join.However,conventional kNN join operation is mostly running on single computer and/or single process at present,which cannot provide enough scalability.To address this problem,we incorporate the map-reduce framework into the running of kNN join and propose two novel methods:distributed sketched grid based kNN Join using map-reduce(DSGMP-J)and voronoi diagram based kNN Join using map-reduce(VDMP-J).And compare them with a stateof-the-art method:hadoop block nested loop join(H-BNLJ).The experiment results prove that the DSGMP-J and the VDMP-J outperform the H-BNLJ in scalability.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学院
  • 主办单位:中国计算机学会 中国科学院计算技术研究所
  • 主编:孙凝晖
  • 地址:北京中关村科学院南路6号
  • 邮编:100190
  • 邮箱:cjc@ict.ac.cn
  • 电话:010-62620695
  • 国际标准刊号:ISSN:0254-4164
  • 国内统一刊号:ISSN:11-1826/TP
  • 邮发代号:2-833
  • 获奖情况:
  • 中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 美国数学评论(网络版),荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:48433