位置:成果数据库 > 期刊 > 期刊详情页
基于Map-Reduce的海量数据高效Skyline查询处理
  • ISSN号:0254-4164
  • 期刊名称:计算机学报
  • 时间:2011.10.1
  • 页码:1785-1796
  • 分类:TP311[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]医学影像计算教育部重点实验室(东北大学),沈阳110819, [2]东北大学信息科学与工程学院,沈阳110819
  • 相关基金:国家自然科学基金重点项目(60933001); 国家杰出青年科学基金(61025007); 中央高校基本科研业务费专项基金(N090304007)资助
  • 相关项目:不确定图数据管理与分析技术
中文摘要:

Skyline查询已成为现今数据库和信息检索领域的研究热点之一,伴随着人类可以采集和利用的数据信息的急剧增长,使得如何处理海量数据的Skyline查询成为急需解决的问题.近年来兴起的Map-Reduce编程框架能够有效地处理基于海量数据的应用,该文既是研究如何运用Map-Reduce编程框架解决海量数据的Skyline查询问题.在Map-Reduce框架下处理Skyline查询的直接方法是扫描整个数据集进而得到查询结果,但是在海量数据Skyline查询问题中,查询结果的数量远小于原始数据集的数据量,对此该文提出了一系列的Skyline查询算法及优化,有效地过滤掉部分不能成为Skyline查询结果的数据对象,大幅度提高了在Map-Reduce框架下处理Skyline查询的效率.大量运行在Hadoop平台上的实验验证了该文所提出的Skyline查询处理算法具有良好的有效性、准确性和可用性.

英文摘要:

Recently,Skyline query has been a research hot of Database and Information Retrieval.In addition,the amount of data for collecting and using by human is developing at an astonishing speed.Therefore,how to process Skyline query of massive data is an urgent problem.Map-Reduce is a new parallel programming model that processes vast number of data on large clusters with easy deployment.As a parallel programming model,Map-Reduce is suit for solving Skyline query of massive data.This paper resolves the problem of processing Skyline query of massive data on Map-Reduce framework.A straightforward implementation of Skyline query on Map-Reduce needs to scan all the candidate results before obtaining the final results.However,when the amount of final results is much smaller than the original data,there is a waste of processing unnecessary results on Map-Reduce framework.Consequently,in this paper,a series of efficient Skyline query algorithms and optimization have been proposed to prune the unpromising results effectively and enhance the performance of processing Skyline query of massive data on Map-Reduce.Our extensive experiments are built on top of Hadoop platform,an open-source implementation of Map-Reduce framework.The experiment results demonstrate that our algorithms have high efficiency,accuracy and scalability.

同期刊论文项目
期刊论文 44 会议论文 27
期刊论文 108 会议论文 33
同项目期刊论文
期刊信息
  • 《计算机学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学院
  • 主办单位:中国计算机学会 中国科学院计算技术研究所
  • 主编:孙凝晖
  • 地址:北京中关村科学院南路6号
  • 邮编:100190
  • 邮箱:cjc@ict.ac.cn
  • 电话:010-62620695
  • 国际标准刊号:ISSN:0254-4164
  • 国内统一刊号:ISSN:11-1826/TP
  • 邮发代号:2-833
  • 获奖情况:
  • 中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 美国数学评论(网络版),荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:48433