位置:成果数据库 > 期刊 > 期刊详情页
基于Spark的大数据热图可视化方法
  • ISSN号:1003-9775
  • 期刊名称:《计算机辅助设计与图形学学报》
  • 时间:0
  • 分类:TP391.41[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]浙江工业大学计算机科学与技术学院,杭州310023, [2]浙江大学CAD&CG;国家重点实验室,杭州310058
  • 相关基金:国家自然科学基金(61303141, 61272302); 浙江省自然科学基金(LY12F02034); 国家“八六三”高技术研究发展计划(2015AA016404).
中文摘要:

针对普通客户端浏览和分析大数据困难的问题,结合Spark和LOD技术,以热图为例提出一种面向大数据可视化技术框架.首先利用Spark平台分层并以瓦片为单位并行计算,然后将结果分布式存储在HDFS上,最后通过web服务器应用Ajax技术结合地理信息提供各种时空分析服务.文中重点解决了数据点位置和地图之间的映射,以及由于并行计算导致的热图瓦片之间边缘偏差这2个问题.实验结果表明,该方法将数据交互操作与数据绘制和计算任务分离,为浏览器端大数据可视化提供了一个新的思路.

英文摘要:

It is important to provide data analysts with effective and efficient exploratory tools via web browsers.However, due to the characteristics of big data, current data visualization approaches can hardly display the wholedatasets. This paper proposes a general-purpose visualization framework based on Spark and LOD. Firstly, weimplement a tile-based parallel computing algorithm for layered datasets with Spark. Secondly, we store the temporaryresults on HDFS. Finally, with Ajax and geographic information, we provide all kinds of spatial-temporalanalysis services via web. This paper resolves two problems: one is the mapping of data points from heat map togeographic map; the other is the correction of the marginal error in overlapping areas caused by parallel computing.The experiment results suggest that by separating the data display and manipulation from the data renderingand computing tasks, our method provides a new way for big data visualization via web browsers.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机辅助设计与图形学学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学技术协会
  • 主办单位:中国计算机学会
  • 主编:鲍虎军
  • 地址:北京2704信箱
  • 邮编:100190
  • 邮箱:jcad@ict.ac.cn
  • 电话:010-62562491
  • 国际标准刊号:ISSN:1003-9775
  • 国内统一刊号:ISSN:11-2925/TP
  • 邮发代号:82-456
  • 获奖情况:
  • 第三届国家期刊奖提名奖
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,荷兰文摘与引文数据库,美国工程索引,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:24752