位置:成果数据库 > 期刊 > 期刊详情页
基于Hadoop的封闭直方图立方
  • ISSN号:1000-1220
  • 期刊名称:小型微型计算机系统
  • 时间:2012.10.15
  • 页码:2127-2132
  • 分类:TP311[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]东北大学信息科学与工程学院,沈阳110819
  • 相关基金:国家自然科学基金项目(61173028,61033007)资助; 中央高校基本科研业务费专项资金项目(N100304005)资助
  • 相关项目:数据密集型计算环境下的数据管理方法与技术
中文摘要:

封闭数据立方是一种有效的无损压缩技术,它去掉了数据立方中的冗余信息,从而有效降低了数据立方的存储空间、加快了计算速度,而且几乎不影响查询性能.Hadoop的MapReduce并行计算模型为数据立方的计算提供了技术支持,Hadoop的分布式文件系统HDFS为数据立方的存储提供了保障.为了节省存储空间、加快查询速度,在传统数据立方的基础上提出封闭直方图立方,它在封闭数据立方的基础上通过编码技术进一步节省了存储空间,通过建立索引加快了查询速度.Hadoop并行计算平台不论从扩展性还是均衡性都为封闭直方图立方提供了保证.实验证明:封闭直方图立方对数据立方进行了有效压缩,具有较高的查询性能,根据Hadoop的特点通过增加节点个数明显加快了计算速度.

英文摘要:

Closed data cube is an effective lossless compression technology, which removes the redundant information from data cubes. So it reduces the storage space of data cubes, accelerates calculation speed effectively, and almost does not affect the query performance. MapReduce parallel computing model of Hadoop provides technical support for the calculation of the data cubes, The Hadoop distributed file system HDFS has provided a guarantee for the storage of data cubes. A closed histogram cube is proposed based on traditional data cubes to save the space and speed up the queries, which uses coding techniques on closed data cube to save storage space further, and improves query performance by indexing. Hadoop parallel computing platform provides guarantee for closed histogram cubes whether from the scalability or balance. The experiments show that closed histogram cube compress the data cube effectively, and has high query performance. According to Hadoop's characteristics, we can increasing the number of compute nodes to improve the computing speed.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《小型微型计算机系统》
  • 中国科技核心期刊
  • 主管单位:中国科学院
  • 主办单位:中国科学院沈阳计算技术研究所
  • 主编:林浒
  • 地址:沈阳市浑南新区南屏东路16号
  • 邮编:110168
  • 邮箱:xwjxt@sict.ac.cn
  • 电话:024-24696120 024-24696190-8870
  • 国际标准刊号:ISSN:1000-1220
  • 国内统一刊号:ISSN:21-1106/TP
  • 邮发代号:8-108
  • 获奖情况:
  • 中国自然科学核心期刊,中国科学引文数据库来源期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,波兰哥白尼索引,荷兰文摘与引文数据库,美国剑桥科学文摘,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:23212