位置:成果数据库 > 期刊 > 期刊详情页
数据密集型科学与工程:需求和挑战
  • ISSN号:0254-4164
  • 期刊名称:计算机学报
  • 时间:2012.8.8
  • 页码:1563-1578
  • 分类:TP311[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]华东师范大学软件学院上海市高可信计算重点实验室,上海200062, [2]复旦大学上海市智能信息处理实验室,上海200433
  • 相关基金:本课题得到国家核高基项目(2010ZX01042-002-003-004)、国家自然科学基金项目(60925008,61070052)资助.
  • 相关项目:支持数据密集型计算的数据管理
中文摘要:

科学研究在经历了实验科学、理论科学、计算科学阶段后,进入了数据密集型科学阶段,与之相伴的是大数据时代的到来.大数据泛指规模达到几百TB,甚至PB级的数据①,其典型的特征是分布、异构、低质量等.尽管传统数据库管理技术(特别是商业关系型数据库)在过去40年间取得了巨大成功,但是这些技术和系统无法有效管理支持数据密集型科学与工程(Data-Intensive Science and Engineering,DISE)的大数据.文中探讨数据密集型科学与工程的具体需求和现实挑战.它涵盖的内容表现在4个层面,包括数据存储与组织、计算方法、数据分析以及用户接口技术等.同时,数据质量、数据安全、数据监护等内容也需要在各层面得到重视.文中尝试梳理了数据密集型科学与工程的整体架构,回顾了相关领域的新近发展,分析了面临的挑战,探讨了未来的研究方向.

英文摘要:

Scientific exploration after experimental science, theoretical science and computational science phases, into data-intensive science phase, are accompanied by the arrival of the big data era. Generally, big data refers to a data set with a size of hundreds of TB, or several PB or even above, and it is often distributed, heterogeneous and in low-quality. It is critical to devise novel methods to manage big data since traditional database management techniques are unfeasible to manage big data efficiently and effectively, though such techniques, especially the commercial re- lational DBMSs, have achieved great success in the past decades. This paper discusses concrete requirements and realistic challenges of Data-Intensive Science and Engineering (DISE), ranging from data storage and organization, computational method, data analysis, to user interfaces. Meanwhile, data quality, data security and data curation should be paid more attentions. In this paper, we attempt to describe the architecture of DISE, review the recent progress, and discuss the challenges and future work briefly.

同期刊论文项目
期刊论文 49 会议论文 37 专利 3
期刊论文 17 会议论文 6 专利 1 著作 1
同项目期刊论文
期刊信息
  • 《计算机学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学院
  • 主办单位:中国计算机学会 中国科学院计算技术研究所
  • 主编:孙凝晖
  • 地址:北京中关村科学院南路6号
  • 邮编:100190
  • 邮箱:cjc@ict.ac.cn
  • 电话:010-62620695
  • 国际标准刊号:ISSN:0254-4164
  • 国内统一刊号:ISSN:11-1826/TP
  • 邮发代号:2-833
  • 获奖情况:
  • 中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 美国数学评论(网络版),荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:48433