中文摘要：

并行数据流编程框架如MapReduce、Dryad、Pig等被广泛应用于处理日益增长的数据。并行数据流程序执行时产生海量的中间数据，占用大量存储资源。同时，中间数据分布式产生，需要在大量节点间进行传输。另外，中间数据的容错机制也严重影响系统性能。此外，大量并行数据流程序的并发运行于云平台，对中间数据管理的任务调度和资源管理提出挑战。本课题充分考虑中间数据特殊读写模式、生命周期短、与应用语义密切相关的特点，在云平台背景下研究并行数据流程序的海量中间数据的存储、传输、容错的优化技术，包括基于分布式协同缓存优化并行数据流程序的中间数据访问；QoS保障的中间数据传输调度策略；应用语义感知的中间数据容错策略。本课题将实现中间数据管理原型系统，并集成到Hadoop平台，同时通过实验评价其优化效果。本课题有利于优化基于并行数据流编程框架的云应用性能，并大大降低资源成本。