针对当前主流数字地形分析的相关理论和方法主要面向单一数据集,及并行数字地形分析研究缺乏系统化的现状,从并行计算模式下地形属性计算特征、处理器负载特征和数据管道流量特征分析等方面入手,在理论研究和实验评价的基础上,按照地形属性分类,对典型数字地形分析因子和算法的并行计算架构耦合度进行研究,提出适合算子分类特征的分布式数据部署和算法分配策略。以此为基础,研究并行计算模式下顾及地形结构特征和算法计算特征的DEM动态拆分策略;分析区域地形分析算子和局部地形分析算子的边界效应,进行量化评价,并研究消减边界效应的多尺度数据叠置处理和计算点依赖的数据多级缓存、异步调度和融合机制。在上述研究基础上,选择典型串行化数字地形分析算法,研究其并行化改造方法,以及结果数据流融合方法,进而探讨普适的面向并行运算的数字地形分析算法结构体系,系统的提出和完善基于海量数据库的并行计算平台下数字地形分析的理论和方法。
parallel DTA;Hadoop;task granularity model;quantitative analysis;fault tolerant
经过三年研究,课题按计划完成了相应的研究任务。 面向并行数字地形分析I/O需求,设计了基于云平台的DEM海量数据库管理方法,支持三级空间索引,支持基于范围、分辨率、以及内容的DEM数据快速检索与提取,并构建了基于Hadoop的海量DEM数据管理实验平台系统,为并行数字地形分析的提供了快速数据访问支持。 提出了任务粒度模型的概念和量化方法,从地形属性的计算特征、数据负载特征、任务拆分方法等方面,量化描述地形分析算法的计算属性和通信属性,通过计算量、通讯量、任务之间依赖关系的定性与定量描述,为不同数字地形分析算法的数据与任务并行策略提供理论依据。设计了针对局部地形分析算子的规则静态数据划分方法和任务分配策略,以及针对区域与全局地形分析算子的不规则数据划分方法与动态数据及任务分配策略。以坡度坡向计算、洼地填平、可视性分析等基本数字地形分析算子,以及累计可视域分析、黄土沟沿线提取等复杂地形特征分析的并行化为例,基于MPI、OpenMP、OpenCL等多种并行开发环境,经实验验证了所提出的并行数据调度与任务分配策略的有效性。基于软件容错模型,以并行数字地形分析为目标对象,提出了基于邻域型算法的容错策略N-ABFT,以及对应的容错调度算法。 综上所述,本课题系统研究了并行数字地形分析的数据管理、数据划分、任务调度、地形结构影响、算法特征量化、负载均衡、系统容错、误差分析等方面的理论和方法,为基于大范围高精度DEM进行数字地形分析应用提供了良好基础。