位置:成果数据库 > 期刊 > 期刊详情页
PBS:一种面向集群环境的ETL调度算法
  • ISSN号:1672-9722
  • 期刊名称:《计算机与数字工程》
  • 时间:0
  • 分类:TP301.6[自动化与计算机技术—计算机系统结构;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]贵州大学先进计算与医疗信息服务工程实验室,贵阳550025
  • 相关基金:国家自然科学基金(编号:61462012,61562010,U1531246)资助.
中文摘要:

论文设计并实现了一个集群式ETL(Extract-Transform-Load)任务处理平台,该平台支持异构数据源的多源数据集,提出了基于预测时间调度算法。该算法对任务进行调度优化,以提高数据抽取、转换和加载等任务的执行效率。基于实际应用的实验结果证明,集群式ETL任务调度技术对于减少多个ETL任务并行执行的总时间,提升ETL任务的执行效率具有良好的效果。

英文摘要:

This paper designs and realizes a clustered ETL(Extract-Transform-Load)task processing platform.The platform supports multi-source data integration of heterogeneous data sources,and proposes the scheduling algorithm based on the predicating time.The algorithm realizes task scheduling optimization,which mainly improving the execution efficiency of data extracting,transforming and loading etc.Based on the experimental results of actual applications,it is known that the cluster ETL task scheduling technology has a great effect for reducing the multiple ETL task parallel execution time and improving ETL task execution efficiency.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机与数字工程》
  • 主管单位:中国船舶重工集团公司
  • 主办单位:中船重工集团公司七院第七0九研究所
  • 主编:王小非
  • 地址:武昌74223信箱
  • 邮编:430074
  • 邮箱:jssg@chinajournal.net.cn
  • 电话:027-87534308 87534205
  • 国际标准刊号:ISSN:1672-9722
  • 国内统一刊号:ISSN:42-1372/TP
  • 邮发代号:
  • 获奖情况:
  • 国内外数据库收录:
  • 被引量:13630