位置:成果数据库 > 期刊 > 期刊详情页
DLPF:基于异构体系结构的并行深度学习编程框架
  • ISSN号:1000-1239
  • 期刊名称:计算机研究与发展
  • 时间:2016.1.1
  • 页码:1-8
  • 分类:TP183[自动化与计算机技术—控制科学与工程;自动化与计算机技术—控制理论与控制工程]
  • 作者机构:[1]国防科学技术大学并行与分布处理国防重点实验室,长沙410073, [2]国防科学技术大学计算机学院,长沙410073
  • 相关基金:国家自然科学基金项目(61125201,U1435219)
  • 相关项目:高性能可重构算法加速器体系结构研究
中文摘要:

深度学习在机器学习领域扮演着十分重要的角色,已被广泛应用于各种领域,具有十分巨大的研究和应用前景.然而,深度学习也面临3方面的挑战:1)现有深度学习工具使用便捷性不高,尽管深度学习领域工具越来越多,然而大多使用过程过于繁杂,不便使用;2)深度学习模型灵活性不高,限制了深度学习模型发展的多样性;3)深度学习训练时间较长,超参数搜索空间大,从而导致超参数寻优比较困难.针对这些挑战,设计了一种基于深度学习的并行编程框架,该框架设计了统一的模块库,能可视化地进行深度学习模型构建,提高了编程便捷性;同时在异构平台对算法模块进行加速优化,较大程度减少训练时间,进而提高超参数寻优效率.实验结果表明,该编程框架可以灵活构建多种模型,并且对多种应用取得了较高的分类精度.通过超参数寻优实验,可以便捷地获得最优超参数组合,从而推断各种超参数与不同应用的联系.

英文摘要:

Deep learning plays an important role in machine learning field,and it has been widely used in various applications.The prospect of research and applications of deep learning are huge.However,deep learning also faces several challenges.Firstly,there are many tools in deep learning field,but these tools are not convenient to use for non-expert users because the installation and usage of them are really complex.Secondly,the diversity of deep learning is limited because the flexibility of existing deep learning models is not enough.Furthermore,the training time of deep learning is so long that the optimal hyper-parameters combination cannot be found in a short time.To solve these problems,we design a deep learning programming framework based on heterogeneous architecture in this paper.The programming framework establishes a unified module library which can be used to build a deep model through the visual interface conveniently.Besides,the framework also accelerates the basic modules on heterogeneous platform,and makes the speed of searching optimal hyperparameters combination be faster.Experimental results show that the programming framework can construct deep models flexibly,and more importantly,it can achieve comparative classification results and better timing performance for a variety of applications.In addition,the framework can search optimal hyper-parameters efficiently and make us infer the relationship of all hyper-parameters.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机研究与发展》
  • 中国科技核心期刊
  • 主管单位:中国科学院
  • 主办单位:中国科学院计算技术研究所
  • 主编:徐志伟
  • 地址:北京市科学院南路6号中科院计算所
  • 邮编:100190
  • 邮箱:crad@ict.ac.cn
  • 电话:010-62620696 62600350
  • 国际标准刊号:ISSN:1000-1239
  • 国内统一刊号:ISSN:11-1777/TP
  • 邮发代号:2-654
  • 获奖情况:
  • 2001-2007百种中国杰出学术期刊,2008中国精品科...,中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,荷兰文摘与引文数据库,美国工程索引,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:40349