东篱科研大数据发现系统（DRDS）

位置：成果数据库 > 期刊 > 期刊详情页

基于Spark深度感知决策树的恒星/星系分类应用研究

ISSN号：1001-3695
期刊名称：《计算机应用研究》
时间：0
分类：TP181[自动化与计算机技术—控制科学与工程;自动化与计算机技术—控制理论与控制工程]
作者机构：[1]桂林电子科技大学认知无线电与信息处理教育部重点实验室,广西桂林541004, [2]桂林电子科技大学通信网信息传输与分发技术重点实验室,广西桂林541004, [3]桂林电子科技大学广西密码学与信息安全重点实验室,广西桂林541004, [4]桂林电子科技大学广西无线宽带通信与信号处理重点实验室,广西桂林541004
相关基金：国家自然科学基金资助项目（61362006,61261017,61571143,61561014）; 中电54所通信网信息传输与分发技术重点实验室基金资助项目（ITD-U14008/KX142600015（2014））; 北京邮电大学泛在网络教育部重点实验室基金资助项目（KFKT-2014102）; 认知无线电与信息处理教育部重点实验室基金资助项目（2013ZR08,CRKL150112）; 广西无线宽带通信与信号处理重点实验室基金资助项目（GXKL0614202,GXKL0614101,GXKL061501）; 广西自然科学基金资助项目（2013GXNSFAA019334）; 桂林电子科技大学研究生教育计划资助项目（YJCXS201517）

关键词： SPARK, 深度学习, 决策树, 并行化, 恒星/星系, 分类, Spark, deep learning, decision tree, parallelization, star/galaxy, classification

中文摘要：

针对传统决策树分类算法需要依靠人工构造特征才能实现对数据进行分类的问题,以及其在处理海量天文数据时所面临的处理速度和资源分配瓶颈问题,结合深度学习强大的特征学习能力和Spark高效的数据处理性能,提出了一种基于Spark平台的深度感知决策树并行化算法,并将其应用于天文恒星/星系分类问题中。研究结果表明,该算法具有很好的可伸缩性,可以通过增加Spark集群计算节点的数量,来减少分类模型所需的训练时间和增强其对海量天文数据的处理能力。并且,其因同时具备强大的特征学习和分类能力而在恒星星系分类问题上可以获得比传统决策树更高的分类准确率。

英文摘要：

In view of the traditional decision tree need to predefine the features before classifying data,and in order to solve the bottleneck problems of processing speed and resource allocation when dealing with massive astronomical data,considering the strong representation learning of deep learning and good performance of processing huge amounts of data on Spark,this paper proposed a parallel deep neural decision tree based on Spark. And then it was applied on the astronomy star / galaxy separation problem. The results show that,this algorithm can scale well with cluster size as it can dramatically decrease the training time of model and enhance the ability of processing massive astronomy data with it. Moreover,it obtains a better classification accuracy on the star / galaxy separation problem by addressing the decision tree to learn the proper representations of input data and the final classifiers in a joint manner.

同期刊论文项目