位置:成果数据库 > 期刊 > 期刊详情页
基于Spark的改进关联规则算法研究
  • ISSN号:0258-7998
  • 期刊名称:《电子技术应用》
  • 时间:0
  • 分类:TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:太原科技大学电子信息工程学院,山西太原030024
  • 相关基金:国家自然科学基金(41272374)
作者: 叶璐, 董增寿
中文摘要:

针对关联规则Apriori算法在信息爆炸时代面对海量数据时,其计算周期大、算法效率低等问题,将数据以特定的数据结构进行存储,降低数据遍历次数;在连接操作前进行剪枝操作,并且改变剪枝操作的判定条件;同时将改进算法IApriori与基于内存的大数据并行计算处理框架Apache Spark相结合,提出了一种基于Spark的Apriori改进算法(Spark+IAprior)。实验结果表明,Spark+IApriori算法在集群伸缩性和加速比方面都优于Apriori算法。

英文摘要:

Association rules Apriori algorithm have problems with large calculation cycle and low algorithm efficiency faced with huge amounts of data in the era of information explosion, data in a specific storage on the data structure to reduce the data on the number of times past, pruning operation before the items self-joins and changing the terms of judgment have been adopted in the paper, and the algorithm combined with Spark computing framework, an improved algorithm based on the Spark(Spark +IApriori) can be put forward. Experimental results show that the Spark+IApriori algorithm has a good data scalability and speed ratio than Apriori.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《电子技术应用》
  • 中国科技核心期刊
  • 主管单位:中国电子信息产业集团有限公司
  • 主办单位:华北计算机系统工程研究所
  • 主编:杨晖
  • 地址:北京市海淀区清华路25号
  • 邮编:100083
  • 邮箱:xinzw@ncse.com.cn
  • 电话:010-66608981 66608982
  • 国际标准刊号:ISSN:0258-7998
  • 国内统一刊号:ISSN:11-2305/TN
  • 邮发代号:2-889
  • 获奖情况:
  • 国家期刊奖,中文核心期刊奖,中国科技期刊奖,电子精品科技期刊
  • 国内外数据库收录:
  • 日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:20858