位置:成果数据库 > 期刊 > 期刊详情页
基于MapReduce技术的并行集成分类算法
  • ISSN号:1000-0801
  • 期刊名称:电信科学
  • 时间:2012.7.7
  • 页码:40-47
  • 分类:TP393.03[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]浙江工商大学信息学院,杭州310018, [2]浙江工商大学现代商贸研究中心,杭州310000
  • 相关基金:国家自然科学基金资助项目(No.71071141,No.71071140),浙江省自然科学基金资助重点项目(No.Z1091224),国家教育部博士点基金资助项目(No.20103326110001),浙江省重大科技计划基金资助项目(No.2010C13021),浙江省自然科学基金资助项目(No.Y6110628,No.Y1090617,No.LQ12G01007),浙江省研究生科研创新项目
  • 相关项目:融入概念漂移情境的商业数据流挖掘及可靠性研究
中文摘要:

由于计算机内存资源限制,分类器组合的有效性及最优性选择是机器学习领域的主要研究内容。经典的集成分类算法在处理小数据集时,拥有较高的分类准确性.但面对大量数据时。由于多基分类器学习、分类共用1台计算机资源,导致运算效率较低,这显然不适合处理当今的海量数据。针对已有集成分类算法只适合作用于小规模数据集的缺点,剖析了集成分类器的特性,采用基于聚合方式的集成分类器和云计算的MapReduce技术设计了并行集成分类算法(EMapReduce),达到并行处理大规模数据的目的。并在Amazon计算集群上模拟实验.实验结果表明该算法具有一定的高效忡和可行件.

英文摘要:

Because of the computer memory resource constraints, the effectiveness of the combination of classifier and the optimal choice is the main contents of the field of machine learning. Classic ensemble classification algorithm in dealing with small data sets with a higher classification accuracy, but the face of large amounts of data, more than the base classifier learning, classification occupy mangy computer resources, leading to low computational efficiency, which is obviously not suited to deal with today's massive data. For the already integrated the classification algorithm is only suitable for the role of the shortcomings of small-scale data sets, analyze the characteristics of the ensemble classifier, using the parallel integration algorithm based on the aggregation of the ensemble classifier and cloud computing, MapReduce technology to achieve parallel processing the purpose of the massive scale of data. And in the Amazon compute cluster to simulate the experimental results show that the algorithm has a certain efficiency and feasibility.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《电信科学》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学技术协会
  • 主办单位:中国通信学会 人民邮电出版社
  • 主编:韦乐平
  • 地址:北京市丰台区成寿寺路11号邮电出版大厦8层
  • 邮编:100078
  • 邮箱:dxkx@ptpress.com.cn
  • 电话:010-81055443
  • 国际标准刊号:ISSN:1000-0801
  • 国内统一刊号:ISSN:11-2103/TN
  • 邮发代号:2-397
  • 获奖情况:
  • 获第二届全国优秀科技期刊评比三等奖(1997年),获中国科协优秀科技期刊二等奖(1997年),在第四次邮电科技期刊质量检查评比中荣获优秀科技...,国家新闻出版总署将《电信科学》列为“中国期刊方...,获第三届中国科技优秀科技期刊奖三等奖(2002年),在第五次通信行业科技期刊质量检查评比中荣获优秀...,在第六次通信行业科技期刊质量检查评比中荣获优秀...,2008年再次入选《中文核心期刊要目总览》,2009年入选中国科技论文统计
  • 国内外数据库收录:
  • 美国剑桥科学文摘,英国科学文摘数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:12435