位置:成果数据库 > 期刊 > 期刊详情页
一种基于MapReduce的动态数据流分类算法
  • ISSN号:1000-8608
  • 期刊名称:大连理工大学学报
  • 时间:2014.7
  • 页码:461-468
  • 分类:TP312[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]大连理工大学电子信息与电气工程学部计算机科学与技术学院,辽宁大连116024, [2]大连理工大学创新实验学院,辽宁大连116024, [3]大连民族学院信息与通信工程学院,辽宁大连116600
  • 相关基金:国家自然科学基金资助项目(61173163,51105052);教育部新世纪优秀人才支持计划资助项目(NCET-09-0251);辽宁省教育厅资助项目(201102037).
  • 相关项目:TRIZ多冲突设计问题的工程语义网求解及专利知识挖掘方法与应用
中文摘要:

当前动态数据流下的实时分类问题存在3个难点:针对海量数据的实时处理;概念漂移的跟踪和模型的更新;模型的稳定和鲁棒性。针对上述问题,将极端支持向量机(extreme support vector machine,ESVM)与 MapReduce 框架结合,提出了带遗忘因子的鲁棒 ESVM算法。该方法通过构造残差权重矩阵,对残差进行修正,同时加入遗忘因子,提高新样本的作用,从而实现对海量数据处理问题的求解。实验结果显示,所提出方法能够快速有效地对动态数据流进行分类,且结果不易受到噪声干扰,稳定性强。

英文摘要:

There are three difficulties in real-time dynamic data stream classification:real-time processing of massive data, tracking of concept drift and model updates, model's stability and robustness.To solve these problems,extreme support vector machine (ESVM)is combined with MapReduce framework,and a forgetting factor robust ESVM algorithm (FFR-ESVM)is proposed. The proposed algorithm amends the residuals by constructing a residual matrix,while improves the effect of new samples by forgetting factor.Experimental results show that the proposed algorithm can rapidly and effectively classify dynamic data stream,and the results are stable and less affected by noise interference.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《大连理工大学学报》
  • 中国科技核心期刊
  • 主管单位:教育部
  • 主办单位:大连理工大学
  • 主编:程耿东
  • 地址:大连理工大学学报编辑部
  • 邮编:116024
  • 邮箱:xuebao@dlut.edu.cn
  • 电话:0411-84708608
  • 国际标准刊号:ISSN:1000-8608
  • 国内统一刊号:ISSN:21-1117/N
  • 邮发代号:8-82
  • 获奖情况:
  • 国家“双百”期刊,1997年获首届中国期刊奖提名奖、获第二届全国优秀...,1992年获全国优秀科技期刊评比三等奖
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,美国化学文摘(网络版),美国数学评论(网络版),波兰哥白尼索引,德国数学文摘,荷兰文摘与引文数据库,美国剑桥科学文摘,英国科学文摘数据库,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:15881