位置:成果数据库 > 期刊 > 期刊详情页
大规模复杂网络社区并行发现算法
  • ISSN号:0254-4164
  • 期刊名称:《计算机学报》
  • 时间:0
  • 分类:TP311[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]成都信息工程大学信息安全工程学院,成都610225, [2]西南交通大学信息科学与技术学院,成都610031, [3]成都信息工程大学管理学院,成都610103, [4]电子科技大学大数据研究中心,成都611731, [5]广西师范学院科学计算与智能信息处理广西高校重点实验室,南宁530023, [6]四川大学计算机学院,成都610065
  • 相关基金:国家自然科学基金(61100045,61165013); 高等学校博士学科点专项科研基金(20110184120008); 教育部人文社会科学研究规划基金(15YJAZH058);教育部人文社会科学研究青年基金(14YJCZH046); 四川省教育厅资助科研项目(14ZB0458); 科学计算与智能信息处理广西高校重点实验室开放课题(GXSCIIP201407)资助
中文摘要:

随着网络规模的不断扩大,传统社区发现算法已无法有效和高效地处理大规模网络数据.基于Spark分布式图计算模型,提出大规模复杂网络社区并行发现算法DBCS(Discovering Big Community on Spark).算法利用基于模块度的聚类思想,首先计算出节点对之间的模块度增量,然后迭代查找出所有模块度增量最大的节点对,对所有节点对进行合并操作,并更新节点对之间的模块度增量,进而实现大规模复杂网络社区识别.大量真实复杂网络与仿真网络数据集上的实验结果表明:DBCS算法能有效地解决传统社区发现算法无法处理的大规模复杂网络社区划分问题,百万级以上节点处理时间约为4min,是Hadoop平台下并行发现算法运行时间的1/20,社区识别准确率比传统社区发现算法提高了7.4%.

英文摘要:

As the size of networks grows larger,traditional community discovery algorithms cannot effectively and efficiently process the large-scale network data.Based on the Spark distributed graph computing model,this study proposes a parallel algorithm for discovering communities in large-scale complex networks,called DBCS(Discovering Big Community on Spark). The proposed approach employs the basic idea of clustering method beyond modularity,which first calculates the increment of the modularity between the node pairs,and then iteratively finds themaximum modularity increment among all the node pairs.Lastly,it merges the node pairs,and updates the modularity increment of the remaining nodes,in order to identify the communities in large-scale complex networks.Extensive experiments are conducted on several real and synthetic network datasets and the results demonstrate that DBCS can effectively deal with the problem of partitioning the large-scale networks that does not make sense for traditional algorithms.In particular,it only takes about four minutes to handle more than one million nodes for community discovery.In addition,the time cost is reduced to 1/20 of the parallel algorithm based on Hadoop.The accuracy is improved by 7.4% when compared to traditional community discovery algorithms.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《计算机学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学院
  • 主办单位:中国计算机学会 中国科学院计算技术研究所
  • 主编:孙凝晖
  • 地址:北京中关村科学院南路6号
  • 邮编:100190
  • 邮箱:cjc@ict.ac.cn
  • 电话:010-62620695
  • 国际标准刊号:ISSN:0254-4164
  • 国内统一刊号:ISSN:11-1826/TP
  • 邮发代号:2-833
  • 获奖情况:
  • 中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 美国数学评论(网络版),荷兰文摘与引文数据库,美国工程索引,美国剑桥科学文摘,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:48433