位置:成果数据库 > 期刊 > 期刊详情页
基于MapReduce的大规模图挖掘并行计算模型
  • ISSN号:1009-671X
  • 期刊名称:应用科技
  • 时间:0
  • 页码:56-60
  • 分类:TP311[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]北京邮电大学计算机科学与技术学院,北京100876
  • 相关基金:国家自然科学基金资助项目(60905025,90924029,61074128).
  • 相关项目:非常规突发事件中网络舆情作用机制与相关技术研究
中文摘要:

在如何快速发现大规模网络的结构和特性问题中,网络规模及复杂度的快速增长给其分析研究带来了新的挑战.MapReduce及其开源实现Hadoop给大规模图的高效处理带来了希望.基于MapReduce框架的集群系统,提出了1种新的计算模型用于大规模图形的3-clique计算,来实现图挖掘.计算的基本步骤是:首先获取每个节点的第1跳信息,然后是第2跳信息,最后得到所有基于该节点的3-clique.该计算模型可以用来计算聚集系数,并且可以用于三大通话网络的挖掘.实验结果证明这种计算模型具有良好的可扩展性和性能.

英文摘要:

Large-scale graphs exist everywhere. The continued exponential growth in both the size and complexity of the graphs is posing a new challenge for fmding the structures and characters of a large-scale graph. An excellent promising clue for dealing with graphs with great sizes is the emerging MapReduce framework and its open-source implementation, Hadoop. The problem of 3-clique enumeration of a graph is an important operation that can help structure mining and a difficult mission for graphs with great sizes on the single computer. In this paper, we propose a parallel computing model for 3-clique enumeration based on cluster system with the help of MapReduce for large-scale graphs. The process of enumeration is firstly to extract one-leap information of the graph, then the two-leap information and finally, the key-based 3-clique enumeration. Also, we apply the computing model to the computation of clustering coefficient. The computing model is applied to three real-world large CALL graphs and the results of the experiments manifest the good scalability and efficiency of the model.

同期刊论文项目
期刊论文 22 会议论文 28 专利 1 著作 1
同项目期刊论文
期刊信息
  • 《应用科技》
  • 中国科技核心期刊
  • 主管单位:中华人民共和国工业和信息化部
  • 主办单位:哈尔滨工程大学
  • 主编:朱齐丹
  • 地址:哈尔滨市南通大街145号1号楼
  • 邮编:150001
  • 邮箱:heuyykj@126.com
  • 电话:0451-82518135
  • 国际标准刊号:ISSN:1009-671X
  • 国内统一刊号:ISSN:23-1191/U
  • 邮发代号:14-160
  • 获奖情况:
  • 获教育部"中国高校特色科技期刊奖",获工业和信息化部"编辑质量优秀奖
  • 国内外数据库收录:
  • 美国化学文摘(网络版),美国剑桥科学文摘,中国中国科技核心期刊
  • 被引量:5929