位置：成果数据库 > 期刊 > 期刊详情页
基于MapReduce的并行PLSA算法及在文本挖掘中的应用
  • ISSN号：1003-0077
  • 期刊名称：中文信息学报
  • 时间：2015
  • 页码：79-86
  • 分类：TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构：[1]中国科学院计算技术研究所智能信息处理重点实验室,北京100190, [2]中国科学院大学,北京100190, [3]河北大学数学与计算机学院机器学习与计算智能重点实验室,河北保定071002
  • 相关基金：国家自然科学基金（61175052,61203297,61035003）;国家863高技术研究发展计划（2014AA012205,2013AA01A606,2012AA011003）.
  • 相关项目：领域适应性问题相关学习算法与理论研究
作者： 罗文娟|庄福振|何清|史忠植|
关键词： 概率主题模型, MAPREDUCE, 并行, 语义分析, probabilistic latent semantic analysis, MapReduce, text clustering, semantic analysis
中文摘要：

PLSA（Probabilistic Latent Semantic Analysis）是一种典型的主题模型。复杂的建模过程使其难以处理海量数据，针对串行PLSA难以处理海量数据的问题，该文提出一种基于MapReduce计算框架的并行PLSA算法，能够以简洁的形式和分布式的方案来解决大规模数据的并行处理问题，并把并行PLSA算法运用到文本聚类和语义分析的文本挖掘应用中。实验结果表明该算法在处理较大数据量时表现出了很好的性能。

英文摘要：

PLSA（（Probabilistie Latent Semantic Analysis） is a typical topic model. To enable a distributed computation of PLSA for the ever-increasing large datasets, a parallel PLSA algorithm based on MapReduce is proposed in this paper. Applied in text clustering and semantic analysis, the algorithm is demonstrated by the experiments for s its scalability in dealing with large datasets.

同期刊论文项目
基于云计算的海量数据挖掘
期刊论文 172 会议论文 96 获奖 10 专利 3 著作 7
领域适应性问题相关学习算法与理论研究
期刊论文 31 会议论文 42 获奖 1
基于生成模型的迁移学习算法研究及其应用
期刊论文 20 会议论文 22
同项目期刊论文
<span>Using Artificial Plant Optimization Algorithm to Solve Coverage Problem in WSN</span&
一种基于跨领域典型相关性分析的迁移学习方法<br />
A Hybrid P2P Approach to Service Discovery in the Cloud
<span>An Adaptive Approach to Learning Optimal Neighborhood Kernels</span>
<span>A Literature Survey on Robust and Efficient Eye Localization in Real-life Scenarios</
<span>Simultaneous clustering and classification over cluster structure representation</spa
<span>Minimum cost attribute reduction in decision-theoretic rough set models</span>
Combining supervised and unsupervised models via unconstrained probabilistic embedding
<span>Graph optimization for dimensionality reduction with sparsity constraints</span>
Accelerating Multi-agent Reinforcement Learning by Equilibrium Transfer
<span>An Improved Artificial Plant Optimization Algorithm for Coverage Problem in WSN</span
<span>Maximum Volume Clustering: A New Discriminative Clustering Approach</span>
<span>Multi-objective Evolutionary Algorithms for filter Based Feature Selection in Classifica
<span>Online Selective Kernel-Based Temporal Difference Learning</span>
<span>Query-dependent cross-domain ranking in heterogeneous network</span>
Special Issue on Recent Advances on Swarm Intelligence: Theory and Applications
Using Gravitropism Artificial Plant Optimization Algorithm to Solve Toy Model of Protein Folding
Using Splitting Artificial Plant Optimization Algorithm to Solve Toy Model of Protein Folding
三维网格空间上的自组装模型
Cognitive Cycle in Mind Model CAM
A Mind Model CAM in Intelligence Science
基于Hadoop 云平台的并行数据挖掘方法
Hybrid Designing of a Neural System by Combining Fuzzy Logical Framework and PSVM for Visual Haze-Fr
<span>Multimodal Sparse Representation-Based Classification for Lung Needle Biopsy Images</
<span>TRASMIL: A local anomaly detection framework based on trajectory segmentation and multi-
<span>On an optimization representation of decision-theoretic rough set model</span>
<span>Visual Word Coding Based on Difference Maximization</span>
<span>Adaptive support framework for wisdom web of things</span>
<span>Safety-Aware Semi-Supervised Classification</span>
<span>Co-metric: A Metric Learning Algorithm for Data with Multiple Views</span>
<span>Analysis of Non-Local Euclidean Medians and Its Improvement</span>
基于聚度的PSO参数分析
联机核模糊C均值聚类方法
<span>Image annotation by modeling Supporting Region Graph</span>
计算文本的情感描述值的算法
Rete算法<span>: </span>研究现状与挑战
三维网格模型的边界性度量方法
STRUCTURALLY ENHANCED INCREMENTAL NEURAL LEARNING FOR IMAGE CLASSIFICATION WITH SUBGRAPH EXTRACTION
基于人脸图像的年龄估计
Computational Cognitive Models for Brain-Machine Collaborations
Structural regularized support vector machine: a framework for structural large margin classifier
<span>A novel multi-view learning developed from single-view patterns</span>
Sparse non-negative tensor factorization using columnwise coordinate descent
混合概率典型相关性分析<br />
<div> 基于威胁传播采样的复杂信息系统风险评估 </div>
Foundations of Intelligence Science
<span>Support Vector Machine with Mixture of Kernels for Automatic Image Annotation</span&g
Video Behavior Analysis Using Topic Models and Rough Sets
<span>Image Retrieval Based on Augmented Relational Graph Representation</span>
<span>Soft large margin clustering</span>
特征采样和特征融合的子图像人脸识别方法
Social Emotional Optimization Algorithm with Gaussian Distribution for Optimal Coverage Problem
大数据下的机器学习算法综述
基于动态描述逻辑的语义Web服务组合
中国数据挖掘研究进展
基于特征融合的多模态身份识别方法研究
颌面战创伤救治智能决策支持系统的构建(下)
基于社区发现的多主体信任评估
面向服务的云数据挖掘引擎的研究
A Cognitive Model for Multi-Agent Collaboration
Multi-agent Reinforcement Learning with Unshared Value Functions
基于<span>LDA</span>主题模型的社会网络链接预测
利用图像类标信息的自调式字典学习方法
一种基于耦合对象相似度的项目推荐算法
不完美信息扩展式博弈中在线虚拟遗憾最小化
基于数据共性的鲁棒特征表示
一种基于深度信念网络的二代身份证异构人脸核实算法
A Novel Multi-view Classifier based on Nystrom Approximation
SCIHTBB: Sparsity constrained iterative hard thresholding with Barzilai–Borwein step size
<span>New semi-supervised classification based on modified clustering assumption</span>
XCSc: A Novel Approach of Clustering with Extended Classifier System
New trends on bio-inspired computation
A Family of Dynamic Description Logics for Representing and Reasoning About Actions
基于Hadoop平台的海量文本分类的并行化
一种基于MapReduce的频繁闭项集挖掘算法
A parallel incremental extreme SVM classifier
一种基于语义轨迹的事件规则学习算法
权衡熵和相关度的自动摘要技术研究
A Posteriori Approach for Community Detection
基于视频流的复杂场景公车人头对象计数研究
Parallel Web Mining System Based on Cloud Platform
D3L_(ccy)的属性及分布式Tableaux推理算法的研究
<span>Parallel extreme learning machine for regression based on MapReduce</span>
基于三支决策粗糙集的视频异常行为检测
一种自适应求三枝决策中决策阈值的算法
多模态张量数据挖掘算法及应用
LDA-CRF:一种基于概率图模型的目标检测方法
Support Vector Machine incorporated with feature discrimination
A structurally motivated framework for discriminant analysis
Newman and Watts Small World Social Emotional Optimization Algorithm with WSN
Exploiting relevance, coverage, and novelty for query-focused multi-document summarization
<span>Transductive cost-sensitive lung cancer image classification</span>
<span>Orthogonality-based Label Correction in Multi-class Classification</span>
基于相容粒度空间模型的自适应图像语义分类方法
基于Hadoop云平台的并行数据挖掘方法
Eyes Closeness Detection from Still Images with Multi-scale Histograms of Principal Oriented Gradien
代价敏感分类策略在肺癌细胞识别诊断中的应用
可判定的时序动态描述逻辑
RCSM:多主体系统中的可靠关键子系统模型
mPadal: a joint local-and-global multi-view feature selection method for activity recognition
一种基于子空间学习的图像语义哈希索引算法
基于分布相似度迁移的关键路由设备检测
SSXCS：半监督学习分类系统
一种求三支决策阈值的模拟退火算法
基于LDA主题模型的社会网络链接预测
基于核方法的连续动作Actor-Critic学习
联机局部自适应模糊C均值聚类算法
离散线性一致性算法噪声问题研究
线性均方一致性问题的偏差估计
基于弱匹配概率典型相关性分析的图像自动标注
一种基于子空间学习的图像语义哈希索引方法
视频人脸识别中判别性联合多流形分析
基于多示例学习的异常行为检测方法
一种基于跨领域典型相关性分析的迁移学习方法
基于语义轨迹的视频事件探测
基于维基百科和条件随机场的领域主题词抽取方法
基于动态描述逻辑的Web自动化服务组合
支持链式桥规则的分布式动态描述逻辑
链式桥规则导致的D3L知识传播及推理
基于内容图像检索中的优化鉴别特征
Support vector machine with mixture of kernels for automatic image annotation
Fusing PLSA model and Markov random fields for automatic image annotation
LDA—CRF：一种基于概率图模型的目标检测方法
A visual awareness pathway in cognitive model ABGP
元数据存储库系统中违背良格式约束潜在操作的推理
大数据与云计算
基于感知机理的智能信息处理技术
Parallel Implementation of Apriori Algorithm Based on MapReduce&rdquo;, International Journal of
迁移学习研究进展
Energy Model for Rumor Propagation on Social Networks. Physica A: Statistical Mechanics and its Appl
大数据挖掘与云服务模式
Parallel sampling from big data with uncertainty distribution
大数据下的机器学习算法综述
Parallel Web Mining System Based on Cloud Platform
一种基于Hadoop的大数据挖掘云服务及应用
使用维度选择的粒子群优化方法
基于云计算的大数据挖掘平台
Learning deep representations via extreme learning machines
PDMiner:基于云计算的并行分布式数据挖掘工具平台
迁移学习研究进展
Energy model for rumor propagation on social networks
QPLSA: Utilizing quad-tuples for aspect identification and rating
大数据下的机器学习算法综述
Parallel Web Mining System Based on Cloud Platform
一种基于Hadoop的大数据挖掘云服务及应用
期刊信息
  • 《中文信息学报》
  • 北大核心期刊（2011版）
  • 主管单位:中国科学技术协会
  • 主办单位:中国中文信息学会 中国科学院软件研究所
  • 主编：孙茂松
  • 地址：北京海淀中关村南四街4号中科院软件所
  • 邮编：100190
  • 邮箱：jcip@iscas.ac.cn
  • 电话：010-62562916
  • 国际标准刊号：ISSN：1003-0077
  • 国内统一刊号：ISSN：11-2325/N
  • 邮发代号:
  • 获奖情况:
  • 国内外数据库收录:
  • 日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊（2004版）,中国北大核心期刊（2008版）,中国北大核心期刊（2011版）,中国北大核心期刊（2014版）,中国北大核心期刊（2000版）
  • 被引量:9136