位置：成果数据库 > 期刊 > 期刊详情页
基于Map-Reduce的大数据实体识别算法
  • ISSN号：1000-1239
  • 期刊名称：《计算机研究与发展》
  • 时间：0
  • 分类：TP311.13[自动化与计算机技术—计算机软件与理论;自动化与计算机技术—计算机科学与技术]
  • 作者机构：[1]哈尔滨工业大学计算机科学与技术学院
  • 相关基金：国家“九七三”重点基础研究发展计划基金项目(2012CB316200);国家自然科学基金项目(61003046,61111130189,60933001);国家“八六三”高技术研究发展计划基金项目(2012AA011004);国家博士后基金项目(20090450126,201003447);高等学校博士学科点专项科研基金项目(20102302120054)
作者： 霍然[1], 王宏志[1], 朱鎔[1], 李建中[1], 高宏[1]
关键词： 实体识别, 大数据, HADOOP, MAP-REDUCE, 数据质量
中文摘要：

实体识别是数据量质融合管理中的一项关键技术,对能否提高数据质量起着决定性作用.其目的在于识别出数据中表示同一对象的不同形式;以及同一形式所代表的不同对象.随着大数据研究技术的发展,大数据上的实体识别问题受到了广泛关注.因此,在大数据的信息集成背景下,给出了一个基于Map-Reduce框架的大数据实体识别算法(entity identification in big data based on Map-Reduce,EIBM).该算法首先通过属性值计算记录间的相似程度,而后基于图聚类的方法进行实体识别从而输出得到最终结果.最后,在Hadoop平台上对真实数据集和人造数据集进行了多组实验,实验结果验证了算法的并行程度和对于处理大数据的有效性与高效性.

同期刊论文项目
不确定数据管理的理论与关键技术
期刊论文 108 会议论文 33
　海量信息可用性基础理论与关键技术研究
期刊论文 58
数据质量管理中实体识别关键技术的研究
期刊论文 36 会议论文 18
复杂数据上实体识别关键技术的研究
期刊论文 24 会议论文 15 著作 1
同项目期刊论文
劣质数据库上阈值相似连接结果大小估计
实体数据库中多相似连接顺序选择策略
An efficient entity resolution method for large relations
基于 probase 的互联网商品信息分类与推荐系统
On the Complexity of View Update Analysis and Its Application to Annotation Propagation
A Uniform Dependency Language for Improving Data Quality
Performance Guarantees for Distributed Reachability Queries
基于实体描述属性技术的XML重复对象检测方法
XML数据流上Top-K关键字查询处理
一种非清洁数据库的数据模型
复杂数据上的实体识别技术研究
Towards certain fixes with editing rules and master data
Efficient community detection with additive constrains on large networks
基于树结构索引的带权值字符串的 Top-k 查询算法
Polymorphic queries for P2P systems
基于距离度量的实体识别算法
PEIF:基于并行机群的大数据实体识别算法
基于Map-Reduce的大数据缺失值填充算法
基于众包的电子商务数据实体分类系统
社交网络中基于分类属性的好友推荐
标签劣质的XML数据上的查询处理
MapReduce框架下基于字符串波形的实体识别方法
在线RFID多复杂事件查询处理技术
劣质数据库上阈值相似连接结果大小估计
基于实体描述属性技术的XML重复对象检测方法
XML数据流上Top-K关键字查询处理
一种非清洁数据库的数据模型
复杂数据上的实体识别技术研究
基于压缩直方图的劣质数据库上相似连接结果大小估计
Graph-based reference table construction to facilitate entity matching
Efficient subgraph matching on billion node graphs
RM树：一种支持字符串相似性操作的索引
多维代价图模型上最优路径查询问题的研究
时间依赖代价函数下的最优路径查询问题研究
基于实体的相似性连接算法
不一致数据上查询结果的一致性估计
基于键规则的XML实体抽取方法
基于标签权重评分的推荐模型及算法研究
基于子树匹配的相似xml连接方法的研究
基于距离度量的实体识别算法
PEIF:基于并行机群的大数据实体识别算法
基于Map-Reduce的大数据缺失值填充算法
基于众包的电子商务数据实体分类系统
一种扩展条件函数依赖的发现算法
社交网络中基于分类属性的好友推荐
一种基于概率图模型的不确定性数据世系表示方法
无线传感器网络中基于双阈值的分布式监测算法
一种新的高效图聚集算法
基于双分支特征编码的子图查询处理算法
Sliding-window Top-k Queries on Uncertain Streams.
EQPN:数据中不确定性知识的定性表示及推理
GameTraffic:基于交通调度历史数据挖掘的路口最优调度及道路改造预测
异构信息网上的可达性查询
Efficiently Mining Time-Delayed Gene Expression Patterns.
Efficient and effective similarity search over probabilistic data based on earth mover's distance
Sliding-window top-k queries on uncertain streams
Outlier Detection over Sliding Windows for Probabilistic Data Streams
面向不确定图的概率可达查询
一种面向不确定对象的可见k 近邻查询算法
基于监控对象动态聚簇的高效rfid数据清洗模型
无线传感器网络中ε-近似区域聚集算法
演变图上的连接子图演变模式挖掘
Collection in Multi-Application Sharing Wireless Sensor Networks
An approach for reducing the graphical model and genetic algorithm for computing approximate Nash eq
一种障碍空间中不确定对象的连续最近邻查询方法
基于阈值的概率图可达查询
基于动态概率路径事件模型的rfid数据填补算法
Optimal Resource Placement in Structured Peer-to-Peer Networks
基于Prüfer序列的RDF数据索引与查询
基于Map-Reduce的海量数据高效Skyline查询处理
不确定数据流上的概率反轮廓查询处理
无线传感器网络中能量高效的Top-k监测算法
一种基站可移动传感器网络再编程协议
一种局部相关不确定数据库快照集合上的概率频繁最近邻算法
针对泊松流的截止期敏感的复杂事件处理资源分配模型
面向存在不确定对象的组最近邻查询方法
半限制空间内的RFID可能性k-近邻查询技术
一个通用最优的动态网络构建框架
MR-Tree: An efficient index for Map-Reduce
数据世系管理技术研究综述
一种不确定数据流聚类算法
PI-Join: Efficiently processing join queries on massive data
不确定移动对象的查询处理技术研究综述
基于实体描述属性技术的XML重复对象检测方法
一种非清洁数据库的数据模型
P2P环境下面向不确定数据的Top-k查询
A novel approach towards large scale cross-media retrieval
无线传感器网络具有跟踪质量保证的节点选择算法
无线传感器网络中可容错的事件监测算法
无线传感器网络中Skyline节点连续查询算法
ComMapReduce: An Improvement of MapReduce with Lightweight Communication Mechanisms
Improving SPARQL query performance with algebraic expression tree based caching and entity caching
An Efficient Method for Cleaning Dirty-Events over Uncertain Data in WSNs
面向不确定感知数据的频繁项查询算法
面向不确定图的k最近邻查询
基于对象异常频度的数据流阈值查询
无线传感器网络中最小化通信开销的近似监测算法
一种ρ-支配轮廓查询的高效处理算法
ε-近似和加权公平性保证的无线传感器网络拥塞控制算法
无线传感器网络高可靠低维护地理路由协议
混合无线传感器网络中的网关部署算法
基于监控对象动态聚簇的高效IⅦID数据清洗模型
Improving SPARQL query performance with algebraic expression tree based caching and entity caching
云计算系统中查询处理及优化技术研究综述
基于任务合并的并行大数据清洗过程优化
基于星型模式的一个多路top-k join算法
基于子树匹配的相似xml连接方法的研究
基于距离度量的实体识别算法
无线传感器网络数据收集问题综述
无线传感器网络关键技术研究
Minimum-Time Aggregation Scheduling in Duty-Cycled Wireless Sensor Networks
基于滑动窗口的Top-K概率频繁项查询算法研究
社交网络中基于分类属性的好友推荐
无线传感器网络中基于双阈值的分布式监测算法
数据中心网络中的无线通信技术
劣质数据库上阈值相似连接结果大小估计
异构信息网上的可达性查询
基于图压缩的k可达查询处理
数据时效性修复问题的求解算法
不确定图上期望最短距离的计算
无线传感器网络中能量高效的Top-k监测算法
一种基站可移动传感器网络再编程协议
基于实体描述属性技术的XML重复对象检测方法
XML数据流上Top-K关键字查询处理
一种非清洁数据库的数据模型
无线传感器网络具有跟踪质量保证的节点选择算法
无线传感器网络中可容错的事件监测算法
电子商务商品归一化方法研究
复杂数据上的实体识别技术研究
基于压缩直方图的劣质数据库上相似连接结果大小估计
基于时空一体化的海洋大数据快速展示平台
一种基于空间相关性的海洋环境监测数据优化抽样方法
含排他性选择规则的主动规则集的汇流性判定方法
RM树：一种支持字符串相似性操作的索引
无线传感器网络中最小化通信开销的近似监测算法
多维代价图模型上最优路径查询问题的研究
时间依赖代价函数下的最优路径查询问题研究
基于实体的相似性连接算法
数据质量多种性质的关联关系研究
ArtiMate：一种以Artifact为中心的多粒度协作流程建模方法
基于关联数据的一致性和时效性清洗方法
基于图压缩的最大Steiner连通k核查询处理？
无线传感器网络在桥梁健康监测中的应用
无线传感器网络中移动协助的数据收集策略
不一致数据上查询结果的一致性估计
基于键规则的XML实体抽取方法
基于标签权重评分的推荐模型及算法研究
基于MapReduce的相似自连接新方法：过滤和内切圆算法
位置敏感的社交网中最小种集选取算法研究
基于任务合并的并行大数据清洗过程优化
无线传感器网络数据收集问题综述
无线传感器网络关键技术研究
Protect You More Than Blank： Anti-Learning Sensitive User Information in the Social Networks
大数据可用性的研究进展
基于x-tuple的概率阈值top-k查询算法
大数据质量管理：问题与研究进展
高效的实体匹配结果消解算法
Accurate Indoor Navigation System Using Human-Item Spatial Relation
实体识别问题的相关研究
数据时效性判定：关键理论和技术
PEIF:基于并行机群的大数据实体识别算法
基于Map-Reduce的大数据缺失值填充算法
基于众包的电子商务数据实体分类系统
Study of tide prediction method influenced by nonperiodic factors based on support vector machines
海洋信息管理系统的设计与实现
海洋大数据分级存储中迁移模型的研究
一种扩展条件函数依赖的发现算法
社交网络中基于分类属性的好友推荐
概率数据库中近似函数依赖挖掘算法
TSEA：极地科考在线系统中海量走航数据的剔除算法
期刊信息
  • 《计算机研究与发展》
  • 中国科技核心期刊
  • 主管单位:中国科学院
  • 主办单位:中国科学院计算技术研究所
  • 主编：徐志伟
  • 地址：北京市科学院南路6号中科院计算所
  • 邮编：100190
  • 邮箱：crad@ict.ac.cn
  • 电话：010-62620696 62600350
  • 国际标准刊号：ISSN：1000-1239
  • 国内统一刊号：ISSN：11-1777/TP
  • 邮发代号:2-654
  • 获奖情况:
  • 2001-2007百种中国杰出学术期刊，2008中国精品科...,中国期刊方阵“双效”期刊
  • 国内外数据库收录:
  • 俄罗斯文摘杂志,荷兰文摘与引文数据库,美国工程索引,日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊（2004版）,中国北大核心期刊（2008版）,中国北大核心期刊（2011版）,中国北大核心期刊（2014版）,中国北大核心期刊（2000版）
  • 被引量:40349