基于潜在语义对偶空间的跨语言信息检索理论和算法研究-东篱科研大数据发现系统（DRDS）

位置：立项数据库 > 立项详情页

基于潜在语义对偶空间的跨语言信息检索理论和算法研究

项目名称：基于潜在语义对偶空间的跨语言信息检索理论和算法研究
项目类别：地区科学基金项目
批准号：60963014
申请代码：F020511
项目来源：国家自然科学基金
研究期限：2010-01-01-2012-12-31

项目负责人：王明文
负责人职称：教授
依托单位：江西师范大学
批准年度：2009

中文摘要：

因特网资源的多语言性和用户对母语和非母语熟悉程度的差异性，使跨语言信息检索成为研究热点。在跨语言的信息检索和分类中，存在多词一义和一词多义、翻译歧义和数据高维性等问题。在检索模型中表现为特征的多重相关，进而影响模型检索性能；在分类模型中表现为自变量间的多重相关性、数据高维性，将影响文本分类性能。如何有效消除这些影响，成为提高跨语言的检索和分类性能的关键。本课题拟应用典型相关分析、偏最小二乘等统计理论研究新的模型，将多语言文档看成从不同侧面描述同一对象形成的不同视图，综合考虑语言的语义特性，通过构造潜在语义对偶空间，建立词的语义关系、文档的语义关系及其结构关系和双语间的语义对应关系；在该统一框架下研究基于潜在语义对偶空间的跨语言的检索模型、文本分类/聚类模型和维数约简方法；进一步研究基于潜在语义对偶空间的多语言信息检索模型，并在理论上证明和实验上验证新模型和方法的有效性。

中文主题词：跨语言信息检索；跨语言文本分类；潜在语义对偶空间；维数约简；

英文摘要：

Cross-language IR；Cross-language TC；Latent Semantic Dual Space；Dimension Reduction；

英文主题词： Cross-language IR；Cross-language TC；Latent Semantic Dual Space；Dimension Reduction；

结论摘要：

本课题运用偏最小二乘和典型相关分析等统计理论研究，将多语言文档看成从不同侧面描述同一对象形成的不同视图，综合考虑语言的语义特性，通过构造潜在语义对偶空间，建立词的语义关系、文档的语义关系及其结构关系和双语间的语义对应关系，提出了一种基于潜在语义空间的跨语言信息检索框架。在该统一框架下，研究了基于潜在语义对偶空间的跨语言的检索模型、文本分类/聚类模型和维数约简方法。课题组成员共发表相关论文29篇，成功承办2012年第八届全国信息检索学术会议和2012年中国中文信息学会战略研讨会，培养15硕、博士研究生，邀请加拿大蒙特利尔大学聂建云教授、日本东京大学教授胡振江教授讲学和交流。具体研究工作有（1）构建了用于跨语言信息检索评测需要的中英双语平行语料库9161篇中英文CLIR评测语料库，含查询和相关性判断；9081篇中英跨语言文本分类评测语料库；使用Google翻译构建TREC9中英双语平行语料库；25000对平行文档组成的中英双语平行语料库。（2）基于潜在语义对偶空间的跨语言信息检索框架将双语文档集看成是不同语言描述同一对象形成的不同视图，通过建立刻画语言语义对应关系（在CLIR中主要体现为不同语义级的语言翻译对应关系）的潜在语义对偶空间（描述客观对象的抽象概念空间）反映它们的统计依赖关系。（3）基于双语主题空间的CLIR和CLTC模型将双语文档对看作同一内容的两种语言表达，由双语平行语料库构造每种语言的潜在语义空间，提出双语偏最小二乘主题相关模型以及相关的跨文本分类模型。（4）基于潜在语义对偶空间的信息检索系列模型将源语言文档矩阵X和目标语言文档矩阵Y看作一种非对称的预测分析关系，由此提出基于潜在语义对偶空间的跨语言信息检索、跨语言文本模型，并将其用于多语言的信息检索。（5）提出一种基于特征加权的半监督单语言和跨语言聚类方法。（6）相关单语言信息检索和文本分类的研究。

成果综合统计