语料库统计方法是支持下一代网络自然语言处理功能的关键技术,但这一方法有许多基础性问题尚无深入研究,以致相关应用系统的性能提高受到很大局限,其中尤以数据稀疏问题为甚。缓解数据稀疏问题的平滑方法中,常用的插值方法不适合估计低频词预测问题,阶次回退法存在本质的矛盾,词类平滑方法过于粗糙。本课题深入分析了语料库统计方法的需求和汉语的实际,创性地利用词语相似关系进行平滑,并采用线性邻接属性计算相似度,需要研究相似度计算、同形异质词认定与排歧以及利用相似度的平滑算法。这些方法将集成到本项目组已经取得的关于线性文法的成果中去,改善语料库统计方法的性能,支持下一代网络的文本信息处理功能。