文本检索的评价是一个非常重要的研究课题。现有的方法都需要大量或较大量的人工标注工作。人工标注一方面费时费力,另一方面在查询或语料集合发生改变的情况下缺乏灵活性。本课题拟研究完全不需要人工标注的全自动文本检索评价方法。主要的思路是不仅仅从单个检索结果的相关性判定出发,而同时考虑检索结果的群体分布特征来进行检索评价。通过对已有标注检索结果进行统计分析和训练,得到不同质量检索结果的分布特征,利用上述特征构造预测函数来自动预测检索结果的好坏程度,再通过设计统计试验,对不同的检索系统进行比较。本课题的成果不仅可以用于文本检索评价,还可以用于自适应的文本检索、检索结果融合等。
英文主题词text retrieval; evaluation; without human judgments