随着数字照相机、带拍照功能的手机等的普及,特别是互联网技术和大容量存储技术的迅猛发展和应用,提供给人们的数字图像和视频内容急剧增加,这使得图像和视频内容的表示、分析、标注、检索变得越来越重要。该任务一直以来是计算机视觉、机器学习等领域非常困难的任务。同时,很多图像共享、视频共享的网站,如flickr.com、YouTube等提供给用户共享带自由标注的图像和视频。如何从海量的、带标注的图像和视频网站中挖掘有用信息,服务于非常困难的标注问题,成为新的研究热点。本项目主要研究基于Web挖掘的图像和视频内容标注和搜索,具体包括以下几个方面如何应用社会标注,具有更好区分性的图像特征提取方法,显著性和感兴趣区域相互协作的模型,基于语义提取的图像和视频搜索等。基于本研究的成果,我们将建立图像和视频的视觉语义特征模型库,进行自动语义标注,并开发大规模的原型系统。该成果还可应用于图像和视频的过滤。
Image and video annotation;feature extraction;leveraging of saliency and ROI;search and reranking;recommendation methods
随着数字照相机、带拍照功能的手机、扫描仪等的普及,特别是互联网技术和大容量存储技术的迅猛发展和普及应用,提供给人们的数字图像内容急剧增加,这使得图像内容的表示、分析、标注、检索变得越来越重要。我们在5个方面分别展开了研究工作,主要内容有(1)研究图像分割及具有更好区分性的图像特征提取方法,(2)研究基于区分性和高效率特征的拷贝检测方法,(3)研究显著性和感兴趣区域相互协作的模型,(4)研究基于语义提取的图像和视频搜索及重排序,(5)研究基于特征分析的推荐方法等。以上这些研究工作均按照课题计划进行。代表性成果有项目组共发表中国计算机学会(CCF)推荐国际学术A类期刊论文1篇,B类期刊论文1篇,国际会议论文12篇(其中CCF推荐国际学术A类会议论文1篇,B类会议论文1篇,C类会议论文5篇),被SCI/EI/SITP检索16篇次。