面对互联网视频站点上日益膨胀的分享视频数据,迫切需要研究智能检索技术以帮助用户更加快捷地找到相关视频。相应地,分享视频话题发现与检索技术也成为了当前的一个研究热点。分享视频具有的多模态异构、稀疏带噪且复杂关联的特点带来了诸多挑战,现有方法缺乏从系统层面上将话题发现与检索的研究,将多模态融合与稀疏带噪缓解问题以统一的框架进行处理。为此,本项目深入分析分享视频的话题特征及其关联特性,设计面向分享视频数据表达的超图模型,并在此超图模型表达下以构建话题发现、索引与查询的一体化处理框架为目标。围绕此目标,本项目将深入研究分享视频多模态话题特征的选取并表示成超图模型的方法;研究基于超图聚类的话题发现方法产生话题网络模型;研究针对话题网络模型的高效索引方法支持快速检索。研究中形成的理论成果将在国内外重要学术期刊和会议上发表,形成的核心算法将申请国家发明专利并在跨媒体检索平台中进行集成与测试。
Web Video;Hypergraph Model;Topic Discovery;Topic Retrieval;Topic Modelling
面对互联网视频站点上日益膨胀的分享视频数据,迫切需要研究智能检索技术以帮助用户更加快捷地找到相关视频。相应地,分享视频话题发现与检索技术也成为了当前的一个研究热点。分享视频具有的多模态异构、稀疏带噪且复杂关联的特点带来了诸多挑战,现有方法缺乏从系统层面上将话题发现与检索的研究,将多模态融合与稀疏带噪缓解问题以统一的框架进行处理。为此,本项目深入分析分享视频的话题特征及其关联特性,设计面向分享视频数据的超图表达模型,并且构建话题发现、索引与查询的一体化处理框架,重点在网络视频多模态特征选取与超图表达、主题建模与话题发现、海量高维关联数据的高效索引与排序等方面进行了深入研究。在三年项目执行期间,取得一系列成果,共计发表论文13篇,其中,在ACM Multimedia、SIGIR等CCF A类会议上发表论文4篇,在NeuroComputing、Journal of Visual Communication and Image Representation(JVCIR)、Pattern Recognition Letter(PRL)等国际SCI期刊上发表论文4篇;获得国家发明专利授权6项;申请软件著作权1项。相关算法集成在D-Insight跨媒体计算平台,并应用于公共卫生监控。总体来看,项目取得了丰富的成果,超额完成了预期的目标。