随着无线网络通讯的快速发展和移动设备的日益普及,视频内容服务的需求迅速增长。以往的视频处理没有考虑到不同用户之间需求的差异性,因此,很难满足用户广泛的个性化需求。本课题旨在研究无线网络环境下的个性化视频定制与适配关键技术,围绕视频内容分发中个性化服务的需求,提出一个基于个性化建模与学习的视频内容理解与定制框架。针对无线网络环境下资源受限的问题,提出复杂度约束条件下的高效鲁棒编码算法和转码技术;通过引入视觉关注模型和用户行为分析方法,学习出用户偏好;根据视频内容语义描述与建模,实现视频内容的个性化语义理解;在用户个性化属性分析的基础上,通过对用户查询意图的理解和相关反馈分析,实现检索结果的个性化推荐和排序。本课题的研究成果将为个性化的视频内容理解与应用提供可靠的理论基础和有效的解决途径,对满足用户个性化视频内容需求,促进多媒体信息处理领域的学科发展具有重要意义。
Video analysis;Personalized customization;Image processing;Multimedia retrieval;Information mining
项目组按照项目既定的计划研究了无线网络环境下视频定制和适配中存在的若干科学问题和关键技术。我们重点研究了底层特征提取与描述、视频内容分析与语义表示、个性化学习与建模、视频编码与适配、个性化定制与检索等几个方面的理论与方法,克服了一些难点问题,取得了一些研究成果。特别是针对特征具有的空间约束、多模态共生、结构稀疏等特点,创新性提出了有效的底层特征表示和建模的理论方法;利用图理论来刻画数据之间的上下文复杂关联,形成了一套基于图的语义标注、迁移学习、视频事件检测等视频语义理解的框架;结合用户的个性化和社会化特点,研制了个性化视频定制系统及其关键功能模块,基本达到了项目预定的各项技术指标。