本项目研究基于视频内容理解的视频风格化艺术生成框架。该框架包括两个主要部分(1) 视频内容的语义理解,包含视频分割、物体抽取、跟踪匹配;(2) 语义驱动的视频风格化,包括构建风格多样的渲染笔触库,根据物体的语义类型对笔触进行自动选择、摆放,以及根据帧间稠密匹配关系在时域上传播渲染笔触,达到不同艺术效果的风格化视频。本项目紧密结合信息科学(计算机视觉、图形学和虚拟现实技术)与绘画艺术。本项目重点研究一个高效鲁棒的匹配与跟踪算法,其在关键帧之间通过自适应选择稠密的混合图像特征,实现快速分层的图结构匹配;以及研究一个在序列帧之间通过一个区域竞争的视频分割算法,实现像素级别的精确对应关系,并由此指导笔触的稳定和一致地传播。本项目的可行性已经在前期的工作中得到了充分的验证。
Image Video Processing;Computer Vision;Non-Photorealistic Rendering;Multimedia Technology;
本项目围绕视频风格化技术,重点研究结合视频语义理解技术的非真实感绘制算法,致力于开发能够将普通图像、视频渲染成不同艺术风格的软件系统。 本项目按照预定计划开展研究,在研究的主要问题取得了预期的效果,包括视频物体的识别技术研究、自适应视频跟踪算法研究、贝叶斯框架下分层图匹配算法研究、颜色风格变换技术研究等,同时完成了肖像画渲染系统、抽象风格化渲染系统、基于内容分析的视频风格化系统、基于运动分层的视频风格化系统等多套系统的搭建与调试,并将其拓展到高性能计算平台,达到了视频风格化系统的实用性要求。项目组还在已有笔刷库的基础上,建立了一个较为完备的多笔刷数据库,从而极大地丰富了风格化渲染的结果。通过三年的深入研究分析与技术攻关,发表或录用9篇SCI检索期刊论文(并包括IEEE Trans PAMI, IEEE Trans CSVT, Pattern Recognition等知名期刊)、9篇会议论文,申请国内专利4项(已经获得授权2项)。其中油画视频风格化技术获得了由著名国际会议ACM NPAR 2010会议颁发的优秀论文奖(项目负责人林倞博士为论文第一作者)。此外,项目组主要成员还参与了3次国际学术交流会议,并且报告发言。人才培养方面,培养了博士研究生1名,硕士研究生6名。相关工作还获得广东省科技计划项目立项(项目编号2011B040300029)。