动态光场是当前国际研究热点,涉及计算机视觉、图像视频处理等多个学科领域的交叉。多视角变光照大规模的动态光场多维数据对存储和传输提出了极大挑战。如何挖掘同一维度数据的时空相关性以及不同维度间的内在依赖特性以高效去除信息冗余,并实现不同维度数据最优码率分配以达到高质量数据重构是前沿挑战难题,涉及的核心问题包括多视角变光照多维数据编码、虚拟视点图像质量估计、多维数据编码率失真优化等。本项目针对动态光场多维数据的几何、光照与动态特性,探索光照分离的动态光场多维数据空时光几何联合预测编码;开展人因实验并搭建测试库,建立与人类视觉机制一致的虚拟视点图像质量评价模型,研究多维数据编码失真与虚拟视点图像质量间的映射关系;构建多维数据联合编码率失真优化模型,设计不同维度间数据的码率最优分配策略,实现动态光场多维数据的高效编码。本项目可实现动态光场多维数据编码的理论创新与技术突破,促进动态光场的广泛应用。
dnyamic light field;image coding;image quality assessment;decomposition of multi-dimensional data;
本项目执行期间的成果包括学术成果、人才培养、国际影响等几个方面。其中的学术成果包括(1)学术论文20篇,其中国际期刊13篇(全部为SCI期刊),国际会议7篇(其中CCF推荐的A类会议2篇,B类会议1篇,C类会议4篇);(2)发明专利6项;(3)国家级及省部级奖项2项(教育部技术发明奖一等奖1项、国家技术发明奖一等奖1项);(4)共享数据1个;(5)国际学术会议报告3个。在人才培养方面,本项目组成员中,项目负责人杨铀博士后出站,获华中科技大学“学术新人”、湖北省“楚天学者”称号,并晋升副教授职称;项目组成员曹汛博士毕业,获清华大学优秀博士论文、北京市优秀博士论文、国家自然科学基金委优秀青年基金,并在南京大学晋升副教授职称;项目组成员李冠楠获得博士学位,李唯一、徐坤、马潇、李振尧获得硕士学位。在国际影响方面,项目负责人杨铀担任了国际期刊PLoS ONE(2015-)、Neurocomputing期刊客座编委(2014),国际会议ICIMCS 2013、ICIMCS 2014、MMM 2014(CCF多媒体领域推荐会议)、ICME 2014 (CCF多媒体领域推荐会议)、CVRS2015立体视频专委会主席、ICIMCS 2016执委会委员;在多媒体领域顶级会议ACM MM 2013、CCF推荐的C类会议MMM 2013和ICIP 2015上做大会报告。