随着网络视频应用的广泛兴起,视频业务表现出多样性特点,视频采集与显示设备也呈现出多元化发展趋势,这些都对视频编码与处理技术研究提出了新的挑战。本项目将围绕全伸缩视频编码与重建方法展开,通过图像稀疏性分析,重点研究和实现基于图像分解的全伸缩视频编码的编码框架,以弥补现有可伸缩视频编码器对于多样化客户端支持性能较差的问题;并基于新的视频层编码特性和率失真特性分析,建立层内优化预测方法和层间码率控制方法,以有效提高全伸缩视频编码的压缩效率;最后在对图像和视频信号特征的分析基础上,结合图像分解的视频编码器框架,针对不同成分的视频信号序列设计自适应的时空域超分辨率重建算法进行分辨率增强处理,同时考虑视频帧间运动信息一致性特性对重建结果进行优化处理。从而更好地适应现有的多样化网络视频应用,为用户提供高效、高质量的视频播出体验。
Video Coding;Spatio-Temporal Super Resolution;Sparse Coding;Rate-Distortion Optimization;
在为适应多样化网络进行视频编码与重建问题的研究过程中,针对多样性的网络客户端结构,可以采用具有全伸缩性的视频编码方式,以提高视频流的复用性,弥补带宽等资源的不足。从而实现对于高清、超高清视频源的高效压缩,又有效支持高质量的时空超分辨率显示,使得压缩编码的视频流高质量传输与播放。本项目重点研究了全伸缩视频编码框架设计、高效率失真分析与压缩编码以及基于时空超分辨率的视频重建中的核心技术。在核心算法的研究上,实现基于图像分解的全伸缩视频编码框架,结合新的分解特性,对视频层内的预测编码优化,以及层次间的相关性率失真特性分析都进行了深入研究,实现多维全伸缩性下的高效压缩与码率优化分配方法,全面提升全伸缩视频的编码效率;在分析图像和视频信号特征的基础上,实现自适应的信号建模,根据视频帧间一致性特性,进一步优化视频时空域超分辨率重构性能。从全伸缩视频编码框架设计出发,以全伸缩视频编码层率失真特性分析为基础,以高效压缩高分辨率视频为核心,构建基于时空超分辨率的视频重建技术,从而实现对于各类视频应用的全面全效支持,为高效视频编码与保障多用户视频体验提供理论依据和技术指导,对促进多样化网络视频的应用,有十分重要的科学意义和广泛的应用价值。本项目的部分研究成果应用于“面向多种终端的大型网络视频系统”,获教育部高等学校科学研究优秀成果奖(科学技术)科技进步奖二等奖。依托本项目共发表论文18篇,其中SCI索引4篇,EI索引14篇,包括顶级国际期刊和国际会议的4篇文章,它们是图像处理领域的顶级国际期刊IEEE TIP 1篇,视频处理领域的顶级国际期刊IEEE TCSVT 2篇,压缩编码领域的顶级国际会议DCC 1篇。申请国家发明专利25项,其中授权专利4项,国际PCT专利3项。