中文摘要：

三维视频因其支持用户自由选择观看视点和体验立体视觉感知被认为是视频编码和通信领域的研究热点。"多视点视频－深度"（MVD)表示方法具有便于压缩、兼容性好、数据量庞大等特点，MVD高效编码是其获得广泛应用的关键。本项目从MVD相关性出发，以提高MVD编码效率和虚拟视图质量为目的，着重研究以下内容分析深度表示方法对虚拟视图质量和MVD编码开销的影响，设计高效深度表示方法；利用视频图像与深度图像已有编码信息的相关性，设计高压缩率MVD联合预测编码方案；根据图像重要性不同，对关键图像/非关键图像采用不同预测结构，构造高效MVD联合预测编码方案；建立虚拟视图失真与多视点视频－深度压缩失真模型，以该失真模型为基础，建立视频－深度最优码率分配的数学模型，设计多视点视频－深度最优码率分配方案。本项目的工作为MVD高效编码的研究提供理论和方法，为MVD系统实际应用提供关键编码技术和系统控制技术。

结论摘要：

随着网络带宽的扩展及用户视觉体验需求的提升，支持用户自由点播的“多视点视频-深度”(MVD)编码成为具有创新和挑战性的课题。其研究关键在于提高编码效率和用户观看舒适度。本项目依据率失真理论,从高效MVD联合预测编码方案、高效多视点视频编码、深度估计及压缩编码和MVD码率分配算法四个方面开展研究。 具体研究针对分层B帧预测结构视点间/时间相关性具有层次性的特点提出了灵活预测结构编码方案。 鉴于关键图像的重要性提出以少量计算复杂度获得高编码增益。针对MPEG组织发布的征求提案稿，与高通公司联合提交了3D视频编码方案。经第三方匿名主观测试，测试结果位于top1s。该编码方案中两项技术添加到3D-AVC公共测试软件中。所提编码方案中的非对称预测技术经单独测试具有较好的编码性能。提出的Slice头信息预测算法因能充分利用视频深度语法语义的冗余被接受至H.264/AVC 附录J。 提出了基于精细粒度运动匹配的视点间运动跳过模式，可大幅提高多视点视频的编码效率。基于分量间运动相似性提出利用已编码视频的运动信息估计深度的运动向量，可显著提高深度运动向量的预测准确性。根据深度局部锐边缘的特性，提出了一种边缘宏块跳过帧内编码模式，可有效提高深度编码效率。根据每一种候选宏块模式均存在最小代价值，提出了一种零编码损失的快速深度编码算法。利用视频编码对深度编码的参考性及深度的稀疏纹理特性，提出三项深度快速编码算法。利用物理特性对深度边缘处像素进行分类，所提算法可有效提高深度估计边缘部分的准确性。建立了MVD视频编码中的虚拟视图失真与视频失真及深度失真的数学模型，依据此模型研究了一种接近最优的纹理视频与深度图联合码率分配算法。进一步分析了纹理深度联合比特分配的拉格朗日算子以提高码率分配精度。 实验结果表明，将项目所提技术应用于多视点视频-深度测试平台上，可合理分配视频和深度码率，所提相关编码技术可有效提高编码效率，几项快速算法在不引入编码损失的前提下可大幅降低计算复杂度。综合本项目所提算法，合成虚拟视点质量可平均提高0.9dB，三项编码技术被MPEG接收。