自MPEG-4引入视频对象分割概念以来已有广泛应用,视频对象分割原是在象素域进行的,虽可达到象素的分割精度,但因其计算复杂度高而很难用于要求实时分割的场合。针对实时分割的应用需求以及考虑到目前的大多数视频已是压缩的视频流,课题组发展了直接从压缩域分割视频对象的方法。首先,由于压缩域的运动矢量是稀疏的,提出了对稀疏运动矢量场稠密和准确化方案,并对压缩域的空间信息充分化后与运动信息融合。在此基础上,分别对MPEG、H.264和立体视频不同的压缩域提出了相应的基于运动对象区域的聚类合并和对象跟踪方法。在MPEG压缩域提出了基于多分辨率分割、梯度模型、视觉关注度等多种不同应用要求的视频对象分割算法。根据H.264压缩域的特点又提出了基于BPT、熵模型、EM聚类、幅度/梯度/旋度和Graph Cut等新的运动对象分割方法。以上方法的分割处理所需时间均在40ms以下,满足实时处理要求,且分割质量上优于典型的国外成果。在立体视频压缩域也成功地提取了立体视频对象。本项目的研究成果对压缩域视频对象分割理论的发展有重要意义。已出版专著1部。发表论文26篇,内SCI、EI检索17篇;专利3项,延伸项目2项。
英文主题词Compressed domain; Video object segmentation; Real-time processing; Motion information refinement.