传统的语义对象分割研究集中于从视频中分割出运动对象,常采用空域信息与时域信息的融合策略,此类分割方法大多存在分割性能不够高、普遍适用性不强和难以满足不同用户要求等缺陷。为解决上述问题,本项目组发展了基于视觉关注度的语义对象分割方法。首先,利用多种空域特征及运动特征来生成象素级的视觉显著性图,或用来表征区域、边界、区域组合的关注度以及人脸关注度,并提出种子区域生长、边界链接等多种分割方法来自动提取语义对象,提高了对象分割的可靠性。在此基础上,为了高效率地分割视频中的语义对象,提出了基于统计模型如高斯混合模型及非参数核密度估计、Markov随机场、匹配矩阵等多种对象分割和跟踪方法,解决了对象与背景颜色相似造成的分割困难,以及对象的合并和分裂、新对象出现、多对象跟踪等问题。针对允许用户交互的应用,提出了基于图切割的交互式对象分割方法,能够通过简捷的交互反映用户的语义意图来即时地修正对象,可满足用户对于分割质量的个性化要求。本项目的研究成果对于语义对象分割理论的发展有重要意义。已出版专著1部;发表论文26篇,其中SCI检索的国际期刊论文7篇,EI检索18篇;申请发明专利4项;延伸应用项目1项。
英文主题词Semantic object segmentation; Visual attention; Kernel density estimation; Gaussian mixture model; Interactive segmentation