作为图像理解的基础,语义图像分割近年来成为计算机视觉领域的研究热点。基于图模型的方法比基于常规分类框架的方法更能刻画对象的上下文相关性,是目前主流的语义图像分割方法。然而基于平面网状结构图模型的语义图像分割算法存在着无法刻画长程相关性、难以充分融合多尺度信息、计算复杂度高、不能精确学习和推断等问题,本项目旨在研究新的基于树结构模型的语义图像分割算法,以解决上述问题。项目将从层次CRF树模型、多尺度层次树模型、邻接CRF树模型三方面展开研究,提出结构可学习的层次CRF树,以提高树结构与对象包含关系的一致性;提出融合多尺度信息的Bayesian语义图像分割算法;在邻接CRF树模型中提出基于多种度量和特征的邻接树森林构造方法,以弥补建模过程中的信息丢失,以及通过学习得到CRF二元势函数,以提高模型建模能力和降低求解难度。
image understanding;semantic image segmentation;conditional random field;multi-scale feature;hierarchical structure
作为图像理解的基础,语义图像分割技术是计算机视觉领域的研究热点。本项目以常规RGB图像和遥感图像为研究对象,分别从数据预处理、特征提取、分类器模型三方面全方位研究了语义图像分割技术。 项目重点研究了用层次结构表示和融合多尺度、多视角特征,提出了结合像素、图像块和图像区域特征的CRF语义图像分割方法、提出了基于多邻接树和多尺度特征的语义图像分割方法、提出了多视角特征结合的语义图像分割方法,均以层次结构组织和融合多尺度和多视角特征。为实现基于分类器的CRF二元势,项目提出用基于boost决策桩解决成对样本分类问题。为解决语义图像分割中特征维数过高的问题,以及超谱遥感图像语义分割中标号样本过少的问题,项目研究了降维和生成人工样本两种数据预处理技术。提出了新的局部判别分析方法和利用图像空间结构信息进行降维的方法;提出了一种利用超谱图像谱带之间相关性从一个原始样本生成多个子样本的方法,对于解决小样本问题具有明显优势。