本项目研究从虚拟孔径共焦图像序列恢复场景几何结构的方法,建立具有更广泛适用范围的高精度场景几何结构恢复模型,解决现有方法对遮挡不鲁棒、特征点匹配精度低和重建结果表面存在空洞等问题。本项目研究内容包括1)基于摄像机阵列的虚拟孔径共焦图像序列生成理论和方法;2)准确判别共焦图像序列聚焦点的方法;3)从超完备聚焦点集合中提高场景几何结构恢复精度的方法。重点解决复杂场景共焦图像合成模型、聚焦点判别和深度分辨率提升等核心问题。创新之处在于提出基于摄像机阵列高精度的共聚焦图像迭代生成方法,将传统几何结构恢复方法中三维点坐标计算问题转化为共焦图像序列像素点聚焦分类问题,采用凸优化方法解决聚焦判别的外点问题,在此基础上提出新的聚焦深度分辨率提升策略。本项目属于计算机视觉领域的基本理论与方法研究,结合实验分析为三维重建、目标跟踪和自动导航等相关应用提供精确的场景深度数据,研究成果将具有广泛应用前景。
geometry recovery;synthetic aperture;confocal image;angular aliasing;convex optimization
高精度的几何结构恢复理论与方法是三维场景数字化的核心问题之一,也是计算机视觉领域众多其他问题,如目标识别、场景分割、自动导航等相关研究的关键步骤。针对现有基于图像的几何结构恢复方法对遮挡及弱纹理区域不鲁棒、特征点匹配精度低问题,本项目研究从共聚焦图像序列计算场景高精度几何结构的方法,其研究内容包括共聚焦图像序列高质量生成、共聚焦图像点聚焦判别、场景几何结构恢复及优化三个方面。在共聚焦图像生成方面,研究组首先搭建了相机阵列共聚焦成像系统的软件和硬件平台,实现了一次数据拍摄后,对目标场景空间进行不同二维平面及三维平面的共聚焦成像,其成像效果满足大孔径成像系统特有的小景深高深度分辨率特性。由于共聚焦成像系统角度域的离散采样问题,导致共聚焦图像具有成像混叠问题,研究组深入研究并提出了针对相机阵列成像角度域混叠的理论模型。该模型在空域解释了角度域图像混叠、目标场景、成像系统三者之间的关系。在此基础上,研究组提出了一种基于随机遮挡孔径的角度域图像混叠检测方法,进而提出了基于混叠检测的共聚焦图像抗混叠处理方法,提高了共聚焦图像的生成质量。在共聚焦图像点聚焦判别方面,研究组探寻了共聚焦图像特有的点扩散模型,提出了多角度采样颜色一致性判别与图像高频特征检测的聚焦判别方法,与基于梯度的聚焦判别相比,该方法具有较高的判别精度和鲁棒性。在几何结构恢复和优化方面,研究组在光场理论分析的基础上,提出了将视差线索与聚焦线索相融合的场景深度估计思路,进而提出了基于马尔科夫随机场理论融合视差法与变焦法优势的场景深度计算方法。与基于单一深度线索的场景几何结构恢复方法相比,该方法具有更优的精度和鲁棒性。此外,研究组还采用OpenMP及GPU等并行处理方法对一些核心算法进行了优化,提高了相机阵列系统共聚焦图像序列生成与场景深度计算效率。基于确定优化论中的凸优化理论,研究组提出了基于海森矩阵和最小最大库恩塔克条件的2范数三维重构结果全局最优判别准则,对计算结果进行优化。在本项目资助下,研究组申请发明专利1项,发表学术论文11篇,其中1篇获得ACCV2012最佳学生论文提名奖,培养了博士后和青年教师各1名,培养了2名博士研究生和4名硕士研究生。