目标的有效分割与对应是当前视觉跟踪研究的核心难题之一。本项目从探测技术的革新入手,通过引入相机阵列合成孔径成像这种新的视觉信息获取技术,将传统单摄像机的二维平面成像扩展为相机阵列三维立体成像,重点研究无约束环境和严重遮挡条件下的目标清晰成像、准确分割与鲁棒跟踪问题。主要内容包括(1) 基于几何光学理论,研究"聚焦"于空间中任意位置的自由焦平面成像方法;(2)在光照变化、背景杂乱、目标与背景色彩相似等无约束环境中,研究基于合成图像清晰度分布的目标分割方法;(3)将合成孔径的"透视成像"原理同目标分割相结合,研究严重遮挡条件下的最优焦平面估计与目标跟踪方法;(4)在相机阵列合成孔径成像实验平台上,对提出的方法进行验证和评估。本项目的研究在目标探测与环境感知、视频内容分析、智能视觉监控等领域具有重要的理论和应用价值。
camera array;synthetic aperture imaging;synthetic aperture tracking;occlusion handling;see through occlusion
本项目从探测技术的革新入手,引入相机阵列合成孔径成像这种新的视觉信息获取技术,将传统单摄像机的二维平面成像扩展为相机阵列三维立体成像,重点研究复杂环境和遮挡条件下的目标清晰成像、准确分割与鲁棒跟踪问题。主要工作、创新点与成果如下 (1) 相机阵列合成孔径成像实验平台构建:设计构建了四种不同的相机阵列系统和测试数据库,包括在国际上首次构建的异构布局混合合成孔径成像系统、12路AXIS网络摄像机环形相机阵列系统、8路PointGrey主动合成孔径成像实验系统、以及移动光学虚拟阵列系统。在室内外不同条件下采集构建了相机阵列视频数据库,为开展合成孔径成像的研究和实验验证奠定了坚实基础。 (2) 合成孔径聚焦与成像针对严重遮挡条件下的高质量目标合成孔径透视成像问题,从合成孔径成像技术中的相机阵列标定、动态焦平面估计、遮挡消除与透视成像三方面逐步深入展开研究,提出了基于视差补偿和基于重建的相机阵列合成孔径成像算法、基于图像清晰度函数的最优聚焦深度估计算法、多层焦平面图像融合的相机阵列合成孔径成像方法、基于运动剪影的合成孔径成像算法、以及基于能量最小像素标记的遮挡消除与透视成像算法。采用Stanford,UCSD阵列数据库和自建数据库的实验结果表明,所提算法克服了经典合成孔径成像算法的固有缺陷,可有效消除动态和静态遮挡物对成像的影响,大幅度提高了透视图像清晰度。 (3) 准确分割与遮挡跟踪针对复杂背景中的目标分割与遮挡条件下的目标跟踪问题,在获取相机阵列不同深度的三维合成孔径成像集合的基础上,提出了基于合成图像清晰度分割的复杂背景目标分割算法、基于多摄像机剪影合成孔径成像的多目标定位算法、基于双相机阵列的合成孔径检测成像方法、基于子空间学习与粒子滤波的合成孔径跟踪算法、基于局部和全局约束优化的动态估计最优焦平面估计与跟踪方法,首次同时实现了拥挤与遮挡条件下的多人检测、定位与透视成像。 (4) 课题组在CVPR、ICCV,Pattern Recognition,电子学报,自动化学报等国内外重要刊物发上发表学术论文30篇,申请专利7 项,授权2项,培养毕业博士3人,硕士4人。申请人参与组织IScIDE,APSIPA,ACCV等国际会议,赴美参加CVPR2011交流论文,主要成员先后在美国伊利诺依大学,加拿大阿尔伯塔大学,英国伦敦大学访问研究。