提出一种基于仿生复眼光学器件的大视场立体视觉新方案。结合高精度复杂形面制造技术,将并列型与重叠型复眼结构进行整合,提出组合型复眼系统结构,可实现大视场立体成像,并从原理上提高现有复眼器件结构的光能利用率及探测灵敏度;针对复眼子眼图像特点,通过改进的LM神经网络算法进行传感器标定,实现子眼图像畸变校正;选取适合多模态图像分析的SURF算法,对子眼图像进行亚像素级快速配准;基于Directionlet各向异性多尺度分析算法及PCNN融合规则,对多通道子眼图像进行超分辨率重构及融合;在此基础上,探索基于目标跟踪的仿生复眼大视场立体视觉模型。本项目的研究有望在真正意义上实现大视场、高运动目标探测灵敏度的昆虫复眼视觉系统,为国家重大工程急需的仿生复眼视觉系统提供理论基础,在全景导航、目标搜索、智能监控等领域,具有非常广阔的应用前景。
Compound eye;Micro-lens array;Multi-view vision;Light energy detection;Light field
立体视觉测量是应用计算机视觉与图像处理领域诸多研究成果于测量领域而形成的一类新的测量方法。目前,立体视觉测量通常采用多目立体视觉方法实现,相关理论模型也已基本成熟,但受图像传感器及光学系统条件限制,单个图像采集系统的视场范围有限,在对大尺寸目标、或对较大视场中的目标进行立体测量时,需增加传感器及光学器件的数量,这样既增大了系统的体积,不利于结构的紧凑和小型化,又会带来额外的算法开销,降低系统的实时性。因此,为满足大视场下对目标物进行快速立体测量的要求,亟需探索一条新的解决途径。课题将昆虫复眼视觉原理引入了三维视觉探测领域,充分利用复眼成像在大视场和探测灵敏度方面的优势,突破现有的技术瓶颈,为实现小型化、高性能、低成本的立体目标探测系统打下理论基础。课题研究主要围绕模仿复眼结构透镜阵列展开,使用不同结构及算法实现了大视场/立体信息采集。课题的主要成果有以下几方面 1. 多相机组合式大场景探测系统采用多台相机的组合式架构,可探测远距离物体,拓展了仿生复眼系统的应用领域。系统由5台小型子眼相机和1台高清晰度主眼相机组成,由子眼相机完成360°全景目标搜索,发现运动目标后由主眼相机通过云台进行跟踪,获取运动目标的高清图像并进行记录。 2. 基于光锥复眼相机的空间探测系统设计并制造了一个90°视场角的圆顶光锥复眼相机,使用系统设计参数对目标进行粗定位,再引入EMD模型对子眼图像进一步处理,得到较为准确的空间角度深度信息。实现了对LED光源误差在7%以内的空间位置探测。 3. 七子眼小型三维跟踪系统设计制造了紧凑型七子眼复眼系统,实现了近距离运动目标的三维追踪,定位误差小于5%。 4. 180°环带式复眼系统采用多片小型CCD拟合曲面图像传感器,配合采用自由曲面结构的一体式复眼透镜,实现了180°环带视场范围内的图像采集。 5. 光场成像系统在传统成像系统的传感器上加入一片430×291的微透镜阵列,使得系统在一次采样过程中可以同时得到光线的强度和方向信息,配合后期算法,可实现对采集图像的重聚焦和深度信息提取。课题在不同方向的研究将仿生学、图像处理、光场重构等多方面理论进行整合,利用复眼视觉在大视场及立体成像方面的优势,建立基于复眼结构的立体视觉测量理论体系,为国内的复眼研究提供了理论基础,对仿生复眼研究有较大的促进作用。