本项目主要研究嵌入式立体视觉算法、系统结构、系统实现以及系统应用等。提出了一种恢复高质量稠密视差图的三目摄像机立体视觉合作算法。该算法采用基于形态学相似性的自适应加权方法,迭代地进行局部邻域的自适应聚合和抑制放大,可以计算高质量的稠密视差图,并实现多个基线方向的遮挡检测。提出了片上立体视觉系统的设想,在1个FPGA上设计并验证了多个基于不同系统结构的片上立体视觉系统。完整的多摄像机立体视觉计算被集成到1个处理芯片中,外围器件仅包括用于数据存储的RAM。提出了一种计算高质量稠密视差图的片上立体视觉系统结构并在硬件上实现。该系统结构基于三角摆放的三目摄像机同步采集图像,采用双一维双侧滤波完成预处理。基于三目摄像机校正的并行几何映射可以在提升系统性能的同时最大限度减少外围器件。基于视差空间的非线性迭代和定制的浮点数硬件计算,该系统结构能够以视频速度计算平滑的高质量稠密视差图。我们将片上立体视觉系统应用在小型昆虫机器人和人机交互系统上,并研究了相应的目标跟踪与行为识别算法。
英文主题词tereo vision, real-time computing, system on chip, autonomous navigation, HCI.