中文摘要：

移动机器人为完成非结构化环境下的避障/越障、壕沟跨越、爬坡等复杂导航任务，必须根据三维地貌和目标类别进行实时决策，而传统视觉与激光/声纳导航系统无法满足非结构环境下高速高精度三维信息获取需求，严重制约了机器人的环境理解能力和导航性能。针对上述问题，项目创造性地提出一种融合TOF摄像机(SR3000)和高分辨率彩色二维摄像机的高速高精度三维信息获取方案和非结构化环境目标的智能识别新理论方法，以提高特殊环境作业移动机器人导航技术水平。主要研究内容 ①建立TOF摄像机和高精度彩色摄像机复眼模型，提出复眼高效标定算法和高分辨率三维图像数据融合算法； ②提出非结构化环境下移动机器人导航感兴趣区域自动提取方法，建立导航目标库三维知识表达模型，研究基于完整三维视觉信息的感兴趣导航目标的高速检测与识别方法； ③研究基于场景目标二维图像特征和三维位置信息的机器人相对运动估计算法。

结论摘要：

项目重点研究融合三维摄像机和高分辨率彩色二维摄像机的高速高精度三维信息获取方案和非结构化环境目标的智能识别新理论方法，提高机器人对空间环境的完整三维视觉信息获取能力和智能导航水平。 1) 三维摄像机可实时同步获取场景三维信息和图像信息, 但存在图像分辨率和质量较差等问题, 和二维摄像机具有较好的互补性. 本项目借鉴立体视觉技术，研制了由二维摄像机和三维摄像机组成的复眼摄像机装置，通过对空间场景同步成像, 结合三维摄像机技术特性和图像插补技术, 借鉴立体视觉技术和三维摄像机成像特性完成二维摄像机的高质量二维彩色图像与三维摄像机深度图像的匹配关联, 实现同一场景的高精度彩色图像和对应三维空间信息的实时同步获取, 同时保留了二维摄像机的高质量彩色二维成像和三维摄像机的快速三维信息获取的优势。 2)三维摄像机等三维视觉系统与人类视觉系统类似，可同时提供场景二维图像和相应的三维空间信息，因此本项目基于人类三维视觉感知和导航行为机制，提出了基于三维视觉信息的障碍物检测和识别方案。方法首先根据场景三维信息剔除天空、地面、远背景等不影响机器人运动和导航的成像区域，然后基于三维视觉信息对剩余的感兴趣图像区域进行聚类分析，提取障碍物信息，并基于SVM和RVM进行障碍物识别分类。试验结果表明了该方案的有效性和先进性。 3)基于复眼摄像机同时获取场景二维彩色图像和相应三维信息的特性，本项目提出一种基于场景图像特征和三维信息的高精度鲁棒三维运动自适应估计方法。方法以场景图像特征的稀疏性作为反馈量，进行相邻帧采样时间自适应调整，并自动切换三维估计优化方案，降低采集运算量的同时提高运动估计的可靠性，有效解决算法对环境图像特征疏密程度的依赖性。为降低误匹配图像特征对三维估计的影响，方法引入相互一致性检查约束、颜色一致性约束和RANSAC一致性约束等，有效剔除误匹配图像特征点对。与现有三维运动估计方法相比，本方法具有精度高、可靠性高、计算量小，应用场景限制少等优点。实验结果验证了方法的可行性和有效性。 4）项目开展了复杂场景多运动目标检测与跟踪研究，包括基于非参数混合核密度估计法的背景模型、基于MAP-MRF框架下非阈值化目标检测方法、基于属性关系图的目标遮挡跟踪方法、基于属性关系图优化匹配的多运动目标跟踪方法，为基于三维视觉的复杂场景运动目标跟踪和识别提供了坚实基础。