中文摘要：

从实时采集的视频数据中恢复出场景的几何结构信息，是计算机视觉领域的重要问题，在增强现实、虚实交互、机器导航、影视制作、移动广告等方面都有很好的应用前景，但目前的实时三维恢复技术难以满足应用需求。本项目提出一套基于视频的实时几何结构恢复方法。重点研究实时摄像机跟踪和稀疏点云恢复技术，即实时求解视频场景中的摄像机的方位信息，并恢复场景的稀疏三维点结构；基于实时摄像机跟踪和稀疏点云恢复的结果，实时恢复静态场景的稠密深度，利用多帧图像数据的冗余信息提升精度，并重建场景的简单几何模型；深入挖掘局部变动场景的几何结构信息，研究动态处理局部场景变化的方法，自动检测变动内容，实时更新场景的几何结构。在此基础上，本项目还将搭建实时增强现实的原型系统，验证提出的方法。

结论摘要：

本项目主要研究如何从实时采集的视频数据中恢复出场景的几何结构信息，包括采集摄像机的空间方位，场景的稀疏、稠密三维信息等。针对目前方法在鲁棒性、规模和效率上的各种限制，本项目提出基于动态关键帧的视频场景跟踪框架，围绕大场景或动态场景等复杂场景，结合跟踪技术在增强现实中的具体应用等方面展开研究，并取得了一系列重要进展。本项目的研究工作基本按照原计划进行，没有做调整和变动。 总得来说，本项目很好地完成了预期目标（在国内外学术期刊和会议上发表6-10篇高水平研究论文，并完成原型系统的开发）。在学术论文方面，项目围绕大场景或动态场景等复杂场景，结合跟踪技术在增强现实中的具体应用等方面展开研究，并取得了一系列重要进展。目前已经在计算机视觉国际著名期刊Computer Vision and Image Understanding上发表论文1篇，增强现实领域顶级会议IEEE International Symposium on Mixed and Augmented Reality上发表论文1篇,其它国际会议和期刊论文2篇（EI检索），国内核心期刊2篇（EI检索），申请4项国家发明专利，其中2项专利已授权。 在原型系统方面，该项目很好地按预定目标深入研究了视频场景的实时几何结构恢复所涉及到的一系列问题，如大尺度场景的摄像机实时跟踪，动态场景的摄像机实时跟踪，深度快速修复与三维几何模型重建等等，取得了多项研究成果，并搭建起了一套摄像机实时跟踪系统RDSLAM。该系统已在网上发布（http://www.zjucvg.net/rdslam/rdslam.html）供大家免费下载使用，受到了国内外同行的广泛关注和好评。