中文摘要：

现实世界的三维数字化成为理论与应用领域重要的研究内容，基于无序多源图像的大尺度场景重构已成为亟待解决的科学问题。本项目以大尺度无序多视点高分辨率图像为研究对象，采用高可信感知的摄像机与稀疏几何重构、多视点稠密视差估计以及三维网格表面修复等方法，研究由粗到细视觉感知多源场景高效计算模型与重构机理。全局优化图模型分析多视场景中稀疏特征点的匹配，基于运动恢复确定立体摄像机和三维特征点；构建各视点共面区域的点线面草图式视差高效计算模型，基于微分几何阐明多视图复杂弯曲立体表面视差稳健推断机制；建立基于多视点视差融合和网格面元立体反投影的三维表面智能修复理论体系。项目研究成果对于大尺度场景立体表面的高效稳健视觉感知具有重要意义，可以为高质量自然和文化遗产三维数字保存、三维数字城市建设、高真实感沉浸式虚拟三维漫游展示、高清晰度三维数字影视制作以及三维可视通信等数字可视媒体应用，提供科学依据和解决思路。

结论摘要：

本研究项目以视觉场景理解为主线索，以多视点/单目二维图像/视频等视觉媒体为研究对象，采用定性与定量相结合的研究方法，在理论和实践方面进行了大胆尝试和创新。分别对多视图场景重建中规则场景三维信息提取、双目视图稠密立体匹配、单目二维视频的准三维化重建、多视图交叉视角行为识别等问题进行了深入研究。针对有关问题，首次提出如下解决方案（1）对光照变化鲁棒的快速关键点提取与匹配技术；（2）基于马尔科夫模型和分割线索的分段共面深度图估计方法；（3）面向建筑场景友好交互多视图立体重建的灵活平面抽取技术；（4）基于全局能量最小和线性生长的区域立体匹配方法；（5）基于韦伯感知和导引滤波分层聚合快速立体图像匹配技术；（6）面向鲁棒立体匹配基于韦伯描述和权重线性回归的匹配成本构造方法；（7）利用光照不变特征改进支持权重快速立体匹配；（8）基于鲁棒匹配似然和最小生成树MST先验导引的全局双目立体匹配方法；（9）基于线性聚合似然和多尺度平滑先验的全局双目立体匹配技术；（10）基于DAISY描述符和改进型权重核的快速局部立体匹配策略；（11）面向拍摄静止场景二维视频的准三维化重建的极线校正技术；（12）利用分割和线性透视线索基于前景背景融合的单幅图像深度图提取技术；（13）基于相对仿射结构的多视点图像合成方法；（14）面向自由视点视频系统基于深度信息的视点生成技术；（15）基于局部可信视差的立体图像误码掩盖算法解决立体图像传输差错；（16）基于话题知识迁移的交叉视图行为识别算法；（17）基于双语动态系统包的视角无关的人体行为识别技术；鉴于视觉场景理解系统属于富有挑战的逆问题之一，本项目在视觉场景三维信息获取与虚拟视点生成以及多视图交叉视角行为识别方面取得了一系列新进展。