为了实现基于图像构建一个支持大范围自由漫游的虚拟环境,本项目提出一种立体平行拼图的技术,并基于立体平行拼图实现了新视图的合成以及虚拟环境的自由漫游。主要研究内容为1)自主设计了一种折反射全向立体成像系统,沿漫游主路线拍摄全景图像对序列;2)研究了全向立体匹配和深度估计算法;3)提出两种立体平行拼图生成算法;4)提出了新视图合成方法,可以利用立体平行拼图快速合成出任意视角的新视图,并实现虚拟环境的自由漫游;5)提出两种图像(视频)修补方法,可以对街景图像中树木、汽车和行人等遮挡物或个人隐私进行移除。实验证明,立体平行拼图是一种紧凑的城市模型,利于网络传输。基于立体平行拼图可快速完成虚拟环境的重构与渲染,对计算平台硬件要求低,非常适合用于大范围虚拟环境的重构与漫游。研究主要成果为1)获得1项国家发明专利授权,申请了3项国家专利;2)编著1部名为《Computer Vision》的英文著作,并为该书撰写一章全向视觉;3)发表/录用学术论文39篇,其中SCI期刊论文7篇,EI检索论文15篇,其他核心期刊论文17篇。
英文主题词image based rendering; panoramic image; virtual reality; virtual envirenment; parallel mosaic