中文摘要：

三维可变形曲面重建长期以来一直是计算机视觉中的几个基本问题之一，最近几年三维可变形曲面重建技术被广泛的应用到了视频游戏、增强现实、影视制作和医学手术模拟当中，也使其成为了当前计算机视觉领域里的研究热点。相对于当前依赖于参照图像与先验模型的方法，刚刚推出的RGBD摄像机为可变形曲面建模带来了新的机遇和挑战。本项目的研究目标是探索计算机视觉领域中恢复可变形曲面的理论框架和计算模型，并且面向实际的应用需求，研究和探讨相关的算法机理与技术方案，包括可变形曲面建模方法、RGBD摄像机自动标定/定位理论与方法、可扩展曲面拼接、可变形曲面的绘制以及增强现实应用。

结论摘要：

基于RGBD视频的曲面重构方法克服了从二维视频中获得三维曲面的病态问题，该项研究不仅是计算机视觉的基本问题，也是大量工业界应用的核心技术，如视频编辑、增强现实和在线嵌入式视频广告。从视频中恢复并跟踪可变形曲面的终极目标是建立持续并且精确的模板与输入视频密集的空间对应关系。相对于最近两年来比较流行的大位移光流算法，基于RGBD视频的三维曲面重构考虑到了物体的拓扑结构及其一致性，并可以采用物理以及潜在的几何分布的方式对可变形曲面进行正则化约束，从而获得更好的重构结果。建立图像间快速准确的稀疏对应关系是解决三维曲面重构的关键。二元特征有着非常紧凑的表示形式以及基于Hamming距离的高效匹配性能，因此我们重点开展了二值化图像特征的研究。我们提出了基于Boostrap顺序学习的半监督哈希算法在较低量化误差的前提下将传统的SIFT特征二值化。对于固定模板，我们提出了卷积Treelets二值化特征和高阶Treelets分析方法。在建立灰度图像对应关系以及RGBD相机校准的基础上，我们可以获得准确的RGBD图像之间的对应关系，以及三维坐标点之间的对应关系。跟进一步，我们提出了不依赖于传统三角网格模型的高斯过程回归分析方法对三维曲面及其二维投影统一建模。在可变形曲面理论研究的基础上，我们开展了相关的应用。我们的主要研究成果发表于IEEE Trans. on Cybernetics, IEEE Trans. on Knowledge Data Engineering和ECCV2012等。