增强现实(AR)在很多领域都有着重要的应用。本研究针对AR环境下的混合界面展开研究。主要取得了以下具有创新性的研究成果提出了多视域界面信息的层次表达方法,给出了混合用户界面模型;针对桌面增强TUI(Tangible User Interface) 中存在的可操作实物数目受限问题,从实物语义分类、TUI 界面框架设计、实物交互技术设计及交互空间映射等方面提出解决方案,构建出语义完备的实物标记分类系统,并给出物理空间与虚拟空间、操作空间之间的映射关系,提出针对不同交互任务的TUI交互技术,并给出了桌面增强TUI的界面框架;结合3D虚拟交互技术和基于视频的手势交互,提出了增强TUI交互能力的混合交互技术;基于上述研究,以场景规划、牙齿咬合仿真和互动娱乐为应用背景,开发了验证相关技术的三个原型系统。本项研究对解决为AR环境下人机交互问题起到积极参考意义和推动作用。
英文主题词Hybrid User Interface; Tangible User Interface; Augmented Reality; 3D Interaction; Vision-Based Interface