中文摘要：

由北大、杭大和中科院软件所共同承担的此项目，研究多通道人机交互的用户模型和描述方法，界面评估和可用性测试，界面开发环境及应用实例。在模型和描述方面提出了事件-目标驱动的EO模型和MMUI模型，新界面范式VIR，层次化的多通道界面描述方法HMIS等。在整合算法方面提出了面向任务的多通道界面结构和整合模型—ATOM，词法层、语法层、语义层的整合算法，整合中的指称技术及目标选择算法等。在多通道开发环境方面，实现了基于VRML的多通道交互虚拟现实PC平台VRoom，与平台及设备无关的多通道—多媒体4MUI用户界面核心系统和开发平台MMID-KIT，集成了语音、三维鼠标、WACOM数字化仪、汉字手写体笔画输入及眼动模拟等输入设备。在实例应用方面，实现了虚拟座舱实例、草图CAD实例、语音和手写体整合汉字识别系统、基于多通道的非沉浸三维设计环境、演示二、三维交互及时变媒体的多通道交互系统、中国象棋的多通道交互软件等。在界面的评估及可用性测试方面，对传统的和多通道的用户界面操作效率及用户满意程度进行了行为实验，对多通道和单通道人机交互的优缺点进行了评估。