本项目把计算机科学和心理、认知科学相结合,通过具有情感反馈的典型人机交互情境,研究情感计算的基本理论和方法。其中包括多模态数据融合的用户情感状态检测;实时获取多模态数据的情感信息;采用统计、机器学习的方法,从大量情感数据中提取人类情感的共性,建立通用的情感参数化模型;将人脸、手势和姿态的动态情感模型和语音参数化的情感模型相结合,研究情感信息的融合与分类策略和算法,识别和理解人的情感状态及其变化;研究情感的自动生成理论及面向多模态的情感表达,建立用户与虚拟对象(avatar)的情感交互模型;研究情感信息与情境的关系等。其成果将加深对情感状态和机制的理解,有效探求情感在交互中的作用,提高人机界面的和谐性;为人机交互中的情感计算技术建立必要的理论基础、关键技术和可扩展的综合示范环境。