中文摘要：

面向虚拟教学代理对学生学习行为认知目标，研究基于多模式的学生学习行为协同认知计算模型。针对学生发音的正确性评测要求，构建基于声视频双模式的音素边界强制对齐算法，探讨双模式信息表示形式，提出基于隐马尔可夫模型融合决策计算模式。研究学生学习过程中的情绪状态可认知性，建立面部表情、头姿、表情语音等反映学生学习情绪状态基元的计算模式，学习其关联关系规则，建立基于多模式动态自适应学生学习状态协同决策机制，提高行为认知的鲁棒性，解决虚拟教师ECA对现实学生行为认知问题。具有学生学习状态认知能力的虚拟英语教师代理，面向外语学习需求，提供虚拟的浸入式学习环境，同时可应用于有心理障碍的儿童语言学习上，有着良好的社会意义和潜在的经济市场。该项目涉及图像处理、视频分析、语音处理、机器学习等多学科知识，是一个交叉性很强的研究方向，其研究成果有助于丰富多通道信息融合理论和应用研究成果，具有很强的理论研究意义。

结论摘要：

以虚拟教师对学习状态识别为背景，以面部、头姿、手势和语音为对象，研究了基于多源信息的情感状态等协同认知计算模型，探讨了基于多源信息融合理论的情感认知计算方法。针对学习状态尚没有公开数据库，建立了结合行为提示和激发的表情采集系统，用于多模式学习状态数据采集。针对学生双模式发音评价算法，提出了基于噪音自适应加权算法，探讨了基于耦合HMM即状态层融合的算法，并用于中文语音识别中，通过实验证明了其有效性。针对视觉语音表示，提出了几何和局部内唇纹理的组合特征，对多种可行内唇纹理特征进行了比较实验，确定了提升视觉语音特征可判别性的色度分量。本课题探讨了基于面部子空间Kappa线性加权融合的表情计算模型，利用Kappa计算子空间的表情信息量，提升表情识别的准确性。研究并提出基于stacking的多分类器融合机制，特别在基分类器选择中利用kappa-error图分析分类器对融合效果，确定基分类器。通过与单分类器、基于boosting多分类器融合和其他表情识别算法的对比实验，证明了该融合模式的有效性。研究了基于D-S证据理论的表情子空间在表情识别中关联关系分析，验证了不同子空间在不同表情识别的贡献差异。课题研究了基于FACS定义的面部AU单元在复杂情感识别中作用，利用DBN实现面部AU动态序列推理学习情绪状态建模。考虑到头姿和手势等在自然人情绪表达中作用，研究了利用学习情感相关的面部AU、头部AU和手势动作为对象的多层融合情感认知计算方法。针对面部、手势等对象的特征表示、感兴趣区域检测、特征点提取等，本课题组亦做了大量相关工作，特别针对边缘提取，根据边缘点空间特征提出了可能边缘估计的边缘分布和邻域差值权重矩阵，通过融合边缘决策结果，实现了更为鲁棒的边缘提取。本课题对所提出方法分别在公共数据库、自采数据集上做了广泛实验，获得了一定有价值的实验结果，特别针对复杂情感对象认知计算方法，研究从表述对象、从特征视角、从分类机理等不同角度所获信息的融合特性，获取对自然人行为的多角度理解，建立有效的复杂情感行为认知融合计算方法，提升对自然人情感认知能力。课题在多源信息融合 、多层分类计算方法以及算法性能评价等方面获得一定的理论知识和研究经验。经过三年的努力，已全面完成计划的各项任务。在国际国内期刊发表(含已录用)论文28篇，其中SCI检索2篇，SCI刊源1篇(1)，EI检索16篇。