本项目研究人脸实时三维重建以及人机表情与语音交互。由脸部特征的非刚性与刚性运动融合的实时跟踪及训练,获得逼真的人脸表情模型;将输入语音按特征分段并匹配基本语素模型,进而由表情空间基线性表示,最后克隆出虚拟角色的综合运动,生成智能的表情。可应用于人机交互、虚拟主持人、游戏与电影制作等领域,具有重要的学术意义与应用价值。
英文主题词Face tracking; Speech based interation; realistic face reconstruction; expression recognition; expression cloning