文本和语音是人机交互中最基础最丰富的信息载体,本项目依据耦合关系对人机交互中的文本和语音情感特性进行分析,以文本为基础、语音为补充,将文本和语音中的情感特征进行耦合,同时基于耦合情感特征对交互中情感转移进行挖掘和表示,为深入研究人机交互中的情感转移机理,实现自然和谐的人机交互奠定基础。通过对交互中情感表达完整性分析,针对文本语音同步关联关系的描述问题,提出在词、短语、句子等多层次进行多粒度文本语音情感耦合,研究基于多粒度的文本语音多模态情感特征级与决策级融合模型,多粒度多模态情感信息处理较单一模态或单一粒度有更大的优越性;基于文本语音耦合情感特征,引入情感语义研究人机交互中情感转移机理,构建完善个性情感转移网络,以情感驱动人机交互。本研究对于对在认知科学上探索大脑对多模态情感信息的分析与处理的机理、揭示人类会话过程中各媒介之间相互作用、进而加深对大脑中情感的解析理解具有重要科学意义。
英文主题词Text speech interaction;Human-machine conversation;affective computing;Multimodal information fusion;Emotion transition