将情感诱发事件、情感心理反应和生理反应信息有机结合可实现更准确的用户情感识别,推动具有情感技能的计算机系统走向实际应用。然而情感计算的当前研究还未能建立有效的情感诱发事件及心理过程的理论和计算模型,导致现有情感生理识别系统面临个体依赖性强以及对情感种类数量敏感的两大难题,使其实用化受到限制。为实现计算机与人进行自然情感交流的目标,本项目用交叉学科方法创新性地建立情感的激励-响应动力学理论模型,导出情感响应滞后模式、情感消退时间模式、情感诱发激励和心理响应个体差异模式等,将情感心理反应特征转化为可计算的指标,从而对用户情感心理反应形式进行准确预测。设计和实施情感心理和生理数据采集,并创新性地应用随机矩阵理论获得真实可靠的情感生理反应信息,将情感的生理特征转化为可计算的生理信号指标。最终联合情感心理反应动力学理论模型和情感生理反应信号指标,采用模式识别技术构建具有预测识别能力的情感识别系统。
emotion elicitation and response modeling;emotion recognition;multi-variant correlation;fluctuation features;multifractal features
项目致力于解决两个关键科学问题(1)情感激励-响应动力过程的建模。(2)情感生理数据可靠性的分析。围绕这两个科学问题,项目开展了近三年的研究,研究工作顺利完成。项目负责人以第一作者在本领域顶级刊物IEEE Transactions on Affective Computing上发表论文一篇; 以第一作者撰写的另一篇论文“Wanhui Wen, Guangyuan Liu, Wenjin Huang, Xu Zhang, Hui Hu, Jiemin Yang. Public Speaking Anxiety Attenuates the Multifractality of Heartbeat Dynamics. Psychophysiology, under review.” 处于审稿状态;与他人合作发表EI收录论文6篇,国内核心刊物论文2篇;以第一申请人申请国家发明专利一项。按照工作开展的时间顺序,将我们的工作和成果发现总结如下(1)在大量电影中选择了最具代表性的四个电影剪辑,构建了情感诱发素材库;采集了大量被试的情感响应数据,建立了大样本的用户非依赖生理信号数据库;开发了情感诱发与生理数据管理系统。(2)在本研究领域内首次采用基于随机矩阵理论的多变元相关法,找到了情感激励—响应的用户非依赖生理模式。(3)在本研究领域内首次使用局部尺度维的交叉学科方法抽取信号涨落特征,联合信号的传统统计特征,建立了基于生理信号特征组合的情感识别模型。(4)对皮肤电信号尝试使用线性常微分方程进行建模,并从含噪声的观测皮肤电数据构造情感激励-皮肤电响应动力系统,估计该系统的多个参数。(5)分析了心率信号的多分形特性,对恐惧相关的复杂情感,比如社交焦虑情感,在本研究领域中首次使用局部Hurst指数测度来衡量社交焦虑对心脏动力过程的影响,发现社交焦虑显著缩小心率局部Hurst指数的取值范围,从而显著减弱心脏动力过程的多分形特性。(6)对上述理论研究成果化繁为简,进行技术上的应用,形成国家发明专利一项“一种恐惧情感的实时识别方法”(申请号201410672093.2,申请日2014年11月18日)。