对耳语音信号的研究在语音通信、说话人身份识别及军事安全等领域有重要应用价值。掌握耳语音的情感信息有助于实现从耳语语音到正常语音的转换,从而成为目前耳语音研究的重要内容。尽管国内外对于正常语音的情感特征分析研究已取得了很大的发展,然而对于耳语音情感信息处理的研究尚属空白。本项目拟以生理学和心理学的情感特征分析研究为基础,从工程信息处理角度去研究耳语音情感信息处理的关键技术和方法,包括耳语音信号中的情感特征分析和提取方法;各类情感特征参数的有效组合及变换衍生特征的性能评价方法;情感特征的模型化方法;情感特征的识别处理算法;情感信息处理系统的软硬件实现等。本项目的研究可以填补国内外在耳语音情感特征处理方面的空缺,是一个开创性、探索性、创新性课题,其研究成果对喉失音患者的矫正治疗、语音通信、保密场所的身份识别、公安司法犯罪鉴定和军事安全领域有重要的理论指导与应用价值。
whispered speech signal;emotional feature;analysis;recognition;
本项目以生理学和心理学的情感特征分析研究为基础,从工程信息处理角度研究了耳语音情感信息处理的关键技术和方法,包括耳语音信号中的情感特征分析和提取方法;各类情感特征参数的有效组合及变换衍生特征的性能评价方法;情感特征的模型化方法;情感特征的识别处理算法;情感信息处理系统的软硬件实现等。本项目的研究成果部分填补了国内外在耳语音情感特征处理方面的空缺,是一个开创性、创新性课题,其研究成果对喉失音患者的矫正治疗、语音通信、保密场所的身份识别、公安司法犯罪鉴定和军事安全领域有重要的理论指导与应用价值。几年来本项目着重就如下几个方面开展了深入细致的研究工作:(1) 建立和完善了实验用耳语情感语音数据库;(2)研究了新的耳语语音情感特征参数分析和提取方法;(3)情感特征的变换、压缩、加工、传输、重建的方法;(4)情感特征参数有效性评估和合理组合方法;情感信息特征的模型化方法等;(5)根据耳语情感语音识别的特点,研究了有效的基于统计的、概率的耳语语音情感特征识别方法;通过本课题的研究达到了下列目标(1) 建立和完善了实验用耳语情感语音数据库;(2)建立了一套正确描述耳语情感特征的情感信息处理的数学模型;(3)提出了一套如何利用情感耳语语音进行情绪分析和分类的理论;(4)编制了一套具有独立知识产权的模拟人类情感活动的耳语语音情绪特征分析与识别评价系统的计算机仿真软件。(4)建立了一套简单、可靠的基于情感耳语语音的情绪自动识别和在线检测系统。通过本课题的研究,发表了60余篇研究论文,其中SCI收录13篇、EI收录31篇。申请并受理了36项发明专利,其中已授权18项发明专利。利用该项目培养博士研究生3名、硕士研究生8名。参加国际交流23次。同时,本课题的研究成果已成功应用于国家太空计划等国防科研中,先后得到国家航天员训练中心的两项国防科研合作项目;应用到了基于耳语情感特征分析的数字助听器语音处理技术的分析研究上,开发了基于耳语特征分析的数字助听器语音处理系统的硬件模块,得到了国内数字助听器企业的合作项目;应用到了中国儿童情绪能力的分析与分类、中国儿童情绪发展跟踪、中国儿童科学学习方法的研究中,得到了教育部和国家基金委的重点项目的支持。