本项目比较深入地研究了耳语音的声学特征和感知特性,在比较耳语音与正常语音差异的基础上,提出多种耳语音特征分析和提取的方法。首先针对耳语音信噪比低、常规参数和方法难以实现端点检测、声韵母分割的问题,提出采用分形维、子波能量比等特征及相应的算法实现耳语音的端点检测、声韵母分割,该方法具有与说话人以及文本无关的优点。其次针对耳语音没有基频但能感知音调的特点,提出了从人的听觉特性出发,根据听神经发放频率及位置信息感知耳语音声调和音高的方法,并采用多项式特征曲线声调模型,产生语音转换时所需的基频轨迹。另外,对反映耳语音的关键特征共振峰参数作了深入研究,采用粒子滤波等算法提取耳语音共振峰并加以轨迹跟踪,在分析耳语音与正常语音共振峰及其带宽之间异同的基础上,提出概率加权GMM模型建立耳语音共振峰参数与对应的正常语音共振峰参数之间的映射关系,进一步根据映射的共振峰参数向线谱对频率转换。最后,在有效提取多种耳语音特征参数基础上,采用修正MELP模型实现耳语音向正常语音转换,并建立了实验系统,经主客观评价取得较满意的结果。本项目研究已发表论文13篇、录用论文2篇,其中三大检索9篇,申请发明专利2项。
英文主题词reconstruction speech from whispers; formants of whispers; pitch perceiving of whispers; auditory characteristics of whispers