在系统开展与双耳听觉模型相关的心理学实验基础上,依据对声激励条件下振动在基底膜中以纵波形式传播,及双耳上橄榄体对ITD检测依据"斜率映射"模式进行工作等两个听觉生理学领域的发现,对现有的双耳听觉计算模型进行改进。进而,参考听觉通路"假设驱动(Top-Down)"的神经处理机制,利用课题建立的心理声学数据库,采用多任务学习手段,通过简单神经元网络对心理声学实验中蕴含的听觉感知及认知信息进行参数学习,对听觉神经"激励-抑制"调节机制进行模拟,并建立内嵌简单神经元网络的双耳听觉模型。最后利用进化学习手段对学习过程进行全局优化,建立基于参数优化具有简单神经认知能力的双耳听觉计算模型。
Cocktail party problem;Psychoacoustic model;Auditory perceptual grouping;Multisensory integration;
鸡尾酒会效应的研究是人听觉感知系统研究的重要论题,研究者需要通过对人听觉的空间效应、语音流的截取机制、混杂环境中人的注意力调节及音频元素知识存储中的结构模型等多个方面的研究来揭示出人耳听觉系统出色的混杂信息处理能力。传统的双耳听觉计算模型,注重通过人耳的能量差与时间差的解析,实现对空间声源的方位估计。研究表明,听觉系统对声音的时间、空间与频率特性的解析,不是静态与孤立的,而是动态与关联的。因此,如何通过设计反映人听觉系统对音频信息的时间、空间及频域的综合处理能力,是课题着重考虑的问题。课题针对双耳听觉系统对音频信息的时间、空间及频域分辨能力的研究,创造性提出了基于听觉 Ternus 范式的听觉流分组研究,将视觉领域的 Ternus 似动现象迁移到听觉领域,同时也考察了听觉流分组及其加工过程。课题研究重点开展了如下四项研究工作 1、通过听觉Ternus似动构造短听觉流序列开展研究,发现短听觉序列的知觉成组发生在低认知层次的感知加工阶段,结果突出了时间和频率对听觉系统知觉的重要调制作用,为多感觉通道的似动现象提供了实验证据和理论参考; 2、通过间断转移错觉结合视觉Ternus似动开展研究,发现了单感觉通道内的时域组对发生在跨感觉通道知觉组对之前,且听觉知觉竞争在时域上能够改变视觉通道感知,为揭示鸡尾酒会问题中的视听交互场景提供了范式参考和理论支持; 3、通过音调变化的声音结合视觉Ternus似动开展研究,发现在重力经验条件下视听匹配和不匹配时人对视觉运动的敏感性都有所下降,听觉刺激都会对任务造成干扰并一定程度上捕获注意力,这为不同视听联觉属性之间的竞争提供了实验证据。 4、面向听觉鸡尾酒会效应重点开展听觉系统对混杂声场中时、空、频特征辨识的研究,研制环形声学实验台,并设计运动声源定位范式和多声源听觉感知的研究方案。开展了双耳听觉计算模型建模以及语音分离相关的算法仿真及测听研究,发展了融合基于时、空、频综合分析的声被动目标轨迹估计模型,为研究空间运动声源感知模型奠定了基础。通过上述四方面的研究开展与结论分析,课题实现了对人耳听觉系统的时空频的特点分析,并针对鸡尾酒会效应中人耳听觉系统中的空间定位、时域截取、注意控制、记忆空间等四类关键要素,对行为现象进行了初步分析,进一步提出了利用环形声学试验台进行鸡尾酒会效应分析的研究思路,并为下一步研究奠定了基础。