音乐信号的智能分析是音乐检索、识别、音乐创作与音乐信号压缩的基础理论,我们的智能分析理论基于脑神经科学家Daniel J.Levitin对音乐在人脑中感知过程的研究成果。基于此研究成果,我们将提出并建立新型音乐信号的模式空间,研究模式空间的组成和表示方法,把音乐信号分成音色、节拍、旋律、和声等多维模式,然后分析音乐的底层特性,主要通过贝叶斯理论建立各类特征模型,最后提取各模型参数,进一步用模式参数来表示音乐信号。我们的初步研究结果表明,基于贝叶斯理论的谐波模型能高效地捕捉多声部音乐的音高模式参数,基于贝叶斯理论的节奏模型适用于提取单声部音乐的节拍模式参数,这为我们研究音乐信号的模式空间打下良好基础。本项目研究内容属于智能信号处理的基础前沿,基础理论的研究对于音乐文化产业,核心软件产品和制作工具具有重要意义。
Bayesian theory;Music signal analysis;Music signal applications;Speakers and sound field distr;
音乐是人类文化的重要组成部分。对实际录制的音乐信号进行分析及应用研究,提取音乐信号的重要特征,是研究音乐信号表示方法和表现形式的基础,也是进一步应用在音乐检索、音乐标注、音源分离、音乐编码等诸多方面的基础。这些研究对于弘扬人类优秀文化,发展音乐文化产业,开发核心软件产品和制作工具具有十分重要的意义。本项目基于贝叶斯理论,对音乐信号分析及应用、扬声器及声场分布进行了认真地研究,主要研究工作和成果如下 1.实现了基于贝叶斯谐波模型分析多音音乐信号并行算法和参数估计后多音音乐信号的合成。测试结果表明运行速度大幅度提高,为下一步进行实时音乐编码奠定了基础。 2.实现了一种多基频提取算法,依据基频的倍数关系分别提取,实验结果表明算法能有效实现音符数为2到4的混合信号基频估计。 3.实现了一种音符起始点(onset)自适应检测算法,对于不同乐器演奏的音乐自适应采用不同的onset检测算法,明显优于其它检测算法。 4.实现一种基于贝叶斯谐波模型的单通道多音信号盲分离算法,基频参数单独估计,采用贝叶斯谐波模型估计其他模型参数。为了解决此种分离后单音信号音色质量问题,本文提出了一种利用乐器的音色信息进行频谱包络优化的方法,有效地改善了基于贝叶斯谐波模型的音乐信号盲分离的分音质量。 5.实现了基于贝叶斯理论对多音音乐信号进行编码,压缩后数据率在20—30kbps之间,但音乐主观听感稍有些下降。 6.实现了一个自动记谱系统,将输入wav格式的声学单音音乐进行特征提取,然后整合输出其简谱图,并申请了国家发明专利“单声道多音信号的自动转录方法及装置”。 7.基于贝叶斯决策理论,设计并实现了音乐哼唱检索系统,测试表明现场哼唱进行即时检索的准确率在70%左右,选前五的检索正确率超过80%,并获批了“音乐哼唱检索系统”的软件著作权。 8.基本完成了演唱智能评分系统,并获批准“音乐哼唱评分系统”软件著作权。 9.采用遗传算法优化扬声器线阵列,实现了200—1000Hz场强均匀分布的目标。 10.实现了Hilbert-Huang变换的改进方法,提出了新的非线性失真衡量方法NDD。实验结果表明非线性失真造成的波形畸变由波内频率调制解释更为准确,验证了NDD比传统的非线性失真测量标度更加精确。 11. 进行了DMS多声道与传统立体声主观感受对比实验研究,得出了两者主观感受方面的区别。