韵律边界作为口语韵律特征的有机组成部分,在句子和语篇理解过程中发挥着重要作用,但是目前尚未澄清韵律边界加工的内部机制,以及与其他语言学信息之间的关系。本项目拟使用ERP和fMRI技术,研究韵律边界加工的认知和神经机制。着重使用ERP技术,考察对话语篇中,重读信息和不同类型与位置的焦点对韵律边界加工的影响;探索语篇熟悉性和实验任务如何影响听者加工语篇内部不同层级的韵律边界;使用fMRI技术,考察在不同实验任务下,不同层级韵律边界加工激活的脑部区域,并通过独立成分分析、有效联结分析等多变量数据分析方法,建立不同激活脑区之间的联系。本项目可以进一步揭示韵律边界加工的认知神经基础,并为建立完整的语言认知加工模型,以及言语工程系统提供实验和理论依据。
本项目使用ERPs和眼动技术,考察了韵律信息的加工及其和其他语言学信息之间的关系。研究1中,我们首先通过两个实验考察被试在感知语调短语边界的过程中,如何权衡三种标记韵律边界的线索停顿、边界前音节延长和音高重置。结果表明,在自然口语中的语调短语边界感知过程中,当要求听者判断边界是否出现时,他们均等使用三种声学线索,而在判断边界强度时则会更加依赖停顿这一线索。研究2中,我们采用汉语特有的语篇绝句,考察了听者加工绝句各句末语调短语边界的认知过程及其诱发的脑电效应。研究表明,句末语调短语边界诱发何种脑电效应与其承担的功能有关,既表示前面信息终止又预期后面信息出现的句末语调短语边界会诱发反映韵律边界加工的特定性脑电成分CPS (closure positive shift),而只表示信息中止的句末语调短语边界则会诱发P3。研究3中,我们研究了韵律信息和其它语言学信息的关系。我们使用ERPs技术考察了重读和信息结构之间的一致性关系,以及对语调短语边界加工的影响。研究发现,对于信息焦点,听者对焦点信息不重读较为敏感;而对于对比焦点,听者对非焦点信息重读更加敏感。不论语调短语边界前哪个位置出现焦点,边界都会稳定诱发CPS,不过CPS前的负波会由于边界前焦点或重读的出现而消失。此外,不论是否重读,不同类型和位置的焦点相对于非焦点都会诱发反映焦点信息整合的正波;但受到类型和位置的影响,又各具一些独特的表现。研究4中,我们使用眼动技术,考察了对话语篇中不同类型和位置焦点的眼动模式。结果表明,不论处于哪个位置,焦点总比非焦点获得更长的注视时间。不过,对比焦点会比信息焦点注视时间更长,而紧邻边界的焦点总是比与边界间隔的焦点获得更多注视。研究5中我们使用ERP技术,采用七言绝句考察了声调和音段信息加工的时间特点及其神经机制。实验发现,绝句中韵母比声调更早地得到加工,并且韵母和声调在较晚的加工阶段产生交互作用,以用来进行语音信号的错误探测和再分析。本项目可以进一步揭示韵律信息加工的认知神经基础,并为建立完整的语言认知加工模型提供实验和理论依据。