位置:成果数据库 > 期刊 > 期刊详情页
基于汉语音位发音想象的脑机接口研究
  • ISSN号:1003-0077
  • 期刊名称:中文信息学报
  • 时间:2014
  • 页码:13-23
  • 分类:TP391[自动化与计算机技术—计算机应用技术;自动化与计算机技术—计算机科学与技术]
  • 作者机构:[1]清华大学人文学院计算语言学实验室,北京100084, [2]清华大学人文学院心理学与认知科学研究中心,北京100084
  • 相关基金:国家自然科学基金(61171114);清华大学自主科研项目(20111081023 & 20111081010)
  • 相关项目:基于语用信息的交互行为与语言特征的建模研究
中文摘要:

该文提出了一个基于汉语音位发音想象的脑机接口系统框架,使得受试者使用脑机接口系统时能更加自然和流畅.三名受试者参与了本实验研究,实验过程中受试者被要求想象四个汉语元音和四个辅音音位的发音部位及语音发音,以及一个不作想象任务的控制条件,同时记录其脑电数据.在数据处理阶段,本文对采集到的头皮脑电数据进行了频域、时域、空域分析,以提取出音位发音想象效应最优化的特征向量用于提高每两个条件间的配对分类效果.实验结果表明,音位发音想象效应的最优脑电频段为2~10Hz,时段为刺激呈现后300~500ms,头皮空间分布主要集中在感觉运动皮层区域.音位发音想象任务和控制条件相比具有较高的分类正确率,最高可达83%,为基于音位发音想象的汉语脑机接口系统研究提供了理论基础.此外,刺激材料间的Jaccard距离和分类正确率的高度相关性表明,音位发音想象任务可被视为复杂的发音器官运动想象任务,并且可由人脑感觉运动皮层区域的脑电信号来解码预测.

英文摘要:

This paper intends to construct the framework of a voluntary speech neural prosthesis based on phoneme imagery EEG signals to make brain-computer interface (BCI) speech production more natural and fluent. EEG signals are recorded in three healthy subjects while they are imagining both the vocalization and places of articulation of four vowels and four consonants in Mandarin Chinese as well as a no imagination state as control. To process the EEG data, this study performs spectral, temporal, and spatial analyses to extract the optimal phoneme imagery fea- tures for pairwise classification by SVM between every two tasks. The results reveale that the phoneme imagery effect is demonstrated in the frequency range of 2-10Hz, the time interval of 300-500ms after the stimuli onset, and the spatial patterns with strong activities mainly covering the sensorimotor cortical region. Besides, this study also find a high correlation of the pairwise classification accuracies with the Jaccard distances between the experimen- tal stimuli based on the binary descriptions of articulation control. This experiment confirms the hypothesis that phoneme imagery can be characterized as a complex motor imagery task and that, with the highest classification accuracy between speech imagery and non-imagery tasks reaching up to 83% averaged across subjects, scalp-level speech motor imagery signals probably possess an unfulfilled potential to control a neural utterance synthesizer for communication BCIs.

同期刊论文项目
同项目期刊论文
期刊信息
  • 《中文信息学报》
  • 北大核心期刊(2011版)
  • 主管单位:中国科学技术协会
  • 主办单位:中国中文信息学会 中国科学院软件研究所
  • 主编:孙茂松
  • 地址:北京海淀中关村南四街4号中科院软件所
  • 邮编:100190
  • 邮箱:jcip@iscas.ac.cn
  • 电话:010-62562916
  • 国际标准刊号:ISSN:1003-0077
  • 国内统一刊号:ISSN:11-2325/N
  • 邮发代号:
  • 获奖情况:
  • 国内外数据库收录:
  • 日本日本科学技术振兴机构数据库,中国中国科技核心期刊,中国北大核心期刊(2004版),中国北大核心期刊(2008版),中国北大核心期刊(2011版),中国北大核心期刊(2014版),中国北大核心期刊(2000版)
  • 被引量:9136