通过大脑活动识别语音
语言是由人类大脑皮层产生的。与语言过程相关的脑电波可以通过位于皮层表面的电极直接记录下来。现在第一次证明,从这些脑电波中重建连续语音的基本单位、单词和完整句子,并生成相应的文本是可能的。KIT和美国Wadsworth中心的研究人员在科学杂志上展示了他们的“脑到文本”系统神经科学前沿.
长期以来,人们一直在猜测人类是否可以通过手机与机器交流大脑Tanja Schultz说,她和她的团队在KIT的认知系统实验室进行了目前的研究。“作为朝着这个方向迈出的重要一步,我们最近的研究结果表明,这两个单一单位在语音此外,连续说出的句子也可以从大脑活动中识别出来。”
这些结果是由信息学、神经科学和医学研究人员的跨学科合作获得的。在卡尔斯鲁厄,信号处理的方法和自动语音识别已得到开发和应用。除了解码演讲从大脑活动来看,我们的模型可以对参与语言过程及其相互作用的大脑区域进行详细分析,”克里斯蒂安·赫夫和多米尼克·埃格在博士研究期间开发了大脑到文本系统。
目前的工作是第一个解码连续语音并将其转换为文本表示的工作。为此,将皮层信息与语言学知识和机器学习算法相结合,提取出最有可能的单词序列。目前,Brain-to-Text是基于可听语音的。然而,该结果是仅从思想中识别言语的重要第一步。
的大脑的活动在美国记录了7名癫痫患者,他们在临床治疗期间自愿参与了这项研究。在大脑皮层表面放置电极阵列(皮质电描记术(ECoG))进行神经治疗。当患者大声朗读样本文本时,记录高分辨率的时间和空间ECoG信号。后来,卡尔斯鲁厄大学的研究人员分析了这些数据,开发了Brain-to-Text。除了基础科学和对大脑中高度复杂的语音过程的更好理解之外,脑到文本可能是未来为闭锁患者开发语音交流手段的基石。
更多信息:“脑转文本:从大脑中的电话表征解码口语短语。”前面。>.9:217。DOI: 10.3389 / fnins.2015.00217