Woman's Brain Implant 将她的想法实时转化为语言
在 30 岁时患上脑干中风近二十年后,由于新的脑机接口 (BCI) 过程,美国一名女性重新获得了将想法实时转化为文字的能力。
通过以 80 毫秒的增量分析她的大脑活动并将其转换为她声音的合成版本,美国研究人员的创新方法消除了困扰该技术早期版本的令人沮丧的延迟。
我们的身体能够按照我们认为的方式传达声音,这是我们经常认为理所当然的功能。只有在极少数时刻,当我们被迫停下来等待翻译,或者通过扬声器听到我们的演讲被延迟时,我们才会欣赏我们自己解剖结构的速度。
对于塑造声音的能力已经被切断的人大脑的言语中枢,无论是通过肌萎缩侧索硬化症或危急病变神经系统的组成部分,大脑植入物与专用软件相结合,有望获得新的生命。
一个数字之BCI 语音翻译项目见过巨大的突破最近,每个都旨在减少从思想中产生语言所需的时间。
大多数现有方法都需要在软件破译其含义之前考虑完整的文本块,这可能会大大拖延语音起始和发声之间的秒数。
这不仅不自然,而且对于使用该系统的人来说也可能令人沮丧和不舒服。
“改善语音合成延迟和解码速度对于动态对话和流畅的交流至关重要,”来自加州大学伯克利分校和旧金山分校的研究人员写在他们发布的报告中.
这“由于语音合成需要额外的时间来播放以及用户和听众理解合成的音频这一事实而变得更加复杂,”解释该团队由加州大学伯克利分校计算工程师 Kaylo Littlejohn 领导。
更重要的是,大多数现有的方法都依赖于 “说话者” 通过公开地进行发声动作来训练界面。对于不练习或总是难以说话的人来说,为他们的解码软件提供足够的数据可能是一个挑战。
为了克服这两个障碍,研究人员在这位 47 岁的参与者的感觉运动皮层活动上训练了一个灵活的深度学习神经网络,同时她从 1,000 多个单词的词汇中默默地“说出”了 100 个独特的句子。
Littlejohn 及其同事还使用了一种基于 50 个短语的辅助交流形式,使用了一组较小的单词。
与以前的方法不同,这个过程不涉及参与者尝试发声——只是在脑海中思考句子。
该系统对两种通信方式的解码都非常出色,每分钟的平均翻译字数接近以前方法的两倍。
重要的是,使用可以连续即时解释的预测方法可以使参与者的语音以更自然的方式流动,比其他方法快 8 倍。它甚至听起来像她自己的声音,这要归功于一个基于她之前演讲录音的语音合成程序。
该团队在没有时间限制的情况下离线运行该过程,表明他们的策略甚至可以解释代表它没有经过刻意训练的单词的神经信号。
作者指出,在该方法被认为在临床上可行之前,仍有很大的改进空间。虽然语音可以理解,但它远不及解码文本的方法。
考虑到多远技术来了在短短几年内然而,我们有理由乐观地认为,那些没有声音的人可能很快就会歌颂研究人员和他们的读心术设备。
这项研究发表在自然神经科学.