人工智能将大脑的电信号转化为有些 garbled 的经典摇滚乐。
研究人员希望,脑部植入物有朝一日能帮助失去说话能力的人恢复声音——甚至可能恢复歌唱。现在,科学家首次证明,大脑的电活动可以被解码并用于重建音乐。
一项新研究分析了29人的数据,这些人已经在使用直接放置在他们大脑表面的、邮票大小的电极阵列来监测癫痫发作。当参与者聆听平克·弗洛伊德乐队1979年的歌曲《墙上的另一块砖(第一部分)》时,电极捕捉了几个大脑区域的电活动,这些区域与音调、节奏、和声和歌词等音乐元素相协调。利用机器学习,研究人员重建了参与者所听到的 garbled 但 distinct 的音频。该研究结果于周二发表在《PLOS生物学》上。
为何选择平克·弗洛伊德?
为什么团队选择了平克·弗洛伊德——特别是《墙上的另一块砖(第一部分)》?“我们在论文中提到的科学原因是,这首歌非常有层次。它带来了复杂的和弦、不同的乐器和多样的节奏,使其分析起来很有趣,”该研究的主要作者、认知神经科学家Ludovic Bellier说。“不那么科学的原因可能是我们真的很喜欢平克·弗洛伊德。”
AI模型分析了大脑对歌曲声学特征的各种组成部分的反应模式,区分了音高、节奏和音调的变化。然后,另一个AI模型重新组合了这个被分解的 composition,以估计患者听到的声音。一旦大脑数据被输入模型,音乐就回来了。它的旋律大致完整,歌词虽然 garbled,但如果你知道要听什么,还是可以分辨出来的:“总的来说,它只是墙中的一块砖。”
对脑机接口的意义
尽管研究结果集中在音乐上,但研究人员期望他们的结果对于将脑电波转化为人类语言最有用的。无论哪种语言,言语都包含旋律上的细微差别,包括节奏、重音、口音和语调。“这些元素,我们称之为韵律,承载着我们无法仅用语言交流的意义,”Bellier说。他希望该模型将改善脑机接口——记录与语言相关的脑电波并使用算法重建预期信息的辅助设备。这项技术仍处于起步阶段,可以帮助因中风或瘫痪等疾病而失去说话能力的人。
Jain说,未来的研究应该调查这些模型是否可以从参与者听到的音乐扩展到想象中的内部语言。“我希望这些发现能够转化,因为当人们想象说出一个词时,与实际说出那个词相比,相似的大脑区域被激活,”她说。如果一个脑机接口可以重建某人说话,并带有音乐中固有的韵律和情感分量,它可以重建的远不止单词。“而不是机器人般地说‘我。爱。你。’你可以喊‘我爱你!’”Knight说。