谷歌的“读心”AI根据大脑信号判断你听的音乐

通过检查人的大脑活动，人工智能（AI）可以根据人最近听到的音乐类型、节奏、情绪和配器，制作出与之相匹配的歌曲。

此前，科学家已经通过大脑活动 "重建 "了其他声音，如人类语言、鸟鸣和马嘶。然而，很少有研究试图通过大脑信号来重现音乐。

现在，研究人员建立了一个基于人工智能的管道，名为 "Brain2Music"，它可以利用大脑成像数据生成音乐，这些音乐类似于一个人大脑被扫描时正在聆听的歌曲的简短片段。他们在7月20日发表在预印本数据库arXiv上的一篇论文中描述了这一管道，该论文尚未经过同行评审。

科学家们使用了之前通过一种名为功能性磁共振成像（fMRI）的技术收集到的大脑扫描结果，这种技术可以跟踪流向大脑的富氧血流，以观察哪些区域最为活跃。扫描是在五名参与者聆听 15 秒钟的音乐片段时收集的，这些音乐片段涵盖了蓝调、古典、乡村、迪斯科、嘻哈、爵士和流行等多种类型。

illustration of a brain wearing over-ear headphones, with a musical waveform shown rippling through it

相关内容音乐家头部受伤引发罕见联觉，使他 "看见 "音乐

利用部分大脑成像数据和歌曲片段，研究人员首先训练了一个人工智能程序，以找到音乐特征（包括使用的乐器及其流派、节奏和情绪）与参与者大脑信号之间的联系。研究人员用快乐、悲伤、温柔、激动、愤怒或恐怖等标签来定义音乐的情绪。

人工智能为每个人量身定制，在他们独特的大脑活动模式和各种音乐元素之间建立联系。

在对部分数据进行训练后，人工智能可以将剩余的、以前从未见过的大脑成像数据转换成代表原始歌曲片段中音乐元素的形式。随后，研究人员将这些信息输入谷歌之前开发的另一个名为 MusicLM 的人工智能模型。MusicLM最初的开发目的是根据文本描述生成音乐，例如 "一段平静的小提琴旋律配以扭曲的吉他旋律"。

MusicLM利用这些信息生成了可以在线收听的音乐片段，这些片段与原始歌曲片段相当相似--不过人工智能捕捉到的原始曲调的某些特征要比其他特征好得多。

"研究报告的合著者、瑞士谷歌公司的软件工程师蒂莫-登克（Timo Denk）告诉《生活科学》："就重建音乐和原始音乐的情绪而言，两者的一致性约为60%。重建音乐和原始音乐在体裁和配器上的匹配率大大高于偶然性。在所有流派中，人工智能能最准确地区分古典音乐。

"Denk 说："在我们评估的五个对象中，这种方法相当稳健。"如果你为一个新人训练一个模型，很可能效果也会很好"。

这项研究的最终目的是揭示大脑是如何处理音乐的，共同作者、日本大阪大学计算神经科学和人工智能助理教授高木雄说。

不出所料，研究小组发现，聆听音乐激活了初级听觉皮层的大脑区域，来自耳朵的信号在这里被解释为声音。高木说，大脑中另一个名为外侧前额叶皮层的区域似乎对处理歌曲的含义很重要，但这还需要进一步研究证实。众所周知，大脑的这一区域也参与计划和解决问题。

有趣的是，过去的一项研究发现，当自由式说唱歌手即兴表演时，前额叶皮层不同部位的活动会发生显著变化。

高木补充说，未来的研究可以探索大脑如何处理不同类型或情绪的音乐。该团队还希望探索人工智能是否能重建人们只是在脑海中想象而非实际聆听的音乐。

(责任编辑：泉水)

搜索

热门标签:

谷歌的“读心”AI根据大脑信号判断你听的音乐