首尔大学研究团队在神经科学领域取得突破性进展,成功通过分析人脑表面电极信号,解码并重建了大脑中“想象”的音乐旋律。 这一发现不仅为内部音乐表征提供了直接的神经证据,也为开发面向非语言障碍人群的音乐脑机接口(BCI)奠定了基础。
该研究分析了10名因临床需求植入颅内电极的癫痫患者的侵入性脑活动数据。参与者首先聆听熟悉的儿童歌曲的开头几小节,然后无声地在脑海中想象旋律的延续,最后再将其哼唱出来以供验证。
研究团队通过靶向编码相对音高类别(如do、re、mi)的脑信号,成功随时间推移重建了想象音乐的旋律轮廓。该预测解码模型专注于音符间的相对音高关系,而非绝对听觉频率。 这种方法模拟了人类在不同音调下感知音乐的不变性,使得模型即使在旋律以不同调性被想象时也能保持有效。
研究发现,侵入性脑信号携带有足够的频谱和时间信息,足以在无声的心理音乐想象过程中解码相对音高序列。通过聚合跨时间的音符级神经音高预测,研究人员能够重建出与想象歌曲结构相符的精确旋律轨迹。
这项概念验证研究为未来的辅助技术提供了广阔前景。 它有望成为脑机接口的基础,旨在为肌萎缩侧索硬化症(ALS)等患有严重运动或言语障碍、无法清晰表达声音的个体,合成其内部想象的音乐或言语。
研究负责人之一、首尔大学的Jii Kwon解释道:“我们创建的模型解码的是相对音高类别——例如do、re、mi、fa、sol和la——而非精确的绝对音高。这非常有用,因为人们通常通过音符之间的关系来识别旋律,即使同一旋律以不同的调性演奏。”
作者指出,这项研究提供了脑信号能够揭示想象音乐旋律中音高变化的证据。这些发现可能会激励未来在解码其他音乐属性(如节奏和力度)方面的工作,或者探索类似方法是否能从熟悉的儿童歌曲扩展到更复杂的音乐。Kwon博士希望这些发现最终能帮助开发出重建想象旋律的方法,不仅适用于音乐背景有限的个体,也适用于肌萎缩侧索硬化症等无法清晰表达其所想象内容的患者群体。
这项由首尔大学的Jii Kwon和Chun Kee Chung领导的研究成果已发表在《eNeuro》期刊上。
Jii Kwon, Chun Kee Chung. Neural Decoding of Imagined Melodies from Intracranial Brain Signals. eNeuro, 2024. DOI: 10.1523/ENEURO.0034-24.2024