
哥伦比亚大学祖克曼研究所的科学家们在人体研究中首次提供了直接证据,证明脑控听力技术能够帮助人们在嘈杂环境中识别并聚焦特定人声。这项突破性研究有望开发出能够克服传统助听器在嘈杂环境下局限性的听力增强设备,其成果已在线发表于《自然-神经科学》(Nature Neuroscience)期刊。
传统助听器在嘈杂环境中往往难以区分重叠的对话,即所谓的“鸡尾酒会效应”,这是其主要局限之一。它们通常不加区分地放大所有传入声音,使得用户难以专注于特定说话者。
“我们开发了一个系统,它充当用户的神经延伸,利用大脑在复杂环境中过滤声音的自然能力,动态地分离出用户希望听到的特定对话,”该研究的资深作者、哥伦比亚大学祖克曼研究所首席研究员兼工程与应用科学学院电气工程副教授Nima Mesgarani博士表示。“这项科学使我们能够超越仅仅放大声音的传统助听器,展望一个技术能够恢复人脑复杂、选择性听力的未来。”
与传统助听器不同,该系统采用“大脑优先”的方法,利用大脑自然过滤复杂环境的能力。它通过实时监测脑电波的“峰谷”模式,并运用机器学习算法将其与特定对话的模式进行匹配,从而实时识别用户正在关注的说话者,并自动放大该特定声音。
在这项新研究中,哥伦比亚大学的研究人员与外科医生及其癫痫患者团队合作。这些患者在接受脑部手术以精确定位癫痫发作源时,已预先植入了电极,并自愿参与了这项研究。
Mesgarani博士的系统利用这些电极测量患者的脑活动,同时播放两段重叠的对话,让患者专注于其中一段。系统随后自动检测出患者正在关注哪段对话,并实时调整音量,放大目标对话,同时降低另一段的音量。一位志愿者对能用大脑控制系统感到难以置信,甚至怀疑研究人员在秘密调整音量。其他志愿者则分享了他们有听力障碍的亲友可能从这项技术中受益的故事,有人称其“就像科幻小说一样”。
研究结果显示,该系统成功识别了志愿者所关注的对话,显著提高了语音清晰度,降低了“听力疲劳”,并且志愿者们一致认为,与系统未提供辅助的对话相比,他们更喜欢有辅助的体验。该技术在受试者被引导至特定说话者时以及他们自由选择对话时均能成功运作,这反映了真实的社交动态。
早在2012年,Mesgarani博士及其同事就已发现如何识别在人群中与特定对话相关的脑信号模式,例如脑电波的峰谷时间与对话中的声音和静默模式相匹配。他们还发现,独特的脑活动模式可以揭示一个人正在关注哪段对话,以及正在过滤掉哪段。
在过去十年间的数百项研究中,Mesgarani博士及其团队克服了诸多挑战,例如开发计算机算法以自动分离多位说话者的声音,并将其与听者的脑电波进行比较。该论文的第一作者、Mesgarani实验室的电气工程博士Vishal Choudhari表示:“核心问题是,脑控听力技术能否超越渐进式进步,走向一个能够实时帮助人们听得更清楚的原型。我们首次证明,这样一个通过读取脑信号选择性增强对话的系统能够提供清晰的实时益处。这标志着脑控听力从理论走向了实际应用。”
世界卫生组织的数据显示,全球有超过4.3亿人患有致残性听力损失,其中许多人在嘈杂的社交环境中面临巨大困难。未经治疗的听力损失是痴呆症的一个主要可改变风险因素,也是抑郁症和社会隔离的主要原因。这项研究为未来的可穿戴系统奠定了基础,这些系统有朝一日可以将脑传感与先进的音频处理相结合,从而帮助听力受损者,并可能增强任何人在餐厅、教室、繁忙工作场所和家庭聚会等日常挑战性环境中的听力,减少听力疲劳。
科学家们指出,在将这项技术转化为可穿戴、微创且适用于更复杂真实场景的形式之前,仍需进行大量工作。Mesgarani博士表示,他们希望有朝一日能测试该系统在更复杂的真实听力条件下的表现。Choudhari博士补充说:“这些结果标志着脑控听力技术迈向新一代的重要一步,它与听者的意图保持一致,有望改变人们在嘈杂、多说话者环境中的导航方式。”
这项工作得到了Marie-Josee and Henry R. Kravis基金会以及美国国立卫生研究院国家耳聋及其他交流障碍研究所的资助。