
当人工智能被用来放大而非取代人类创造力时,会发生什么?一位患有自闭症和失语症的年轻人Jakob Jordan,用他的亲身经历给出了一个动人的答案。他无法自主控制发声,却在一部名为《Sensorium Ex》的歌剧中担纲主演,用一款为他量身定制的AI语音合成设备,向世界唱出了自己的心声。
Jakob所患的失语症是一种大脑和神经系统疾病,使他难以甚至无法将想法通过语言表达出来。然而,在纽约大学Tandon工程学院教授Luke DuBois及其团队的努力下,Jakob的声音得以“释放”。DuBois教授领导的“能力项目”实验室,没有急于修补Jakob的缺陷,而是专注于改进他所使用的工具。他们首先通过设计研究,收集了大量辅助沟通设备(AAC)用户的反馈,发现两大核心痛点:设备声音不像自己,以及表达时无法注入情感。
为解决这些问题,DuBois团队开发了一套独特的系统。他们利用AI技术对Jakob的语音样本进行“推断”,提取出401个代表其独特嗓音生理特征的参数——从肩膀宽度、鼻腔深度到发S音时舌头与牙齿的贴合度。这些参数并非语言内容,而是声音的“物理指纹”。随后,系统在本地计算机上运行,无需云端服务,确保了数据隐私。更巧妙的是,团队引入了成本仅约6美元的激光雷达传感器,这些常用于汽车安全气囊的传感器,被改装后能捕捉Jakob的手部动作,让他能够实时控制合成语音的播放速度、音高和节奏,从而注入丰富的情感表达。
“听到我的声音说出我想说的话,真是令人兴奋。”Jakob在通过AI渲染的音频中分享道,“我的嘴常常陷入重复的循环,无法表达我的意图。《Sensorium Ex》给了我听到被囚禁的想法活过来的礼物,就像我的声音在被错误定罪后获释一样。”作曲家Paola Prestini最初受委托创作一部关于失明的歌剧,但她决定转向自己更有生活经验的领域,与诗人Brenda Shaughnessy合作,后者是一位非语言、非行动力孩子的母亲。Prestini表示,这部作品在歌剧领域是前所未有的,它不将舞台视为保留经典的地方,而是当作一个研发实验室,为残障表演者创造一个能够茁壮成长的环境。
对于Jakob而言,参与歌剧不仅是一次艺术体验,更是一次自我发现。“我绝对在舞台上时感觉最有活力。”他说。这次经历也让他获得了表演的乐趣。DuBois教授强调,这项技术超越了歌剧本身,成为一个沟通公民权利问题:“每个人都有权讽刺,有权听起来欣喜若狂,有权听起来又饿又气或开心。”这项技术让Jakob在日常使用传统文本转语音设备之外,拥有了一个更具表现力、更贴近自我认同的声音,真正实现了“没有我们的参与,不要做关于我们的决定”的残障包容理念。