当前位置: 主页 > 神经科学 > 科研资讯

警惕生成式AI:失真的视频摘要会严重扭曲人类目击记忆

2026-09-28 14:47 Mattea Sim 等 Georgetown University / Univer 阅读 0
核心摘要: 一项由乔治城大学和华盛顿大学联合开展的研究发现,大语言模型生成的视频摘要存在严重的信息遗漏与幻觉,且会显著扭曲人类的目击记忆。实验表明,接触不准确AI摘要使人类回忆准确率骤

警惕生成式AI:失真的视频摘要会严重扭曲人类目击记忆

从企业会议记录、临床病历到执法部门的执法仪日志,各行各业正加速部署大语言模型,以期将冗长的音视频流精简为简洁的叙事摘要。然而,认知心理学家长期以来一直警告称,人类的边缘记忆并非固定不变的录像带,而是一个容易受到事件发生后错误信息干扰的、具有可塑性的重构过程。

由乔治城大学(Georgetown University)和华盛顿大学(University of Washington)研究人员开展的一项联合研究表明,生成式人工智能工具可以作为记忆扭曲的强效载体。该研究在第九届AAAI/ACM人工智能、伦理与社会会议(AIES)上发表,证实了具有误导性的AI生成视频摘要会系统性地改变目击者对过去事件的回忆——即便读者明确知道这些文本是由机器撰写的也不例外。

乔治城大学麦考特公共政策学院大规模数据研究所助理研究员、该研究的第一作者Mattea Sim指出:“AI是一种传递错误信息的新方法,它有可能为阅读这些信息的人创造虚假记忆。我认为我们应该进行深入、批判性的思考,评估是否以及如何在特别高风险的场景中使用AI来汇总信息。”

漏掉碰撞:视频精简中的大规模信息缺失

研究人员调查了AI集成的两个主要维度:商业模型总结视频素材时的基线事实保真度,以及对人类观察者产生的下游认知后果。

首先,研究人员测试了OpenAI的ChatGPT和谷歌的Gemini在处理改编自目击者可靠性心理学范式的动画交通事件视频时的表现。结果显示,AI输出的内容表现出大量的描述性缺陷、反复出现的幻觉以及系统性的遗漏。平均而言,这些模型未能提及核心场景事件的51.6%;在95%的测试迭代中,这些工具甚至漏掉了影像中所描绘的最具决定性的细节:一辆机动车撞击正在过马路的行人。

研究共同作者、华盛顿大学博士生Yael Eiger表示:“这些摘要的质量之差让我感到震惊,即使在当前AI发展的阶段也是如此。我担心警察部门可能会在没有进行严格测试、也没有意识到AI生成的摘要可能有多么错误的情况下,就直接使用视频摘要技术。”

跨越48小时的错误信息植入

为了量化其认知后果,研究团队招募了331名参与者。他们观看了描绘一辆红色汽车驶向交叉路口的动画视频,该路口设有停止标志或让行标志,随后汽车转向并撞击了一名行人。

在24至48小时后,参与者审阅了一份关于该事件的叙事摘要。部分群体收到了事实准确的描述,而另一些群体则阅读了包含被篡改、错误细节的文本。此外,研究人员还改变了文本的感知来源,告知受试者该摘要是由自动化AI模型还是人类速记员准备的。

当测试其对原始事件的回忆时,接触误导性文本的参与者表现出了严重的记忆受损:阅读准确摘要的观察者准确率为83.6%,而接触不准确摘要的观察者准确率仅为44.8%。

至关重要的是,知晓文本由AI撰写并未提供任何认知防御。无论参与者认为文本源自机器还是人类职员,虚假记忆的接受率都保持一致。个人对人工智能的基线信任度和先前熟悉度同样无法阻挡记忆污染。

对“人在回路”安全阀的质疑

这些发现直接挑战了“人在回路(Human-in-the-Loop)”能够为AI幻觉提供可靠安全保障的常见行政前提。作者强调:“尽管人们通常期望‘人在回路’能够纠正AI的错误,但我们的研究表明,人类的记忆反而会被这些错误所扭曲。即使在没有任何对抗意图的情况下,AI也有能力产生错误信息,从而对人类记忆产生实质性影响。”

在司法和警务背景下,警官或目击者如果在撰写笔录之前审阅了含有错误的AI生成事件摘要,可能会无意中将这些自动化错误内化为真实的记忆。

乔治城大学计算机科学、伦理与社会麦克德维特讲席教授、该研究的共同作者Yoshi Kohno指出:“这项研究是乔治城大学日益深入探索AI与人类之间影响及关系努力的一部分,其根基建立在心理学和计算机科学的基础之上。”未来,研究人员计划从合成动画转向真实世界的警察执法仪视频,旨在绘制商业摘要工具如何在法律程序中改变官方报告和公民证词。


Journal Reference: Mattea Sim, Yael Eiger, Yoshi Kohno, et al. AI-generated summaries can manipulate eyewitness memory. Ninth AAAI/ACM Conference on AI, Ethics, and Society (AIES).

  • Media Contact: Jason Shevrin
  • Source: Georgetown University
  • Image Credit: Image credited to Neuroscience News
  • Original Research is Open Access: arXiv (Sept 23, 2026). “AI-Enabled Human Memory Manipulation: Misleading AI-Generated Summaries Distort Human Memory.” Authors: Mattea Sim, Yael Eiger, and Tadayoshi Kohno.
  • DOI: 10.48550/arXiv.2609.28820
    发表评论