人工智能（AI）持续编造虚假案例，而律师们却屡屡引用。这种律师因引用AI“幻觉”案例而被发现的趋势，揭示了一个更广泛的问题：人们并未核查AI的输出，而是持续盲目信任它。

今年四月，美国阿拉巴马州最高法院对一名律师进行了制裁，原因是其提交的法律文书充斥着由AI生成的错误引用，其中包括大量不存在的案例。在被告知其在一份文件中引用了虚构的判例后，该律师承诺不会再犯——然而，正如一位法官在协同意见中指出，他“在紧接着的下一句话末尾又引用了不存在的案例”。同一周内，至少还有一名律师因在收到警告后仍继续提交AI“幻觉”材料而受到制裁。

巴黎高等商学院（HEC Paris）高级研究员达米安·查洛丁（Damien Charlotin）维护的一个数据库显示，过去三年中，法院处理的AI错误案例已超过1400起，其中包括律师和自诉当事人提交的文件。查洛丁表示，直到去年秋季，这一名单似乎还在呈指数级增长。此后，它趋于稳定，保持着季度内约350至400份判决的稳定流量，这些判决无一例外地表达了法官们的无奈。查洛丁还开发了一款名为Pelaikan的AI驱动参考文献核查工具。

庭审程序是公开的，律师因虚假陈述面临制裁，这使得此类错误相对容易被追踪。然而，AI生成材料中未被发现的错误也困扰着记者、软件开发人员、学术研究人员和政府顾问，其中一些人甚至清楚AI的局限性。例如，5月19日《纽约时报》报道称，探讨AI如何塑造话语的著作《真相的未来》（The Future of Truth）的作者承认，其书中包含了超过六处由该技术捏造或错误引用的引文。

这些案例中浮现的共同模式是，即使人们知道AI系统可能出错，却依然选择相信其答案。迄今为止，这种错位的信任已导致法律上诉被驳回、律师被罚款、记者被解雇以及软件故障。专家警告，随着AI更深入地融入专业工作，其风险将进一步升级。

宾夕法尼亚州立大学航空航天工程副教授艾伦·瓦格纳（Alan Wagner）指出：“人类本质上有一种倾向，认为机器比自己拥有更多知识，不会出错，并且是万无一失的。”

AI似乎还能激发一种特殊的信任。它能生成听起来真实但实则错误的答案，这种方式是人类很少做到的——而事实证明，人们会发现AI的指导异常可信。今年二月发表的一项研究中，参与者被要求在被告知来自人类或AI的指导下完成图像分类任务。无论指导来源如何，其正确率都只有一半。然而，在被告知建议来自AI的参与者中，那些对技术持积极态度的人表现反而不如持负面态度的人。当参与者被告知建议来自人类时，并未出现这种效应。

该研究的合著者、英国兰卡斯特大学心理学高级讲师索菲·奈丁格尔（Sophie Nightingale）表示：“研究结果表明，AI的指导具有一种相当特殊的能力，可以产生偏见。”

瓦格纳合著的研究表明，这个问题可能远远超出办公室工作，延伸到生死攸关的场景。在他的团队受无人机战争启发进行的实验中，参与者被要求将图像分类为平民或敌方战斗人员，并选择是否向每个潜在目标发射导弹。随后，一个机器人对每次分类提供了反馈——这些反馈实际上是随机的——尽管参与者最初的评估大多准确，但在机器人提出异议的大多数情况下，他们都改变了看法。根据论文描述，该场景虽然是模拟，但参与者“看到了无辜平民（包括儿童）的图像、无人机发射导弹的画面以及无人机袭击造成的破坏”。研究合著者科林·霍尔布鲁克（Colin Holbrook）表示，参与者似乎非常认真地对待这项任务。

加州大学默塞德分校认知与信息科学副教授霍尔布鲁克说：“我认为这就是这些发现必须被解读的背景。这些人非常努力。他们认为这很重要。”他补充道，如果场景是真实的，“他们会杀死很多无辜的人。”

与早期的自动化工具相比，当今的AI能够处理更广泛的任务，例如生成计算机程序和起草法律文书。这意味着需要核查的材料更多，但也意味着用户可以将思考完全交给AI——宾夕法尼亚大学沃顿商学院的研究人员最近将其称为“认知投降”（cognitive surrender）。在该团队的一项实验中，参与者在完成一系列任务时获得了逐项反馈，并因正确答案获得了现金奖励。沃顿商学院博士后研究员史蒂文·D·肖（Steven D. Shaw）表示，这两种做法都减少了对错误AI的顺从，但都未能完全消除这种现象。肖与沃顿商学院市场营销学副教授吉迪恩·纳夫（Gideon Nave）共同进行了这项研究。

教育AI用户了解该技术的局限性是另一种显而易见的策略，但这些努力收效甚微。正如不止一位法官所指出，律师们现在应该知道在提交AI生成的法律材料前必须进行核查，然而“幻觉”仍不断出现在法庭文件中。

实验室研究显示，警告信息的效果也同样有限。在最近的一项研究中，波士顿大学的研究人员通过告知学生AI聊天机器人ChatGPT在生成学术资料摘要时容易出错、且在复杂数学方面表现不佳，从而对他们进行了“预防性教育”，随后要求他们使用该工具完成相关任务。那些被警告过摘要准确性的参与者，在核查AI在该任务上的输出时显著更积极。然而，对于数学问题，警告没有产生显著影响，核查率依然很低。一些参与者告诉研究人员，他们本来就信任AI的数学能力；另一些则表示，实验中的时间限制（旨在模拟现实世界的截止日期）减少了他们核查结果的频率。

波士顿大学新兴媒体研究部人机交互专业研究生、研究合著者池·B·武（Chi B. Vu）在给《科学美国人》的一封电子邮件中写道：“我们的研究结果表明，仅仅提高意识是不够的。警告信息并非完全被忽视；它被相互竞争的压力以及对（生成式）AI在某些任务中能力的信任所压倒。”

关于AI准确性的警告，也与强调该技术潜力的广告宣传以及工作场所为节省时间而使用AI的压力相抗衡。此外，随着AI在许多任务上的表现不断提升，用户可能越来越不倾向于对其进行全面核查。这可能导致他们无法发现仍然存在的错误，从而进一步加深其盲目自信。

奈丁格尔说：“他们永远无法触及真相。他们没有理由质疑它，因为他们继续生活，认为AI工具是正确的——因为‘为什么它会是错的呢？’”