人工智能领域的前沿公司Anthropic近日发出警告，称其AI系统可能即将进入“递归式自我改进”阶段。该公司认为，届时AI将能够在极少人类干预的情况下设计并构建自身的下一代，这可能导致人类失去对技术的控制。作为Claude聊天机器人的开发者，Anthropic呼吁包括自身在内的所有AI实验室，应为可能出现的协调性放缓做好准备，以应对模型开始自主迭代的局面。

Anthropic在其6月4日发布的题为《当AI构建自身时》(When AI Builds Itself)的博客文章中指出：“我们相信，如果世界能够选择放缓或暂时暂停前沿AI开发，将有助于社会结构和对齐研究跟上技术进步的步伐，这将对世界有益。”

这项提议凸显了AI治理面临的严峻挑战。要实现AI开发的放缓，需要多个国家的竞争公司和政府同时接受相同的限制，而目前既没有具有约束力的条约，市场竞争反而日益激烈。这使得Anthropic的警告在技术层面具有重要意义，但在政治上却充满争议：作为AI竞赛中的领跑者，Anthropic却呼吁踩下刹车。

该博客文章强调，技术发展速度之快可能对社会产生“巨大影响”。Anthropic以自身运营为例，指出其Claude模型目前已能编写超过80%合并到其系统中的代码，而这一比例在2025年初发布Claude Code之前还处于个位数。此外，Anthropic工程师每季度交付的代码量也比几年前增加了约八倍。该公司认为，在AI构建的每个环节，人类的作用都在不断缩小。Anthropic表示：“我们尚未达到那个阶段，递归式自我改进也并非不可避免。但它可能比大多数机构预期的来得更快。”

Anthropic提出了一种所谓的“全球协调机制”，旨在放缓甚至暂停AI开发，为社会留出追赶的时间。然而，Anthropic并未提供具体细节，仅以中程核导弹军备控制协议作为一种松散的参考模型。该公司表示，任何此类暂停若要生效，行业领先的实验室都必须参与，并且需要有可靠的方法来证明它们确实放缓了速度。

然而，批评者对此并不买账。本特利大学(Bentley University)数学副教授、算法与社会相关书籍作者Noah Giansiracusa表示：“我不认为这是一个真正呼吁放缓的提议。我们读过[Anthropic首席执行官] Dario Amodei的博客文章。我认为他想继续全速前进。”Anthropic未对《科学美国人》关于如何实施这种“刹车”以及如何看待对其夸大系统能力的批评作出回应。Giansiracusa还认为暂停是不可行的。“这简直是不可能的，”他说，“放缓的可能性为零。我甚至没提到中国——埃隆·马斯克也绝不会放缓。”

这一提议也符合某种模式，令一些研究人员保持警惕。两个月前，Anthropic发布了一个名为Mythos的模型，但拒绝公开发布，理由是该模型在发现软件漏洞方面过于出色。此次呼吁暂停的时机也颇为微妙，恰逢Anthropic秘密提交首次公开募股(IPO)申请后不久，且距离一轮估值接近1万亿美元的融资也相去不远。

在怀疑论者看来，这些惊人的声明可能被解读为一种商业策略，旨在将监管审查引向AI前沿领域，而Anthropic自身则继续加速发展。佐治亚理工学院交互计算学院教授Mark Riedl在Bluesky上发帖称，“所有大型AI公司都在搭乘‘递归式自我改进’的炒作列车。”

Anthropic表示，未来几个月将召集各国政府、研究人员和竞争对手AI公司，共同探讨协调性放缓在实践中是否可行。但Giansiracusa对此仍不以为然：“我真的不认为有什么值得担忧的。他们正在玩弄‘奇点’的概念——认为它会颠覆一切，但我根本不这么看。我认为它会继续进步。也许事情会加速；也许不会。”他认为，Anthropic引用的证据——AI编写了更多代码——表明这项技术是有用的，而不是“一次巨大的飞跃”。