2025年7月，《自然》（Nature）杂志曾发表一项研究，介绍了一种名为“Centaur”的AI模型。该模型基于标准大型语言模型构建，并利用心理学实验数据进行了优化，旨在模拟人类认知行为。据报道，Centaur在决策制定、执行控制及其他多种心理过程的160项任务中表现出色。这些成果当时引起了广泛关注，被视为AI系统更广泛复制人类思维的潜在突破。

新研究提出质疑：Centaur或仅是过拟合

然而，近期发表在《国家科学开放》（National Science Open）杂志上的一项最新研究，对Centaur的上述主张提出了挑战。来自浙江大学的研究人员指出，Centaur看似成功的表现，可能并非源于真正的任务理解，而是由于模型对训练数据存在过拟合现象。换言之，该模型可能只是学会了识别训练数据中的模式，并据此重现预期的答案，而非真正理解了问题背后的含义。

为了验证这一假设，浙江大学的研究团队设计了多个新的评估场景。其中一个关键实验是：他们将原始的多项选择题提示语（这些提示语描述了具体的心理学任务）替换为简单的指令“请选择选项A”。研究人员推断，如果Centaur模型真正理解了任务，它应该能够始终如一地选择选项A。然而，实验结果显示，Centaur模型仍然继续选择原始数据集中的“正确答案”，而非遵循新的指令。

这种行为强烈暗示，该模型并未对问题的语义进行解释。相反，它依赖于其学习到的统计模式来“猜测”答案。研究人员将这种情况比作一名学生，通过死记硬背考试格式而非真正理解材料来取得高分。

对AI评估的深远影响

这些发现凸显了在评估大型语言模型能力时保持谨慎的必要性。尽管这些系统在数据拟合方面表现出惊人的效率，但其“黑箱”特性使得我们难以了解它们是如何得出输出结果的。这种不透明性可能导致幻觉（hallucinations）或误解等问题。因此，进行细致且多样化的测试对于确定模型是否真正具备其所展现的能力至关重要。

真正的挑战：语言理解能力

尽管Centaur被宣传为一个能够模拟认知的模型，但其最大的局限性似乎在于语言理解方面。具体而言，它难以识别并响应问题背后的意图。这项研究表明，实现真正的语言理解，可能是开发能够更全面模拟人类认知的AI系统所面临的最重要挑战之一。