生物行移动版

一项最新研究深入探讨了大型语言模型（LLMs）能否准确模拟人类的阅读动态，揭示了人类认知架构与基于Transformer的AI架构之间存在的关键性认知分歧。

由纽约大学和马萨诸塞大学阿默斯特分校的研究人员组成的团队，通过眼动追踪技术，对比了368名成年读者的眼动数据与超过400种神经网络语言模型在处理句法复杂文本（包括著名的“迷途句”）时的预测结果。研究发现，尽管LLMs在预测人类初始的词汇识别速度方面表现出色，但在将词汇整合到更广阔的语境中时，它们却无法解释人类所经历的认知摩擦。

初期对齐与后期分歧：研究显示，在流畅的线性阅读过程中，LLMs能准确模拟早期视觉词汇识别所需的时间。然而，它们未能解释后期上下文整合阶段的复杂性，这正是人类阅读与AI处理差异显著之处。

低估认知难度：AI模型中的“下一词预测”能力严重低估了人类读者在解决歧义句或“迷途句”（例如，“The old man the boat”，意为“老人们驾驶船只”，而非“那个老人”）时所花费的处理时间。人类在面对这类句子时，往往需要停顿、重新评估并回溯阅读，以理解其真实含义。这类“迷途句”因其能迫使大脑停止、重新评估初始假设并重读先前的词语以整合正确含义，因此成为心理语言学研究的理想工具。

回溯性眼动的作用：人类阅读时，大约有20%的注视是回溯性眼动，即眼睛向后移动重新审视之前的词语。这种认知上的重新解析机制在人类读者整合句子失败时发挥作用。然而，标准的自回归LLMs缺乏这种用于回顾性重新解析的结构机制，它们通过单向、从左到右的下一词预测来处理文本，这进一步凸显了人类认知处理的独特之处。

基准测试规模：研究人员将人类眼动指标与超过400种不同的大型语言模型架构进行了对比评估，旨在精确找出预测算法在哪些方面未能达到认知现实。

认知AI的路线图：研究结果表明，虽然预测性自回归机制有助于句子理解，但人类认知依赖于独特的多阶段上下文整合框架。未来的AI架构必须采纳这些框架，才能更准确地模拟人类思维。

“语言模型通过训练来预测句子中的下一个词，从而发展出卓越的语言理解能力。这促使我们思考，驱动这些AI系统的相同预测过程是否也能解释人类如何理解句子。”纽约大学语言学博士生、该论文的第一作者William Timkey解释道。该研究成果已发表在《美国国家科学院院刊》（PNAS）上。

Timkey补充说：“我们发现，当人们的眼睛在文本中平稳向前移动时，LLMs可以解释人们识别词语所需的时间，但它们未能捕捉到人们在将词语整合到更大句子语境中时遇到的困难，这种困难通常伴随着重读。”

马萨诸塞大学阿默斯特分校语言学教授、该论文的资深作者Brian Dillon指出：“我们现在对人类和模型之间的差异有了更清晰的认识。这是理解如何弥合这一差距的第一步，因为这在未来可能带来巨大的优势。”

纽约大学语言学与数据科学副教授、论文作者之一Tal Linzen补充道：“我们的工作表明，AI对认知科学非常有价值，但它还不够。人类思维并非总是像标准AI系统那样运作——例如，我们阅读时有20%的眼动是回溯性的，而AI模型无法解释我们何时决定这样做。我们现在的工作重点是创建更接近人类思维的计算模型，并帮助我们详细了解其运作方式。”

当我们在页面上看到词语时，会经历一系列心理过程：获取字母的视觉信息，访问词语的含义，然后将其与句子的其余部分整合。尽管大部分阅读是由词语预测驱动的，但其局限性尚不明确——这正是研究人员在PNAS研究中探索的问题。

为了探究这一点，研究人员部署了LLMs，因为它们的预测文本功能与某些大脑工作理论相符：预测过程驱动我们理解句子的能力。

Dillon解释说：“LLMs似乎捕捉了我们所理解的语言的一些特性——它们可以流利地生成文本，并且它们的反应方式表明它们对正在发生的事情有一定的理解。”

Timkey补充道：“我们根据页面上的词语构建对句子含义的心理表征，然后利用该表征预测下一个词语，并在预测错误时更新我们的心理表征。”

在研究中，研究人员利用眼动追踪技术分析了368名成年读者，重点关注参与者在阅读（和重读）精心设计的句子中的每个词语上花费的时间。这些句子包括各种句法复杂的“迷途句”——这类句子在语法上是正确的，但其开头方式往往会导致读者产生最初的错误解读。

例如，“The old man the boat”这个句子。读者最初可能会认为这个句子是关于一个“老男人”，但实际上，它的意思是“老人们驾驶船只”。作者指出，这类句子是理解我们如何处理复杂语段的理想候选。

研究人员随后将这些眼动数据与超过400个AI语言模型生成的预测进行了比较。

结果显示，AI模型的下一词预测可以解释句子中每个词语处理的第一步：从字母序列中识别词语。然而，它们无法解释将该词语整合到句子更大含义中的下一步——这个过程对人类来说在“迷途句”中尤其困难，并且仍然知之甚少。

Timkey表示：“一个词语的可预测性，甚至远不能解释我们在处理困难词语和‘迷途句’上花费的时间。LLMs严重低估了我们阅读时所经历的困难。”

Linzen补充道：“正是在处理的第二阶段——识别一个词语并将其与语段中的其他词语整合——我们发现了词语可预测性所能解释的与认知模型需要解释的之间存在巨大差距。”

该研究得到了美国国家科学基金会（NSF）的资助（BCS-2020914, BCS-2020945, IIS-2504953, and IIS-2504954）。