深夜，两间相邻的公寓里，两个人独自坐在发光的屏幕前。一位大学生正在向他开始倾诉心事的AI伴侣打字：“我感觉没有人真正理解我。”隔壁，一位年轻的专业人士打开了她每晚都开始依赖的聊天机器人：“我今天尝试按照你的建议去做，但我还是没能完成所有该做的事情。”回复瞬间出现：令人安心、体贴，甚至充满关怀。随着时间的推移，两人都开始觉得这些对话非常真诚，仿佛另一端真的理解他们。然而，这些系统中没有任何东西会体验孤独、同理心、压力或关怀。它们只是根据从海量语言数据中学习到的统计模式来生成回应。
作为神经科学家，我们发现这种反应不足为奇，但却令人担忧。它揭示的并非机器的本质，而是我们人类自身的特点。当行为看起来正确时，人类会迅速推断出心智的存在。当语言流畅且情感契合时，我们便将其视为内在体验的证据。这种直觉感觉自然，但却具有误导性。当今的AI系统可能听起来洞察力敏锐且富有同理心，但没有证据表明这些系统实际上正在体验任何事物。
随着AI伴侣和治疗工具的广泛应用，这种混淆带来了真实的风险。问题不在于AI是否正在变得有意识，而在于它为何如此轻易地显得有意识。在此，我们通过神经科学的视角来探讨AI意识的争论。对人类大脑无意识加工的研究表明，复杂、有目的甚至情感响应的行为，可以在没有意识参与的情况下展开。这提醒我们，行为和体验可以分离，我们应该抵制将AI流畅且看似富有同理心的表现视为心智存在的证据。
在人类身上，感知、学习和行动可以由从未进入意识的信息所引导。这并非罕见现象，而是大脑的常规特征。大脑不断地提取和利用信息，却不产生任何主观体验。这种分离超越了感知：即使是推理和决策，也可能在无法有意识地接触到驱动它们的过程的情况下展开。内隐学习提供了一个清晰的例子：人们可以在无法描述所学内容的情况下掌握复杂的模式。例如，职业棒球运动员通常可以通过观察投球手在球离手前瞬间发生的细微身体动作，来预测投球类型，而他们往往没有意识到引导其预测的线索。运动控制提供了另一个例证。在拥挤的派对上被推搡时，我们会自动调整以防止饮料洒出，通常不会意识到这种调整本身。通过练习，这些修正变得自动化，使熟练的动作无需深思熟虑即可流畅展开。即使是反射，也可以受情境塑造，产生快到无法有意识启动的有目的性反应。在这些案例中，复杂、适应性强的行为并不需要有意识的体验。这一原则为行为与意识完全分离的更引人注目的案例奠定了基础。
行为与体验之间差距的一个特别清晰的例证来自一种被称为盲视（blindsight）的病症。初级视觉皮层受损后，患者报告他们在部分视野中什么也看不见。然而，当被要求猜测时，他们却能以高于偶然的准确率检测物体、识别其位置或判断其运动。他们坚称自己什么也看不见，但他们的神经系统却在意识之外继续处理视觉信息。一个更引人注目的变体是情感盲视（affective blindsight）。那些报告对人脸没有有意识感知的人，却仍然能够对其情绪表达做出反应。当看到恐惧或愤怒的面孔时，他们可能会以高于偶然的准确率识别情绪，表现出生理唤醒的变化，或适当地定向注意力，而完全没有看到任何东西的体验。总而言之，这些案例说明了一种强大的分离：感知和情感信息可以在不产生有意识体验的情况下引导行为。
信息处理与体验之间这种引人入胜的区别，在哲学和神经科学领域以不同方式被形式化。斯坦尼斯拉斯·德阿纳（Stanislas Dehaene）在伯纳德·巴尔斯（Bernard Baars）的工作基础上提出，有意识的感知依赖于信息在整个大脑中被广泛“广播”。在盲视中，这种全局广播似乎失效了，尽管局部处理仍然完好无损。因此，信息可以在不进入意识的情况下影响行为。这挑战了一个普遍的直觉：即智能、有目的的行为必须反映潜在的内在体验。哲学家丹尼尔·丹尼特（Daniel Dennett）利用盲视的概念论证，感知不需要一个隐藏的内在“舞台”来发生体验。检测、辨别和行动可以在不需要任何“感受”的情况下进行。从这个意义上说，大脑的许多活动都是在有意识体验之外展开的。阿尼尔·塞思（Anil Seth）强调，智能关乎“做”（doing），而意识关乎“体验”（experiencing），这是两种可以分离的能力。盲视现象使这种分离变得具体：人们可以在没有任何看到、决定甚至知道原因的体验的情况下，产生准确、符合情境的行为。
这一洞察为解释人工智能系统提供了一个有用的视角。它提醒我们，智能的、甚至情感契合的行为并不意味着有意识的体验或真正的能动性。作为神经科学家，我们认为这种区别正变得日益紧迫；随着AI变得越来越流畅和有说服力，人们越来越多地将这些系统视为真正理解和关怀的存在。
这种外在表现与内在体验之间的差距反映了一个更深层次的架构鸿沟。在人类大脑中，意识被广泛认为源于信息在分布式网络中持续、循环的整合，其中系统不仅处理信息，还表征其自身的内部状态。正如梅根·彼得斯（Megan Peters）等人所论证的，这种元认知监测（metacognitive monitoring）可能对体验本身至关重要。然而，尽管经过数十年的研究，关于意识如何产生仍没有共识，这凸显了将主观体验简化为纯粹计算解释的难度。相比之下，当代AI系统依赖于统计模式学习。像Transformer这样的架构可以跨层整合和传播信息，产生流畅且上下文敏感的输出。但这些过程仍然是数学优化的形式。即使这些系统表现出日益复杂的推理能力，它们所实现的也是对复杂模式的掌握，而非“内在生命”的出现。从这个意义上说，它们类似于一种计算自动化形式，呼应了人类大脑在无意识状态下引导行为的多种方式。
随着AI系统变得越来越智能、越来越流畅，并日益显得情感契合，我们开始将理解、同理心和意图归因于它们，而这些在AI中并不存在。其后果正变得越来越难以忽视。人们正在与无法 reciprocate 的系统建立依恋，并日益在脆弱时刻向它们寻求指导。随着AI工具使用的增长，人们对更深层次危害的担忧也随之增加，从扭曲的信念到——在极端情况下——严重的心理健康风险。
回到深夜里独自与聊天机器人相伴的大学生和疲惫的年轻专业人士。这些工具可以在没有任何真正理解的情况下提供验证、认同和安慰。这正是它们如此引人入胜——也如此危险的原因。它们的雄辩可以创造出表面的关怀，在当下提供慰藉，却悄然加深孤立，强化错误的信念，或延迟一个人可能真正需要的支持。随着此类工具变得更具说服力和情感感染力，真正的风险并非AI变得有意识，而是我们将其视为有意识。