神经科学家花费数十年表征视觉系统中编码的信息类型。然而，一个更根本的问题仍未解决：大脑的其余部分如何使用这些视觉信息？ 将视觉神经元如何响应传入刺激与这些信息如何被其他脑区“读出”联系起来，已被证明是非常困难的。传统的解码方法——训练分类器从神经活动模式中读出预定义的刺激信息——不能告诉我们大脑如何实际使用信息来执行任务。本文基于《The Transmitter》的深度报道，邀请了10位神经科学家讨论：我们缺少哪些实验和概念方法来理解视觉信息的读出机制？核心观点包括：读出机制依赖于任务和上下文；读出可能远非最优（例如，简单求和而非加权）；需要多区域记录、自然任务、因果操纵和跨物种建模。
一、核心问题：从编码到读出
| 传统焦点 | 被忽视的方面 |
|---|---|
| 视觉神经元如何响应刺激（调谐、表征） | 这些信息如何被下游脑区使用以指导行为 |
| 被动观看（麻醉或清醒） | 任务依赖的读出（上下文、目标、训练） |
| 解码器性能（信息是否存在） | 解码器是否匹配大脑实际使用的读出机制 |
关键观察：初级视觉皮层包含关于刺激的眼部起源的信息，但参与者无法准确报告这些信息。因此，可解码性 ≠ 实际可用性。
二、读出机制的复杂性
| 发现 | 意义 |
|---|---|
| 读出依赖于任务/上下文 | 2008年研究表明：猴子在粗深度辨别任务中，MT失活严重损害表现；但经过精细辨别训练后，MT失活不再影响粗深度辨别——尽管MT调谐特性未变，读出机制发生了改变。 |
| 读出可能是“次优”的 | 小鼠方向检测任务中，简单平均神经元活动的解码器比加权解码器更匹配行为。光遗传学扰动验证了这一发现。 |
| 读出的可塑性 | 训练可以改变读出机制，而无需改变感觉表征。 |
三、缺失的实验方法
| 缺失的方法 | 说明 |
|---|---|
| 中观到微观解剖学信息 | 例如，MT与前额叶皮层之间的连接性质是什么？连接的约束条件是什么？可塑性如何？ |
| 多区域记录 | 需要同时记录视觉系统和下游区域（如前额叶皮层、运动皮层）的活动，以追踪信息的逐试次传播。 |
| 更自然的任务 | 简化任务中使用人工刺激可能不适合理解生态行为中的视觉引导行为。 |
| 因果操纵 | 操纵视觉信息（如失活、刺激）应改变行为，这是检验读出假说的金标准。 |
四、缺失的概念方法
| 概念方法 | 说明 |
|---|---|
| 约束解码器 | 使用原则（如生物物理约束、资源限制）指导解码器设计，使其更接近大脑实际使用信息的方式。 |
| “全脑”模型 | 而非试图在特定位置或连接中孤立读出。 |
| 低维描述（子空间、流形） | 捕捉短时和长时尺度上的读出动态。 |
| 连接模型 | 明确假设神经响应特性如何被读出以产生行为，并通过因果操纵检验。 |
| 神经人工智能框架 | 构建多模块人工神经网络（视觉处理、规划、运动），与全脑神经数据进行比较。 |
五、研究者的具体建议
| 研究者 | 关键建议 |
|---|---|
| Roozbeh Kiani（纽约大学） | 研究个体差异：将心理模型应用于神经响应，预测行为；使用操纵任务难度的实验设计。 |
| Nicole Rust（宾夕法尼亚大学） | 精确阐明“信息使用”的含义。参考David Kirsh（1990）的论文：“信息何时被显式表征？”——显式表征更多关乎过程和访问速度，而非结构。 |
| Sam Gershman（哈佛大学） | 探索速率-失真理论：编码和解码机制应共同适应，以最优平衡信息复杂性和效用。 |
| Megan Peters（加州大学尔湾分校） | 解码器对早期表征（如V1）敏感，对后期更紧凑的表征不敏感。无法解码 ≠ 不存在。 |
| Bing Brunton（华盛顿大学） | 构建“全脑”模型，而非孤立地研究读出。 |
| Catherine Perrodin（洛桑大学） | 使用连接模型：明确假设读出机制，并通过因果操纵检验。 |
| Timothy O’Leary（剑桥大学） | 采用神经人工智能方法：构建多模块人工神经网络，与全脑数据比较。 |
| Matteo Carandini（伦敦大学学院） | 使用多区域记录和自然任务，追踪信息如何在脑区间传播。 |
六、模块化观点的局限与替代框架
| 模块化观点 | 替代框架 |
|---|---|
| 大脑由功能特化的模块组成，模块输出需要协调（绑定问题） | 动态系统：全脑通过相互依赖稳定到模式（Hopfield网络） |
| 信息从感觉流向运动（前馈） | 信息也从内部流出：前额叶皮层塑造视觉皮层的活动（双向依赖） |
| “读出”作为信息沿皮层装配线传递的隐喻 | 行动浸入的感知和感知浸入的行动，相互约束 |
七、结论：从编码到读出的范式转变
视觉神经科学长期以来专注于编码——神经元如何表征刺激。然而，要理解视觉如何指导行为，我们必须研究读出——这些信息如何被下游脑区使用。读出机制是任务依赖的、可塑的、可能是次优的。进展需要：
-
多区域记录（同时记录视觉和下游区域）
-
因果操纵（失活、光遗传学）
-
自然任务（而非简化的实验室任务）
-
连接模型（明确假设读出机制并检验）
-
神经人工智能框架（多模块人工神经网络与全脑数据比较）
最终，我们可能需要放弃模块化的“读出”隐喻，转向动态系统观点：视觉和前额叶活动相互约束，感知和行动相互渗透。
核心信息：
-
可解码性 ≠ 实际读出。
-
读出是任务依赖和上下文依赖的。
-
读出可能是次优的（如简单求和）。
-
需要多区域记录、因果操纵、自然任务。
-
连接模型和神经人工智能是有前景的方法。
-
可能需要在动态系统框架中重新概念化“读出”。
参考来源：
Lindsay, G., et al. (2025). The visual system’s lingering mystery: Connecting neural activity and perception. The Transmitter.