当我们在观看故事片或穿梭于熙熙攘攘的城市街道时，我们的视觉感知感觉是连续不断、稳定且高度连贯的。然而现实中，我们的眼睛每秒钟会进行三到四次被称为“眼跳（saccades）”的快速、弹道式的跳跃，在特定的坐标上仅停留一小部分秒便会迅速移向别处。
尽管这种感觉输入是高度碎片化的，但灵长类动物的大脑却能毫不费力地将不连续的视网膜快照合成为连续的语境意义流。高级皮层网络如何在快速的视觉注视之间提取抽象的语义概念——例如识别出某个角色正走入一个危险的房间，或者辨识出一个正在浮现的社会互动——长期以来一直是系统神经学中的一个根本性问题。
在一项发表在《Journal of Neuroscience》杂志上的研究中，由纽约城市学院（CCNY）的 Vinay Raghavan 领导的神经科学家团队，在人类和雌性恒河猴（Macaca mulatta）观看自然主义视频刺激的同时，追踪了它们的注视轨迹以及实时的神经活动。
他们的研究结果表明，视觉理解依赖于一个主动的预测系统：在眼球运动之间的短暂间隔里，高级认知网络会计算语义新颖性（semantic novelty），将之前的凝视与即将到来的感觉目标连接起来。
为了在自然主义条件下探究视觉处理过程，研究团队在人类参与者观看完整电影时记录了他们的凝视坐标和全脑神经反应。连续的电影观看没有依赖静态图像或人工视觉搜索，而是充分调动了感知和认知处理的整个层级结构。
对眼动动力学的计算分析显示，当电影引入新颖的语义或概念转变（如主题转变、新物体的出现或叙事背景的突然变化）时，神经活动会在分布式的注意回路以及高级场景处理皮层（包括海马旁位置区和后 retrosplenial 复合体）中同步发生转变。
早期视觉皮层（如 V1 或 V2）之外区域的广泛参与证明，语义整合是由自上而下的抽象认知网络所主导的，而不仅仅是简单的低层特征检测（如亮度、运动矢量或边缘对比度）。
为了查明这种概念计算的时间精确度，研究人员分析了来自不同人类队列的深部神经记录，以及两只雌性恒河猴在观看短视频片段时收集到的电生理数据。这些高分辨率记录捕获到一个精确的神经生理学现象：
- 注视前爆发（Pre-Fixation Bursts）：当视频片段呈现新颖的概念信息时，注意力和场景处理枢纽内会迅速爆发早期的神经激活。
- 注视间窗口（The Inter-Fixation Window）：至关重要的是，这种增强的活动专门出现在眼球注视之间——即凝视点从一个焦点过渡到下一个焦点的确切时间间隙里。
Raghavan 解释说，初级视觉区域以外区域的招募指向了一个更高阶的、抽象的预测性心理系统。大脑似乎并没有等待新的注视点落实在视网膜上再去处理其含义，而是在每次凝视之间的间隙里，对即将展开的内容形成主动假设，从而使观察者能够几乎瞬时地构建出语境意义。
除了推进认知神经生物学的发展，该团队还强调了其对人工智能和机器视觉的直接应用。当前最先进的视觉模型（如视觉 Transformer 和深度卷积神经网络）通常通过跨统一时间帧摄取和重新编码密集的像素矩阵来处理视频，这会产生巨大的计算和能源成本。
而生物视觉的运作原则要高效得多：它对空间进行稀疏采样，并将计算资源集中在语义新颖性上。
Raghavan 表示：“这项研究中的学习策略有可能训练神经网络和灵长类动物大脑产生‘语义新颖性信号’。这一信号在大脑中的编码事实表明，我们可以将这种学习策略应用并实施，以训练人工智能中的新型视觉模型。”
通过纳入类人的注视动力学和视线间语义预测，未来的神经形态计算机视觉架构有望在实现人类水平的场景理解的同时，大幅降低训练延迟和功耗。