导语：学习奖励的原因对生存至关重要。线索-奖励关联学习在大脑中由中脑边缘多巴胺控制。人们普遍认为，多巴胺通过传递奖励预测误差来驱动学习。基于多巴胺的学习算法通常是“基于试次”的：学习在单个线索-结果体验中顺序推进。这些模型的一个基本假设是，在固定时长内经历的线索-奖励配对越多，对该关联的学习就越多。通过识别一个控制学习的新生物学原理，本研究推翻了这一假设。具体来说，在小鼠的多种条件下，研究者证明行为和多巴胺学习速率与奖励（或惩罚）之间的时长成正比。由于这一规则，固定时长内的总体学习与线索-结果体验的数量无关。一个基于多巴胺的回顾性学习模型解释了这些发现，从而为学习的生物学机制提供了一个统一的解释。
研究背景：挑战“基于试次”学习的基本假设
主导理论：时间差分强化学习
- 多巴胺：编码奖励预测误差，驱动线索-奖励学习
- 核心假设：在固定时间内，试次越多，学习越多（“熟能生巧”）
- 学习速率：被视为自由参数，无数学规则控制
已知现象：“间隔效应”
- 分散学习（如“间隔复习”）比集中学习（“临时抱佛脚”）更有效
- 在动物线索-奖励学习中也存在
- 根本问题：学习速率是由线索间隔、奖励间隔还是两者比例决定？
本研究目标
- 测试在极长试次间隔（ITI远长于线索-奖励延迟）下间隔效应是否持续
- 识别学习速率的数学规则
- 测量中脑边缘多巴胺在学习过程中的演变
- 测试模型是否能解释观察到的缩放规则
核心发现之一：行为学习速率与奖励间隔成正比
实验设计
- 线索：0.25秒纯音（12 kHz）
- 奖励：2-3 µl 蔗糖溶液（线索结束后1秒递送）
- 固定头部小鼠，口渴驱动
- 两组：
- 60秒 ITI（平均）：50试次/天，~1小时/天
- 600秒 ITI（平均）：6试次/天，~1小时/天
三种假设
| 假设 | 预测 | 每试次学习速率 | 总学习时间 |
|---|---|---|---|
| 1（无间隔效应） | 学习所需试次数相同 | 相同 | 与ITI成正比 |
| 2（弱间隔效应） | 学习所需试次数略减 | 略增 | 仍随ITI增加 |
| 3（强间隔效应） | 学习所需试次数与ITI成反比 | 与ITI成正比 | 与ITI无关 |
结果支持假设3：每试次学习速率与ITI成正比，因此总学习时间（ITI×试次数）恒定，与ITI无关。这表明学习是由奖励间隔时长而非试次数量驱动的。
核心发现之二：多巴胺学习速率同样与奖励间隔成正比
通过光纤光度法记录腹侧被盖区（VTA）多巴胺神经元的活动，研究者发现多巴胺对线索的反应强度随学习进程逐渐增强，且其学习速率同样与ITI成正比。在惩罚性学习（如气味-电击）中也观察到类似规律，表明该规则具有跨效价的一般性。
回顾性学习模型
传统的时间差分学习模型无法解释上述缩放规则。研究者提出一个回顾性学习模型：在每个试次中，多巴胺神经元在奖励时刻释放信号，该信号以与奖励间隔时长成比例的权重反向传播到线索时刻，从而更新线索-奖励关联。该模型成功拟合了行为和多巴胺数据，为间隔效应提供了统一的神经机制解释。
意义与展望
本研究揭示了学习速率的一个基本生物学规则：学习速率与奖励间隔时长成正比，而非与试次数量相关。这一发现挑战了强化学习领域的核心假设，并为理解学习障碍（如成瘾、帕金森病）提供了新视角。未来研究可探索该规则在人类学习中的应用，以及其与记忆巩固过程的关系。