很难找到一个计算研究人员会公开表示不支持开放科学实践。通过增加透明度，开放科学加速了进展并增强了公平性。共享数据和代码最有效地利用了从志愿者研究参与者收集的数据，最大化公共投资的回报，并帮助资源不足机构的研究人员。开放科学也培养了严谨的科学：知道自己的工作将开放供外部审查的研究人员可能不太会走捷径。但与此同时，尽管支持开放科学及其所有伴随的好处，对这种审查的恐惧可能会阻止即使善意的研究者完全参与。为了克服这一障碍，我的实验室采用了使数据和代码共享感觉更安全的实践。值得注意的是，我们创建了一个可重复性伙伴系统——灵感来自水肺潜水中的伙伴系统（潜水员配对，在遇到麻烦时互相监控和帮助）。这种做法耗时，但帮助我们在早期发现错误，并使实验室成员更舒适地分享他们的工作。本文基于《The Transmitter》的观点文章，系统解析计算神经科学中开放科学的恐惧来源以及伙伴系统如何缓解这些恐惧。
一、开放科学的障碍：恐惧
| 因素 | 描述 |
|---|---|
| 计算神经科学的复杂性 | 大量数据和大量代码，都有许多潜在的故障点 |
| 代码中的错误率 | 专业软件开发者的代码每1000行约有20-70个错误；优秀但经验不足的研究生编写的代码可能包含更多 |
| 发现错误的后果 | 论文发表后发现错误可能导致尴尬、耗时的更正过程，以及潜在的职业影响（一个错误可能还能获得终身教职；两个？我不会打赌） |
二、可重复性伙伴系统：水肺潜水的启发
| 方面 | 水肺潜水 | 计算科学 |
|---|---|---|
| 风险 | 不能在水下呼吸，需要设备 | 代码中的错误可能导致结果不可靠 |
| 安全机制 | 潜伴负责帮助检查设备，在潜水过程中如有问题协助 | 可重复性伙伴（实验室成员亲切地缩写为“reproducibilibuddy”） |
| 角色 | 相互监控和帮助 | 在项目的几个关键检查点复制工作，检查每一行代码，确保能运行代码并获得相同结果 |
三、伙伴系统的实施
| 阶段 | 行动 |
|---|---|
| 项目开始 | 确定一名团队成员作为项目的可重复性伙伴（通常是已发表论文的第二作者） |
| 早期检查点 | 在生成任何结果之前，首先复制所有聚合数据所需的细节步骤 |
| 中期检查点 | 尝试复制成为任何后续手稿锚点的第一个主要结果 |
| 提交前 | 第一作者全面清理和注释所有代码，创建概述如何使用代码的wiki；伙伴的任务是仅使用此文档复制主要结果 |
| 修改过程中 | 随着工作在修订过程中的发展，更新此过程 |
四、伙伴系统的好处
| 好处 | 描述 |
|---|---|
| 早期错误发现 | 帮助在早期发现错误 |
| 心理安全 | 受训者报告伙伴系统感觉像是一个受欢迎的安全网 |
| 相互学习 | 复制他人的工作是代码审查的绝佳练习，帮助双方相互学习 |
| 安心 | 伙伴系统让每个人晚上都能睡得更好，知道他们的结果已经过审查 |
| 防止代价高昂的错误 | 当不使用伙伴系统时，应该早期发现的错误后来被发现，纠正成本高得多 |
五、挑战与局限
| 挑战 | 描述 |
|---|---|
| 耗时 | 编写干净、注释良好的可轻松复制的代码比临时的代码花费更多时间；执行复制本身是劳动密集型的 |
| 速度与准确性的权衡 | 存在真实的速度与准确性权衡 |
| 非万无一失 | 结果可能是“可重复但错误”——代码运行并返回报告的结果，但基于有缺陷的科学逻辑或对输出的误解 |
六、需要系统性变革
| 变革 | 描述 |
|---|---|
| 资助机构 | 可以优先考虑数据共享和重用、开放代码和结果的复制 |
| 顶级期刊 | 可以扩展已发表数据描述符的选项，确保共享数据的信用 |
| 编辑 | 可以执行数据和代码共享的标准，允许注册报告，鼓励更新结果 |
| 学术任命和晋升委员会 | 可以淡化生产力的数值衡量，转而奖励开放实践和可复制的结果 |
| 学术期刊 | 可以补偿同行评审员，使结果在评审过程中独立复制在财务上可行 |
七、结论：用伙伴系统让开放科学更安全、更有趣
计算神经科学中开放科学的恐惧是真实存在的——代码中的错误、发表后发现错误的后果、潜在的职业影响。从水肺潜水中汲取灵感，伙伴系统提供了一种使数据和代码共享感觉更安全的方式。虽然耗时，但伙伴系统帮助在早期发现错误，提供心理安全网，并促进相互学习。然而，它不能替代系统性变革。资助机构、期刊、晋升委员会和学术期刊都需要发挥自己的作用。
核心信息：
-
开放科学的障碍通常是恐惧（代码错误、发表后错误、职业影响）。
-
可重复性伙伴系统（灵感来自水肺潜水中的潜伴）通过提供安全网来缓解这种恐惧。
-
伙伴在项目的几个关键检查点复制工作，检查每一行代码。
-
好处：早期错误发现、心理安全、相互学习、安心。
-
挑战：耗时，速度与准确性的权衡，可能产生“可重复但错误”的结果。
-
需要系统性变革：资助机构、期刊、晋升委员会、学术期刊。
参考来源：
Satterthwaite, T. (2024). How scuba diving helped me embrace open science. The Transmitter.