读博时，别急着改革科学

正文

别试着改革科学。现在还不是时候。至少别在读博期间这么做。

读研究生时，你会开始抱怨发表制度。为什么所有发现都只能通过学术论文交流？为什么不能发表负面结果，或者花时间让东西真正跑得起来？为什么我们这些活跃的学者必须持续不断地产出论文？为什么要让那个出了名随机、前后不一的评审流程，决定职业发展的进度？

有几件事多少能缓解这个问题：不管论文是否录用，都可以放到 arXiv 上；人们会写博客；替代性的、更丰富的发表形式也露出了一点曙光。甚至，我所在领域最强的模型如今连论文都不发表了。[01]

但最终，你还是得面对硬邦邦的事实：读博期间，你改变不了科学的运作方式。你有一个博士学位要完成，在没有权威、没有声誉的情况下试图改革科学，只会吸走你的时间。更糟的是，当你考虑废除传统同行评审和标准化格式时，错综复杂、相互依赖的问题就会冒出来。也就是说，科学实践中的问题很容易发现，却很难解决。

你也许觉得，“做科学”根本不需要这些乱七八糟的东西。在某种意义上，你是对的；但你想的是科学 1，而你实际做的是科学 2。

存在两种科学

我们姑且这样称呼它们：

• 科学 1：一种理想化的概念。努力理解世界怎样运转。寻找并描述真理。科学方法，也许吧？“纯粹科学”。
• 科学 2：人类尝试实践科学 1 的方式。一种如今已横跨多个社会的文化实践。“现实中的科学”。

关于科学 2，有几件重要事实：

• 人们既需要训练，也需要钱。想想薪水、研究经费，以及从学生到教授的转变。
• 很多人试图相互协作。想想花在交流工作上的海量时间。
• 很多人争夺有限资源。想想为什么需要判断谁比谁更有资格的办法。

科学 2 是社会实践，因为它必须如此。独行侠当然可以自己去做科学 1，但如果你正在读这篇文章，那很可能不是你的处境。我知道的过去那些有影响力的独立研究者，多是有地产的绅士，例如波义耳（Boyle）、大致算在内的牛顿（Newton）、达尔文（Darwin）和麦克斯韦（Maxwell），而且他们工作的领域当时尚不成熟。即便是伟大的想法，如果没有得到科学共同体的接受，也会被冷落多年，例如孟德尔（Mendel）、魏格纳（Wegener）和玻尔兹曼（Boltzmann）的想法。另外，别忘了许多才华横溢、成果丰硕的研究者正是在合作中蓬勃发展：沃森（Watson）与克里克（Crick）、爱因斯坦（Einstein）与玻尔（Bohr）、埃尔德什（Erdős）与其他所有人。[02]

因为科学 2 是社会活动，其中发生的大部分事情，都是人与人之间的交流。

科学 2 就像一支庞大的船队，所有船都驶向一片大洋，展开探索。你坐在一条船里，也可能只是坐在导师的船里，试图绘出新的海域。你得大喊：“快来看看我往哪儿去！”然后，其他人得决定是听你说，还是彻底无视你。如果没人知道你是谁，凭什么相信你？

那团不断旋转的对话，就是知识

既然你会花那么多时间在科学 2 中工作，我觉得值得掀开帘子，讲一个关于科学 2 的故事。

拉里·麦克纳尼（Larry McEnerney）在一场学术写作讲座中，展示了一种理解科学 2 的方式。他提出这样一个心智模型：你所在领域的圈内人，正围绕他们知道什么、在意什么，进行一场集体的、不断演变的对话。

这就是该领域的知识。如果你试图贡献点什么，但那团旋转不息的对话因为无数可能的原因之一，觉得它不值得关注，那么你的想法就不会进入知识池。

犬儒一点看，这是最享有特权的学者按自己的议程筛选事实，从而把守知识本身的大门。

更务实的看法则是，“知识”真正存在的地方只有我们的头脑。由于劳动分工等原因，我们让一群人——学术界——负责决定各领域中什么算知识。这种想法分流与筛选确实有用。如果你刚进入一个领域，最初提出的许多想法，大概不是早已有人研究过，就是没什么意思。[03]

拉里在那场讲座里主要谈的是历史学。我认为硬科学的情况稍好一点。我们也有那团旋转的对话，但对话会决定一些大家同意重视的客观指标。如果你在一项困难的客观指标上取得压倒性的胜利，就一定会得到认可。规则仍由科学 2 制定，但只要你遵守规则，并且做得极其出色，他们就无法忽视你。

BERT 的故事

我在自己所在的自然语言处理领域，亲眼通过 BERT 看到了这一点。[04][05] 在 GPT 时代，BERT 正渐渐成为历史脚注，但在它出现时，它绝对是一场领域革命。你完全可以清楚地划出 BERT 之前和 BERT 之后的分界线。它问世后，使用它的论文比例夸张到大概有 95%。它太好用了，谁都无法忽视。

天真一点想，你会认为这样一篇革命性的论文，一定受到热烈欢迎。但当它在 NAACL 2019 获得最佳论文奖时，我聊过的博士后无一例外都在抱怨。为什么？他们说它没意思。“就是把一些东西的规模做大了。”

这话可能没错，可在此前那次同样试图“只是扩大规模”、实际上也有所创新的语言表示研究 ELMo 出现时，却没人这样抱怨。[06] 他们为什么不喜欢这次呢？一个原因肯定是：当“苦涩的教训”再次应验，聪明的研究者总不会开心，而 BERT 巨大的成功，让这份苦涩格外强烈。[07]

但我认为，也有证据表明，BERT 没有恰当地融入这场文化对话。ELMo 的消息事先就在共同体内部流传，而 BERT 是完全秘密开发的。再加上，它来自 Google，而不是大学。它在会议上的报告做得不好，违背了一个惯例：最佳论文报告通常会精心打磨，以示对共同体的尊重。我觉得，这些文化细节，与“苦涩的教训”一贯带来的不满，再加上或许那么一点嫉妒，共同造成了人们对 BERT 获得学术认可的负面情绪，只是没有人公开承认。

这展示了较硬科学中知识的双层结构：那团旋转的对话仍然存在，位于结果表格之上的一个抽象层次。共同体选择值得重视的目标，并承诺遵守它们。随后，指标定义规则，我们服从真正有效的方法。但关于什么有意思的文化对话，仍在继续。

不过，结果表格的这种“科学 1 属性”有一个限制：革命性突破很少发生。[08] 所以，你仍然得成为那团对话的一部分。培养品味，就是理解这团对话喜欢什么。进入这团对话，就是建立联系。参与这团对话，就是建立一条有良好品味的研究路线。

成功的教授因为到各大学做了太多演讲，而拥有航空公司金卡，这绝非巧合。[09]

许多个科学 2

如果真想深究，你可以把科学 2 想成几场相互连接、彼此环绕的对话。

单个研究实验室会形成一个相对一致的科学 2。如果一个系里有多个实验室研究同一领域，它们又会组成更大的、大学层面的科学 2。整个领域当然有一种时代风气，你可以称之为占主导地位的科学 2。像 Google 这样足够大的机构，不仅有自己独特的科学 2，而且有好几个。

如果去实习，进入新的科学 2 可能会让你遭遇文化冲击。所有作为基本指南的东西都变了：人们首先想到用什么模型，最顺手引用哪些论文，认为哪些进展重要，觉得哪些方向有前景。产业界的科学 2 会让人感到格外陌生。这不仅因为那些差异，还因为引领对话的不再是你的导师，而是一个在你之上隔着六层管理层级、你永远见不到的人。

别站在小艇上呼吁改革

尽管我确实赞同科学改革的许多目标，但你必须先做扎实的工作，科学共同体里才会有人信任你的判断。而且，通过参与今天实际存在的科学 2 来完成这些功课，也能确保你真正透彻地理解它。那些看起来显而易见的修补办法，并不好用。你甚至可能要等到认识了 100 个学术界人士，某位终身教职者告诉你，某某早就试过、结果如何之后，才知道有人尝试过它们。[10]

我写这些，是因为博士项目似乎吸引了很多聪明、理想主义的年轻人。他们想做科学 1，却没有意识到自己报名参加的是科学 2。然后，第一年他们就跳下导师的船，开始划着一块木板四处游荡，在第二篇论文发表之前，就朝全世界的科学船队大喊，要求大家改变科学 2，让它符合科学 1。现在还不行。没人听得见你。还不是时候。

注释

1. 整个“秘密的产业研究”现象，其实更像是在颠覆发表问题，而非缓解它。
2. 我不是历史学家，请原谅这些过于粗略、简单的例子。
3. 这一区别让两边都痛苦。即使只是一个小小的博士生，几年之后，面对爱好者、非学术人士、准博士生或产业界人士提出的研究想法，也会觉得难以应对。对他们来说，这些想法确实酷、有趣，你也想保住那点火花，可你知道这个领域十五年前就走过那条路，总体结果也就那样。你究竟怎么才能温和地把这些告诉对方？
4. 如果你不熟悉 BERT，可以把它想成一个在本领域影响很大的大语言模型前身。它几乎改善了我们当时知道的每项任务的表现。
5. 学科层级是：计算机科学 → 机器学习 → 自然语言处理。
6. 如果你不熟悉自然语言处理，我很抱歉，是的，我们有过一段特别迷恋《芝麻街》角色命名的时期，没人真知道为什么。
7. “苦涩的教训”大意是，与聪明的编程或知识相比，给 AI 投入更多计算量，总是更有效。我还会加上：更多数据。类似的说法还有耶利内克（Jelinek）那句大意为“每开除一个语言学家，语音识别器的表现就会提升”的话。
8. 也就是说，读博大概不该押宝在一次革命性突破上。
9. 特别资深的教授除外。似乎到最后，人们终于可以推掉所有受邀演讲和会议。
10. 事实上，当你与这位假想的资深学者聊天时，所在的会议本身，可能就是因为有人想改革自己领域的运作方式而创建的。这种情况比你想象的更常见。

思想框架

作者从发表制度的不满区分求真的理想与现实的社会实践，用船队比喻说明信任和交流的必要性，再把领域知识解释为共同体持续选择议题的对话。BERT 的经历显示，客观指标可以迫使共同体承认成果，却不能消除文化上的排斥；实验室、大学与企业又各有局部文化。最后，作者把改革的愿望放回职业阶段：先参与、积累信誉、理解过去的尝试，再争取改变。