谷歌大脑高级研究科学家：机器学习六年读博经历中的经验与教训

机器学习读博是什么体验？期间遇到的挫折与挑战又要如何应对？ 在ML领域小有名气的青年科学家Maithra Raghu总结了自己在六年读博经历中所汲取的经验与教训，希望能够对正在/将要攻读机器学习博士学位的学生有所帮助。 Maithra Raghu于2020年从康奈尔大学毕业，获得CS博士学位。在Maithra读博的六年里，机器学习领域的研究参与人员越来越多（2014年NeurIPS的投稿者大约是两千人，2020年已达到两万人），而Maithra本人也在机器学习领域取得了重大进步。 Maithra曾在2019年当选“福布斯30位30岁以下科学精英排行榜”，2018年被评为“MIT EECS Rising Stars”，主要研究领域为深度学习与医疗的结合。目前，Maithra Raghu在谷歌大脑担任高级研究科学家。 个人主页：https://maithraraghu.com/

1

读博前的期望

对于许多选择读博（尤其是本科毕业后直接读博）的人来说，博士生涯并不能被称得上愉快，但Maithra认为，博士学习就像一段“旅行”。一般来说，完成ML博士学习需要5到6年，在这个学习过程中，你不仅可以学习到ML领域的研究技巧与知识，还可以根据自己的兴趣决定你所想要研究的问题，探索ML不同子领域的魅力，更能接收到学术界/产业界/政策/非营利组织的不同研究成果等。

不断变化的个人喜好将影响你在读博期间决定从事的研究工作，甚至影响你之后所选择的博士后职业道路。不过，尤其是在博士学习刚开始时，个人研究兴趣如何演变是很难预测的。就Maithra个人而言，在刚开始读博时，她认为自己是要进入工业界的，读博期间又考虑从事学术研究，读博后期却又坚决地拒绝了学术界的offer，决定留在工业界做研究。因此，她认为，读博可以一步一步来，最重要的是充分利用读博期间的学习/研究/社交经验，而不是实现某项预期目标。目标也许会变，但没必要纠结，免得给自己带来不必要的压力。

2

读博期间的普遍挑战

攻读博士学位（尤其是ML博士）能够为个人带来巨大的收获，使你有机会为基础科学理解与重大的技术应用做出贡献。但是，读博所需的时长，以及读博期间的各种不确定性，使读博充满挑战。Maithra的读博生涯也是坎坷不断，常常感到孤独、受挫，或因为急于求成而把自己压垮。这些现象在读博群体中十分常见。作为过来人，Maithra分享了自己的一些经验与策略：

研究陷入僵局时读博时的一个普遍挑战是：某个项目或研究过程受阻，陷入僵局，无法继续进行下去。 如果你很努力地推进某个项目，但没有取得任何进展，那么你可以尝试：

资料整理：搜集所有实验结果、数学方法、随手记录研究动机的笔记等等，并花点时间将这些信息汇集起来，尝试写一篇文章。这个过程可以帮助你了解目前研究所处的位置，以及当下研究状态与研究目标的差距在哪里。

中心点：如果是项目的某个部分无法正常运作，那么是否可以重新确定研究问题（也许是从相关工作中汲取灵感），以使研究更容易进行呢？

建立联系：当前项目所关注的领域与其他研究领域之间是否存在联系？可以在这个研究项目中探索这种联系吗？这既可以帮助推进研究，也可以使项目与其他领域产生更广泛的联系。

获得论文反馈：从研究同行、合作者和朋友那里获得关于项目论文的反馈也可能会有所帮助。他们也许能够提供新的观点或改进建议。

参加Workshop：把论文提交到Workshop也有用。这个方法也能帮助整合所有研究结果，并获得有用的反馈。（Maithra提到，她从机器学习会议上的workshop中获得了许多收益，因为她可以讨论/获取有关当前方向的反馈，并见到同一领域的其他研究人员。）

及时止损：有时候，一个项目在刚开始时前景很好，但很难正常运行，项目本身对重新建立框架，或与其他领域建立联系都具有挑战性。在这张情况下，最好的方法也许是迅速中止项目，转到其他研究。如果之前的项目已经取得部分成果，可以针对这些成果撰文并进行分享，取得合作者的同意与最终反馈，将论文发表为arXiv预引文或Workshop论文。

如果你不是被某个特定的项目困扰，而是对研究过程感到不知所措，那么可能是因为你觉得研究成熟度，尤其是自己的研究水平，很难衡量。在读博中途，Maithra开始从事医疗应用的研究，但在了解这个领域与撰写论文上的进展都很慢。为此，她感到很迷茫、沮丧。后来，她重新读了一遍她在博士初始阶段所完成的文章，发现她对论文结果的深度与背景的了解与之前的情况截然不同。

衡量研究成熟度的几个关键指标，如了解研究结果背后更广泛的背景，在不同领域之间建立联系，迅速定位你所研究的子领域的重要成果等等，并无法迅速转化为有形的产出（如形成更多论文）。但是，这些指标对成为具有丰富研究视野的独立研究人员至关重要，这也是博士生涯的主要研究目标。而且，如果你一直阅读论文，了解你的研究领域并亲自决定你的研究方向，包括教学/指导学生等，那么你是很有可能在这些方面取得重要进步的。

与时俱进感到费力时

机器学习是一个充满活力、节奏快的领域，很容易被大量新论文、新预印论文、新博客文章、新实现、新框架等等淹没。 如何掌握机器学习领域的最新动态呢？Maithra的策略如下：

1、掌握能够快速查找相关论文的参考链接：比如订阅arXiv上的stat.ML cs.LG邮件列表，arXiv-sanity，推特，或者是reddit / MachineLearning，paperswithcode和 Semantic Scholar/ Google Scholar等。

2、做一个论文阅读清单：列出你所发现的有趣的、但暂时没有时间阅读的论文，等有时间再回去阅读。

3、制定一个论文阅读策略：如果一篇论文与你正在积极研究的方向非常接近，那就详细阅读；如果相关度不大，那就读一下摘要，截取几张重要的照片。

4、偶尔读一下其他领域的论文（可能一年一次），看看其他领域正在研究的内容。 还有两个比较有帮助的点是记住：（1）每个人都会对论文发表的概率感到着急；（2）许多论文也许都是基于一个相同的基本思想，只要掌握这一个思想，就能跟上整个领域的发展。

感到孤独时读博期间的另一个共同挑战是与孤独作斗争。Maithra谈到，在攻读博士学位的前几年，有些项目要求她将精力集中在非常狭窄的某些问题上，这些问题也非常耗费精力，并且看起来似乎永远也完成不了。在这些时期，你会感到与其他研究人员和领域完全割裂。 广泛而言，这种情况在博士早期比较常见，因为那时你正开始学习如何从头到尾进行一个研究项目，但与此同时，你与其他研究人员/领域的联系却很少。与研究领域/社交群体保持联系，可以确保你不会感到被孤立。

你可以：（1）与高年级的学生/博士后建立合作；（2）从导师/实验室/其他同僚等方面获得你所取得的工作进步的反馈；（3）积极参与其他社交圈，无论是参会，指导学生还是组织workshop等。

3

3个有用技能

在讨论了读博期间面临的一些常见挑战以及解决这些挑战的方法后，下文将介绍一些有利于取得研究进展的注意事项。 Maithra发现，在读博期间，个人身上的三个技能非常有用：主动性、专注力和毅力。 与本科学习相比，Maithra发现，读博期间的一个明显不同点是博士生需要采取主动行动。所谓主动，可以是阅读重要的相关论文，对不同方法的可行性进行快速的初步研究，与进行相关研究的同行交谈 ，还可以是参加会议，并成为会议的积极活跃分子。由于博士学位的完成时间不确定，所以论文的生产力在很大程度上是取决于你学习和进行研究的主动性。

此外，Maithra认为，在开始新的研究方向时，专注力非常重要，能够帮助你精读相关工作，提取关键信息，从最初的有限探索中快速学习，并确定项目的主要研究方向。 另一方面，毅力也很重要：一篇论文在提交前、提交后，或者回复同行评审、论文被拒时，通常都需要进行大量的编辑/资料添加。大量的论文编辑工作，尤其是在为二次提交做准备、同时又进行新的研究项目时，你很难有修改与编辑的动力。但同行评审过程的灵活性，又往往意味着论文值得你坚持修改与写作。

4

记录文献阅读和研究思路

Maithra在整个读博期间，一直更新着两个文档。一个是第一年开始更新，另一个是第三年开始更新。 第一个记录了她阅读过的论文，每次Maithra阅读了新论文后，都会将其添加到文档中，并简要写下自己的收获，该文档篇幅已经超过50页。另一个文档则跟踪研究思路，每当她有一个新想法时，都会记下来。Maithra认为，这有助于了解研究方向并突出关键主题。

5

社区的重要性

Maithra花了不少时间才意识到社区的重要性，从根本上说，研究是一项社区活动。做学术研究通常要解决异常困难的问题，研究的进步取决于你和他人的互相学习，这是探索研究方向时要牢记的关键因素。

Maithra认为，我们应该注意以下几个问题：社区关注的研究主题是什么，为什么？存在哪些盲区？有能自然提出的研究课题吗？花时间与社区中的同行讨论这些问题，对于提出符合趋势的研究问题至关重要。 而且，如果确定了该领域的新研究方向，则围绕该方向建立社区通常会很有用。要实现这一点，可以发起协作，发布关键的开放性问题，并组织研讨会。 Maithra分享道，博士生涯刚开始，她就对了解现代深度学习系统所展现的关键经验现象感兴趣。但是，在这个主题上开展工作非常困难。 这个领域正在迅速发展，使任何类型的研究分析都充满了不确定性，并且极大地增加了围绕该主题建立新社区的挑战。 因此，Maithra的第一篇深度学习分析论文十分难产，极大考验了她的毅力。但是在这之后，她感受到的是更加强烈的研究兴趣。 6

发展研究视野

前面提到，在刚开始攻读博士学位时，最好步步为营，专注于经验，而不是特定的目标。但从研究成熟度的角度来看，攻读博士学位其实需要一个特定的目标：成为具有丰富的（清晰的）研究视野的独立研究人员。 在当前的机器学习研究社区中，随着大量论文的涌现，人们很容易感到需要不断发表新论文的压力。 但是，尽管论文写作是一项重要技能，Maithra认为研究成熟度的关键标准，是能够对所在领域有渊博的知识和基于知识之上的深刻观点，这些观点有助于通过研究视野（与主题相关的总体观点）来确定关键的研究问题。拥有广阔、完整的研究视野会极大地激发人们的研究积极性。

那么如何发展研究视野呢？Maithra认为，首先，如果没有几年的研究经验就很难形成完整的研究视野。 在博士的头几年里，Maithra埋头阅读论文和听大牛的演讲，并为无法提出有趣的研究问题而感到沮丧。之后的几年里，她阅读过的论文、从事过的项目、参加过的研讨会大大提高了这方面的能力。当然，这是永无止境的过程。 更具体来说，它始于探索，Maithra的前几个项目为她提供了不同的曝光机会，并帮助她理解了自己感兴趣的主题。

之后，她研究一些自然提出的后续项目，并引发了有关应用程序/部署的一些相关问题。在研究具体项目的过程中，会不断提出新的问题，并持续加深自己对研究主题的理解，同时有可能引出新的研究课题。当然，不要忘记请教导师，导师在你的研究主题上已经有了很广阔的研究视野。 最后，Maithra强调，多年的经验确实产生了复合效应。之后从事研究项目时，提炼论文中的主要观点会更加容易，并能启发下一个研究课题，这些研究方向最终合并形成一个更广阔的视野。

总结

总而言之，攻读博士学位也许是一段非常有意义的经历。不妨将读博视为一段旅程，有起有落，个人研究发现和研究观点在不断演变。希望这篇文章对旅途中跋涉的其他人有所帮助！

原文链接：https://maithraraghu.com/blog/2020/Reflections_on_my_Machine_Learning_PhD_Journey/

责任编辑：xj

原文标题：谷歌大脑高级研究科学家：我的六年机器学习博士生涯总结

文章出处：【微信公众号：深度学习自然语言处理】欢迎添加关注！文章转载请注明出处。