最近看了几个李沐老师深度学习论文精读系列视频,对我的触动非常大,所以赶紧通过这篇文章结合自己目前的研究领域记录一下这些内容,方便自己以后翻看。

一、如何读论文?

首先是要熟悉一般论文的结构:title, abstract, intro, method, experiment, conclusion。

三遍读完一篇论文

第一遍,主要看title, abstract, conclusion部分,剩下的method和experiment中的结果图要大致浏览过一遍;

第二遍,进行全文通读(剩下intro, method, experiment部分),期间可以忽略掉一些比较困难的细节,例如公式证明,阅读论文之前没有了解过的一些理论概念等。这一遍中所有的图表(例如算法的对比实验效果,ablation study的结果),算法框架(比如某个多智能体强化学习算法的框架的具体流程,相较于读该篇论文之前已有认知里的其他算法有什么样的区别)必须搞清楚,并圈出可能造成阅读困难的其他文献(比如cooperative game theory, mean filed的相关理论)以方便后续阅读。

第三遍,这一遍是最详细的一遍,阅读过程中应该具体到每一段话是说了什么。最关键的一步是把自己想成作者,以作者的思路把该篇文章的核心思想思考一遍,尽量去找出一些存在的问题(比如可能遗漏了一些实验细节)。这里一定是自己认为会有哪些问题,先不要怀疑自己的想法是否正确,就算自己的想法不正确,也是需要靠后续的仿真实验进行验证的。

二、什么是好的研究工作?(技术类)

这一部分对我的触动最大,这个视频给我提供了一个非常好的衡量一篇文章(自己的也是别人的)价值的框架。

1. 新意:可以是将跨领域、跨时间(该领域非常早期的想法)的想法应用到目前的研究工作中。

对新意度的一些理解:换一个角度评价一篇文章的研究新意度:优美与欣赏

对新意度存在的误区:

Novelty as complexity, 越简单越好,但对效果的提升要特别好。

Novelty as difficulty,

Novelty as suprise

Novelty as technical novelty

Novelty as usefulness

参考链接:https://perceiving-systems.blog/en/post/novelty-in-science

2. 有效性:通过一些指标判断所提方法的效果,例如多智能体强化学习问题中,所提算法相比于其他算法对于某个具体任务的成功率提高了几个百分比等。

3. 研究问题的大小:工程类问题(代码层的优化,内存消耗)还是科学类(研究类)问题(比较抽象的研究问题,例如多智能体强化学习中的credit assignment问题)

文章的价值=新意度*有效性*问题大小

如何量化各个维度?1,10,100,整体1000是个不错的数值。

根据上述量化数值的一些建议:给自己的预期应该是:最好也只能在一个或两个维度上做到100(做到极致),如果达不到以上的要求,就在二到三个维度上都做到10,最次的情况不要在任何一个单项上掉到1,否则就应该推倒重来,重新反思。