鱼羊 栗子 发自 凹非寺
量子位 报道 | 公众号 QbitAI
七月份的尾巴，机器学习顶会NeurIPS 2019的初步结果已经来了。
一年一度的吐槽盛会也由此开始。
“有评审问我啥是ResNet。”
“有评审问我为啥没引用X论文。我不止引用了，还专门描述了一段和X的关系。”
“我看到了14000605种未来，没有一种能中NeurIPS。”
吐槽之余，许多小伙伴还是开始准备Rebuttal了。
虽然，多数Rebuttal没什么用，但依然有位同学给出了一份高赞模板，把Rebuttal和吐槽活动完美结合，热情问候了各位审稿人。
大家可尽情欣赏，并谨慎借鉴：
引热议的Rebuttal
在Reddit上，初步被拒的@SoFarFromHome表示：
我们感谢每位审稿人细致的评论，有些真的是看过文章才来评价的呢。
之后，就开始了全面扫射，嘲讽了论文的每一位审稿人的几乎每条评论，引发了网友的热议。量子位节选了这个Rebuttal如下：
有位审稿人问我们为啥没有引用X。我们想说的是，已经引用了，还花了一整段来描述我们的研究和它的关系。
有位审稿人举出了个数据集，让我们用它评估模型。我们想说的是，已经用这个数据集评估过了，看实验章节。
……
有位审稿人指出，我们的方法在假设3不成立的时候就不work。是啊，说得对啊。所以我们才把它列成假设了啊。恭喜您的阅读理解啊。
有位审稿人直接把我们的Intro，复制到“这篇论文的3个贡献”一栏里了。我们一定会在后续修改的时候，加上一个“分数10 置信度5”，能复制的那种，让您打分更方便。
……
有位审稿人用了一半篇幅来论证，我们这个子领域就是愚蠢的错误的。我谢谢ta跨越学术界线，来为一个让ta深深痛苦的领域写评论。
就没有一条好评么？不不不，有许多，这位同学继续写道：
审稿人们还给出了这样的评价：
“原创 (Original) ，积极 (Well-Motivated) ，值得研究 (Worthy of Study) 。”
“这篇论文读起来很享受。”
“这是一个有趣的问题，当然值得研究。”
“这篇论文找到了一个重要的问题……并给出了简单的解决方法。”
感谢你们都标了拒稿 (Reject) 。
由于所有打分都在3-5之间，不管是你们还是领域主席 (AC) ，都不会读下这篇回应，也不会考虑重新打分。
我只不过希望今后，你们写的那些原创的、积极的、有趣的、清晰的论文，也能得到同等的待遇。
既然从分数上看，几乎没给Rebuttal留什么空间；
那么，用机枪一般的吐槽，排一排闷在心里的暑气，大概也是个好办法。
当然，一定也有许多小伙伴，需要认真准备Rebuttal，抓住最后的机会。
据说，隔壁ICCV放榜喜大普奔，且Rebuttal好好写了就真的有人能看到。
所以，需要鼓励的人类，可以前往这问题：
如何评价 ICCV 2019 的论文接收结果？有哪些亮点论文？
https://www.zhihu.com/question/336194144/answer/758560475
What is系列
在上一个被疯狂吐槽的顶会IJCAI里，有这样一个审稿意见成为了坊间传说：
What is Softmax？
在NeurIPS 2019的审稿意见中，“What is”家族再次壮大，有知乎网友表示，审稿人是这样问自己的：
What is ResNet？
啊，这可真是个好问题啊，简直令人窒息。
这位网友的遭遇并不罕见，还有人遇到了这样的灵魂一击：
What is Distillation?
在SoftMax被点名的时候，谁能想到它还有这么多兄弟？
不过也有网友指出，这么问不一定是审稿人不知道这些概念，他们很可能是在提醒你引用/解释不到位。毕竟做好工作很重要，但也不能忽视论文写作本身。
这其实也是一个提醒，文章introduction要写好，引用也要规范哟。
顺便问一句，就没有人碰上满意的评审么？
其实也是有的，比如：
NeurIPS到底有多玄学
对于学术界来说，会议审稿和接收程序的逻辑一直备受关注。
毕竟，论文能不能中顶会，对研究人员的职业生涯来说还是非常重要的。
那么NeurIPS的审核过程到底说不说的上是玄学呢？
早在2014年，德州大学奥斯汀分校的助理教授Eric Price就做了个实验，结果发现NIPS的录取模型比想象中更随意。
在这个实验中，Eric和他的胖友Jacob Abernethy讨论出了一个“噪声得分”模型，大概是这样的：
每篇论文通常会有3个review，评分为0-10。所以在模型里，每篇论文都会有一个从某个分布中得出真实得分v（比如N（0，σbetween^2），和从N（0，σwithin^2）中提取的review。
根据NIPS的审稿规则，录用结果就是σbetween^2 / σwithin^2的函数。
如果σwithin^2介于1到4倍的σbetween^2之间，那么结果就是这样：
无独有偶，KDD 2019（知识发现与数据挖掘国际会议）的Research Track中有一篇论文也关注到了审核流程中随机性的问题：https://arxiv.org/abs/1905.11924
论文中不中，有时候可能真的是玄学。评审不专业，评审自己也很绝望啊，要怪只能怪论文匹配算法不够机智吧。
One More Thing
每一次投稿顶会都是一场奇妙的冒险，可能会遇到千奇百怪的review，也可能在观点的碰撞中有所收获。
MXNet创始人李沐大神曾经在文章中写道：
之后想了想，一篇好文章自然需要有足够多的“干货”，或者说信息量， 但一篇能被接受的文章需要满足下面这个公式：
文章的信息量 / 文章的易读性 < 审稿人水平 * 审稿人花的时间
对于机器学习会议，因为投稿量大，所以审稿人很多自然平均水平就会下降。而且很多审稿人就花半个小时到一个小时来读文章，所以公式右边数值通常是很小，而且不是我们能控制。”
之前，NeurIPS 2019投稿平台就被挤爆，投稿数量达到了6809篇，与2018年相比增长40%。五月底截稿，七八月就要给出结果，审稿人也是鸭梨山大啊。
所以，吐槽归吐槽，坚持自己的工作，拿出更多的干货，才是以不变应万变之道吧。
参考资料：
NIPS实验：
http://blog.mrtz.org/2014/12/15/the-nips-experiment.html
李沐《博士这五年》
https://zhuanlan.zhihu.com/p/25099638
Reddit高赞Rebuttal模板：
https://www.reddit.com/r/MachineLearning/comments/cjtmi8/d_what_id_like_to_write_in_my_neurips_rebuttal/
如何评价 NeurIPS 2019 的审稿情况？
https://www.zhihu.com/question/322139752/answer/761895242
— 完 —
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
