轉自 | 機器之心

作者| 澤南、蛋醬

今年有了「看摘要拒稿」環節，但 NeurIPS 2020 的審稿期卻仍然變長了。

10 月 8 日，在經過幾個月審閱和延期之後，人工智慧頂會 NeurIPS 2020 放出了接收論文列表。最近幾天，有關本屆大會的論文統計結果逐漸出現，一些亮點論文也開始被人們討論起來。

今天，大會官方分享了一些今年審稿和流程及統計資料。

首先是總體接收情況，NeurIPS 2020 獲得了 12115 篇論文摘要的提交，以及 9467 完整論文的提交。相比 2019 年，論文提交的數量增加了 40%，增長幅度與 2018-2019 年相同。審稿之前，共有 184 篇論文由於非匿名原因、作者撤回、頁數過多等原因被拒，11% 論文被 desk-reject，隨後剩下 8186 篇論文分配給審稿人。

個人中稿數量上，UC Berkeley 的 Sergey Levine 有高達 12 篇論文被接收排名第一，美國西北大學的 Zhaoran Wang、UCLA 的 Lin Yang 等人均有 9 篇論文被接收。

演算法、深度學習和應用：三大方向仍最熱門

在下表中，你可以看到這些年來提交論文在主要研究方向上的變化：

值得注意的是，今年的 NeurIPS 大會引入了「機器學習的社會影響」方向，其中探討的內容包括公平與隱私。此類論文以往被包含在演算法方向下。可以看到，NeurIPS 2020 最熱門的三個方向和以往沒有太大變化，仍是「演算法」、「深度學習」和「應用」，不過後兩個方向熱度有所降低。

那麼問題來了，論文寫哪個方向錄取率高？

我們可以觀察到「理論」和「神經科學」仍然是接收率最高的兩個領域，另一方面「應用」、「資料挑戰、應用和軟體」則是今年接收率最低的方向。

今年全球遭遇了新冠疫情的衝擊，大會也特別呼籲人們提交與新冠相關的論文，結果共收到 40 篇相關研究，最終有 1 篇成為口頭報告論文，4 篇 spotlight，還有 4 篇 poster。新冠相關論文的接收率 24%，略高於 20% 的總體接收率。

史無前例的 9467 篇論文，史無前例的審稿人數量

人工智慧領域的熱度仍在不斷提升，每一年 NeurIPS 都會成為新的「史上最大」AI 頂會，人們面臨的最主要挑戰就是如何處理海量的論文提交。面對今年超過 9000 的提交數量，大會需要招募 7100 名審稿人以達到每篇論文 4 名以上審稿人，至少 3 份審稿意見的水平。NeurIPS 2020 是如何完成這個艱鉅的任務的？

首先，大會邀請了 64 位資深領域主席，480 位領域主席以及 4969 名審稿人。這些研究者們來自 NeurIPS 2019 的優秀審稿人，同時也有不少人來自其他機器學習頂會、專業頂會、研討會（如 CVPR、EMNLP、醫學研討會等）。在論文提交 deadline 之前幾個月，會方就努力說服了眾多程式委員會成員更新了自己的 TPMS 和 OpenReview 檔案，以保證在隨後的分配論文的時候有足夠高的效率。

正如之前所估計的，即使審稿人數量達到 4969 人，但仍然遠不足以完成任務。因此 NeurIPS 2020 選擇讓論文提交者稽核論文。在論文提交者當中，大會選出了 1778 名額外的審稿人。他們的篩選標準是：1）必須有 TPMS 或 OpenReview 檔案，2）至少參加過一次機器學習頂會的審稿，3）至少投過 10 篇論文，4）至少在機器學習頂會上以第一作者身份發表過一篇論文。

即使標準看起來比較合理，但讓投稿人審稿的安排還是會存在一定爭議。人們肯定會問：常規審稿人和他們的評判標準是否會有不同？衡量這一點的自然方法是使用區域主席分配給評審意見的等級：1 表示未達到期望，2 表示達到期望，3 表示超出預期。這一機制會被用於決定明年大會繼續邀請哪些審稿人，以及給誰授予大會免費註冊的優惠。

如果我們把每個審稿人的平均分數和他們提出的審稿意見關聯起來，可以發現被邀請的審稿人的確比論文作者審稿人水平高，不過差別並不明顯。NeurIPS 大會組織者認為，這表明今年大會的審稿水平並沒有因為新的政策而犧牲太多。

有趣的是，我們還能看到審稿人的經驗水平和區域主席給的評價相關性其實並不高。在下圖中我們可以看到經驗最豐富的審稿人（在頂級機器學習會議中擔任審稿人超過十次）並不能獲得最高分。實際情況和人們的預料相反：審稿界的新人可以獲得最高評分，特別是對於那些曾在其他會議擔任評審，第一次來 NeurIPS 的人來說。



在 desk reject 之後，80% 的論文被分配了 4 名審稿人，以儘量保證在作者通知 Deadline 之前，論文的提交者至少能夠收到 3 篇論文審稿意見（在這個時間線上，只有 5 篇論文獲得了少於 3 份審稿意見）。最終，NeurIPS 2020 收到了共計 31,000 份審稿意見，審稿人數量達到 7062 人。

如前面所說，除了保證審稿人數量之外，今年的 NeurIPS 還增加了提前拒稿環節。在這一階段，區域主席和高階區域主席會審閱分配給他們的論文摘要，並標記他們認為不應接收的論文。

至 2020 年 6 月底，大會共收到 1097 份提前拒稿意見。領域主席對於這種不經全文審閱即拒稿的方式看法不盡相同：有 82 名領域主席在這個階段決定不給出任何拒稿意見。為了評估這一階段的審稿質量，大會隨機選擇了 100 篇被標記為提前拒稿的論文投入常規審稿階段，並分配給不同區域主席和資深區域主席進行審稿。結果發現，這些論文有 94% 被拒稿，「錯誤率」僅為 6%。

總體來說，提前拒稿環節有利有弊。但是考慮到區域主席和高階區域主席為此花費了三週時間，被拒絕的論文比例（小於 11%）卻是相當低的。一些在該階段被拒的作者也表示，他們沒有充足的理由來做決定。好處是，區域主席在提前拒稿環節對整體論文的情況更加熟悉，促使了其他階段審閱效率的提升和審閱質量的提高。

影響力宣告以及其他

今年，NeurIPS 官方要求作者在提交內容中增加一份「影響力宣告」，但沒有因未滿足此要求而拒絕任何論文。不過大會仍然要求已接收論文在 camera-ready 版本中保留這一部分。

下圖展示了「影響力宣告」的單詞數量直方圖，可以看出，大約有 9% 的研究者沒有提交這一部分，並且大部分提交的宣告內容在 100 字左右。

NeurIPS 任命了一名道德顧問，並邀請了 22 名道德審查員。審稿人可以舉報疑似具有道德問題的論文，例如使用不當數據、方法存在偏見等問題。

最終有 13 篇論文接受了道德審查。在經過技術稽核人、區域主席、高階區域主席和程式主席的全面評估之後，出於道德考量，只有 4 篇論文因為新規定被拒。其中 7 篇論文的結果是「conditionally accepted」，這些論文將會在修改後繼續由區域主席評估，有的論文需要對潛在風險進行更清晰的討論，有的論文需要刪除有問題的資料集。

此外，NeurIPS 還進行了一些其他修改，幫助優化稽核過程。例如，在 discussion 階段，區域主席可以向作者發郵件以解決官方 rebuttal 階段之後的問題。據統計，在 rebuttal 之後，區域主席總共向作者們傳送了 604 封郵件，作者和區域主席對該方法的反饋總體比較積極。就像 OpenReview 平臺一樣，在整個審閱過程中建立與作者的溝通渠道是非常有效的。

另一項更改是允許作者公開所有的重新提交資訊，讓其他人可以看到和上次被拒絕的版本相比，內容有何處更新。在提前拒稿環節之後，區域主席和高階區域主席都可以訪問此資訊，總體來說有 30% 的研究都是重新提交過的。

同時，NeurIPS 也允許作者在 discussion 階段進行評論，這樣做是為了增加審閱過程的透明度，使作者可以得知論文上的最新分數。因為該分數對於確定提交作品是否符合 AAAI「快速通道」審閱程式很有意義。

最後，來看一些基本的統計資料：

首先比較一下 NeurIPS 2019 和 2020 的實質審查（meta-review）時間。如下圖所示，今年的實質審查時間更長，這可能是因為 summary-rejection 環節讓區域主席從一開始就更多地參與了審查過程。

該趨勢與審稿人內部 discussion 的趨勢是一致的，如下圖所示，今年的 discussion 時間比去年長。

總結

• NeurIPS 的提交數目以每年 40% 的穩定速度持續增加；

• 提前拒稿環節不會產生很高的「假陽性率」，但也沒有砍掉很多篇論文；
  

• 事實證明，邀請論文作者作為審稿人是一種非常有效的擴充套件審閱方法；
  

• 很少有論文涉及道德關懷問題，NeurIPS 官方有專門的流程來處理此類事件，為作者提供來自道德或機器學習的更多專家反饋；

• 在討論環節與作者進行交流，有助於解決一些難題。
  
  

現在，論文審稿期已經結束，在 12 月份大會正式開幕之前，我們可以先看論文了。

參考內容：
https://medium.com/@NeurIPSConf/what-we-learned-from-neurips-2020-reviewing-process-e24549eea38f

感謝你的分享，點贊，在看三連↓