一篇一年前的Nature論文近日在Reddit上引發熱議，一位數據科學家認為這篇預測地震余震的論文在數據處理方法上存在重大缺陷，導致實驗結果虛高，他向Nature去信反映意見，后者承認問題存在，但認為沒有必要修正，而論文作者則態度強硬，不承認論文有問題。有人整理了事件的來龍去脈，引發熱烈討論。

近日，一篇一年前發表在《Nature》上的一篇關于使用深度學習技術預測大地震余震的文章在Reddit上引發熱議。

事情的起源是，一位名叫Rajiv Shah數據科學家認為，這篇由哈佛大學和谷歌聯合發表的論文在訓練數據集和測試數據集劃分和選擇上存在重大缺陷，造成了“目標泄露”，導致預測性能結果偏高。這實際上使整個實驗結果不再有效。

于是他聯系了《Nature》表達了自己的對這篇文章的不同意見，然而Nature方面盡管承認他的意見有合理之處，論文在模型和算法設計上存在缺陷，但拒絕對此進行修正。兩位論文作者也給出回復意見，否認了Rajiv Shah的全部意見。

一年前舊賬重提：一篇Nature論文缺陷引發的爭議

于是，近日Rajiv Shah在Medium上發文，將此事的整個過程講述了一遍，并堅持自己的觀點。隨文附上了Nature論文、自己與Nature方面的通信往來，以及作者的回復意見等。熱心網友將此文轉到Reddit上，引發熱烈討論：

來看看當事人Rajiv Shah在Medium上的博客文章對于此事的梳理：（Medium原文編譯）

人工智能，機器學習，預測建模和數據科學的研究在過去幾年中發展迅速。隨著人工智能研究和相關產業的持續增長，新一代的機器學習增強、自動化和GUI工具的誕生讓越來越多的人構建預測模型。

但這樣問題就來了：雖然使用預測建模工具變得更容易，但預測建模知識還不夠普及，如果不小心，就很容易導致錯誤的結論。

不良方法會導致不準確的結果

大概一年前，我在《自然》上讀到一篇文章，聲稱通過深度學習預測地震的余震達到了前所未有的準確性。但讀過之后，我對他們的聲稱的結果產生了深深的懷疑。他們的方法的建模過程完全不夠仔細，導致結果不再可信。

與此同時，這篇論文引發了廣泛關注和認可。甚至在Tensorflow的官方說明中也提到了這篇文章，作為深度學習應用的例子。我發現這篇論文存在重大缺陷。論文中出現的數據泄漏問題會導致文中得出的準確度得分偏高，而且預測方法在模型選擇上也不夠關注（如果更簡單的模型可以達到同樣的準確度，就不必構建6層神經網絡了）。

回到我之前的觀點：論文中使用的方法很精巧，但在基本預測建模上的錯誤可能會使實驗的整個結果無效。數據科學家應該在工作中及時發現并避免這些問題。我認為本文作者們完全忽略了這一點，所以我聯系了作者，希望能改進文中的分析流程。雖然我們之前溝通過，但關于這篇文章的疑問，她沒有回復我的郵件。

Nature回復：承認瑕疵，拒絕修正，論文作者表示沒毛病

那么，我該怎么辦？我的同事建議我發個Twitter就算了，但我認為應該大力提倡良好的建模習慣和理念。所以在接下來的6個月里，我一直在記錄自己的結果，并與Nature方面進行了分享。

今年1月，我收到了Nature的一份回復說明，認為盡管關于數據泄漏和模型選擇的嚴重問題使文中的實驗結果不夠可靠，但他們認為沒有必要糾正，因為Devries等人主要關注的是將機器學習作為一種工具來獲得對自然世界的洞察力，重點不是算法設計的細節。而此文的作者則做出了措辭更為嚴厲的回應。

我感到很失望。這是一篇重磅論文（畢竟發在Nature上啊），盡管文中的方法有缺陷，但它還是發表了，推動了對人工智能的又一波追捧。

本周，兩位從事地震分析的數據科學家Arnaud Mignan和Marco Broccardo也撰文指出了在Nature那篇余震預測文章中發現了缺陷。我也把我自己的分析和可重現的代碼放在了github上。

我想說清楚一點：我不是故意和Nature那篇論文的作者人品有問題。我不認為她們是有意為之，她們的目標只是展示如何將機器學習技術應用于余震預測。文章作者之一Devries是一位多才多藝的地震科學家，希望將最新的方法用于她的研究領域，并從中找到亮眼的結果。

但問題在于：這些觀點和結果是基于有根本缺陷的方法得出的。僅僅說“這不是機器學習論文，而是地震論文”是解釋不了的。一旦使用了預測模型，那么預測結果的質量就取決于建模質量，取得的成果就屬于數據科學的成果，數據科學的結果必須嚴謹。

期刊方面歷來對刊登對關于最新技術和方法的論文興趣極高，但是，如果我們允許有基本問題的論文或項目取得進展，就會傷害我們所有人，對預測建模領域造成破壞。

Nature論文介紹：深度學習預測余震效果拔群

實際上，新智元在此前的報道中曾對Nature這篇文章進行過簡要介紹：

谷歌和哈佛大學在Nature雜志發表的一篇論文中，研究人員展示了如何用深度學習預測余震位置，而且預測結果比現有模型更可靠。

他們訓練了一個神經網絡，在一個包含131000多個“主震-余震”事件的數據庫中尋找模式，然后在一個包含30000對類似事件的數據庫中測試其預測。

“主震-余震”事件的一個樣本

深度學習網絡比最有用的現有模型（稱為“庫侖破裂應力變化”）更可靠。在從0到1的精度范圍內——1是完全準確的模型，0.5是一半準確的模型——現有庫侖模型得分為0.583，而新的AI系統達到0.849。

“關于地震，你需要知道三件事情，”研究人員說：“它們什么時候發生、它們會有多強烈、它們會發生在哪里。在這項工作之前，我們有經驗定律來解釋它們發生的時間和規模，現在我們正在研究它們可能發生在哪?！?/p>

人工智能在這一領域的成功歸功于該技術的核心優勢之一：它能夠發現復雜數據集中以前被忽視的模式。這在地震學中尤為重要，因為在地震學中看到數據中的關聯性非常困難。地震事件涉及太多變量，從不同區域的地面構成到地震板塊之間的相互作用類型，以及能量在地震波中穿過地球傳播的方式。理解這一切是非常困難的。

研究人員表示，他們的深度學習模型能夠通過考量一個被稱為“米塞斯屈服準則”（von Mises yield criterion）的因素來做出預測，這是一種用于預測材料何時開始在壓力下破裂的復雜計算。研究人員表示，這個因素常用于冶金等領域，“但在地震科學中從未流行過?！爆F在，隨著這一新模型的發現，地質學家可以研究其關聯性。

盡管這項研究取得了成功，但它還遠未準備好在現實世界中應用。首先，AI模型只關注由地面永久性變化引起的余震，稱為靜態應力。但后續地震也可能是由于后來發生的地面隆隆聲造成的，稱為動態壓力?，F有模型也太慢而無法實時工作。這很重要，因為大多數余震發生在地震發生后的第一天，然后每過一天頻率大致減半。

Rajiv的意見：訓練方法缺陷導致“目標泄露”，實驗結果虛高

在Rajiv致Nature的信中，指出這篇文章中存在“重大方法性錯誤”，使得文章結論不再嚴謹可靠。Rajiv主要提出了三點意見，以第一點為主。

第一，文中對模型訓練和測試數據運用存在缺陷，出現了“目標泄露”（Target Leakage），論文中公布的預測精度實際上是偏高的結果（AUC=0.849）。論文中使用地震中部分數據來訓練模型，然后再次使用這些數據來測試模型。這種目標泄露會導致機器學習中的結果偏高，而實際效果并沒有這么好。為了避免這一錯誤，需要使用“分組分區”的方法，保證地震數據只會出現在訓練部分或測試部分其中之一,而本文沒有這樣做。

第二個問題是沒有使用學習曲線。

第三是上來就使用深度學習模型，而沒有考慮邏輯回歸、隨機森林等基線方法。這可能會給讀者造成誤導，認為只有深度學習才能對余震預測任務取得良好效果，實際上并非如此，許多其他方法（如SVM、GAM）都可以獲得與文中模型基本相當的性能。

在Nature的回復中，實際上在一定程度上承認了Rajiv意見的合理性，但拒絕對此進行糾正。

Nature方面的態度是：

盡管關于數據泄漏和模型選擇的問題使文中的實驗結果不夠可靠，但沒有必要糾正，因為本文作者Devries等人主要關注的是將機器學習作為一種工具來獲得對自然世界的洞察力，算法設計的細節不是重點。

而論文作者方面給出的回復意見對這三點均予以反駁，二位作者表示：

1、Rajiv關于“數據泄露”使得模型性能虛高的說法在科學背景下不具備合理性。對地震數據訓練集和測試集的分組符合機器學習的基本方法。

2、本文使用神經網絡作為工具，為了獲得關于余震的一些模式信息，并沒有表示其他機器學習方法無用的意思。

3、整個文章的主旨就是神經網絡能夠成功學習簡單的模式。

二位作者還在回復意見的最后部分表示，Rajiv的評論沒有任何科學背景。我們是地震科學家，我們的目標是利用機器學習獲得關于余震位置模式的信息，完成這個目標的是我們，而不是Rajiv的這些評論。如果Nature選擇公開這些評論，我們會感到很失望。

網友熱議：Nature承認有問題就該改，作者態度令人堪憂

Nature上的文章從來不缺少關注，尤其是出現重大爭議的文章。雖然是一筆一年前的老賬，但來龍去脈還很清楚，毫無懸念地成為Reddit上頭號熱帖。

從回復的熱門帖子看，很多網友認為Rajiv的批評意見值得充分討論，而Nature在承認論文中的算法存在一定問題的情況下仍然拒絕修改，沒有盡到應盡的責任。至于二位作者的回復，一方面缺乏面對反對意見時的風度，而且對某些重要概念（比如數據泄露）的理解存在問題。

下面簡單摘選幾個：

1、我覺得論文作者的回復比批評意見本身更為“居高臨下”啊。意見中提到使用更簡單的方法也能得到基本相同的結果，這說明進行一些模型簡化測試很有必要。尤其是作者回復的最后一段，簡直是在說：我們是地震科學家，敢問您是哪位?。咳缓筮€跟Nature講，如果你公布了這些評論意見，我們會“很失望”的。作者憑什么這么說？為什么這些評論意見不該公布？難倒公布了不正能引發更多良性的科學討論嗎？而且評論中的意見也不是孤例，其他文章中也有提到這個問題。如果我是這篇文章的會議審稿人，我也會有類似的疑問，至少我會要求作者作一些模型簡化測試。

2、我讀了論文作者（Phoebe DeVrias和Brendan Meade）對Nature編輯的回應。雖然我不知道這些評論的背景，但可以肯定地說，她們面對批評意見表現得非常不成熟。

3、“我們承認在訓練和測試集中都使用了來自同一地震的數據，但這并不重要，因為我們是聰明的地震科學家?！编?，很好很強大。