編者按：本文作者Pete Warden是Jetpac公司的CTO，主要研究領域是數據科學和機器學習。在本文中，他結合自己的工作經歷，發現了在圖像分類中的一個常見問題，即模型的不實用性。針對該問題他提出了自己的想法。以下是論智對原文的編譯。

幾天前，曾經和我合作過的Plant Village團隊在開發一款移動APP時發現，這款圖像識別器可以檢測植物病害，如下圖所示，性能不錯。

但是當攝像頭指向電腦鍵盤時，這款APP仍然認為它是被損壞的糧食。

對計算機視覺研究者來說，這種結果并不罕見，但是對大多數人來說還是有些出乎意料的。所以本文將研究這種情況為什么會發生，以及我們應該如何應對。

人類可以準確分辨身邊的任何物體，所以我們自然就希望機器能擁有同樣的能力。但是大多數模型都只在非常有限的目標物體上進行了訓練，例如原始ImageNet競賽中只涵蓋了1000種物品類別。重要的是，訓練過程中假設模型所看到的每個樣本都是目標物體之一，而預測結果必須是已有種類中的一種。模型不能回答：“我不知道”，并且也沒有這樣的訓練數據讓它學會這種回答。事實上這是符合研究設置的，但是一旦應用到現實中就會出現問題。

當我在Jetpac工作時，想要說服客戶我們的產品——AlexNet是一項創新型產品都非常困難，因為每次我們把Demo給客戶看的時候，他們都會對著自己的臉，模型就會判斷這是“氧氣罩”或者“安全帶”這種奇怪的東西。這是因為在ImageNet競賽類別中沒有關于人臉的標簽，但是大多數關于面罩或安全帶的標簽都含有人臉。甚至當我們將手機對著盤子時，APP會將其認成“馬桶圈”，也是非常尷尬了。這是因為在原本的類別中沒有“盤子”，與圖片最相近的就是馬桶。

所以我不禁想到了“開放的世界”和“封閉的世界”的問題。模型在訓練和評估的時候通常都是假設面對的物體屬于有限的類別中，但是當它們走出實驗室，這種假設就不成立了，用戶們會根據隨機物體對它們的性能表現進行評價，不管該物體是不是訓練集中的。

所以這一問題應該如何解決呢？

不幸的是，目前還沒有一種簡單完美的解決方法，但是可以通過其他方案對這一問題稍稍改進。最直接的方法就是在訓練數據中加入“未知”一類，或者直接對具體物體開設新的分類。具體來說應該考慮以下幾個問題：

類別中應該包含怎樣的樣本？現實世界中有無數符合含有目標物體的圖片，你應該如何選擇？

在“未知”類別中還需要設立多少不同的物體種類？

當“未知物品”和已有類別很像時，應該怎么做？例如你想在ImageNet的1000個類別中加入一個狗狗的種類，但是它看起來和未知種類的狗狗很像。

未知種類中，各類樣本的訓練數據比例應該如何分配？

最后一點確實是個更重要的問題，從圖像分類網絡中得到的預測值并不是概率，它們假設看到任意特殊類別物體的概率和訓練數據中的類別相同。如果你將一種含有企鵝的動物分類器用在亞馬遜雨林中，你也會遇到同樣的問題。即使分類器有美國城市中常見的狗狗種類，稀有品種在ImageNet訓練數據中出現的次數也會比在狗狗公園中出現的頻率高。通常的解決方法是弄清楚你將在檢測過程中遇到的具體先驗概率是什么，然后用它們將校準值應用于網絡輸出，以獲得更接近真實概率的東西。

解決實際應用中此類問題的主要思想就是限制模型的使用場景，這樣對目標物體的預測假設就會匹配訓練數據。一種直接的方法是進行產品設計，你可以在用戶界面設計一個引導人們將設備對準目標物體后，再開啟運行分類器。

再復雜一點的話，你可以設計一個單獨的圖像分類器，試著確定主要圖像分類器沒有關注的條件。這和創建一個單獨的“未知”分類不同，因為它的作用主要類似于一個在詳細模型之前的過濾器。在開頭的植物病害問題上，操作環境非常明顯，可以很輕易地訓練模型辨別枝葉和其他照片。這和門控模型能判斷出圖像是否在不支持場景中拍攝非常相似。這個門控模型會在完整的圖像分類器之前運行，如果它沒有檢測到看起來像植物的東西，就會做出錯誤消息的提示，表明沒有找到植物。

那些讓你拍攝信用卡或者進行光學字符識別的應用經常會將屏幕上方向指引和檢測是否有模糊或偏移的模型結合起來，引導用戶拍攝能成功識別的照片，有時會在交互頁面上添加簡單的問題，例如“這里有樹葉嗎”。

也許這篇文章不能提供一個令人滿意的答案，但是這也反映了，機器學習一旦走出了研究問題的限制，就很容易達不到用戶所期望的效果。人們對一個目標物體往往存在很多常識性理解和外界知識，而我們在傳統分類任務中并不能將這些因素考慮在內。為了達到用戶希望看到的效果，我們必須設計一款能讓模型全面地了解世界的系統，并基于該系統做出正確的決策，而不僅僅是輸出一個結果。