導讀：在NeurIPS 2020上，商湯新加坡團隊提出的Balanced－Meta Softmax （BALMS）， 針對真實世界中常見的長尾數據分布提出了新的視覺識別方案。在優化目標方面，BALMS 提出一種新的損失函數，Balanced Softmax，來修正長尾設定下因訓練與測試標簽分布不同而導致的偏差。在優化過程方面，BALMS提出 Meta Sampler來自動學習最優采樣率以配合Balanced Softmax，避免過平衡問題。BALMS在長尾圖像分類與長尾實例分割的共四個數據集上取得SOTA表現。這項研究也被收錄為ECCV LVIS workshop的spotlight。

論文名稱： Balanced Meta－Softmax for Long－Tailed Visual Recognition

問題和挑戰

真實世界中的數據分布大多符合長尾分布：常見類比占據了數據集中的主要樣本，而大量的罕見類別只在數據集中少量出現。例如一個動物圖片數據集中，寵物貓的圖片數量可能遠遠超過熊貓的圖片數量。

由于長尾現象對算法落地造成了很大的挑戰，視覺社區對這一問題的關注日漸增加，近年陸續推出了一些長尾數據集，例如大規模實例分割數據集LVIS。我們發現長尾問題的難點主要存在于以下兩個方面：

1）優化目標。根據長尾問題的設定，訓練集是類別不均衡的。然而主流的指標，如mean AP （mAP），衡量全部類別上的平均精度，因此鼓勵算法在類別平衡的測試集上取得較好的表現。這導致了訓練與測試時標簽分布不同的問題，我們稱之為標簽分布遷移。

2）優化過程。罕見類別在模型訓練過程中很少出現，因此無法在優化過程中提供足夠的梯度。這使得即使我們有了一個較好的優化目標，也很難使模型收斂到對應的全局最優。

方法介紹

1． Balanced Softmax

Softmax函數常常被用來將模型輸出轉化為物體屬于每個類別的條件概率。

應用貝葉斯定理可以發現常規的Softmax回歸會受到標簽分布遷移的影響，并作出帶偏差的估計。這個偏差導致Softmax回歸出的分類器更傾向于認為樣本屬于常見類別。

舉一個簡單的例子，考慮這樣一個任務：通過性別來分類貓和狗。這個任務看起來是無法完成的，因為我們知道性別在貓和狗上是均勻分布的。無論貓還是狗，都有50％的可能性是雌性和50％的可能性是雄性，因此只靠性別我們無法區別貓和狗。

有趣的是，當我們的訓練數據是類別不平衡的時，比如有90％的貓和10％的狗，我們的估計就會出現偏差：這時無論是雄性還是雌性，我們都會傾向于認為它是一只貓。在這樣的訓練數據上學習到的分類器就會天然帶有對常見類別的偏愛。

為了避免這個偏差，我們從多項分布的Exponential Family形式出發重新對Softmax進行了推導并顯式考慮了標簽分布遷移，得到了適合長尾問題的Balanced Softmax。同時，我們發現Balanced Softmax可以近似地最小化長尾設定下的泛化錯誤上界。

為了分析Balanced Softmax的效果，我們將模型在測試集上預測的分數在每個類別上累加，用來計算模型預測的標簽分布。理想情況下，模型在測試集上預測出的標簽分布應該是平衡的。在下圖中我們對不同模型的預測類別進行了可視化，類別按照出現頻率降序排列，第0類為出現次數最多的類。我們發現藍色線代表的常規Softmax明顯地偏向于常見類別，橙色線代表的Equalization Loss ［1］ 通過去除某閾值以下罕見類別的負樣本梯度緩解了這一問題，而紅色線代表的Balanced Softmax則進一步達到了最平衡的預測類別分布。

2． 元采樣器Meta Sampler

雖然我們得到了一個適合長尾問題的理想的優化目標，優化過程本身依然充滿挑戰：罕見類別只能在訓練中出現極少次數，因此無法很好地貢獻到訓練梯度。解決這一問題的最常見的方法是類別均衡采樣 （CBS）［2］，也就是對每個類別采樣同樣數量的樣本來組成訓練批次。然而，實驗表明直接將Balanced Softmax與CBS一起使用會導致模型表現下降，于是我們對兩者一起使用時的梯度進行了分析。在假設接近收斂時，我們有：

理想情況下每個類別的梯度的權重應和類別內樣本數量成反比，但上式中的權重為和類別內樣本數量成平方反比。我們將這個現象稱為過平衡問題。

下圖展示了一個對過平衡問題的可視化。這是一個類別不平衡的二維數據三分類問題，三個類別分別為紅、黃、藍，樣本數量分別為10000、100和1。可以發現Balanced Softmax和CBS一起使用時，優化過程會被藍色的罕見類別主導。

為了解決過平衡問題，我們提出了Meta Sampler（元采樣器），一種可學習版本的CBS。Meta Sampler使用元學習的方法，顯式地學習當前最佳的采樣率，從而更好地配合Balanced Softmax的使用。

下圖展示了我們對不同模型預測的標簽分布進行的可視化。其中，紫色線代表的Balanced Softmax與CBS的組合由于過平衡問題，明顯地偏向于尾部類別。而紅色線代表的Balanced Softmax與Meta Sampler的組合則很好地解決了這一問題，最終取得了最為均衡的標簽分布。

實驗結果

我們在圖像分類（CIFAR－10／100－LT，ImageNet－LT，Places－LT）與實例分割（LVIS－v0．5）兩個任務上分別進行了實驗驗證。實驗結果顯示了Balanced Softmax和Meta Sampler對模型表現都有明顯的貢獻。兩者的組合，Balanced Meta－Softmax （BALMS），在這兩個任務上都達到或超過了SOTA結果，尤其在最具挑戰性的LVIS數據集上大幅超過了之前的SOTA結果。

這項研究也被收錄為ECCV LVIS workshop的Spotlight，關于LVSI－v1．0的相關實驗結果可以在LVSI workshop主頁上找到（Team Innova）。

結語

BALMS對長尾問題下的概率建模以及采樣策略進行了探討。我們發現常用的Softmax回歸在存在標簽分布遷移時會出現估計偏差，并提出了Balanced Softmax來避免這個偏差。另一方面，我們發現類別均衡采樣器在與Balanced Softmax一起使用時會導致過平衡問題，于是提出元采樣器來顯式學習最優采樣策略。我們的解決方案在長尾圖像分類與長尾實例分割任務上均得到了驗證。歡迎關注我們的開源代碼庫，希望BALMS可以成為未來長尾學習的良好基線。

責任編輯：xj