0. 這篇文章干了啥？

擴大模型規(guī)模一直是近年來在人工智能各個領(lǐng)域取得進展的關(guān)鍵驅(qū)動因素之一，包括語言建模，圖像和視頻生成等。同樣地，對于視覺理解來說，較大的模型在足夠的預(yù)訓(xùn)練數(shù)據(jù)的情況下一直顯示出改進。這一趨勢導(dǎo)致追求具有數(shù)十億參數(shù)的巨型模型成為實現(xiàn)更強大的視覺表示和在下游任務(wù)上提升性能的默認策略。

在這項工作中，作者重新考慮了一個問題：獲得更好的視覺理解是否一定需要較大的模型？ 與其擴大模型規(guī)模，作者考慮在圖像規(guī)模維度上進行縮放，稱之為"尺度縮放"（S2）。通過S2，可以對多個圖像尺度上運行預(yù)訓(xùn)練的并凍結(jié)的較小視覺模型（例如，ViT-B 或 ViT-L）以生成多尺度表示。采用一個在單個圖像尺度上進行預(yù)訓(xùn)練的模型，將圖像插值到多個尺度，通過將較大的圖像分割成正常大小（224^2）的子圖像并在每個尺度上分別處理然后匯總和與原始表示中的特征進行連接來提取每個尺度上的特征。

令人驚訝的是，通過對各種預(yù)訓(xùn)練模型的視覺表示（例如，ViT，DINOv2，OpenCLIP，MVP）進行評估，作者發(fā)現(xiàn)具有S2縮放的較小模型在分類、語義分割、深度估計、MLLM基準測試和機器人操作方面始終優(yōu)于較大模型，而且參數(shù)數(shù)量明顯較少（0.28×至0.07×）并且具有可比較的GFLOPS。值得注意的是，通過將圖像尺度擴大到1008^2，在V?基準測試上實現(xiàn)了MLLM視覺細節(jié)理解的最新性能，超過了開源甚至商業(yè)的MLLMs如 Gemini Pro和 GPT-4V。

作者進一步研究了S2相對于模型大小縮放的首選縮放方法的條件。發(fā)現(xiàn)：雖然在許多情況下具有S2的較小模型比較大模型實現(xiàn)了更好的下游性能，但是在難例上，較大模型仍然可以展現(xiàn)出更好的泛化能力。這引發(fā)了對較小模型是否能夠達到與較大模型相同的泛化能力的調(diào)查。令人驚訝的是，作者發(fā)現(xiàn)較大模型的特征可以通過單一線性變換很好地近似于多尺度較小模型，這意味著較小模型至少應(yīng)具有與其較大對應(yīng)物類似的學(xué)習(xí)能力。作者假設(shè)它們較弱的泛化能力源自于僅使用單一圖像尺度進行預(yù)訓(xùn)練。通過在ViT上進行ImageNet-21k預(yù)訓(xùn)練的實驗，作者展示了使用S2縮放進行預(yù)訓(xùn)練可以提高較小模型的泛化能力，使它們能夠達到甚至超越較大模型的優(yōu)勢。

下面一起來閱讀一下這項工作~

1. 論文信息

2. 摘要

將視覺模型的規(guī)模擴大已成為獲取更強大視覺表征的事實標準。在這項工作中，我們討論了更大的視覺模型不再必要的點。首先，我們展示了尺度上的擴展（S2）的力量，在這種情況下，一個預(yù)先訓(xùn)練并凍結(jié)的較小的視覺模型（例如ViT-B或ViT-L），在多個圖像尺度上運行，可以在分類、分割、深度估計、多模態(tài)LLM（MLLM）基準和機器人操縱方面勝過較大的模型（例如ViT-H或ViT-G）。值得注意的是，S2在對V*基準的MLLM進行詳細理解方面達到了最先進的性能，超過了諸如GPT-4V之類的模型。我們研究了與模型規(guī)模比較的情況下S2作為首選尺度方法的條件。盡管較大的模型在困難示例上具有更好的泛化能力，但我們表明較大視覺模型的特征可以很好地由多尺度較小模型的特征近似。這表明，目前大型預(yù)訓(xùn)練模型學(xué)到的大部分，如果不是全部，表示也可以從多尺度較小模型中獲得。我們的結(jié)果表明，多尺度較小模型具有與較大模型相當?shù)膶W(xué)習(xí)能力，并且用S2預(yù)訓(xùn)練較小模型可以達到或甚至超過較大模型的優(yōu)勢。我們發(fā)布了一個Python包，可以用一行代碼將S2應(yīng)用于任何視覺模型。

3. S2-Wrapper

S2-Wrapper是一種簡單的機制，可以以無參數(shù)的方式將任何預(yù)訓(xùn)練的視覺模型擴展到多個圖像尺度。以ViT-B為例，S2-Wrapper首先將輸入圖像插值到不同的尺度（例如，224^2和448^2），并將每個尺度劃分為幾個與默認輸入尺寸相同的子圖像（448^2→4×224^2）。對于每個尺度，所有子圖像都被饋送到同一模型中，并且輸出（例如，4×16^2）被合并成整個圖像的特征圖（32^2）。不同尺度的特征圖被平均池化到原始空間大小（16^2），然后拼接在一起。最終的多尺度特征具有與單尺度特征相同的空間形狀，但具有更高的通道維度（例如，1536 vs. 768）。

4. 實驗

對三個模型（ViT、DINOv2 和 OpenCLIP）和三個任務(wù)（ImageNet 分類、語義分割和深度估計）進行 S2 縮放和模型大小縮放的比較。

對于每個模型和每個任務(wù)，測試基本、大型和巨型/巨大模型的模型大小縮放（以灰色曲線繪制）。對于 S2 縮放（以綠色曲線繪制），測試三組從單一尺度（1x）到多尺度（最多 3x）的比例，并調(diào)整每組比例，使其與相應(yīng)模型大小的 GFLOPs 匹配。請注意，對于特定的模型和任務(wù)，分別在基本模型和大型模型上測試 S2 縮放（以淺綠色和深綠色曲線分別繪制）。可以看到，在（a）、（d）、（e）、（f）、（g）和（i）中，具有 S2 縮放的基本模型已經(jīng)實現(xiàn)了與具有相似 GFLOPs 但模型尺寸更小的大型模型相媲美或更好的性能。在（b）和（h）中，來自大型模型的 S2 縮放與巨型模型相當，同樣具有相似的 GFLOPs 和更少的參數(shù)。唯一的失敗案例是（c），在該案例中，基本模型或大型模型上的 S2 縮放與模型大小縮放無法競爭。

在MLLM上進行S2縮放和模型尺寸縮放的比較。 S2縮放比模型尺寸縮放在所有三類基準上都具有相當或更好的縮放曲線。使用大的圖像尺度通常會提供更好的性能，而使用較大的模型在某些情況下會降低模型的性能。

6. 實驗結(jié)果

評估三類模型：(i) 在ImageNet-21k上預(yù)訓(xùn)練的ViT，(ii) 在LAION-2B上預(yù)訓(xùn)練的OpenCLIP，以及(iii) 在ImageNet-1k上預(yù)訓(xùn)練的MAE。重建損失是所有輸出標記的平均值，并在ImageNet-1k上進行評估。結(jié)果顯示在表2中。與基本模型相比，觀察到多尺度基本模型始終具有更低的損失，并且重建了更多大模型表示的信息（例如，對于ViT，0.521 vs. 0.440）。更有趣的是，作者發(fā)現(xiàn)來自多尺度基本模型的重建信息量通常接近于巨型模型，盡管有時略低但從未明顯超過。例如，雖然OpenCLIP-Base可以重建92.7%的信息，但多尺度基本模型可以重建99.9%。對于其他模型，Base-S2模型的重建比例通常接近100%，但從未超過0.5%。這意味著(i) 巨型/巨大模型確實是特征重建的有效上界，以及(ii) 更大模型的大部分特征也被多尺度較小模型所學(xué)習(xí)。唯一的例外是當重建OpenCLIP-Huge特征時，重建比例為88.9%。盡管不接近100%，但仍顯著優(yōu)于基本大小模型，這意味著至少巨型模型特征的一大部分仍是多尺度特征。這些結(jié)果暗示具有S2縮放的較小模型應(yīng)至少具有學(xué)習(xí)較大模型學(xué)習(xí)的相似能力水平。另一方面，還注意到訓(xùn)練集和測試集之間存在差距，即測試集上的重建比例可能低于訓(xùn)練集（例如，在OpenCLIP-L上為96.3% vs. 99.9%）。作者假設(shè)這是因為僅在預(yù)訓(xùn)練后應(yīng)用多尺度，而僅在單個圖像尺度上預(yù)訓(xùn)練的基本模型特征具有較弱的泛化能力。

對于記憶能力，給定一個數(shù)據(jù)集（例如ImageNet），將每個圖像視為一個單獨的類別，并訓(xùn)練模型來對單個圖像進行分類，這要求模型記憶每個圖像。分類損失反映了每個實例被記憶的程度，因此反映了模型的容量。對于訓(xùn)練損失，作者報告了在ImageNet-1k的訓(xùn)練集上的分類損失，對于DINOv2和OpenCLIP。較低的損失意味著模型更好地適應(yīng)訓(xùn)練數(shù)據(jù)，這暗示了更大的模型容量。結(jié)果如表3所示。對于實例記憶，可以看到具有S2縮放（224^2和448^2）的ViT-B與ViT-L具有相似的損失。對于ImageNet分類，對于OpenCLIP，ViT-B-S2的訓(xùn)練損失與ViT-L相似，而對于DINOv2，其損失甚至更低。這些結(jié)果表明，多尺度較小的模型至少具有與較大模型相當?shù)哪Ｐ腿萘俊Ｊ褂肧2進行預(yù)訓(xùn)練可以使較小的模型更好。作者評估了基于S2縮放的基礎(chǔ)模型在預(yù)訓(xùn)練期間或預(yù)訓(xùn)練后的ImageNet分類。在ImageNet-21k上對模型進行預(yù)訓(xùn)練，使用ViT圖像分類或DINOv2作為預(yù)訓(xùn)練目標。作者比較了在預(yù)訓(xùn)練期間使用或不使用S2的模型，以及在單尺度基礎(chǔ)模型和大型模型之間的差異。結(jié)果如表4所示。可以看到，當基礎(chǔ)模型使用單一圖像尺度進行訓(xùn)練，并且僅在預(yù)訓(xùn)練后才擴展到多個圖像尺度時，它們的性能與大型模型相比是次優(yōu)的。然而，當將S2縮放加入到預(yù)訓(xùn)練中時，多尺度基礎(chǔ)模型能夠在ViT上勝過大型模型。對于DINOv2，預(yù)先使用S2進行訓(xùn)練的基礎(chǔ)模型的性能明顯優(yōu)于沒有S2進行預(yù)訓(xùn)練的基礎(chǔ)模型，并且與大型模型更具可比性。盡管仍然略遜于大型模型，但使用S2預(yù)訓(xùn)練大型模型可能會產(chǎn)生更好的縮放曲線。證明了使用S2預(yù)先訓(xùn)練的較小模型可以匹敵較大模型的優(yōu)勢。

7. 討論 & 未來工作

在這項工作中，作者提出了一個問題：對于更好的視覺理解，總是需要一個更大的模型嗎？ 作者發(fā)現(xiàn)，在圖像規(guī)模的維度上進行縮放（稱之為尺度縮放，S2），而不是模型大小通常可以在廣泛的下游任務(wù)中獲得更好的性能。作者進一步展示，具有S2的較小模型可以學(xué)習(xí)到較大模型學(xué)到的大部分內(nèi)容，并且對于較小模型進行S2預(yù)訓(xùn)練可以匹配較大模型的優(yōu)勢，甚至表現(xiàn)更好。

S2對未來工作有一些影響，包括（i）尺度選擇性處理，即，并不是圖像中每個位置的每個尺度都包含同樣有用的特征，根據(jù)圖像內(nèi)容和高級任務(wù)，為每個區(qū)域選擇處理某些尺度會更加高效，這類似于人類視覺注意力中的自下而上和自上而下的選擇機制，（ii）單個圖像的并行處理，即，與常規(guī)的ViT相比，在S2中每個子圖像都是獨立處理的，這使得單個圖像的不同子圖像可以并行處理，這對于處理單個大圖像的延遲至關(guān)重要的情景特別有幫助。

對更多實驗結(jié)果和文章細節(jié)感興趣的讀者，可以閱讀一下論文原文~

審核編輯：黃飛

?