只要在視頻中點幾下鼠標，SAM-PT 就能分割并且追蹤物體的輪廓。

視頻分割在許多場景下被廣泛應用。電影視覺效果的增強、自動駕駛的理解場景，以及視頻會議中創建虛擬背景等等都需要應用到視頻分割。近期，基于深度學習的視頻分割已經有著不錯的表現了，但這依舊是計算機視覺中一個具有挑戰性的話題。

在半監督視頻對象分割（VOS）和視頻實例分割（VIS）方面，目前的主流方法處理未知數據時表現一般，是在零樣本情況下更是「一言難盡」。零樣本情況就是指，這些模型被遷移應用到未經過訓練的視頻領域，并且這些視頻中包含訓練之外的物體。而表現一般的原因就是沒有特定的視頻分割數據進行微調，這些模型就很難在各種場景中保持一致的性能。

克服這個難題，就需要將在圖像分割領域取得成功的模型應用到視頻分割任務中。這就不得不提到 Segment Anything Model（SAM，分割一切模型）了。

SAM 是一個強大的圖像分割基礎模型，它在規模龐大的 SA-1B 數據集上進行訓練，這其中包含 1100 萬張圖像和 10 億多個掩碼。大量的訓練讓 SAM 了具備驚人的零樣本泛化能力。SAM 可以在不需要任何標注的情況下，對任何圖像中的任何物體進行分割，引起了業界的廣泛反響，甚至被稱為計算機視覺領域的 GPT。

盡管 SAM 在零樣本圖像分割上展現了巨大的能力，但它并非「天生」就適用于視頻分割任務。

最近研究人員已經開始致力于將 SAM 應用于視頻分割。雖然這些方法恢復了大部分分布內數據的性能，但在零樣本情況下，它們還是無法保持 SAM 的原始性能。其他不使用 SAM 的方法，如 SegGPT，可以通過視覺 prompt 成功解決一些分割問題，但仍需要對第一幀視頻進行掩碼注釋。這個問題在零樣本視頻分割中的關鍵難題。當研究者試圖開發能夠容易地推廣到未見過的場景，并在不同的視頻領域持續提供高質量分割的方法時，這個難題就顯得更加「絆腳」。

現在，有研究者提出了 SAM-PT（Segment Anything Meets Point Tracking），這或許能夠對「絆腳石」的消除提供新的思路。

論文地址：https://arxiv.org/pdf/2307.01197

GitHub 地址：https://github.com/SysCV/sam-pt

如圖 1 所示，SAM-PT 第一種將稀疏點追蹤與 SAM 相結合用于視頻分割的方法。與使用以目標為中心的密集特征匹配或掩碼傳播不同，這是一種點驅動的方法。它利用嵌入在視頻中的豐富局部結構信息來跟蹤點。因此，它只需要在第一幀中用稀疏點注釋目標對象，并在未知對象上有更好的泛化能力，這一優勢在 UVO 基準測試中得到了證明。該方法還有助于保持 SAM 的固有靈活性，同時有效地擴展了它在視頻分割方面的能力。

SAM-PT 使用最先進的點追蹤器（如 PIPS）預測稀疏點軌跡，以此提示 SAM，利用其多功能性進行視頻分割。研究人員發現，使用來自掩碼標簽的 K-Medoids 聚類中心來初始化跟蹤點，是與提示 SAM 最兼容的策略。追蹤正反兩方面的點可以將目標物體從其背景中清晰地劃分出來。

為了進一步優化輸出的掩碼，研究人員提出了多個掩碼解碼通道，將兩種類型的點進行整合。此外，他們還設計了一種點重新初始化策略，隨著時間的推移提高了跟蹤的準確性。這種方法包括丟棄變得不可靠或被遮擋的點，并添加在后續幀 (例如當物體旋轉時) 中變得可見的物體部分或部分的點。

值得注意的是，本文的實驗結果表明，SAM-PT 在幾個視頻分割基準上與現有的零樣本方法不相上下，甚至超過了它們。在訓練過程中，SAM-PT 不需要任何視頻分割數據，這證明了方法的穩健性和適應性。SAM-PT 具有增強視頻分割任務進展的潛力，特別是在零樣本場景下。

SAM-PT 方法概覽

盡管 SAM 在圖像分割方面展示出令人印象深刻的能力，但其在處理視頻分割任務方面存在固有的局限性。我們提出的 "Segment Anything Meets Point Tracking"（SAM-PT）方法有效地將 SAM 擴展到視頻領域，為視頻分割提供了強大的支持，而無需對任何視頻分割數據進行訓練。

如圖 2 所示，SAM-PT 主要由四個步驟組成:

1) 為第一幀選擇查詢點；

2) 使用點跟蹤器，將這些點傳播到所有視頻幀；

3) 利用 SAM 生成基于傳播點的逐幀分割掩碼；

4) 通過從預測的掩碼中抽取查詢點來重新初始化這個過程。

選擇查詢點。該過程的第一步是定義第一個視頻幀中的查詢點。這些查詢點要么表示目標對象 (正點)，要么指定背景和非目標對象 (負點)。用戶可以手動、交互式地提供查詢點，也可以從真實掩碼派生出查詢點。

考慮到它們的幾何位置或特征差異性，用戶可以使用不同的點采樣技術從真實掩碼中獲得查詢點，如圖 3 所示。這些采樣技術包括：隨機采樣、K-Medoids 采樣、Shi-Tomasi 采樣和混合采樣。

點跟蹤。從查詢點開始，采用穩健的點跟蹤器在視頻中的所有幀中傳播點，從而得到點的軌跡和遮擋分數。

采用最先進的點跟蹤器 PIPS 來傳播點，因為 PIPS 對長期跟蹤挑戰 (如目標遮擋和再現) 顯示出適當的穩健性。實驗也表明，這比鏈式光流傳播或第一幀對應等方法更有效。

分割。在預測的軌跡中，未遮擋的點作為目標對象在整個視頻中的位置的指示器。這時就可以使用非遮擋點來提示 SAM，并利用其固有的泛化能力來輸出每幀分割掩碼預測（如圖 4 所示） 。

點跟蹤重新初始化。一旦達到 h = 8 幀的預測期，用戶就可以選擇使用預測掩碼對查詢點進行重新初始化，并將變體表示為 SAM-PT-reinit。在到達這個水平線時，會有 h 個預測的掩碼，并將使用最后一個預測的掩模來采樣新的點。在這一階段，之前所有的點都被丟棄，用新采樣點來代替。

根據上面的方法，就可以將這個視頻進行流暢的分割了，如下圖：

看看更多的展示效果：

SAM-PT 與以目標為中心的掩碼傳播的比較

SAM- PT 將稀疏點跟蹤與提示 SAM 相結合，并區別于傳統依賴于密集目標掩碼傳播的視頻分割方法，如表 1 所示。

與在訓練期間不利用視頻分割數據的方法相比，SAM-PT 有著與之相當甚至更好的表現。然而，這些方法與那些利用同一域中的視頻分割訓練數據的方法， 如 XMem 或 DeAOT 之間還是存在著性能差距。

綜上所述，SAM-PT 是第一個引入稀疏點傳播并結合提示圖像分割基礎模型，進行零樣本視頻對象分割的方法。它為關于視頻對象分割的研究提供了一個新的視角，并增加了一個新的維度。

實驗結果

對于視頻物體分割，研究團隊在四個 VOS 數據集上評估了他們的方法，分別是 DAVIS 2016, DAVIS 2017, YouTube-VOS 2018, 和 MOSE 2023。

對于視頻實例分割，他們在 UVO v1.0 數據集的 densevideo 任務上評估了該方法。

他們還用圖像實例分割中的標準評估指標來評估所提出方法，這也適用于視頻實例分割。這些指標包括平均準確率（AP）和基于 IoU 的平均召回率（AR）。

視頻物體分割的結果

在 DAVIS 2017 數據集上，本文提出的方法優于其他沒有經過任何視頻物體分割數據訓練的方法，如表 3 所示。

SAM-PT 在 YouTube-VOS 2018 和 MOSE 2023 數據集上的表現也超過了 PerSAM-F，取得了 67.0 和 41.0 的平均分，如表 4、表 5 所示。然而，在不同的掩碼訓練數據下，與 SegGPT 相比，SAM-PT 在這兩個數據集上的表現有所欠缺。

定性分析。在 DAVIS 2017 上對 SAM-PT 和 SAM-PTreinit 成功的視頻分割的可視化結果分別見圖 7a 和圖 7b。值得注意的是，圖 8 展示了對未知網絡視頻的成功視頻分割 —— 來自受動畫影響的動畫電視系列《降世神通：最后的氣宗》的片段，這表明了所提出方法的零樣本能力。

局限和挑戰。SAM-TP 的零樣本性能很有競爭力，但仍然存在著一些局限。這些局限主要集中在點跟蹤器在處理遮擋、小物體、運動模糊和重新識別方面。在這些方面，點跟蹤器的錯誤會傳播到未來的視頻幀中。

圖 7c 展示了 DAVIS 2017 中的這些問題實例，圖 9 展示了《降世神通：最后的氣宗》片段中的其他實例。

視頻實例分割的結果

在相同的遮罩建議下，SAM-PT 明顯優于 TAM，盡管 SAM-PT 沒有在任何視頻分割數據上訓練。TAM 是一個結合了 SAM 和 XMem 的并行方法，其中 XMem 在 BL30K 上進行了預訓練，并在 DAVIS 和 YouTube-VOS 上進行了訓練，但沒有在 UVO 上訓練。

另一方面，SAM-PT 結合了 SAM 和 PIPS 點跟蹤方法，這兩種方法都沒有經過視頻分割任務的訓練。