U-Net 在醫學圖像分割方面已經取得了最先進的表現，但是需要大量手動注釋的圖像來進行訓練。半監督學習（SSL）方法可以減少注釋的需求，但是當數據集和注釋圖像數量較小時，其性能仍然受到限制。利用具有相似解剖結構的現有標注數據集來輔助訓練可以提高模型性能。但是，這個方法面臨的挑戰是由于目標結構的外觀和成像模式與現有標注數據集不同，導致解剖跨域差異。為了解決這個問題，這篇論文提出了跨解剖域自適應對比半監督學習（Contrastive Semi-supervised learning for Cross Anatomy Domain Adaptation，CS-CADA）方法，通過利用源域中一組類似結構的現有標注圖像來適應目標域的模型分割類似結構，只需要在目標域中進行少量標注。

有一些細節的方法我們先簡單概述下，CS-CADA 使用領域特定批歸一化（Domain Specific Batch Normalization ，DSBN）來分別歸一化兩個解剖域的特征圖，并提出跨域對比學習策略來鼓勵提取領域不變性特征。它們被整合到自我集成平均教師（Self-Ensembling Mean-Teacher，SE-MT）框架中，以利用具有預測一致性約束的未標注目標域圖像。實驗證明 CS-CADA 能夠解決具有挑戰性的解剖跨域差異問題，只給出目標域中少量的標注，就能夠在 X 光血管造影圖像分割中使用視網膜血管圖像，在心臟 MR 圖像分割中使用眼底圖像，如下圖所示。

前置知識

Semi-supervised Learning

在半監督學習中，一個典型的例子是 Mean-Teacher。與對抗網絡類似，其整體架構包含了兩個網絡：teacher 網絡和 student 網絡。不過與對抗網絡不同的是，這兩個網絡結構是相同的，teacher 網絡參數通過 student 網絡計算得到，student 網絡參數通過損失函數梯度下降更新得到。

（1）teacher 網絡參數更新：整個訓練過程中 teacher 網絡的參數通過 student 網絡參數的 moving Average 更新：

（2）student 網絡參數更新：通過梯度下降更新參數得到損失函數包含兩部分：第一部分是有監督損失函數，主要是保證有標簽訓練數據擬合；第二部分是無監督損失函數，主要保證 teacher 網絡的預測結果與 student 網絡的預測標簽盡量的相似。由于teacher 的參數是 student 網絡參數的 moving Average，因此要求不管什么樣本預測標簽都不應該有太大的抖動，類似于對標簽做了平滑，保證其輸出結果更具有穩定性，無標簽數據也可以構造該損失函數。

假設有一批訓練樣本 x1，x2，其中 x1 是有標簽數據，x2 是無標簽數據。具體訓練過程如下：步驟一，把這一批樣本作為 student 網絡輸入，然后分別得到輸出標簽 ys1 和 ys2；步驟二，損失函數 L1，對于有標簽樣本 X1，構造分類損失函數；步驟三，損失函數 L2，通過 student 網絡參數，更新計算 teacher 網絡參數，并把樣本 x1，x2 輸入 teacher 網絡，得到預測標簽 yt1，yt2，然后構造防標簽抖動，連續性損失函數（直接采用 MSE 損失函數）；步驟四，根據 L=L1+L2 進行梯度下降，求解更新 student 網絡參數。

Domain Adaptation

在這一部分我們只做思路介紹，不做論文中具體例子的講解。其目標就是將原數據域（source domain）盡可能好的遷移到目標域（target domain），Domain Adaptation 任務中往往源域和目標域屬于同一類任務，即源于為訓練樣本域（有標簽），目標域為測集域，其測試集域無標簽或只有少量標簽，但是分布不同或數據差異大，具體根據這兩點可以劃分為：

homogeneous 同質：target 與 source domain 特征空間相似，但數據分布存在 distribution shift。

heterogeneous 異構：target 與 source domain 特征空間不同。

non-equal：空間不同且數據偏移，這種就屬于差異很大的情況了，可借助中間輔助 data 來 bridge the gap，用 multi-step / transitive DA 來解決。

這也是與 Pre-traning 不一樣的地方，現在流行的 Pre-traning 技術也需要后期的很多數據才行。但由于 DA 的目標域是沒有標簽的，那么如何使在源于訓練得到的模型也能夠被目標域使用呢？很自然的想法是將源域和目標域映射到一個特征空間中，使其在該空間中的距離盡可能近。于是產生了三大類方法：

樣本自適應，對源域樣本進行加權重采樣，使得重采樣后的源域樣本和目標域樣本分布基本一致，然后在重采樣的樣本集合上重新學習分類器，即把源域和目標域相似的數據直接加權然后再訓練。這種方法雖然簡單但太過依賴于設計和經驗。

特征層面自適應，將源域和目標域投影到公共特征子空間，在子空間中兩者的數據分布一致。

模型層面自適應，對源域誤差函數進行修改，考慮目標域的誤差。主要有兩種方式，一是直接建模模型，但是在模型中加入“domain 間距離近”的約束，二是采用迭代的方法，漸進的對目標域的樣本進行分類，將信度高的樣本加入訓練集，并更新模型。

技術手段主要分為 Discrepancy-based（空間距離近）和 Adversarial-based（混淆空間）。

Contrastive Learning

對比學習是一種自監督的學習方法，旨在通過學習相似和不相似的樣本之間的差異，從而為后續的下游任務提供有用的特征。在這篇論文中，使用對比學習方法進行跨解剖域自適應，旨在訓練一個能夠提取具有域不變性的特征的模型。這種方法與以往的對比學習方法不同之處在于，它是用于解決跨域問題的，并且它特別強調了模型應該在相似的解剖結構之間提取全面的特征。通過這種方法，可以訓練出一個能夠在不同解剖域上具有較好性能的模型。

CS-CADA 方法介紹

在這一部分，主要介紹 CS-CADA 方法的實現流程，主要由三部分組成，分別是 DSBN、SE-MT 和跨域對比學習模塊。橙色圓圈和藍色圓圈分別表示源域和目標域經過 DBSN 處理后的特征，因為 DBSN 的設計，每個域上會輸出兩種特征。

Joint Learning with Domain-Specific Batch Normalization(DSBN)

源域和目標域之間存在差異，如果直接使用來自這兩個域的數據進行訓練，則會受到域間統計變化的影響，從而無法學習到通用的特征表示。為了解決這個問題，提出了一種稱為 DSBN 的方法，在網絡中引入了兩種不同的批歸一化，分別用于處理兩個域中的數據。通過采用這種方法，可以更好地處理源域和目標域之間的差異，并從中學習到更通用的特征表示。DSBN 會對每個域中的特征進行歸一化，并使用特定于該域的參數來對其進行仿射變換。同時，卷積核在兩個域之間是共享的，以學習到更通用的表示。

編輯：黃飛

?