圖像分類作為計算機視覺領域中的重要研究方向之一，應用領域非常廣泛。基于深度學習的圖像分類技術取得的成功，依賴大量的已標注數據，然而數據的標注成本往往是昂貴的。

主動學習作為一種機器學習方法，旨在以盡可能少的高質量標注數據達到期望的模型性能，緩解監督學習任務中存在的標注成本高、標注信息難以大量獲取的問題。主動學習圖像分類算法根據樣本選擇策略，從未標記樣本數據集合中選擇出信息量豐富，對分類模型訓練貢獻更高的樣本進行標注，以更新已標注訓練數據池，如此循環直至滿足給定的停止條件或模型標注預算耗盡。

本文對近年來提出的主動學習圖像分類算法進行了詳細綜述，并根據所用樣本數據處理及模型優化方案，將現有算法分為三類：基于數據增強的算法，包括利用圖像增廣來擴充訓練數據，或者根據圖像特征插值后的差異性來選擇高質量的訓練數據；基于數據分布信息的算法，根據數據分布的特點來優化樣本選擇策略；優化模型預測的算法，包括優化獲取和利用深度模型預測信息的方法、基于生成對抗網絡和強化學習來優化預測模型的結構，以及基于Transformer結構提升模型預測性能，以確保模型預測結果的可靠性。

此外，本文還對各類主動學習圖像分類算法下的重要學術工作進行了實驗對比，并對各算法在不同規模數據集上的性能和適應性進行了分析。另外，本文探討了主動學習圖像分類技術所面臨的挑戰，并指出了未來研究的方向。

引言

圖像分類是計算機視覺領域中的一大基本任務。圖像分類任務的核心在于圖像特征提取和分類器的設計。隨著深度學習（Deep Learning，DL）［1］技術的不斷發展，基于卷積神經網絡（Convolutional Neural Networks，CNN）［2］的圖像特征提取技術取得了巨大的成就。卷積神經網絡可以通過組合簡單特征形成更復雜和抽象的特征，從而提高圖像分類任務的準確性和魯棒性。

作為一種數據表示學習的方法，深度學習可以通過迭代更新深度網絡層級參數來訓練和優化模型，從而使結果更加接近真實值。常用于圖像分類的深度網絡包括LeNet［3］，GoogLeNet［4］，AlexNet［5］，VGGNet［6］，ResNet［7］等。然而，在圖像分類領域，為了得到高精度的分類器，深度學習模型很大程度上依賴大量已標注數據來優化模型參數。特別是在需要高水平專業知識的領域，如醫學圖像［8］、遙感圖像［9］等，獲取大量的高質量已標注數據集需要消耗大量的人力。

主動學習（Active Learning，AL）［10］作為一種能夠降低樣本標注成本的學習方法，正逐漸受到越來越多的關注。主動學習作為監督式機器學習中的一種范式，旨在標注盡可能少的樣本，同時最大化模型的性能增益。具體來講，主動學習根據樣本選擇策略從未標記的數據集中選擇信息豐富的樣本，交由Oracle進行標注，以降低模型所需數據量、計算資源和存儲資源的需求，同時保持分類器性能。Oracle是一個能夠提供準確標簽的信息源，可以是人類專家或自動化系統。樣本選擇策略決定了算法選擇哪些樣本以獲得最大的模型性能提升。目前，主動學習已被應用于分類與檢索［11］、圖像分割［12］、目標檢測［13］等多種圖像處理任務。

在早期研究中，文獻［10］將目前主動學習方法定義為三種基本框架：基于成員查詢的主動學習、基于流的選擇性采樣和基于池的主動學習。基于成員查詢的主動學習方法是指學習器可以請求查詢輸入空間中任何未標記樣本的標簽，包括學習器生成的樣本。基于流的選擇性采樣是指每次從未標記數據源中提取一個樣本數據，學習器必須決定是查詢標簽還是丟棄該數據。基于池的主動學習框架則維護一個未標注數據集合，由樣本選擇策略從未標記集合中選擇要標注的樣本。

目前，基于池的主動學習框架更適用于圖像分類任務中。該框架能同時處理批量數據，從未標記數據集中選出對模型訓練最有幫助的數據進行標注，提高標注數據效率，降低成本。此外，該框架適用于數據集規模較大、標注數據較少的情況，符合多數圖像分類技術場景。相比之下，基于成員查詢的主動學習算法需要逐個查詢成員并進行標注，不適用于大規模的數據集。基于流的選擇性采樣在處理流數據時，對每個數據點進行快速分類來實現快速標注，從而處理大量的數據流。但在圖像分類中，每個數據點都是一個獨立的圖像，對每個圖像進行分類和標注可能會帶來更多的標注成本，因此該方法在圖像分類中使用較少。該方法主要適用于需要時效性的小型移動設備的應用場景，因為這些小型設備通常具有有限的存儲和計算能力。圖1展示了基于池的主動學習的基本框架。

圖1基于池的主動學習框架[10]

在初始狀態下，從未標記數據池 U中隨機選擇樣本，交由Oracle查詢標簽以獲得標記的數據集。然后，使用監督學習算法在上訓練模型。隨后，根據新樣本中獲取的信息選擇要查詢的樣本，由Oracle標注后添加到中，并進行下一步模型訓練。如此循環迭代，直到標簽預算耗盡或達到預定義終止條件。

近年來，在主動學習圖像分類領域中，一些研究者探索了如何將深度模型和主動學習策略結合起來，以提高圖像分類的效率和準確性，如基于核心集［14］、基于貝葉斯卷積神經網絡［15］等，利用模型的代表性或不確定性來指導樣本的選擇。此外，部分研究者探索了如何利用強化學習來優化主動學習的過程，以提高圖像分類的性能和穩定性［16］，使模型快速適應不同的數據分布和任務。部分研究者則利用生成對抗網絡來增強主動學習的能力，以提高圖像分類的泛化性和魯棒性。如基于生成對抗網絡［17］、基于條件生成對抗網絡［18］等，利用生成器產生新的樣本，并使用判別器作為主動學習策略來選擇最有信息量或多樣性的樣本進行標注。最近，部分研究者針對數據分布情況，探索了數據不平衡問題對主動學習的影響，以提高圖像分類的魯棒性，如基于類平衡［19］，利用類平衡因素避免偏向于某些類別的樣本。

盡管已有的綜述工作總結了近年來主動學習算法在算法改進、計算機視覺任務（目標檢測、圖像分割、視頻處理）和自然語言處理等領域中的應用［20~22］，但尚未對圖像分類這一特定任務展開更詳細深入的介紹。鑒于此，本文基于近十年來國內外公開發表的重要學術工作，對現有的主動學習圖像分類算法進行了詳細綜述。此外，考慮到當前研究工作中，一些研究者在評估算法性能時使用不同的模型標注預算，本文通過實驗比較和分析了不同類別代表性算法在相同標注預算下的性能，并對算法的優缺點進行了探討。此外，針對目前主動學習圖像分類算法所面臨的挑戰，本文提出了幾個具有潛力的研究方向。

如何有效利用數據進行模型訓練，以及如何優化主動學習圖像分類算法架構，是影響主動學習圖像分類算法性能的關鍵因素。因此，本文從兩個方面詳細總結近年來提出的主動學習圖像分類算法。

一方面，鑒于主動學習圖像分類算法基于有限的已標注數據來進行模型訓練，本文首先從最直觀的數據處理角度出發，來總結近年來基于數據增強的主動學習圖像分類算法。通過數據增強的手段，算法能夠擴充有限的標注數據，從而提高算法的性能。此外，在數據處理的過程中，考慮到數據分布情況對主動學習樣本選擇策略的影響，本文詳細總結了基于數據分布信息的主動學習圖像分類算法。利用數據分布的特征，針對不同的數據分布情況來設計相應的主動學習樣本選擇策略，以實現更加高效和準確的樣本選擇。

另一方面，隨著近年來深度學習與主動學習圖像分類算法的逐步融合，眾多研究者通過優化模型架構以及對模型訓練過程的改進，來提升深度模型預測性能。例如，優化深度模型的預測信息、基于生成對抗網絡、基于強化學習策略和基于Transformer結構來提升主動學習模型的預測效果。故本文還對優化模型預測的主動學習圖像分類算法進行了詳盡的總結。綜上，本文根據主動學習圖像分類算法所用樣本數據處理及模型優化方案，將現有算法分為三大類：基于數據增強的主動學習圖像分類算法、基于數據分布信息的主動學習圖像分類算法以及優化模型預測的主動學習圖像分類算法。

本文的結構如下：第2節介紹了基于主動學習圖像分類算法的基本框架；第3節根據所用樣本數據處理及模型優化方案，將現有主動學習圖像分類算法分為基于數據增強、基于數據分布信息以及優化模型預測三大類，并進行詳細介紹；第4節通過實驗數據對比分析了各類典型算法的性能；第5節討論了主動學習圖像分類技術所面臨的技術挑戰，并指出了未來研究趨勢。第6節對本文工作進行了總結。

主動學習圖像分類介紹

2.1 主動學習圖像分類算法框架

主動學習圖像分類方法根據樣本選擇策略，從未標記的樣本數據集合中選擇出對模型訓練貢獻更大的樣本數據，以更新已標注訓練數據集。具體工作模式是抽樣迭代訓練的過程［21］。首先，使用初始已標注數據集訓練分類器模型。然后，通過樣本選擇策略從未標注數據集中選擇部分高質量數據，并由Oracle對這些選中的樣本進行標注。標注的新樣本將被添加到標注樣本集中，形成新的訓練集，以參與下一次分類器訓練。該步驟為循環過程，迭代進行分類器訓練和樣本選擇標注。算法流程如圖2所示。

圖2主動學習圖像分類算法流程

2.1.1 數據預處理

對數據進行預處理，可提高模型的魯棒性和泛化能力，使模型更好地適應不同的輸入數據。本文將主動學習圖像分類算法的數據預處理方式分為以下2種。

一是對數據集的量級和數據集模式進行擴增，使經過樣本查詢函數選擇出的少量標注圖像數據包含更多的語義信息。在早期研究中，數據增強主要采用傳統的方法，如旋轉、平移、縮放等操作，但是這些方法存在局限性，不能滿足復雜場景下的需求。目前，基于深度學習的方法已經成為數據增強的主流技術，例如使用生成網絡和變分自編碼器進行數據擴充和樣本合成等操作。隨著深度學習與主動學習的深度融合，數據處理的方式也愈加復雜，在本文的后續內容中將進行更深入的介紹。

二是對數據集進行處理，使主動學習模型適應不同的數據分布情況，進而樣本選擇策略能夠選擇更有價值的樣本［23］。例如樣本難度評估和樣本平衡處理等。在某些應用場景下，數據集往往是不均衡的，一些樣本可能比其他樣本更具有代表性和難度。因此，樣本難度評估可以幫助選擇具有代表性的樣本來增強模型的泛化能力。早期樣本難度評估方法主要基于樣本的統計信息和特征分布，如使用歐氏距離等測量方法來判斷樣本之間的相似性，從而進行樣本選擇和樣本加權等操作。隨著深度學習和主動學習等技術的發展，目前的方法主要基于模型輸出的置信度、熵、梯度等方法來度量樣本的不確定性和難度，以及基于生成模型的樣本難度評估方法等。此外，在樣本平衡處理方面，除了傳統的欠采樣和過采樣方法，為了更有效地平衡數據集中類別之間的數量和質量差異，目前學者們采用了基于生成對抗網絡的樣本生成方法和基于輔助任務的樣本擴增等方法。

2.1.2 常見樣本選擇策略

如前所述，深度學習基于大量的已標注數據來訓練模型。與深度學習不同，主動學習從數據集開始，主要通過設計復雜的樣本選擇策略，從未標記的數據集中選擇最佳樣本并查詢其標簽。因此，樣本選擇策略的設計對主動學習的性能至關重要，相關研究也相當豐富。例如，在一組給定的未標記數據集中，主要的選擇策略包括基于不確定性的方法［24］、基于代表性的方法［14］以及基于多樣性的方法［25］等。

基于不確定性的方法根據模型預測的概率分布或分類邊界等指標，選擇模型預測結果最不確定的樣本作為下一輪的訓練數據。基于代表性的方法根據當前已有的樣本分布或特征分布等指標，選擇出能夠代表未標記數據分布的樣本作為下一輪的訓練數據。基于多樣性的方法通常會優先選擇距離已有標注樣本最遠的樣本或者選擇與已有標注樣本差異性最大的樣本，以保證被選擇出的樣本的多樣性。由于基于不確定性的抽樣方法通常會導致抽樣偏差，因此當前選擇的樣本難以更好地代表未標記數據集的分布。另外，只考慮促進抽樣多樣性的策略可能會導致標注成本增加，因為可能會選擇大量信息含量較低的樣本。因此，近年來許多研究者還研究了混合選擇策略［26，27］，并試圖在多種選擇策略之間找到平衡。

在早期的主動學習圖像分類任務中，常見的樣本選擇方法如表１所示。近年來，越來越多的工作利用深度模型來學習如何評估樣本的重要性，以改進樣本選擇策略。該深度模型可以是一個分類模型或一個生成模型等。例如，利用深度卷積神經網絡的特征表達能力和預測概率來評估樣本的不確定性、多樣性和代表性等指標，從而選擇最有利于模型學習的樣本；或者將主動學習的樣本選擇策略與生成模型結合，可以實現從數據空間中合成最有信息量的樣本；或者從已有的樣本中提取最有信息量的部分，從而提高標注效率和模型性能。利用深度模型的強大表達能力，可使樣本選擇策略獲得更高的精度和魯棒性，從而適應復雜場景下應用。

表1 樣本選擇策略函數總結

此外，在主動學習圖像分類中，選擇合適的樣本選擇策略需考慮多方面因素，如任務特點、分類器性能、標注成本等。例如，對于大規模數據集，可使用不確定性采樣策略最小化標注成本，確保分類器性能；對于具有復雜結構的數據集，可采用多樣性策略提高樣本多樣性，避免選擇相似樣本；還可結合分類器進行樣本選擇，如使用置信度度量、邊緣度量等方法選擇最具信息量的樣本。綜合考慮任務特點和分類器性能，選擇合適的樣本選擇策略是主動學習圖像分類中關鍵一步。第3節將詳細介紹不同算法中樣本選擇策略的工作原理。

2.1.3 分類器

分類器根據數據的特征度量進行數據分類。傳統的機器學習圖像分類算法已被廣泛應用于主動學習模型中。在主動學習任務中，常用一些分類算法包括支持向量機［35］、K近鄰算法［36，37］和余弦相似度［38］等。

近年來，深度學習圖像分類算法表現優異，但仍面臨訓練數據標注困難和高維數據分類復雜度高等挑戰。為解決這些問題，一些學者嘗試將深度分類模型與主動學習相結合。例如，2017年Feng等人［39］在主動學習框架下，將深度殘差網絡用于圖像缺陷檢測和分類。2018年Ahmed等［40］使用VGG16模型實現了一個用于人臉表情識別分類的增量式主動學習框架。2018年Haut等［41］將貝葉斯卷積神經網絡與主動學習樣本選擇策略相結合，提出了一種用于高光譜圖像分類的算法，取得了良好的分類性能。在醫學圖像分類領域，2018年Sayantan等［42］基于深度置信網絡來學習圖像的特征表示，有效提升了模型的分類性能。這些研究表明，將深度分類網絡與主動學習相結合能夠有效地提高分類性能，為后續研究提供了有益的參考。

主動學習圖像分類算法

基于主動學習的圖像分類方法旨在通過一定的樣本選擇策略，選擇對模型訓練提供更多貢獻的樣本，在節省大量數據標注成本的情況下，得到較高性能的分類器。在標注數據有限的背景下，對圖像數據進行處理，以充分利用選擇出的高質量樣本或直接生成高質量的訓練樣本，以及針對數據的分布信息來提高主動學習算法中樣本選擇策略的適應性，是提高主動學習圖像分類模型性能的一種直觀方法。此外，隨著深度學習技術的發展，如何有效利用深度模型的信息來評估樣本的價值，并優化主動學習算法的模型結構，已成為一個研究熱點。早期的主動學習圖像分類算法通過結合熵、置信度等來設計樣本選擇策略。這些方法易于適應各種任務，且大多只涉及數據選擇過程，較少優化網絡訓練過程；并且樣本選擇過程可能會引入選擇偏差，導致算法選擇某些易于分類的數據而忽略了一些重要的難以分類的數據。因此，更好的主動學習方法需要綜合考慮數據選擇和模型訓練過程的改進，以提高其性能和魯棒性。

因此，在目前的主動學習圖像分類任務中，算法的改進主要分為數據驅動和模型驅動兩方面［22］。在現有算法中，數據驅動方面主要包括圖像增廣以及對圖像特征插值處理等，以及在算法改進的過程中將數據的分布信息考慮其中。模型驅動方面主要包括附加額外網絡、修改損失函數、集成生成對抗網絡、集成強化學習方法和基于Transformer結構等。本節旨在從基于數據增強、基于數據的分布信息以及優化模型預測的角度出發，介紹近年來主動學習圖像分類領域的研究成果。現有算法分類歸納如圖3所示。

圖3主動學習圖像分類算法分類

3.1 基于數據增強的主動學習圖像分類算法

基于主動學習的圖像分類算法依賴少量信息量豐富的已標注數據來進行模型訓練，同時包含大量的未標注數據。本節從數據增強的角度出發，介紹現有的主動學習圖像分類方法。例如，通過圖像增廣來擴充訓練數據，或通過對圖像特征進行插值來判斷圖像數據的信息豐富性，從而選擇需要標注的數據等。

3.1.1 基于圖像增廣

由于數據標注的成本較高或標注數據不足，采用圖像增廣［43］處理技術可最大限度地利用已有的標注數據。圖像增廣通過隨機改變訓練樣本，可以降低模型對某些屬性的依賴，從而提高模型的泛化能力。例如，簡單的圖像增廣方法包括對圖像進行不同方式的旋轉和裁剪，使感興趣的物體出現在不同位置，從而減輕模型對物體出現位置的依賴性，也可通過調整亮度、色彩等因素來降低模型對色彩的敏感度，如圖4所示的處理過程。

圖4利用圖像增廣方法處理圖像數據

然而，傳統的圖像增廣技術處理圖像方式有限，且擴充后的圖像質量難以保證。部分研究者考慮通過利用生產對抗性網絡（GenerativeAdversarial Net，GAN）［44］來生成可靠性更強的訓練數據。2017年，Zhu等［17］提出的生成對抗主動學習（Generative Adversarial Active Learning，GAAL）首次將GAN引入樣本查詢方法中。GAAL的目標是使用生成學習來生成比原始數據集包含更多信息的樣本。GAAL通過GAN構造出靠近分類邊界的樣本，使生成的新樣本具有較高不確定性。然而，隨機數據擴增并不能保證生成的樣本比原始數據中包含更多的信息，從而造成計算資源的浪費［21］。2019年，TRAN等［45］基于貝葉斯數據增強提出了貝葉斯生成主動深度學習算法（Bayesian Generative Active Deep Learning，BGADL）。該算法在GAAL上進行了進一步的擴展，結合輔助分類器生成對抗網絡和變分自編碼器（Variational Auto Encoder，VAE）［46］等方法，目的是生成屬于不同類別的不同區域的樣本。該方法通過輔助分類器生成對抗網絡和貝葉斯數據增強來產生與所選樣本信息豐富程度一樣的新樣本。

此外，2019年提出的變分對抗主動學習（Variational Adversarial Active Learning，VAAL）［47］和對抗表示主動學習（Adversarial Representation Active Learning，ARAL）［48］不僅將生成性對抗學習引入網絡體系結構實現數據增強，而且使用已標記和未標記的數據集來訓練分類網絡。在此過程中，鑒別器嘗試區分重構圖像和原始圖像之間的差異，從而幫助選擇最具信息量的未標記圖像進行標記。VAAL通過減少基于不確定性的批量查詢策略的依賴來解決批量查詢策略容易受到離群值干擾的問題。ARAL對VAAL進行了擴展，以盡量減少使用人工標注樣本，在充分利用現有或生成的數據信息的同時提高模型學習能力。ARAL額外使用深度生成網絡產生的樣本來聯合訓練整個模型，并通過共享鑒別器的特征來訓練分類器。這種方法不僅可以提高學習到的表示的質量，而且可以進一步提高分類性能。

為了進一步保證生成數據擁有豐富的信息量。2021年，Kim等［49］提出了一種“前瞻數據采集”（Look-Ahead Data Acquisition，LADA）的算法，旨在集成數據選擇和數據增強。該算法在進行數據選擇之前考慮數據增強的效果，并綜合考慮數據增強所產生的非標記數據和虛擬數據以進行數據選擇。傳統的樣本選擇策略不考慮數據增強的潛在增益，而LADA則通過將數據增強集成到采集過程中，來考慮虛擬數據的信息量。此外，LADA還通過優化數據增強策略，以最大化預測獲取分數來增強虛擬數據實例的信息量。

然而，以上方法在對樣本圖像進行增強時，并未充分考慮原始圖像關鍵特征的完整性。針對這一問題，Gong等人［50］結合KeepAugment數據增強方法對每個循環過程中所選擇出的高質量樣本進行數據增強。該算法首先基于顯著圖來檢測原始圖像上的重要區域，并在數據增強期間保留這些重要的信息區域，這種信息保留策略允許生成更可靠的訓練樣本，并將一種低計算量SpinalNet［51］的深度網絡模型改進分類網絡，算法框架如圖5所示。該算法進一步提升了基線算法的性能，尤其在分類類別數較少的數據集上，顯示出了更先進的性能。

圖5結合數據增強和SpinalNet的主動學習圖像分類算法[50]

數據增強技術在提高數據多樣性和改善模型泛化性能方面具有明顯優勢。但在應用數據增強時，需考慮現實世界任務可能存在的問題。例如，僅生成未標記樣本可能會導致數據增強生成不自然或人類難以解釋的實例，從而降低模型的可解釋性［50］。此外，生成對抗網絡可能會生成與原始數據集中的樣本不同的樣本，給模型訓練帶來挑戰［52］。總體而言，數據增強為近年的研究提供了有效的方法，且這種對數據利用技巧的探索也是必不可少的。

3.1.2 基于特征插值

與傳統的圖像增強和生成網絡不同，通過對圖像特征進行插值處理以實現數據增強，而無需生成額外數據，在目前的主動學習圖像分領域中取得了顯著的成果。特別是，Zhang等人［53］在2017年提出的Mixup算法，近年來受到一些主動學習算法研究者的重視［54］。

Mixup是一種通過線性內插構造新的訓練樣本及其對應的標簽的方法。該方法首先從原始訓練集中隨機選取兩個樣本-標注對，然后對這兩個樣本-標注對的特征向量進行線性內插。最后，獲得一個新的樣本-標簽對，數學定義如式（1）所示。

其中，表示服從參數為的Beta分布。內插后的圖像示例如圖6所示。這種線性建模減少了在預測訓練樣本之外的數據時的不兼容性，提升了模型的泛化性。

圖6 Mixup增強示例

2020年，Ma等人［55］基于Mixup數據增強方法，首先提出了一種結合數據增強的主動學習圖像分類算法。該算法在每輪的迭代過程中，根據主動學習的樣本選擇策略進行樣本選擇，由Oracle對待標記的樣本進行標記，以更新標記數據集，并對更新后的已標記數據集進行Mixup數據增強，隨后訓練分類模型。

進一步地，2020年Wang等人［56］基于知識蒸餾模型提出了一種與Mixup結合的主動學習算法。該算法首先使用Mixup合成一批圖像，然后使用主動學習算法從中選擇最有價值的子集來查詢教師模型。查詢到教師模型的輸出后，將其視為查詢圖像的真實標簽信息，并使用這些標簽來訓練學生神經網絡，以減少對大規模數據集的依賴，從而訓練出高性能的分類模型。

此外，2022年Parvaneh等人［57］提出的ALFA-Mix算法通過結合Mixup尋找對其表示信息進行干擾而導致的預測不一致，來判定未標記樣本的信息豐富性，以進一步提升未標記樣本的信息利用率。在有標注和無標注樣本的特征表示之間構造內插以形成樣本的擾動版本，然后檢驗預測的標簽。通過評估樣本擾動版本預測的標簽的可變性來識別信息量最大的未標記樣本。

具體來講，將未標記的樣本集合劃分為多個子集，每個子集對應一個特征空間的子空間。對于每個子空間，使用K-Means算法將其內部的樣本聚類成若干個簇。對于每個簇，選擇距離其質心最近的樣本進行標記，這些樣本被稱為代表性樣本。將所有代表性樣本標記后，與已標記的樣本特征構建內插，重新訓練模型并預測未標記樣本的標簽。通過將未標記樣本的特征與已標記樣本相結合，有效地探索其周圍鄰域，從而選擇最有價值的樣本進行標注。該算法基本框架如圖7所示。

圖7 ALFA-Mix算法基本框架[57]

與基于圖像增廣的算法相比，該方法在不生成新數據的情況下，只在原始數據之間衡量樣本信息豐富性，能夠有效地判斷樣本信息豐富性。然而在進行特征插值融合時，若融合的樣本之間存在很大的差異，可能會導致融合后的樣本信息不準確［58］，且現有方法沒有充分利用訓練數據中豐富的信息，如目標顯著性、相對排列等方面的信息。此外，在高維空間中進行插值操作，可能會產生異常值。

3.2 基于數據分布信息的主動學習圖像分類

數據樣本的分布是數據集的內在特征。樣本在幾何分布中的位置及其與鄰域樣本的關系，決定了該樣本在模型訓練中的重要性。

為了使模型更好地適應數據分布，部分研究者在早期的研究中提出了一些自適應樣本分布的主動學習方法。2013年，Li等人［59］提出了一種結合信息密度和不確定性策略的主動學習方法，用于主動學習圖像分類。該方法通過監測訓練數據的分布，動態地調整選擇策略，以選擇更能代表數據分布情況的樣本。正如前文所述，基于代表性的算法通常會考慮樣本的分布信息和特征分布情況等，且數據通常具有冗余性，故使用更具代表性的樣本來訓練深度分類模型在直觀上是很好的選擇。Liu等人［60］使用字典學習的稀疏表示來搜索代表性樣本。該算法旨在選擇訓練集中最具代表性和不確定性的樣本，并在遙感圖像和高光譜圖像分類任務中獲得了良好的性能。此外，Yang等人［61］提出了使用偽注釋器的單次主動學習，其中偽注釋器可以作為一種尋找最具代表性樣本的特殊方法。

在基于代表性方法的研究中，2017年Sener等人［14］首次提出一種基于CoreSet的算法，通過使用全局訓練集的代表性替代子集的局部幾何特征來提高學習效果。該方法將K-Center-Greedy引入主動學習框架，以選擇核心集進行訓練。選擇中心點的過程是通過最小化數據重復點與其最近中心之間的最大距離來實現的。類似于聚類算法，該方法對遠點和離散點不太敏感。然而，基于CoreSet的方法往往只是查詢數據點，以盡量覆蓋數據流上的所有點，而不考慮樣本的密度。這導致查詢的數據點過度代表稀疏區域的樣本點。針對這一問題，2019年Gissin等人［62］提出的判別式主動學習（Discriminative Active Learning，DAL）將主動學習圖像分類任務視為一個二進制分類任務，目的是使進一步使查詢到的標記數據集與未標記數據集難以區分。DAL的關鍵優勢在于，可以按照數據密度的比例從未標記的數據集中采樣，而不會使稀疏域中的樣本點產生偏差。此外，DAL不限于分類任務，能夠容易地應用于到其他任務中。進一步，2021年Caramalau等人［63］基于CoreSet算法和圖卷積網絡（GraphConvolutional Network，GCN）［64］提出了CoreGCN算法。該算法利用GCN學習圖像特征之間的關系并結合CoreSet算法來選擇最具代表性的未標記示例。

從空域分布角度出發，2020年Agarwal等人［65］根據不同類的圖像在同一空域分布的差異性，提出了一種用于主動學習的語義多樣性方法（ContextualDiversity for Active Learning，CDAL）。該方法有助于在不同的上下文和背景中選擇具有不同示例對象的樣本。語義多樣性取決于一個重要的觀察結果，即CNN預測的感興趣區域的概率向量通常包含來自更大感受野的信息。基于此，作者在CoreSet基礎上提出了CDAL-CS算法，該算法不會受到維度詛咒的影響。進一步作者基于強化學習策略（ReinforcementLearning，RL）［66］提出了CDAL-RL算法，采用了特定任務的狀態表示，并使用了基于上下文多樣性的激勵，該激勵以無監督的方式結合不確定性和多樣性來優化樣本選擇策略。

一方面，若已標記樣本與未標記樣本的分布存在顯著偏差，則可能會影響選擇策略的性能。特別是，大多數基于不確定性/多樣性的方法通常基于Softmax分類器的預測來計算。然而，這僅在訓練的特征和分類器能推廣到未標記數據集的前提下才成立［67］。2021年，Wan等人［67］針對以上問題提出了鄰近分類器嵌入式網絡（Neighbor Classifier Embedded Network，NCE-Net）。NCE-Net利用一個Soft鄰近分類器［68］，在“拒絕”或“混淆”置信度的指導下進行樣本選擇，選擇出遠離分類決策邊界且具有豐富信息性的樣本進行標注，進行下一步訓練。

另一方面，為了進一步探索已標記樣本與未標記樣本的分布差異性，以更好地適應現實應用場景下的數據分布情況，一些研究者開始關注現實世界中存在的數據集不平衡問題，即數據的長尾分布［69］。2021年Choi等人［70］提出結合變分貝葉斯的類不平衡和難度的算法，該算法基于貝葉斯規則，將類不平衡性納入主動學習框架，如圖8所示。當評估分類器在給定樣本上出錯的概率時，同時考慮三個方面；（1）錯誤標記類別的概率，（2）給定預測類別的數據的可能性，（3）預測類別豐度的先驗概率。通過訓練VAE并將其與分類器聯系，使用分類器的深度特征表示作為VAE的輸入，促進VAE訓練。該算法通過考慮所有三種概率，特別是數據的不平衡性，在數據不平衡數據集上顯示出優異性能。此外，2022年Javad等人［19］提出了用于圖像分類的類平衡主動學習算法（Class-Balanced Active Learning，CBAL），目標是使選擇的樣本更偏向于均勻分布。該算法糾正了未標記數據池中出現的類不平衡問題，以緩解采樣偏差和數據集不平衡帶來的問題。該方法具有較強通用性，可與常用的不確定性和代表性方法結合。

圖8結合變分貝葉斯的類不平衡算法框架[70]

通過充分利用數據分布信息，可以設計更加準確和具有針對性的樣本選擇策略，以提高主動學習的效率和選擇樣本的準確性。結合數據分布信息可以有效改善模型的魯棒性，使其能夠更好地應對數據集中的偏差、噪聲和離群點。此外，數據分布信息的應用還能夠有效解決類別不平衡問題，從而使模型能夠更好地適用于現實應用場景。

然而，需要注意的是，在不同規模的數據集上，基于數據分布信息的算法可能呈現出不同的性能表現，且模型的穩定性難以得到充分保證。此外在實際應用中，若數據分布與真實分布存在較大差異，模型可能會出現過擬合或欠擬合等問題［71］。

3.3 優化模型預測的主動學習圖像分類算法

主動學習圖像分類算法旨在通過少量已標注數據獲取高性能分類器，這需要充分優化獲取和利用模型信息的途徑或優化模型結構來保證模型預測結果的可靠性。例如，可通過結合深度學習模型的學習能力來提高算法的性能；利用深度模型在不同層和不同時間輸出之間的差異作為選擇需標記數據的依據，或者利用圖卷積神經網絡生成更高階的特征表示；結合生成對抗網絡來進一步優化算法架構，提高樣本選擇策略的可靠性；在算法結構中引入強化學習策略，以動態優化分類器的訓練過程，并根據不同的任務環境優化樣本選擇策略；基于最新提出的視覺Transformer結構來提升模型的預測性能。

3.3.1 優化深度模型預測信息

深度學習在高維數據處理和自動特征提取的背景下具有較強的學習能力，而主動學習在降低標注成本方面具有顯著的潛力。因此，將深度學習和主動學習的結合是一個直接的方法，有利更好地擴大兩者的應用潛力。通過結合兩者的優勢，部分研究者提出了DeepAL［21］方法。

圖9展示了DeepAL圖像分類算法框架。深度模型在標記的訓練集上初始化或預訓練，而未標記的池的樣本用于通過深度模型提取特征。接下來，根據相應的選擇策略選擇樣本，并由Oracle進行標注，形成新的已標注訓練集，然后在上訓練深度模型，同時更新。重復此過程，直到標簽預算耗盡或達到預定義的終止條件。從圖9中的DeepAL框架示例中，可大致將DeepAL框架分為兩部分：在未標記數據集上施行主動學習算法的樣本選擇策略和在深度學習模型上的訓練。

圖9 DeepAL圖像分類算法結構[21]

主動學習算法和深度學習算法之間存在處理通道不一致的問題，即大多數主動學習圖像分類算法主要關注分類器的訓練，主要使用基于固定特征表示的查詢策略［21］。然而，在深度學習中，特征學習和分類器訓練共同優化。簡言之，簡單地將主動學習和深度學習結合起來作為兩個獨立的問題來處理，可能會導致一定的歧義［72］。2017年Wang等人［73］提出的具有成本效益的主動學習（Cost-Effective Active Learning，CEAL）算法是首批將主動學習和深度學習結合解決深度圖像分類問題的工作之一。該算法將少量不確定性樣本由Oracle標記，而大量高置信度樣本則由CNN自動分配偽標簽，從而有效降低標注成本。兩種類型的樣本隨后用于微調CNN，并重復更新過程。

另一問題在于深度模型和淺層模型的學習模式不同，即深度模型由特征提取階段和任務學習階段組成，傳統的基于不確定性的選擇策略難以直接應用于深度模型。僅使用深度模型最后一層的輸出來評估樣本預測的不確定性是不準確的，因為深度模型的不確定性實際上由兩個階段的不確定性信息組成。

針對以上問題，2019年Yoo等人［74］提出了用于主動學習的學習損失（Learning Loss for Active Learning，LLAL）框架。該框架將深度模型中間不同隱藏層的特征視為多視圖數據，考慮了目標模型不同網絡層之間的不確定性，使不確定度的評估更加準確，如圖10所示。學習損失預測模塊預測無標記數據集的目標損失，使用TOP-K策略選擇查詢樣本。LLAL方法已適用于當前任務范圍較廣的深度網絡。

除了通過附加網絡模塊來獲取深度模型的各層信息之外，2021年Huang等人［75］通過模型在不同時間段輸出的差異性來利用深度模型的各階段信息，并提出了一種新的DeepAL方法。該方法的核心是測量不同時間輸出的差異性（Temporal Output Discrepancy，TOD）［76］，評估模型在不同優化步驟給出的輸出差異來估計樣本損失，即較高的差異對應較高的樣本損失，如圖11所示。具體來講，在每次迭代中，訓練模型會根據每個樣本的損失向后傳播誤差，而具有高損失的樣本通常會給訓練模型的參數帶來信息更新。當真實標注樣本不可用時，TOD可以測量僅依賴訓練模型的樣本的潛在損失，從而降低了累積樣本損失。

圖10用于主動學習的學習損失預測模塊[74]

圖11基于TOD的單次迭代步驟[75]

為了進一步解決深度模型末層輸出信息無法有效且準確地評估樣本的信息豐富性的問題，2022年Patrick等人［77］提出了深度證據主動學習算法（Deep Evidential Active Learning，DEAL）。該算法通過將CNN的Softmax標準輸出替換為Dirichlet密度［78］的參數，這使模型的輸出是Dirichlet分布而不是概率分布。該算法使用CNN作為模型，并使用貝葉斯框架中的證據理論來計算預測的不確定性。在每次迭代中，DEAL算法選擇最小邊緣作為度量標準，并使用該度量標準選擇最具信息量和代表性的未標記數據實例進行標注。

此外，面對深度模型使用的大規模數據集，為了保證從大型數據集中選擇出的訓練數據的質量，2021年Caramalau等人［63］基于GCN來獲取更高階的特征表示，并提出了一種用于主動學習的順續圖卷積網絡（Sequential GraphConvolutional Network，SGCN），如圖12所示。圖網絡中的節點代表數據池中的圖像的特征，圖網絡中的邊來編碼特征之間的相似性。作者基于不確定性選擇策略提出了UncertainGCN，該算法利用GCN模型對未標記節點進行預測，根據置信度得分選擇不確定性最高的節點進行標注。圖卷積神經網絡在面對大規模數據集時，需建立更多的圖節點來更好地學習圖像特征之間的相似性，這無疑會消耗更多的計算資源，提高標注成本［79］。鑒于此，2022年Ili?等人通過結合CNN和自校正神經網絡（Self-CorrectingNeural Network，SCN）［80］，提出了一種基于自我修正神經網絡的主動學習算法（Active Learning Using a Self-CorrectingNeural Network，ALSCN）［81］。該算法中，CNN僅使用手動標記的數據進行訓練，并對未標記的數據進行預測。而SCN使用所有可用數據進行訓練，其中部分由手動標記，其余使用網絡自動標記。ALSCN算法的特性使其在處理大規模數據集時，能夠通過僅標記數據集的一部分樣本，從而顯著降低樣本標注的成本。同時，該算法將有差異的樣本選出進行手動標記，從而提高訓練數據集的質量。

圖12用于主動學習的順續圖卷積網絡(SGCN)基本架構[63]

在深度學習和主動學習融合中，深度學習主要負責特征信息提取處理，主動學習負責樣本選擇查詢。深度網絡模型的各個隱含層和階段信息為高價值樣本選擇提供了更多依據，深度模型強大的特征表示能力能夠有效提高主動學習圖像分類算法性能。然而，主動學習與深度學習處理流程不一致，使兩者難以有效結合；且深度學習需要大量標注數據，而主動學習的標注數據較少，容易引起樣本分布偏差；在確定哪些樣本需要進行標注時，大多基于不確定性的樣本策略可能僅僅基于樣本的不確定性排名來選擇樣本，因此在考慮多個樣本屬性時可能會忽略樣本之間的相關性，從而使更新后的已標注訓練集具有冗余性［21］。

3.3.2 基于生成對抗網絡

如前所述，在3.1.1節中，GAN網絡已被應用于數據增強領域來減少標注圖像過程中的成本。進一步，本節將從優化模型結構的角度來總結近年來的研究成果。

2019年，Sinha等人［47］依據VAE學習隱空間的強大能力提出了變分對抗式主動學習（VariationalAdversarial Active Learning，VAAL）。在此方法中，樣本選擇由對抗性網絡執行，該網絡判別樣本屬于已標記池或未標記池，如圖13所示。VAE和對抗性網絡中的鑒別器被構建為類似于GAN的Mini-Max博弈［82］，使VAE被訓練來學習特征空間，而鑒別器學習如何選擇不確定較高的樣本來進行標注。進一步，在2021年Kim等人［83］對VAAL算法進行了改進，并提出了基于任務感知的變分對抗性主動學習網絡（Task-AwareVariational Adversarial Active Learning，TA-VAAL）。該算法考慮已標注和未標記數據分布，并使用排序條件生成對抗網絡在VAAL上嵌入歸一化排序損失信息，去除預測輸入樣本間相對距離。通過對真實損失信息排序來重塑隱空間，來選擇具有較高真實損失值的樣本。

圖13基于任務感知的變分對抗性主動學習網絡基本結構[47]

另外，已標注數據池處于持續更新過程中，且早期訓練中已標注數據池通常很小，這限制了對抗式訓練模型的性能。因此，一些研究者使用樣本的狀態信息來指示樣本是否被標記，該狀態信息可直接用作主動學習算法的監督信息。未標記數據池中不同樣本對目標任務具有不同重要性，且未標記樣本與標記池中樣本越相似，其被標記的優先級越低。2020年，Zhang等人［84］結合樣本的狀態信息提出了一種狀態重新標記的對抗式主動學習模型（State Relabeling Adversarial ActiveLearning，SRAAL），其由表示生成器和狀態鑒別器組成。該生成器利用標注信息生成樣本的統一表示，將語義嵌入整個數據表示中。鑒別器中設計了一個在線不確定度指示器，指示器計算每個未標記樣本的不確定性得分，作為其新的狀態標簽。因此，可以根據鑒別器的預測狀態選擇信息量最大的樣本。

進一步，2020年Wang等人［85］在基于單一GAN算法的基礎上提出了一種創新性的算法——用于深度主動學習的雙重對抗網絡（Dual Adversarial network for deep Active Learning，DAAL）。該算法同時考慮了不確定性和代表性兩種基本的樣本選擇策略。與以往需要多階段數據選擇的混合主動學習方法不同，DAAL算法使用不同的采集函數逐步評估不確定性和代表性。這種結構能夠在一個主動學習階段中選擇不確定性度最高和最具代表性的數據點，從而在未標記池中準確地選擇信息量最大的數據點。

然而，由于GAN模型高度復雜和計算規模較大，現有大多數基于GAN的算法需更高的訓練成本。為此，在2020年Mayer等人［86］提出一種新的對抗式主動學習方法——對抗性抽樣（AdversarialSampling for Active Learning，ASAL）。該算法使用GAN生成高熵樣本，并使用特征提取器和最近鄰模型從池中檢索相似的真實樣本。該方法避免了在整個數據集上進行不確定性采樣所需的昂貴計算，并且可以在較短的時間內找到最相關的真實樣本。因此，ASAL具有比傳統不確定性采樣方法更低的運行復雜度。

將GAN與主動學習算法結合，不僅可以通過數據增強解決標注不足的問題，而且對抗式的學習方法能夠有效提升樣本選擇策略判別樣本信息豐富性的能力。然而，GAN的訓練過程可能不穩定，特別是主動學習算法初始迭代階段，生成器和判別器之間的動態平衡可能很難實現，導致模型難以收斂或難以獲得良好的分類性能［87］。此外，GAN的訓練通常需要更多的計算資源和時間成本。

3.3.3 基于強化學習

傳統的DeepAL算法由深度學習和主動學習兩部分組成，手工設計這兩部分需要大量成本，而且受限于研究人員的經驗。并且在傳統主動學習流程中，樣本選擇策略通常被視為固定先驗，只有在標簽預算耗盡后才能評估其適用性。這使研究者難以動態地調整樣本選擇策略。因此，一種合理的選擇是利用強化學習方法來實現對樣本選擇策略的動態調整。

鑒于此，2017年Fang等人［88］將啟發式主動學習算法重新定義為一個強化學習問題。隨后，2019年Haussmann等人［89］提出強化主動學習（Reinforced Active Learning，RAL）算法，該算法使用貝葉斯神經網絡作為樣本選擇策略的學習預測器。貝葉斯神經網絡預測器綜合考慮了提供的所有概率信息，并形成一個全面的概率分布。隨后，該概率分布將被傳遞給貝葉斯神經網絡概率策略網絡。在每一輪的標注中，貝葉斯神經網絡通過接受來自Oracle的反饋進行強化學習。這種反饋被用于微調樣本選擇策略，以持續提升其性能。2019年，Liu等人［90］提出的深度強化主動學習（Deep Reinforcement Active Learning，DRAL）采用了類似的思想。對于每個查詢錨點（探針），代理（強化主動學習器）在主動學習算法流程中從數據池中順序選擇實例，并將其交給Oracle以獲得帶有二進制反饋（正/負）的手動標注信息。狀態評估所有實例之間的相似性關系，并根據Oracle反饋計算激勵以調整代理查詢。

在深度強化主動學習基礎上，2019年Sun等人［16］將深度卷積神經網絡提取圖像的特征作為強化學習算法的“狀態”，并使用深度Q-learning算法來訓練一個Q-網絡，根據Q網絡的輸出來決定是否對數據進行標注。同時，為了進一步優化強化主動學習算法中分類器的動態訓練過程，2020年Wang等人［91］將主動學習建模為馬爾可夫決策過程，并基于Actor-Critic架構的強化學習算法，使用深度確定性策略梯度算法來訓練模型。此外，2022年Cui等人［92］通過使用一個持續更新的基礎分類器和一個激勵函數，并使用分類器的后驗概率作為其置信度，來決定應該為哪些數據樣本進行標注，有效地提升了分類器的性能。進一步，針對深度強化主動學習面臨的大規模數據集問題，2022年Zhang等人［93］通過將批量主動學習問題定義為一種協作的多代理強化學習問題，提出了一種新穎的批量模式的強化主動學習算法框架。該算法基于圖神經網絡的批量主動學習設置，其中學習代理可以一次獲取多個樣本的標簽；同時引入了一種值分解方法，將總的Q值分解為單個Q值的平均值，以避免多代理機制可能引發的組合爆炸問題。此外，2023年Chen等人［94］基于元框架，將自注意力機制與激勵函數整合到深度強化學習結構中，以解決主動學習算法面臨的數據相關性高和數據不平衡的問題。

強化學習可以使主動學習圖像分類算法更具自主決策能力。學習代理可以通過與環境的交互，根據不同的學習任務和環境的反饋，自適應地調整其標注樣本選擇策略以及動態優化分類器的訓練過程。這種自主決策能力使主動學習圖像分類算法可以更好地探索標注樣本的空間，找到對學習任務更有益的樣本。

3.3.4 基于Transformer結構

Transformer最早應被用于自然語言處理領域，是一種主要基于自注意機制的深度神經網絡。其由于強大的表示能力，目前已被廣泛應用于計算機視覺任務中［95， 96］。在各種視覺基準測試中，基于Transformer的模型能夠表現出比卷積神經網絡和循環神經網絡等其他類型的網絡相當或更好的性能。尤其，2020年Google提出的VisionTransformer模型在圖像分類任務顯示出的卓越性能，引起了更多的研究者的關注。目前，部分研究者已將Transformer應用于主動學習圖像分類任務中。

2021年，Xie等人［97］提出了一種通用和高效的主動學習算法（General and Efficient Active Learning，GEAL），該算法基于預訓練Transformer模型來進行數據選擇。基于Transformer模型的強大表示能力和可遷移性，該算法可以在不需要額外訓練或監督的情況下，使用單次推理從不同數據集中選擇數據。該方法具有較高的通用性和效率，能有效提升樣本選策略的效率。然而該方法僅使用一般預訓練的VisualTransformer來提取圖像的特征。為了進一步利用Transformer來提取主動學習模型中的信息，2021年Caramalau等人［98］將Visual Transformer作為主動學習流程中的采樣器。VisualTransformer模擬了標記和未標記樣本之間的非局部視覺概念依賴關系，這對識別具有影響力的未標記樣本至關重要。此外，2022年Khan等人［99］通過引入代理模型提出了一種代理模式主動學習（Proxy Model Active Learning，PMAL），使VisionTransformer在主動學習算法中具備更好的適應性。具體來講，該算法使用未標記的數據對VisionTransformer進行預訓練，以使其能夠更好地理解數據；并使用代理模型對未標記數據進行分類，選擇不確定性最高的樣本進行標記；使用已標記數據對VisionTransformer進行微調，以使其能夠更好地適應主動學習任務。

主動學習圖像分類算法基于少量的已標注數據進行模型訓練，而基于卷積神經網絡的主動學習圖像分類模型在處理相似性較高的圖像時，其分類性能受到一定限制。針對以上問題，2023年Tang等人［100］提出一種具有學習全局特征的Transformer，該方法能夠結合卷積神經網絡學習局部特征的優勢，從而實現更準確的預測。尤其是在與主動學習算法相結合的情況下，該模型甚至在僅使用初始訓練集的30%的情況下，顯示出了與大多數同類模型在完整訓練集上相當的性能水平。

對于主動學習圖像分類任務，Transformer可以有效地捕捉圖像中的關鍵信息和特征，并將其編碼成高質量的表示向量。這種強大的表示學習能力使Transformer能夠更好地捕捉樣本之間的特征依賴關系，以及圖像中的上下文信息，從而提高主動學習圖像分類算法的性能。此外，Transformer的預訓練和微調機制使其能夠充分利用大規模數據的信息，并應用到主動學習圖像分類任務中，提升了算法的性能。

3.4 分析與總結

為了更好地訓練分類模型，樣本選擇策略需確定哪些未標記樣本應被選擇以獲最大信息增益。因此，本節總結了各算法采用的樣本選擇策略，并對這些算法使用的分類器和圖像分類數據集進行了總結，如表2所示。

表2 主動學習圖像分類算法總結

如前文所述，主動學習圖像分類算法是基于少量信息量大的已標注數據進行訓練的。數據集的規模和復雜性限制了該方法的有效性。為了克服這些限制，數據增強技術被廣泛應用于圖像分類算法中，以擴展數據集并減少標注的數據樣本數量。尤其是生成性網絡可用于生成更多高質量的訓練數據。此外，Mixup提供了一種不同模式的圖像增廣方法。Mixup不僅可以合成新的訓練樣本，還可利用未標注樣本和已標注樣本之間的特征信息差異來評估樣本信息豐富性，且無需產生額外的計算成本。

在樣本選擇策略的設計中，評估樣本數據的分布情況可有效計算樣本的信息量。可以根據數據分布情況調整選擇策略，使算法更關注具有代表性的樣本。例如，在處理長尾分布數據時，采用類平衡的選擇方法可使待標記數據集包含來自各類別的數據。此外，在一些基于難度的策略中，與不確定性采樣、信息熵采樣等方面的結合，可使算法更關注更難以分類的樣本，從而提高算法性能。

深度學習模型與主動學習算法的融合為圖像分類任務中的主動學習提供了新的優化方向。在這種融合中，采用附加的網絡模塊學習深度模型各層之間的損失，進一步優化深度模型的輸出結構，以評估樣本的不確定性。此外，采用圖卷積網絡學習標注和未標注樣本特征之間的關系，可更好地優化模型的預測結構。特別地，基于GAN的主動學習算法通過生成器的生成能力和判別器的鑒別能力，不僅可對訓練數據進行擴充，還可有效地預測待標記樣本的信息量。進一步，基于強化學習的主動學習算法可以通過與環境交互，選擇最具信息量的樣本進行標記，實現算法在不同環境下的動態適應性，從而降低標記數據的需求量。另外，視覺Transformer的提出，使主動學習圖像分類模型能夠憑借其強大的表示能力來有效地提升模型的預測效果。這些方法為主動學習圖像分類算法的進一步研究提供了重要的理論支持。

實驗對比分析

當前研究工作中，對于算法性能評價呈現多樣性，即不同的研究者采用不同的模型標注預算。且現有的總結性工作中尚未對算法性能進行實驗測試和分析。故本節選取了不同類別下的重要學術工作來進行實驗對比分析，共在四種公共數據集上測試了算法的性能。此外，實驗模擬了現實應用場景下類別數據分布不平衡的情況，構造出類別數據分布不平衡數據集，并在該數據集上進行了測試和分析。

4.1 實驗設置

為確保實驗設置的普適性，本節實驗參考了在主動學習圖像分類領域具有重要影響力的學術論文中所描述的對比實驗方法［14，47，63，74，83］。這些論文的實驗設置得到了廣泛的認可，為其他研究人員提供了可復現實驗和可比較結果的基準。基于表2的數據集統計信息，本文在四個具有廣泛代表性的公共數據集上進行實驗，包括三個RGB圖像數據集（CIFAR10，CIFAR100，SVHN），以及一個灰度數據集（FashionMNIST）。本文測試的主動學習圖像分類算法包括基于樣本隨機采樣的主動學習算法（Random）、基于數據增強和生成對抗式網絡的VAAL［47］算法、基于數據分布信息的CoreSet［14］和CoreGCN［63］算法以及優化模型預測信息的LLAL［74］和UncertainGCN［63］算法。

對于各算法，將整個訓練集視為一個未標記池。隨機抽取一個小子集并查詢該子集的標簽作為冷啟動。本次實驗共進行了10個周期的子實驗，以充分呈現各算法的性能表現。對于CIFAR-10，SVHN和FashionMnist數據集各子周期的樣本標記預算為1 000，對于類別較多的CIFAR-100數據集則設置為2 000.均采用ResNet-18作為圖像分類網絡，使用3次實驗的均值作為最終測試結果，以消除實驗中的隨機性。

4.2 主動學習圖像分類公用數據集介紹

近年來，現有文獻中用于主動學習圖像分類的公用數據集主要包括FashionMnist［101］，CIFAR10［102］，CIFAR100［103］及SVHN［104］等，如表2所示。表3總結了以上數據集的數據情況。圖14展示了各數據集樣本示例。

表3 主動學習圖像分類常用數據集

圖14 各數據集樣本示例

FashionMnist由德國電子商務公司Zalando提供，包含10個類別的圖像，如T恤/上衣、褲子、套頭衫、連衣裙、外套、涼鞋、襯衫、運動鞋、包和靴子等，是主動學習圖像分類任務中常用的一種灰度圖像數據集。

CIFAR10數據集包含10個類別的圖像數據。數據均來自現實世界中真實的物體，且同一類別物體的特征和比例都不盡相同，這為分類識別帶來很大困難。相對于CIFAR10，CIFAR100數據集則包含100個類別數據，類內樣本數據更少且數據模式更為復雜，在分類任務中更具挑戰性。

SVHN中的數據來源于谷歌街景圖像中的門牌號，實現對0~9的數字識別。SVHN包含了數量級更多的標記數據，并且來自一個非常困難、未解決的現實世界問題——識別自然場景圖像中的數字。

在生物醫學圖像分類領域中，常用的數據集包括Erie County［105］，EEG［106］，BreaKHis［107］，SVEB和SVDB［42］等。在高光譜圖像分類識別，常用的數據集包括PaviaC、PaviaU，Salinas Valley，Indian Pines［108］，Washington DC Mall和Urban［109］等。

此外，西安郵電大學圖像與信息處理研究所依托與公安部門合作的平臺所自建的輪胎花紋圖像數據［110］，為主動學習圖像分類的現實應用研究工作提供了數據支持。該數據集是目前公開用于學術研究的最大的輪胎花紋數據集，包含輪胎表面花紋數據和輪胎壓痕花紋數據各80類，每類30張不同亮度不同尺度和不同旋轉角度的圖片，如圖15所示。

圖15輪胎花紋數據集樣本示例

4.3 評估方法

在單標簽任務中，分類任務最直觀的指標是Accuracy，即準確率。其計算公式如式（2）所示。其中TP（True Positive）為預測正確，實際為正類；FN（False Negative）為預測錯誤，實際為負類；FP（False Positive）為預測錯誤，實際為正類；TN（True Negative）為預測正確，實際為負類［111］。

在此基礎上，在多類分類問題中使用TOP-1準確率作為評價指標。TOP-1準確率是指模型在預測中最有可能的類別與真實類別完全匹配的比率，也稱為分類準確率。記樣本的類別為，測試樣本總數為，樣本類別標簽為，預測類別函數為即為預測概率的最大值，則 TOP- 1 Accuracy計算方法如式（3）所示。本文采用TOP-1精度作測試算法的性能指標。

此外，TOP-5準確率也是圖像分類領域中一種常用的性能評價指標。TOP-5準確率是指模型的前5個最高概率答案中的任何一個與預期答案匹配，即模型預測的前5個置信度最高的類別中包含真實類別，則認為模型的預測是正確的，如式（4）所示。相比于TOP-1準確率，TOP-5準確率提供了更寬松的評估。TOP-5準確率通常用于評估數據規模大且具有多個類別的圖像分類任務，如ImageNet數據集。由于主動學習圖像分類領域中常用的數據集分類類別數相對較少，故本文后續實驗測試中采用TOP-1準確率作為性能評價指標。

其中，表示由模型預測的前5個置信度最高的類別標簽組成的集合。

4.4 在公共數據集上的表現

如前所述，隨機采樣通常用于各種類型算法的性能對比。其性能表現往往作為對比實驗中的下限。如圖16所示，各實驗方法的最終實驗效果均優于隨機采樣方法。

圖16 公共數據集測試結果

首先，基于數據分布信息的CoreSet和CoreGCN算法顯示出了強大競爭性。CoreSet通過定義一個無標簽的核心集合選擇問題，并提供了一種基于數據點幾何形狀的嚴格界限來解決這個問題。在主動學習圖像分類算法中，CoreSet試圖選擇一個子集，使這個界限最小化。通過選擇最具代表性的樣本進行標記，CoreSet方法可以大大降低標記成本，因而在固定標注預算的前提下，選擇出的樣本能夠有效提升分類模型的性能。特別是基于CoreSet以及利用GCN獲取高階特征表示信息的CoreGCN算法，在部分數據集上達到了最優結果。其次，在優化深度模型的預測方面，LLAL算法通過附加損失預測模塊來連接到目標模型的多個層次，以考慮多個網絡層的知識進行損失預測來進行不確定性評估。而VAAL 則利用數據增強和對抗式學習方法為樣本不確定性評估提供了更有效的方法，在部分數據集上，性能均優于LLAL算法。此外，結合GCN的不確定性算法UncertainGCN，通過學習圖像特征之間的相似性來評估樣本的不確定性，其性能更是優于VAAL算法。

在不同模式的數據集上，不同算法呈現出不同的效果。然而，結合樣本分布信息的算法在各數據集中表現出了較強的競爭性。為了深入分析，在第4.5節中，本文將進一步在類別分布不平衡的數據集上進行測試。

4.5 在類別不平衡數據集上的表現

上節實驗中，盡管在樣本選擇之前，本文將未標記的樣本隨機分配到一個子集，但數據集中各類別中的數據呈現均勻分布，即每個類別可用的圖像數量相等。然而，在沒有與數據分布相關的先驗信息的情況下，這種情況在實際應用場景中并不常見，現實應用場景中的數據資源存在嚴重不平衡的情況。并且，研究在此場景下的應用對主動學習領域算法的研究具有重大意義。本文在后續的實驗中模擬了此場景中的數據集，并對各算法的性能進行了分析。

文獻［63］提供了一種實驗方法設置，在實驗過程中將CIFAR10數據集中各類別中的數據進行處理從而構成一個不平衡版本的CIFAR-10數據集（CIFAR-10im）。上節實驗中，默認50 000個訓練樣本是未標記的，且給定的10個類別中每個類別均有5 000個樣本。在CIFAR-10im數據集中，10個類中別的5個類別包含10%的原始數據。因此，新的初始未標記池由27 500個圖像組成。本實驗的參數設置與其他實驗保持一致。實驗結果如圖17所示。

圖17在類別數據不平衡CIFAR-10數據集上的表現

在類別數據分布不平衡的情況下，需要有效評估待標記樣本的信息豐富性，并根據數據分布的特征來優化主動學習圖像分類模型。如圖17所示，LLAL算法結合深度模型不同層級之間的信息，能夠更可靠地評估帶標記樣本的信息價值，并在不平衡的數據集上取得最佳性能。此外，考慮樣本分布的CoreSet算法和CoreGCN算法也表現出較高的性能。因此，在數據集不平衡的情況下，結合樣本分布信息，也是一種有效的方法。

4.6 測試算法對比分析

本節根據各算法在公共數據集CIFAR10，CIFAR100，SVHN，FashionMnist以及模擬的類別不平衡數據集CIFAR10im上的性能表現，對各類算法的特點進行了進一步的總結，并以Random算法為基準對比其他算法在節約標注成本方面的性能表現，具體如表4所示。

表4 各測試算法對比 (%)

根據表4中的統計數據，不同類型的算法在不同規模的數據集中表現出顯著的差異。因此，在研究過程中，需要針對數據的特性設計有效的方法。特別是在類別數較多或數據分布不平衡的情況下，算法的性能受到限制。因此，研究者需要特別關注這些情況下算法的表現，并可能需要采取適當的樣本選擇策略以提高算法的性能。

技術挑戰與未來研究趨勢

目前，基于主動學習的圖像分類算法在分類類別較少、模式較為簡單的數據集上表現出較好的分類效果，而面對分類類別較大的數據集，其效果仍不理想。一定的數據處理和模型優化方法在一定程度上能夠提升分類器的性能，但對于模式較為復雜的數據集則需要更高的數據標注預算。基于此，本節將介紹目前基于主動學習的圖像分類算法面臨的挑戰，同時針對目前面臨的挑戰對未來的研究趨勢進行討論。

5.1 基于主動學習圖像分類面臨的挑戰

5.1.1 模型的任務無關性問題

目前大多數基于主動學習的學習模型，均為特定的任務而設定。在模型的通用性和可移植性等方面存在一定的不足之處。如第4節所示，對于分類類別數目較少的數據集，基于主動學習的圖像分類算法表現出了更好性能。對于分類類別數目較多或者數據集存在樣本分布不均衡的情況，基于主動學習的圖像分類算法的性能將會受到一定的限制。此時，需對以上情況來設定特定的模型，而設計出一個完整的且基于特定的任務模型往往需要較高的成本，也不易于用于其他任務［112］。故針對不同類型的數據，如何選擇合適的樣本選擇策略和圖像分類器是目前基于主動學習圖像分類算法面臨的問題之一。

5.1.2 樣本選擇策略的融合問題

基于不確定性的樣本選擇策略所選擇的樣本，其分布往往存在偏差。而基于多樣性的樣本選擇策略，其成本較高且獲得的樣本信息量可能較低，無法更高效地提高分類器的性能。故如何將多種樣本選擇策略進行融合，從而構成更高效、更具普遍適用性的混合策略，是目前研究過程的一大挑戰［113］。

5.1.3 模型訓練模式的問題

根據對本文所介紹算法的深入研究，大部分研究工作在每輪樣本選擇后，均采取重新訓練分類模型的策略。然而，從計算資源的角度而言，每個周期內從頭開始訓練深度模型是難以接受的做法，尤其是針對大規模數據集或復雜的模型架構，這無疑會顯著增加訓練時間成本。此外，每輪重新訓練分類模型還可能導致之前輪次已經獲得的知識和信息喪失。因此，如何優化目前主動學習圖像分類算法的訓練模式成為當前亟待解決的一項重要挑戰。

5.2 基于主動學習圖像分類未來的研究方向

5.2.1 針對模型的任務無關性問題

1）結合自注意力機制。

近年來，Transformer在計算機視覺領域取得了巨大的成功，其性能已能與CNN方法媲美。Transformer的核心是自注意力機制，并被應用到不同的計算機視覺任務中，如高分辨率圖像合成［114］、目標跟蹤［115］、目標檢測［116］、分類［117］、分割［118］以及目標識別［119］等。隨著ViT［120］，BoTNet［121］，Swin Transformer［122］等架構相繼被提出，分類模型的性能得到不斷突破。如前所述，已有部分研究者將視覺Transformer應用于主動學習圖像分類任務中。相較于傳統的卷積神經網絡，Transformer架構展現出更大的靈活性和可擴展性。不同于依賴固定的卷積操作，Transformer架構采用自注意力機制和前饋神經網絡層進行特征提取和表示。這種架構的靈活性使Transformer能夠更好地適應各種不同的任務和輸入類型，從而提高了其任務無關性。然而，盡管這一架構潛力巨大，但目前在主動學習領域的研究工作還相對較少。未來的研究可以進一步基于Transformer架構，使主動學習模型能夠在不同場景的任務中得到更廣泛的應用。

2）結合元學習方法。

結合元學習同樣能夠在一定程度上提高模型的任務無關性。元學習是一種學習如何學習的方法，可以幫助模型適應不同的任務，并且不需要重新訓練模型。該學習方法不僅可以提高模型的泛化能力，使其能夠更好地適應新任務，還可減少數據量，提高模型的訓練效率。未來，將元學習方法與主動學習圖像分類算法進一步結合，可有效提升算法的性能。如基于MAML（Model-Agnostic Meta-Learning）［123］來學習樣本選擇策略。MAML可以通過在多個任務上進行元訓練來學習一個通用的模型，然后在新任務上進行微調。在每個任務中，MAML都會學習一個新的樣本選擇策略，以便在該任務上獲得最佳性能。基于元學習策略可快速適應新任務，提升模型架構的泛化性能，使樣本選擇策略能夠適應不同任務和數據分布情況等，提升主動學習圖像分類算法的任務無關性，使模型在面對新的圖像分類任務時能夠更加靈活、高效地學習和適應。

5.2.2 針對樣本選擇策略的融合問題

強化樣本間的關系。2021年Caramalau等［63］通過GCN和建立起圖像特征的相似性關系并融合不同樣本選擇策略，在圖像分類任務中顯示出了優異的性能表現。未來，可結合注意力機制和圖網絡來充分學習樣本之間的關系，從而對樣本數據的分布情況進行更深入的分析［124，125］。通過結合圖網絡的預測信息（基于不確定性）和圖網絡構建的樣本之間的關系（基于代表性和多樣性），可將不同樣本選擇策略進行融合，以獲得更優的主動學習效果。

5.2.3 針對模型訓練模式的問題

基于增量訓練模式。目前主流的主動學習算法，均在每個子周期實驗中重新訓練深度分類模型，這在一定程度上浪費了計算資源。針對主動學習模型訓練模式的問題，增量訓練法［126］在原有模型的基礎上，不斷增加新的數據進行訓練，以更新原有模型的參數和結構，以及增加新的類別，這符合主動學習算法的訓練模式。盡管簡單的增量訓練可能引入模型參數的偏差，但該方法能有效地降低模型的訓練成本。目前，與此相關的研究仍然較為有限，因此該領域仍然是一個具有重要意義的研究方向。

結束語

本文從主動學習的基本概念出發介紹了基于主動學習的圖像分類算法，對主動學習算法中常用的樣本選擇策略、數據集進行了介紹，并將現有主動學習圖像分類算法分為基于數據增強、基于數據分布信息以及優化模型預測的主動學習圖像分類算法三大類。

其中基于數據增強的主動學習圖像分類算法主要通過圖像增廣來擴充訓練數據，并通過對圖像特征進行插值處理來進行樣本選擇。基于數據分布信息的主動學習圖像分類算法從未標注/標注數據的分布角度出發，來衡量樣本的信息豐富性。優化模型預測的算法充分利用深度模型的結構信息、上下文信息以及時間輸出差異信息來有效評估樣本的價值性。同時，結合生成對抗網絡的特點，對主動學習圖像分類算法架構進行優化，以提高模型預測的魯棒性。

另外，基于強化學習策略與環境的交互，強化學習能夠指導算法在決策過程中做出更合理、準確和穩定的選擇。進一步，基于Transformer模型來捕獲更準確和豐富的特征表示，從而改善主動學習圖像分類算法的性能。此外，本文通過實驗分析總結了不同主動學習圖像分類算法的性能。最后，討論了目前主動學習圖像分類算法面臨的挑戰，并指出了該領域的未來研究趨勢。