本文對非平衡類數據分類問題進行了概述。首先在簡單介紹非平衡類數據基本概念的基礎上，分析了非平衡類數據引起的問題及其導致分類性能下降的原因；然后介紹了目前主要的解決方法，分析了現有處理方法的優缺點；最后討論了未來的研究方向

普通分類問題中，各個類包含的數據分布比較平衡，稀有類分類問題中，數據的分布極不平衡。例如：將一批醫療數據分類為“癌癥患者”和“非癌癥患者”兩個類，其中 “癌癥患者”是小比例樣本（假設占總樣本的1%），稱其為目標類，“非癌癥患者”為多數類樣本，稱為非目標類，從大量數據中正確識別“癌癥患者”就是稀有類分類問題。由于在數據集中所占比率太小，使得稀有類分類問題比普通分類問題更具挑戰性。

研究表明，解決稀有類分類問題的方法總體上可以分為：基于數據集的、算法的，以及使用組合分類器方法，如Bagging、Random Forest及Rotation Forest等。

影響稀有類分類的因素有很多，本文針對其中的一個因素——樣本大小進行研究。實驗基于上述的若干組合分類器，在特定的類比率下通過改變樣本大小，觀察樣本大小對稀有類分類的影響。

1 影響稀有類分類的因素

通常認為影響稀有類分類的因素是不平衡的類分布（Imbalanced class distribution），還有一些重要的因素影響稀有類分布，如小樣本規格（Small sample size）和分離性（Separability）。下面簡單討論這些因素對稀有類分類的影響。

（1）不平衡的類分布：研究表明，類分布越是相對平衡的數據分類的性能越好。探討了訓練集的類分布和判定樹分類性能的關系，但是不能確定多大的類分布比率使得分類性能下降。研究表明，在有些應用中1:35時不能很好地建立分類器，而有的應用中1:10時就很難建立了。

（2）樣本大小：給定特定的類分布比率（稀有類實例和普通類實例的比值），樣本大小在確定一個好的分類模型中起著非常重要的作用，要在有限的樣本中發現稀有類內在的規律是不可能的。改變該數據集的樣本大小，使得稀有類實例為50個，非稀有類實例為1 000個。結果是類分布同樣為1:20，但是前者沒有后者提供的稀有類信息量大，稀有類分類的性能沒有后者高。

（3）分離性：從普通類中區分出稀有類是稀有類分類的關鍵問題。假定每個類中存在高度可區分模式，則不需要很復雜的規則區分它們。但是如果在一些特征空間上不同類的模式有重疊就會極大降低被正確識別的稀有類實例數目。

根據以上分析可知，由于影響稀有類分類的因素多種多樣，使得稀有類分類問題更加復雜，分類的性能降低。本文在其他因素相同的前提下研究樣本大小對稀有類分類的影響。實驗證明在類分布相同的情況下，樣本越大稀有類分類的性能越好。

2 稀有類分類的評估標準

常用的分類算法的評估標準有：預測的準確率、速度、強壯性、可規模性及可解釋性。通常使用分類器的總準確率來評價普通類的分類效果。而對于稀有類分類問題，由于關注的焦點不同，僅用準確率是不合適的。

在稀有類分類問題中應更關注稀少目標類的正確分類率。在評價稀有類分類時，還應該采用其他的評價標準。

這里假設只考慮包含兩個類的二元分類問題，設C類為目標類，即稀有類，NC為非目標類。根據分類器的預測類標號和實際類標號的分布情況存在如表1所示的混合矩陣（Confusion Matrix）。

根據表1得到如下度量：

3 組合分類器介紹

組合分類器是目前機器學習和模式識別方面研究的熱門領域之一，大量研究表明，在理論和實驗中，組合方法比單個分類模型有明顯的優勢。常用的組合分類器有：Bagging、Random Forest及Rotation Forest。

3.1 Bagging介紹

Bagging算法是一種投票方法，各個分類器的訓練集由原始訓練集利用可重復取樣（bootstrap sampling）技術獲得，其過程如下：對于迭代t（t=1，2，…，T），訓練集St采用放回選樣，由原始樣本集S選取。由于使用放回選樣，S的某些樣本可能不在St中，而其他的可能出現多次。由每個訓練集St學習，得到一個分類算法Ct。為對一個未知的樣本X分類，每個分類算法Ct返回它的類預測，算作一票。Bagging的分類算法C*統計得票，并將得票最高的類賦予X[1]。

3.2 Random Forest介紹

隨機森林是一個包含多個決策樹的分類器， 并且其輸出的類別是由個別樹輸出的類別的眾數而定。 Leo Breiman和Adele Cutler發展出推論出隨機森林的算法。 而 "Random Forests" 是他們的商標。 這個術語是1995年由貝爾實驗室的Tin Kam Ho所提出的隨機決策森林（random decision forests）而來的。這個方法則是結合 Breimans 的 "Bootstrap aggregating" 想法和 Ho 的"random subspace method"" 以建造決策樹的集合。重復M次這樣的抽樣過程分別得到M棵決策樹的學習樣本。單棵決策樹建造過程不進行剪枝，森林形成之后，對于一個新的樣本，每棵樹都得出相應的分類結論，最后由所有樹通過簡單多數投票決定分類結果。

3.3 Rotation Forest介紹

Rotation Forest是一個基于判定樹的組合分類器，其基本思想如下：假設x=[x1，…，xn]為不含類標號的數據集X的一個元組，則該數據集可以表示為N×n的矩陣；定義Y=[y1，…，yN]為X中元組對應的類標號集合，其中yi∈{w1，…，wc}；定義D1，…，DL為組合方法中的基分類器；F為屬性集合。Rotation Forest意在建立L個不同的準確的分類器。基于新的數據集訓練得到Di分類器。L次不同的屬性集劃分得到L個不同的提取特征集，映射原始數據得到L個不同的數據集，分別訓練得到L個分類器。對于未知樣本的實例X，組合L個分類器計算每個類的置信度，將其歸類于置信度最高的類中。

為了驗證稀有類分類算法受到樣本規格大小的影響，使用UCI機器學習庫[8]中的稀有類數據集sick作為實驗數據集。實驗采用十折交叉驗證的方法統計分類的準確率。

sick數據集的基本情況為：30個屬性（帶類標號）、2個類（0，1），共有實例3 772條。其中sick和negative類分別擁有實例數目3 541和231，分別占總樣本比例93.88％和6.12％。sick類可看作稀有類。

4.1 實驗結果

基于每個數據集，采用weka平臺提供的unsupervised resample數據預處理方法改變樣本規格的大小，使得實例數目分別是原始數據的倍到10倍不等。對這些處理后的數據集分別應用組合分類器bagging、FandomForest和Rotation Forest算法進行分類。

表2是應用Rotation Forest算法在處理后得到的sick數據集上關于sick類的實驗結果。sick數據集樣本被擴充了若干倍不等。

表3是應用Random Forest算法在處理后得到的sick數據集上關于sick類的實驗結果。sick數據集樣本被擴充了若干倍不等。

表4是應用Bagging算法在處理后得到的sick數據集上關于sick類的實驗結果。Bagging算法在sick數據集上實驗時，樣本被擴充到10倍后，recall值仍沒有達到1，后來實驗又將樣本擴充至12倍，但由于內存不夠實驗終止。

通過上述表格中的實驗結果，可以看到隨著樣本規格變大，衡量稀有類分類的這些參數也呈遞增。這也意味著隨著稀有類實例數目的增加，算法可以獲得更多關于稀有類的信息，從而有利于對稀有類實例的識別。

4.2 結果分析

通常認為影響稀有類分類的重要因素是數據分布的不平衡性，也就是說對于稀有類問題，普通的分類算法往往失效，但本文的實驗結果表明，數據分布的不平衡性影響稀有類分類的一個因素，在特定的類比率下，使樣本規格變大，普通的分類算法往往也可以取得很好的分類結果。

本文對稀有類分類問題進行了研究，分析了影響稀有類分類問題的因素，探討了稀有類分類的評估標準。針對影響稀有類分類的一個因素：樣本規格的大小進行研究，在同等類分布比率下，改變樣本規格的大小，在weka平臺下進行實驗，得到數據集中稀有類的recall、precision和F-measure值。實驗結果表明，在特定的類比率下，使樣本規格變大，普通的分類算法往往也可以取得很好的分類結果。同時也說明，數據分布的不平衡性只是影響稀有類分類的一個因素，即使數據分布極不平衡。