樸素貝葉斯法是基于貝葉斯定理與特征條件獨立假設的分類方法。最為廣泛的兩種分類模型是決策樹模型（Decision Tree Model）和樸素貝葉斯模型（Naive Bayesian Model，NBM）。

　　和決策樹模型相比，樸素貝葉斯分類器（Naive Bayes Classifier，或 NBC）發源于古典數學理論，有著堅實的數學基礎，以及穩定的分類效率。同時，NBC模型所需估計的參數很少，對缺失數據不太敏感，算法也比較簡單。理論上，NBC模型與其他分類方法相比具有最小的誤差率。但是實際上并非總是如此，這是因為NBC模型假設屬性之間相互獨立，這個假設在實際應用中往往是不成立的，這給NBC模型的正確分類帶來了一定影響。

　　模型講解

　　條件概率分布的參數數量是指數級的，也就是X和Y的組合很多，造成維數災難，導致實際無法運算。此處，樸素貝葉斯法對它做了條件獨立性的假設：

　　也就是各個維度的特征在類確定的情況下都是獨立分布的。這一假設簡化了計算，也犧牲了一定的分類準確率。基于此假設，以及貝葉斯定理，后驗概率為：

　　分母其實是P（X=x），等同于枚舉ck求聯合分布的和：∑P（X=x，Y=ck），此聯合分布按公式：

　　拆開，等于上式分母。將獨立性假設代入上式，得到：

　　樸素貝葉斯分類器可以表示為：

　　也就是給定參數，找一個概率最大的ck出來。注意到上式分母其實就是P（X=x），x給定了就固定了，跟ck一點關系都沒有，所以分母可以去掉，得到：

　　后驗概率最大化等價于期望風險最小化。如下解釋

　　選擇0-1損失函數，如下：

　　f（X）就是分類器的決策函數，損失函數的參數其實是一個聯合分布。此時期望風險函數為：

　　上面說過，這是一個聯合分布P（X，Y），是一個and（連乘）的形式，由此取條件期望為風險函數：

　　所謂條件期望，就是指X=x時，Y的期望。上式其實可以這么推回去：Ex∑［L（）］P（ck|X）=∑P（X）∑［L（）］P（X，ck）/P（X）=∑［L（）］P（X，ck）=E［L（）］，格式比較亂，但愿意思到了。為了最小化上式，只需對每個X=x執行最小化，那么加起來肯定是極小化的，由此有：

　　參數估計

　　極大似然估計：

　　前面說過，樸素貝葉斯法要學習的東西就是P（Y=ck）和P（X=x|Y=ck），這兩個概率的估計用極大似然估計法（簡單講，就是用樣本猜測模型參數，或者說使得似然函數最大的參數）進行：

　　也就是用樣本中ck的出現次數除以樣本容量：

　　分子是樣本中變量組合的出現次數，分母是上面說過的樣本中ck的出現次數。

　　貝葉斯估計：

　　最大似然估計有個隱患，假設訓練數據中沒有出現某種參數和類別的組合怎么辦？此時估計的概率值為0，但是這不代表真實數據中就沒有這樣的組合。解決辦法是采用貝葉斯估計，以下顯示的是先驗概率的貝葉斯估計和條件概率的貝葉斯估計：

　　分子和分母分別比最大似然估計多了一點東西，其意義是在隨機變量每個取值的頻數上加一個常量，當此常量取0時，就是最大似然估計，當此常量取1時，稱為拉普拉斯平滑，常用來解決零概率的問題。

　　算法流程

　　總結如下算法流程：