1. 程式人生 > >分類-3-生成學習-3-樸素貝葉斯模型、laplace平滑、多元伯努利事件模型、多項式事件模型

分類-3-生成學習-3-樸素貝葉斯模型、laplace平滑、多元伯努利事件模型、多項式事件模型

多元伯努利事件模型( multi-variate Bernoulli event model)

在 GDA 中,我們要求特徵向量 x 是連續實數向量。如果 x 是離散值的話,可以考慮採用樸素貝葉斯的分類方法。
假如要分類垃圾郵件和正常郵件。
x⃗ (m×1)m(x⃗ )i便xi1xi=0
舉個例子如下:
這裡寫圖片描述
郵件中包含“a”,”buy”且字典x⃗ 中也包含它們,因此字典中的對應位置置1;
而郵件中的單詞“aardvark”,“aardwolf”,“zygmurgy”並沒有出現在字典中,這類單詞我們忽略它們;
而對於字典中未在郵件中出現過的單詞,對應的位置我們置為0。
我們的目的是為了建立模型p

(x|y).
假如字典中的單詞數為50000,這時就會有250000中可能的輸入組合,這樣我們就需要2500002500001,pi,引數太多,不可能用來建模。

begin-補充:多項式分佈模型(二項式分佈的擴充套件)
多項式分佈( multinomial distribution)
某隨機實驗如果有 k 個可能結局 A1A2Ak它們的概率分佈分別是 p1p2pk,那麼在 N 次取樣的總結果中, A1 出現n1 次,A2出現 n2 次, …, Ak 出現 nk次的這種事件的出現概率 P 有下面公式:(Xini
這裡寫圖片描述
end-補充

因此,我們假設當y確定時,向量x⃗ 元素xi的取值(0或1)是相互獨立的。這就是樸素貝葉斯假設(Naive Bayes (NB) assumption),基於它的演算法稱為樸素貝葉斯分類器( Naive Bayes classifier)。
注:假設中是x⃗ 中的任意兩個元素在y的條件下,是相互獨立的即:p(xi|y)=p(xi|y,xj)(ij),而不是x⃗ 中的任意兩個元素是相互獨立的:p(xi)=p(xi|xj)(ij)
在樸素貝葉斯假設下我們有:、

P(X|Z)=P(X|Y,Z)P(X,Y|Z)=P(X|Z)P(Y|Z)

因此我們的原問題可寫為下面的形式:
這裡寫圖片描述
第一個等式根據概率密度鏈式法則得到,第二個等式由樸素貝葉斯假設得到。

下面給出我們模型的引數:
首先回想樸素貝葉斯公式:p(y