1. 程式人生 > >統計概率模型-高斯判別分析

統計概率模型-高斯判別分析

統計概率模型

1、高斯判別分析
2、樸素貝葉斯
3、隱馬爾可夫模型
4、最大熵馬爾科夫模型
5,條件隨機場
6,馬爾科夫決策過程

一、高斯判別分析

一、生成模型

​ 機器學習模型有一種分類方式:判別模型和生成模型。它們之前的區別在於判別模型是直接從資料特徵到標籤,而生成模型是從標籤到資料特徵。形式化的表示就是是否使用了貝葉斯公式:

maxP(Y|X)=P(X|Y)P(Y)P(X)maxP(X|Y)P(Y)
機器學習模型從概率的角度來看就是最大P(Y
|X)
的條件概率,判別模型的思想是直接最大化這個概率(Fisher線性判別,線性感知機),生成模型則是通過貝葉斯模型最大後驗概率P(X|Y)P(Y),其中P(X|Y)可以看作是從標籤d生成資料,P(Y)則是標籤的先驗概率。

​ 基本上從標籤到資料的模型都是基於對樣本的統計,以下的模型都是基於資料的統計(但不全是生成模型),所以筆者將這部分歸類到統計概率模型。

二、高斯判別分析

​ 高斯判別分析是一個典型的生成模型,其假設P(X|Y)服從一個高斯分佈,P(Y)服從一個伯努利分佈通過統計樣本來確定高斯分佈和伯努利分佈的引數,進而通過最大後驗概率來進行分類。

假設資料在標籤為Y下,特徵為X的條件概率為P(X|Y)服從多元高斯分佈 XN(μ,Σ),其中μ為均值,Σ為協方差矩陣。則有:

P(X|Y)=12πn2|Σ|12exp(12(xμ)TΣ1(xμ))
而先驗分佈P(Y)服從伯努利分佈yBernoulli(ϕ),當y(0,1)時,是一元伯努利分佈,當y(12,...k)時,同樣可以像Logistic推廣到SoftMax一樣處理多元伯努利分佈。下面以一元伯努利分佈為例計算完整的高斯判別模型的概率:
yBernoulli(ϕ)(x|y=0)N(μ0,Σ0)(x|y=1)N(μ1,Σ1)