1. 程式人生 > >【模式識別與機器學習】——判別式和產生式模型

【模式識別與機器學習】——判別式和產生式模型

(1)判別式模型(Discriminative Model)是直接對條件概率p(y|x;θ)建模。常見的判別式模型有線性迴歸模型、線性判別分析、支援向量機SVM、神經網路、boosting、條件隨機場等。

  舉例:要確定一個羊是山羊還是綿羊,用判別模型的方法是從歷史資料中學習到模型,然後通過提取這隻羊的特徵來預測出這隻羊是山羊的概率,是綿羊的概率。

 

 

(2)生成式模型(Generative Model)則會對x和y的聯合分佈p(x,y)建模,然後通過貝葉斯公式來求得p(yi|x),然後選取使得p(yi|x)最大的yi,即:

常見的生成式模型有 隱馬爾可夫模型HMM、樸素貝葉斯模型、高斯混合模型GMM、LDA、高斯、混合多項式、專家的混合物、馬爾可夫的隨機場

 舉例:利用生成模型是根據山羊的特徵首先學習出一個山羊的模型,然後根據綿羊的特徵學習出一個綿羊的模型,然後從這隻羊中提取特徵,放到山羊模型中看概率是多少,在放到綿羊模型中看概率是多少,哪個大就是哪個。

(3)對比