統計概率模型

1、高斯判別分析

2、樸素貝葉斯

3、隱馬爾可夫模型

4、最大熵馬爾科夫模型

5，條件隨機場

6，馬爾科夫決策過程

一、高斯判別分析

一、生成模型

機器學習模型有一種分類方式：判別模型和生成模型。它們之前的區別在於判別模型是直接從資料特徵到標籤，而生成模型是從標籤到資料特徵。形式化的表示就是是否使用了貝葉斯公式：

max P (Y | X) = \frac{P (X | Y) P (Y)}{P (X)} \to max P (X | Y) P (Y)

機器學習模型從概率的角度來看就是最大

P (Y | X)

的條件概率，判別模型的思想是直接最大化這個概率（Fisher線性判別，線性感知機），生成模型則是通過貝葉斯模型最大後驗概率

P (X | Y) P (Y)

，其中

P (X | Y)

可以看作是從標籤d生成資料，

P (Y)

則是標籤的先驗概率。

基本上從標籤到資料的模型都是基於對樣本的統計，以下的模型都是基於資料的統計（但不全是生成模型），所以筆者將這部分歸類到統計概率模型。

二、高斯判別分析

高斯判別分析是一個典型的生成模型，其假設 $P (X | Y)$ 服從一個高斯分佈， $P (Y)$ 服從一個伯努利分佈通過統計樣本來確定高斯分佈和伯努利分佈的引數，進而通過最大後驗概率來進行分類。

假設資料在標籤為 $Y$ 下，特徵為 $X$ 的條件概率為 $P (X | Y)$ 服從多元高斯分佈 $X - N (μ, Σ)$ ，其中 $μ$ 為均值， $Σ$ 為協方差矩陣。則有：

P (X | Y) = \frac{1}{2 π^{\frac{n}{2}} | Σ |^{\frac{1}{2}}} e x p (- \frac{1}{2} (x - μ)^{T} Σ^{- 1} (x - μ))

而先驗分佈

P (Y)

服從伯努利分佈

y \sim B e r n o u l l i (ϕ)

，當

y \in (0, 1)

時，是一元伯努利分佈，當

y \in (1 ， 2, . . . k)

時，同樣可以像Logistic推廣到SoftMax一樣處理多元伯努利分佈。下面以一元伯努利分佈為例計算完整的高斯判別模型的概率：

y \sim B e r n o u l l i (ϕ) (x | y = 0) \sim N (μ_{0}, Σ_{0}) (x | y = 1) \sim N (μ_{1}, Σ_{1})

p (y) = ϕ^{y} (1 - ϕ)^{1 - y} p (x | y = 0) = \frac{1}{2 π^{\frac{n}{2}} | Σ |^{\frac{1}{2}}} e x p (- \frac{1}{2} (x - μ_{0})^{T} Σ_{0}^{- 1} (x - μ_{0})) p (x | y = 0) = \frac{1}{2 π^{\frac{n}{2}} | Σ |^{\frac{1}{2}}} e x p (- \frac{1}{2} (x - μ_{1})^{T} Σ_{1}^{- 1} (x - μ_{1}))

統計概率模型-高斯判別分析

統計概率模型

1、高斯判別分析

2、樸素貝葉斯

3、隱馬爾可夫模型

4、最大熵馬爾科夫模型

5，條件隨機場

6，馬爾科夫決策過程

一、高斯判別分析

一、生成模型

二、高斯判別分析

統計概率模型-高斯判別分析

高斯判別分析模型The Gaussian Discriminant Analysis model

生成模型中的高斯判別分析和樸素貝葉斯

生成學習演算法之高斯判別分析模型

高斯判別分析 Gaussian Discriminant Analysis

生成學習演算法_高斯判別分析_樸素貝葉斯_斯坦福CS229_學習筆記

生成模型--高斯判別+樸素貝葉斯

分類-3-生成學習-2-高斯判別分析、協方差

斯坦福機器學習：網易公開課系列筆記（五）——高斯判別分析、樸素貝葉斯

斯坦福機器學習筆記1：GDA高斯判別分析演算法的原理及matlab程式實現

高斯判別分析演算法及其python實現

深入淺出機器學習之生成模型，高斯判別

【BZOJ3640】JC的小蘋果概率DP+高斯消元

BZOJ2337 [HNOI2011]XOR和路徑【概率dp + 高斯消元】

LightOJ - 1151概率dp+高斯消元

luoguP3232 [HNOI2013]遊走貪心 + 概率期望 + 高斯消元

BZOJ4820 SDOI2017硬幣遊戲（概率期望+高斯消元+kmp）

概率分佈---高斯分佈

統計概率模型-隱馬爾可夫模型

統計概率模型-條件隨機場