分類演算法：

判別學習演算法（logistic二元分類器，softmax分類器..）特點:直接去求條件概率分佈 p(y|x; θ）, 也表示為 hθ(x)，重點是去擬合引數θ

生成學習算(中心思想是直接去求p(y|x; θ）很難,然後轉而去求聯合分佈 p(x，y), 然後利用貝葉斯公式得到：p(y|x） ＝ p(x｜y) * p(y )/ p(x))

高斯判別分析（GDA）----------解決的是連續型隨機變數的分類問題

                                      join density:P(x,z)=πiN(x|ui,Σi)

模型假設：

                                                               y~B(1,)    假設問題的概率結構已知

                                          x|y=0~N(u0,Σ)     x|y=1~N(u1,Σ)  類別yi對樣本的類條件概率密度PDF

                                                         先驗概率

貝葉斯規則：                 p(y|x)p( x)=p(x,y)=p(x|y)p(y)

                                     P(y=?|x)=p(x|y=?)p(y=?)/p(x)  後驗概率

                                                p(x)=Σp(x|y=?)

模型：                   最大後驗概率決策

含有     四個引數，用其估計去替換引數

MLE：

MAP：                    

當引數的先驗分佈是均勻分佈時，MLE和MAP等價

貝葉斯估計：

協方差矩陣對角化/單位化：

對角化：主成分分析再寫

單位化：白化變換： 

協方差奇異矩陣時：求偽逆矩陣代替逆矩陣/正則判別分析

                          對LDF做正則，加個小擾動

樸素貝葉斯（條件獨立）--------------x 是 離散值（特徵是連續值的情況，也可以採用分段來將連續值轉化為離散值）

二分類                               

                                                P(x|y)類別yi對樣本的類條件概率質量PMF

因為分母與輸入資料是常量相關：     

模型：                                                        

引數估計：

最小錯誤率決策等價於最大後驗概率決策

   平均錯誤率  : 

最小風險決策(期望風險最小化):（不同於收益最大化一個是風險厭惡型的，一個是風險偏好型的）

y∈{1,2....C}用one-hot表示y屬於哪一類：y=(0,1,0...0)∈R^c  屬於i類後驗概率aj(x)  a(x)∈R^c

損失函式：   

0-1損失函式                                   L(y,a(x))=1,if y!=a(x) else 0

平方損失函式：                             L(y,a(x))=(y-a(x))^2

交叉熵損失函式：                       

合頁損失函式：標籤-1,1             L(y,a(x))=max{0,1-ya(x)}

期望（經驗）風險（大數定理保證）：                         

其中                                                          

條件風險與平均錯誤率關係：風險a(x) 是錯誤率的一個替代品

選擇對於每個樣本都保證條件風險儘可能小的分類規則 ，將使期望風險最小化===>argminR(ai|x)。

取損失函式為0-1 函式，最小風險決策退化為最小錯誤決策：