貝葉斯網路（機器學習系列，持續更新中~）
阿新 • • 發佈：2018-12-10
在說貝葉斯規則（Bayes rule）和將貝葉斯規則用於圖模型之前，先讓大家瞭解下機器學習的四個正規化（paradigms），也可以理解為四個流派；
- 連線主義（connectionist）：用現在比較流行的說法就是神經網路，現在用到的工具有Tensorflow、PyTorch、Theano、caffe等~
- 符號主義：邏輯的學習，思想嚴密但計算複雜度很高，從18年開始，在nlp領域上有人開始嘗試連線主義和符號主義的聯姻~
- 統計學習：包括大家很熟悉的SVM，統計學習是基於統計學的原理，通過理論出發實現可靠的模型~目前的困難在於大資料量訓練的時候需要一個更為有效的訓練方法
- 圖模型：這個包括我們今天需要學習的貝葉斯網路，還有下一篇文章我將會講到的HMM（隱形馬爾可夫模型）
下圖為貝葉斯公式
在Monty Hall Problem上，貝葉斯公式有著很直接的應用，大家可以檢視連結並瞭解下是如何通過貝葉斯公式來解決這個難題的~如果需要更直觀的理解這個問題和解法，可以看看這篇部落格，問題中每個概率的值怎麼來博主都有相應的解釋。
維度的詛咒（The curse of dimensionality）
當一個模型中有多個引數（設有d個），若要知道這個模型引數的聯合分佈，如果用直接儲存的方式，則需要2^d的儲存空間，當d的數量上升到成千上萬個以後，儲存空間的開銷將會變得異常的大，而概率圖模型可以以高效的方式將聯合分佈從指數級別的複雜度轉變成多項式級別的複雜度，從而減少儲存空間，這是概率圖模型的motivation~
介紹概率圖模型前先說下兩個詞：
Directed probabilistic graphical models：有向概率圖模型
Directed Acyclic Graph（DAG）：有向無環圖
上面的圖片可能有點太亂了，但順著看下來還是可以看懂的。首先，將圖片內中間的有向無環圖看成為一顆樹，這棵樹中每個節點（node）的概率為：P（Node|Parent(Node)），例如圖中的Alarm，它的父節點為Earthquake和Burglary，這Alarm節點的概率為P(A|E,B)。所以該概率圖的全概率P(B,E,A,R,C)=P(B)P(E)P(A|B,E)P(R|E)P(C|A)，所以DAG的概率公式為圖片下方所示
條件概率、聯合分佈、VC維