1. 程式人生 > >通過簡單例子來理解先驗分佈、後驗分佈、似然估計&&貝葉斯公式

通過簡單例子來理解先驗分佈、後驗分佈、似然估計&&貝葉斯公式


這幾個概念可以用“原因的可能性”和“結果的可能性”的“先後順序”及“條件關係”來理解。下面舉例:

隔壁老王要去10公里外的一個地方辦事,他可以選擇走路,騎自行車或者開車,並花費了一定時間到達目的地。在這個事件中,可以把交通方式(走路、騎車或開車)認為是原因,花費的時間認為是結果。

若老王花了一個小時的時間完成了10公里的距離,那麼很大可能是騎車過去的,當然也有較小可能老王是個健身達人跑步過去的,或者開車過去但是堵車很嚴重。若老王一共用了兩個小時的時間完成了10公里的距離,那麼很有可能他是走路過去的。若老王只用了二十分鐘,那麼很有可能是開車。這種先知道結果,然後由結果估計原因的概率分佈,p

(交通方式|時間),就是後驗概率。

老王早上起床的時候覺得精神不錯,想鍛鍊下身體,決定跑步過去;也可能老王想做個文藝青年試試最近流行的共享單車,決定騎車過去;也可能老王想炫個富,決定開車過去。老王的選擇與到達目的地的時間無關。先於結果,確定原因的概率分佈,p(交通方式),就是先驗概率。

老王決定步行過去,那麼很大可能10公里的距離大約需要兩個小時;較小可能是老王平時堅持鍛鍊,跑步過去用了一個小時;更小可能是老王是個猛人,40分鐘就到了。老王決定騎車過去,很可能一個小時就能到;較小可能是老王那天精神不錯加上單雙號限行交通很通暢,40分鐘就到了;還有一種較小可能是老王運氣很差,連著壞了好幾輛共享單車,花了一個半小時才到。老王決定開車過去,很大可能是20分鐘就到了,較小可能是那天堵車很嚴重,磨磨唧唧花了一個小時才到。這種先確定原因,根據原因來估計結果的概率分佈,p

(時間|交通方式),就是似然估計。

老王去那個地方好幾趟,不管是什麼交通方式,得到了一組關於時間的概率分佈。這種不考慮原因,只看結果的概率分佈,p(時間),也有一個名詞:evidence(不清楚合適的中文名是什麼)。

最後,甩出著名的貝葉斯公式:

p(\theta|x)={p(x|\theta)p(\theta)\over p(x)}

x : 觀察得到的資料(結果)

\theta : 決定資料分佈的引數(原因)

p(\theta|x) : posterior

p(\theta) : prior

p(x|\theta) : likelihood

p(x) : evidence


總的來說,就是用別的條件概率來求這一個條件概率

以下是推導過程,只有三步

Step 1: 條件概率公式,表示在B_j發生的條件下,事件發生A_i的概率

下式: 分子表示事件A_i B_j同時發生的概率,分母表示事件B_j發生的概率

P(A_i \vert B_j )=P(A_i B_j )/P(B_j )

Step 2: 把分子P(A_i B_j )變一下,

由step1的式子,P(A_i B_j )= P(A_i |B_j)×P(B_j )

同理,

P(B_j |A_i)=P(B_j A_i ) / P(A_i ), i.e. P(B_j A_i )=P(A_i )P(B_j A_i )
\because P(B_j A_i )=P(A_i B_j )
\therefore P(A_i B_j )=P(A_i )×P(B_j |A_i)

Step 3: 把分母P(B_j)變一下,

將事件B進行分割的時候,不是直接對B進行分割,而是先找到樣本空間Ω的一個個劃分為A_1,A_2,...,A_n,這樣事件A就被事件BA_1,BA_2,BA_3,...,BA_n分解成了n部分,即

B=BA_1+BA_2+BA_3+⋯+BA_n
\therefore P(B)=P(BA_1)+P(BA_2)+P(BA_3)+⋯+P(BA_n)

Step 4: 整合Step1、2、3,完工

P(A_i |B_j)=P(A_i B_j )/P(B_j ) =(P(A_i )×P(B_j |A_i ))/(P(BA_1 )+P(BA_2 )+P(BA_3 )+⋯+P(BA_n ) )

作者:azhlm
連結:https://www.zhihu.com/question/51448623/answer/143664566
來源:知乎
著作權歸作者所有。商業轉載請聯絡作者獲得授權,非商業轉載請註明出處。