【聯絡】二項分佈的對數似然函式與交叉熵（cross entropy）損失函式

阿新 • • 發佈：2019-01-23

1. 二項分佈

二項分佈也叫 0-1 分佈，如隨機變數 x 服從二項分佈，關於引數 μ（0≤μ≤1），其值取 1 和取 0 的概率如下：

{p(x=1|μ)=μp(x=0|μ)=1−μ

則在 x 上的概率分佈為：

Bern(x|μ)=μx(1−μ)1−x

2. 服從二項分佈的樣本集的對數似然函式

給定樣本集 D={x1,x2,…,xB} 是對隨機變數 x 的觀測值，假定樣本集從二項分佈 p(x|μ) 中獨立（p(x1,x2,…,xN)=∏ip(xi)）取樣得來，則當前樣本集關於 μ 的似然函式為：

p(D|μ)=∏n=1Np(xn|μ)=∏n=1Nμxn(1−μ)1−xn

從頻率學派的觀點來說，通過最大似然函式的取值，可以估計引數 μ

，最大化似然函式，等價於最大化其對數形式：

則有：

lnp(D|μ)===lnμ∑n=1Nxn+ln(1−μ)∑n=1N1−xnlnμ∑n=1Nxn+ln(1−μ)(N−∑n=1Nxn)∑n=1Nxnlnμ+(1−xn)ln(1−μ)

求其關於 μ 的導數，解得 μ 的最大似然解為：

μML=1N∑n=1Nxn

這裡我們僅關注：

lnP(D|μ)=∑n=1Nxnlnμ+(1−xn)ln(1−μ)

3. 交叉熵損失函式

LH(x,z)=−∑n=1Nxnlogzn+(1−xn)log(1−zn)

x 表示原始訊號，z 表示重構訊號。（損失函式的目標是最小化，似然函式則是最大化，二者僅相差一個符號）。

【聯絡】二項分佈的對數似然函式與交叉熵（cross entropy）損失函式

1. 二項分佈二項分佈也叫 0-1 分佈，如隨機變數 x 服從二項分佈，關於引數 μ（0≤μ≤1），其值取 1 和取 0 的概率如下： {p(x=1|μ)=μp(x=0|μ)=1−μ 則在 x

二項分佈的對數似然函式與交叉熵（cross entropy）損失函式的聯絡

今天覆習Logistic迴歸的時候涉及到二項分佈的求最大似然解，突然發現這個對數似然函式熟悉，似曾相識，不就是交叉熵損失函式麼，難道這僅僅是巧合，不能夠。先看下這個推導。 1. 二項分佈（0-1分佈）： 2. 最大似然估計法： 3.

【概率論】二項分佈 Binomial Distribution

Binomial Distribution 描述的是 Bernoulli 試驗獨立重複 nn 次的結果, 可以用 (n,p)(n,p) 兩個值來描述, 其中 nn 代表試驗的次數, pp 與 Bernoulli distribution 中的 pp 同義. PM

12、【堆】二項堆

不能並且 on() 連接允許暫時其它 == 更新一、二項樹的介紹二項樹的定義二項堆是二項樹的集合。在了解二項堆之前，先對二項樹進行介紹。二項樹是一種遞歸定義的有序樹。它的遞歸定義如下：　　(1) 二項樹B0只有一個結點；　　(2) 二項樹Bk由兩棵二項樹B(

【劍指offer】二維陣列中的查詢——複雜度為O（n+m）——採用PHP寫法

背景今天偶然進入牛客網，看到《劍指offer》模組有演算法題，就開始試著答題題目描述在一個二維陣列中（每個一維陣列的長度相同），每一行都按照從左到右遞增的順序排序，每一列都按照從上到下遞增的順序排序。請完成一個函式，輸入這樣的一個二維陣列和一個整數，判斷陣

【聚焦】北京明年科博會-少兒智慧教育產品展（主展區）

【聚焦】北京明年科博會-少兒智慧教育產品展（主展區）在兒童早教產品領域，我們已經看到太多的學習機、復讀機、故事機、點讀筆等傳統品類。對於產品定位和選型，物靈有自己的主張——不做傳統品類的升級，而堅持做新品類，堅持做有靈互體驗的產品。同時具備計算機視覺、語音互動、自然語言理解的Luka繪本閱讀機器人作為

【題解】洛谷P1373 小a和uim之大逃離（座標DP）

次元傳送門：洛谷P1373 思路設f[i][j][t][1/0]表示走到(i,j)時小a減去uim的差值為t 當前是小a取（0） uim取（1）那麼轉移就很明顯了 f[i][j][t][0]=(f[i][j][t][0]+f[i-1][j][(t-map[i][j]+k)%k][1])%1

【尋優演算法】交叉驗證（Cross Validation）引數尋優的python實現：多引數尋優

【尋優演算法】交叉驗證（Cross Validation）引數尋優的python實現：多引數尋優一、網格搜尋原理二、網格搜尋+交叉驗證用於多引數尋優的python實現 1、訓練模型及待尋優引數 2、直接迴圈巢狀實現網格搜尋 + cros

【尋優演算法】交叉驗證（Cross Validation）引數尋優的python實現：單一引數尋優

【尋優演算法】交叉驗證（Cross Validation）引數尋優的python實現：單一引數尋優一、交叉驗證的意義二、常用的交叉驗證方法 1、Hold one method 2、K-flod CV 3、Leave-One-Ou

【Linux】centos 7 linux系統預設ftp安裝配置和部署（詳細講解）

小生接觸 Linux 系統時間不長，想解決linux系統ftp安裝及部署問題，折騰了大半天，終於弄出來了，將各路高手的配置方法綜合了一下，如有不對之處，歡迎各位看客指正，感謝！一、宣告：　　本文采用作業系統版本： Centos 7 Linux系統　　　　版本源：C

10、【C++】前向宣告、巢狀類、區域性類（內部類）

一、前向宣告在C++中，類需要先定義，而後才能被例項化，但是實際存在一種場景是：兩個類需要相互引用或相互成為類中的子物件成員時，就無法先定義使用，在編譯環節就出現錯誤導致編譯失敗，這時就需要用到前向宣告，此外，前向宣告的類不能被例項化。【示例】 //

【機器學習】交叉驗證（cross-validation）

1、什麼是交叉驗證交叉驗證（Cross validation)，交叉驗證用於防止模型過於複雜而引起的過擬合。有時亦稱迴圈估計，是一種統計學上將資料樣本切割成較小子集的實用方法。於是可以先在一個子集上做分析，而其它子集則用來做後續對此分析的確認及驗證。一開始的子集被稱

【新聞】本人新書《Java多執行緒程式設計實戰指南（核心篇）》已出版上市

豆瓣主頁購買連結試讀下載（待補充）原始碼下載內容簡介隨著現代處理器的生產工藝從提升處理器主頻頻率轉向多核化，即在一塊晶片上整合多個處理器核心（Core），多核處理器（Multicore Proc

【程式設計】常見概念的理解 —— inplace、vanity url、vanilla（code/software）、編譯、連結、build、（delegate、proxy）

inplace：如修改一個檔案等物件時， inplace=True，不建立新的物件，直接在原始物件上盡心修改； inplace=False，在對原始物件進行修改，而會建立新的物件； vanity url：虛擬地址空間，表示某平臺下，個人申請的不會出現重名的

【ACM】帶權有向圖單源最短路徑（Dijkstra演算法）

最短路徑的第一類問題求從單個源點到其餘各頂點的最短路徑。這是一種貪心策略，不可以存在負權邊。演算法簡介給定帶權有向圖G和源點v0，求從源點v0到G中其餘各頂點的最短路徑。迪傑斯特拉演算法是對

【分享】分享一個基於SSH實現的簡單學生選課系統（附原始碼）

歡迎關注微信賬號：java那些事：csh624366188.每天一篇java相關的文章 java交流工作群1: 77800592（已滿） java交流學生群2：234897635（已滿） java交流工作群3：94507287 java交流工作群4: 272265434 我的郵箱：

【轉】第六屆藍橋杯決賽第二題完美正方形（線段樹）

完美正方形如果一些邊長互不相同的正方形，可以恰好拼出一個更大的正方形，則稱其為完美正方形。歷史上，人們花了很久才找到了若干完美正方形。比如：如下邊長的22個正方形 2 3 4 6 7 8 12 13 14 15 16 17 18 21 22 23 24 26 27 2

【Ionic3】關閉新增頁面，跳轉到列表後重新整理（回顯）

一、問題描述看了好多帖子要麼沒講到重點，要麼都是ionic1，ionic2的東西；需求：從列表頁面，到達新增頁面，建立新增的物件，關閉新增頁面後，重新整理列表記錄；二、解決辦法 //跳轉到請假新增頁面 gotoLeaveAddPage() {

【教程】ios端利用微軟RD Client APP遠端連線PC（外網）

本教程介紹如何在ios端例如（iPad、iPhone等）利用微軟的RD Client APP遠端連線自己的PC。一、從iTunes上下載RD Client 登陸App Store搜尋RD Client並下載即可。二、設定PC以允許遠端桌面連線 P

【ZOJ4054】2018ICPC青島賽區網路賽H Traveling on the Axis（字首和）

題目連結【題意】在[0,n]中每0.5處設定一個紅綠燈，0表示紅燈，1表示綠燈，如果在4.5處有紅燈，要從4到5，就要等1s，給出初始的紅綠燈狀態，每1s會改變狀態，即由紅燈變成綠燈，或綠燈變成紅燈，然後計算圖中表達式。【解題思路】可以手動模擬

【聯絡】二項分佈的對數似然函式與交叉熵（cross entropy）損失函式

1. 二項分佈

2. 服從二項分佈的樣本集的對數似然函式

3. 交叉熵損失函式

相關推薦