多分類問題

我們已經學習過二分類的問題，但是在生活中有很多場景，目標輸出並不僅僅只有兩種。例如手寫數字的識別，數字不只有0和1兩種，還有2、3、4、5、6、7、8、9，那我們就需要引入多分類的問題。

一、Softmax演算法

softmax迴歸演算法是邏輯迴歸演算法的泛化，這是一種針對多分類環境的二元分類演算法。

1、模型

假設有四個可能的輸出

特別的，當可能的輸出只有兩種時，Softmax的效果最後等同於邏輯迴歸，所以這是為什麼它被稱為邏輯迴歸的泛化。

2、代價函式

Softmax的損失為aj的負對數，值越接近1，也就是等於真實值的概率越大，損失就越小；值越遠離1而接近0，也就是等於真實值的概率越小，損失就越大。

二、神經網路的Softmax輸出

為了建立一個多分類的神經網路，我們使用Softmax迴歸模型，將它放到神經網路的輸出層。

三、TensorFlow實現

四、改進

雖然x1等價於x2，但是不同的計算方式會導致精度存在差異。

在改進之後，我們將輸出層的啟用函式改為線性迴歸函式，那麼輸出層輸出的不再是a1、a2......，而是z1、z2......

改進後的邏輯迴歸

五、多標籤分類問題

多標籤分類問題指的是在單個輸入下，輸出帶有多個標籤的問題。舉一個例子，檢測一張圖片中是否存在汽車、是否存在公交、是否存在行人，這一型別就是多標籤分類問題。

使用神經網路實現