7.1 軟間隔SVM等價於最小化L2正則的合頁損失

上一篇 說到，$\xi_i$ 表示偏離邊界的度量，若樣本點 (xi,yi) $($

x i , y i ) $(x_i,y_i)$滿足約束時，則 $\xi_i =0$， 當不滿足約束時，$\xi_i =1 - y_i(w \cdot x_i + b)$,表示偏離margin的度量。

則把上面的合起來：

$\xi_i = max(0, 1 - y_i(w \cdot x_i + b))$
那麼優化目標函式可以寫為：

$min_{ \ w,b} \ \ \frac{1}{2}{||w||}^2 + C \sum_{i=1}^{N}max(0, 1 - y_i(w \cdot x_i + b)) \ \ \ \ \ \ \ \ (1)$

其中，我們把式子中的
$L_{hinge }= max( \ 1-z \ , \ 0)$ 稱為hinge合頁損失函式。

我們可以看到 L2 正則化的合頁損失函式可以等價於軟間隔SVM。
但是，軟間隔SVM的優勢在於：

• 是一個二次規劃問題（QP），可以利用核技巧
• max（0，1-z）不是可微的，難以解決，無法用梯度下降。

---

7.2 軟間隔SVM與L2正則的0-1損失

軟間隔允許某些樣本不滿足約束
$\ \ \ y_i{(w \cdot x_i + b )}{} \geq {1};$，而且我們希望在最大化間隔時，不滿足約束的樣本儘可能少。

那麼優化目標函式可以寫為：

$min_{ \ w,b} \ \ \frac{1}{2}{||w||}^2 + C \sum_{i=1}^{N} L_{0/1}(y_i(w \cdot x_i+b)-1)\ \ \ \ \ \ \ \ (2)$

C 為無窮大時，迫使所有樣本滿足約束，C為有限值時，允許一些樣本不滿足約束。

其中，$L_{0/1}$是0-1損失函式，代表當不滿足約束時，記為 1. 但是，0-1損失函式是非凸非連續函式，數學性質不好，通常使用凸函式且是0-1損失函式的上界來代替損失函式：

• hinge合頁損失函式：
  $L_{hinge }= max( \ 1-z \ , \ 0)$
• 指數算損失:
  $L_{exp}z = e^{ -z}$
• 對率損失： $L_{log}z = log_2(1+e^{ -z})$

7.3 軟間隔SVM和L2正則的損失函式的對應關係

使用

• 最大間隔對應L2正則化項
• 一個大的C對應一個小的 $\lambda$
• 軟間隔對應特殊的損失

那麼，軟間隔SVM可以視為一個加L2正則化的模型。

---

7.4 邏輯迴歸模型和線性支援向量機的關係

針對（2）,如果將0-1損失函式$L_{0/1}$替換成對數損失函式$L_{log}$(也就是極大似然函式),那麼就幾乎得到了邏輯迴歸模型（周志華《機器學習》P57）。

實際上，支援向量機和邏輯迴歸的優化目標相近，效能也相當。

邏輯迴歸的優勢：

• 有自然的概率意義，在給出預測標記的同時給出概率。
• 能應用於多分類任務。

SVM的優勢：

• 支援向量機的解只依賴於支援向量，邏輯迴歸的解依賴於更多的訓練樣本，預測開銷比較大。

---

7.5 Platt模型：SVM的概率模型

1. run SVM on D .得到

   相關推薦

   SVM支援向量機系列理論（七） 線性支援向量機與L2正則化 Platt模型

   7.1 軟間隔SVM等價於最小化L2正則的合頁損失 上一篇 說到， ξi ξ i \xi_i 表示偏離邊界的度量，若樣本點

   SVM支援向量機系列理論（三） 非線性支援向量機與核函式技巧

   3.1 核技巧解決非線性SVM 3.1.1 非線性SVM解決思路 3.1.2 核技巧下SVM 3.2 Mercer核

   SVM支援向量機系列理論（二） 線性可分SVM模型的對偶問題

   2.1 對偶問題 2.1.1 原始問題的轉換 2.2.2 強對偶性和弱對偶性 2.3.3 SVM模型的對偶問題形式求解

   SVM支援向量機系列理論（九） 核嶺迴歸

   1. 嶺迴歸問題 嶺迴歸就是使用了L2正則化的線性迴歸模型。當碰到資料有多重共線性時（自變良量存在高相關性），我們就會用到嶺迴歸。 嶺迴歸模型的優化策略為： minw    1N∑i(yi−w⋅zi)2+λNwTw&nbs

   SVM支援向量機系列理論（四） 軟間隔支援向量機

   4.1 軟間隔SVM的經典問題 4.2 軟間隔SVM的對偶問題 4.2.1 軟間隔SVM的對偶問題學習演算法 4.3 軟間

   SVM支援向量機系列理論（六） SVM過擬合的原因和SVM模型選擇

   6.1 SVM 過擬合的原因 實際我們應用的SVM模型都是核函式+軟間隔的支援向量機，那麼，有以下原因導致SVM過擬合： 選擇的核函式過於powerful，比如多項式核中的Q設定的次數過高 要求的間隔過大，即在軟間隔支援向量機中C的引數過大時，表示比較重視間隔，堅持要資

   SVM支援向量機系列理論（五）SVM中幾種核函式的對比

   核函式可以代表輸入特徵之間特殊的相似性。 5.1 線性核 形式： K(x,x′)=xTx′ K ( x ,

   SVM系列理論（十） SVR支援向量迴歸

   1 敏感度損失函式 2 支援向量迴歸模型的匯出 3 對偶形式的匯出 4 KKT條件匯出支援向量 5 KKT條件匯出b的值

   機器學習算法整理（七）支持向量機

   技術分享 分享 bubuko wid width tro 技術 16px ID 容錯能力越強越好 b為平面的偏正向，w為平面的法向量，x到平面的映射： 先求的是，距分界線距離最小的點；然後再求的是 什麽樣的w和b，使得這樣的點，距離分界線的值最大。 放縮之

   Spring Boot乾貨系列：（七）預設日誌logback配置解析

   前言 今天來介紹下Spring Boot如何配置日誌logback,我剛學習的時候，是帶著下面幾個問題來查資料的 如何引入日誌？ 日誌輸出格式以及輸出方式如何配置？ 程式碼中如何使用？ 正文       Spring Boot在所有

   小鑫の日常系列故事（七）——小紙條

   Problem Description 小鑫在高中的時候喜歡上了一個十分漂亮的女孩。那個女孩也很喜歡他，就答應成為他的女朋友。 但是大家都知道高中的生活是忙碌的，除了上課就是上課，有時候可能連課間時間都被老師佔用。於是小鑫想出了在上課給女朋友傳紙條的方法來表達自

   Java NIO系列教程（七） FileChannel

   原文連結     作者：Jakob Jenkov     譯者：周泰      校對：丁一 Java NIO中的FileChannel是一個連線到檔案的通道。可以通過檔案通道讀寫檔案。 FileChannel無法設定為非阻塞模式，它總是執行在阻塞模式下。 開啟FileChannel 在使用F

   OAuth 2.0系列教程（七） 請求和響應

   作者：Jakob Jenkov   譯者：林浩    校對：郭蕾 當客戶端應用請求授權和訪問令牌時，它傳送http請求到授權伺服器，同它的授權和令牌端點。被髮送來回的請求和響應取決於授權型別。記住，這四種授權型別： 授權碼授權 契約授權 資源擁有者金鑰證書授權 客戶端證書授權 每一種授權

   Spring原理與原始碼分析系列（七）- Spring AOP實現過程與實戰

   二、Spring AOP 1、什麼是Spring AOP Spring AOP是Spring核心框架的重要組成部分，採用Java作為AOP的實現語言。與AspectJ實現AOP方式不同之處在於，Spring AOP僅支援方法級別的攔截。 2、

   Deep Learning（深度學習）學習筆記整理系列之（七）

   Deep Learning（深度學習）學習筆記整理系列 作者：Zouxy version 1.0 2013-04-08 宣告： 1）該Deep Learning的學習系列是整理自網上很大牛和機器

   《Linux系統》之"皮毛系列"（七） 網路通訊設定

   對於Linux初學者來說，Linux系統的網路配置，又好玩又煩惱。好玩是因為，多臺linux主機之間可以通訊了，或者是可以聯網進行網上衝浪了。煩惱的是，需要設定一堆噁心難記的資料。(記得本人剛剛接觸Linux時，遇到網路設定就一個頭兩個大)。今天我就整理一下配置思路，供大家參考！！！(下面案例以VM

   深度學習系列（七）：自編碼網路與PCA特徵學習的分類對比實驗

   上節我們看到自編碼網路額隱含層可以用於原始資料的降維（其實也可以升維，不過把隱含層的單元設定的比輸入維度還要多），換而言之就是特徵學習，那麼學習到的這些特徵就可以用於分類了，本節主要試驗下這些特徵用於分類的效果。 先以最簡單的三層自編碼網路為例，先訓練自編碼網

   GIS程式設計（七）實現基本向量圖形系統的文件和檢視（1） 組織向量圖形系統的圖形元素類

   GIS程式設計（七）實現基本向量圖形系統的文件和檢視（1）組織向量圖形系統的圖形元素類本章將具體組織開發一個用於GIS系統的向量圖形系統。第一步是討論基本圖形系統中圖形元素類的組織，實現向量圖形系統的文件和檢視。1、圖形元素基類的組織。新建一個MFC多文件程式，命名為“Dra

   Deep Learning（深度學習）學習筆記整理系列之（七）Convolutional Neural Networks卷積神經網路

   轉處：http://blog.csdn.net/zouxy09/article/details/8781543/ Deep Learning（深度學習）學習筆記整理系列 作者：Zouxy version 1.0 2013-04-08 宣告： 1）該Deep

   【原創】Selenium學習系列之（七）—ConnectDB和複用測試方法

   一篇來說一下Webdriver中連線DB合複用測試方法。 兩個完全不搭邊的東西怎麼說明呢，既然不好說那就不多說，通過例子來理解。 需求我們要實現一個這樣的測試情境： 登入系統時，若loginID正確，但密碼錯誤，連續三次密碼輸入錯誤後，系統會lock user。 怎麼實現呢