(θ)=12mtest∑i=1mtest(hθ(xtest(i))−ytest(i))2" role="presentation"> Jtest(θ)=12mtest∑i=1mtest(hθ(x(i)test)−y(i)test)2 $$\begin{array}{r}{J}_t\end{array}$$

e s t ( θ ) = 1 2 m t e s t ∑ i = 1 m t e s t ( h θ ( x t e s t ( i ) ) − y t e s t ( i ) ) 2 $$\begin{align*} J_{test}(\theta)= \frac{1}{2m_{test}}\sum_{i=1}^{m_{test}}( h_{\theta}(x_{test}^{(i)}) - y_{test}^{(i)} )^{2} \end{align*}$$

這實際上是測試集平方誤差的平均值。

分類問題中:

在分類問題中的測試誤差$J_{test}(\theta)$其實也被稱作誤分類率（也被稱為0/1錯分率），表示預測到的正確或錯誤樣本的情況：

$$err(h_{\theta}^{(x)},y) =\{ \begin{align*} &= 1 \ \ if\ h_{\theta}(x)\ge0.5,\ y=0 \ or\ if\ h_{\theta}(x)\le0.5,\ y=1 \\ &= 0 \ otherwise \end{align*}$$

模型選擇

假如你想要確定對於某組資料最合適的多項式次數是幾次，怎樣選用正確的特徵來構造學習演算法，這些問題我們稱之為”模型選擇問題“。

• 在模型選擇中，通常將資料集分為三段：訓練集、交叉驗證集（cross validation set）、測試集。
• 一種典型的分割比例是：訓練集60%，交叉驗證集20%，測試集20%。

我們可以得到 訓練集/交叉驗證集/測試集 的誤差：

模型選擇問題，即使用交叉驗證集來選擇合適的模型：

1. 通過使用訓練集對每一個假設函式依次去求最小化的代價函式$minJ(\theta)$，並求得對應的引數向量$\theta^{(d)}$。
2. 在交叉驗證集中測試這些假設的表現，測出$J_{cv}$來看看這些假設在交叉驗證集中表現如何。
3. 選擇交叉驗證集誤差最小的那個假設模型。
4. 使用測試集來評價模型的表現。

正則化引數λ對假設函式的影響

演算法正則化可以有效地防止過擬合，通常的做法是選取一系列要嘗試的λ值，可能從0.01,0.02,0.04開始，一直試下去，通常會將步長設為2倍的速度增長，直到一個比較大的值。

• 選用第一個模型，也就是$λ=0$，使用$\theta^{(1)}$來表示第一個引數向量$θ$
• 然後再取第二個模型$λ=0.01$，最小化代價方差，得到引數向量$\theta^{(2)}$
• 以此類推，一直到最後一個$λ=10$或$λ=10.24$的模型對應的$\theta^{(12)}$
• 用交叉驗證集來評價這些假設引數，測出每一個引數$θ$在交叉驗證集上的評價誤差平方和，然後選取這12個模型中交叉驗證集誤差最小的那個模型作為最終選擇。

λ 在訓練集上的變化

• 當λ的取值很小時，對訓練集的擬合相對較好，因為沒有使用正則化。
• 而如果λ的值很大時，將處於高偏差問題，不能對訓練集很好地擬合，訓練集誤差$Jtrain(θ)$的值會趨於上升。

λ在交叉驗證集上的變化

• 當λ的值取得很大時，會處於欠擬合問題。這對應著偏差問題，此時交叉驗證集誤差將會很大。
• 當λ值取得很小，會對資料過度擬合，交叉驗證集誤差也會很大。
• 這就是當改變正則化引數λ的值時，交叉驗證集誤差和訓練集誤差隨之發生的變化。當然，在中間取的某個λ的值，表現得剛好合適，這種情況下表現最好，交叉驗證集誤差或者測試集誤差都很小。

學習曲線(Learning Curves)

繪製學習曲線非常有用，可以判斷某一個學習演算法是否處於偏差方差問題，或者二者皆有。

高偏差下的學習曲線

假如你的假設處於高偏差問題，當樣本數量增多的時候，你不難發現用來擬合這些資料的直線相較於之前不會變化太大。

所以，如果你繪製出交叉驗證集誤差，應該是這個樣子：

• 最左邊表示訓練集樣本容量很小，比如說只有一組樣本，那麼表現當然很不好；
• 當達到某一個容量值的時候，你就會找到那條最有可能擬合數據的那條直線，並且此時即便你繼續增大訓練集的樣本容量m，你基本上還是會得到一條差不多的直線。因此交叉驗證集誤差將會很快變為水平而不再變化。
• 同樣，訓練誤差一開始也是很小的，而在高偏差的情形中，你會發現訓練集誤差會逐漸增大，一直趨於接近交叉驗證集誤差，這是因為你的引數很少。但當m很大的時候，資料太多，此時訓練集和交叉驗證集的預測結果將會非常接近。
• 這就是當你的學習演算法處於高偏差情形時學習曲線的大致走向。
• 高偏差的情形反映出的問題是交叉驗證集和訓練集誤差都很大，也就是說，你最終會得到一個值比較大的$Jcv(θ)$和$Jtrain(θ)$。

高方差下的學習曲線

• 處於高方差的時候，如果訓練集樣本容量很小時，訓練集誤差$Jtrain(θ)$將會很小。
• 隨著訓練集樣本容量的增大， Jtra
  相關推薦

  Andrew Ng 機器學習筆記 10 ：評價學習演算法

  評估假設函式 模型選擇 正則化引數λ對假設函式的影響 λ 在訓練集上的變化 λ在交叉驗證集上的變化 學習曲線(Lear

  Dubbo學習筆記10：Dubbo服務消費方啟動流程源碼分析

  exec checked 自己 當前 In rpc mod png collect 同理我們看下服務消費端啟動流程時序圖： 在《Dubbo整體架構分析》一文中，我們提到服務消費方需要使用ReferenceConfig API來消費服務，具體是調用代碼（1）get()方法來

  Kali學習筆記10：端口掃描詳解（下）

  repl .com pan pytho format www. run 筆記 inf 上一篇先是介紹了UDP的端口掃描，又談了TCP的不完全連接端口掃描 https://www.cnblogs.com/xuyiqing/p/9389276.html 接下來我們看看TCP的全

  Angular學習筆記10：路由

  在工作或者學習中，有時候會遇到如下需求： 在一個頁面上寫一個導航，導航欄中的每一個選項都對應一個頁面。就如Angular官方文件中： （圖片來自於Angular官方文件） 新增一個儀表盤檢視。 在Heroes和DashBoard檢視之間導航。 無論在哪個

  機器學習筆記九：K近鄰演算法（KNN）

  一.基本思想 K近鄰演算法，即是給定一個訓練資料集，對新的輸入例項，在訓練資料集中找到與該例項最鄰近的K個例項，這K個例項的多數屬於某個類，就把該輸入例項分類到這個類中。如下面的圖： 通俗一點來說，就是找最“鄰近”的夥伴，通過這些夥伴的類別來看自己的類別

  用Python開始機器學習（10：聚類演算法之K均值）

  我們之前接觸的所有機器學習演算法都有一個共同特點，那就是分類器會接受2個向量：一個是訓練樣本的特徵向量X，一個是樣本實際所屬的型別向量Y。由於訓練資料必須指定其真實分類結果，因此這種機器學習統稱為有監督學習。然而有時候，我們只有訓練樣本的特徵，而對其型別一無所知。這種情況，我

  《機器學習實戰》學習筆記一：K近鄰演算法

  K近鄰演算法kNN演算法的原理：存在一個樣本資料集合，且每個樣本資料都有對應的標籤，即我們知道樣本集合中每一資料與所屬分類的對應關係。輸入沒有標籤的新資料後，將新資料的每個特徵與樣本集合中資料對應的特徵

  Go語言學習筆記10：使用 github.com/weilaihui/fdfs_client 連線 fastDFS時，遇到了cannot find package "golang.org/x/的報錯

  今天在嘗試使用weilaihui/fdfs_client時，一直無法通過編譯，主要的報錯有兩處： ./github.com/Sirupsen/logrus/terminal_check_notappengine.go:9:2: cannot find package "golang.org/x/

  【深度學習：目標檢測】RCNN學習筆記(10)：SSD:Single Shot MultiBox Detector

  之前一直想總結下SSD，奈何時間緣故一直沒有整理，在我的認知當中，SSD是對Faster RCNN RPN這一獨特步驟的延伸與整合。總而言之，在思考於RPN進行2-class分類的時候，能否借鑑YOLO並簡化faster rcnn在21分類同時整合faster rcnn中anchor boxes實現m

  Caffe學習筆記10：影象資料生成caffe需要的（laveldb和lmdb）資料檔案

          在深度學習的實際應用中，我們經常用到的原始資料是圖片檔案，如jpg,jpeg,png,tif等格式的，而且有可能圖片的大小還不一致。而在caffe中經常使用的資料型別是lmdb或lev

  unity3d基礎學習筆記10：socket概述

  對TCP/IP、UDP、Socket程式設計這些詞你不會很陌生吧？隨著網路技術的發展，這些詞充斥著我們的耳朵。那麼我想問： 1. 什麼是TCP/IP、UDP？ 2. Socket在哪裡呢？ 3. Socket是什麼呢？ 4. 你會使用它們嗎？什麼是TCP/IP、UDP？ T

  我的核心學習筆記10：Intel GPIO驅動原始碼分析

  本文對Intel e3800的GPIO驅動原始碼進行分析。 一、概述 1.1 核心配置 Intel e3800的GPIO在Linux核心中使用的驅動名為gpio_ich(為了行文方便，將對應的裝置稱為“gpio_ich裝置”)。驅動原始碼位於：drivers/gpio/g

  python爬蟲學習筆記一：爬蟲學習概覽與Requests庫的安裝與使用

  python網路爬蟲與資訊提取 學習目錄： the website is the API Requests：自動爬取HTML頁面自動網路請求提交 robots.txt：網路爬蟲排除標準 Beautiful Soup：解析HTML頁面 正則表示式詳解，提取頁面關鍵資訊Re

  Java學習筆記30：二分查詢演算法程式碼

  package create; public class Demo1_Array { public static void main(String[] args){ int[] arr = {11,22,33,44,55,66,77}; System.out.println(ge

  學習筆記1：深度學習環境搭建win+python+tensorflow1.5+CUDA9.0+cuDNN7.0

          2018年2月13買了一臺Dell Inspiron7577，i7-7700hq、1050Ti顯示卡、win10家庭版。由於課題需要開始學習深度學習，之前在實驗室和自己的筆記本上安裝TensorFlow總是不成功，不然就是僅實現cpu運算。本次安裝主要是按照這

  Andrew Ng 機器學習筆記 16 ：照片OCR

  OCR的大概步驟 機器學習流水線（machine learning pipeline） 滑動窗體 上限分析 照片OCR是指照片光學字元識別（photo optical ch

  Andrew Ng 機器學習筆記 15 ：大資料集梯度下降

  隨機梯度下降 隨機梯度下降原理 小批量梯度下降 小批量梯度下降vs隨機梯度下降 隨機梯度下降的收

  Andrew Ng 機器學習筆記 14 ：異常檢測

  異常檢測問題 高斯分佈 高斯分佈中，μ和σ的關係 異常檢測的具體演算法 異常檢測演算法步驟總結 異常檢測 VS 監督學習 對不服從高斯分佈的資料進行

  Andrew Ng 機器學習筆記 13 ：降維(dimensionality reduction)

  資料壓縮 二維降到一維 三維降到二維 視覺化資料 主成分分析（PCA） PCA的執行過程2D -&

  Andrew Ng 機器學習筆記 12 ：聚類

  K均值 (K-means)演算法 K-Means的規範化描述 異常情況 K均值的代價函式 隨機初始化 肘部法則 (Elbow Method)