9月5日 正則化總結筆記
阿新 • • 發佈:2017-09-06
cnblogs 學習 bsp 正常 講解 總結筆記 擬合 線性 預測
---恢復內容開始---
學習正則化 一下知識需要全部掌握:
1.線性回歸
2.邏輯回歸
接下來的筆記中,將假設上面的基礎知識全部掌握的程度講解:
學習 正則化 首先 我們需要知道為什麽學習正則化! 無論是我們在進行線性擬合 還是邏輯擬合的時候,都會發生以下三種情況:
.
根據圖可以看到3中情況,我們來說明以下這三種情況
1.欠擬合,這裏擬合的一條 方程 看起來並沒有更好的契合我們所給的訓練集, 因此 這樣的 一個方程 對我們之後 正常使用時 , 預測產生的誤差會非常之大
2.正好的擬合, 這個擬合 就看起來是恰到好處
3.過渡擬合,之後,我們用到的成品是用來預測數據的,這也是人工智能所實現的一種形式,如果過渡的擬合數據的話, 就會因為之後出現的我們做出的預測偏差放大
根據我們的數學經驗可以得出 X 的 次數 越大,那麽擬合程度也就越大 從而 預測的能力也就越差
就這樣我們就將降低擬合度的問題 轉換成了 讓 X的次數變小 ,從而來達到降低擬合度的問題
因此我們的問題 最終轉換為 正則化-->改善擬合度-->減少特征的次數(降低高次特征的權重)
以線性回歸為例:
模型:
使高次的系數降低,高次項的權重減少,影響減少,過渡擬合的問題也就解決了
|
| 轉化之後的代價函數
---恢復內容結束---
9月5日 正則化總結筆記