1. 程式人生 > 實用技巧 >李巨集毅機器學習筆記1:Regression

李巨集毅機器學習筆記1:Regression

損失函式

在這裡插入圖片描述

梯度下降

  1. 隨機初始化起始位w0
  2. 在w0處對損失函式求導(偏導)
  3. w1=w0-學習率*w0處的倒數
  4. 一直重複計算,直到導數為0,或者達到最大迭代次數。

在這裡插入圖片描述

Generalization

  • 泛化 (generalization) 是指神經網路對未在訓練 (學習) 過程中遇到的資料可以得到合理的輸出。
  • 使真實資料的誤差更小。
  • 一個更復雜的模型可以使訓練集上的誤差更小,但是不一定能使測試集上的誤差也更小(過泛化)

在這裡插入圖片描述
在這裡插入圖片描述

在這裡插入圖片描述

  • 損失函式+很小的wi,可以使預測的函式曲線更加平滑。
  • 多平滑?