1. 程式人生 > 實用技巧 >TensorFlow2.0學習筆記---early stopping和dropout

TensorFlow2.0學習筆記---early stopping和dropout

early stopping:

跟驗證集validation有關,利用驗證集來做測試,在做交叉驗證的時候會有一個val的loss和acc曲線,根據這個曲線會自動earlystop

因為一般認為在驗證時,val的acc曲線先上升,保持一段時間,然後可能因為過擬合再下降。當val的acc曲線上升之後保持一段時間之後開始下降,根據一般經驗來說下降之後不會再上升到比原來還高的acc,所以在acc下降前及時early stop。

dropout層:

dropout層就是在訓練train時,把網路的連線數量降低,減少了引數量,可以減少過擬合。但是在驗證和測試時,不能用dropout層,下圖0.5代表斷開連線的比例。

在這裡要注意:驗證和測試時需要用到上面含有dropout的網路network,因此需要把設定斷開dropout層。在訓練時開啟。

training = true 是開啟 training = false代表關閉