TensorFlow2.0學習筆記---early stopping和dropout
阿新 • • 發佈:2020-10-15
early stopping:
跟驗證集validation有關,利用驗證集來做測試,在做交叉驗證的時候會有一個val的loss和acc曲線,根據這個曲線會自動earlystop
因為一般認為在驗證時,val的acc曲線先上升,保持一段時間,然後可能因為過擬合再下降。當val的acc曲線上升之後保持一段時間之後開始下降,根據一般經驗來說下降之後不會再上升到比原來還高的acc,所以在acc下降前及時early stop。
dropout層:
dropout層就是在訓練train時,把網路的連線數量降低,減少了引數量,可以減少過擬合。但是在驗證和測試時,不能用dropout層,下圖0.5代表斷開連線的比例。
在這裡要注意:驗證和測試時需要用到上面含有dropout的網路network,因此需要把設定斷開dropout層。在訓練時開啟。
training = true 是開啟 training = false代表關閉