第一周 深度學習的實用層面

1.1 訓練、驗證、測試集

應用機器學習是個高度叠代的過程：想法--->編碼--->實驗

（1）神經網絡的層數

（2）隱含層神經元個數

（3）學習率

（4）激勵函數

小規模數據：訓練集70%，驗證集30% 或者 訓練60% 驗證20% 測試20%

大規模數據：訓練90%以上

註：可以沒有測試集，驗證集用於檢測各種算法模型，選出最好的，驗證集和測試集必須來源於同一分布

1.2 偏差、方差

人眼識別錯誤率（最優誤差，貝葉斯誤差）0%左右，訓練集驗證集來源於同一分布的前提下：

（1）訓練集錯誤率1%，驗證集錯誤率11% -----> 高方差（high variance）

（2）訓練集錯誤率15%，驗證集錯誤率16% ----->高偏差（high bias）

（3）訓練集錯誤率15%，驗證集錯誤率30% ------>高方差，高偏差

（4）訓練集錯誤率0.5%，驗證集錯誤率1% ------->低偏差，低方差

1.3 機器學習基礎

改善深層神經網絡：超參數調試、正則化及優化