機器學習 之 SVM VC維度、樣本數目與經驗風險最小化的關系
VC 維反映了函數集的學習能力,VC 維越大則學習機器越復雜(容量越大)。
所謂的結構風險最小化就是在保證分類精度(經驗風險)的同一時候,減少學習機器的 VC 維,能夠使學習機器在整個樣本集上的期望風險得到控制。
經驗風險和實際風險之間的關系,註意引入這個原因是什麽?
由於訓練誤差再小也就是在這個訓練集合上,實際的推廣能力不行就會引起過擬合問題。
所以說要引入置信範圍也就是經驗誤差和實際期望誤差之間的關系
註意Remp (ω)是經驗誤差也就是訓練誤差(線性中使得全部的都訓練正確)。
Φ(n/h)是置信範圍,它是和樣本數和VC維有關的。
上式中置信範圍Φ 隨n/h添加,單調下降。
即當n/h較小時,置信範圍Φ 較大,用經驗風險近似實際風險就存在較大的誤差。因此,用採用經驗風險最小化準則。取得的最優解可能具有較差的推廣性;
假設樣本數較多,n/h較大。則置信範圍就會非常小,採用經驗風險最小化準則,求得的最優解就接近實際的最優解。
首先是訓練集的規模 n,其次是 VC 維 h。
可見,在保證分類精度(經驗風險)的同一時候。減少學習機器的 VC 維,能夠使學習機器在整個樣本集上的期望風險得到控制,這就是結構風險最小化(Structure Risk Minimization,簡稱 SRM)的由來。
在有限的訓練樣本情況下,當樣本數 n 固定時。此時學習機器的 VC 維越高(學習機器的復雜性越高),則置信範圍就越大,此時。真實風險與經驗風險之間的區別就越大,這就是為什麽會出現過學習現象的原因。
機器學習過程不但要使經驗風險最小。還要使其 VC 維盡量小,以縮小置信範圍。才幹取得較小的實際風險。即對未來樣本有較好的推廣性,它與學習機器的 VC 維及訓練樣本數有關。
機器學習 之 SVM VC維度、樣本數目與經驗風險最小化的關系