正則化和範數規則化

文章安排：文章先介紹了正則化的定義，然後介紹其在機器學習中的規則化應用L0、L1、L2規則化範數和核範數規則化，最後介紹規則化項引數的選擇問題。

正則化(regularization)來源於線性代數理論中的不適定問題，求解不適定問題的普遍方法是:用一族與原不適定問題相“鄰近”的適定問題的解去逼近原問題的解,這種方法稱為正則化方法。如何建立有效的正則化方法是反問題領域中不適定問題研究的重要內容。通常的正則化方法有基於變分原理的Tikhonov 正則化、各種迭代方法以及其它的一些改進方法,這些方法都是求解不適定問題的有效方法,在各類反問題的研究中被廣泛採用,並得到深入研究。

在歐式空間中，兩個空間等價是可以建立一一對映關係，但在現實世界中，我們得到的資料往往是病態的（比如使用者評價資料中很多的空值），這時就無法建立這樣的對映。而數學講究退而求其次的思想，比如降低維度或加入一些約束引數，使其可以建立這樣的對映。詳細數學理論：

機器學習中的正則化來源於資料訓練。若訓練資料數量少兒特徵多，容易出現過擬合。直觀來講，防止過擬合目的就是訓練出來的模型不要過分依賴某一維（或幾維）的特徵。而規則化項的引入，在訓練（最小化cost）的過程中，當某一維的特徵所對應的權重過大時，而此時模型的預測和真實資料之間距離很小，通過規則化項就可以使整體的cost取較大的值，從而，在訓練的過程中避免了去選擇那些某一維（或幾維）特徵的權重過大的情況，即過分依賴某一維（或幾維）的特徵。

正則化在某種意義上來講引入了引數的先驗分佈，減少引數的選擇空間，放到廣義線性模型中，就是對一些基函式作了取捨（引數不至於過大，那麼對應的基函式對最終結果的貢獻也就很小，通俗來講就是不完全依賴資料集，有了自我的一些判斷與選擇）

關於機器學習中正則化的來源、原理可以參照吳立德老師的深度學習課程，不斷強調可以在Loss函式後面加上正則化項以優化問題最小解，這對學習過程的訓練目標函式很有效，詳細可以參考：

其原理很簡單，將特徵表示問題通過建模轉化成目標優化問題，鑑於原始優化函式的非凸性質，陷入區域性最優、難以求解等問題，於是提出了L1正則化，巧妙地得到稀疏項，成為特徵表達的基函式。相關原理可以檢視：09文中引用的nips06-sparsecoding.Pdf文章；部落格可以檢視下面連結：

Sparsityand Some Basics of L1 Regularization

下面針對機器學習中常用的規則化L0、L1與L2範數做詳細的解釋。（來源於http://blog.csdn.net/zouxy09博主，我做了相關整合和理解，若有侵犯博主，非常抱歉）

具體原理可以檢視連結文件：

機器學習中的範數規則化之L0、L1與L2範數 點選開啟連結

L1 norm （稀疏編碼的優化原理）點選開啟連結