1. 程式人生 > >機器學習筆記(八)非線性變換

機器學習筆記(八)非線性變換

nbsp 線性 logs 等於 線性模型 images http 自己 空間

一、非線性問題

對於線性不可分的數據資料,用線性模型分類,Ein會很大,相應的Ein=Eout的情況下,Eout也會很大,導致模型表現不好,此時應用非線性模型進行分類,例如:

技術分享技術分享

分類器模型是一個圓形,假設模型可表示為技術分享

轉化表示形式技術分享

將平方項和常數項轉為一次的Z項,則將非線性的特征空間轉化為線性的特征空間技術分享

可以用線性模型進行分類

二、非線性轉換

技術分享

技術分享

對於把Q次方的多項式進行全部的一次轉換,轉換的項數一共為技術分享,轉換過後的一次模型的dvc等於總的項數,

總的項數為技術分享,其中d為特征向量的長度

選擇合適的轉換項數,項數越多代表模型越復雜,但不要為了減少dvc,人為的在腦袋裏加工轉換特征,例如技術分享

在上述各種轉化中,有dvc為2的甚至為1的,但都是進過自己腦海中轉化過的特征,不可取

對於不同的Q次方的情況,有如下結果:

技術分享

技術分享,高次對低次具有包含的關系

技術分享

Ein隨著Q的次方增大會減少技術分享,但過高的Q次方會帶來Eout的增大,不具有泛化能力,做模型建立是首先考慮線性的模型,如果它做的好的話那就很好(Ein和Eout都很小),若不好(Ein始終很大),在選擇高次方的模型技術分享

機器學習筆記(八)非線性變換