如下圖，出現了不可分的情形：

，

表明x1與x2並不是兩個很好的特徵，可以從如下方面進行思考：

1、通過特徵變換（將x1與x2通過各種運算組合得到新的可分特徵x3與x4），將模型變成線性可分的模型。比如將上述點轉換成每個點到一個固定座標的距離，得到如下情形：

，變成線性可分。

2、從1的思路出發，特徵變換可以選擇使用線性變換和非線性變換，最終目的是得到線性可分特徵。如果總是依靠人力的變換得到新的可分特徵，那就不是完全意義上的機器學習。那麼需要找到一些特徵變換方式使得機器自己嘗試調整引數得到好的分類效果。

3、基於2的思考，衍生出SVM和deep learning模型。

SVM通過選取合適的核函式對特徵進行變換，然後再分類，常用的核函式有線性函式、多項式函式、sigmod函式、高斯核函式。最直觀的理解，以多項式為例，它可以擬合出各種曲線（只要模型夠複雜），達到非線性變換的效果，機器通過調整多項式引數就可以找到合適的特徵。

deep learning則是通過使用多層的思想，不斷的對特徵進行一層層的重新組合，達到最優分類效果。組合過程就存在很大的靈活性，如全連線、卷積濾波等。