機器學習與深度學習系列連載：第一部分機器學習（十一）決策樹2（Decision Tree）

阿新 • • 發佈：2018-12-12

決策樹2

決策樹很容易出現過擬合問題，針對過擬合問題，我們採用以下幾種方法

劃分選擇 vs 剪枝

剪枝 (pruning) 是決策樹對付“過擬合”的主要手段！

基本策略：

預剪枝 (pre-pruning): 提前終止某些分支的生長
後剪枝 (post-pruning): 生成一棵完全樹，再“回頭”剪枝

剪枝過程中需評估剪枝前後決策樹的優劣
我們還是以西瓜書的例子：
在這裡插入圖片描述

我們通過訓練集得到未剪枝決策樹：
在這裡插入圖片描述
驗證資料

1.預剪枝

在這裡插入圖片描述

2. 後剪枝

在這裡插入圖片描述

3. 兩種策略比較

時間開銷：

 預剪枝：訓練時間開銷降低，測試時間開銷降低
 後剪枝：訓練時間開銷增加，測試時間開銷降低

過/欠擬合風險：

 預剪枝：過擬合風險降低，欠擬合風險增加
 後剪枝：過擬合風險降低，欠擬合風險基本不變

泛化效能：後剪枝通常優於預剪枝

4. 連續值處理

基本思路：連續屬性離散化
常見做法：二分法 (bi-partition)

n 個屬性值可形成 n-1 個候選劃分
然後即可將它們當做 n-1 個離散屬性值處理

5. 缺失值處理

僅使用無缺失的樣例？對資料的極大浪費

使用帶缺失值的樣例，需解決：
Q1：如何進行劃分屬性選擇？
Q2：給定劃分屬性，若樣本在該屬性上的值缺失，如何進行劃分？

	基本思路：樣本賦權，權重劃分 （半監督學習）

在這裡插入圖片描述

6. 從“樹”到“規則”

一棵決策樹對應於一個“規則集”

每個從根結點到葉結點的分支路徑對應於一條規則

7. 軸平行劃分

單變數決策樹：在每個非葉結點僅考慮一個劃分屬性產生“軸平行”分類面
在這裡插入圖片描述

當學習任務所對應的分類邊界很複雜時，需要非常多段劃分才能獲得較好的近似
在這裡插入圖片描述

8. 多變數(multivariate)決策樹

多變數(multivariate)決策樹
多變數決策樹：每個非葉結點不僅考慮一個屬性
例如“斜決策樹” (oblique decision tree) 不是為每個非葉結點尋找最優劃分屬性，而是建立一個線性分類器
在這裡插入圖片描述

更復雜的“混合決策樹”甚至可以在結點嵌入神經網路或其他非線性模型

9. 決策樹常用軟體包

機器學習與深度學習系列連載：第一部分機器學習（五）生成概率模型（Generative Model）

生成概率模型（Generative Model） 1.概率分佈我們還是從分類問題說起：當我們把問題問題看做是一個迴歸問題，分類是class 1 的時候結果是1 分類為class 2的時候結果是-1；測試的時候，結果接近1的是class1

機器學習與深度學習系列連載：第一部分機器學習（九）支援向量機2（Support Vector Machine）

另一種視角定義SVM：hinge Loss +kennel trick SVM 可以理解為就是hingle Loss和kernel 的組合 1. hinge Loss 還是讓我們回到二分類的問題，為了方便起見，我們y=1 看做是一類，y=-1 看做是另一類

機器學習與深度學習系列連載：第一部分機器學習（十一）決策樹2（Decision Tree）

決策樹2 決策樹很容易出現過擬合問題，針對過擬合問題，我們採用以下幾種方法劃分選擇 vs 剪枝剪枝 (pruning) 是決策樹對付“過擬合”的主要手段！基本策略：預剪枝 (pre-pruning): 提前終止某些分支的生長後剪枝 (post-pr

機器學習與深度學習系列連載：第一部分機器學習（十三）半監督學習（semi-supervised learning）

在實際資料收集的過程中，帶標籤的資料遠遠少於未帶標籤的資料。我們據需要用帶label 和不帶label的資料一起進行學習，我們稱作半監督學習。 Transductive learning：沒有標籤的資料是測試資料 Inductive learning：沒有標

機器學習與深度學習系列連載：第一部分機器學習（十四）非監督度學習-1 Unsupervised Learning-1

非監督度學習-1 Unsupervised Learning-1（K-means,HAC,PCA）非監督學習方法主要分為兩大類 Dimension Reduction (化繁為簡) Generation （無中生有) 目前我們僅專注化繁為簡，降維的方法，

機器學習與深度學習系列連載：第一部分機器學習（十五）非監督度學習-2 Unsupervised Learning-2（Neighbor Embedding）

臨近編碼 Neighbor Embedding 在非監督學習降維演算法中，高緯度的資料，在他附近的資料我們可以看做是低緯度的，例如地球是三維度的，但是地圖可以是二維的。那我們就開始上演算法 1. Locally Linear Embedding (LLE) 我

機器學習與深度學習系列連載：第一部分機器學習（十七）非監督度學習-2 Unsupervised Learning-4（Generative Models）

生成模型 Generative Models 用非監督學習生成結構化資料，是非監督模型的一個重要分支，本節重點介紹三個演算法： Pixel RNN ，VAE 和GAN（以後會重點講解原理） 1. Pixel RNN RNN目前還沒有介紹，，以後會重點講解，大家

機器學習與深度學習系列連載：第一部分機器學習（十二）整合學習（Ensemble）

整合學習（Ensemble） 1. Bagging 我們考慮當結果的 variance 很大，如果降低 variance。我們可以考慮“平行宇宙”，不同的training set 中生成不同的模型，然後做平均或者voting。 2. Decision Tre

機器學習與深度學習系列連載：第一部分機器學習（一）導論

什麼是機器學習？ 1.機器學習==尋找一種函式這個函式可以：語音識別:輸入一段語音訊號，輸出文字 ff()="howareyou"="howareyou" 影象識別:輸入圖片，輸出圖片的屬性 ff( )=“cat”=“cat” 智

機器學習與深度學習系列連載：第一部分機器學習（四）誤差分析（Bias and Variance）和模型調優

1.誤差分析（Bias and Variance）當我們以非常複雜的模型去進行測試的時候，可能得到的結果並不理想影響結果的主要有兩個因素：Bias 偏差、Variance 方差 Bias 偏差在這裡，我們定義偏差是指與目標結果的偏移量，這個偏

機器學習與深度學習系列連載：第一部分機器學習（十八）模型評估

模型評估模型評估中有三個關鍵問題：  如何獲得測試結果？評估方法  如何評估效能優劣？效能度量  如何判斷實質差別？比較檢驗 2. 效能度量(performance measure)是衡量模型泛化能力的評價標準，反映了任務需求（1

機器學習與深度學習系列連載：第二部分深度學習(二）梯度下降

梯度下降 Gradient Decent 我們回憶深度學習“三板斧”，選擇神經網路定義神經網路的好壞選擇最好的引數集合其中步驟三，如何選擇神經網路的好壞呢？梯度下降是目前，最有效的方法之一。方法：我們舉兩個引數的例子

機器學習與深度學習系列連載：第二部分深度學習（十六）迴圈神經網路 4（BiDirectional RNN， Highway network， Grid-LSTM）

深度學習（十六）迴圈神經網路 4（BiDirectional RNN， Highway network， Grid-LSTM） RNN處理時間序列資料的時候，不僅可以正序，也可以正序+逆序（雙向）。下面顯示的RNN模型，不僅僅是simple RNN，可以是LSTM，或者GRU 1 B

機器學習與深度學習系列連載：第二部分深度學習（十五）迴圈神經網路 3（Gated RNN - GRU）

迴圈神經網路 3（Gated RNN - GRU） LSTM 是1997年就提出來的模型，為了簡化LSTM的複雜度，在2014年 Cho et al. 提出了 Gated Recurrent Units (GRU)。接下來，我們在LSTM的基礎上，介紹一下GRU。主要思路是： •

機器學習與深度學習系列連載：第二部分深度學習（十四）迴圈神經網路 2（Gated RNN - LSTM ）

迴圈神經網路 2（Gated RNN - LSTM ） simple RNN 具有梯度消失或者梯度爆炸的特點，所以，在實際應用中，帶有門限的RNN模型變種（Gated RNN）起著至關重要的作用，下面我們來進行介紹： LSTM (Long Short-term Memory )

機器學習與深度學習系列連載：第二部分深度學習（十三）迴圈神經網路 1（Recurre Neural Network 基本概念）

迴圈神經網路 1（Recurre Neural Network 基本概念）迴圈神經網路的特點： • RNNs 在每個時間點連線引數值，引數只有一份 • 神經網路出了輸入以外，還會建立在以前的“記憶”的基礎上 • 記憶體的要求與輸入的規模有關當然，他的深度不只有一層：

機器學習與深度學習系列連載：第二部分深度學習（十二）卷積神經網路 3 經典的模型（LeNet-5，AlexNet ，VGGNet，GoogLeNet，ResNet）

卷積神經網路 3 經典的模型經典的卷積神經網路模型是我們學習CNN的利器，不光是學習原理、架構、而且經典模型的超引數、引數，都是我們做遷移學習最好的源材料之一。 1. LeNet-5 [LeCun et al., 1998] 我們還是從CNN之父，LeCun大神在98年提出的模

機器學習與深度學習系列連載：第二部分深度學習（十一）卷積神經網路 2 Why CNN for Image？

卷積神經網路 2 Why CNN 為什麼處理圖片要用CNN？原因是：一個神經元無法看到整張圖片能夠聯絡到小的區域，並且引數更少圖片壓縮畫素不改變圖片內容 1. CNN 的特點卷積：一些卷積核遠遠小於圖片大小；同樣的pat

機器學習與深度學習系列連載：第二部分深度學習（十）卷積神經網路 1 Convolutional Neural Networks

卷積神經網路 Convolutional Neural Networks 卷積神經網路其實早在80年代，就被神經網路泰斗Lecun 提出[LeNet-5, LeCun 1980]，但是由於當時的資料量、計算力等問題，沒有得到廣泛使用。卷積神經網路的靈感來自50年代的諾貝爾生物學獎

機器學習與深度學習系列連載：第二部分深度學習（九）Keras- “hello world” of deep learning

Keras Kearas 是深度學習小白程式碼入門的最佳工具之一。如果想提升、練習程式碼能力，還是建議演算法徒手python實現。複雜的深度神經網路專案還是推薦TensorFlow或者Pytorch Keras是一個高層神經網路API，Keras由純Pyt

機器學習與深度學習系列連載： 第一部分 機器學習（十一）決策樹2（Decision Tree）

決策樹2

劃分選擇 vs 剪枝

1.預剪枝

2. 後剪枝

3. 兩種策略比較

4. 連續值處理

5. 缺失值處理

6. 從“樹”到“規則”

7. 軸平行劃分

8. 多變數(multivariate)決策樹

9. 決策樹常用軟體包

相關推薦

機器學習與深度學習系列連載：第一部分機器學習（十一）決策樹2（Decision Tree）