基本概念

• 迴歸（regression）：迴歸，指研究一組隨機變數 (Y1，Y2，…，Yi) 和另一組 (X1，X2，…，Xk) 變數之間關係的統計分析方法，又稱多重回歸分析。通常 (Y1，Y2，…，Yi) 是因變數，(X1，X2，…，Xk) 是自變數。

分類準則

• 線性分類器最佳準則：
  
  • 感知準則函式
  • 支援向量機
  • Fisher準則
  • 貝葉斯分類器不是線性分類器。

損失函式的分類

• 對稱損失 / 0-1 損失函式

  對於分類問題而言，通常每種類別狀態都與 c 類中的一種有關，且行為 αi 通常被解釋為類別狀態被判決為 wi，如果採取行為 αi 而實際為 wj，則只有在 i=j 的情況下判決是正確的：

SVM

• 幾何間隔（margin）與誤分次數的關係（數學上）：#≤(2Rρ)2，分母即為幾何間隔，分子中的 R，為樣本中的最大向量；

• 軟間隔 SVM 的最大間隔距離滿足如下不等式：ρ≥2(mC)1/2，C 位軟間隔 SVM 的常數，m 位支援向量的個數；

雜項

基於二次準則函式的H-K演算法較之於感知器演算法的優點

• HK 演算法的思想很樸實，就是在最小均方誤差準則下求得權向量。
• 它相對於感知器演算法的優點在於，它適用於線性可分和非線性可分的情況。
• 對於線性可分的情況，給出最優權向量，
• 對於分線性可分的情況，能夠判別出來，以退出迭代過程。