高光譜半監督分類（一）SS-LPSVM
最近一直在看半監督在高光譜影象分類上的應用，打算寫一個系列，把一些經典的效果好的論文總結梳理一下，當作一個督促。
一. 半監督大體分成五種方法
① Generative model
缺點：生成模型是基於嚴格的假設構建的，例如，訓練樣本應遵循高斯分佈或其他分佈
②Self-training
Self-Training的做法如下：
- 用已標註資料集A訓練一個分類模型M
- 用該模型對未標記資料集B進行預測
- 將預測結果中置信度高的K個樣本，連同它們的Label加入訓練資料A，並從B中刪除
- 回到第1步。
缺點：如果一個錯誤分類的樣本被加入了原來的訓練集，那麼在其後的訓練過程中，它所犯的錯誤只會越來越深，還會誘使其他樣本犯錯，而這也是自訓練模型最大的缺點。
③Co-training
協同訓練的過程如下：
假設資料有兩種特徵表達，比如影象特徵(X1, Y1)和文字特徵(X2, Y2)。對於未標註資料同樣有兩種特徵。演算法如下：
- 從(X1, Y1)，(X2, Y2)分別訓練得到兩個分類模型F1，F2
- 分別使用F1與F2對未標註資料進行預測
- 將F1所預測的前K個置信度最高的樣本加入F2的訓練資料集
- 將F2所預測的前K個置信度最高的樣本加入F1的訓練資料集
- 回到第1步
缺點：並不是所有資料集都滿足有兩個獨立的特徵子集
④Transductive Support Vector Machine (TSVM)
(SVM may lead to a local minimum because of the non-convex loss function)
半監督支援向量機中比較著名的是TSVM, 是針對二分類問題的學習方法。TSVM試圖考慮對未標記樣本進行可能的類別分配（Label Assignment），即嘗試將每個未標記樣本分別作為正例或反例，然後在所有這些結果中，尋求一個在所有樣本（包括有標記樣本和進行了標記指派的未標記樣本）上間隔最大化的劃分超平面。一旦超平面確定，未標記樣本的最終標記指派就是其預測結果。
缺點：容易陷入區域性最優解
⑤Graph-based method缺點：計算量大，並且無法對給定的個樣本生成標籤
二. Semi-supervised classification for hyperspectral imagery based on spatial-spectral Label Propagation（SS-LPSVM）
因為圖不能完全表示資料的固有空間分佈，因此文章加入空間資訊與光譜資訊結合進行半監督分類以及類標傳播。主要思想：先選出一部分標記樣本，利用類別轉移從未標記樣本中找出一部分未標記樣本（標記樣本的鄰域），然後根據轉移得到他們的類別。最後將新增的標記樣本和最初始的標記樣本放在一起訓練SVM最後進行分類。
基於圖的半監督分類演算法的主要思想是通過構建圖來使定義的能量函式最小化從而將類標籤分配給未標記的樣本。對於能量函式，應滿足兩個條件：
(1)損失函式最小，即標記樣本的預測標籤應儘可能與現有標籤相似;
(2)平滑函式最小，這意味著兩個相鄰的樣本最有可能屬於同一個類。
因此基於圖的半監督分類的能量函式為：
方法:
(標記樣本l是每類選取25個樣本，未標記樣本u是l中樣本的領域中的未標記樣本)
1：利用PCA得到光譜特徵 (減少計算量)，利用KNN演算法構造光譜鄰接矩陣 Ww
2：利用2D-Gabor濾波在第一主成分上提取空間資訊，構造空間鄰接矩陣Ws
3：結合兩個矩陣，構造spatial-spectral graph 矩陣
4：構造概率轉移矩陣
傳播過程如圖所示，其中淺灰和深灰節點為不同類別的標記樣本，空心節點為未標記樣本。根據箭頭上的概率將標籤從標記樣本傳播到未標籤樣本。例如，未標記樣本“1”分別具有從兩個標記樣本“2”和“3”傳播的兩個概率，最終其標記與標記樣本“2”相同，因為“2”更大的可能性。直到所有樣本都被分配了標籤傳播過程將停止。P是標籤傳播概率矩陣，由
5：進行概率轉移
標籤傳播概率矩陣分為四個子矩陣
6：分類
合併標記樣本l和未標記樣本u，然後訓練SVM以最終預測測試集的標籤。
三. 與MugNet: Deeplearning for hyperspectral image classification using limited samples對比
在Indian pains資料上MugNet每類採取20個樣本，SS-LPSVM每類25個樣本效果反而不如MugNe的原因我大致分析如下：
1.MugNet深度方法PCANet提取特徵
2.MugNet用了所有的未標記樣本
3.SS-LPSVM引數過多
4.SS-LPSVM錯分樣本對後續的測試影響