解釋一下核主成分分析(Kernel Principal Component Analysis, KPCA)的公式推導過程(轉載)
KPCA,中文名稱”核主成分分析“,是對PCA算法的非線性擴展,言外之意,PCA是線性的,其對於非線性數據往往顯得無能為力,例如,不同人之間的人臉圖像,肯定存在非線性關系,自己做的基於ORL數據集的實驗,PCA能夠達到的識別率只有88%,而同樣是無監督學習的KPCA算法,能夠輕松的達到93%左右的識別率(雖然這二者的主要目的是降維,而不是分類,但也可以用於分類),這其中很大一部分原因是,KPCA能夠挖掘到數據集中蘊含的非線性信息。
今天突然心血來潮,想重新推導一下KPCA的公式,期間遇到了幾個小問題,上博客查閱,發現目前並沒有一個專註於KPCA公式推導的文章,於是決定寫一篇這樣的博客(轉載請註明:http://blog.csdn.NET/wsj998689aa/article/details/40398777)。
1. 理論部分
KPCA的公式推導和PCA十分相似,只是存在兩點創新:
1. 為了更好地處理非線性數據,引入非線性映射函數,將原空間中的數據映射到高維空間,註意,這個
是隱性的,我們不知道,也不需要知道它的具體形式是啥。
2. 引入了一個定理:空間中的任一向量(哪怕是基向量),都可以由該空間中的所有樣本線性表示,這點對KPCA很重要,我想大概當時那個大牛想出KPCA的時候,這點就是它最大的靈感吧。話說這和”稀疏“的思想比較像。
假設中心化後的樣本集合X(d*N,N個樣本,維數d維,樣本”按列排列“),現將X映射到高維空間,得到,假設在這個高維空間中,本來在原空間中線性不可分的樣本現在線性可分了,然後呢?想啥呢!果斷上PCA啊!~
於是乎!假設D(D >> d)維向量為高維空間中的特征向量,
為對應的特征值,高維空間中的PCA如下:
(1)
和PCA太像了吧?這個時候,在利用剛才的定理,將特征向量利用樣本集合
線性表示,如下:
(2)
然後,在把代入上上公式,得到如下的形式:
(3)
進一步,等式兩邊同時左乘,得到如下公式:
(4)
你可能會問,這個有啥用?
這樣做的目的是,構造兩個出來,進一步用核矩陣K(為對稱矩陣)替代,其中:
(5)
第二個等號,是源於核函數的性質,核函數比較多,有如下幾種:
於是,公式進一步變為如下形式:
(6)
兩邊同時去除K,得到了PCA相似度極高的求解公式:
(7)
求解公式的含義就是求K最大的幾個特征值所對應的特征向量,由於K為對稱矩陣,所得的解向量彼此之間肯定是正交的。
但是,請註意,這裏的只是K的特征向量,但是其不是高維空間中的特征向量,回看公式(2),高維空間中的特征向量w應該是由
進一步求出。
這時有的朋友可能會問,這個時候,如果給定一個測試樣本,應該如何降維,如何測試?
是這樣的,既然我們可以得到高維空間的一組基,這組基可以構成高維空間的一個子空間,我們的目的就是得到測試樣本
在這個子空間中的線性表示,也就是降維之後的向量。具體如下:
(8)
於是呼~就可以對降維了,然後就做你想要做的事情。。。。
2. 實驗部分
做了一些仿真實驗,分別比較了PCA與KPCA之間的效果,KPCA基於不同核函數的效果,二者對於原始數據的要求,以及效果隨著參數變化的規律。
1)下面展示的是“無重疊的”非線性可分數據下,PCA與KPCA(基於高斯核)的區別,註意,原始數據是二維數據,投影之後也是二維數據
2)下面展示的是“部分重疊的”非線性可分數據下,PCA與KPCA的區別
3)下面展示的是“無高斯擾動的”非線性可分數據下,PCA與KPCA的區別
4)下面展示的是上述三類數據下,基於多項式核函數的KPCA效果
5)下面展示的是在“部分重疊的”非線性可分數據下,基於多項式核函數的KPCA在不同多項式參數下的效果圖
3. 實驗結論
1. 從2.1中我們可以看出,PCA與KPCA對於非線性數據各自的處理能力,仔細觀察PCA其實只對原始數據進行了旋轉操作,這是由於其尋找的是數據的“主要分布方向”。KPCA可以將原始數據投影至線性可分情況,其原因就是第一部分所說的內容。 2. 至於為何將數據分為“無重疊”,“部分重疊”,“無高斯擾動”,是自己在試驗中發現,對於部分重疊的數據,KPCA不能將數據投影至完全線性可分的程度(2.3第三幅圖中,不同類別數據仍舊存在重疊現象),這說明KPCA只是個無監督的降維算法,它不管樣本的類別屬性,只是降維而已。 3. 這裏提供了高斯核與多項式核的效果,我們很容易發現,二者的效果有很大不同,這直觀地說明不同核函數具有不同的特質。並且,針對於無高斯擾動數據,始終沒有找到參數p,有可能針對這類數據,多項式核函數無能為力。 4. 2.5中展示了多項式核的參數影響,我們可以發現,往往p值是偶數時,數據可以做到近似線性可分,p是奇數時,數據分布的形態也屬於另外一種固定模式,但是不再是線性可分。4. 代碼
前面給出了自己對KPCA的理論解釋,以及做的一些基礎實驗,不給出實現代碼,就不厚道了,代碼如下所示,一部分是KPCA算法代碼,另一部分是實驗代碼。1 function [eigenvalue, eigenvectors, project_invectors] = kpca(x, sigma, cls, target_dim) 2 % kpca進行數據提取的函數 3 psize=size(x); 4 m=psize(1); % 樣本數 5 n=psize(2); % 樣本維數 6 7 8 % 計算核矩陣k 9 l=ones(m,m); 10 for i=1:m 11 for j=1:m 12 k(i,j)=kernel(x(i,:),x(j,:),cls,sigma); 13 end 14 end 15 16 17 % 計算中心化後的核矩陣 18 kl=k-l*k/m-k*l/m+l*k*l/(m*m); 19 20 21 % 計算特征值與特征向量 22 [v,e] = eig(kl); 23 e = diag(e); 24 25 26 % 篩選特征值與特征向量 27 [dump, index] = sort(e, ‘descend‘); 28 e = e(index); 29 v = v(:, index); 30 rank = 0; 31 for i = 1 : size(v, 2) 32 if e(i) < 1e-6 33 break; 34 else 35 v(:, i) = v(:, i) ./ sqrt(e(i)); 36 end 37 rank = rank + 1; 38 end 39 eigenvectors = v(:, 1 : target_dim); 40 eigenvalue = e(1 : target_dim); 41 42 43 % 投影 44 project_invectors = kl*eigenvectors; %計算在特征空間向量上的投影 45 end
function [eigenvalue, eigenvectors, project_invectors] = kpca(x, sigma, cls, target_dim) % kpca進行數據提取的函數 psize=size(x); m=psize(1); % 樣本數 n=psize(2); % 樣本維數 % 計算核矩陣k l=ones(m,m); for i=1:m for j=1:m k(i,j)=kernel(x(i,:),x(j,:),cls,sigma); end end % 計算中心化後的核矩陣 kl=k-l*k/m-k*l/m+l*k*l/(m*m); % 計算特征值與特征向量 [v,e] = eig(kl); e = diag(e); % 篩選特征值與特征向量 [dump, index] = sort(e, ‘descend‘); e = e(index); v = v(:, index); rank = 0; for i = 1 : size(v, 2) if e(i) < 1e-6 break; else v(:, i) = v(:, i) ./ sqrt(e(i)); end rank = rank + 1; end eigenvectors = v(:, 1 : target_dim); eigenvalue = e(1 : target_dim); % 投影 project_invectors = kl*eigenvectors; %計算在特征空間向量上的投影 end
5. 總結
KPCA的算法雖然簡單,但是個人認為,它的意義更在於一種思想:將數據隱式映射到高維線性可分空間,利用核函數進行處理,無需知道映射函數的具體形式。這種思想實在是太牛了,它讓降維變得更有意義。為這種思想點贊!!! 轉自: http://blog.csdn.net/wsj998689aa/article/details/40398777 作者:迷霧forest解釋一下核主成分分析(Kernel Principal Component Analysis, KPCA)的公式推導過程(轉載)