matlab實現K-means聚類演算法(轉載)
https://blog.csdn.net/wys7541/article/details/82153844
K-means聚類演算法的一般步驟:
- 初始化。輸入基因表達矩陣作為物件集X,輸入指定聚類類數N,並在X中隨機選取N個物件作為初始聚類中心。設定迭代中止條件,比如最大迴圈次數或者聚類中心收斂誤差容限。
- 進行迭代。根據相似度準則將資料物件分配到最接近的聚類中心,從而形成一類。初始化隸屬度矩陣。
- 更新聚類中心。然後以每一類的平均向量作為新的聚類中心,重新分配資料物件。
- 反覆執行第二步和第三步直至滿足中止條件。
下面來看看K-means是如何工作的:
圖中圓形為聚類中心,方塊為待聚類資料,步驟如下:
(a)選取聚類中心,可以任意選取,也可以通過直方圖進行選取。我們選擇三個聚類中心,並將資料樣本聚到離它最近的中心;
(b)資料中心移動到它所在類別的中心;
(c)資料點根據最鄰近規則重新聚到聚類中心;
(d)再次更新聚類中心;不斷重複上述過程直到評價標準不再變化
評價標準:
K-means面臨的問題以及解決辦法:
1.它不能保證找到定位聚類中心的最佳方案,但是它能保證能收斂到某個解決方案(不會無限迭代)。
解決方法:多執行幾次K-means,每次初始聚類中心點不同,最後選擇方差最小的結果。
2.它無法指出使用多少個類別。在同一個資料集中,例如上圖例,選擇不同初始類別數獲得的最終結果是不同的。
解決方法:首先設類別數為1,然後逐步提高類別數,在每一個類別數都用上述方法,一般情況下,總方差會很快下降,直到到達一個拐點;這意味著再增加一個聚類中心不會顯著減少方差,儲存此時的聚類數。
MATLAB函式Kmeans
使用方法:
Idx=kmeans(X,K)
[Idx,C]=kmeans(X,K)
[Idx,C,sumD]=kmeans(X,K)
[Idx,C,sumD,D]=kmeans(X,K)
[…]=kmeans(…,’Param1’,Val1,’Param2’,Val2,…)
各輸入輸出引數介紹:
X: N*P的資料矩陣,N為資料個數,P為單個數據維度
K: 表示將X劃分為幾類,為整數
Idx: N*1的向量,儲存的是每個點的聚類標號
C: K*P的矩陣,儲存的是K個聚類質心位置
sumD: 1*K的和向量,儲存的是類間所有點與該類質心點距離之和
D: N*K的矩陣,儲存的是每個點與所有質心的距離
[…]=Kmeans(…,'Param1',Val1,'Param2',Val2,…)
這其中的引數Param1、Param2等,主要可以設定為如下:
1. ‘Distance’(距離測度)
‘sqEuclidean’ 歐式距離(預設時,採用此距離方式)
‘cityblock’ 絕度誤差和,又稱:L1
‘cosine’ 針對向量
‘correlation’針對有時序關係的值
‘Hamming’ 只針對二進位制資料
2. ‘Start’(初始質心位置選擇方法)
‘sample’ 從X中隨機選取K個質心點
‘uniform’ 根據X的分佈範圍均勻的隨機生成K個質心
‘cluster’ 初始聚類階段隨機選擇10%的X的子樣本(此方法初始使用’sample’方法)
matrix 提供一K*P的矩陣,作為初始質心位置集合
3. ‘Replicates’(聚類重複次數)整數
案例一:
%隨機獲取150個點 X = [randn(50,2)+ones(50,2);randn(50,2)-ones(50,2);randn(50,2)+[ones(50,1),-ones(50,1)]]; opts = statset('Display','final'); %呼叫Kmeans函式 %X N*P的資料矩陣 %Idx N*1的向量,儲存的是每個點的聚類標號 %Ctrs K*P的矩陣,儲存的是K個聚類質心位置 %SumD 1*K的和向量,儲存的是類間所有點與該類質心點距離之和 %D N*K的矩陣,儲存的是每個點與所有質心的距離; [Idx,Ctrs,SumD,D] = kmeans(X,3,'Replicates',3,'Options',opts); %畫出聚類為1的點。X(Idx==1,1),為第一類的樣本的第一個座標;X(Idx==1,2)為第二類的樣本的第二個座標 plot(X(Idx==1,1),X(Idx==1,2),'r.','MarkerSize',14) hold on plot(X(Idx==2,1),X(Idx==2,2),'b.','MarkerSize',14) hold on plot(X(Idx==3,1),X(Idx==3,2),'g.','MarkerSize',14) %繪出聚類中心點,kx表示是圓形 plot(Ctrs(:,1),Ctrs(:,2),'kx','MarkerSize',14,'LineWidth',4) plot(Ctrs(:,1),Ctrs(:,2),'kx','MarkerSize',14,'LineWidth',4) plot(Ctrs(:,1),Ctrs(:,2),'kx','MarkerSize',14,'LineWidth',4) legend('Cluster 1','Cluster 2','Cluster 3','Centroids','Location','NW') Ctrs SumD
結果圖片:
%K-means聚類 clc,clear; load tyVector; X=tyVector'; %列向量變成行向量,209*180矩陣 [x,y]=size(X); opts = statset('Display','final'); K=11; %將X劃分為K類 repN=50; %迭代次數 %K-mean聚類 [Idx,Ctrs,SumD,D] = kmeans(X,K,'Replicates',repN,'Options',opts); %Idx N*1的向量,儲存的是每個點的聚類標號 %列印結果 fprintf('劃分成%d類的結果如下:\n',K) for i=1:K tm=find(Idx==i); %求第i類的物件 tm=reshape(tm,1,length(tm)); %變成行向量 fprintf('第%d類共%d個分別是%s\n',i,length(tm),int2str(tm)); %顯示分類結果 end