1. 程式人生 > 實用技巧 >matlab實現K-means聚類演算法(轉載)

matlab實現K-means聚類演算法(轉載)

https://blog.csdn.net/wys7541/article/details/82153844

K-means聚類演算法的一般步驟:

  1. 初始化。輸入基因表達矩陣作為物件集X,輸入指定聚類類數N,並在X中隨機選取N個物件作為初始聚類中心。設定迭代中止條件,比如最大迴圈次數或者聚類中心收斂誤差容限。
  2. 進行迭代。根據相似度準則將資料物件分配到最接近的聚類中心,從而形成一類。初始化隸屬度矩陣。
  3. 更新聚類中心。然後以每一類的平均向量作為新的聚類中心,重新分配資料物件。
  4. 反覆執行第二步和第三步直至滿足中止條件。

下面來看看K-means是如何工作的:

圖中圓形為聚類中心,方塊為待聚類資料,步驟如下:

(a)選取聚類中心,可以任意選取,也可以通過直方圖進行選取。我們選擇三個聚類中心,並將資料樣本聚到離它最近的中心;

(b)資料中心移動到它所在類別的中心;

(c)資料點根據最鄰近規則重新聚到聚類中心;

(d)再次更新聚類中心;不斷重複上述過程直到評價標準不再變化

評價標準:

K-means面臨的問題以及解決辦法:

1.它不能保證找到定位聚類中心的最佳方案,但是它能保證能收斂到某個解決方案(不會無限迭代)。

解決方法:多執行幾次K-means,每次初始聚類中心點不同,最後選擇方差最小的結果。

2.它無法指出使用多少個類別。在同一個資料集中,例如上圖例,選擇不同初始類別數獲得的最終結果是不同的。

解決方法:首先設類別數為1,然後逐步提高類別數,在每一個類別數都用上述方法,一般情況下,總方差會很快下降,直到到達一個拐點;這意味著再增加一個聚類中心不會顯著減少方差,儲存此時的聚類數。

MATLAB函式Kmeans

使用方法:
Idx=kmeans(X,K)

[Idx,C]=kmeans(X,K)

[Idx,C,sumD]=kmeans(X,K)

[Idx,C,sumD,D]=kmeans(X,K)

[…]=kmeans(…,’Param1’,Val1,’Param2’,Val2,…)

各輸入輸出引數介紹:
X: N*P的資料矩陣,N為資料個數,P為單個數據維度
K: 表示將X劃分為幾類,為整數
Idx: N*1的向量,儲存的是每個點的聚類標號
C: K*P的矩陣,儲存的是K個聚類質心位置
sumD: 1*K的和向量,儲存的是類間所有點與該類質心點距離之和
D: N*K的矩陣,儲存的是每個點與所有質心的距離

[…]=Kmeans(…,'Param1',Val1,'Param2',Val2,…)
這其中的引數Param1、Param2等,主要可以設定為如下:
1. ‘Distance’(距離測度)
‘sqEuclidean’ 歐式距離(預設時,採用此距離方式)
‘cityblock’ 絕度誤差和,又稱:L1
‘cosine’ 針對向量
‘correlation’針對有時序關係的值
‘Hamming’ 只針對二進位制資料
2. ‘Start’(初始質心位置選擇方法)
‘sample’ 從X中隨機選取K個質心點
‘uniform’ 根據X的分佈範圍均勻的隨機生成K個質心
‘cluster’ 初始聚類階段隨機選擇10%的X的子樣本(此方法初始使用’sample’方法)
matrix 提供一K*P的矩陣,作為初始質心位置集合
3. ‘Replicates’(聚類重複次數)整數

案例一:

%隨機獲取150個點
X = [randn(50,2)+ones(50,2);randn(50,2)-ones(50,2);randn(50,2)+[ones(50,1),-ones(50,1)]];
opts = statset('Display','final');
 
%呼叫Kmeans函式
%X N*P的資料矩陣
%Idx N*1的向量,儲存的是每個點的聚類標號
%Ctrs K*P的矩陣,儲存的是K個聚類質心位置
%SumD 1*K的和向量,儲存的是類間所有點與該類質心點距離之和
%D N*K的矩陣,儲存的是每個點與所有質心的距離;
 
[Idx,Ctrs,SumD,D] = kmeans(X,3,'Replicates',3,'Options',opts);
 
%畫出聚類為1的點。X(Idx==1,1),為第一類的樣本的第一個座標;X(Idx==1,2)為第二類的樣本的第二個座標
plot(X(Idx==1,1),X(Idx==1,2),'r.','MarkerSize',14)
hold on
plot(X(Idx==2,1),X(Idx==2,2),'b.','MarkerSize',14)
hold on
plot(X(Idx==3,1),X(Idx==3,2),'g.','MarkerSize',14)
 
%繪出聚類中心點,kx表示是圓形
plot(Ctrs(:,1),Ctrs(:,2),'kx','MarkerSize',14,'LineWidth',4)
plot(Ctrs(:,1),Ctrs(:,2),'kx','MarkerSize',14,'LineWidth',4)
plot(Ctrs(:,1),Ctrs(:,2),'kx','MarkerSize',14,'LineWidth',4)
 
legend('Cluster 1','Cluster 2','Cluster 3','Centroids','Location','NW')
 
Ctrs
SumD

結果圖片:

%K-means聚類
clc,clear;
load tyVector;
X=tyVector';    %列向量變成行向量,209*180矩陣
[x,y]=size(X);
opts = statset('Display','final');
K=11;           %將X劃分為K類
repN=50;        %迭代次數
 
%K-mean聚類
[Idx,Ctrs,SumD,D] = kmeans(X,K,'Replicates',repN,'Options',opts);
%Idx N*1的向量,儲存的是每個點的聚類標號
 
%列印結果
fprintf('劃分成%d類的結果如下:\n',K)
for i=1:K
    tm=find(Idx==i); %求第i類的物件
    tm=reshape(tm,1,length(tm)); %變成行向量
    fprintf('第%d類共%d個分別是%s\n',i,length(tm),int2str(tm)); %顯示分類結果
end