This post was kindly contributed by 資料科學與R語言 - go there to comment and to read the full post.  






在資料探勘和機器學習領域有許多的演算法需要強大的計算能力，如果對大資料進行運算操作，那麼其工作量之大使單個CPU核心難以承受負荷。目前的個人計算機已經具備有多個核心，如果採用平行計算將任務分解到多個核心上執行就能大大減少計算時間。進一步還可以將多臺計算機組合成計算叢集(Cluster)則能使之具備組合金剛般的運算能力。


目前已經有多個R語言擴充套件包專注於高效能運算，彌補了R本身單核心作業的弱點。其中snow（Simple Network of Workstations）是R語言中最流行的並行程式設計包於2003年推出，本文將嘗試用snow來運算K均值聚類。


我們先用單核心運算K均值聚類來看看花費的時間，用到的資料集是MASS包中的Boston資料，我們希望將其聚為4類，由於K均值聚類的演算法是隨機確定初始中心點，所以為了使之收斂到最優解上需要反覆運算多次。此處nstart引數設定為100000，即為運算次數。


system.time({  library(MASS)  result <- kmeans(Boston,4,nstart=100000)})可看到單核心計算共耗費了61秒，再用本地計算機上用雙核心構建叢集進行比較。在安裝和載入snow包後，首先用makeCluster函式構建本地計算叢集，通訊方式使用socket，叢集命名為cl。然後將運算所需的Boston資料分發到叢集上。之後使用clusterApply函式將計算任務分配到兩個核心上，其中第一個引數是叢集名稱，第二個引數表示每個核心分別計算5萬次，第三個引數是一個匿名函式，規定了核心的計算任務。兩個核心的計算結果分別存在results的list元素中。比較兩個核心的結果取較優的一個，最後關閉叢集。

install.packages('snow')library(snow)

system.time({  data(Boston)  cl <- makeCluster(2,type='SOCK')  clusterExport(cl,'Boston')  

results <- clusterApply(cl,rep(50000,2),function(nstart)

 kmean(Boston,4,nstart=nstart))  i <- sapply(results,function(result) result$tot.withinss)  

result <- results[[which.min(i)]]  stopCluster(cl)})

從結果觀察到本地雙核心組成的計算叢集只耗費了34秒即完成了運算。snow也可以用多臺計算機構建叢集，不過設定蠻複雜，筆者沒有折騰成功。總而言之，snow是一種高階包，它不關注底層的執行緒之間的通訊，而著重於任務的執行易於使用，相對R的單核心弱點是很好的補充。