1. 程式人生 > >一步一步跟我學習hadoop(2)----hadoop eclipse外掛安裝和執行wordcount程式

一步一步跟我學習hadoop(2)----hadoop eclipse外掛安裝和執行wordcount程式

本部落格hadoop版本是hadoop  0.20.2。

安裝hadoop-0.20.2-eclipse-plugin.jar

  1. 下載hadoop-0.20.2-eclipse-plugin.jar檔案,並新增到eclipse外掛庫,新增方法很簡單:找到eclipse安裝目錄下的plugins目錄,直接複製到此目錄下,重啟eclipse
  2. 依次點選eclipse工具欄的window-----show view ------other在彈出的視窗中輸入map,確認找到如下所示

到這裡外掛安裝成功

map/reduce配置

  1. 配置hadoop installation directory

    依次點選eclipse的window-----preference,在彈出的視窗中找到Hadoop  Map/Reduce,選擇hadoop 安裝檔案地址(此處的安裝檔案不需要和叢集中的hadoop環境完全一樣)

  2. hadoop map/reduce locations配置

在map/Reduce檢視下,點選如下圖示

會彈出視窗如下,按照圖中提示輸入對應的內容

在Advanced Parameters選項卡,輸入內容如下,這裡我截兩個圖

其他設定

驗證hadoop map/reduce locations配置

在Map/Reduce的project Explorer檢視下,點選dfs下自己配置的map/reduce locations,如果各個節點均可以展開則說明配置沒有問題

測試wordcount程式

在hdfs檔案系統新增input目錄

hadoop fs -mkdir input


在eclipse重新整理dfs locations並上傳檔案,這裡我上傳了兩個檔案,檔案內容新增部分空格(wordcount根據空格進行統計單詞)

執行wordcount

執行wordcount需要命令列引數,引數有兩個,第一個是要統計的資料夾hdfs路徑,另一個是輸出的路徑;

這裡注意輸出路徑是上傳檔案路徑的父目錄,填寫的時候用dfs locations檢視雙擊檔案,即可檢視該檔案的hdfs路徑,我們要的是他的目錄,這裡就是hdfs://192.168.88.128:9000/user/root/input,另外的一個輸出引數我寫的是hdfs://192.168.88.128:9000/user/root/output

執行過後重新整理dfs locations,可以看到在input同級的目錄有了output目錄

在master機器上執行命令

hadoop fs -lsr /

也可以看到多出了一個output目錄,同時其下邊多了個檔案,此檔案就是統計結果

時間不早了,先寫到這裡吧,明天我會上傳相關的外掛,同時會上傳幾個hadoop相關的pdf文件