1. 程式人生 > >Windows下基於Eclipse搭建MapReduce開發環境

Windows下基於Eclipse搭建MapReduce開發環境

首先安裝JDK和Eclipse,安裝JDK的教程網上很多,Eclipse下在下來解壓就可以。值的一提的是,JDK和Eclipse的版本需要對應起來。這裡提供一個JDK安裝連結:https://jingyan.baidu.com/article/6dad5075d1dc40a123e36ea3.html

JDK和Eclipse是基本的Java開發環境,為了方便專案構建和依賴管理,推薦安裝Maven,這樣就不用匯入很多的jar包。Eclipse自帶Maven,最好還是自己再安裝一個。Maven的安裝並整合到Eclipse的教程:https://jingyan.baidu.com/article/6b1823098d4499ba58e159e1.html

 

最關鍵的一步就是基於Eclipse搭建Hadoop的開發環境了。

(1)下載Hadoop-2.6.3安裝包解壓到磁碟,例如D:\hadoop-2.6.3

(2)安裝eclipse的hadoop外掛。這裡有一個eclipse的Hadoop外掛的雲盤連結:https://pan.baidu.com/s/1fIM-8B9mBFnc9UwZa_UZOQ 密碼:egtz;下載下來,拷貝到eclipse目錄下的plugins目錄下。

(3)啟動eclipse,點開Windows->preferences,點選Hadoop Map/Reduce選項,彈出如下對話方塊,設定hadoop安裝目錄,即步驟(1)解壓的目錄。設定好後點擊OK。 

(4)點開Windows->ShowView->Other…,彈出如下對話方塊。

在其中選中Map/ReduceLocations,點選OK後將成功新增Map/ReduceLocations視窗,如下圖:

Location已經有了一個Hadoop大象圖示,這是因為我的環境是已經安裝好的。剛開始安裝沒有。

點選右側的小象圖示建立New Hadoop Location…,如下圖,紅色矩形框標記的部分。

彈出如下對話方塊:

紅框中的內容是叢集IP和埠。填寫完成後點選Finish,出現如下結果:

點開Windows->Perspective->Open Perspective->Other…,彈出如下對話方塊。

選擇Map/Reduce,在Project Explorer中新增DFSLocations,如下圖:

新建工程

點開File->New->Project,為了不用匯入jar包,這裡建立Maven工程。

建立Maven的工程參考網上的教程:

https://www.cnblogs.com/zlslch/p/6025694.html

最後找一個WordCount程式跑一下,看看環境有沒有搭好。如果成功了,就可以編寫其他程式了。可能會出現問題,可能是Hadoop動態庫的問題,參考這個部落格解決。https://blog.csdn.net/u014728303/article/details/59058248

MapReduce任務處理流程:https://blog.csdn.net/twj0823/article/details/84403190

MapReduce的輸入:https://blog.csdn.net/twj0823/article/details/84403578

MapReduce的輸出:https://blog.csdn.net/twj0823/article/details/84553070

全域性引數、資料檔案的傳遞與引用:https://blog.csdn.net/twj0823/article/details/84445457