1. 程式人生 > >Hadoop偽分佈環境搭建——Hadoop安裝與配置

Hadoop偽分佈環境搭建——Hadoop安裝與配置

    我們需要從官網下載hadoop  點選開啟連結  我自己下載的是最新的版本 hadoop 2.7.1。

    下載完成後就開始安裝了:

    使用  sudo tar xzf hadoop-2.7.1.tar.gz 命令將檔案解壓縮。在 /usr/local 目錄下建立一個 hadoop 資料夾,然後將檔案拷貝到這裡來。

    sudo mv hadoop-2.7.1 /usr/local/hadoop 

    賦予使用者對該資料夾的讀寫許可權:

sudo chmod 774 /usr/local/hadoop

    配置

   (1)配置 ~/.bashrc

    配置該檔案要知道Java的安裝的路徑,以便設定環境變數。可使用如下命令檢視安裝路徑:

    update-alternatives - -config java 這個是我的機器上的Java安裝路徑

    

    找到路徑之後就可以開始配置檔案:sudo gedit ~/.bashrc

    開啟編輯視窗,在檔案末尾新增下列內容,然後儲存退出。

    

    (2)配置 JAVA_HOME 變數

    使用如下命令來編輯 /usr/local/hadoop/etc/hadoop/hadoop-env.sh :

     sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

    修改JAVA_HOME變數如下圖:

    

    配置 core-site.xml

    在 /usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop啟動時的配置資訊。

    編輯器中開啟該檔案,並進行如下修改:

    

    配置 yarn-site.xml

    /usr/local/hadoop/etc/hadoop/yarn-site.xml包含了MapReduce啟動時的配置資訊。

    開啟方式同上,然後新增以下內容:

    

    建立和配置 mapred-site.xml

    預設情況下,/usr/local/hadoop/etc/hadoop/資料夾下有mapred.xml.template檔案,我們要複製該檔案,並命名為mapred.xml,該檔案用於指定MapReduce使用的框架。

    複製並重命名:cp mapred-site.xml.template mapred-site.xml

    編輯器開啟此新建檔案,並新增以下內容:

    

    

    配置 hdfs-site.xml

    /usr/local/hadoop/etc/hadoop/hdfs-site.xml用來配置叢集中每臺主機都可用,指定主機上作為namenode和datanode的目錄。

    首先在 /usr/local/hadoop 目錄下資料夾 hdfs,然後在 hdfs 目錄下建立 name 和 data 兩個資料夾

    你也可以在別的路徑下建立上圖的資料夾,名稱也可以與上圖不同,但是需要和hdfs-site.xml中的配置一致。

    然後用編輯器開啟 hdfs-site.xml ,增加以下內容:

    

    通過上面的步驟,配置基本就完成了,然後需要格式化 hdfs:hdfs namenode -format ,只需執行一次即可。

    啟動Hadoop

    經過上文所描述配置和操作後,下面就可以啟動這個單節點的叢集

    執行啟動命令:sbin/start-dfs.sh  執行該命令時,如果有yes /no提示,輸入yes,回車即可。

    接下來,執行:sbin/start-yarn.sh  執行完這兩個命令後,Hadoop會啟動並執行。

    執行 jps命令,會看到Hadoop相關的程序,如下圖:

    

    瀏覽器開啟 http://localhost:50070/,會看到hdfs管理頁面   

    瀏覽器開啟http://localhost:8088,會看到hadoop程序管理頁面