Hadoop偽分佈環境搭建——Hadoop安裝與配置
我們需要從官網下載hadoop 點選開啟連結 我自己下載的是最新的版本 hadoop 2.7.1。
下載完成後就開始安裝了:
使用 sudo tar xzf hadoop-2.7.1.tar.gz 命令將檔案解壓縮。在 /usr/local 目錄下建立一個 hadoop 資料夾,然後將檔案拷貝到這裡來。
sudo mv hadoop-2.7.1 /usr/local/hadoop
賦予使用者對該資料夾的讀寫許可權:
配置
(1)配置 ~/.bashrc
配置該檔案要知道Java的安裝的路徑,以便設定環境變數。可使用如下命令檢視安裝路徑:
update-alternatives - -config java 這個是我的機器上的Java安裝路徑
找到路徑之後就可以開始配置檔案:sudo gedit ~/.bashrc
開啟編輯視窗,在檔案末尾新增下列內容,然後儲存退出。
(2)配置 JAVA_HOME 變數
使用如下命令來編輯 /usr/local/hadoop/etc/hadoop/hadoop-env.sh :
sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh
修改JAVA_HOME變數如下圖:
配置 core-site.xml
在 /usr/local/hadoop/etc/hadoop/core-site.xml 包含了hadoop啟動時的配置資訊。
編輯器中開啟該檔案,並進行如下修改:
配置 yarn-site.xml
/usr/local/hadoop/etc/hadoop/yarn-site.xml包含了MapReduce啟動時的配置資訊。
開啟方式同上,然後新增以下內容:
建立和配置 mapred-site.xml
預設情況下,/usr/local/hadoop/etc/hadoop/資料夾下有mapred.xml.template檔案,我們要複製該檔案,並命名為mapred.xml,該檔案用於指定MapReduce使用的框架。
複製並重命名:cp mapred-site.xml.template mapred-site.xml
編輯器開啟此新建檔案,並新增以下內容:
配置 hdfs-site.xml
/usr/local/hadoop/etc/hadoop/hdfs-site.xml用來配置叢集中每臺主機都可用,指定主機上作為namenode和datanode的目錄。
首先在 /usr/local/hadoop 目錄下資料夾 hdfs,然後在 hdfs 目錄下建立 name 和 data 兩個資料夾。
你也可以在別的路徑下建立上圖的資料夾,名稱也可以與上圖不同,但是需要和hdfs-site.xml中的配置一致。
然後用編輯器開啟 hdfs-site.xml ,增加以下內容:
通過上面的步驟,配置基本就完成了,然後需要格式化 hdfs:hdfs namenode -format ,只需執行一次即可。
啟動Hadoop
經過上文所描述配置和操作後,下面就可以啟動這個單節點的叢集
執行啟動命令:sbin/start-dfs.sh 執行該命令時,如果有yes /no提示,輸入yes,回車即可。
接下來,執行:sbin/start-yarn.sh 執行完這兩個命令後,Hadoop會啟動並執行。
執行 jps命令,會看到Hadoop相關的程序,如下圖:
瀏覽器開啟 http://localhost:50070/,會看到hdfs管理頁面
瀏覽器開啟http://localhost:8088,會看到hadoop程序管理頁面