hadoop安裝,並配置單節點hadoop叢集
前言:本文以申威伺服器raise系統為例,安裝部署hadoop-2.7.3
一、安裝Java
在安裝 hadoop 之前,請確保你的系統上安裝了 Java。使用java -version命令檢查已安裝 Java 的版本。
申威raise系統中預設安裝Java1.7版本,安裝路徑為:
注:要記住該路徑,後面配置hadoop時會用到。
二、安裝hadoop
1.建立用於 hadoop 安裝的系統帳戶hadoop
[root@localhost ~]# useradd hadoop
[root@localhost ~]# passwd 123456
給建立的hadoop賬戶root許可權:
[root@localhost ~]# cd /etc
[root@localhost etc]# vim sudoers
2.為hadoop賬戶配置ssh金鑰,啟用無需密碼的ssh登陸
①切換使用者
[root@localhost ~]# su - hadoop
②安裝ssh軟體(申威raise系統中預設已經安裝ssh)
[hadoop@localhost ~]# yum install ssh
③生成金鑰對(設定登入無密碼)
[hadoop@localhost ~]# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
④追加公鑰到對方的認證庫中
[hadoop@localhost ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[hadoop@localhost ~]# chmod 0600 ~/.ssh/authorized_keys
⑤測試ssh到localhost(無需密碼)
[hadoop@localhost ~]# ssh localhost
3.解壓hadoop安裝包,並配置hadoop環境變數
①解壓hadoop安裝包(hadoop-2.7.3.tar.gz)
[hadoop@localhost ~]# cp hadoop-2.7.3.tar.gz /home/hadoop
[hadoop@localhost ~]# tar -zxvf hadoop-2.7.3.tar.gz
[hadoop@localhost ~]# ls
②編輯 vim ~/.bashrc 檔案,並在檔案末尾新增以下程式碼
//注:其中HADOOP_HOME為hadoop-2.7.3.tar.gz的解壓目錄
export HADOOP_HOME=/home/hadoop/hadoop-2.7.3
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/bin/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
③在當前執行環境中應用更改
[hadoop@localhost ~]# source
④編輯 vim /home/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
,設定 JAVA_HOME 環境變數,新增以下程式碼:export JAVA_HOME=/usr/lib/jvm/java-1.7.0-swjdk-H2586P.sw_64
[hadoop@localhost ~]# cd hadoop-2.7.3/etc/hadoop
[hadoop@localhost hadoop]# vim hadoop-env.sh
4.編輯hadoop配置檔案
①[[email protected] hadoop]# vim core-site.xml
②[[email protected] hadoop]# vim hdfs-site.xml
③[[email protected] hadoop]# vim mapred-site.xml
④[[email protected] hadoop-2.7.3]# vim yarn-site.xml
5.格式化namenode,並啟動hadoop服務
①格式化namenode
[hadoop@localhost hadoop]# hdfs namenode -format
②啟動hadoop所有服務
[hadoop@localhost hadoop]# cd /home/hadoop/hadoop-2.7.3/sbin
[hadoop@localhost sbin]# start-dfs.sh
[hadoop@localhost sbin]# start-yarn.sh
③檢查所有服務是否正常啟動
[hadoop@localhost sbin]# jps
應該看到以下輸出。
④現在,可在瀏覽器中訪問hadoop服務,http://ip:8088
參考文件:
https://mp.weixin.qq.com/s/eGizxYg7npnYVmUQ73SmIw
http://www.powerxing.com/install-hadoop/