1. 程式人生 > >hadoop安裝,並配置單節點hadoop叢集

hadoop安裝,並配置單節點hadoop叢集

前言:本文以申威伺服器raise系統為例,安裝部署hadoop-2.7.3

一、安裝Java

在安裝 hadoop 之前,請確保你的系統上安裝了 Java。使用java -version命令檢查已安裝 Java 的版本。
申威raise系統中預設安裝Java1.7版本,安裝路徑為:
這裡寫圖片描述
:要記住該路徑,後面配置hadoop時會用到。

二、安裝hadoop

1.建立用於 hadoop 安裝的系統帳戶hadoop

[root@localhost ~]# useradd hadoop
[root@localhost ~]# passwd 123456

給建立的hadoop賬戶root許可權:

http://www.cnblogs.com/johnw/p/5499442.html
這裡寫圖片描述

[root@localhost ~]# cd /etc
[root@localhost etc]# vim sudoers

這裡寫圖片描述

2.為hadoop賬戶配置ssh金鑰,啟用無需密碼的ssh登陸

①切換使用者

[root@localhost ~]# su - hadoop

②安裝ssh軟體(申威raise系統中預設已經安裝ssh)

[hadoop@localhost ~]# yum install ssh

③生成金鑰對(設定登入無密碼)

[hadoop@localhost ~]# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

④追加公鑰到對方的認證庫中

[hadoop@localhost ~]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[hadoop@localhost ~]# chmod 0600 ~/.ssh/authorized_keys

⑤測試ssh到localhost(無需密碼)

[hadoop@localhost ~]# ssh localhost

3.解壓hadoop安裝包,並配置hadoop環境變數

①解壓hadoop安裝包(hadoop-2.7.3.tar.gz)

[hadoop@localhost ~]# cp hadoop-2.7.3.tar.gz /home/hadoop
[hadoop@localhost ~]# tar -zxvf hadoop-2.7.3.tar.gz [hadoop@localhost ~]# ls

②編輯 vim ~/.bashrc 檔案,並在檔案末尾新增以下程式碼
//注:其中HADOOP_HOME為hadoop-2.7.3.tar.gz的解壓目錄

export HADOOP_HOME=/home/hadoop/hadoop-2.7.3
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/bin/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

③在當前執行環境中應用更改

[hadoop@localhost ~]# source

④編輯 vim /home/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh ,設定 JAVA_HOME 環境變數,新增以下程式碼:export JAVA_HOME=/usr/lib/jvm/java-1.7.0-swjdk-H2586P.sw_64

[hadoop@localhost ~]# cd hadoop-2.7.3/etc/hadoop
[hadoop@localhost hadoop]# vim hadoop-env.sh

這裡寫圖片描述

4.編輯hadoop配置檔案

①[[email protected] hadoop]# vim core-site.xml
這裡寫圖片描述

②[[email protected] hadoop]# vim hdfs-site.xml
這裡寫圖片描述

③[[email protected] hadoop]# vim mapred-site.xml
這裡寫圖片描述

④[[email protected] hadoop-2.7.3]# vim yarn-site.xml
這裡寫圖片描述

5.格式化namenode,並啟動hadoop服務

①格式化namenode

[hadoop@localhost hadoop]# hdfs namenode -format

②啟動hadoop所有服務

[hadoop@localhost hadoop]# cd /home/hadoop/hadoop-2.7.3/sbin
[hadoop@localhost sbin]# start-dfs.sh
[hadoop@localhost sbin]# start-yarn.sh

③檢查所有服務是否正常啟動

[hadoop@localhost sbin]# jps

應該看到以下輸出。
這裡寫圖片描述

④現在,可在瀏覽器中訪問hadoop服務,http://ip:8088
這裡寫圖片描述

參考文件:
https://mp.weixin.qq.com/s/eGizxYg7npnYVmUQ73SmIw
http://www.powerxing.com/install-hadoop/