Ubuntu中Hadoop環境搭建

JDK安裝

方法一：通過命令列直接安裝（不建議）

有兩種java可以安裝oracle-java8-installer以及openjdk

(1)安裝oracle-java8-installer

apt install software-properties-common

add-apt-repository ppa:webupd8team/java

sudo apt-get update

sudo apt-get install oracle-java8-installer

(2)安裝openJDK

sudo apt-get update
 

sudo apt-get install openjdk-8-jdk

解除安裝openJDK

sudo apt-get remove oepnjdk*

方法二：自己配置安裝

1.下載jdk-7u67-linux-x64.tar.gz

2.用ftp客戶端工具filezilla上傳到ubuntu的合適資料夾。如果如果不能上傳到指定資料夾可能是資料夾許可權不足，修改資料夾可執行許可權，最簡單的方法是賦予許可權，即：

1. chmod 777 資料夾
2. （777）為最高許可權

3.自解壓安裝jdk，我解壓在了/usr/cpy下

1. tar -xzvf
   jdk-7u67-linux-x64.tar.gz

安裝完後，會生成jdk1.7.0_67資料夾

4.設定環境變數，對於對vi不熟悉的使用者使用gedit命令啟動文字編輯器比起vi命令更方便

1. sudo gedit /etc/profile

新增以下內容並儲存退出

原本內容：

PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"

新新增內容：

export JAVA_HOME="/usr/cpy/jdk1.7.0_67"
CLASSPATH=$CLASSPATH.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=

在PATH=的最前面加上 $PATH

執行以下命令，使配置生效

source /etc/profile

注意：PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games"必須保留，否則會導致系統登入不了。還可以使用另外兩條配置代替該行配置：

5.解除安裝自帶的openjdk的方法：

1. sudo apt-get remove openjdk*  

6.設定預設jdk（假如有openjdk的話）

由於Ubuntu中可能會有預設的jdk，如openjdk。假如有openjdk的話，所以，為了使預設使用的是我們安裝的jdk，還要進行如下工作（可以使用該命令安裝其他命令，例如eclipse）。
執行程式碼:

1. sudo update-alternatives --install /usr/bin/java java /opt/jdk1.7.0_25/bin/java 300  
2. sudo update-alternatives --install /usr/bin/javac javac /opt/jdk1.7.0_25/bin/javac 300  

通過這一步將我們安裝的jdk加入java選擇單。

然後執行程式碼:

1. sudo update-alternatives --config java  
2. sudo update-alternatives --config javac  

通過這一步選擇系統預設的jdk

7.檢視java版本，顯示為我們自己設定的jdk

[email protected]$ java -version
java version "1.7.0_25"
Java(TM) SE Runtime Environment (build 1.7.0_25-b15)
Java HotSpot(TM) Server VM (build 23.25-b01, mixed mode)

注：還可以利用此方法配置多jdk版本，只需要修改/etc/environment內容，然後按照下邊的步驟依次執行。

Hadoop單機版本安裝：

sudo apt-get install ssh

sudo apt-get install rsync

Unpack the downloaded Hadoop distribution. In the distribution, edit the file etc/hadoop/hadoop-env.sh to define some parameters as follows:

# set to the root of your Java installation

  export JAVA_HOME=/usr/java/latest

配置YARN

Configure parameters as follows:etc/hadoop/mapred-site.xml:

<configuration>

    <property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

</configuration>

etc/hadoop/yarn-site.xml:

<configuration>

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value>

    </property>

</configuration>

Start ResourceManager daemon and NodeManager daemon:

  $ sbin/start-yarn.sh

 Browse the web interface for the ResourceManager; by default it is available at:

• ResourceManager - http://localhost:8088/

 Run a MapReduce job.

When you're done, stop the daemons with:

  $ sbin/stop-yarn.sh

linux找不到主機名解決辦法

報錯：java.net.UnknownHostException: 主機名: 主機名

修改/etc/hosts檔案

127.0.0.1 主機名 localhost.localdomain localhost

或是再新增一條 

127.0.0.1 主機名 

主機名是新加的，原來沒有，儲存，問題解決。

==========================================

/etc/sysconfig/network   
/etc/hosts       hostname命令讀這個配置檔案

記住一定要啟動yarm再執行