一、基礎環境和下載

環境：ubuntu18,64位

虛擬機器：virtualbox5.2

下載hadoop2.9.1 https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

下載jdk1.8.0 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下載hive3.0.0 https://mirrors.tuna.tsinghua.edu.cn/apache/hive/

二、建立HADOOP使用者

sudo useradd -m hadoop -s /bin/bash

設定密碼

sudo passwd hadoop

增加管理員許可權

sudo adduser hadoop sudo

三、更新軟體，安裝ssh

sudo apt-get update

sudo apt-get install vim

sudo apt-get install openssh-server

登陸本機：

ssh localhost

exit                           # 退出剛才的 ssh localhost
cd ~/.ssh/                     # 若沒有該目錄，請先執行一次ssh localhost
ssh-keygen -t rsa              # 會有提示，都按回車就可以

cat ./id_rsa.pub >> ./authorized_keys  # 加入授權

四、安裝java，配置環境

五、安裝hadoop

sudo tar -zxf hadoop-2.9.1.tar.gz -C /usr/local    # 解壓到/usr/local中
定位到/usr/local 
sudo mv ./hadoop-2.9.1/ ./hadoop            # 將資料夾名改為hadoop
sudo chown -R hadoop ./hadoop       # 修改檔案許可權

驗證是否安裝成功

cd /usr/local/hadoop

./bin/hadoop version

安裝成功會顯示版本

六、修改配置檔案

gedit ./etc/hadoop/core-site.xml

<configuration>
        <property>
             <name>hadoop.tmp.dir</name>
             <value>file:/usr/local/hadoop/tmp</value>
             <description>Abase for other temporary directories.</description>
        </property>
        <property>
             <name>fs.defaultFS</name>
             <value>hdfs://localhost:9000</value>
        </property>
</configuration>

gedit ./etc/hadoop/hdfs-site.xml

<configuration>
        <property>
             <name>dfs.replication</name>
             <value>1</value>
        </property>
        <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

gedit ./etc/hadoop/hadoop-env.sh

修改java環境變數（你安裝的位置） export JAVA_HOME=/lib/jdk1.8.0_171

執行 NameNode 的格式化:

./bin/hdfs namenode -format

開啟 NameNode 和 DataNode 守護程序

./sbin/start-dfs.sh

啟動完成後，可以通過命令 jps 來判斷是否成功啟動

關閉命令sbin/stop-dfs.sh

可以開啟http://localhost:50070/檢視 NameNode 和 Datanode 資訊，還可以線上檢視 HDFS 中的檔案。

七、安裝mysql

第一次安裝呼叫不出來mysql，所以決定解除安裝重安就可以了

sudo apt-get install mysql-server
sudo apt install mysql-client
sudo apt install libmysqlclient-dev

先清除之前的安裝資訊

sudo apt-get autoremove --purge mysql-server-5.0
sudo apt-get remove mysql-server
sudo apt-get autoremove mysql-server

sudo apt-get remove mysql-common 

清理殘留資料

dpkg -l |grep ^rc|awk '{print $2}' |sudo xargs dpkg -P

再次安裝

sudo apt-get install mysql-server

sudo apt-get install mysql-client

終端輸入sudo gedit /etc/mysql/mysql.conf.d/mysqld.cnf

註釋掉bind-address = 127.0.0.1

在mysql中輸入

grant all on *.* to [email protected]'%' identified by '你的密碼' with grant option;

flush privileges;

在終端中重啟mysql

service mysql restart

八、複製這個ubuntu系統

右擊ubuntu，選擇“複製”，選擇初始化mac地址，確定，“完全複製”，複製出兩個新的ubuntu系統，命名為ubuntu2和ubuntu3

九、更改ubuntu2和ubuntu3的IP地址

複製出來的虛擬機器IP地址是重複的，需要修改

在/etc/netplan中找到字尾名為.yaml的檔案，開啟終端

sudo gedit 01-network-manager-all.yaml

network:
    ethernets:
        enp0s3:
            addresses:
            - 192.168.0.2/20
            gateway4: 192.168.12.2
            nameservers:
                addresses:
                - 223.5.5.5
                search: []
            optional: true
    version: 2

儲存退出，在終端中輸入：sudo netplan apply，使之生效

在終端中輸入ifconfig可檢視ip

三個虛擬機器的ip分別是192.168.0.1，192.168.0.2，192.168.0.3

十、修改3個系統的主機名字

檢視當前主機的主機名稱：sudo /bin/hostname

設定當前主機的主機名稱：sudo /bin/hostname newname

三個主機名字分別是master,slave1,slave2

定位到/etc，開啟終端sudo gedit hosts

192.168.0.1    master
192.168.0.2    slave1
192.168.0.3    slave2

手動重啟網路服務生效：sudo /etc/init.d/networking restart

十一、

十二、

參考：http://www.powerxing.com/install-hadoop/