spark-3.0.1 hadoop 2.10.1 安裝記錄
計劃做一個s141~s146的分散式。
一、製作基本的docker
通過上面的dockerfile,應該可以得到最新的centos7.9的版本。
二、安裝sshd
參考（0）安裝 sshd 後，將docker 儲存為centos7-ssh
通過
三、安裝jdk
四、安裝 hadoop
安裝完hadoop後，保留為centos7-ssh-hadoop
建立偽分散式，注意參考下面的（1）
配置hadoop配置檔案core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
hadoop-env.sh裡jdk環境不能錯過，不然也會報錯。
讓叢集之間在一個網內：
docker network create --subnet=192.168.30.0/24 hadoop-net五、安裝hadoop叢集
765 20201224-16:08:51: docker run -d --name centos1622 --network=hadoop-net --ip 192.168.30.146 -p 1622:22 -p50076:50070 -p8688:8088 --privileged=true centos7-ssh-hadoop /usr/sbin/init 771 20201224-16:32:34: docker run -d --name centos1222 --network=hadoop-net --ip 192.168.30.142 -p 1622:22 -p50072:50070 -p8288:8088 --privileged=true centos7-ssh-hadoop /usr/sbin/init 775 20201224-16:33:37: docker run -d --name centos1222 --network=hadoop-net --ip 192.168.30.142 -p 1222:22 -p50072:50070 -p8288:8088 --privileged=true centos7-ssh-hadoop /usr/sbin/init 777 20201224-16:34:23: docker run -d --name centos1322 --network=hadoop-net --ip 192.168.30.143 -p 1322:22 -p50073:50070 -p8388:8088 --privileged=true centos7-ssh-hadoop /usr/sbin/init 778 20201224-16:34:42: docker run -d --name centos1422 --network=hadoop-net --ip 192.168.30.144 -p 1422:22 -p50074:50070 -p8488:8088 --privileged=true centos7-ssh-hadoop /usr/sbin/init 779 20201224-16:35:03: docker run -d --name centos1522 --network=hadoop-net --ip 192.168.30.145 -p 1522:22 -p50075:50070 -p8588:8088 --privileged=true centos7-ssh-hadoop /usr/sbin/init
因為每個docker 裡的ssh的pub檔案一樣，
ssh-copy-id -i /root/.ssh/id_rsa.pub -p 1122 [email protected] docker製作 前做了這樣的操作，那麼，宿主主機就可以到任意一臺叢集機器，ssh s14*,而不用輸入密碼；
同理s141本身對自己做過這樣的操作後，那麼克隆出來的s142~146之間就可以互訪問，不用輸入密碼。因為他們的pub一樣。
/root/.ssh/authorized_keys 裡，有s141的pub就行了，因為各機都一樣。這個操作省去了互相訪問需要做ssh-copy-id的操作。
主要也是修改core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 改成叢集模式。
參考下面（2）
六、安裝zookeeper
安裝 容災。也是參考（2）的的zookeeper章節，注意建立myid檔案。然後會出現 ：QuorumPeerMain
同時也修改下hadoop相關的配置。s141-143中安裝了。
七、安裝 scala
https://www.scala-lang.org/download/2.12.12.html
八、安裝 spark3.0
http://archive.apache.org/dist/spark/spark-3.0.1/
spark-3.0.1-bin-hadoop2.7.tgz
九、安裝spark叢集
參考下面（3）
參考
（3）安裝spark3.0
https://www.cnblogs.com/qixing/p/14017875.html
下載
https://www.scala-lang.org/download/2.12.12.html
http://archive.apache.org/dist/spark/spark-3.0.1/
（1）hadoop偽分散式
https://www.cnblogs.com/qixing/p/12113732.html
（2） hadoop高可用
https://www.cnblogs.com/qixing/p/12252111.html
（1）.5 下載 hadoop 2.10.1
https://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz
（0） docker裡安裝ssh
https://www.cnblogs.com/ruanqj/p/7374544.html