【HDFS篇12】HA高可用 --- HDFS-HA叢集配置
阿新 • • 發佈：2020-07-13
保持自己的節奏前進就對了
HDFDS-HA叢集配置
(一)環境準備
- 修改IP
- 修改主機名及主機名和IP地址的對映
- 關閉防火牆
- ssh免密登入
- 安裝JDK，配置環境變數等
(二)規劃叢集
看出我們將NameNode分佈到兩臺機器上，保證叢集的高可用性
| hadoop102 | hadoop103 | hadoop104 |
|---|---|---|
| NameNode | NameNode | |
| JournalNode | JournalNode | JournalNode |
| DataNode | DataNode | DataNode |
| ZK | ZK | ZK |
| ResourceManager | ||
| NodeManager | NodeManager | NodeManager |
(三)配置Zookeeper叢集
1.叢集規劃
在hadoop102、hadoop103和hadoop104三個節點上部署Zookeeper。
2.解壓安裝
（1）解壓Zookeeper安裝包到/opt/module/目錄下
tar -zxvf zookeeper-3.4.10.tar.gz -C /opt/module/
（2）在/opt/module/zookeeper-3.4.10/這個目錄下建立zkData
mkdir -p zkData
（3）重新命名/opt/module/zookeeper-3.4.10/conf這個目錄下的zoo_sample.cfg為zoo.cfg
mv zoo_sample.cfg zoo.cfg
3.配置zoo.cfg檔案
（1）具體配置
dataDir=/opt/module/zookeeper-3.4.10/zkData
增加如下配置
\#######################cluster##########################
server.2=hadoop102:2888:3888
server.3=hadoop103:2888:3888
server.4=hadoop104:2888:3888
（2）配置引數解讀
Server.A=B:C:D。 A是一個數字，表示這個是第幾號伺服器； B是這個伺服器的IP地址； C是這個伺服器與叢集中的Leader伺服器交換資訊的埠； D是萬一叢集中的Leader伺服器掛了，需要一個埠來重新進行選舉，選出一個新的Leader，而這個埠就是用來執行選舉時伺服器相互通訊的埠。 叢集模式下配置一個檔案myid，這個檔案在dataDir目錄下，這個檔案裡面有一個數據就是A的值，Zookeeper啟動時讀取此檔案，拿到裡面的資料與zoo.cfg裡面的配置資訊比較從而判斷到底是哪個server。
4.叢集操作
（1）在/opt/module/zookeeper-3.4.10/zkData目錄下建立一個myid的檔案
touch myid
新增myid檔案，注意一定要在linux裡面建立，在notepad++裡面很可能亂碼
（2）編輯myid檔案
vi myid
在檔案中新增與server對應的編號：如2
（3）拷貝配置好的zookeeper到其他機器上
scp -r zookeeper-3.4.10/ [[email protected]:/opt/app/](mailto:[email protected]:/opt/app/)
scp -r zookeeper-3.4.10/ [[email protected]:/opt/app/](mailto:[email protected]:/opt/app/)
並分別修改myid檔案中內容為3、4
（4）分別啟動zookeeper
[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh start
[root@hadoop104 zookeeper-3.4.10]# bin/zkServer.sh start
（5）檢視狀態
[root@hadoop102 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
[root@hadoop103 zookeeper-3.4.10]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: leader
[root@hadoop104 zookeeper-3.4.5]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.10/bin/../conf/zoo.cfg
Mode: follower
(四)配置HDFS-HA叢集
1.官方地址
http://hadoop.apache.org/
2.在opt目錄下建立一個ha資料夾
mkdir ha
3.將/opt/app/下的 hadoop-2.7.2拷貝到/opt/ha目錄下
cp -r hadoop-2.7.2/ /opt/ha/
4.配置hadoop-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_144
5.配置core-site.xml
<configuration>
<!-- 把兩個NameNode）的地址組裝成一個叢集mycluster -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://mycluster</value>
</property>
<!-- 指定hadoop執行時產生檔案的儲存目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/ha/hadoop-2.7.2/data/tmp</value>
</property>
</configuration>
6.配置hdfs-site.xml
<configuration>
<!-- 完全分散式叢集名稱 -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value>
</property>
<!-- 叢集中NameNode節點都有哪些 -->
<property>
<name>dfs.ha.namenodes.mycluster</name>
<value>nn1,nn2</value>
</property>
<!-- nn1的RPC通訊地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn1</name>
<value>hadoop102:9000</value>
</property>
<!-- nn2的RPC通訊地址 -->
<property>
<name>dfs.namenode.rpc-address.mycluster.nn2</name>
<value>hadoop103:9000</value>
</property>
<!-- nn1的http通訊地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn1</name>
<value>hadoop102:50070</value>
</property>
<!-- nn2的http通訊地址 -->
<property>
<name>dfs.namenode.http-address.mycluster.nn2</name>
<value>hadoop103:50070</value>
</property>
<!-- 指定NameNode元資料在JournalNode上的存放位置 -->
<property>
<name>dfs.namenode.shared.edits.dir</name>
<value>qjournal://hadoop102:8485;hadoop103:8485;hadoop104:8485/mycluster</value>
</property>
<!-- 配置隔離機制，即同一時刻只能有一臺伺服器對外響應 -->
<property>
<name>dfs.ha.fencing.methods</name>
<value>sshfence</value>
</property>
<!-- 使用隔離機制時需要ssh無祕鑰登入-->
<property>
<name>dfs.ha.fencing.ssh.private-key-files</name>
<value>/home/zhutiansama/.ssh/id_rsa</value>
</property>
<!-- 宣告journalnode伺服器儲存目錄-->
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/opt/ha/hadoop-2.7.2/data/jn</value>
</property>
<!-- 關閉許可權檢查-->
<property>
<name>dfs.permissions.enable</name>
<value>false</value>
</property>
<!-- 訪問代理類：client，mycluster，active配置失敗自動切換實現方式-->
<property>
<name>dfs.client.failover.proxy.provider.mycluster</name>
<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
</configuration>
7.拷貝配置好的hadoop環境到其他節點
(五)啟動HDFS-HA叢集
1.在各個JournalNode節點上，輸入以下命令啟動journalnode服務
sbin/hadoop-daemon.sh start journalnode
2.在[nn1]上，對其進行格式化，並啟動
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
3.在[nn2]上，同步nn1的元資料資訊
bin/hdfs namenode -bootstrapStandby
4.啟動[nn2]
sbin/hadoop-daemon.sh start namenode
5.Web頁面檢視
6.在[nn1]上，啟動所有datanode
sbin/hadoop-daemons.sh start datanode
7.將[nn1]切換為Active
bin/hdfs haadmin -transitionToActive nn1
8.檢視是否Active
bin/hdfs haadmin -getServiceState nn1
(六)配置HDFS-HA自動故障轉移
1.具體配置
（1）在hdfs-site.xml中增加
<property>
<name>dfs.ha.automatic-failover.enabled</name>
<value>true</value>
</property>
（2）在core-site.xml檔案中增加
<property>
<name>ha.zookeeper.quorum</name>
<value>hadoop102:2181,hadoop103:2181,hadoop104:2181</value>
</property>
2.啟動
（1）關閉所有HDFS服務：
sbin/stop-dfs.sh
（2）啟動Zookeeper叢集：
bin/zkServer.sh start
（3）初始化HA在Zookeeper中狀態：
bin/hdfs zkfc -formatZK
（4）啟動HDFS服務：
sbin/start-dfs.sh
（5）在各個NameNode節點上啟動DFSZK Failover Controller，先在哪臺機器啟動，哪個機器的NameNode就是Active NameNode
sbin/hadoop-daemin.sh start zkfc
3.驗證
（1）將Active NameNode程序kill
kill -9 namenode的程序id
（2）將Active NameNode機器斷開網路
service network stop