Spark2.2.0叢集搭建部署之【無密訪問篇】
軟體準備資訊,詳見Spark2.2.0叢集搭建部署之【軟體準備篇】
基礎配置資訊,詳見Spark2.2.0叢集搭建部署之【基礎配置篇】
通過SSH無密訪問來達到叢集中機器相互訪問的目的。首先固定機器的ip地址,避免每次重啟機器ip改變的問題。
通過ifconfig命令檢視當前ip地址,若該命令無法使用的話,則需要先安裝net tools。
yum install net-tools
待安裝完畢後,即可檢視該ip。
安裝ssh服務
yum install openssh-server -y
service sshd start
開啟防火牆的22埠
firewall-cmd --zone=public --add-port=22/tcp --permanent service firewalld restart
因為後續的叢集搭建時,需要開啟更多的防火牆埠,所以直接關閉防火牆服務進行演示,上述步驟可不操作。
關閉防火牆命令:systemctl stop firewalld.service
開啟防火牆:systemctl start firewalld.service
關閉開機自啟動:systemctl disable firewalld.service
開啟開機啟動:systemctl enable firewalld.service
配置master,以及slave1機器的ip以及主機名資訊。通過 vi /etc/hosts將兩臺機器的ip進行固定。
192.168.195.129 master 192.168.195.128 slave1
通過 vi /etc/hostname分別將兩臺機器的主機名更改為master以及slave1。
儲存以上兩個指令,使配置生效。
ssh無密證書的操作
在兩臺臺機器中分別執行以下兩個命令,以便無密碼登入。
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
將 slave1 的公鑰 id_dsa.pub 傳給 master。(如果非22埠,可新增引數 -P xx)scp ~/.ssh/id_dsa.pub [email protected]
將 slave1的公鑰資訊追加到 master 的 authorized_keys檔案中。cat id_dsa.pub.slave1 >> authorized_keys
將 master 的公鑰資訊 authorized_keys 複製到 slave1 的 .ssh 目錄下。scp authorized_keys [email protected]:~/.ssh/authorized_keys
可以輸入ssh slave1, master 已經不需要密碼就可以登入到 slave1,
同理,輸入ssh master, slave1也無需密碼即可訪問master機器。