1. 程式人生 > >在啟動HDFS時,針對叢集中namenode無法識別datanode的問題的解決方法

在啟動HDFS時,針對叢集中namenode無法識別datanode的問題的解決方法

最近由於重灌了系統,需要對之前搭建的叢集要做些改動。在對每個虛擬機器的網路進行正確的配置之後,重新執行hadoop/sbin/start-dfs.sh命令來啟動HDFS,然而namenode卻無法識別datanode。
後來通過對之前學過的知識進行回顧和梳理髮現了問題的所在:
由於場景的改變造成了虛擬機器IP地址的改變,在這裡雖然在虛擬機器中配置網路的IP也做了相應的改變,但是Hadoop叢集中的一些自動生成舊檔案的內容依舊和你以前的IP地址有關,這就造成NameNode無法識別之前的DataNode。
這裡寫圖片描述
解決辦法:
首先了解下namenode初始化工作目錄的形成,我們在執行hdfs namenode -format 時只是初始化了namenode的工作目錄,而datanode的工作目錄是在datanode啟動後自己初始化的。所以在這裡首先要把各個DataNode下的工作目錄進行刪除(即HDFS的檔案儲存目錄:hddata/dfs/current目錄下的內容全部進行刪除)。(如果某個DataNode的工作目錄未進行刪除,則通過相應的web網頁去看HDFS的儲存記憶體時依舊觀察不到該DataNode)

其次namenode在format初始化的時候會形成兩個標識:
blockPoolId:
clusterId:
這裡寫圖片描述
新的datanode加入時,會獲取這兩個標識作為自己工作目錄中的標識,一旦namenode重新format後,namenode的身份標識已變,而datanode如果依然持有原來的id,就不會被namenode識別。
所以只需要我們把各個DataNode上的工作目錄進行刪除後,然後在對hadoop的bin目錄下執行namenode-format命令即可識別DataNode。

相關推薦

啟動HDFS針對集中namenode無法識別datanode的問題的解決方法

最近由於重灌了系統,需要對之前搭建的叢集要做些改動。在對每個虛擬機器的網路進行正確的配置之後,重新執行hadoop/sbin/start-dfs.sh命令來啟動HDFS,然而namenode卻無法識別datanode。 後來通過對之前學過的知識進行回顧和梳理髮

啟動mysql顯示:/tmp/mysql.sock 不存在的解決方法

blog col 賬號 一個 nbsp 解決 直接 sock div 簡單直接的方法: 自己建立一個mysql.sock文件,放到mysql目錄下,然後使用軟鏈接指向到tmp文件夾下 註意mysql賬號有讀寫/mysql/mysql.sock的權限 ln -s

開發JAVA9以上的項目出現ClassNotFoundException: javax.xml.bind.JAXBException的解決方法

inf XML alt exce span pan vnr BE class 一、問題描述:   開發JAVA9以上的項目時,出現ClassNotFoundException: javax.xml.bind.JAXBException的解決方法 二、問題樣例  

在安裝oracle 10g檢查網路配置需求未執行的解決方法

問題描述:   在安裝oracle 10g時,在先行條件檢測時會出現   “正在檢查網路配置需求...檢查完成。此次檢查的總體結果為: 未執行 <<<< 解決方案: Oracle 支援在具有 DHCP 分配的 IP 地址的系統上進行安裝。但在安裝之前

無法啟動此程式因為計算機丟失MSCVR120.dll相關問題解決方法總結

      今天正想開啟vs2013寫東西時,結果就說無法啟動此程式,因為計算機丟失MSVCR120.dll。遇到該問題時不要急著重灌軟體,可以試下別的方法。 現在把我解決此類問題的方法做一個總結。 1.無法啟動此程式,因為計算機丟失MSVCR120.dll。

執行selenium指令碼出現錯誤:ERROR: install_util.cc(603) 解決方法

基於python語言的selenium指令碼,執行時,雖然也可以跑,但是會出現錯誤資訊,如圖: 原因:應該是找不到登錄檔資訊,MachineLevelUserCloudPolicyEnrollmentToken 解決方法: 1. 開啟登錄檔編輯器 使用快捷鍵,WI

UITableViewCell高亮(按下)子檢視背景色變透明的解決方法

UITableViewCell highlighted subviews backgroundColor自定義的UITableViewCell,在上面新增一個UIView(這裡是UILabel),設定UILabel背景色。但是當cell處於按下狀態時,UILabel背景色就會

轉載 sublime text3 input函式無法執行問題解決方法

一、安裝外掛SublimeREPL    按Ctrl+Shift+P,開啟命令框。輸入Install Package,回車,等待幾秒鐘,會彈窗提示“安裝成功”。    按Ctrl+Shift+P,開啟命令框,輸入Install,選擇“Package

啟動Mysql提示error 2002 的解決辦法

upd with 技術 err src 故障 out gin logs 故障描述 啟動時提示ERROR 2002(HY000) 啟動服務時,提示the server quit without updating PID file. 解決方法一: 1。由於mysql是

【BIEE】05_啟動BIEE無法啟動BI_SERVER

ini ora biee style server clas gin 無法啟動 onf 本地修改資料庫後,重新啟動BIEE,結果報錯: 點擊【查看日誌信息】後 從這裏是沒看出是什麽問題造成的,那麽我們就要去查詢啟動日誌了 問題解決 找到日誌路徑:D:\obiee\in

3ds Max在啟動語言出現“MAXScript 自動加載腳本錯誤”

MAXScript自動加載腳本錯誤 3ds Max安裝錯誤 MAXScript 問題: 在安裝 NVIDIA 的 Mental Ray 並啟動法語、德語、巴西葡萄牙語、中文或日語的 3ds Max 2018 後,出現與 VFB_methods.ms 文件有關的“MAXScript

重復啟動Tomcat大概率出現Deploying web application direct

tomcat由前一篇文章開始折騰supervisor,想玩玩tomcat異常退出後使用supervisor自動讓tomcat重新啟動,隨即丟了一個tomcat在服務器裏面,本來就沒有放任何項目,空跑在那邊,只是tomcat有個界面就看看起沒起來。 於是手動停止tomcat的進程觸發supervisor自動拉起

啟動tomcat一直卡在Deploying web application directory這塊的解決方案

本來今天正常往伺服器上扔一個tomcat 部署一個專案的, 最後再啟動tomcat 的時候 發現專案一直都訪問不了,看了一下日誌: 1 2 3 4 5 6 7 [root@iz8vbdzx7y7owm488t4d89z bin]# tail

如何使程式在eclipse上Run As集中Run

一、First Step 將配置檔案拿出來包括(core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml) 注意:修改配置檔案!把主機名改成對應的埠號(或者在window下設定hosts配置主機名和ip的對映) 拿出來之後放到你所

idea啟動專案debug模式特別慢

1,問題: idea非debug模式,能夠正式的速度啟動專案, 而debug模式啟動時,啟動速度特別慢,甚至就像卡著一樣,幾乎啟動不了專案。 2,原因: 專案中有的地方打了斷點,所以啟動時受到影響 3,解決方法:如圖所示,在idea底部操作攔中選擇“Debug",然後點選如圖

啟動hbaseHmaster、HRegionServer程序有時候起不來

它出現的原因可能有是以下兩點: 第一,可能是各個主機的時間不同步 【1】在各個主機上執行:date 命令,看看時間是否同步 【2】如果時間不同步的話 格式如下: #  ntpdate      -u&nbs

啟動Hive出現Hive metastore database is not initialized

解決Hive啟動,Hive metastore database is not initialized的錯誤。 出錯原因:以前曾經安裝了Hive或MySQL,重新安裝Hive和MySQL以後,導致版本、配置不一致。解決方法是,使用schematool工具。Hive現在包含一個用於 Hive Me

kali Linux2.0初次啟動msfconsole使用search命令出現報錯資訊的解決方法

剛剛安裝的kali系統,使用msf控制檯時,使用search命令,出現報錯Module database cache not built yet, using slow search。再網上找了一些部落格,其中步驟有點複雜,最後總結出比較重要的三步,基本上執行完就不會報錯了(

在搭建Hadoop 分散式叢集的時候多次格式化檔案系統啟動hdfs,yarn後jps 發現datanode啟動

可以參考:https://www.cnblogs.com/dxwhut/p/5679501.html https://blog.csdn.net/baidu_15113429/article/details/53739734 https://www.cnblogs.com/lishpei/p

關於ActivityA中的FragmentA啟動ActivityBFragmentA中的startActivityForResult回撥的問題

轉自:http://blog.csdn.net/buaaroid/article/details/48931883 如果我們在一個Fragment中去使用startActivityForResult時,又是一個什麼情況呢?先看流程圖: ---------