1. 程式人生 > >大資料開發面試部分:正常工作的Hadoop叢集中Hadoop都分別需要啟動哪些程序,它們的作用分別是什麼(大資料開發面試)

大資料開發面試部分:正常工作的Hadoop叢集中Hadoop都分別需要啟動哪些程序,它們的作用分別是什麼(大資料開發面試)

啟動的程序:

namenode

socondarynamenode

datanode

ResourceManager(JobTracker)JobTracker

NodeManager(TaskTracker)

DFSZKFailoverController

JournalNode

作用:

a) NameNode它是hadoop中的主伺服器,管理檔案系統名稱空間和對叢集中儲存的檔案的訪問,儲存有 metadate.

b).SecondaryNameNode它不是namenode的冗餘守護程序,而是提供週期檢查點和清理任務。幫助NN合併editslog,減少NN啟動時間。

c)DataNode它負責管理連線到節點的儲存(一個叢集中可以有多個節點)。每個存

儲資料的節點執行一個datanode守護程序。

d)ResourceManager(JobTracker)JobTracker負責排程DataNode上的工作。每個DataNode有一個TaskTracker,它們執行實際工作。

e) NodeManager(TaskTracker)執行任務

f) DFSZKFailoverController高可用時它負責監控NN的狀態,並及時的把狀態資訊寫入ZK。它通過一個獨立執行緒週期性的呼叫NN上的一個特定介面來獲取NN的健康狀態。FC也有選擇誰作為Active NN的權利,因為最多隻有兩個節點,目前選擇策略還比較簡單(先到先得,輪換)。

g) JournalNode 高可用情況下存放namenode的editlog檔案.