hadoop yarn元件介紹

Yarn的產生

mapReduc1.0

1單點故障

2擴充套件效率低

3資源利用率高

降低運維成本

方便資料共享

多計算框架支援

MapReduce

Spark

Storm

Yarn的架構圖

Yarn模組介紹

ResourceManger

負責叢集資源的統一管理和排程

處理客戶端請求

啟動/監控ApplicationMaster

監控NodeManager

資源的分配與排程

NodeManager

負責單點資源的管理和使用

處理來自ResourceManager的命令

處理來自ApplicationMaster的命令

ApplicationMaster

負責應用程式的管理

資料的切分

為應用程式申請資源。並進一步分給內部任務

任務的監控與容錯

Container

任務環境的抽象

任務執行的資源

任務啟動命令

任務執行環境

Yarn資源排程器

多型別資源排程

Drf演算法

Cpu和記憶體兩種資源

提供多種資源排程

Fifo

佇列 capaity Scheduler

Fair Scheduler

多租戶的資源排程器

支援資源按比例分配

支援層級佇列的劃分

支援資源的槍佔

Yarn 資源隔離方案

記憶體絕定生死

Cpu決定快慢

Yarn執行流程的描述

1由client端向ResourceManager 傳送請求，

2 ResourceManager啟動一個

3 ApplicationMaster啟動完成後會向ResourceManager建立心跳機制

4 當處理機制不夠時，ApplicationMaster會向ResourceManager傳送申請請求

5 當ResourceManager接收到請求後會查詢可用的contariner讓後傳送ApplicationMaster

6 由ApplicationMaster進行初始化，AplicationMaster與對應的nodeManage通訊

要求nodeManager啟動Contarner aplicationMaster與nodeManger

從而對nodeManager執行的任務進行監控和管理

7 contariner執行期間，ApplicationMaster對Contariner進行監控，contarner通過rpc協議

向對應的ApplicationMaseter彙報自己的狀態和進度

8執行期間client 直接與ApplicationMaster通訊獲取狀態，進度

9 結束後ApplicationMaster會向ResourceManager彙報並且登出自己，並允許所屬的Contariner收回