1. 程式人生 > 其它 >HADOOP 優化(5):Hadoop-Yarn生產經驗

HADOOP 優化(5):Hadoop-Yarn生產經驗

1 常用的調優引數

1)調優引數列表

1Resourcemanager相關

yarn.resourcemanager.scheduler.client.thread-count    ResourceManager處理排程器請求的執行緒數量
yarn.resourcemanager.scheduler.class    配置排程器

2Nodemanager相關

yarn.nodemanager.resource.memory-mb                  NodeManager使用記憶體數
yarn.nodemanager.resource.system-reserved-memory-mb  NodeManager為系統保留多少記憶體,和上一個引數二者取一即可

yarn.nodemanager.resource.cpu
-vcores NodeManager使用CPU核數 yarn.nodemanager.resource.count-logical-processors-as-cores 是否將虛擬核數當作CPU核數 yarn.nodemanager.resource.pcores-vcores-multiplier 虛擬核數和物理核數乘數,例如:4核8執行緒,該引數就應設為2 yarn.nodemanager.resource.detect-hardware-capabilities 是否讓yarn自己檢測硬體進行配置 yarn.nodemanager.pmem-check-enabled 是否開啟實體記憶體檢查限制container yarn.nodemanager.vmem
-check-enabled 是否開啟虛擬記憶體檢查限制container yarn.nodemanager.vmem-pmem-ratio 虛擬記憶體實體記憶體比例

3Container容器相關

yarn.scheduler.minimum-allocation-mb         容器最小記憶體
yarn.scheduler.maximum-allocation-mb         容器最大記憶體
yarn.scheduler.minimum-allocation-vcores     容器最小核數
yarn.scheduler.maximum-allocation-vcores     容器最大核數

2)引數具體使用案例

9.2 容量排程器使用

9.3 公平排程器使用

本文來自部落格園,作者:秋華,轉載請註明原文連結:https://www.cnblogs.com/qiu-hua/p/15229366.html