HADOOP 優化(5):Hadoop-Yarn生產經驗
阿新 • • 發佈:2021-09-05
1 常用的調優引數
1)調優引數列表
(1)Resourcemanager相關
yarn.resourcemanager.scheduler.client.thread-count ResourceManager處理排程器請求的執行緒數量 yarn.resourcemanager.scheduler.class 配置排程器
(2)Nodemanager相關
yarn.nodemanager.resource.memory-mb NodeManager使用記憶體數 yarn.nodemanager.resource.system-reserved-memory-mb NodeManager為系統保留多少記憶體,和上一個引數二者取一即可 yarn.nodemanager.resource.cpu-vcores NodeManager使用CPU核數 yarn.nodemanager.resource.count-logical-processors-as-cores 是否將虛擬核數當作CPU核數 yarn.nodemanager.resource.pcores-vcores-multiplier 虛擬核數和物理核數乘數,例如:4核8執行緒,該引數就應設為2 yarn.nodemanager.resource.detect-hardware-capabilities 是否讓yarn自己檢測硬體進行配置 yarn.nodemanager.pmem-check-enabled 是否開啟實體記憶體檢查限制container yarn.nodemanager.vmem-check-enabled 是否開啟虛擬記憶體檢查限制container yarn.nodemanager.vmem-pmem-ratio 虛擬記憶體實體記憶體比例
(3)Container容器相關
yarn.scheduler.minimum-allocation-mb 容器最小記憶體 yarn.scheduler.maximum-allocation-mb 容器最大記憶體 yarn.scheduler.minimum-allocation-vcores 容器最小核數 yarn.scheduler.maximum-allocation-vcores 容器最大核數
2)引數具體使用案例
9.2 容量排程器使用
9.3 公平排程器使用
本文來自部落格園,作者:秋華,轉載請註明原文連結:https://www.cnblogs.com/qiu-hua/p/15229366.html