kafka參數配置詳解
阿新 • • 發佈:2017-05-08
kafka 參數
broker.id | broker的唯一標識符,如果不配置則自動生成,建議配置且一定要保證集群中必須唯一,默認-1 |
log.dir | 日誌數據存放的目錄,默認/tmp/kafka-logs |
log.dirs | 日誌數據存放的目錄,如果沒有配置則使用log.dir,建議此項配置。 |
zookeeper.connect | Zookeeper主機地址,如果zookeeper是集群則以逗號隔開,如:172.6.14.61:2181,172.6.14.62:2181,172.6.14.63:2181 |
listeners | 監聽列表,多個以逗號隔開,如果監聽器名稱不是一個安全的協議, listener.security.protocol.map也必須設置。主機名稱設置0.0.0.0綁定所有的接口,主機名稱為空則綁定默認的接口。如:PLAINTEXT://myhost:9092,SSL://:9091 CLIENT://0.0.0.0:9092,REPLICATION://localhost:9093 |
advertised.listeners | 給客戶端用的發布至zookeeper的監聽,如果和上面的listeners不同則以此為準,在IaaS環境,此配置項可能和 broker綁定的接口主機名稱不同,如果此配置項沒有配置則以上面的listeners為準。 |
auto.create.topics.enable | 是否自動創建topic,默認true |
auto.leader.rebalance.enable | 是否自動leader平衡,一個後臺線程定時檢查並在必要時觸發leader平衡。默認true |
background.threads | 用於各種後臺處理任務的線程的數量,默認10 |
compression.type | 為指定topic指定最終的壓縮類型,配置接受標準的壓縮算法(gzip、snappy、lz4),默認producer |
delete.topic.enable | 是否可以刪除topic,如果關閉此配置項則通過管理工具刪除topic則不起效。默認false |
leader.imbalance.check.interval.seconds | 控制器觸發分區再平衡檢測的頻率,默認300 |
leader.imbalance.per.broker.percentage | 每個broker允許的不平衡leader的比率,不平衡leader的比率大於此值控制器就會觸發leader平衡操作。默認10 |
log.flush.interval.messages | 分區日誌刷至磁盤的大小閾值,單位字節。默認為long類型的最大值,謹慎設置。 |
log.flush.interval.ms | 消息刷至磁盤的最大時間,單位毫秒。如果不設置此項則使用log.flush.scheduler.interval.ms |
log.flush.offset.checkpoint.interval.ms | 用於更新日誌恢復點持久記錄的頻率,默認60000 |
log.flush.scheduler.interval.ms | 檢測日誌是否需要刷至磁盤的頻率,單位毫秒,默認long類型的最大值 |
log.retention.bytes | 日誌被刪除前的最大大小,即日誌保留的最大大小,默認-1 |
log.retention.hours | 日誌文件刪除之前保留的時間(單位小時),默認168 |
log.retention.minutes | 日誌文件刪除之前保留的時間(單位分鐘),如果沒有設置則使用log.retention.hours |
log.retention.ms | 日誌文件刪除之前保留的時間(單位毫秒),如果沒有設置則使用log.retention.minutes |
log.roll.hours | 在新日誌段展開之前的最大時間(單位小時) |
log.roll.ms | 在新日誌段展開之前的最大時間(單位毫秒) |
log.segment.bytes | 單個日誌文件的大小,默認1073741824 |
log.segment.delete.delay.ms | 日誌文件在刪除之前保留的時間,默認60000 |
message.max.bytes | 服務器接受單個消息的最大大小,默認1000012 |
min.insync.replicas | 當生產者acks的值設置為all或者-1的時候,此配置項為消息副本的最小成功數量,如果成功數量沒有達到此值則生產者就會拋出異常,默認1。 |
num.io.threads | 做I/O任務線程的數量 |
num.network.threads | 服務器處理網絡請求的線程的數量 |
num.recovery.threads.per.data.dir | 在啟動時恢復日誌和關閉時刷盤日誌時每個數據目錄的線程的數量,默認1 |
num.replica.fetchers | 從源頭broker抽取消息用於復制的線程的數量。增大此值可以提高從broker的I/O平衡度。默認為1 |
offset.metadata.max.bytes | 和提交的偏移量有關的元數據項的最大值,默認4096 |
offsets.commit.required.acks | 消息提交並被接受前必須的acks,通常默認-1,不要修改此值。 |
offsets.commit.timeout.ms | 偏移量會被延遲直到所有的復制都接受此偏移量或者超時此值,和生產者請求超時相似,默認5000 |
offsets.load.buffer.size | 批量加載偏移量到緩沖的批量大小,默認5242880 |
offsets.retention.check.interval.ms | 檢測偏移量的頻率,默認600000 |
offsets.retention.minutes | 話題偏移量日誌保留窗口時間,單位分鐘,默認1440 |
offsets.topic.compression.codec | 偏移量話題壓縮解碼器,壓縮可用於自動提交,默認0 |
offsets.topic.num.partitions | 偏移提交主題的分區數量(部署後不應該再修改),默認50 |
offsets.topic.replication.factor | 偏移量話題的復制因子(設置更高保證可用),為了保證有效的復制,偏移話題的復制因子是可配置的,在偏移話題的第一次請求的時候可用的broker的數量至少為復制因子的大小, 否則要麽話題創建失敗,要麽復制因子取可用broker的數量和配置復制因子的最小值。默認3 |
本文出自 “埃文” 博客,請務必保留此出處http://wenshengzhu.blog.51cto.com/5151285/1922975
kafka參數配置詳解