Kafka 叢集部署依賴zookeeper叢集。

1 叢集規劃

2jar包下載：

http://kafka.apache.org/downloads.html

3 Kafka叢集部署

1、解壓安裝包：tar -zxvf kafka_2.11-0.11.0.0.tgz -C /apps/kafka/

2、修改解壓後的檔案名稱：mv kafka_2.11-0.11.0.0/ kafka

3、在/apps/kafka目錄下建立logs資料夾

4、修改配置檔案

#broker的全域性唯一編號，不能重複
broker.id=0
#刪除topic功能使能
delete.topic.enable=true
#處理網路請求的執行緒數量
num.network.threads=3
#用來處理磁碟IO的現成數量
num.io.threads=8
#傳送套接字的緩衝區大小
socket.send.buffer.bytes=102400
#接收套接字的緩衝區大小
socket.receive.buffer.bytes=102400
#請求套接字的緩衝區大小
socket.request.max.bytes=104857600
#kafka執行日誌存放的路徑	
log.dirs=/opt/module/kafka/logs
 

#topic在當前broker上的分割槽個數
num.partitions=1
#用來恢復和清理data下資料的執行緒數量
num.recovery.threads.per.data.dir=1
#segment檔案保留的最長時間，超時將被刪除
log.retention.hours=168
#配置連線Zookeeper叢集地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

5、配置環境變數

#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

6、分發安裝包

注意：分發之後記得配置其他機器的環境變數。

分別在mini02和mini03 上修改配置檔案/apps/kafka/config/server.properties中的broker.id=1、broker.id=2

注：broker.id不得重複。

7、啟動叢集：依次在mini01、mini02、mini03節點上啟動kafka。

方法一：加守護程序啟動

在bin的上一級目錄執行命令：

bin/kafka-server-start.sh -daemon config/server.properties

方法二：通過後臺來啟動

在bin的上一級目錄執行命令：

nohup bin/kafka-server-start.sh config/server.properties &

8、關閉叢集

bin/kafka-server-stop.sh stop