技術標籤：分散式技術kafka

一、下載安裝包
下載地址：

http://kafka.apache.org/downloads

二、安裝前提（ZooKeeper安裝）
Kafka當前版本Broker資訊需要存放在ZooKeeper，因此需要先安裝ZK。安裝教程：https://blog.csdn.net/sinat_39809957/article/details/113545775
從官網來看，很快Kafka就不會再依賴ZK了。

三、安裝
1）下載安裝包，下載地址：http://kafka.apache.org/downloads。
我下載的是scala2.12版

2）修改配置檔案。
解壓縮後，進入kafka的安裝配置目錄：/opt/kafka_2.12-2.7.0/config。

//當前機器在叢集中的唯一標識，和zookeeper的myid性質一樣
broker.id=0
//當前kafka對外提供服務的埠預設是9092
port=9092
//這個引數預設是關閉的，在0.8.1有個bug，DNS解析問題，失敗率的問題。
host.name=hadoop1
//這個是borker進行網路處理的執行緒數
num.network.threads=
 
3
//這個是borker進行I/O處理的執行緒數
num.io.threads=8
//傳送緩衝區buffer大小，資料不是一下子就傳送的，先回儲存到緩衝區了到達一定的大小後在傳送，能提高效能
socket.send.buffer.bytes=102400
//kafka接收緩衝區大小，當資料到達一定大小後在序列化到磁碟
socket.receive.buffer.bytes=102400
//這個引數是向kafka請求訊息或者向kafka傳送訊息的請請求的最大數，這個值不能超過java的堆疊大小
socket.request.max.bytes=104857600
//訊息存放的目錄，這個目錄可以配置為“，”逗號分割的表示式，上面的num.io.threads要大於這個目錄的個數這個目錄，
//如果配置多個目錄，新建立的topic他把訊息持久化的地方是，當前以逗號分割的目錄中，那個分割槽數最少就放那一個
log.dirs=
 
/opt/kafka_2.12-2.7.0/kafka-logs
//預設的分割槽數，一個topic預設1個分割槽數
num.partitions=1
//每個資料目錄用來日誌恢復的執行緒數目
num.recovery.threads.per.data.dir=1
//預設訊息的最大持久化時間，168小時，7天
log.retention.hours=168
//這個引數是：因為kafka的訊息是以追加的形式落地到檔案，當超過這個值的時候，kafka會新起一個檔案
log.segment.bytes=1073741824
//每隔300000毫秒去檢查上面配置的log失效時間
log.retention.check.interval.ms=300000

//設定zookeeper的連線埠
zookeeper.connect=168.61.38.11:2181,168.61.38.12:2181,168.61.38.13:2181,168.61.38.15:2181,168.61.38.16:2181
//設定zookeeper的連線超時時間
zookeeper.connection.timeout.ms=18000

修改producer.properties

metadata.broker.list=168.61.38.11:9092,168.61.38.12:9092,168.61.38.13:9092,168.61.38.15:9092,168.61.38.16:9092

修改consumer.properties

bootstrap.servers=168.61.38.11:9092,168.61.38.12:9092,168.61.38.13:9092,168.61.38.15:9092,168.61.38.16:9092

3）將kafka的安裝包分發到其他節點
4）修改環境變數（修改~/.bash_profile）

export KAFKA_HOME=/opt/kafka_2.12-2.7.0
export PATH=$PATH:$KAFKA_HOME/bin

source後生效。

四 啟動叢集

[[email protected] bin]$ ./kafka-server-start.sh config/server.properties

五 建立topic