Kafka學習筆記(1)----Kafka的簡介和Linux下單機安裝
1. Kafka簡介
Kafka is a distributed,partitioned,replicated commit logservice。它提供了類似於JMS的特性,但是在設計實現上完全不同,此外它並不是JMS規範的實現。kafka對訊息儲存時根據Topic進行歸類,傳送訊息者成為Producer,訊息接受者
為Consumer,此外kafka叢集有多個kafka例項組成,每個例項成為broker。無論是kafka叢集,還是producer和consumer都依賴於zookeeper來保證系統可用性叢集儲存一些meta資訊。
2. ubuntu下安裝Kafka
環境說明:
1. os:Ubuntu 16.04
2. zookeeper:zookeeper 3.4.13
3. kafka:kafka_2.11-2.0.1
4. jdk:jdk 8(kafka啟動需要使用到jdk)
2.1 jdk安裝
jdk在安裝是較為常見的,所以這裡就不再詳細介紹了。
2.2 zookeeper安裝
首先下載zookeeper,下載地址為:http://mirror.bit.edu.cn/apache/zookeeper/,如當前源不能訪問,請自行更換其他源。如圖:
根據自己的需要的版本下載相應的.tar.gz檔案,將下載的檔案上傳到伺服器上。通過Xshell 6端,使用命令rz。
解壓檔案:
解壓後進入conf資料夾,
將zoo_sample.cfg拷貝一份為zoo.cfg
如下:
修改zoo.cfg檔案:
為zookeeper配置環境變數:
vim /etc/profile
export ZOOKEEPER_HOME=/usr/local/middle/zookeeper-3.4.13 export PATH=.:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH
儲存退出
使用zkServer.sh start啟動zookeeper服務:
啟動成功,配置正確,然後關閉服務zkServer.sh stop
2.3 安裝配置Kafka單機模式
下載Kafka,下載地址為:http://mirror.bit.edu.cn/apache/kafka/2.0.1/,如果源不可用,自行更換其他源。如圖:
下載自己需要的版本
將下載的Kafka上傳到伺服器,使用如下命令解壓:
tar -zxvf kafka_2.11-2.0.1.tgz
解壓後進入到config資料夾,如下:
分別配置三個檔案:
server.properties:
主要配置以下幾項,其他的都按預設配置即可
broker.id=1 #指定埠 port=9092 #指定主機 host.name=localhost #資料儲存位置 log.dirs=/usr/local/middle/kafka_2.11-2.0.1/kafka-logs #連線zookeeper配置項,這裡指定的是單機,所以只需要配置localhost,若是實際生產環境,需要在這裡新增其他ip地址和埠號 zookeeper.connect=localhost:2181
如圖:
·
zookeeper.properties配置:
producer.properties配置:
consumer.properties配置:
啟動kafka:
1. 啟動zookeeper服務
進入kafka根目錄,使用如下命令啟動zookeeper。
bin/zookeeper-server-start.sh config/zookeeper.properties
如圖:
會執行環境變數配置的zk,出現如上圖所示表示啟動成功。
新開一個會話啟動kafka,使用如下命令:
bin/kafka-server-start.sh config/server.properties
如下圖:
出現如上圖則表示kafka啟動成功。
至此,單機的Kafka安裝完成了。