1 flume簡介

flume是分散式的海量日誌採集、聚合和傳輸的系統。從各類資料傳送方接收資料進行簡單處理後再寫到各資料接收方。

配置項名稱介紹：

a1.sources = r1 r2
a1.channels = c1 c2
a1.sinks = k1 k2

a1：flume節點名稱，啟動時通過引數命令-name指定。

a1.sources：監聽的源，若有多個用空格隔開，用於收集資料併發送到channel。

a1.channels：臨時通道，若有多個用空格隔開，存放source收集的資料，sink從這裡讀取資料。

a1.sinks：接收器，若有多個用空格隔開，從channel讀取資料，併發送給目標 。

a1.sources.r1.type：源的型別，r1是源名稱，可以是目錄、日誌檔案、監聽埠等。 常用的source的型別包括avro、exec、netcat、spooldir和syslog等。

a1.channels.c1.type：通道的型別，c1為通道名稱，= memory表示為常用的memory-channel，同時也有其他型別的channel，如JDBC、file-channel、custom-channel等。

a1.sinks.k1.type：接收器型別，k1為接收器名稱， = logger表示直接寫入日誌， 常用的包括avro、logger、HDFS、Hbase以及kafka等。

2 flume安裝

1) 解壓並安裝

tar -zxvf apache-flume-1.8.0-bin.tar.gz

mv apache-flume-1.8.0-bin /opt/sqm

2) 修改配置檔案

cd /opt/sqm/apache-flume-1.8.0-bin/conf

vi flume.conf

配置檔案在文章後面。

3) 啟動flume

nohup /opt/sqm/apache-flume-1.8.0-bin/bin/flume-ng agent --conf /opt/sqm/apache-flume-1.8.0-bin/conf --conf-file /opt/sqm/apache-flume-1.8.0-bin/conf/image_load.conf --name a1 -Dflume.root.logger=INFO,console &
 

此啟動指令碼為後臺啟動，因為指定的全路徑，可在任一目錄啟動。

--conf：指定配置資料夾，包含flume-env.sh和log4j的配置檔案

--conf-file：.conf 配置檔案的地址

--name:agent（flume節點）名稱

3 flume常用配置

1）常用source

（1）Avro Source

a1.sources.r1.type = avro

a1.sources.r1.channels = c1 c2

a1.sources.r1.bind = 0.0.0.0

a1.sources.r1.port = 20001

a1.sources.r1.selector.type= multiplexing

# selector配置

a1.sources.r1.selector.header = logType

a1.sources.r1.selector.mapping.scsp_login = c1

a1.sources.r1.selector.mapping.scsp_auth = c2

（2）Taildir Source

a1.sources.r1.type = TAILDIR

a1.sources.r1.channels = c1

a1.sources.r1.positionFile = /scsp_taildir_position.json # json記錄檔案斷點續傳的位置，程式預設建立

a1.sources.r1.filegroups = f1 f2

a1.sources.r1.filegroups.f1 = /scsp_login.*.log    #正則匹配需要採集的SCSP登入日誌

a1.sources.r1.headers.f1.logType = scsp_login

a1.sources.r1.filegroups.f2 = /scsp_auth.*.log    # 正則匹配需要採集的SCSP鑑權日誌

a1.sources.r1.headers.f2.logType = scsp_auth

a1.sources.r1.batchSize = 1000

（3）Syslog Sources

a1.sources.s1.type = org.apache.flume.source.SyslogTcpSource

a1.sources.s1.port = 9511

a1.sources.s1.host = 10.221.xxx.xx

a1.sources.s1.channels = c1

2）cannnel型別：

（1） memory

a1.channels.c1.type = memory

a1.channels.c1.capacity = 300000

a1.channels.c1.transactionCapactiy = 20000

a1.channels.c1.keep-alive = 30

3）sink型別：

（1）kafka

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink

a1.sinks.k1.kafka.topic = image_load

a1.sinks.k1.kafka.bootstrap.servers =ip01:9092,ip02:9092,ip03:9092,ip04:9092

a1.sinks.k1.kafka.producer.acks = 1

a1.sinks.k1.flumeBatchSize = 1000

a1.sinks.k1.channel = c1

（2）avro

a1.sinks.k1.type = avro

a1.sinks.k1.channel = c1

a1.sinks.k1.hostname = xxx

a1.sinks.k1.port = 20001

自己用過的配置：

1）Taildir Source + Memory Channel + Avro Sink

2）Avro Source + Memory Channel + Kafka Sink

3）Syslogtcp Source + Memory Channel + Kafka Sink

我是將1）和2）配合使用的，但是要注意的是，先啟動2）再啟動1）。

記錄一下，以免時間久了忘掉。若有問題，歡迎批評指正。