1. 程式人生 > >Flume(2)-拓撲結構與Agent內部原理

Flume(2)-拓撲結構與Agent內部原理

一. 拓撲結構

1. 序列模式

這種模式是將多個flume給順序連線起來了,從最初的source開始到最終sink傳送的目的儲存系統。此模式不建議橋接過多的flume數量, flume數量過多不僅會影響傳輸速率,而且一旦傳輸過程中某個節點flume宕機,會影響整個傳輸系統。

2. 單Source多Channel,Sink模式(複製模式)

Flume支援將事件流向一個或者多個目的地。這種模式將資料來源複製到多個channel中,每個channel都有相同的資料,sink可以選擇傳送的不同的目的地。

3. 單Source,Channel多Sink模式(負載均衡)

Flume支援使用將多個sink邏輯上分到一個sink組,flume將資料傳送到不同的sink,主要解決負載均衡和故障轉移問題。

4. 聚合模式

這種模式是我們最常見的,也非常實用,日常web應用通常分佈在上百個伺服器,大者甚至上千個、上萬個伺服器。產生的日誌,處理起來也非常麻煩。

用flume的這種組合方式能很好的解決這一問題,每臺伺服器部署一個flume採集日誌,傳送到一個集中收集日誌的flume,再由此flume上傳到hdfs、hive、hbase、jms等,進行日誌分析。

 二. Agent內部原理