獲取ElasticSearch+LogStash+Kibana+FileBeats

關於elk搭建的全部產品都可以從elastic的官方網站獲取最新版本
elastic官網

如圖所示
當前elastic官方已經不再推薦單純使用elk(ElasticSearch+LogStash+Kibana)三個產品搭建日誌平臺,而是在此基礎上加上了輕量級的日誌收集外掛FileBeats.

安裝ElasticSearch

我們首先獲取安裝包
進入https://www.elastic.co/cn/downloads/elasticsearch

在Downloads裡點選linux就可以下載到用於linux安裝的tar包
如果是直接在linux安裝,使用wget命令即可
如 : wget

artifacts.elastic.co/downloads/e…
如果需要更舊的歷史版本,點選下面的past release即可

在獲取到安裝包之後,windows環境需要將tar包傳送到linux,使用scp(windows需要預裝git)命令即可
如: scp C:/Users/Administrator/Downloads/elasticsearch-7.3.1-linux-x86_64.tar.gz [email protected]:/home/elk/
在linux,進入到安裝包的目錄,使用tar -zxvf命令進行解壓
如: tar -zxvf elasticsearch-7.3.1-linux-x86_64.tar.gz
解壓完成後,elasticsearch其實就已經完成了安裝

啟動ElasticSearch

在啟動elasticserach之前需要注意:elasticsearch不可以用root使用者啟動,因此,需要事先在linux建立一個非root使用者
linux如何建立一個管理員使用者 建立完linux使用者後,切換到該使用者,進入到elasticsearch目錄,執行bin/elasticserach即可 預設elasticsearch的埠是9200,開啟瀏覽器,輸入http://elasticsearch地址:9200/,出現如下畫面,說明elasticsearch啟動成功

安裝LogStash

windows環境下載和上傳到linux的方法不再贅述,參照前文
linux環境,參照如下命令即可:
1.執行wget

artifacts.elastic.co/downloads/l…
2.進入logstash安裝包目錄,執行tar -zxvf logstash-7.4.0.tar.gz

配置和啟動LogStash

1.在啟動logstash之前,需要先新建一個logstash的配置檔案
參照logstash目錄下的config/logstash-sample.config檔案(如圖),新建一個logstash-elk.config檔案

input,即輸入資料的監聽埠,這個一般不需要改.
output,用於將接收到的資料傳送到elasitcsearch. 將hosts改成elasticsearch部署的地址,如果elasticsearch和logstash是同一臺機器,則不需要更改.
注意: 如果多個例項中的FileBeats傳送過來的資料希望進入同一個elasticsearch例項,並根據不同的ip地址劃分為不同的索引,按照如下方式配置

output {
    if "100.100.100.101" in [host][ip] {
        elasticsearch{
          hosts => ["localhost:9200"]
          index => "sample1"
        }
    }else if "100.100.100.102" in [host][ip] {
        elasticsearch{
          hosts => ["localhost:9200"]
          index => "sample2"
        }
    } else {
      elasticsearch{
        hosts => ["localhost:9200"]
        index => "other"
      }
    }

}
複製程式碼

配置完成後,啟動logstash,執行bin/logstash -f config/logstash-elk.conf

安裝Kibana

linux參照如下命令
1.wget artifacts.elastic.co/downloads/k…
2.進入kibana安裝包目錄,執行tar -zxvf kibana-7.4.0-linux-x86_64.tar.gz

配置和啟動kibana

進入config/kibana.yml
1.修改server.host為linux機器的實際地址
2.修改i18n.locale: "zh-CN" 這樣kibana介面會顯示為中文
3.返回kibana主目錄,執行bin/kibana (注意:kibana也不能用root使用者啟動) 4.開啟瀏覽器,輸入http://kibana地址:5601,出現如下畫面

安裝FileBeats

注意: FileBeats需要安裝在所有需要傳送日誌的伺服器上
linux參照如下命令
1.wget artifacts.elastic.co/downloads/b… 2.tar -zxvf filebeat-7.4.0-linux-x86_64.tar.gz

配置和啟動FileBeats

進入filebeats安裝目錄,vi filebeat.yml 1.修改paths下的目錄,輸入filebeats所在伺服器需要收集的日誌地址,如:

paths:
    - /home/sample1/logs/log.*
    - /home/sample2/logs/log.*
複製程式碼

2.修改output.logstash下的內容,將logstash部署的地址輸入,參照如下:

output.logstash:
  hosts: ["100.100.100.101:5044"]
  enabled: true
複製程式碼

3.進入filebeats主目錄,執行 ./filebeat -e -c filebeat.yml,啟動成功

kibana檢視日誌內容

將上述Elk+FileBeats都安裝搭建完成後,瀏覽器進入到kibana的介面.
1.開啟管理-索引模式-建立索引模式,進入如下介面:

2.可以看到有三個索引可以匹配,在索引模式的輸入框內輸入自己想要建立的索引,如other,然後點選下一步

3.選擇timestamp,點選建立索引模式

4.建立成功,點選discover

5.可以看到有一個新的索引other可以選擇

6.到此,elk+filebeats的基本搭建工作就已經完成了