1. 程式人生 > >ELKStack分散式日誌查詢分析伺服器安裝及配置(ElasticSearch、Logstash、Kibana、Redis)

ELKStack分散式日誌查詢分析伺服器安裝及配置(ElasticSearch、Logstash、Kibana、Redis)

ELK對於沒有接觸的來說,並沒有一般的服務那麼容易安裝和使用,不過也沒有那麼難,elk一般作為日誌分析套裝工具使用。logs由logstash輸 入,logstash通過配置檔案對日誌做過濾、匹配,就是用來分析日誌的,輸出到elasticsearch,所以他的配置需要和日誌相匹配。 elasticsearch可以看做是一個nosql資料庫,是把logstash處理後的日誌以日期方式儲存起來。kibana從elastic裡面獲 取日誌資料,提供一個前端介面給日誌做展示(和Grafana功能一樣)。

logs →→ logstash →→ elasticsearch ←← kibana

下載

https://ftp2.cn.debian.org/ELK/
https://ftp2.cn.debian.org/elasticstack/5.x/yum/

安裝

ELKstack是Elasticsearch、Logstash、Kibana三個開源軟體的組合。目前都在Elastic.co公司名下。
ELK是一套常用的開源日誌監控和分析系統,包括一個分散式索引與搜尋服務Elasticsearch,一個管理日誌和事件的工具logstash,和一個數據視覺化服務Kibana。

  • logstash_1.5.3:負責日誌的收集,處理和儲存
  • elasticsearch-1.7.2:負責日誌檢索和分析
  • kibana-4.1.2-linux-x64.tar.gz:負責日誌的視覺化
  • jdk-1.7.0_03:java環境
  • redis-2.4.14:DB

基礎環境

1、角色、ip、版本、核心

Server A

10.1.10.1853.2.0-4-amd647.8
javaelasticsearchrediskibanalogstash(agent indexer)

Client B

10.1.10.1173.2.0-4-amd647.8
javalogstash(agent)

Elasticsearch

基於java,預設埠為9200elasticsearch-5.x

基於Java 8,慎重選擇;

下載

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.2.rpm

安裝

rpm -ivh elasticsearch/elasticsearch-5.5.2.rpm

修改索引儲存目錄:開啟/etc/elasticsearch/elasticsearch.yml,設定path.data為/var/data

修改檔案許可權

chown elasticsearch:elasticsearch /var/data -R
chown elasticsearch:elasticsearch /var/log/elasticsearch -R

啟動

service elasticsearch start

測試

curl http://localhost:9200/

設定開機啟動

chkconfig --add elasticsearch

Logstash

基於ruby

配置檔案:/etc/logstash/startup.options logstash-5.x基於Java8,慎重選擇;

wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.2.rpm
rpm -ivh logstash-5.5.2.rpm

預設安裝在/usr/share/logstash

nohup bin/logstash agent -f /etc/logstash/conf.d/ &

指定配置檔案目錄啟動(多個配置檔案)

nohup bin/logstash agent -f /etc/logstash/conf.d/redis.cnf &

配置vim /etc/kibana/kibana.yml,指定elasticsearch伺服器

以上是接收方,通常要配置一個或多個傳送方,重複以上步驟即可。

Kibana

基於node.js,預設埠為5601

wget https://artifacts.elastic.co/downloads/kibana/kibana-5.5.2-x86_64.rpm

安裝

rpm -ivh kibana-5.5.2-x86_64.rpm

啟動

service kibana start

測試

curl http://localhost:5601

新版的kibana預設是不支援外網訪問的,可使用nginx代理

過程中如果遇到什麼問題,歡迎在下方留言!