ELKStack分散式日誌查詢分析伺服器安裝及配置(ElasticSearch、Logstash、Kibana、Redis)
ELK對於沒有接觸的來說,並沒有一般的服務那麼容易安裝和使用,不過也沒有那麼難,elk一般作為日誌分析套裝工具使用。logs由logstash輸 入,logstash通過配置檔案對日誌做過濾、匹配,就是用來分析日誌的,輸出到elasticsearch,所以他的配置需要和日誌相匹配。 elasticsearch可以看做是一個nosql資料庫,是把logstash處理後的日誌以日期方式儲存起來。kibana從elastic裡面獲 取日誌資料,提供一個前端介面給日誌做展示(和Grafana功能一樣)。
logs →→ logstash →→ elasticsearch ←← kibana
下載
https://ftp2.cn.debian.org/ELK/
https://ftp2.cn.debian.org/elasticstack/5.x/yum/
安裝
ELKstack是Elasticsearch、Logstash、Kibana三個開源軟體的組合。目前都在Elastic.co公司名下。
ELK是一套常用的開源日誌監控和分析系統,包括一個分散式索引與搜尋服務Elasticsearch,一個管理日誌和事件的工具logstash,和一個數據視覺化服務Kibana。
logstash_1.5.3
:負責日誌的收集,處理和儲存elasticsearch-1.7.2
:負責日誌檢索和分析kibana-4.1.2-linux-x64.tar.gz
:負責日誌的視覺化jdk-1.7.0_03
:java環境redis-2.4.14
:DB
基礎環境
1、角色、ip、版本、核心
Server A
10.1.10.185
、3.2.0-4-amd64
、7.8
java
,elasticsearch
,redis
,kibana
,logstash(agent indexer)
Client B
10.1.10.117
、3.2.0-4-amd64
、7.8
java
,logstash(agent)
Elasticsearch
基於java,預設埠為9200
,elasticsearch-5.x
Java 8
,慎重選擇;
下載
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.5.2.rpm
安裝
rpm -ivh elasticsearch/elasticsearch-5.5.2.rpm
修改索引儲存目錄:開啟/etc/elasticsearch/elasticsearch.yml
,設定path.data為/var/data
修改檔案許可權
chown elasticsearch:elasticsearch /var/data -R
chown elasticsearch:elasticsearch /var/log/elasticsearch -R
啟動
service elasticsearch start
測試
curl http://localhost:9200/
設定開機啟動
chkconfig --add elasticsearch
Logstash
基於ruby
配置檔案:/etc/logstash/startup.options
logstash-5.x基於Java8,慎重選擇;
wget https://artifacts.elastic.co/downloads/logstash/logstash-5.5.2.rpm
rpm -ivh logstash-5.5.2.rpm
預設安裝在/usr/share/logstash
nohup bin/logstash agent -f /etc/logstash/conf.d/ &
指定配置檔案目錄啟動(多個配置檔案)
nohup bin/logstash agent -f /etc/logstash/conf.d/redis.cnf &
配置vim /etc/kibana/kibana.yml
,指定elasticsearch伺服器
以上是接收方,通常要配置一個或多個傳送方,重複以上步驟即可。
Kibana
基於node.js,預設埠為5601
wget https://artifacts.elastic.co/downloads/kibana/kibana-5.5.2-x86_64.rpm
安裝
rpm -ivh kibana-5.5.2-x86_64.rpm
啟動
service kibana start
測試
curl http://localhost:5601
新版的kibana預設是不支援外網訪問的,可使用nginx
代理
過程中如果遇到什麼問題,歡迎在下方留言!