ELK服務搭建（開源實時日誌分析ELK平臺部署）（低版本—簡單部署）
開源實時日誌分析ELK平臺部署
日誌主要包括系統日誌、應用程序日誌和安全日誌。系統運維和開發人員可以通過日誌了解服務器軟硬件信息、檢查配置過程中的錯誤及錯誤發生的原因。經常分析日誌可以了解服務器的負荷，性能安全性，從而及時采取措施糾正錯誤。
通常，日誌被分散的儲存不同的設備上。如果你管理數十上百臺服務器，你還在使用依次登錄每臺機器的傳統方法查閱日誌。這樣是不是感覺很繁瑣和效率低下。當務之急我們使用集中化的日誌管理，例如：開源的syslog，將所有服務器上的日誌收集匯總。
集中化管理日誌後，日誌的統計和檢索又成為一件比較麻煩的事情，一般我們使用grep、awk和wc等Linux命令能實現檢索和統計，但是對於要求更高的查詢、排序和統計等要求和龐大的機器數量依然使用這樣的方法難免有點力不從心。
開源實時日誌分析ELK平臺能夠完美的解決我們上述的問題，ELK由ElasticSearch、Logstash和Kiabana三個開源工具組成。官方網站：https://www.elastic.co
Elasticsearch是個開源分布式搜索引擎，它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。
Logstash是一個完全開源的工具，他可以對你的日誌進行收集、分析，並將其存儲供以後使用（如，搜索）。
kibana 也是一個開源和免費的工具，他Kibana可以為 Logstash 和 ElasticSearch 提供的日誌分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要數據日誌。
說明：在需要收集日誌的所有服務上部署logstash，作為logstash agent（logstash shipper）用於監控並過濾收集日誌，將過濾後的內容發送到logstash indexer，logstash indexer將日誌收集在一起交給全文搜索服務ElasticSearch，可以用ElasticSearch進行自定義搜索通過Kibana 來結合自定義搜索進行頁面展示。
（1）安裝Logstash依賴包JDK
Logstash的運行依賴於Java運行環境， Logstash 1.5以上版本不低於java 7推薦使用最新版本的Java。由於我們只是運行Java程序，而不是開發，下載JRE即可。首先，在Oracle官方下載新版jre， 下載地址：http://www.oracle.com/technetwork/java/javase/downloads
我們使用的是：jre-8u131-linux-x64.tar.gz
JDK的安裝方式比較簡單，只需將下載回來的程序包解壓到相應的目錄即可
mkdir /usr/local/java
tar -xvf jre-8u131-linux-x64.tar.gz -C /usr/local/java
vim ~/.bash_profile
export JAVA_HOME=/usr/local/java/jre1.8.0_131
export PATH=$PATH:$JAVA_HOME/bin
exportCLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
source ~/.bash_profile
[[email protected] ~]#java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)
（2）安裝Logstash
我們使用的版本：logstash-1.5.2.tar.gz
tar -xvf logstash-1.5.2.tar.gz -C /usr/local/
運行以下命令測試logstash
[[email protected] ~]# /usr/local/logstash-1.5.2/bin/logstash -e ‘input { stdin { } } output { stdout { } }‘
Logstash startup completed
hello world (自己輸入)
2017-05-23T17:09:56.700Z www.elastic.co hello world
我們可以看到，我們輸入什麽內容logstash按照某種格式輸出，其中-e參數參數允許Logstash直接通過命令行接受設置。這點尤其快速的幫助我們反復的測試配置是否正確而不用寫配置文件。使用CTRL+C命令可以退出之前運行的Logstash。
使用-e參數在命令行中指定配置是很常用的方式，不過如果需要配置更多設置則需要很長的內容。這種情況，我們首先創建一個簡單的配置文件，並且指定logstash使用這個配置文件。例如：在logstash安裝目錄下創建一個“基本配置”測試文件llogstash-simple.conf，文件內容如下：
# cat logstash-simple.conf
input { stdin { } }
output {
stdout { codec=> rubydebug }
}
Logstash使用input和output定義收集日誌時的輸入和輸出的相關配置，本例中input定義了一個叫"stdin"的input，output定義一個叫"stdout"的output。無論我們輸入什麽字符，Logstash都會按照某種格式來返回我們輸入的字符，其中output被定義為"stdout"並使用了codec參數來指定logstash輸出格式。
使用logstash的-f參數來讀取配置文件，執行如下開始進行測試：
[[email protected] ~]# /usr/local/logstash-1.5.2/bin/logstash agent -f /usr/local/logstash-1.5.2/logstash-simple.conf
Logstash startup completed
`date` hello world
{
"message" => "`date` hello world",
"@version" => "1",
"@timestamp" => "2017-05-23T17:14:16.312Z",
"host" => "www.elastic.co"
}
（3）安裝Elasticsearch
我們使用的版本是：elasticsearch-1.6.0.tar.gz
tar -xvf elasticsearch-1.6.0.tar.gz -C /usr/local/
啟動Elasticsearch
| # /usr/local/elasticsearch-1.6.0/bin/elasticsearch |
如果使用遠程連接的Linux的方式並想後臺運行elasticsearch執行如下命令：
| # nohup /usr/local/elasticsearch-1.6.0/bin/elasticsearch >nohup & |
確認elasticsearch的9200端口已監聽，說明elasticsearch已成功運行
| # netstat -anp |grep :9200 tcp 0 0 :::9200 :::* LISTEN 3362/java |
接下來我們在logstash安裝目錄下創建一個用於測試logstash使用elasticsearch作為logstash的後端的測試文件logstash-es-simple.conf，該文件中定義了stdout和elasticsearch作為output，這樣的“多重輸出”即保證輸出結果顯示到屏幕上，同時也輸出到elastisearch中。
[[email protected] ~]# cat /usr/local/logstash-1.5.2/logstash-es-simple.conf
input { stdin { } }
output {
elasticsearch {host => "localhost" }
stdout { codec=> rubydebug }
}
[[email protected] ~]# /usr/local/logstash-1.5.2/bin/logstash agent -f /usr/local/logstash-1.5.2/logstash-es-simple.conf
五月 24, 2017 1:21:42 上午 org.elasticsearch.node.internal.InternalNode <init>
信息: [logstash-www.elastic.co-1318-11620] version[1.5.1], pid[1318], build[5e38401/2015-04-09T13:41:35Z]
五月 24, 2017 1:21:42 上午 org.elasticsearch.node.internal.InternalNode <init>
信息: [logstash-www.elastic.co-1318-11620] initializing ...
五月 24, 2017 1:21:42 上午 org.elasticsearch.plugins.PluginsService <init>
信息: [logstash-www.elastic.co-1318-11620] loaded [], sites []
五月 24, 2017 1:21:45 上午 org.elasticsearch.node.internal.InternalNode <init>
信息: [logstash-www.elastic.co-1318-11620] initialized
五月 24, 2017 1:21:45 上午 org.elasticsearch.node.internal.InternalNode start
信息: [logstash-www.elastic.co-1318-11620] starting ...
五月 24, 2017 1:21:45 上午 org.elasticsearch.transport.TransportService doStart
信息: [logstash-www.elastic.co-1318-11620] bound_address {inet[/0:0:0:0:0:0:0:0:9301]}, publish_address {inet[/192.168.253.100:9301]}
五月 24, 2017 1:21:45 上午 org.elasticsearch.discovery.DiscoveryService doStart
信息: [logstash-www.elastic.co-1318-11620] elasticsearch/eQ2KQ7yHTlCV6F0RuP-QoA
五月 24, 2017 1:21:48 上午 org.elasticsearch.cluster.service.InternalClusterService$UpdateTask run
信息: [logstash-www.elastic.co-1318-11620] detected_master [Silver Sable][-RT1zJAyRMKU9iHIhzsdEw][www.elastic.co][inet[/192.168.253.100:9300]], added {[Silver Sable][-RT1zJAyRMKU9iHIhzsdEw][www.elastic.co][inet[/192.168.253.100:9300]],}, reason: zen-disco-receive(from master [[Silver Sable][-RT1zJAyRMKU9iHIhzsdEw][www.elastic.co][inet[/192.168.253.100:9300]]])
五月 24, 2017 1:21:48 上午 org.elasticsearch.node.internal.InternalNode start
信息: [logstash-www.elastic.co-1318-11620] started
Logstash startup completed
hello logstash
{
"message" => "hello logstash",
"@version" => "1",
"@timestamp" => "2017-05-23T17:21:57.511Z",
"host" => "www.elastic.co"
}
也可以使用curl http://localhost:9200/_search?pretty查看
至此，你已經成功利用Elasticsearch和Logstash來收集日誌數據了。
（4）安裝elasticsearch插件
Elasticsearch-kopf插件可以查詢Elasticsearch中的數據，安裝elasticsearch-kopf，只要在你安裝Elasticsearch的目錄中執行以下命令即可：
./bin/plugin -install lmenezes/elasticsearch-kopf
| # cd /usr/local/elasticsearch-1.6.0/ # ./plugin -install lmenezes/elasticsearch-kopf |
安裝完成後在plugins目錄下可以看到kopf
| # ls plugins/ kopf |
（5）安裝Kibana
tar -xvf kibana-4.1.1-linux-x64.tar.gz -C /usr/local/
啟動：
/usr/local/kibana-4.1.1-linux-x64/bin/kibana
使用http://kibanaServerIP：5601訪問Kibana，登錄後，首先，配置一個索引，默認，Kibana的數據被指向Elasticsearch，使用默認的logstash-*的索引名稱，並且是基於時間的，點擊“Create”即可。
點擊“Discover”，可以搜索和瀏覽Elasticsearch中的數據，默認搜索的是最近15分鐘的數據。可以自定義選擇時間。
到此，說明你的ELK平臺安裝部署完成。
（6）配置logstash作為Indexer
將logstash配置為索引器，並將logstash的日誌數據存儲到Elasticsearch，本範例主要是索引本地系統日誌。
| # cat /usr/local/logstash-1.5.2/logstash-indexer.conf input { file { type =>"syslog" path => ["/var/log/messages", "/var/log/syslog" ] } syslog { type =>"syslog" port =>"5544" } } output { stdout { codec=> rubydebug } elasticsearch {host => "localhost" } } # /usr/local/logstash-1.5.2/bin/logstash -flogstash-indexer.conf |
使用echo命令模擬寫入日誌，命令執行後看到如下圖的信息
| # echo "`date` 優衣庫視頻" >>/var/log/messages |
kibana，發現最新的測試數據顯示到瀏覽器中，如下圖所示：
至此，ELK平臺部署和基本的測試已完成。
本文出自 “Change life Start fresh.” 博客，請務必保留此出處http://ahcwy.blog.51cto.com/9853317/1940323
ELK服務搭建（開源實時日誌分析ELK平臺部署）（低版本—簡單部署）