1. 程式人生 > >ELK日誌分析Kibana——資料圖形化製作

ELK日誌分析Kibana——資料圖形化製作

摘要: Kibana把資料圖形化,可以幫助我們更好的去分析資料,找到資料裡面的結構 注意看一下,上面縮看的介面,是一個聚合的結果,他是由CPU Usage圖表、System Load圖表、CPU usage over time圖表、 System Load over time圖表一起構造而成的。

Kibana把資料圖形化,可以幫助我們更好的去分析資料,找到資料裡面的結構

image

注意看一下,上面縮看的介面,是一個聚合的結果,他是由CPU Usage圖表、System Load圖表、CPU usage over time圖表、 System Load over time圖表一起構造而成的。我把這種聚合稱作一組相關性的資料看板,你可以隨意的組合你的看板,如果你覺得這樣做是合適的。那麼,CPU Usage圖表、System Load圖表、CPU usage over time圖表、 System Load over time圖表是從哪裡來的呢?

image

資料對應的index決定了你想要處理的資料來源是那一部分,而上面的搜尋基礎則決定的更加細緻,‘我想要的資料是什麼樣子的’,這樣關於CPU的呼叫資料就可以被篩選出來了。把想要的資料篩選出來以後就需要操作資料來製作表格了,我麼有很多大的選擇,當然,你選製作什麼樣的圖形,在這之前就需要選擇好:

image

第 1 步: 進入新增頁面後需要選在對應的圖形

image

圖形說明

1、Area :用區塊圖來視覺化多個不同序列的總體貢獻。

2、Data :用資料表來顯示聚合的原始資料。其他視覺化可以通過點選底部的方式顯示資料表。

3、Line :用折線圖來比較不同序列。

4、Markdown : 用 Markdown 顯示自定義格式的資訊或和你儀表盤有關的用法說明。

5
、Metric :用指標視覺化在你儀表盤上顯示單個數字。 6、Pie :用餅圖來顯示每個來源對總體的貢獻。 7、Tile map :用瓦片地圖將聚合結果和經緯度聯絡起來。 8、Timeseries :計算和展示多個時間序列資料。 9、Vertical bar :用垂直條形圖作為一個通用圖形。

第 2 步: 選擇資料來源

image

首先需要明白的是,當你選擇一個使用一個已有的搜尋建議作為你的資料處理數搜尋基礎的時候,已經綁定了一個已有的index,因為你的搜尋建議是需要現將其建立在index上的。

其次,如果你選擇了一個index作為你的資料處理基礎的時候(注意這裡的表述,和上面的相比缺少了什麼),你就需要在接下來的頁面上去建立自己的搜尋建議了,至於如何建立。。。上一篇文章有詳細介紹。

第 3 步: 視覺化編輯器

主要操作的節點為以下幾個:
1、工具欄(Toolbar)
2、聚合構建器(Aggregation Builder)
3、預覽畫布(Preview Canvas)

image

工具欄:

工具欄裡面其實就是一些搜尋建議,當然如果你一進選擇了搜尋建議基礎,那麼也許你只需要稍作修改即可,當你看不到搜尋框的時候,也許你需要雙擊一下這個標籤image 還有一個需要你注意的細節就是,你可以對你的資料進行時間屬性的控制,她在你工具欄見面的右上角,如果你在Logstash為ES資料附上了一個相關的時間引數的時候。

聚合構建器:

用頁面左側的聚合構建器配置你的視覺化要用的 metric 和 bucket 聚合。桶(Buckets) 的效果類似於 SQL GROUP BY 語句。想更詳細的瞭解聚合,閱讀 Elasticsearch aggregations reference
下面介紹一下更為細節的一些聚合器欄位:

image

1、Count count 聚合返回選中索引模式中元素的原始計數。
2、Average 這個聚合返回一個數值欄位的 average 。從下拉選單選擇一個欄位。
3、Sum sum 聚合返回一個數值欄位的總和。從下拉選單選擇一個欄位。
4、Min min 聚合返回一個數值欄位的最小值。從下拉選單選擇一個欄位。
5、Max max 聚合返回一個數值欄位的最大值。從下拉選單選擇一個欄位。
6、Unique Count cardinality 聚合返回一個欄位的去重資料值。從下拉選單選擇一個欄位。
7、Standard Deviation extended stats 聚合返回一個數值欄位資料的標準差。從下拉選單選擇一個欄位。
8、Percentile percentile 聚合返回一個數值欄位中值的百分比分佈。從下拉選單選擇一個欄位,然後在 Percentiles 框內指定範圍。點選 X 移除一個百分比框,點選 +Add 新增一個百分比框。
9、Percentile Rank percentile ranks 聚合返回一個數值欄位中你指定值的百分位排名。從下拉選單選擇一個欄位,然後在 Values 框內指定一到多個百分位排名值。點選 X 移除一個百分比框,點選 +Add 新增一個數值框。

image

1Date Histogram date histogram 基於數值欄位建立,由時間組織起來。你可以指定時間片的間隔,單位包括秒,分,小時,天,星期,月,年。
2、Histogram 標準 histogram 基於數值欄位建立。為這個欄位指定一個整數間隔。勾選 Show empty buckets 讓直方圖中包含空的間隔。
3、Range 通過 range 聚合。你可以為一個數值欄位指定一系列區間。點選 Add Range 新增一對區間端點。點選紅色 (x) 符號移除一個區間。
4Date Range date range 聚合計算你指定的時間區間內的值。你可以使用 date math 表示式指定區間。點選 Add Range 新增新的區間端點。點選紅色 (/) 符號移除區間。
5、IPv4 Range IPv4 range 聚合用來指定 IPv4 地址的區間。點選 Add Range 新增新的區間端點。點選紅色 (/) 符號移除區間。
6、Terms terms 聚合允許你指定展示一個欄位的首尾幾個元素,排序方式可以是計數或者其他自定義的metric。
7、Filters 你可以為資料指定一組 filters。你可以用 querystring(全文搜尋簡易檢所語法),也可以用 JSON 格式來指定過濾器,就像在 Discover 頁的搜尋欄裡一樣。點選 Add Filter 新增下一個過濾器。
8、Significant Terms 展示實驗性的 significant terms 聚合的結果。
9、也許你需要對某一個數據進行計算,你可以使用json表示式:{ "script" : "doc['grade'].value * 1.2" } grade代表欄位,後面後面是算數表示式。


版權宣告:本文內容為轉載,版權歸作者所有。

ELK日誌監控分析系統Logstash詳解之——input模組

ELK日誌監控分析系統Logstash詳解之——filter模組

ELK日誌監控分析系統Logstash詳解之——output模組

ELK日誌分析Elasticsearch模組——語法基礎CRUD

ELK日誌分析Kibana——篩選語法基礎

ELK日誌分析Kibana——資料圖形化製作