2. 程式人生 > >Graylog2實現Docker容器日誌收集

Graylog2實現Docker容器日誌收集

阿新 • • 發佈：2018-10-12
mongod daemon 修改 zip restart page bus name 日誌信息

Graylog2 是一個開源的日誌存儲系統,是由java語言編寫的server,能夠接收TCP,UDP,AMQP的協議發送的日誌信息,並且基於mongodb數據庫服務器快速存儲,能夠通過一個基於ruby編寫的web管理界面,讓輕松管理你的日誌。

1、組件準備
 名稱 組件名稱 備註
1 mongodb
2 elasticsearch
3 graylog2

2.安裝
使用Docker-compose部署
docker-compose安裝,參考:http://hujianxiong.com/linuxan-zhuang-docker-compose/

docker-compose文件:

version: ‘2‘
services:
mongo:
image: "mongo:3"
restart: always
volumes:

  • /workspace/data/graylog/data/mongo:/data/db
    elasticsearch:
    image: "elasticsearch:2"
    command: "elasticsearch -Des.cluster.name=‘graylog‘"
    volumes:
    • /workspace/data/graylog/data/elasticsearch:/usr/share/elasticsearch/data
      restart: always
      graylog:
      image: graylog2/server
      volumes:
  • /workspace/data/graylog/data/journal:/usr/share/graylog/data/journal
  • /workspace/data/graylog/config:/usr/share/graylog/data/config
    environment:
    GRAYLOG_PASSWORD_SECRET: somepasswordpepper
    GRAYLOG_ROOT_PASSWORD_SHA2: 8c6976e5b5410415bde908bd4dee15dfb167a9c873fc4bb8a81f6f2ab448a918
    #GRAYLOG_WEB_ENDPOINT_URI: http://0.0.0.0:9000/api/
    GRAYLOG_REST_TRANSPORT_URI: http://10.250.160.33:12900
    depends_on:
    • mongo
    • elasticsearch
      links:
    • mongo:mongo
    • elasticsearch:elasticsearch
      ports:
    • "9000:9000"
    • "12900:12900"
    • "12201/udp:12201/udp"
    • "1514/udp:1514/udp"
      restart: always
      3.下載配置文件
      [root@amumu ~]# mkdir -p /workspace/data/graylog/config
      [root@amumu ~]# cd /workspace/data/graylog/config
      [root@amumu config]# wget https://raw.githubusercontent.com/Graylog2/graylog2-images/2.1/docker/config/graylog.conf
      [root@amumu config]# wget https://raw.githubusercontent.com/Graylog2/graylog2-images/2.1/docker/config/log4j2.xml
      4.部署
      [root@amumu ~]# docker-compose up -d
      5.Graylog配置接收日誌
      登錄 http://10.250.160.32:9000 admin/admin
      配置system==>input==>select input ===>GELF UDP

6.修改Docker daemon啟動參數
–log-driver=gelf
–log-opt gelf-address=udp://10.250.160.32:12201
–log-opt gelf-compression-type=gzip
–log-opt gelf-compression-level=1
–log-opt tag=”test01_env”

7.重啟daemon
[root@amumu ~]# systemctl daemon-reload
[root@amumu ~]# systemctl restart docker
啟動容器後在Graylog管理界面就可以看到接收的日誌了

參考:http://docs.graylog.org/en/2.1/pages/installation/docker.html#requirements

Graylog2實現Docker容器日誌收集

相關推薦

Graylog2實現Docker容器日誌收集

mongod daemon 修改 zip restart page bus name 日誌信息 Graylog2 是一個開源的日誌存儲系統,是由java語言編寫的server,能夠接收TCP,UDP,AMQP的協議發送的日誌信息,並且基於mongodb數據庫服務器快速存儲,

docker容器日誌收集方案（方案一 filebeat+本地日誌收集）

filebeat不用多說就是掃描本地磁碟日誌檔案，讀取檔案內容然後遠端傳輸。 docker容器日誌預設記錄方式為 json-file 就是將日誌以json格式記錄在磁碟上 格式如下： {   "log": "2018-11-16 01:24:3

docker容器日誌收集方案（方案二 filebeat+syslog本地日誌收集）

與方案一一樣都是把日誌輸出到本地檔案系統使用filebeat進行掃描採集 不同的是輸出的位置是不一樣的 我們對docker進行如下設定 sudo docker service update  --log-driver syslog  pbblyrms

docker容器日誌收集方案（方案三 filebeat+journald本地日誌收集）

其實方案三和方案二日誌採集套路一樣，但是還是有點差別。 差別就在於日誌格式如下:   ​ 為了方便對比吧日誌貼上來 Nov 16 10:51:58 localhost 939fe968a91d[4721]: 2018-11-16 02:51:58.89

docker容器日誌收集方案彙總評價總結

docker日誌收集方案有太多，下面截圖羅列docker官方給的日誌收集方案（詳細請轉docker官方文件）。很多方案都不適合我們下面的系列文章沒有說。     經過以下5篇部落格的敘述簡單說下docker容器日誌採集方案 docker容器日誌收集方案（方案一 filebeat

docker容器日誌收集方案（方案N，其他中介軟體傳輸方案）

由於docker虛擬化的特殊性導致日誌收集方案的多樣性和複雜性下面接收幾個可能的方案 ​   這個方案各大公司都在用只不過傳輸方式大同小異 中介軟體使用kafka是肯定的，kafka的積壓與吞吐能力相當強悍，其實kafka就是專門為傳輸日誌設計的，鏈路當中可以對日誌進行壓縮等。 這裡與方案

elk-filebeat收集docker容器日誌

-xmx fresh container 配置 啟動應用 add 一行 docker oot 目錄 使用docker搭建elk filebeat安裝與配置 docker容器設置 參考文章 首發地址 使用docker搭建elk 1、使用docker-compose文件構建

【Kubernetes】Filebeat以sidecar模式實現容器日誌收集

說明 Filebeat可以以sidecar模式來進行容器日誌的收集，也就是filebeat和具體的服務容器部署在同一個pod內，指定收集日誌的路徑或檔案，即可將日誌傳送到指定位置或Elasticsearch這類的搜尋引擎。 每個pod內部署filebeat的模式，好處是和具體的應用服

日誌系統之基於flume收集docker容器日誌

http://blog.csdn.net/yanghua_kobe/article/details/50642601 最近我在日誌收集的功能中加入了對docker容器日誌的支援。這篇文章簡單談談策略選擇和處理方式。 關於docker的容器日誌 docker 我就不多

Monit實現Docker容器內多進程管理(二)

doc Superviso ali 解決 重點 back 執行 break 管理後臺 Monit和Supervisor還是有很大區別的，Supervisor管理的都是前臺執行的進程，Monit既可以管理前臺進程也可以管理後臺進程，簡單的說，在CentOS中使用service

docker容器日誌管理(清理)

前言 在使用docker容器時候，其日誌的管理是我們不得不考慮的事情。因為docker容器的日誌檔案會佔據大量的磁碟空間。下面介紹的就是對docker容器日誌的管理。 docker容器日誌清理 docker容器的日誌一般存放在/var/lib/dock

docker搭建日誌收集系統EFK

EFK Elasticsearch是一個數據搜尋引擎和分散式NoSQL資料庫的組合，提過日誌的儲存和搜尋功能。Fluentd是一個訊息採集，轉化，轉發工具，目的是提供中心化的日誌服務。Kibana是一個帶有強大資料整理，分析的web前端，將資料以視覺化的方式呈現給使用者。 注意： doc

Docker容器日誌清理

docker容器導致主機磁碟空間滿了如何清理Docker容器日誌？如何找出docker容器日誌檔案容器日誌一般存放在/var/lib/docker下面，可使用如下命令檢視各個日誌的檔案大小ls -lh $(find /var/lib/docker/containers/ -n

docker 容器日誌集中 ELK + filebeat

docker 容器日誌集中 ELK ELK 基於 ovr 網路下 docker-compose.yaml version: '2' networks: network-test: external: name: ovr0 services:

檢視docker容器日誌

在沒有日誌監控系統的情況下，我們需要了解docker容器日誌輸出有沒有錯誤資訊，這個時候主要通過以下幾種辦法檢視日誌： 1、通過目錄掛載的方式 容器目錄掛載到宿主機目錄 docker run -it

docker容器日誌檔案檢視

目前工作的開發環境在docker中，所以如果在docker內部執行很多程式，如果想同時檢視內部程式的日誌，最好的方式是直接通過檢視外部docker的日誌檔案即可。在宿主機/var/lib/docker/containers/,,,,,下檢視對應的容器的日誌即可。

Supervisor實現Docker容器啟動後不退出

　　製作Docker映象時一般會使用ENTRYPOINT來配置容器啟動時執行的命令，一般用於啟動一些服務。但是命令執行結束後，容器也會結束，會發現剛起的容器Exit(0)。一般可以用 ENTRYPOINT ["/sbin/init" ] 來實現容器起來後不退出，

Docker容器日誌管理最佳實踐

目錄 一 、Docker 引擎日誌 二、容器日誌 2.1、常用檢視日誌命令——docker logs 2.2 、Docker 日誌 驅動 三、 生產環境中該如何儲存容器中的日

Kubernetes容器日誌收集

日誌採集方式 日誌從傳統方式演進到容器方式的過程就不詳細講了，可以參考一下這篇文章Docker日誌收集最佳實踐，由於容器的漂移、自動伸縮等特性，日誌收集也就必須使用新的方式來實現，Kubernetes官方給出的方式基本是這三種：原生方式、DaemonSet方式和Sidecar方式。 1.原生方式：使用 kub

萬能日誌數據收集器 Fluentd - 每天5分鐘玩轉 Docker 容器技術（91）

docker 教程 容器 前面的 ELK 中我們是用 Filebeat 收集 Docker 容器的日誌，利用的是 Docker 默認的 logging driver json-file，本節我們將使用 fluentd 來收集容器的日誌。Fluentd 是一個開源的數據收集器，它目前有超過 500