filebeat同时收集错误日志与普通日志并存详解

目录
  • 1.配置filebeat收集error日志
  • 2.查看es是否产生error索引
  • 3.在kibana上关联es索引
  • 4.在kibana上统计错误日志

1.配置filebeat收集error日志

只收集正常日志往往是不完整的，错误日志更需要收集起来

所有集群都按如下配置，其实就是增加了一个type和一个index

vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/www_access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["www"]
- type: log
  enabled: true
  paths:
    - /var/log/nginx/bbs_access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["bbs"]
- type: log
  enabled: true
  paths:
    - /var/log/nginx/blog_access.log
  json.keys_under_root: true
  json.overwrite_keys: true
  tags: ["blog"]
- type: log
  enabled: true
  paths:
    - /var/log/nginx/error.log
  tags: ["error"]
output.elasticsearch:
  hosts: ["192.168.81.210:9200"]
  indices:
    - index: "nginx-www-access-%{+yyyy.MM.dd}"
      when.contains:
        tags: "www"
    - index: "nginx-bbs-access-%{+yyyy.MM.dd}"
      when.contains:
        tags: "bbs"
    - index: "nginx-blog-access-%{+yyyy.MM.dd}"
      when.contains:
        tags: "blog"
    - index: "nginx-error-%{+yyyy.MM.dd}"
      when.contains:
        tags: "error"
systemctl restart filebeat

2.查看es是否产生error索引

已经生成

3.在kibana上关联es索引

点击Managerment---索引模式---创建索引

创建成功

4.在kibana上统计错误日志

点击Discovery---选择索引即可查看，根据自己的需求进行统计即可

以上就是filebeat同时收集错误日志与普通日志并存详解的详细内容，更多关于filebeat错误普通日志并存的资料请关注我们其它相关文章！

赞 (0)

相关推荐

  • Filebeat 采集 Nginx 日志的方法

    Nginx 日志可用于分析用户地址位置,行为画像等,如何通过 Elastic Stack 进行一站式的数据采集,数据清洗,数据落地,数据可视化,让数据发挥真正的价值呢? 架构设计 涉及到 Elastic Stack 中 Filebeat 是用于采集 Nginx 相关的日志, Elasticsearch 是用于对于数据落地存储和搜索的引擎, Kibana 是用于对数据可视化的工具. 在 Nginx 中相关的日志是存储在 /var/log/nginx 目录下的,分别是访问日志 access.log,

  • Docker构建ELK Docker集群日志收集系统

    Docker构建ELK Docker集群日志收集系统

    当我们搭建好Docker集群后就要解决如何收集日志的问题 ELK就提供了一套完整的解决方案 本文主要介绍使用Docker搭建ELK 收集Docker集群的日志 ELK简介 ELK由ElasticSearch.Logstash和Kiabana三个开源工具组成 Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等. Logstash是一个完全开源的工具,他可以对你的日志进行收集.过滤,并将

  • filebeat同时收集错误日志与普通日志并存详解

    filebeat同时收集错误日志与普通日志并存详解

    目录 1.配置filebeat收集error日志 2.查看es是否产生error索引 3.在kibana上关联es索引 4.在kibana上统计错误日志 1.配置filebeat收集error日志 只收集正常日志往往是不完整的,错误日志更需要收集起来 所有集群都按如下配置,其实就是增加了一个type和一个index vim /etc/filebeat/filebeat.yml filebeat.inputs: - type: log enabled: true paths: - /var/log

  • Oracle 错误日志表及异常处理包详解 附源码

    Oracle 错误日志表及异常处理包详解 附源码

    1 概述 1. 目的:'快速定位程序异常' 2. 包处理的核心思想:'自治事务' -- 自治事务的 "提交.回滚" 与 主事务 之间互不影响 3. 错误异常记录逻辑大体一致,此处记录,方便需要使用时复制.粘贴 4. 验证思路:通过执行报错的过程,观察 '程序执行结果' 和 '日志表' 数据插入情况 2 效果演示 程序执行截图: 日志表查询截图: 3 源码 说明: 1. 测试中,共有 2 个用户 -- 模拟实际开发场景 (1) odsdata: 存放业务数据 (2) odscde : 执

  • python3中超级好用的日志模块-loguru模块使用详解

    目录 一. 使用logging模块时 二. loguru模块的基础使用 三. logurr详细使用 3.1 add 方法的定义 3.2 基本参数 3.3 删除 sink 3.4 rotation 配置 3.5 retention 配置 3.6 compression 配置 3.7 字符串格式化 3.8 Traceback 记录 一. 使用logging模块时 用python写代码时,logging模块最基本的几行配置,如下: import logging logging.basicConfig(

  • Django实现web端tailf日志文件功能及实例详解

    这是Django Channels系列文章的第二篇,以web端实现tailf的案例讲解Channels的具体使用以及跟Celery的结合 通过上一篇 <Django使用Channels实现WebSocket--上篇> 的学习应该对Channels的各种概念有了清晰的认知,可以顺利的将Channels框架集成到自己的Django项目中实现WebSocket了,本篇文章将以一个Channels+Celery实现web端tailf功能的例子更加深入的介绍Channels 先说下我们要实现的目标:所有

  • 对Tensorflow中tensorboard日志的生成与显示详解

    TensorBoard是TensorFlow下的一个可视化的工具,能够帮助我们在训练大规模神经网络过程中出现的复杂且不好理解的运算.TensorBoard能展示你训练过程中绘制的图像.网络结构等. 1. 构建简单的TensorBoard日志输出 import tensorflow as tf input1 = tf.constant([1.0, 2.0, 3.0], name="input1") input2 = tf.Variable(tf.random_uniform([3], n

  • Java日志框架之logback使用详解

    为什么使用logback 记得前几年工作的时候,公司使用的日志框架还是log4j,大约从16年中到现在,不管是我参与的别人已经搭建好的项目还是我自己主导的项目,日志框架基本都换成了logback,总结一下,logback大约有以下的一些优点: 内核重写.测试充分.初始化内存加载更小,这一切让logback性能和log4j相比有诸多倍的提升 logback非常自然地直接实现了slf4j,这个严格来说算不上优点,只是这样,再理解slf4j的前提下会很容易理解logback,也同时很容易用其他日志框架

  • Python实现日志实时监测的示例详解

    Python实现日志实时监测的示例详解

    目录 介绍 观察者模式类图 观察者模式示例 1.创建订阅者类 2.创建发布者类 3.应用客户端-Map_server_client.py 4.测试 介绍 观察者模式:是一种行为型设计模式.主要关注的是对象的责任,允许你定义一种订阅机制,可在对象事件发生时通知多个"观察"该对象的其他对象.用来处理对象之间彼此交互. 观察者模式也叫发布-订阅模式,定义了对象之间一对多依赖,当一个对象改变状态时,这个对象的所有依赖者都会收到通知并按照自己的方式进行更新. 观察者设计模式是最简单的行为模式之一

  • Redis慢查询日志及慢查询分析详解

    目录 前提介绍 单线程命令的处理机制 本章内容 什么是慢查询 慢查询日志 Redis慢查询日志 Redis慢查询的危害 Redis客户端执行一条命令的步骤 慢查询引发的问题 阈值和慢查询的日志的设置 阈值参数设置 慢查询执行时间阈值 慢查询数据存储阈值 慢查询的配置类型和方式 慢查询日志的操作命令 slowlog get [n] slowlog len slowlog reset 前提介绍 本篇文章主要介绍了Redis的执行的慢查询的功能的查询和配置功能,从而可以方便我们在实际工作中,进行分析R

  • FileZilla Server搭建FTP服务器配置及425错误与TLS警告解决方法详解

    FileZilla Server搭建FTP服务器配置及425错误与TLS警告解决方法详解

    我们为大家提供FileZilla下载链接: FileZilla 客户端:FileZilla_3.24.0_win64-setup.exe: FileZilla Server服务端绿色汉化版:FileZilla_Server-0_9_59.exe: 在服务器上安装并配置服务端: 安装过程这里不再赘述,一直下一步,在跳出弹窗时勾选"Always connect to this server",然后点击"Connect"即可(密码可自行设置或者为空): 默认安装完会有如下

  • Java日志API管理最佳实践详解

    概述 对于现在的应用程序来说,日志的重要性是不言而喻的.很难想象没有任何日志记录功能的应用程序运行在生产环境中.日志所能提供的功能是多种多样的,包括记录程序运行时产生的错误信息.状态信息.调试信息和执行时间信息等.在生产环境中,日志是查找问题来源的重要依据.应用程序运行时的产生的各种信息,都应该通过日志 API 来进行记录. 很多开发人员习惯于使用 System.out.println.System.err.println 以及异常对象的 printStrackTrace 方法来输出相关信息.这

随机推荐