一文秒懂logstash收集springboot日志的方法

maven依赖

<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>5.1</version>
</dependency>

springboot 配置文件

logging:
  config: classpath:logback.xml

logback.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
	<include resource="org/springframework/boot/logging/logback/base.xml" />
	<!--======================================= 本地变量 ======================================== -->
	<!--在没有定义${LOG_HOME}系统变量的时候,可以设置此本地变量。提交测试、上线时,要将其注释掉,使用系统变量。 -->
	<property name="LOG_HOME" value="logs/spring.log" />

	<!-- 应用名称:和统一配置中的项目代码保持一致(小写) -->
	<property name="APP_NAME" value="log" />
	<!--日志文件保留天数 -->
	<property name="LOG_MAX_HISTORY" value="30" />
	<!--定义日志文件的存储地址 勿在 LogBack 的配置中使用相对路径 -->
	<!--应用日志文件保存路径 -->
	<property name="LOG_APP_HOME" value="${APP_NAME}/%d{yyyy-MM-dd}" />

	<!--=========================== 按照每天生成日志文件:默认配置=================================== -->
	<!-- 控制台输出 -->
	<appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
		<encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
			<!--格式化输出:%d表示日期,%thread表示线程名,%-5level:级别从左显示5个字符宽度%msg:日志消息,%n是换行符 -->
			<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n</pattern>
		</encoder>
	</appender>
	<!-- 按照每天生成日志文件:主项目日志 -->
	<appender name="APP"
		class="ch.qos.logback.core.rolling.RollingFileAppender">
		<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
			<!--日志文件输出的文件名 -->
			<FileNamePattern>${LOG_APP_HOME}/base.%d{yyyy-MM-dd}.log
			</FileNamePattern>
			<!--日志文件保留天数 -->
			<MaxHistory>${LOG_MAX_HISTORY}</MaxHistory>
		</rollingPolicy>
		<encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
			<!--格式化输出:%d表示日期,%thread表示线程名,%-5level:级别从左显示5个字符宽度%msg:日志消息,%n是换行符 -->
			<pattern>%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{500} - %msg%n</pattern>
		</encoder>
	</appender>
	<!--=============================== 日志输出: 默认主业务日志 ====================================== -->
	<logger name="org.springframework">
		<level value="WARN" />
	</logger>
	<logger name="org.apache.shiro">
		<level value="WARN" />
	</logger>
	<logger name="freemarker">
		<level value="WARN" />
	</logger>
	<logger name="org.hibernate">
		<level value="WARN" />
	</logger>
	<logger name="org.hibernate.SQL">
		<level value="DEBUG" />
	</logger>
	<logger name="org.apache.ibatis">
		<level value="DEBUG" />
	</logger>
	<logger name="org.mybatis.spring">
		<level value="DEBUG" />
	</logger>
	<logger name="com.alibaba.druid">
		<level value="DEBUG,INFO" />
	</logger>
    <!-- 这里是你的业务的包名 -->
    <logger name="com.bart.elk">
		<level value="DEBUG" />
	</logger>
	<!-- logstash ip和暴露的端口,我目前理解就是通过这个地址把日志发送过去  -->
	<appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
		<!-- 和logstash 的input 配置的端口保持一致 -->
        <destination>localhost:4567</destination>
        <encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder" />
    </appender>
	<root level="warn,info,debug">
		<appender-ref ref="APP" />
		<appender-ref ref="STDOUT" />
		<appender-ref ref="LOGSTASH" />
        <appender-ref ref="CONSOLE" />
	</root>
</configuration>

logstash

springboot-log.conf

# 文档
# https://www.elastic.co/guide/en/logstash/5.6/input-plugins.html
# https://www.elastic.co/guide/en/logstash/6.1/input-plugins.html
input{
	tcp {
        mode => "server"
        host => "0.0.0.0"
        port => 4567
        codec => json_lines
	}
}

output{
    # 为了模拟测试就先不放es了,在控制台输出测试看看
	#elasticsearch{
	#    hosts=>["127.0.0.1:9200"]
	#    index => "springboot-elk-%{+YYYY.MM.dd}"
    #}
	stdout{
		codec => rubydebug
	}
}

测试接口

import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;

import javax.servlet.http.HttpServletRequest;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
import org.springframework.web.context.request.RequestContextHolder;
import org.springframework.web.context.request.ServletRequestAttributes;

@RestController
public class ApiTests {

	protected final static Logger log = LoggerFactory.getLogger(ApiTests.class);

	@GetMapping("/api/log")
	public Object log() {
		ServletRequestAttributes requestAttributes = (ServletRequestAttributes)RequestContextHolder.getRequestAttributes();
		HttpServletRequest request = requestAttributes.getRequest();
		String ip = request.getRemoteAddr();
		String uri = request.getRequestURI();
		String logStr = String.format("IP=[%s] send request URI = [%s]", ip, uri);
		log.debug("[debug] "+logStr);
		log.info("[info] "+logStr);
		log.warn("[warn] "+logStr);
		log.error("[error] "+logStr);
		return "ok : "+ LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss"));
	}
}

测试效果

先运行logstash

# linux:
bin/logstash -f config/springboot-log.conf

# windows:
bin\logstash.bat -f config/springboot-log.conf

在运行springboot项目,然后调用测试接口:http://localhost:8080/api/log

观察logstash控制台输出:

{
     "@timestamp" => 2021-04-28T15:40:43.182Z,
          "level" => "DEBUG",
           "port" => 57778,
    "thread_name" => "http-nio-8080-exec-1",
    "level_value" => 10000,
       "@version" => "1",
           "host" => "127.0.0.1",
    "logger_name" => "com.bart.elk.ApiTests",
        "message" => "[debug] IP=[127.0.0.1] send request URI = [/api/log]"
}
{
     "@timestamp" => 2021-04-28T15:40:43.182Z,
          "level" => "INFO",
           "port" => 57778,
    "thread_name" => "http-nio-8080-exec-1",
    "level_value" => 20000,
       "@version" => "1",
           "host" => "127.0.0.1",
    "logger_name" => "com.bart.elk.ApiTests",
        "message" => "[info] IP=[127.0.0.1] send request URI = [/api/log]"
}
{
     "@timestamp" => 2021-04-28T15:40:43.183Z,
          "level" => "WARN",
           "port" => 57778,
    "thread_name" => "http-nio-8080-exec-1",
    "level_value" => 30000,
       "@version" => "1",
           "host" => "127.0.0.1",
    "logger_name" => "com.bart.elk.ApiTests",
        "message" => "[warn] IP=[127.0.0.1] send request URI = [/api/log]"
}
{
     "@timestamp" => 2021-04-28T15:40:43.183Z,
          "level" => "ERROR",
           "port" => 57778,
    "thread_name" => "http-nio-8080-exec-1",
    "level_value" => 40000,
       "@version" => "1",
           "host" => "127.0.0.1",
    "logger_name" => "com.bart.elk.ApiTests",
        "message" => "[error] IP=[127.0.0.1] send request URI = [/api/log]"
}

说明运行成功!

参考说明:

logstash-logback-encoder

参考博客-1

参考博客-2

logstash 文档

到此这篇关于一文秒懂logstash收集springboot日志的方法的文章就介绍到这了,更多相关logstash收集springboot日志内容请搜索我们以前的文章或继续浏览下面的相关文章希望大家以后多多支持我们!

(0)

相关推荐

  • springboot整合mybatis将sql打印到日志的实例详解

    在前台请求数据的时候,sql语句一直都是打印到控制台的,有一个想法就是想让它打印到日志里,该如何做呢? 见下面的mybatis配置文件: <?xml version="1.0" encoding="UTF-8" ?> <!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-

  • SpringBoot2 集成log4j2日志框架的实现

    前言 Log4j2是 Log4j 的进化版本,并提供了许多 Logback 可用的改进,同时解决了 Logback 体系结构中的一些固有问题.而且日志处理中我们会用到kafka作为日志管道.而kafka客户端依赖与Logback的兼容不是很完美,你可以选择排除依赖冲突或者使用Log4j2 . <!-- more --> 排除Logback依赖 Spring Boot 2.x默认使用Logback日志框架,要使用 Log4j2必须先排除 Logback. <dependency> &

  • 详解基于SpringBoot使用AOP技术实现操作日志管理

    操作日志对于程序员或管理员而言,可以快速定位到系统中相关的操作,而对于操作日志的管理的实现不能对正常业务实现进行影响,否则即不满足单一原则,也会导致后续代码维护困难,因此我们考虑使用AOP切面技术来实现对日志管理的实现. 文章大致内容: 1.基本概念 2.基本应用 3.日志管理实战 对这几部分理解了,会对AOP的应用应该很轻松. 一.基本概念 项目 描述 Aspect(切面) 跨越多个类的关注点的模块化,切面是通知和切点的结合.通知和切点共同定义了切面的全部内容--它是什么,在何时和何处完成其功

  • SpringBoot继承LogStash实现日志收集的方法示例

    一.环境准备 安装Elasticsearch.kibana.logstash,教程链接 安装教程 二.配置SpringBoot 依赖 在springBoot 项目下pom文件增加logStash 依赖包 <!--logStash--> <dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder</artifactId>

  • SpringBoot通过yml和xml文件配置日志输出方法

    SpringBoot中默认使用Logback进行日志输出,可以同时使用SpringBoot框架的配置文件application.yml或是通过logback的配置文件logback.xml进行配置. 通过application.yml配置 <?xml version="1.0" encoding="UTF-8"?> <configuration debug="false"> <!--定义日志文件的存储地址 勿在 Lo

  • 一文秒懂logstash收集springboot日志的方法

    maven依赖 <dependency> <groupId>net.logstash.logback</groupId> <artifactId>logstash-logback-encoder</artifactId> <version>5.1</version> </dependency> springboot 配置文件 logging: config: classpath:logback.xml logb

  • Docker mongoDB 4.2.1 安装并收集springboot日志的步骤详解

    一:docker安装好mongodb 第一步:docker安装好mongodb [root@iZbp1gp1t778obaz5m8vk8Z /]# docker search mongo [root@iZbp1gp1t778obaz5m8vk8Z /]# docker pull mongo:latest Trying to pull repository docker.io/library/mongo ... latest: Pulling from docker.io/library/mong

  • 一文秒懂springboot druid 配置

    Druid是阿里巴巴开发的一个连接池,他提供了一个高效.功能强大.可扩展性好的数据库连接池,区别于hikari.如果选择高性能可以选hikari,如果要功能多就选,druid. 首先pom引入依赖 <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency>

  • Springboot如何利用拦截器拦截请求信息收集到日志详解

    目录 1.需求 2.问题 2.获取 1)导入依赖为了获取客户端类型.操作系统类型.ip.port 2)封装获取body字符串的工具类 3)拦截器类 4)继承 HttpServletRequestWrapper类 5)过滤器类 6)拦截器过滤器配置类 总结 1.需求 最近在工作中遇到的一个需求,将请求中的客户端类型.操作系统类型.ip.port.请求方式.URI以及请求参数值收集到日志中,网上找资料说用拦截器拦截所有请求然后收集信息,于是就开始了操作: 2.问题 试了之后发现当请求方式为POST,

  • 一文秒懂IDEA中每天都在用的Project Structure知识

    Idea这款开发工具的便利之一是很多配置项几乎可直接使用默认项.但针对不同的项目难免需要针对性的配置,本文带大家详细的梳理一遍Project Structure中各项功能,注意收藏,以备不时之需. 先说一下写本文的缘由,在项目中用Idea中打开一组SpringBoot项目,结果编译的结果和日志输出的地方与预期不一致,于是仔细研究了Project Structure的配置项,发现此处竟然有很多有用的功能,汇总分享给大家. Project Structure即"项目结构",它几乎涵盖了一个

  • 一文秒懂Prometheus 介绍及工作原理

    1. Prometheus 介绍 Prometheus是一套开源的系统监控报警框,相比Nagios或者Zabbix拥有如下优点 1.1 易管理性 Prometheus: Prometheus核心部分只有一个单独的二进制文件,可直接在本地工作,不依赖于分布式存储. 1.2 业务数据相关性 Prometheus:监控服务的运行状态,基于Prometheus丰富的Client库,用户可以轻松的在应用程序中添加对Prometheus的支持,从而让用户可以获取服务和应用内部真正的运行状态. 1.3 高效:

  • ELK收集Tomcat日志的实现

    目录 01 Tomcat 安装与测试 02 修改 Tomcat 日志为 Json 格式 03 配置 Filebeat 采集 Tomcat 日志 04 使用Kibana查看Tomcat日志 01 Tomcat 安装与测试 1.1 安装 Tomcat 安装Tomcat的本体和相关官方测试demo,参考链接 apt-get install tomcat8 -y # 安装Tomcat本体 apt-get install tomcat8-docs tomcat8-examples tomcat8-admi

  • SpringBoot日志配置简单介绍

    1.在application.properties文件中加入logging.level.root=debug 全部日志级别设置为debug:这里的root是包的级别,root表示所有的包用同一个日志级别:如果把等号后面设置为off表示关闭日志: 2.logging.file=/data/tpmslogs/tpms.log,指定日志文件的路径和名称: 3.logging.pattern.console= 设置控制台输出的日志格式 4.logging.file.console= 设置文件输出的日志格

  • 一文秒懂python正则表达式常用函数

    导读: 正则表达式是处理字符串类型的"核武器",不仅速度快,而且功能强大.本文不过多展开正则表达式相关语法,仅简要 介绍 python中正则表达式常用函数及其使用方 法,以作快速查询浏览. 01 Re概览 Re模块是python的内置模块,提供了正则表达式在python中的所有用法,默认安装位置在python根目录下的Lib文件夹(如 ..\Python\Python37\Lib).主要提供了3大类字符串操作方法: 字符查找/匹配 字符替换 字符分割 由于是面向字符串类型的模块,就不得

  • 一文秒懂java到底是值传递还是引用传递

    首先回顾一下在程序设计语言中有关将参数传递给方法(或函数)的一些专业术语.按值调用(call by value)表示方法接收的是调用者提供的值,而按引用调用(call by reference)表示方法接收的是调用者提供的变量地址.一个方法可以修改传递引用所对应的变量值,而不能修改传递值调用所对应的变量值. 它用来描述各种程序设计语言(不只是 Java)中方法参数传递方式. Java 程序设计语言总是采用按值调用.也就是说,方法得到的是所有参数值的一个拷贝,也就是说,方法不能修改传递给它的任何参

随机推荐