log4j2异步打印性能提升方式

目录
  • log4j2异步打印性能提升
    • 分析原因
    • 解决方案
  • log4j2性能提升点
    • 理解为以下三点

log4j2异步打印性能提升

压测结果发现，log4j升级成log4j2之后对系统性能影响并不大，更改打印日志方式（同步修改成异步打印）

压测结果发现TPS在开始阶段提升较快，当压力上来之后，TPS下降迅速，不如同步的数据（log4j2用的版本是2.3）

分析原因

获取压测是堆栈日志如下：

发现线程都在跑LockSupport.parkNanos也就是unsafe.park(false, 1);（private static final Unsafe unsafe = Unsafe.getUnsafe();）这行代码。

具体功能是：调用 park后，线程将一直阻塞直到超时或者中断等条件出现。unpark可以终止一个挂起的线程，使其恢复正常。

经过分析压测，发现当并发量打的时候该方法造成了大量的线程切换，也就是说明消费速度跟不上生产速度。线程被频繁的休眠／唤醒导致 cpu使用率高，且性能较低。

解决方案

上边原因分析到了，查询下解决方案，发现了log4j的bug，已经在2.7版本修复，所以替换log4j2的版本为2.7（JDK版本需要1.7以上，否则回报（unsupported major.minor version 51.0））

个人推荐JDK版本使用1.8。

具体代码变动如下：

没有了unsafe.park(false, 1); 被block的线程没有一直被调度

log4j2性能提升点

1、log4j1写日志多线程情况是阻塞的，log4j2不会阻塞，生产者只负责生产，通过无锁队列ringbuffer的无阻塞内存队列作为缓冲（即使用Disruptor），多生产者多线程的竞争是通过CAS实现，性能较高，至于最后落地，虽然两者都会调用synchronized方法写入日志，log4j2的asynclogger支持多个消费者，每个消费者取一批待处理的日志，类似于分段，用于提高性能

2、Disruptor简介

log4j2之所以能在异步写日志时性能提高这么多，离不开优秀的mq组件disruptor。

disruptor的主要设计思想是无锁的高并发，在设计上采用内存屏障的机制和CAS操作实现此思想。主流的并发程序

都离不开锁对资源的管控，或者尽量避开锁的使用。

理解为以下三点

1、有一个基于数组的循环数据结构(环装缓冲区)。这个循环数据结构，它是个拥有多个可用元素引用的数组。预先分配了对象内存空间。生产者与消费者通过这个循环数据结构进行读写操作，并不会有锁或资源竞争。

2、在Disruptor中，采用消费者-生产者模型进行读写的分离，所有事件(events)以组播的方式被发布给所有消费者，以便下游队列通过并行的方式进行消费。因为消费者的并行消费，需要协调消费者间的依赖关系。

3、生产者和消费者中有个序列计数器，指示缓冲区中当前正在被它所处理的元素。所有生产者或消费者都只可以修改它自己的序列计数器，但同时可以读取其他的序列计数器，内存屏障加序列号的方式实现了无锁的并发机制。

以上为个人经验，希望能给大家一个参考，也希望大家多多支持我们。

赞 (0)

相关推荐

  • Springboot2.x 使用 Log4j2 异步打印日志的实现

    Springboot2.x 使用 Log4j2 异步打印日志的实现

    介绍 目前常用的 Java 日志框架有 Log4j.Logback.Log4j2 ,性能方面推荐使用异步的 Log4j2,具体对比不多做分析,前人早已完成耕荒,我们就站在巨人的肩膀上来看看如何实操. SLF4J,简单日志门面(Simple Logging Facade for Java),是一个用于日志系统的简单 Facade,不是具体的日志解决方案,而是通过Facade Pattern提供一些Java logging API,我的理解是它和 Log4j.Logback.Log4j2 的关系类似

  • Logback与Log4j2日志框架性能对比与调优方式

    Logback与Log4j2日志框架性能对比与调优方式

    目录 前言 性能测试 logback 同步日志 异步日志(队列扩容) 异步日志(半队列扩容) log4j2 同步日志 异步日志(队列扩容) 异步日志(日志淘汰策略) 异步日志(半队列扩容) 异步日志(等待策略) 性能调优 异步日志 日志可靠性 Logback Log4j2 日志抛弃策略 Log4j2 Logback 日志等待策略 TimeoutWaitStrategy YieldWaitStrategy 队列容量 Logback Log4j2 长度计算公式 消费瓶颈 消费TPS 请求TPS 消费

  • 使用Log4j2代码方式配置实现线程级动态控制

    使用Log4j2代码方式配置实现线程级动态控制

    目录 一 需求 二 对外暴露的接口 三 代码方式配置Log4j2日志对象 四 线程级日志对象的设计 五 标准日志头 六 异常日志的堆栈信息打印 七 测试 一 需求 最近平台进行升级,要求日志工具从Log4j升级到Log4j2,以求性能上的提升.之前我写过以代码方式的配置Log4j,来实现线程级日志对象的管理,今天把版本升级到Log4j2,依然采用原有思路来做,但是实现上有诸多区别,这是因为Log4j2的实现较老版本改动太多. 至于以配置文件方式配置的方法,我不做介绍,对于Log4j2的详细实现亦

  • log4j2的高并发死锁问题配置优化方式

    目录 log4j2高并发死锁问题配置优化 Maven中pom.xml引用 配置如下 log4j2.x简单使用文档 1.项目中引入两个jar包 2.指定日志配置文件位置 3.简单的配置文件 4.获取Logger对象后即可写日志了 log4j2高并发死锁问题配置优化 Maven中pom.xml引用 <log4j2.version>2.7</log4j2.version> 版本以上 <!-- log4j2 高并发造成死锁 --> <dependency> <

  • log4j2日志异步打印(实例讲解)

    log4j2支持日志的异步打印,日志异步输出的好处在于,使用单独的进程来执行日志打印的功能,可以提高日志执行效率,减少日志功能对正常业务的影响. 异步日志在程序的classpath需要加载disruptor-3.0.0.jar或者更高的版本. Asynchronous Loggers是一个新增特性在Log4j 2 ,可以实现完全异步也可以和同步混合使用,还可以只异步化Appender,以提升系统性能,官方数据显示混合没有完全异步化效果好. 1,完全异步模式: 这种异步日志方式,不需要修改原来的配

  • 关于log4j2的异步日志输出方式

    目录 log4j2的异步日志输出方式 第一种实现异步方式AsyncAppender 第二种实现异步方式AsyncLogger log4j2异步注意事项 log4j2异步类型 小提示 log4j2的异步日志输出方式 使用log4j2的同步日志进行日志输出,日志输出语句与程序的业务逻辑语句将在同一个线程运行. 而使用异步日志进行输出时,日志输出语句与业务逻辑语句并不是在同一个线程中运行,而是有专门的线程用于进行日志输出操作,处理业务逻辑的主线程不用等待即可执行后续业务逻辑. Log4j2中的异步日志

  • log4j2异步打印性能提升方式

    log4j2异步打印性能提升方式

    目录 log4j2异步打印性能提升 分析原因 解决方案 log4j2性能提升点 理解为以下三点 log4j2异步打印性能提升 压测结果发现,log4j升级成log4j2之后对系统性能影响并不大,更改打印日志方式(同步修改成异步打印) 压测结果发现TPS在开始阶段提升较快,当压力上来之后,TPS下降迅速,不如同步的数据(log4j2用的版本是2.3) 分析原因 获取压测是堆栈日志如下: 发现线程都在跑LockSupport.parkNanos也就是unsafe.park(false, 1);(pr

  • springboot使用log4j2异步日志提升性能的实现方式

    springboot使用log4j2异步日志提升性能的实现方式

    目录 一.引入disruptor 二. 全局异步模式 三.异步/同步混合模式 同步日志的业务流程处理和日志打印是在同一个线程,日志打印的过程实际上是写文件IO的过程,这个过程是相对耗时的,并且会阻塞主线程的执行,只有日志打印完成后才会继续执行业务处理代码.如果日志量比较大,会影响主业务流程的处理效率.异步日志实现方式:将日志存入一个单独的队列中,有一个单独的线程从队列中获取日志并写入磁盘文件. 日志放入队列的耗时,肯定比磁盘写IO文件耗时要少的多得多,所以对主业务流程影响极小. 一个单独的线程进

  • log4j2异步Logger(详解)

    log4j2异步Logger(详解)

    1 异步Logger的意义 之前的日志框架基本都实现了AsyncAppender,被证明对性能的提升作用非常明显. 在log4j2日志框架中,增加了对Logger的异步实现.那么这一步的解耦,意义何在呢? 如图,按我目前的理解:异步Logger是让业务逻辑把日志信息放入Disruptor队列后可以直接返回(无需等待"挂载的各个Appender"都取走数据) 优点:更高吞吐.调用log方法更低的延迟. 缺点:异常处理麻烦. 可变日志消息问题.更大的CPU开销.需要等待"最慢的A

  • php使用yield对性能提升的测试实例分析

    本文实例讲述了php使用yield对性能提升的测试.分享给大家供大家参考,具体如下: 生成器提供了一种更容易的方法来实现简单的对象迭代,相比较定义类实现 Iterator 接口的方式,性能开销和复杂性大大降低.生成器允许你在 foreach 代码块中写代码来迭代一组数据而不需要在内存中创建一个数组, 那会使你的内存达到上限,或者会占据可观的处理时间.相反,你可以写一个生成器函数,就像一个普通的自定义函数一样, 和普通函数只返回一次不同的是, 生成器可以根据需要 yield 多次,以便生成需要迭代

  • 利用JuiceFS使MySQL 备份验证性能提升 10 倍

    利用JuiceFS使MySQL 备份验证性能提升 10 倍

    目录 数据准备 使用默认参数 增大XtraBackup的内存缓冲区 增大XtraBackup读线程数 JuiceFS启用异步写 增大JuiceFS的磁盘缓存 增大数据库数据量 总结 前言: JuiceFS 非常适合用来做 MySQL 物理备份,具体使用参考官方文档.在测试时,备份验证的数据准备(xtrabackup --prepare)过程非常慢.我们借助 JuiceFS 提供的性能分析工具做了分析,快速发现性能瓶颈,通过不断调整 XtraBackup 的参数和 JuiceFS 的挂载参数,在一

  • python 性能提升的几种方法

    关于python 性能提升的一些方案. 一.函数调用优化(空间跨度,避免访问内存) 程序的优化核心点在于尽量减少操作跨度,包括代码执行时间上的跨度以及内存中空间跨度. 1.大数据求和,使用sum a = range(100000) %timeit -n 10 sum(a) 10 loops, best of 3: 3.15 ms per loop %%timeit ...: s = 0 ...: for i in a: ...: s += i ...: 100 loops, best of 3:

  • Nginx开启一个参数就能让你的WEB性能提升3倍的方法

    一.遇到的一些问题 记得 2008 年做性能测试的时候,新进7台 lenovo 4核4G 服务器用于性能测试. 当时资源紧张,这7台服务器都装了双系统(Win2003/CentOS5)空闲时用于做测试机(压测的Agent). 当时给Nginx做了一系列测试,印象很深的是:在这批机器上,Nginx状态页面的压测. 短连接的话最佳QPS约4万,长连接的话最高QPS约13万. 大概3年后,那批 lenovo 服务器已经没人瞧得上了,只能做肉鸡. 然而,一次不经意的测试,发现再牛的服务器,短连接最佳QP

  • JavaScript 性能提升之路（推荐）

    JavaScript 性能提升之路（推荐）

    在平时工作做项目的过程中我们有时候会遇到页面加载很久才加载出来的情况,这样严重影响了用户的体验效果.虽然说有时候可能是因为网络问题,但有些时候确实是前端代码没有足够优化导致的.所以通过查阅相关资料并实践后,总结出如下知识点来提升性能.有什么写得不对的地方还希望各路大神指出并加以指点. 1.数据访问 1.将所有script标签放在尽可能接近body标签底部的位置,尽可能减少对整个页面下载的影响. 2.尽量少用全局变量.因为变量在作用域链中的位置越深,访问的时间就越长.局部变量位于作用域链中的第一个

随机推荐